JP2015046019A - 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】視点の異なる複数の画像から簡単な統計量を用いて画素を選択することにより、偏光フィルタ類似処理や不要物除去などの所望の効果を取得可能な画像処理装置を提供する。【解決手段】入力画像２００から出力画像２０６を生成する画像処理装置２５０であって、入力画像２００として視点の異なる複数の像２００ａ、２００ｂを位置合わせする像位置合わせ手段２０１と、位置合わせされた複数の像の輝度値の統計量を算出する統計量算出手段２０３と、統計量算出手段２０３により算出された統計量に基づいて、位置合わせされた複数の像の輝度値の一つを選択する画素選択手段２０４と、画素選択手段２０４により選択された輝度値を用いて出力画像２０６を生成する画像生成手段２０５とを有する。【選択図】図１

Description

本発明は、視点の異なる複数の画像に対して処理を行う画像処理装置に関する。

近年、撮像素子により得られたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。特許文献１には、被写体空間の光の２次元強度分布と光線の角度情報、つまり視点の異なる画像を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせて光線空間情報（ライトフィールド情報）と呼び、光線空間情報を取得することで被写体空間の３次元的な情報を得ることができる。前述の撮像装置では、光線空間情報の取得と撮影後の画像再構成処理によって、リフォーカスと呼ばれる画像のピント位置変更等が可能となる装置を開示している。

一方、同時に取得された多視点の画像から、新しい機能を提供する画像処理装置及び撮像装置が提案されている。特許文献２には、多視点取得のために複数の光学系を備えたいわゆる多眼カメラにおいて、視差データに応じて複数視点の画像を合成して高解像度化する装置が開示されている。

特開２００７−４４７１号公報 特開２０１１−１８２３２５号公報

しかしながら、特許文献１、２に開示されている構成では、偏光フィルタ類似処理や不要物除去などの所望の効果を得ることができない。

そこで本発明は、視点の異なる複数の画像から簡単な統計量を用いて画素を選択することにより、所望の効果を取得可能な画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、入力画像から出力画像を生成する画像処理装置であって、前記入力画像として視点の異なる複数の像を位置合わせする像位置合わせ手段と、位置合わせされた前記複数の像の輝度値の統計量を算出する統計量算出手段と、前記統計量算出手段により算出された前記統計量に基づいて、位置合わせされた前記複数の像の前記輝度値の一つを選択する画素選択手段と、前記画素選択手段により選択された前記輝度値を用いて前記出力画像を生成する画像生成手段とを有する。

本発明の他の側面としての撮像装置は、光学像を光電変換する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての撮像システムは、撮影光学系を備えたレンズ装置と、前記撮像装置とを有する。

本発明の他の側面としての画像処理方法は、入力画像から出力画像を生成する画像処理方法であって、前記入力画像として視点の異なる複数の像を位置合わせするステップと、位置合わせされた前記複数の像の輝度値の統計量を算出するステップと、前記統計量に基づいて、位置合わせされた前記複数の像の前記輝度値の一つを選択するステップと、選択された前記輝度値を用いて出力画像を生成するステップとを有する。

本発明の他の側面としてのプログラムは、コンピュータに、前記画像処理方法を実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、視点の異なる複数の画像から簡単な統計量を用いて画素を選択することにより、所望の効果を取得可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理装置の構成および動作を示す図である。 各実施例における撮像システムの構成図である。 各実施例における撮影光学系の説明図である。 各実施例において、異なる視点の複数の像を取得する光学系の説明図である。 各実施例において、鏡面反射光が存在する場面の説明図である。 各実施例において、遮蔽物が存在する場面の説明図である。 実施例２における画像処理装置の構成を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図２を参照して、本発明の実施例１における撮像システムについて説明する。図２（ａ）は、撮像装置１（カメラ本体）およびレンズユニット２（レンズ装置）を備えて構成される撮像システムの断面図である。図２（ｂ）は、撮像システムの電気的構成を示すブロック図である。なお、本実施例の撮像システムは、撮像装置１と撮像装置１に着脱可能なレンズユニット２とを備えて構成されるが、これに限定されるものではない。本実施例は、撮像装置１とレンズユニット２とが一体的に構成された撮像システムにも適用可能である。

図２（ａ）において、１は撮像装置（カメラ本体）、２は撮像装置１に装着するレンズユニット、３は撮影光学系（レンズ）、４は撮影光学系３の光軸である。６は光学像（被写体像）を光電変換する撮像素子、９は背面表示装置である。また、１１は撮像装置１とレンズユニット２との電気接点、１２はレンズユニット２に設けられたレンズシステム制御部、１４はクイックリターン機構、１６は撮像装置１に設けられたファインダ表示手段である。

図２（ｂ）において、撮像装置１およびレンズユニット２からなる撮像システム（カメラシステム）は、撮像系、画像処理系、記録再生系、および、制御系を有する。撮像系は、撮影光学系３および撮像素子６を備えて構成される。画像処理系は、画像処理部７を備えて構成される。記録再生系は、メモリ手段８および表示手段９を備えて構成される。制御系は、カメラシステム制御回路５、操作検出部１０、レンズシステム制御回路１２、および、レンズ駆動手段１３を備えて構成される。レンズ駆動手段１３は、焦点レンズ、ブレ補正レンズ、および、絞りなどを駆動可能に構成されている。

撮像系は、物体からの光（被写体像、光学像）を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６の表面にはマイクロレンズが格子状に配置され、いわゆるマイクロレンズアレイ（ＭＬＡ）を形成している。本実施例において、ＭＬＡは光線制御手段を構成する。ＭＬＡの機能や配置の詳細については、図３を参照して後述する。後述のように、撮像素子６からピント評価量または適当な露光量（所定の信号）が得られるため、この信号に基づいて適切に撮影光学系３が調整されることにより、適切な光量の物体光が撮像素子６に露光されるとともに、撮像素子６の近傍で被写体像が結像する。

画像処理部７は、Ａ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、および、補間演算回路などを有し、記録用の画像を生成可能に構成されている。また画像処理部７は、本実施例における画像処理装置（像位置合わせ手段、統計量算出手段、画素選択手段、および、画像生成手段などから構成される）を含めてもよい。なお本実施例では、画像処理装置を構成する各要素は、カメラシステム制御回路５に内蔵される場合を例として説明する。

メモリ手段８は、実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段８は、記録部へ出力を行うとともに、表示手段９に出力される像を生成して保存する。またメモリ手段８は、所定の方法を用いて、画像、動画、および、音声などの圧縮を行う。

カメラシステム制御回路５は、撮像の際のタイミング信号などを生成して出力する。カメラシステム制御回路５は、外部操作に応じて、撮像系、画像処理系、および、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出し、撮像素子６の駆動、画像処理部７の動作、メモリ手段８の圧縮処理などを制御する。またカメラシステム制御回路５は、表示手段９により液晶モニタなどに情報表示を行う情報表示装置の各セグメントの状態を制御する。

続いて、制御系の光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号に基づいて適切な焦点位置および絞り位置を算出する。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動手段１３を適切に制御する。またレンズシステム制御回路１２には、不図示の手ぶれ検出センサが接続されており、手ぶれ補正モードにおいて、手ぶれ検出センサの信号に基づいてレンズ駆動手段１３を介してブレ補正レンズを適切に制御する。

次に、図３を参照して、本実施例における撮影光学系３について説明する。図３は、撮影光学系の説明図である。なお、本実施例は他の撮影光学系にも適用可能であるが、それについては図４を参照して後述する。本実施例を適用するには、複数の視点からの被写体像を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系３の結像面の近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図３（ａ）は、撮像素子６とＭＬＡ２０との関係図である。図３（ｂ）は、撮像素子の画素とＭＬＡとの対応を示す模式図である。図３（ｃ）は、ＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応付けられたを示す図である。図３（ａ）に示されるように、撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は、撮影光学系３の結像面の近傍になるように配置されている。図３（ａ）は、撮像素子６の正面側（ｚ方向）および横側（ｘ方向）からＭＬＡ２０を見た状態を示しており、撮像素子６の正面から見ると、ＭＬＡ２０のレンズが撮像素子６上の画素を覆うように配置されている。なお、図３（ａ）では、ＭＬＡを構成する各マイクロレンズを見やすくするため、マイクロレンズを大きく示しているが、実際には各マイクロレンズは、画素の数倍程度の大きさしかない。なお、マイクロレンズの実際の大きさについては、図３（ｂ）を参照して後述する。

図３（ｂ）は、図３（ａ）の正面図の一部拡大図である。図３（ｂ）に示される格子状の枠は、撮像素子６の各画素である。一方、ＭＬＡを構成する各マイクロレンズは、太い円２０、２１、２２、２３で示される。図３（ｂ）から明らかなように、一つのマイクロレンズに対して複数の画素が割り当てられている。図３（ｂ）の例では、５行×５列＝２５個の画素が１つのマイクロレンズに対して設けられている（すなわち各マイクロレンズの大きさは画素の大きさの５倍×５倍の大きさである。）。

図３（ｃ）は、撮像素子６を、マイクロレンズの光軸を含みセンサの長手方向が図中の横方向になるように切断した図である。図３（ｃ）において、２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅは、それぞれ、撮像素子６の画素（一つの光電変換部）である。一方、図３（ｃ）の上方に示される図は、撮影光学系３の射出瞳面を示している。実際には、図３（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また図３（ｃ）においては、説明を簡単にするため、１次元の投影処理および信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図３（ｃ）の画素２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅは、図３（ｂ）の画素２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅとそれぞれ対応する位置関係を有する。図３（ｃ）に示されるように、ＭＬＡ２０（マイクロレンズ）によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図３（ｃ）の例では、画素２０−ａと領域３０−ａ、画素２０−ｂと領域３０−ｂ、画素２０−ｃと領域３０−ｃ、画素２０−ｄと領域３０−ｄ、画素２０−ｅと領域３０−ｅがそれぞれ対応している。すなわち画素２０−ａには、撮影光学系３の射出瞳面上の領域３０−ａを通過した光束のみが入射する。他の画素も同様である。また、隣接する画素２１も射出瞳面上の同じ領域と対応している。すなわち、画素２１−ａと領域３０−ａ、画素２１−ｂと領域３０−ｂ、画素２１−ｃと領域３０−ｃ、画素２１−ｄと領域３０−ｄ、画素２１−ｅと領域３０−ｅがそれぞれ対応している。この結果、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。図３を参照して説明した光学系から複数の視点の異なる像を生成するには、前述の特徴を生かして各マイクロレンズの同じ瞳面に対応する画素を配列する。これにより、画像処理装置の入力画像である視点の異なる複数の像を生成することができる。

続いて、図４を参照して、他の撮影光学系について説明する。前述したように本実施例を適用するには、視点の異なる複数の像（光線空間情報）を取得する必要がある。このような光学系がプレノプティックカメラやいわゆる多眼カメラなどとして知られている。図４は、物体（被写体）からの光線が撮像素子６上に結像する状態を示す模式図である。図４（ａ）は、図３で説明した光学系と対応しており、撮影光学系３の結像面の近傍にＭＬＡ２０を配置した例である。図４（ｂ）は、撮影光学系の結像面よりも物体寄りにＭＬＡ２０を配置した例である。図４（ｃ）は、撮影光学系の結像面よりも物体から遠い側にＭＬＡ２０を配置した例である。図４（ｄ）は、いわゆる多眼光学系である。

図４において、６は撮像素子、６ａ、６ｂ、６ｃは多眼光学系を構成する各々の撮像素子、２０はＭＬＡである。また、３０−ａ、３０−ｂ、３０−ｃ、３０−ｄ、３０−ｅは瞳領域、３１ａ〜３５ａは多眼光学系の各々のメインレンズである。５０はメインレンズの仮想結像面（物体との共役面）、５１は物体平面、５１ａ、５１ｂは物体上の点、５２は撮影光学系の瞳平面である。６１、６２、７１、７２、７３、８１、８２、８３、８４は、ＭＬＡ２０上の特定のマイクロレンズである。また、物体上の点５１ａから出て瞳平面上の領域３１、３３を通過する光束を実線で、物体上の点５１ｂから出て瞳平面上の領域３１、３３を通過する光束を一点鎖線でそれぞれ示している。

図４（ａ）の例では、撮影光学系の結像面の近傍にＭＬＡ２０を配置することで、撮像素子６と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とＭＬＡ２０が共役の関係にある。このため、物体上の点５１ａから出た光束はマイクロレンズ６１に、点５１ｂを出た光束はマイクロレンズ６２に到達する。そして、領域３０−ａ〜３０−ｅのそれぞれを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図４（ｂ）の例では、ＭＬＡ２０（マイクロレンズ）で撮影光学系３からの光束を結像させ、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３０−ａを通過した光束は、マイクロレンズ７１に到達し、物体上の点５１ａから出て瞳平面上の領域３０−ｃを通過した光束は、マイクロレンズ７２に到達する。物体上の点５１ｂから出て瞳平面上の領域３０−ａを通過した光束は、マイクロレンズ７２に到達し、物体上の点５１ｂから出て瞳平面上の領域３０−ｃを通過した光束は、マイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域により、異なる位置にそれぞれ結像する。これらを、メインレンズの仮想結像面５０上の位置に配列しなおすことにより、図４（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子６上の位置の情報を得ることができる。

図４（ｃ）の例では、ＭＬＡ２０（マイクロレンズ）で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼ぶ）、その結像面に撮像素子６を設ける。このように配置することにより、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３０−ａを通過した光束は、マイクロレンズ８２に到達し、物体上の点５１ａから出て瞳平面上の領域３０−ｃを通過した光束は、マイクロレンズ８１に到達する。物体上の点５１ｂから出て瞳平面上の領域３０−ａを通過した光束はマイクロレンズ８４に到達し、物体上の点５１ｂから出て瞳平面上の領域３０−ｃを通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図４（ｂ）と同様に、メインレンズの仮想結像面５０上の位置に配列しなおすことにより、図４（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子６上の位置の情報を得ることができる。

図４（ｄ）の例では、メインレンズとＭＬＡという構成ではなく、いわゆる多眼光学系によって同様の情報を得ている。この光学系においては、領域３０−ａ〜３０−ｅに直接メインレンズ３１ａから３５ａを配置して視差像を得ていると考えることが可能である。撮像素子６ａ，６ｂ、６ｃのそれぞれの像は、いわゆる視点の異なる像である。

図４では、ＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系３の光路中に挿入する方法も利用できる。その他の方法として、時分割で複数の視点の異なる像を取得する方法も考えられる。この方法においては、撮影装置において時間的に離間した多数の画像を得るとともに、手振れやユーザーのスイングを利用して複数の視点の異なる像を取得する。

次に、図１を参照して、本実施例における画像処理装置２５０の構成および動作について説明する。図１は、画像処理装置２５０の構成および動作を示す図である。図１（ａ）は画像処理装置２５０の構成を示し、図１（ｂ）は像位置合わせ手段２０１の動作を示している。画像処理装置２５０は、入力画像２００から出力画像２０６を生成するように構成されている。

図１（ａ）において、２００は入力画像（視点の異なる複数の像）である。本実施例において、入力画像２００（複数の像）は、少なくとも露光時間が重複するように取得された画像である。２００ａ、２００ｂは、入力画像２００のうちの任意の２つの像（ある視点の像（第１の像）、他の視点の像（第２の像））である。２０１は像位置合わせ手段、２０２は像位置合わせ手段２０１に設けられた比較器、２０３は統計量算出手段、２０４は画素選択手段、２０５は画像生成手段である。２０６は出力画像である。２１０ａは、像２００ａ上に設けられた比較器２０２で参照される領域（参照領域）である。２１０ｂは、像２００ｂ上に設けられた比較器２０２で比較される領域（比較領域）である。図１（ｂ）において、２１１は比較領域を移動させる方向を示す矢印である。

図３および図４を参照して説明したように、撮影光学系３は、視点の異なる複数の像、すなわち入力画像２００を取得可能なように構成されている。本実施例において、画像処理装置２５０は、入力画像２００に対して後述の画像処理を施す。

像位置合わせ手段２０１は、入力画像２００として視点の異なる複数の像を位置合わせする。すなわち像位置合わせ手段２０１は、像の情報を利用して、基準となる像（図１においては像２００ａ）に対して他の視点の像（図１においては像２００ｂ）の位置合わせを行う。より具体的には、像位置合わせ手段２０１は、基準となる像２００ａの中に参照画像となる領域を指定する。図１（ａ）において、四角い枠を用いて参照領域２１０ａとして模式的に示している。像位置合わせ手段２０１は、参照領域２１０ａと同じ大きさの参照領域２１０ｂを選択し、比較器２０２を用いてそれらの領域中の画像の類似度を判定する。

このように、像位置合わせ手段２０１は、複数の像を構成する像２００ａ（第１の像）の参照領域２１０ａと、複数の像を構成する像２００ｂ（第２の像）の比較領域２１０ｂとを比較する比較器２０２を有する。比較器２０２は、画像の類似度を計測するが、このとき、差分絶対値の積分（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や差分の自乗和（ＳＳＤ：Ｓｕｍ ｏｆ ＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）などを利用することができる。類似度の計測式は、例えば、以下の式（１）、（２）のように表される。

式（１）、（２）において、Ｘ（ｉ）は参照領域の信号、Ｙ（ｉ）は比較領域の信号、ｉは参照領域および比較領域に含まれる画素に対応する添え字である。例えば、８×８の領域である場合、ｉは１から６４までの値である（全ての画素の差分を積分するという意味である）。定義から明らかなように、ＳＡＤおよびＳＳＤは、類似度が高い（参照領域と比較領域の画像がよく似ている）場合に極小値となる。なお本実施例において、類似度の指標としてＳＡＤ、ＳＳＤを例示しているが、他の方法（正規化相互相関や位相限定相関など）を用いて類似度を判定してもよい。

続いて、図１（ｂ）を参照して、像位置合わせ手段２０１の出力について説明する。図１（ｂ）に示されるように、像位置合わせ手段２０１は、参照領域２１０ａに対して比較領域２１０ｂを移動させながら前述の類似度判定を行う。ここで、比較領域２１０ｂの移動方向を限定することができる。同時に取得された視点の異なる複数の画像間には、いわゆるエピポーラ拘束が存在するため、その方向にのみ探索を行えばよい。例えば、図３の瞳平面上の領域３０−ａと瞳平面上の領域３０−ｅを通過した画像を比較する場合、視点位置がＸ方向にのみずれている。このため、探索方向をＸ方向に限定することができる。このことを、図１（ｂ）では矢印２１１として模式的に示している。

また図１（ｂ）に示されるように、本実施例の像位置合わせ手段２０１は、像の信号を基準として位置合わせを行う。このため、位置合わせ後は、図１（ｂ）の右図（矢印の右側の図）のようになる。すなわち、被写体が重なり、画像の枠はずれた状態になる。これを、図１（ｂ）の右図では枠をずらして模式的に示している。つまり、同じ被写体を異なる視点から見た複数の像が入力として与えられた場合、像位置合わせ手段２０１は、同じ被写体に対応する画素が認識することができる。

統計量算出手段２０３は、位置合わせされた複数の像の画素値（輝度値）の統計量を算出する。すなわち統計量算出手段２０３は、同じ被写体に対応する複数の画素の信号から１つの統計量を算出する。ここで統計量とは、複数の像の画素値（輝度値）の最大値、最小値、最頻値、または、中央値である。また、この統計量は、画素ごとまたは入力画像の分割領域ごとに算出される。後述するように、同じ被写体を異なる視点から見た場合、被写体がランバート面で近似できるときには視点によらず同じ信号を得ることができる。一方、鏡面反射光の影響などがあると、視点に応じて異なる信号となる。そのような場合、本実施例の方法によれば、適切に画素を選択することが可能となる。

画素選択手段２０４は、統計量算出手段２０３により算出された統計量に基づいて、位置合わせされた複数の像の画素値（輝度値）の一つを選択する。すなわち画素選択手段２０４は、統計量算出手段２０３の出力に基づいて、出力画像２０６を生成するために用いられる画素を選択する。より具体的には、画素選択手段２０４は、複数の像の画素値（輝度値）の最大値、最小値、最頻値、または、中央値を示す画素値の一つを選択する。従来のリフォーカスなどのアプリケーションにおいては、画素値を加算するが、本実施例の装置においては前述の統計量に基づいて一つの像を選択する。

画像生成手段２０５は、画素選択手段２０４により選択された画素値（輝度値）を用いて出力画像２０６を生成する。すなわち画像生成手段２０５は、画素ごとまたは入力画像をの分割領域ごとにいずれの入力画像を選択するかを画素選択手段２０４の出力に基づいて選択して画像全体を構成し、出力画像２０６を出力する。

続いて、図５を参照して、最大値および最小値を用いることによる効果が分かりやすい、鏡面反射光がある場面について説明する。図５（ａ）において、１００は物体、１０１は光線、１０２は拡散反射光である。図５（ｂ）において、１０３は鏡面反射光、１１１は光線１０１の正反射方向を示す線である。図５（ｃ）において、３は撮影光学系、４は撮影光軸、６は撮像素子、３０−ａ、３０−ｅは図３（ｃ）と対応する撮影光学系３の特定の瞳領域、１０４は拡散反射光と鏡面反射光を加えた反射光である。φ_ａは瞳領域３０−ａの主光線と正反射方向１１１がなす角を、φ_ｅは瞳領域３０−ｅの主光線と正反射方向１１１がなす角である。図５（ｄ）において、１２０は透過および反射を行う物体、１２１は光源、１２２、１２３、１２４は光源からの光線、１３１は被写体、１３２、１３３、１３４は被写体からの光線である。１４２、１４３、１４４は、光線１２２、１２３、１２４の物体１２０表面での反射光、１５２、１５３、１５４は被写体１３１を撮影する視点である。

続いて、２色性反射モデル（「デジタル画像処理」 ＣＧ−ＡＲＴＳ協会 Ｐ．２８１などを参照）について説明する。前述の「デジタル画像処理」によると、２色性反射モデルから特定の場面においては光源色を推定することも可能であるが、灰色の物体など彩度の低い物体においては２色の分離が難しく容易ではない。すなわち、２色ベクトルが従属に近い状態になり推定が困難となる。

まず拡散反射を考える。拡散反射光は多くの場合完全に乱反射するような反射でモデル化され、ランバート反射（このような反射をする面をランバート面）と呼ばれる。図５（ａ）は、ランバート面でモデル化された反射特性を示している。１０２は、各方向への反射が均一な様子を分かりやすくするために示された、反射光の強度の包絡線である。拡散反射光は見る方向によって輝度が変化しない。これは、以下の式（３）のように表される。

Ｌｄ（λ）＝Ｉｅ（λ）Ｋｄ（λ）ｃｏｓθ … （３）
式（３）において、Ｌｄ（λ）は拡散反射光の輝度、Ｉｅ（λ）は光源の輝度、Ｋｄ（λ）は拡散反射特性、θは入射角である。

次に、鏡面反射を考える。鏡面反射光は多くのモデルが提案されており、本実施例ではＣＧなどで多く利用されているフォンモデルを示すが、他のモデルを用いてもよい。すなわち正反射方向となす角によって大きく輝度が変化するという特徴を利用していれば、モデル化は大きな問題ではない。

図５（ｂ）は、フォン反射モデルでモデル化された反射特性を示している。光線１０１の正反射方向１１１に強いピークを持ち、角度が変化すると急に減衰する。１０３は、観察する方向によって反射光が変化する様子を分かりやすくするために示された、反射光の強度の包絡線である。これは、以下の式（４）のように表される。

Ｌｓ（λ）＝Ｉｅ（λ）（ｃｏｓφ）^ｎ … （４）
式（４）において、Ｌｓ（λ）は鏡面反射光の輝度、φは正反射方向と観察方向のなす角、ｎは物体の特性によって決まる定数である。式（４）では、鏡面反射光の波長特性は光源の特性と同じという仮定を利用している。これは、前述の「デジタル画像処理」によると、絶縁体に対しては妥当な仮定である。

上記の鏡面反射光と拡散反射光と合成光を観察しているため、視点ｐから観察した場合、以下の式（５）のように表される。

Ｌ（λ）＝Ｌｄ（λ）＋Ｌｓ（λ）＝Ｉｅ（λ）Ｋｄ（λ）ｃｏｓθ＋Ｉｅ（λ）（ｃｏｓφ_ｐ）^ｎ … （５）
式（５）において、Ｌ（λ）は拡散反射光と鏡面反射光を合わせた反射光の輝度、φ_ｐは正反射方向と視点ｐとのなす角である。

続いて、図５（ｃ）を参照して、本実施例の撮像装置がとらえている光線の状態について説明する。図５（ｃ）に示されるように、撮像装置は、拡散反射光と鏡面反射光が合成された複雑な輝度分布１０４を観察している。このとき、瞳領域３０−ｅを通過する光束は、正反射方向１１１となす角Φｅが小さい。また、瞳領域３０−ａを通過する光束は、正反射方向１１１となす角Φａが大きい。すなわち、式（３）によれば、瞳領域３０−ａと瞳領域３０−ｅを通過する光束を比較した場合、拡散反射光は同じ量含まれているが、鏡面反射光は強度が異なる。一方、本実施例の撮像装置は、瞳の通過領域を分別して光束を取得可能な構成となっている。これらを利用して鏡面反射成分を強調し、または抑制する。

すなわち瞳領域３０−ａから物体１００上の点１００ａを見た信号と、瞳領域３０−ｅから物体１００上の点１００ａを見た信号を比較して、適当な選択基準で出力画像に用いる視点を選択すればよい。また各画素の信号は、鏡面反射光の影響の度合いによって異なり、以下の式（６）が成立する。

｜φ_ａ｜＞｜φ_ｅ｜ならばＬ_ａ（λ）＜Ｌ_ｅ（λ） … （６）
式（６）において、Ｌ_ａ（λ）、Ｌ_ｅ（λ）は、それぞれ、瞳領域３０−ａから物体５０上の点１００ａを見た信号と瞳領域３０−ｅから物体５０上の点１００ａを見た信号である。

式（４）、（６）から明らかなように、正反射方向１１１となす角の絶対値が小さい方向（正反射方向とほぼ等しい方向）から見ると、鏡面反射光の影響が強い。また、正反射方向１１１となす角の絶対値が大きい方向（正反射方向と大きく異なる方向）から見ると、鏡面反射光の影響が小さい。また式（３）〜（５）から明らかなように、拡散反射光は見る方向によって変化しない。

これらの特徴を利用すると、異なる視点から同じ被写体を見たとき、その最大値を選択すれば鏡面反射成分の影響が強い画像を得ることが可能となる。また、最小値を選択すれば鏡面反射成分の影響が弱い画像を得ることが可能となる。すなわち、簡易的に偏光フィルタに類似した効果を得ることができる。

続いて図５（ｄ）を参照して、撮影シーンと本実施例の効果について説明する。図５（ｄ）は、ガラスのような光を透過および反射する物体１２０越しに被写体１３１を撮影しようとしている場面を示している。このとき、強い光源１２１が、物体１２０を境にして考えた場合に視点１５２，１５３，１５４と同じ側にあるとする。

物体１２０の反射率が低くても、光源１２１が十分強い場合、鏡面反射光１４２、１４３、１４４を無視することはできない。特に、視点１５３からは、被写体からの光線１３３と表面反射光１４３が重なってしまい、被写体からの光線を明瞭に捉えることが難しい。一方、位置を少しずらした視点１５２、１５４において、被写体からの光線１３２、１３４と鏡面反射光１４２、１４４が分離されて取得されるため、被写体からの光線を明瞭に取得することができる。各視点で取得した像を被写体および被写体の背景で位置合わせを行った後、統計量として最小値を選択すれば、鏡面反射光の影響が小さい画像が生成される。また、統計量として最大値を選択すれば、鏡面反射光の影響が大きい画像が生成される。

また、いわゆるシャッターチャンスは一瞬で過ぎてしまい再現することができない。このため、多くの視点１５２、１５３、１５４からの像を同時に取得しておき、後程、鏡面反射光の影響を強調または除去することは、撮像装置（カメラ）の性質上好ましい。

次に、図６を参照して、最頻値および中央値を用いることによる効果が分かりやすい、撮像装置の近傍に遮蔽物があるシーンについて説明する。図６（ａ）は複数の視点から被写体を捉えている様子、図６（ｂ）、（ｃ）、（ｄ）は異なる視点から得られる画像、図６（ｄ）は出力画像をそれぞれ示している。

図６（ａ）において、１３１は被写体、１５２、１５３、１５４は複数の異なる視点、１６０は遮蔽物である。図６（ｂ）〜（ｅ）において、１７０は背景（遠方にあるため、図６（ａ）には不図示）である。図６（ｂ）において、１６０ａは視点１５２の位置からの画像に移りこんだ遮蔽物である。図６（ｃ）において、１６０ｂは視点１５３の位置からの画像に移りこんだ遮蔽物である。図６（ｄ）において、１６０ｃは視点１５４の位置からの画像に移りこんだ遮蔽物である。撮像装置のピントは被写体１３１に合うように調整されているため、近傍にある遮蔽物１６０にはボケが生じている。これを図６（ｂ）、（ｃ）、（ｄ）において、それぞれグラデーション１６０ａ、１６０ｂ、１６０ｃで模式的に示している。

図６（ａ）の状況は、例えばネットや柵越しに被写体を捉えるような場面で多く発生する（野球場や柵越しに鉄道を撮影する場面を想定すればよい。）このようなとき、ネットや柵は不要物であるが、画面に写りこんでしまう場合もある。図６の例では、図６（ｂ）、（ｃ）、（ｄ）中の１６０ａ、１６０ｂ、１６０ｃが不要な写りこみに相当する。遮蔽物が空間的に支配的になっていない状態で多くの視点がある場合、複数の視点を利用して遮蔽物の影響を低減することを考えるのは自然である。遮蔽物１６０が撮像装置の十分近くにある場合、少し視点を移動するだけでも被写体位置での写りこみは大きく変化する。このため、異なる視点の像を利用して簡単な基準で遮蔽物の影響がない視点を選択すればよい。

本実施例の画像処理装置では、最頻値または中央値を用いて上記目的を達成する。すなわち、図６（ｂ）、（ｃ）、（ｄ）中の被写体１３１に着目する。図６（ｂ）の被写体１３１は左側、図６（ｄ）の被写体１３１は右側に遮蔽物１６０の影響を受けているが、背景１７０は遮蔽物１６０の影響を受けていない。一方、図６（ｃ）の被写体１３１は遮蔽物１６０の影響を受けていないが、背景１７０が遮蔽物１６０の影響を受けている。

ここで、図１を参照して説明した像位置合わせ手段２０１の出力を考え、そこで最頻値や中央値を考える。図５を参照して説明したように、ランバート面で近似できる被写体では、視点によらず同じ信号が得られる。一方、図６に示されるように遮蔽物があると、その部分の信号のみが他の視点と異なる信号となる。つまり遮蔽物１６０の影響を受けない多くの視点ではほぼ同じ信号が得られ、遮蔽物１６０の影響を受けた少数の視点では前述の信号と大きく異なる値が得られる。このように、他の信号と大きく異なる信号は外れ値と呼ばれ、平均値などに有害な影響を与える。一方、最頻値や中央値などは外れ値に対して頑健で有ることが知られている。そこで最頻値または中央値という簡単な選択基準を用いることで、外れ値の影響を除外することが可能となる。

図６の例では、被写体の左側は図６（ｃ）、（ｄ）が、被写体の右側は図６（ｂ）、（ｃ）が、背景は図６（ｂ），（ｄ）が最頻値または中央値として選択される。これにより、遮蔽物１６０の影響（グラデーション１６０ａ、１６０ｂ、１６０ｃ）が除去され、図６（ｅ）のような画像が出力される。このように本実施例の画像処理装置によれば、簡易な処理で不要な遮蔽物を除去する効果を得ることができる。

次に、図７を参照して、本発明の実施例２における画像処理装置について説明する。図７は、本実施例における画像処理装置２５０ａのブロック図である。画像処理装置２５０ａは、輝度補正手段２１５およびボケ付与手段２２０を備えている点で、実施例１の画像処理装置２５０とは異なる。画像処理装置２５０ａの他の構成は、実施例１の画像処理装置２５０と同様であるため、それらの説明は省略する。

入力画像２００は、視点の異なる複数の像であるが、それぞれ明るさが同一の状態であるとは限らない。例えば、図４（ａ）〜（ｃ）に示される光学系においては、マイクロレンズや主レンズによるケラレ、図４（ｄ）に示される光学系においては光学系のＦナンバーの違いなどにより、明るさが異なる場合がある。このような場合、像位置合わせ手段２０１の処理に先立って、輝度補正を行うことが望ましい。そこで本実施例の画像処理装置２５０ａには、輝度補正を行う輝度補正手段２１５が設けられている。輝度補正手段２１５は、像位置合わせ手段２０１により視点の異なる複数の像（入力画像２００）が位置合わせされる前に、視点の異なる複数の像の輝度値（画素値）を補正する。例えば、輝度補正手段２１５は、前述のケラレや光学系のＦナンバーの情報に基づいてγ補正を施すなどして輝度を揃える。

また、本実施例では、画素選択手段２０４は、統計量に応じて適切な視点が選択されるが、これにより焦点深度の深い画像となる。すなわち、図３および図４に示されるように、複数の視点を分割して取得するため、いわゆる瞳を分割している。これは、Ｆナンバーが大きい像を取得していることと同義であり、取得された各画像（入力画像２００）は、焦点深度の深い状態にある。視点の異なる複数の像の合成方法の一つである加算平均を用いると、加算演算により瞳が合成され、いわゆるボケが再現される。一方、本実施例の方法は加算を行わないため、前述のような加算による瞳の合成が行われない。

そこで本実施例では、像位置合わせ手段２０１の出力に応じて平滑化フィルタを施す。像位置合わせ手段２０１は、いわゆる位相差に基づく焦点検知と同じ動作を行う。このため、出力画像中でピントが合っている度合い（ぼけの度合い）を検出可能である。ボケ付与手段２２０は、画像生成手段２０５の出力に対して所定の領域ごとに平滑化フィルタを施して出力画像２０６を生成する。すなわちボケ付与手段２２０は、ボケの度合いに合わせて平滑化フィルタを調整してフィルタ処理を施す。これにより、焦点深度が浅くより被写体を際立たせた出力画像を生成することができる。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施例によれば、視点の異なる複数の画像から簡単な統計量を用いて画素を選択することにより、所望の効果（偏光フィルタ類似処理や不要物除去などの効果）を取得可能な画像処理装置を提供することができる。また、同様の効果を取得可能な撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０１ 像位置合わせ手段
２０３ 統計量算出手段
２０４ 画素選択手段
２０５ 画像生成手段
２５０ 画像処理装置

Claims (14)

1. 入力画像から出力画像を生成する画像処理装置であって、
   前記入力画像として視点の異なる複数の像を位置合わせする像位置合わせ手段と、
   位置合わせされた前記複数の像の輝度値の統計量を算出する統計量算出手段と、
   前記統計量算出手段により算出された前記統計量に基づいて、位置合わせされた前記複数の像の前記輝度値の一つを選択する画素選択手段と、
   前記画素選択手段により選択された前記輝度値を用いて前記出力画像を生成する画像生成手段と、を有することを特徴とする画像処理装置。
2. 前記複数の像は、少なくとも露光時間が重複するように取得された像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記像位置合わせ手段は、前記複数の像を構成する第１の像の参照領域と、該複数の像を構成する第２の像の比較領域とを比較する比較器を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記統計量は、前記複数の像の前記輝度値の最大値であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記統計量は、前記複数の像の輝度値の最小値であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記統計量は、前記複数の像の輝度値の最頻値であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記統計量は、前記複数の像の輝度値の中央値であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
8. 前記像位置合わせ手段により前記視点の異なる複数の像が位置合わせされる前に、該視点の異なる複数の像の前記輝度値を補正する輝度補正手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像生成手段の出力に対して所定の領域ごとに平滑化フィルタを施して前記出力画像を生成するボケ付与手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 光学像を光電変換する撮像素子と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
11. 撮影光学系を備えたレンズ装置と、
    請求項１０に記載の撮像装置と、を有することを特徴とする撮像システム。
12. 入力画像から出力画像を生成する画像処理方法であって、
    前記入力画像として視点の異なる複数の像を位置合わせするステップと、
    位置合わせされた前記複数の像の輝度値の統計量を算出するステップと、
    前記統計量に基づいて、位置合わせされた前記複数の像の前記輝度値の一つを選択するステップと、
    選択された前記輝度値を用いて出力画像を生成するステップと、を有することを特徴とする画像処理方法。
13. コンピュータに、請求項１２に記載の画像処理方法を実行させるように構成されていることを特徴とするプログラム。
14. 請求項１３に記載のプログラムを記憶していることを特徴とする記憶媒体。