JP2011229111A

JP2011229111A - 画像撮像装置

Info

Publication number: JP2011229111A
Application number: JP2010230315A
Authority: JP
Inventors: Shuji Ono; 修司小野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-29
Filing date: 2010-10-13
Publication date: 2011-11-10
Also published as: US20110234833A1; US8508613B2

Abstract

【課題】撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の被写界深度を実効的に拡大する画像撮像装置において、光電変換特性が非線形特性を有する撮像素子を用いて撮影を行なった場合でも、より正確な復元画像データを取得できるようにする。
【解決手段】線形補正部１５において、撮像素子１３における入力光に対する出力信号値の特性が線形となるように、画像データ（Ａ／Ｄ変換後のデジタル画像信号）に対して補正を行い、画像処理部１６において、線形補正後の画像データに対して被写界深度拡大処理用の復元処理を施す。
【選択図】図１

Description

本発明は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置に関する。

従来より、レンズ光学系の光学伝達関数が焦点位置からある程度の範囲内で本質的に一定となるように、光軸方向における予め定められた物体距離の範囲にわたって撮像素子が設けられた位置における光学伝達関数を略一定にする光学フィルタを設けるとともに、撮影により取得した画像データを撮影光学系のボケ特性とは逆の特性を持つ復元フィルタに通す処理を行うことにより、焦点位置からある程度の範囲内で合焦状態となった画像を取得可能なＥＤｏＦ（被写界深度拡大、Extended Depth of Field）機能が提案されている。（例えば非特許文献１）
ここで、このＥＤｏＦ機能について詳細に説明する。図４はＥＤｏＦ処理の説明図（被写体が点像の場合）、図５はＥＤｏＦ処理の説明図（被写体がエッジ像の場合）、図６は撮像素子における入力輝度に対する出力信号値の特性の一例を示す図、図７は一般的な撮像素子を用いた場合のＥＤｏＦ処理の説明図（被写体が点像の場合）、図８は一般的な撮像素子を用いた場合のＥＤｏＦ処理の説明図（被写体がエッジ像の場合）である。

ＥＤｏＦ機能を有する画像撮像装置において図４（ａ）に示すような点像を撮影する場合、図４（ｂ）に示すように撮影光学系のボケ特性に従って撮像素子が設けられた位置では点像が拡散する。画像撮像装置が備える撮像素子は、この拡散した点像を撮影することにより、図４（ｃ）に示すように点像の画像データを取得する。

そして、この画像データを、図４（ｄ）に示すような撮影光学系のボケ特性とは逆の特性を持つ復元フィルタに通す処理を行うことにより、図４（ｅ）に示すように元の点像に極めて近い画像データを得ることが可能となる。

また、図５（ａ）に示すようなエッジ像を撮影する場合も同様に、図５（ｂ）に示すように撮影光学系のボケ特性に従って撮像素子が設けられた位置ではエッジ像が拡散する。画像撮像装置が備える撮像素子は、この拡散したエッジ像を撮影することにより、図５（ｃ）に示すようにエッジ像の画像データを取得する。

そして、この画像データを、図５（ｄ）に示すような撮影光学系のボケ特性とは逆の特性を持つ復元フィルタに通す処理を行うことにより、図５（ｅ）に示すように元のエッジ像に極めて近い画像データを得ることが可能となる。

特開平２００８−０１７５３６号公報

Edward R.Dowski,Jr.,W.Thomas Cathey,"Extended depth of fieldthrough wave-front coding"Appl.Opt.Vol.34, pp.1859-1866(1995)

上記の説明では、撮像素子については入力輝度−出力信号値特性（光電変換特性）が線形特性を有する理想的な撮像素子を用いたものとして説明しているため、画像データ（図４（ｃ）、図５（ｃ））は、撮影光学系のボケ特性（図４（ｂ）、図５（ｂ））を正確に反映している。

しかしながら、近年では撮像素子のダイナミックレンジを広げるために、撮像素子の光電変換特性について、対数特性としたり、低感度領域でより急峻な特性を持つような二重線形特性とする（例えば特許文献１）ことが提案されている。また、このような工夫がなされていない一般的な撮像素子であっても、撮像素子の光電変換特性は、図６中に実線で示すように、広範囲で線形に近い特性を実現するように工夫はされているものの、全領域で完全な線形特性を有する撮像素子というのは極めて稀である。

光電変換特性について上記のように非線形特性を有する撮像素子を用いて図４（ａ）に示すような点像を撮影した場合、図７に示すように、撮影光学系のボケ特性（図７（ａ））と、撮像素子において取得する画像データの信号強度分布（図７（ｂ））が異なることになる。ＥＤｏＦ処理における復元フィルタ（図７（ｃ））は、撮影光学系のボケ特性と逆の特性を持つように設計されるため、上記のように、撮影光学系のボケ特性と撮像素子において取得する画像データの信号強度分布とが異なってしまうと、画像データを復元フィルタに通す処理を行っても、図７（ｄ）に示すように、点像を表す画像信号値が本来の値よりも低くなるエラー（アンダーシュート）が生じて、元の点像とは異なる画像となってしまうという問題がある。

また、図５（ａ）に示すようなエッジ像を撮影した場合も同様に、図８に示すように、撮影光学系のボケ特性（図８（ａ））と、撮像素子において取得する画像データの信号強度分布（図８（ｂ））が異なることになる。ＥＤｏＦ処理における復元フィルタ（図８（ｃ））は、撮影光学系のボケ特性と逆の特性を持つように設計されるため、上記のように、撮影光学系のボケ特性と撮像素子において取得する画像データの信号強度分布とが異なってしまうと、画像データを復元フィルタに通す処理を行っても、図８（ｄ）に示すように、エッジ像の上側（図中左側）では画像信号値が本来の値よりも高くなるエラー（オーバーシュート）が生じ、エッジ像の下側（図中右側）では画像信号値が本来の値よりも低くなるエラー（アンダーシュート）が生じて、元のエッジ像とは異なる画像となってしまうという問題がある。

もちろん、撮影光学系のボケ特性や撮像素子の光電変換特性等の違いにより、復元後のエラーの態様は必ずしも上記の通りにならないこともあるが、いずれにしても光電変換特性について上記のように非線形特性を有する撮像素子を用いると、復元後の画像にはエラーが生じることになる。

上記では被写体について点像およびエッジ像を例に説明したが、このような現象はこれらに限らずどのような被写体であっても起こりえるものである。

なお、ＲＧＢカラーフィルターを備え、カラー画像を取得できる撮像素子においては、各色毎に非線形特性が異なっている場合も多い。また、光電変換感度が異なる複数種類の撮像素子を組み合わせたものにおいては、高感度の撮像素子と低感度の撮像素子とで非線形特性が異なっている場合も多い。

本発明は、上記事情に鑑みてなされたものであり、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の被写界深度を実効的に拡大する画像撮像装置において、光電変換特性が非線形特性を有する撮像素子を用いて撮影を行なった場合でも、より正確な復元画像データを取得可能な画像撮像装置を提供することを目的とするものである。

本発明の画像撮像装置は、撮像手段により被写体を撮像して得た画像信号に対して復元処理を施して撮像手段の被写界深度を実効的に拡大する画像撮像装置において、被写体からの光を結像する光学系および光学系により結像された光を撮像して画像信号を取得する撮像素子からなる撮像手段と、撮像素子における入力光に対する出力信号値の特性が線形となるように、画像信号に対して補正を行う線形補正手段と、補正後の画像信号に対して復元処理を行う画像処理手段とを備えたことを特徴とするものである。

本発明の画像撮像装置においては、撮像手段を、入力光に対する出力信号値の特性が異なる複数の撮像素子を備えたものとし、線形補正手段を、撮像素子毎に異なる補正処理を行うものとしてもよい。ここで、「入力光に対する出力信号値の特性が異なる複数の撮像素子」とは、撮像素子毎に互いに異なる色のカラーフィルターを備えたものや、互いに異なる感度の撮像素子、もしくは撮像素子毎に互いに異なる色のカラーフィルターを備えるとともに互いに異なる感度の撮像素子を指す。なお、「複数の撮像素子」とは、入力光に対する出力信号値の特性が異なる個別の撮像素子を複数備えたものだけでなく、Ｒ用／Ｇ用／Ｂ用もしくは高感度用／低感度用等、1つの撮像素子の中で用途毎に画素特性の種類が分かれているものも含む。

また、線形補正手段は、撮像素子から出力されたアナログ信号をＡ／Ｄ変換した後のデジタル信号に対して補正を行うものとしてもよいし、撮像素子から出力されたアナログ信号に対して補正を行うものとしてもよい。

本発明の画像撮像装置によれば、撮像手段により被写体を撮像して得た画像信号に対して復元処理を施して撮像手段の被写界深度を実効的に拡大する画像撮像装置において、被写体からの光を結像する光学系および光学系により結像された光を撮像して画像信号を取得する撮像素子からなる撮像手段と、撮像素子における入力光に対する出力信号値の特性が線形となるように、画像信号に対して補正を行う線形補正手段と、補正後の画像信号に対して復元処理を行う画像処理手段とを設け、撮像素子において取得した画像信号が光学系のボケ特性を正確に反映するように補正してから被写界深度拡大のための復元処理を行うようにしたので、正確な復元画像信号を取得することが可能となる。

本発明の画像撮像装置において、撮像手段を、入力光に対する出力信号値の特性が異なる複数の撮像素子を備えたものとし、線形補正手段を、撮像素子毎に異なる補正処理を行うものとすれば、本発明を例えばカラー撮影やダイナミックレンジ拡大撮影等に応用した場合でも、各撮像素子毎に異なる非線形特性を考慮した適切な補正処理を行うことができるので、より正確な復元画像信号を取得することが可能となる。

また、線形補正手段を、撮像素子から出力されたアナログ信号をＡ／Ｄ変換した後のデジタル信号に対して補正を行うものとした場合には、画像撮像装置が従来から備えるＣＰＵ等の演算回路において処理を行なわせることができるため、部品点数の増加を招くことなく本発明の画像撮像装置を実現することが可能であり、また、撮像素子から出力されたアナログ信号に対して補正を行うものとした場合には、後段の画像処理については従来と同等のものとすることができるため、演算コストの増加を招かずに本発明の画像撮像装置を実現することが可能である。

本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図上記画像撮像装置におけるＥＤｏＦ処理の説明図（被写体が点像の場合）上記画像撮像装置におけるＥＤｏＦ処理の説明図（被写体がエッジ像の場合）ＥＤｏＦ処理の説明図（被写体が点像の場合）ＥＤｏＦ処理の説明図（被写体がエッジ像の場合）撮像素子における入力輝度に対する出力信号値の特性の一例を示す図一般的な撮像素子を用いた場合のＥＤｏＦ処理の説明図（被写体が点像の場合）一般的な撮像素子を用いた場合のＥＤｏＦ処理の説明図（被写体がエッジ像の場合）

以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図である。

画像撮像装置１０は、被写体１１から来た光を撮像素子１３上に結像するための撮影光学系１２、結像された光学像を画像信号に変換する撮像素子１３、撮像素子１３から出力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換部１４、撮像素子１３における入力光に対する出力信号値の特性が線形となるように、画像データ（Ａ／Ｄ変換後のデジタル画像信号）に対して補正を行う線形補正部１５、線形補正後の画像データに対して被写界深度拡大処理用の復元処理を施す画像処理部１６、復元処理後の画像データを表示するモニタ等の画像表示部１７、記録媒体に画像データを記録する画像記録部１８より構成される．
撮影光学系１２は、レンズ光学系と、レンズ光学系の光学伝達関数が焦点位置からある程度の範囲内で本質的に一定となるように、光軸方向における予め定められた物体距離の範囲にわたって撮像素子１３が設けられた位置における光学伝達関数を略一定にする光学フィルタとから構成される。

撮像素子１３は、ＲＧＢカラーフィルターを備え、１画素が３色の色画素により構成されるものである。なお、撮像素子１３は、ＣＣＤセンサやＣＭＯＳセンサ等の固体撮像素子が好適であるが、特に限定は無く、どのようなものを用いてもよい。またカラーフィルターについても、特に限定は無く、どのようなものを用いてもよい。

本発明の撮像手段は、これら撮影光学系１２および撮像素子１３から構成される。

線形補正部１５は、撮像素子１３における入力光に対する出力信号値の特性が線形となるように、画像データ（Ａ／Ｄ変換後のデジタル画像信号）に対して補正を行うものであり、この補正方法としては、本実施の形態では補正前の画像データの画素値と補正後の画像データの画素値を対応付けたＬＵＴ（Look-Up Table）を用意して、画像データの各色画素毎に信号値の補正を行うが、これ以外にも、画像データ全体に対してγ処理を行なう等、どのような方法を用いてもよい。

画像処理部１６は、被写界深度拡大処理用の復元処理として、線形補正後の画像データを撮影光学系１２のボケ特性とは逆の特性を持つ復元フィルタに通す処理を行う。なお、この復元処理の内容については特に限定するものではなく、空間周波数領域におけるフィルタリング処理を適用する以外に、実空間におけるカーネル処理を適用する等、どのような方法を用いてもよい。

次に上記のように構成された画像撮像装置１０の作用について、図２および図３を用いて説明する。まず、撮影対象が図４（ａ）に示すような点像である場合を例に説明する。

まず、被写体１１（点像）に対して撮像手段（撮影光学系１２および撮像素子１３）により撮影が行なわれ、Ａ／Ｄ変換部１４により撮像素子１３から出力されたアナログ画像信号をデジタル画像信号に変換することにより画像データ（図２（ｂ））が取得されるが、この画像データは撮影光学系１２のボケ特性（図２（ａ））を正確には反映していない。

そのため、本実施の形態では、画像データをＲＧＢ各色毎に分離し、各色毎に線形補正部１５において、ＬＵＴを参照して各色画素毎に信号値の補正を行い、撮像素子１３における入力光に対する出力信号値の特性が線形となるように補正した画像データ（図２（ｃ））を取得する。

画像処理部１６では、線形補正後の画像データを撮影光学系１２のボケ特性とは逆の特性を持つ復元フィルタ（図２（ｄ））に通す処理を行うことにより、元の被写体１１（点像）に極めて近い画像データ（図２（ｅ））を得ることが可能となる。

また、撮影対象が図５（ａ）に示すようなエッジ像である場合も同様である。

まず、被写体１１（エッジ像）に対して撮像手段（撮影光学系１２および撮像素子１３）により撮影が行なわれ、Ａ／Ｄ変換部１４により撮像素子１３から出力されたアナログ画像信号をデジタル画像信号に変換することにより画像データ（図３（ｂ））が取得されるが、この画像データは撮影光学系１２のボケ特性（図３（ａ））を正確には反映していない。

そのため、本実施の形態では、画像データをＲＧＢ各色毎に分離し、各色毎に線形補正部１５において、ＬＵＴを参照して各色画素毎に信号値の補正を行い、撮像素子１３における入力光に対する出力信号値の特性が線形となるように補正した画像データ（図３（ｃ））を取得する。

画像処理部１６では、線形補正後の画像データを撮影光学系１２のボケ特性とは逆の特性を持つ復元フィルタ（図３（ｄ））に通す処理を行うことにより、元の被写体１１（エッジ像）に極めて近い画像データ（図３（ｅ））を得ることが可能となる。

なお、上記では被写体について点像およびエッジ像を例に説明したが、どのような被写体であっても上記の処理を行うことによって元の被写体に極めて近い画像データを得ることが可能となる。

以上の手順により復元処理が施された画像データは、モニタ等の画像表示部１７に表示されたり、また画像記録部１８で記録メディア等に記録される。

以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではない。

例えば、撮像素子から出力された画像信号の線形補正について、上記のようにＡ／Ｄ変換後に行なう態様に限らず、アナログ回路を用いて撮像素子から出力されたアナログ信号に対して直接補正を行うようにしてもよい。

また、これ以外にも、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。

１０画像撮像装置
１１被写体
１２撮影光学系
１３撮像素子
１４Ａ／Ｄ変換部
１５線形補正部
１６画像処理部
１７画像表示部
１８画像記録部

Claims

撮像手段により被写体を撮像して得た画像信号に対して復元処理を施して前記撮像手段の被写界深度を実効的に拡大する画像撮像装置において、
被写体からの光を結像する光学系および該光学系により結像された光を撮像して画像信号を取得する撮像素子からなる撮像手段と、
前記撮像素子における入力光に対する出力信号値の特性が線形となるように、前記画像信号に対して補正を行う線形補正手段と、
前記補正後の画像信号に対して前記復元処理を行う画像処理手段とを備えたことを特徴とする画像撮像装置。
前記撮像手段が、入力光に対する出力信号値の特性が異なる複数の撮像素子を備え、
前記線形補正手段が、前記撮像素子毎に異なる補正処理を行うものであることを特徴とする請求項１記載の画像撮像装置。
前記複数の撮像素子が、撮像素子毎に互いに異なる色のカラーフィルターを備えたものであることを特徴とする請求項２記載の画像撮像装置。
前記複数の撮像素子が、互いに異なる感度の撮像素子であることを特徴とする請求項２または３記載の画像撮像装置。
前記線形補正手段が、前記撮像素子から出力されたアナログ信号をＡ／Ｄ変換した後のデジタル信号に対して補正を行うものであることを特徴とする請求項１から４のいずれか１項記載の画像撮像装置。
前記線形補正手段が、前記撮像素子から出力されたアナログ信号に対して補正を行うものであることを特徴とする請求項１から４のいずれか１項記載の画像撮像装置。