JP2011160266A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】画像処理効率の向上を図る。
【解決手段】撮像装置１は、光学系１０、撮像素子２０および画像処理部３０を備える。光学系１０は、光波面変調素子１０ａが挿入される。撮像素子２０は、光学系１０を通過した被写体像を撮像し、アナログ画像をディジタル画像化する。画像処理部３０は、被写体像を逆フィルタによって画像処理する。この場合、逆フィルタのフィルタ強度が、設定した閾値よりも高い領域を、演算領域として使用して、演算領域を制限した画像処理を行う。
【選択図】図１

Description

本発明は、画像撮影を行う撮像装置および画像処理を行う画像処理方法に関する。

監視カメラ、計測、医用等の分野では、被写界の隅々までピントが合ってほしいという要望が多い。被写界深度を拡大（ＥＤＯＦ：Extension of Depth of Field）するには、Ｆ値（焦点距離／レンズ口径）を大きくすればよいので、簡単にはレンズ口径を小さくすればよい。しかし、レンズ口径を小さくすると、空間分解能が低下し、レンズを通過する光量が減少して像が暗くなってしまう。

一方、近年になって、ＷＦＣ（Wavefront Coding：波面のコード化）と呼ばれる技術が注目されている。ＷＦＣの具体例として、透過光の位相を変調させる光波面変調素子（位相変調素子）と、ディジタル化された画像データに対する画像処理技術との組み合わせが挙げられる。

ＷＦＣは、空間分解能や透過光量を犠牲にせずに被写界深度を拡大する技術であり、レンズ口径を絞ることなく、被写界深度を拡大することが可能である。また、色収差などの影響も受けにくい結像光学系を実現でき、さらにいわゆる光学ズームレンズ機構が不要にできるので、レンズ枚数を低減し、機構や組み立て調整も簡便化することができる。

図７はＷＦＣの概要を説明するための図である。光学系１０にはレンズ１１〜１３が含まれ、レンズ１２とレンズ１３との間に光波面変調素子１０ａが挿入されている。光波面変調素子１０ａを挿入することで、レンズ１１〜１３のみを備えていた元の光学系の結像特性が変化し、光波面変調素子１０ａを含む光学系１０の状態で結像したアナログの中間画像が生成する。

通常の光学系は、収差が十分に補正されるように光学設計されているので、位相板などの余分な位相素子を挿入すると結像性能は低下し、中間画像は劣化画像となる。このとき被写体の位置が焦点位置からある程度ずれても、画像の劣化の度合いが変化しないような位相素子を選ぶことができれば、光軸に沿って同じ劣化画像が並ぶ中間画像が得られる。

光波面変調素子１０ａは、被写体の位置がある程度ずれても、画像の劣化の度合いの変化が少ない位相分布を持った位相素子であり、位相分布が以下の式（１）で表される３次光波面変調素子（キュービック型光波面変調素子）である。αは定数、ｘ、ｙは光軸方向の位置座標である。なお、３次の係数を持つ場合がＥＤＯＦの効果を高めることが知られている。

φ（ｘ，ｙ）＝α（ｘ³＋ｙ³）・・・（１）
一方、光波面変調素子１０ａによって劣化した中間画像は、後段の撮像素子２０で撮像されて、ディジタル画像化される。画像処理部３０では、デコンボリューションフィルタ（逆フィルタ）によるディジタル画像処理を施して、劣化中間画像から劣化成分を除去して、高品質な最終画像を生成する。

図８は位相分布関数を示す図である。上述の位相分布関数の式（１）は、光波面変調素子１０ａの形状の厚さと考えることができるので、厚さをＺとすれば、以下の式（１ａ）となる。したがって、図８は光波面変調素子１０ａの表面形状を模式した図と見ることもできる。

Ｚ＝α（Ｘ³＋Ｙ³）・・・（１ａ）
光波面変調素子１０ａは、式（１ａ）のようにＸ軸およびＹ軸に対して形状変化を持たせた厚みを有することで入射光を位相変調させて出射する。このような特徴を持つ光波面変調素子１０ａを使用することで、被写体の位置がある程度ずれても中間画像の劣化の度合の変化が少なくなり、劣化度合いが既知となる。このため、画像処理部３０で適切な画像処理を行うことにより、焦点位置に対して、被写体のずれ量によらず回折限界まで復元された鮮明な画像を得ることができる。

従来技術として、ＷＦＣにより被写界深度を拡大して画像撮影を行う技術が提案されている（例えば、特許文献１および非特許文献１）。また、逆フィルタのインパルス応答によるデータ補正を行って、画質劣化を抑制する技術が提案されている（例えば、特許文献２）。

特開２００３−２３５７９４号公報 特開２００４−２４６５９号公報

E. R. Dowski and W.T. Cathey, "Extended Depth of Field Through Wavefront Coding", Applied Optics, vol. 34, no 11, pp. 1859-1866, April, 1995

画像ボケのような画像劣化は、ＰＳＦ（Point Spread Function：点像分布関数）で表現されることが多い。ＰＳＦは、光学系の点光源に対する応答を表すもので、理想的な点像が光学系を通過した場合に、点像がどの程度広がるかを表す関数である。

例えば、光学系を通じて試料の１点をスクリーン上に映した場合、レンズの回折によって元の点と同じ大きさにはならず、ボケて広がったスポットが映し出される。このスポットがＰＳＦによって生成された像であり、このとき映し出されたボケ画像は、元の画像情報にＰＳＦを乗算（コンボリューション）した像となって現れる。

また、ＰＳＦにしたがって広がった像を元の像に戻すためには、得られた像に対して逆操作、すなわちＰＳＦによる割り算（ＰＳＦの逆行列演算）を行えばよい。
具体的には、ＰＳＦをフーリエ変換した結像光学系の空間周波数伝達特性を表すＯＴＦ（Optical Transfer Function：光学伝達関数）で割り算することによる逆フィルタ処理を行う。

ただし、ＯＴＦが非常に小さな空間周波数であったりする場合等は、ノイズが増幅されることになるので、適切な拘束条件または逆関数を選択して、逆フィルタ処理を実行することになる。

図９は一般的な逆フィルタ処理の概要を示す図である。通常の逆フィルタ処理では、撮像素子上で得られた画像の画素を縦横に並べた画像行列に対して、カーネル（Kernel）と呼ばれる行列の逆フィルタで演算処理する。

簡単のため、カーネルを３×３の行列とする。また、カーネルの各要素（カーネルデータ）をａ〜ｉとし、カーネルが作用する画像領域の画素値をＡ〜Ｉとする。まず、画像行列からカーネルが作用する画像領域の画素値Ａ〜Ｉを読み取り、読み取った画素値とカーネルデータとの積和演算（畳み込み演算）を行って、画像処理を行う。

図の場合では、Ａ×ａ＋Ｂ×ｂ＋Ｃ×ｃ＋Ｄ×ｄ＋Ｅ×ｅ＋Ｆ×ｆ＋Ｇ×ｇ＋Ｈ×ｈ＋Ｉ×ｉ＝Ｅ₁となり、元の画素値Ｅは、新しい画素値Ｅ₁に変換される。このような処理を適切なカーネル（逆フィルタ）を用意して、他の画素値に対しても行うことで、ボケた画像をシャープな画像にしたり、ノイズが除去された画像を生成したりする。

図１０は逆フィルタのフィルタ強度を示す図である。ＷＦＣによって得られた画像の逆フィルタは、光波面変調素子を通過した後のＰＳＦをフーリエ変換したＯＴＦの逆数をとることによって生成されるが、このときの逆フィルタは、フィルタ強度に片寄りが生じる。Ｚ軸は、逆フィルタのフィルタ強度を表しており、図に示すように、フィルタ強度は、第２象限側に片寄っている。

逆フィルタのフィルタ強度の片寄りは、逆フィルタの縦、横の要素数（ドット数）、つまり有効な演算領域に片寄りがあることを示している。このように、光波面変調素子から得られた逆フィルタは、フィルタ強度に片寄りが生じる（有効演算領域に片寄りが生じる）ことになるが、従来では、このような片寄りを何ら考慮せずに逆フィルタ処理を行っていた。

すなわち、ＷＦＣによって得られた画像における従来の逆フィルタ処理では、撮像素子でのＡ／Ｄ変換後の画像に対して、逆フィルタのフィルタ強度の強弱に関係なく、フィルタ強度の第１象限から第４象限の全領域に渡って、デコンボリューションの演算を行って画像を復元させていた。このため、画像処理効率が非効率的であり、特に撮像素子が高画素数であるほど、その影響は顕著であるといった問題があった。

本発明はこのような点に鑑みてなされたものであり、画像処理効率を向上させた撮像装置を提供することを目的とする。
また、本発明の他の目的は、画像処理効率を向上させた画像処理方法を提供することである。

上記課題を解決するために、撮像装置が提供される。この撮像装置は、光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記被写体像を逆フィルタによって画像処理する画像処理部とを備える。前記画像処理部は、前記逆フィルタのフィルタ強度が閾値よりも高い領域に演算領域を制限して前記画像処理を行う。

画像処理効率の向上を図ることが可能になる。

撮像装置の構成例を示す図である。 撮像装置の構成例を示す図である。 フレア領域を示す図である。 逆フィルタ処理を示す図である。 逆フィルタの周波数特性を示す図である。 撮像装置の動作を示すフローチャートである。 ＷＦＣの概要を説明するための図である。 位相分布関数を示す図である。 一般的な逆フィルタ処理の概要を示す図である。 逆フィルタのフィルタ強度を示す図である。

以下、本発明の実施の形態を図面を参照して説明する。図１は撮像装置の構成例を示す図である。撮像装置１は、光学系１０、撮像素子２０および画像処理部３０を備える。
光学系１０は、図示しない複数レンズを備えて被写体像を形成する。また、レンズの間には、光波面変調素子１０ａが挿入される。光波面変調素子１０ａは、焦点距離に応じてＯＴＦの変化を少なくする素子である。

撮像素子２０は、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを使用でき、光学系１０を通過した被写体像を撮像し、アナログ画像をディジタル画像化する。

画像処理部３０は、被写体像を逆フィルタによって画像処理する。この場合、逆フィルタのフィルタ強度が、設定した閾値よりも高い領域を演算領域として使用して、演算領域を制限した画像処理を行う。

次に撮像装置の構成および動作について詳しく説明する。図２は撮像装置の構成例を示す図である。撮像装置１ａは、光学系１０、撮像素子２０、画像処理部３０およびモニタ部４０を備える。また、画像処理部３０は、プロセッサ部３１、レジスタ３２ａ、３２ｂ、フィルタ強度処理部３３、デコンボリューション部３４および画像補正部３５を含む。

プロセッサ部３１は、図示しないメモリを有しており、このメモリには、露出状態に応じて、最適な逆フィルタを選択するための情報が登録されている。プロセッサ部３１は、登録情報から現在の露出状態に応じた最適な逆フィルタを認識し、演算に用いるべき逆フィルタ（カーネル）を選択するための選択信号をレジスタ３２ａへ送信する。

レジスタ３２ａは、逆フィルタを複数個格納しており、プロセッサ部３１より送信された選択信号を受けて、演算に用いる逆フィルタを決定して出力する。フィルタ強度処理部３３は、レジスタ３２ａから逆フィルタを受け取る。そして、逆フィルタ強度に閾値を設けて、閾値以上の強度を持つ要素（演算領域）以外を削除する。

ＷＦＣによって得られる逆フィルタのフィルタ強度、すなわち、光波面変調素子１０ａを通過した後のＰＳＦをフーリエ変換したＯＴＦの逆数をとることによって生成される逆フィルタのフィルタ強度は、上述したように、フィルタ強度分布の第２象限側に集中して現れる。

したがって、フィルタ強度処理部３３では、第２象限の要素と第２象限のフレア領域の要素とを残して、それ以外の要素を削除することになる。図３にフレア領域を示す。フレア領域とは、第２象限近傍の領域のことであって、フィルタ強度の分布上において、第２象限と第１象限との境界近傍の領域および第２象限と第３象限との境界近傍の領域を指す。

レジスタ３２ｂは、フィルタ強度処理部３３で処理された、閾値以上のフィルタ強度を持つ逆フィルタ（第２象限領域および第２象限のフレア領域に演算領域が制限されている逆フィルタ）を格納する。

デコンボリューション部３４は、撮像素子２０から出力されたＡ／Ｄ変換後の画像信号と、レジスタ３２ｂに格納されている逆フィルタとのデコンボリューション演算を行う。
画像補正部３５は、デコンボリューション演算後の画像信号に所定の画像補正処理を行って処理後の画像信号を出力する。モニタ部４０は、画像処理部３０から出力された画像信号のモニタ表示を行う。

なお、画像補正部３５における画像補正処理としては、例えば、カラー補間（色調を隣接画素間で混合して滑らかな色の変化を生成するための機能）、ホワイトバランス（白色が白く映るように補正する機能）、圧縮、ファイリング等の処理が行われる。

ここで、被写体は、光波面変調素子１０ａを含む光学系１０を通過して被写体像となり、撮像素子２０に入ってアナログ信号からディジタル信号の画像に変換されて、画像処理部３０へ出力される。

画像処理部３０において、プロセッサ部３１は、撮像装置１ａの露出制御における露出情報（絞り情報）に応じて、レジスタ３２ａに格納されている複数の逆フィルタから最適な逆フィルタを選択する。

これは、露出を絞って撮影を行う場合、絞りによって光波面変調素子１０ａの一部が覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となるおそれがあるからである。

このため、露出の状態に適した画像を形成することが可能な逆フィルタを複数個レジスタ３２ａに格納しておき、この中から最適な逆フィルタを選択するようにする。このように、露出の状態（絞りの状態）にもとづいて、適応的に逆フィルタを選択することで、精細な画像を復元することが可能になる。

一方、光波面変調素子１０ａから得られた逆フィルタのフィルタ強度は、上述したように第２象限側に集中する傾向がある。そこで、撮像装置１ａでは、レジスタ３２ｂに格納する逆フィルタは、従来のカーネル分布の中心に対して、分布の強度が高い領域を残すように演算領域を制限する。このとき、その制限された領域の中心は、従来のカーネル中心よりも第２象限側の対角方向にずれていることを特徴とする。

すなわち、レジスタ３２ａに格納されている逆フィルタは、通常のカーネルサイズとなっており、レジスタ３２ｂに格納されている逆フィルタは、従来のカーネル中心（全領域の中心）よりも第２象限側の対角方向に中心がずれて、演算領域が制限されたカーネルサイズとなる。

レジスタ３２ｂに格納されているカーネルは、第２象限および第２象限のフレア領域の分布である。第２象限のみの分布とせずに、フレア領域までを含めることにしたのは、第２象限のフレア領域にも画像復元に必要なカーネルが存在するからである。

したがって、フィルタ強度処理部３３では、レジスタ３２ａに格納されているカーネル分布に対して、第２象限の要素と第２象限のフレア領域の要素とを残して、それ以外の要素を削除するような適切な閾値を設定する。そして、閾値を超えないカーネルは削除してカーネルサイズを調整する。

図４は逆フィルタ処理を示す図である。撮像素子２０から出力されたディジタル中間画像に対し、逆フィルタｆ１によって、デコンボリューション演算を行って、再生画像を出力する。この逆フィルタｆ１は、フィルタ強度の分布が、第２象限および第２象限のフレア領域を演算領域とし、それ以外の領域は演算領域としないフィルタ強度を持つ。なお、図５は逆フィルタの周波数特性を示す図である。縦軸は振幅、横軸は周波数である。

図６は撮像装置１ａの動作を示すフローチャートである。
〔Ｓ１〕光波面変調素子１０ａを含む光学系１０で被写体像が結像して中間画像が生成される。

〔Ｓ２〕撮像素子２０は、アナログ中間画像を撮像し、Ａ／Ｄ変換を行ってディジタル中間画像を出力する。
〔Ｓ３〕プロセッサ部３１は、露出状態に応じた逆フィルタを選択するための選択信号をレジスタ３２ａへ送信する。

〔Ｓ４〕レジスタ３２ａは、選択信号にもとづき、露出状態に適した逆フィルタを出力する。
〔Ｓ５〕フィルタ強度処理部３３は、レジスタ３２ａから逆フィルタを受信し、演算領域が所定の演算領域であるか否か、すなわち演算領域が第２象限および第２象限のフレア領域であるか否かを判断する。所定の演算領域でない場合はステップＳ６へいき、所定の演算領域である場合はステップＳ７へいく。

〔Ｓ６〕フィルタ強度処理部３３は、第２象限および第２象限のフレア領域以外の領域のカーネルを削除する。ステップＳ５へ戻る。
〔Ｓ７〕レジスタ３２ｂは、フィルタ強度処理部３３で生成された逆フィルタ、すなわち、設定した閾値以上のフィルタ強度を持つ逆フィルタであって、第２象限および第２象限のフレア領域に演算領域が制限されている逆フィルタを格納して出力する。

〔Ｓ８〕デコンボリューション部３４は、撮像素子２０から入力されたＡ／Ｄ変換後の画像信号と、レジスタ３２ｂに格納されている逆フィルタとでデコンボリューション演算を行う。

〔Ｓ９〕画像補正部３５は、デコンボリューションの後の画像信号に所定の画像補正処理を行って補正後の画像信号を出力する。
〔Ｓ１０〕モニタ部４０は、画像処理部３０から送信された画像信号のモニタ表示を行う。

以上説明したように、撮像装置では、光波面変調素子１０ａのＰＳＦにもとづいて得られる逆フィルタの演算領域の中心を、従来のカーネル中心よりも第２象限側の対角方向へずらして、第２象限および第２象限のフレア領域を含む領域を演算領域とした。これにより、フィルタ強度の高い領域を演算領域にしてデコンボリューションするので、画像処理効率の向上を図ることが可能になる。

なお、光波面変調素子には、波面を変形させた位相素子として、位相板の他にも、屈折率が変化する光学素子（屈折率分布型波面変調レンズ）や、光の位相分布を変調可能な液晶素子（液晶空間位相変調素子）等を使用することもできる。

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。
（付記１） 光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記被写体像を逆フィルタによって画像処理する画像処理部と、
を備え、
前記画像処理部は、前記逆フィルタのフィルタ強度が閾値よりも高い領域に演算領域を制限して前記画像処理を行う、
ことを特徴とする撮像装置。

（付記２） 前記画像処理部は、前記フィルタ強度の分布の第２象限の領域および前記第２象限のフレア領域を前記演算領域とする前記閾値を設定することを特徴とする付記１記載の撮像装置。

（付記３） 前記画像処理部によって制限された前記演算領域の中心は、前記第２象限側の対角方向へずれていることを特徴とする付記２記載の撮像装置。
（付記４） 前記画像処理部は、前記逆フィルタを複数個用意し、露出の状態に応じて前記逆フィルタを選択することを特徴とする付記１記載の撮像装置。

（付記５） 画像処理方法において、
光波面変調素子を含む光学系で被写体像を撮像し、
前記被写体像を逆フィルタによって画像処理し、
前記画像処理の際は、前記逆フィルタのフィルタ強度が閾値よりも高い領域に演算領域を制限して前記画像処理を行う、
ことを特徴とする画像処理方法。

１ 撮像装置
１０ 光学系
１０ａ 光波面変調素子
２０ 撮像素子
３０ 画像処理部

Claims (4)

1. 光波面変調素子を含む光学系と、
   前記光学系を通過した被写体像を撮像する撮像素子と、
   前記被写体像を逆フィルタによって画像処理する画像処理部と、
   を備え、
   前記画像処理部は、前記逆フィルタのフィルタ強度が閾値よりも高い領域に演算領域を制限して前記画像処理を行う、
   ことを特徴とする撮像装置。
2. 前記画像処理部は、前記フィルタ強度の分布の第２象限の領域および前記第２象限のフレア領域を前記演算領域とする前記閾値を設定することを特徴とする請求項１記載の撮像装置。
3. 前記画像処理部は、前記逆フィルタを複数個用意し、露出の状態に応じて前記逆フィルタを選択することを特徴とする請求項１記載の撮像装置。
4. 画像処理方法において、
   光波面変調素子を含む光学系で被写体像を撮像し、
   前記被写体像を逆フィルタによって画像処理し、
   前記画像処理の際は、前記逆フィルタのフィルタ強度が閾値よりも高い領域に演算領域を制限して前記画像処理を行う、
   ことを特徴とする画像処理方法。

Images