JP2011013857A

JP2011013857A - 画像処理装置

Info

Publication number: JP2011013857A
Application number: JP2009156278A
Authority: JP
Inventors: Takayuki Ogasawara; 隆行小笠原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-06-30
Filing date: 2009-06-30
Publication date: 2011-01-20
Anticipated expiration: 2029-06-30
Also published as: US20100328502A1; JP5159715B2; US8237829B2

Abstract

【課題】固定焦点のカメラモジュールを使用する撮影によって高い解像度の画像を得るための画像処理装置を提供すること。
【解決手段】光学系で光を取り込むことにより得られた画像信号を処理するための画像処理装置であって、少なくとも二色の波長成分の画像信号に対して、前記波長成分ごとに解像度復元処理を施す解像度復元処理手段と、前記解像度復元処理が施された前記波長成分ごとの画像信号について周波数成分を比較する周波数成分比較手段と、前記周波数成分比較手段による比較結果に応じて選択された画像信号を成分として画像を合成する画像合成手段と、を有し、前記周波数成分比較手段は、前記光学系に備わる変調伝達関数の特性に応じて選択された波長成分について前記周波数成分を比較する。
【選択図】図４

Description

本発明は、画像処理装置に関する。

従来、近接距離から無限遠までの広い範囲における撮影には、例えば、オートフォーカス機能を有するレンズモジュールが使用されている。オートフォーカス機能の採用には、レンズ枚数及び部品点数の増加や、それに伴うコストの増加が課題となる。特に、携帯機器向けのカメラモジュールの場合は小型化や薄型化が要求されることから、厚みがかさむレンズモジュールは不向きとなる。また、固定焦点のカメラモジュールを適用する場合は、薄型化が容易となる一方、近接距離と無限遠とで十分な被写界深度を確保することが困難となる（被写界深度については、例えば、特許文献１参照）。例えば、近接距離での撮影に適するようなレンズ設計がなされたレンズモジュールでは、無限遠での変調伝達関数（ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ；ＭＴＦ）が極端に低下し、十分な被写界深度が得られないこととなる。

特開２００９−１７５４４号公報

本発明は、固定焦点のカメラモジュールを使用する撮影によって高い解像度の画像を得るための画像処理装置を提供することを目的とする。

本願発明の一態様によれば、光学系で光を取り込むことにより得られた画像信号を処理するための画像処理装置であって、少なくとも二色の波長成分の画像信号に対して、前記波長成分ごとに解像度復元処理を施す解像度復元処理手段と、前記解像度復元処理が施された前記波長成分ごとの画像信号について周波数成分を比較する周波数成分比較手段と、前記周波数成分比較手段による比較結果に応じて選択された画像信号を成分として画像を合成する画像合成手段と、を有し、前記周波数成分比較手段は、前記光学系に備わる変調伝達関数の特性に応じて選択された波長成分について前記周波数成分を比較することを特徴とする画像処理装置が提供される。

本発明によれば、固定焦点のカメラモジュールを使用する撮影によって高い解像度の画像を得ることができるという効果を奏する。

第１の実施の形態に係る画像処理装置を備える画像記録装置の構成を示すブロック図。画像処理装置による処理の手順を説明するフローチャート。画像記録装置の光学系に備わるＭＴＦの特性の例を示す図。マクロモードにおける特徴的な処理の手順を説明するフローチャート。第２の実施の形態に係る画像処理装置の特徴的な処理の手順を説明するフローチャート。第３の実施の形態に係る画像処理装置の特徴的な処理の手順を説明するフローチャート。画像記録装置の光学系に備わるＭＴＦの特性の例を示す図。

以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態に係る画像処理装置４を備える画像記録装置の構成を示すブロック図である。画像記録装置は、撮像レンズ１、ＩＲカットフィルタ２、イメージセンサ部３、画像処理装置４及び記録部５を備える。

撮像レンズ１は、被写体からの光を取り込むための光学系を構成する。ＩＲカットフィルタ２は、撮像レンズ１により取り込まれた光から赤外光を除去する。イメージセンサ部３は、撮像レンズ１により取り込まれた光を信号電荷に変換することにより、被写体像を撮像する。イメージセンサ部３は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の画素値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、撮像条件に応じたゲインにて順次増幅させる。さらに、イメージセンサ部３は、得られた画像信号をアナログ方式からデジタル方式へ変換させる。画像処理装置４は、イメージセンサ部３から入力されたデジタル画像信号に対して、種々の処理を施す。記録部５は、画像処理装置４から入力された画像データをメモリや記録媒体に記録する。

図２は、画像処理装置４による処理の手順を説明するフローチャートである。ステップＳ１では、撮像レンズ１に起因する中央部と周辺部との光量差による輝度ムラを補正する（シェーディング補正）。ステップＳ２では、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去する（ノイズリダクション）。ノイズリダクションは、低照度での撮影の場合や受光素子の感度が低い場合に有用であって、解像度復元処理の前後で行われることが望ましい。ステップＳ３では、解像度復元手段により、解像度復元処理を施す。なお、近接距離にある被写体を撮影する際に選択されるマクロモードの場合の解像度復元処理については、後に詳説する。

ステップＳ４では、イメージセンサ部３の撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を施す。ステップＳ５では、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す。デモザイキングでは、被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。ステップＳ６では、画像のホワイトバランスを自動調整する（ＡｕｔｏｍａｔｉｃＷｈｉｔｅＢａｌａｎｃｅｃｏｎｔｒｏｌ；ＡＷＢ）。ステップＳ７では、色再現性を得るためのリニアカラーマトリクス処理を施す。ステップＳ８では、ガンマ補正により、ディスプレイ等に表示される画像の彩度や明るさを補正する。なお、本実施の形態で説明する処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。

図３は、画像記録装置の光学系に備わるＭＴＦの特性の例を示す図である。図示するグラフは、Ｒ成分、Ｇ成分、Ｂ成分について、１／２Ｎｙｑｕｉｓｔでの被写体距離とＭＴＦとの関係を表したものである。ＭＴＦは、空間周波数の増加に対する正弦波物体の像の変調を示す関数である。固定焦点の光学系の場合、無限遠からある一定の被写体距離において十分な被写界深度を確保すると、近接距離では十分な被写界深度を得ることが困難となる。本実施の形態に係る画像処理装置４は、近接距離の撮影において高い解像度の画像を得るための処理を実行することを特徴とする。

図４は、マクロモードにおける特徴的な処理の手順を説明するフローチャートである。近接距離にある被写体を撮影する（ステップＳ１１）と、イメージセンサ部３は、Ｒ成分、Ｇ成分、Ｂ成分に分割された画像信号を生成する（ステップＳ１２）。ステップＳ１３において、解像度復元処理手段は、Ｒ成分、Ｇ成分、Ｂ成分の各画像信号に対して、それぞれ解像度復元処理を施す。

解像度復元処理手段は、撮像レンズ１に備わるレンズ特性に基づいて解像度を復元する。レンズ特性としては、例えば、点像分布関数（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ；ＰＳＦ）を用いる。ＰＳＦは、例えば、予めレジストやＲＡＭに書き込まれ、解像度復元処理の際に読み出される。解像度復元の効果は、復元に用いるアルゴリズムに依存することとなる。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。ステップＳ１４では、解像度復元処理が施された画像信号に対して、例えば高速フーリエ変換（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ；ＦＦＴ）により実空間から周波数空間への変換を行い、二次元パワースペクトル（２ＤＰＳ）を算出する。

図３に示すグラフによると、長波長の成分ほどＭＴＦのピークが遠距離側となる。ＭＴＦは、近接距離においてＢ成分、Ｇ成分、Ｒ成分の順に低い値となる。例えば３０ｃｍ程度にまで被写体距離が縮められると、Ｂ成分及びＧ成分のＭＴＦに対してＲ成分のＭＴＦは極度に低い値となる。このため、Ｒ成分については、解像度復元処理の十分な効果を得られない場合がある。さらに、Ｒ成分については、解像度復元処理が原因となって、ステップＳ４（図２参照）における輪郭強調処理によりリンギングが発生する場合もある。リンギングは、エッジが滲んだように表示される現象である。

ステップＳ１４では、所定の被写体距離、ここでは３０ｃｍにおいてＭＴＦが最も高いＢ成分（第１波長成分）と、ＭＴＦが最も低いＲ成分（第２波長成分）とを選択して、２ＤＰＳを算出する。そして、周波数成分比較手段は、Ｂ成分について算出された２ＤＰＳと、Ｒ成分について算出された２ＤＰＳと、の比較による差分を算出する。周波数成分比較手段は、撮像レンズ１に備わるＭＴＦ特性に応じて選択されたＲ成分とＢ成分について、周波数成分を比較する。ステップＳ１５では、ステップＳ１４において算出された差分と所定の閾値とを比較する。閾値は、予めレジストやＲＡＭに書き込まれる。閾値とする数値は任意であって、例えば製品ごとに設定されることとしても良い。

差分が閾値以上である場合（ステップＳ１５、Ｙｅｓ）、Ｒ成分については、画像合成手段で合成する成分として解像度復元処理前の画像信号を選択する（ステップＳ１６）。差分が閾値未満である場合（ステップＳ１５、Ｎｏ）、Ｒ成分については、画像合成手段で合成する成分として解像度復元処理後の画像信号を選択する（ステップＳ１７）。

画像合成手段は、ステップＳ１３にて解像度復元処理がなされたＧ成分、Ｂ成分の画像信号と、ステップＳ１６又はステップＳ１７で選択されたＲ成分の画像信号とを成分とするデモザイキングにより、画像を合成する（ステップＳ１８）。なお、２ＤＰＳに対しては、１／２、１／４Ｎｙｑｕｉｓｔ、あるいは視覚のＭＴＦ特性（ＶｉｓｕａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を利用した重み付けをしても良い。これにより、さらに視覚的に好ましい画像を選択することが可能となる。

このように、光学系に備わるＭＴＦ特性に応じた処理を経て画像を合成することで、近接距離の撮影において高い解像度の画像を得ることが可能となる。これにより、固定焦点のカメラモジュールを使用する撮影によって高い解像度の画像を得ることができるという効果を奏する。

なお、図３に示すＭＴＦの特性を備える光学系に対して、２ＤＰＳを比較する第１波長成分としては、Ｂ成分に代えてＧ成分を選択しても良い。例えば、色温度が低い（例えば３２００Ｋ程度）環境下の場合は、Ｂ成分に比べてＧ成分の感度が高められることとなるため、第１波長成分としてＧ成分を選択することにより解像度の高い画像を精度良く得ることが可能となる。また、解像度復元処理に使用されるアルゴリズムはＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法に限らず、他のアルゴリズムを使用しても良い。

（第２の実施の形態）
図５は、第２の実施の形態に係る画像処理装置の特徴的な処理の手順を説明するフローチャートである。本実施の形態は、周波数成分比較手段が、所定の周波数帯域の成分を分離させるフィルタ処理手段を備えることを特徴とする。近接距離にある被写体を撮影する（ステップＳ１１）と、イメージセンサ部３は、Ｒ成分、Ｇ成分、Ｂ成分に分割された画像信号を生成する（ステップＳ１２）。

ステップＳ２１において、フィルタ処理手段は、各波長成分のうちＲ成分の画像信号に対してフィルタ処理を施す。Ｒ成分は、所定の被写体距離、ここでは３０ｃｍにおいてＭＴＦが最も低いものとして、撮像レンズ１に備わるＭＴＦの特性に応じて選択された波長成分である。フィルタ処理手段は、Ｒ成分の画像信号について、高周波数帯域の第１の成分と、低周波数帯域の第２の成分とに分離させる。第２の成分は、第１の成分とする周波数帯域以外の周波数帯域の成分とする。フィルタ処理手段としては、第１の成分と第２の成分とを分離可能であれば良く、例えばハイパスフィルタ及びローパスフィルタのいずれとしても良い。フィルタ処理による分離の閾値とする周波数は任意であって、例えば製品ごとに設定されることとしても良い。

ステップＳ２２において、解像度復元処理手段は、各波長成分の画像信号に対して、それぞれ解像度復元処理を施す。Ｇ成分及びＢ成分についての解像度復元処理は、第１の実施の形態の場合と同様である。解像度復元処理手段は、Ｒ成分については、第１の成分及び第２の成分のうち、第１の成分のみについて解像度復元処理を施す。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。

ステップＳ２３では、Ｒ成分について、解像度復元処理が施された第１の成分と、解像度復元処理が施されていない第２の成分とを合成する。画像合成手段は、ステップＳ２２において解像度復元処理がなされたＧ成分、Ｂ成分の画像信号と、ステップＳ２３において合成されたＲ成分の画像信号とを成分として、画像を合成する（ステップＳ１８）。

本実施の形態では、Ｒ成分については高周波帯域の成分のみを解像度復元の対象とすることにより、画像のうち細かい変化がある部分について高い解像度を実現する。また、低周波帯域の成分を解像度復元の対象から除外することにより、画像のうち変化が少なく滑らかな部分におけるノイズを低減させる。これにより、本実施の形態においても、固定焦点のカメラモジュールを使用する撮影によって高い解像度の画像を得ることが可能となる。

（第３の実施の形態）
図６は、第３の実施の形態に係る画像処理装置の特徴的な処理の手順を説明するフローチャートである。本実施の形態では、バーコードの読み取り等、近接距離にある被写体をモノクロで撮影する場合の処理について説明する。近接距離にある被写体を撮影する（ステップＳ１１）と、イメージセンサ部３は、Ｒ成分、Ｇ成分、Ｂ成分に分割された画像信号を生成する（ステップＳ１２）。

ステップＳ３１において、解像度復元処理手段は、各波長成分のうちＧ成分及びＢ成分の画像信号に対して解像度復元処理を施す。ここでは、所定の被写体距離、例えば３０ｃｍにおいてＭＴＦが最も低いＲ成分を除外することとする。Ｇ成分及びＢ成分は、光学系に備わるＭＴＦの特性に応じて選択された波長成分である。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。

ステップＳ３２では、解像度復元処理が施されたＧ成分及びＢ成分の画像信号に対して、例えば、ＦＦＴにより実空間から周波数空間への変換を行い、二次元パワースペクトル（２ＤＰＳ）を算出する。ステップＳ３３において、周波数成分比較手段は、Ｇ成分について算出された２ＤＰＳと、Ｂ成分について算出された２ＤＰＳとを比較する。

Ｇ成分について算出された２ＤＰＳがＢ成分について算出された２ＤＰＳより大きい場合（ステップＳ３３、Ｙｅｓ）、画像合成手段で合成する成分としてＧ成分の画像信号を選択する（ステップＳ３４）。Ｇ成分について算出された２ＤＰＳがＢ成分について算出された２ＤＰＳ以下であった場合（ステップＳ３３、Ｎｏ）、画像合成手段で合成する成分としてＢ成分の画像信号を選択する（ステップＳ３５）。画像合成手段は、ステップＳ３４又はステップＳ３５で選択された画像信号を成分として、グレイスケール画像を生成する（ステップＳ３６）。

例えば、ステップＳ３４においてＧ成分が選択された場合、画像合成手段は、選択されたＧ成分の他、Ｇ成分と同値になるように生成されたＲ成分及びＢ成分を合成する。また、ステップＳ３５においてＢ成分が選択された場合、画像合成手段は、選択されたＢ成分の他、Ｂ成分と同値になるように生成されたＲ成分及びＧ成分を合成する。このように、画像合成手段は、各波長成分のうち２ＤＰＳが最大となる波長成分の画像信号を基にしてグレイスケール画像を生成する。なお、２ＤＰＳに対しては、１／２、１／４Ｎｙｑｕｉｓｔ、あるいは視覚のＭＴＦ特性（ＶｉｓｕａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を利用した重み付けをしても良い。これにより、さらに視覚的に好ましい画像を選択することが可能となる。

図７は、画像記録装置の光学系に備わるＭＴＦの特性の例を示す図である。図示するグラフは、Ｒ成分、Ｇ成分、Ｂ成分について、９２［ｌｉｎｅｓ／ｍｍ］での被写体距離とＭＴＦとの関係を表したものである。ここで、画像記録装置は、画素サイズ２．２ｎｍ四方、３２８１×２４６４ピクセルの８Ｍサイズのカメラモジュールとする。かかるカメラモジュールでは、観察距離３０ｃｍ、視野角５８度で０．２５ｍｍピッチのバーコードを読み取るには９２［ｌｉｎｅｓ／ｍｍ］での解像度が必要となる。また、０．５ｍｍピッチのバーコードを読み取るには４６［ｌｉｎｅｓ／ｍｍ］での解像度が必要となる。

図７に示すグラフによると、例えば３０ｃｍ程度の被写体距離の場合、Ｂ成分及びＧ成分のＭＴＦに対してＲ成分のＭＴＦは極度に低い値となる。このため、Ｂ成分及びＧ成分についてはバーコードの読み取りに必要とされる解像度を得られる一方、Ｒ成分については十分な解像度を得られない場合が生じ得る。Ｒ成分についてエッジが滲んだように表示されることとなると、各波長成分を合成した画像によるバーコードの認識が困難となる。

本実施の形態では、光学系に備わるＭＴＦ特性に応じて波長成分を選択し、そのうち２ＤＰＳが最も高い波長成分を基にしてグレイスケール画像を生成することにより、近接距離の撮影において高い解像度の画像を得ることが可能となる。これにより、本実施の形態においても、固定焦点のカメラモジュールを使用する撮影によって高い解像度の画像を得ることが可能となる。

なお、色温度が低い環境下の場合に、Ｇ成分に対してＢ成分の感度が著しく低下するような場合は、画像合成手段で合成する成分としてＧ成分を選択することが好ましい。Ｇ成分を選択することにより解像度の高い画像を精度良く得ることが可能となる。

１撮像レンズ、３イメージセンサ部、４画像処理装置。

Claims

光学系で光を取り込むことにより得られた画像信号を処理するための画像処理装置であって、
少なくとも二色の波長成分の画像信号に対して、前記波長成分ごとに解像度復元処理を施す解像度復元処理手段と、
前記解像度復元処理が施された前記波長成分ごとの画像信号について周波数成分を比較する周波数成分比較手段と、
前記周波数成分比較手段による比較結果に応じて選択された画像信号を成分として画像を合成する画像合成手段と、を有し、
前記周波数成分比較手段は、前記光学系に備わる変調伝達関数の特性に応じて選択された波長成分について前記周波数成分を比較することを特徴とする画像処理装置。
前記周波数成分比較手段は、第１波長成分について算出された二次元パワースペクトルと、所定の被写体距離における前記変調伝達関数が前記第１波長成分に比べて低い第２波長成分について算出された二次元パワースペクトルと、の比較による差分を算出し、
前記差分が所定の閾値より小さい場合、前記第２波長成分については、前記画像合成手段で合成させる成分として前記解像度復元処理後の画像信号を選択し、
前記差分が前記所定の閾値より大きい場合、前記第２波長成分については、前記画像合成手段で合成させる成分として前記解像度復元処理前の画像信号を選択することを特徴とする請求項１に記載の画像処理装置。
前記周波数成分比較手段は、前記光学系に備わる前記変調伝達関数の特性に応じて選択された波長成分の画像信号について、所定の周波数帯域の第１の成分を分離させるフィルタ処理手段を備え、
前記解像度復元処理手段は、前記選択された波長成分については、前記第１の成分と、前記所定の周波数帯域以外の周波数帯域の成分である第２の成分と、のうち、前記第１の成分について前記解像度復元処理を施すことを特徴とする請求項１に記載の画像処理装置。
前記周波数成分比較手段は、少なくとも二色の波長成分について算出された二次元パワースペクトルを比較し、
前記画像合成手段は、少なくとも二色の波長成分のうち前記二次元パワースペクトルが最大となる波長成分の画像信号を基にしてグレイスケール画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記解像度復元処理手段は、前記光学系に備わる点像分布関数の特性に基づいて前記解像度復元処理を施すことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。