JP2009094662A - 固体撮像装置 - Google Patents

Abstract

【課題】カメラにより撮影した複数毎の画像からレンズＭＴＦの劣化分を推測し補正することにより、カメラ機器における解像度劣化を防ぐ、という技術を提供する。
【解決手段】
特定の焦点距離にフォーカスを当てて第１の画像を撮影し、第１の撮影と同じ画角で焦点距離を変更して第２の画像データを撮影し、第１と第２の画像から理想的なレンズＭＴＦを予測し画像処理で補正する。
【選択図】 図３

Description

技術分野は、カメラ機器のレンズの周波数特性（ＭＴＦ：Modulation Transfer Function）に依存する、解像度劣化の抑制の技術に関する。

カメラで撮影した画像の解像度はレンズのＭＴＦ特性に依存し、レンズＭＴＦ特性のうち特に高周波信号の成分が減衰するほど、撮影後の画像の解像度が劣化する。例えば図１は、理想的なレンズＭＴＦ、及び実際のカメラのレンズＭＴＦについてグラフに示したものである。横軸は空間周波数を示しており、右に行くほど細かい絵柄の信号成分であることを示す。縦軸は減衰量を示しており、下に行くほど信号が減衰する。画像の解像度劣化を防ぐためには、レンズＭＴＦ特性において信号の減衰を抑える、特に高周波の減衰量を低く抑えることが重要となる。
そこで、撮影後にレンズのＭＴＦ特性における高周波成分の減衰分を補正し、理想的なレンズＭＴＦとなるよう近似する方法が提案されている。例えば画像処理として一般的に用いられているエンハンサは、画像信号の1次微分信号を基の画像信号に重畳することにより、レンズＭＴＦ特性を改善し、解像度劣化分を補正することができる。

レンズＭＴＦの性能をあげることには限界がある。特に民生用カメラ機器で用いられる小型のレンズに於いては、理想的なレンズＭＴＦ特性とすることはほぼ不可能に近い。
また、これを補う手段として有効である上記公知の技術であるエンハンサは、被写体のエッジ付近でオーバーシュート・アンダーシュートが発生し、本来の画像信号とのずれが生じ、画質が劣化するという課題がある。

そこで本発明では、カメラにより撮影した複数毎の画像からレンズＭＴＦ特性の高周波信号の減衰分を推測し補正することにより、カメラ機器における解像度劣化を防ぐ、という技術を提供する。
具体的に例えば、以下に記述する３つの手段により本発明を実現する。
（１）被写体にフォーカスを合わせた状態（合焦状態）で撮像素子により撮像した第１の画像データと、第１の撮像と同じ画角で被写体からフォーカスをずらした状態（非合焦状態）で撮像素子により撮像した第２の画像データを取得する手段を設ける。ここで、被写体に対してフォーカスがずれると、被写体にフォーカスがあった状態よりもさらにレンズＭＴＦ特性の高周波成分が減衰することになる。即ち、レンズＭＴＦ特性の劣化分が少ない上記第１の画像データと、レンズＭＴＦの劣化分が大きい上記第２の画像データを取得する。
（２）上記第１の画像データと第２の画像データのレンズＭＴＦの差分を取り、線形予測を用いて理想的なレンズＭＴＦを予測する手段を設ける。この第１の画像データのレンズＭＴＦ、第２の画像データのレンズＭＴＦ、および理想的なレンズＭＴＦ特性は、図２のようなグラフとなる。
（３）最後に、画像信号処理にて、上記推測した理想的なレンズＭＴＦとなるよう第１あるいは第２の画像データに対して補正処理を行う手段を設ける。
以上の大きく分けて３つの手段により、レンズＭＴＦの劣化に伴う解像度劣化を抑制する。
尚、上記挙げた例は、第１と第２の２つの画像データを取得し理想的なレンズＭＴＦを予測するものであるが、取得する画像データは３つ以上の複数の画像データから理想的なレンズＭＴＦの予測を行ってもよい。

例えば上記手段によると、カメラで撮影した画像において、従来のエンハンサ処理の弊害として問題となっていたオーバーシュート・アンダーシュートによる画質劣化を発生させることなく、効率的に理想的なレンズＭＴＦに近似する処理を施すことができ、解像度劣化の抑制が可能である。
上記以外の課題、手段、効果は後述する実施例によって明らかにされる。

以下、本発明に好適な実施形態の例として、画像信号処理装置の実施例を説明する。

図３は、本実施例１における撮像装置の構成図である。
被写体からの光は、レンズ群３０１を通り、撮像素子３０４により光電変換され画像データとなる。レンズ群３０１は、フォーカスレンズ駆動部３０２により、被写体からの焦点距離を自在に変化させることができる構成とする。焦点距離制御部３０３は、撮像素子３０４からの画像データを基に、例えば画像信号の１次微分を積分したものを指標とし被写体へのフォーカスの度合いを検出し、より合焦に近づける、あるいはより合焦から遠ざかる方向へフォーカスレンズ駆動３０２に対し制御信号を出力するものである。
先ず、焦点距離制御部３０３にて被写体に対して合焦状態となるようフォーカスレンズ駆動部３０２を動作させ、被写体に対して合焦となる位置にレンズを移動させる。この合焦状態時に、撮像素子３０４にて光電変換した被写体の画像データを、フレームメモリ３０５に保存する。この合焦状態時の画像データを、「課題を解決するための手段」項にて記載した、第１の画像データとする。
次に、焦点距離制御部３０３にて被写体に対して非合焦状態となるようフォーカスレンズ駆動部３０２を動作させ、被写体に対して合焦となる位置からずれるようレンズを移動させる。この非合焦状態時に、撮像素子３０４にて光電変換した被写体の画像データを、フレームメモリ３０５に保存する。この非合焦状態時の画像データを、「課題を解決するための手段」項にて述べた第２の画像データとする。
図４における画面４０１は、左が黒、右が白で、水平方向に見たときに被写体のエッジがあるものであり、これを撮影したときの、あるラインの各画素の信号レベルを示しているのが図４の下のグラフである。グラフの横軸は水平方向の画素の位置、縦軸は画素データの信号レベルである。理想的なＭＴＦ特性における信号４０４、上記第１の画像データの信号４０５、上記第２の画像データの信号４０６の画像データの３つの信号レベルを示している。
ＭＴＦ補正部３０６は、該第１の画像データの信号４０５と該第２の画像データの信号４０６をフレームメモリ３０５から入力し、この二つの画像情報を基に該理想的なＭＴＦ特性における信号４０４となるよう補正する。例えばＭＴＦ補正部３０６は、第１の画像データの信号４０５を「a」、第２の画像データの信号４０６を「ｂ」とし、差分信号「（a−ｂ）」を算出する画像差分値生成部と、これに係数α（αは任意）を乗算する係数乗算部と、この係数乗算部からの信号「α×（a−ｂ）」を、該第１の画像データの信号４０５に加算する信号加算手段で構成するものとする。以上によれば、「出力画像＝a＋α×（a−ｂ）」とすることで、理想的なＭＴＦ特性における信号４０４に近づけることが可能となる（図５）。
以上で説明したように、本実施例により、理想的なレンズＭＴＦ特性を予測補正することが可能となり、レンズＭＴＦ特性の高周波成分の減衰に伴う解像度劣化を抑制することが可能となる。
尚、上述した実施例では、第１の画像データおよび第２の画像データの２つを取得するとしたが、２つに限らず３つ以上の複数の画像データを取得し、理想的なレンズＭＴＦ特性を予測補正してもよい。
また、前述した実施例では、合焦状態の第１の画像と非合焦状態の第２の画像の２つを取得するとしたが、必ずしも片方は合焦状態である必要はなく、第１の画像と第２の画像の焦点距離が異なっていれば、両方とも非合焦状態であってもよい。
また、前述した実施例では、第１の画像と第２の画像の２つはいったんフレームメモリに保存するとしたが、２つもしくは複数の画像のうち少なくともひとつは、フレームメモリを介せず撮像素子からＭＴＦ補正部への直接の入力としてもよい。
また、前述した実施例では、水平方向に対する被写体のエッジに対しての補正例であったが、水平方向にかかわらず垂直あるいはそれ以外の方向に対する補正であってもよい。

図６は、本実施例２における撮像装置の構成図である。
レンズ群３０１は、実施例１に対し、さらに光学ズームレンズ駆動部６０１により、光学ズーム倍率を自在に変化させることができる構成とする。

先ず、被写体に対して合焦状態の第１の画像データを取得し、フレームメモリ３０５に保存する。この第１の画像データの取得方法は、実施例１にて述べたものである。

次に被写体に対して非合焦状態の第２の画像データを取得する。光学ズーム制御部６０２は、焦点距離制御部３０３からの第１の画像データ取得時の焦点距離情報と、第２の画像データ取得時の焦点距離情報を取得し、この２つの焦点距離情報を基に画角のずれを検出し、第１の画像データと第２の画像データの画角が同一と成るよう光学ズームレンズ駆動部６０１を制御し光学ズーム倍率を変更する。
ＭＴＦ補正部３０６は、該第１の画像データの信号４０５と該第２の画像データの信号４０６をフレームメモリ３０５から入力し、この二つの画像情報を基に該理想的なＭＴＦ特性における信号４０４となるよう補正する。これは実施例１に記載したものと同様の処理となる。
以上の構成とすれば、例えば第１と第２の画像を撮影する上でフォーカスレンズを駆動したことにより微妙に画角が異なる場合、光学ズームレンズを動作させて画角を調節することができる。第１と第２の画像の画角が同一と成れば、理想的なレンズＭＴＦ特性を予測補正することが可能となり、レンズＭＴＦ特性の高周波成分の減衰に伴う解像度劣化を抑制することが可能となる。
尚、上述した実施例では、第１の画像データおよび第２の画像データの２つを取得するとしたが、２つに限らず３つ以上の複数の画像データを取得し、理想的なレンズＭＴＦ特性を予測補正してもよい。
また、前述した実施例では、合焦状態の第１の画像と非合焦状態の第２の画像の２つを取得するとしたが、必ずしも片方は合焦状態である必要はなく、第１の画像と第２の画像の焦点距離が異なっていれば、両方とも非合焦状態であってもよい。
また、前述した実施例では、第１の画像と第２の画像の２つはいったんフレームメモリに保存するとしたが、２つもしくは複数の画像のうち少なくともひとつは、フレームメモリを介せず撮像素子からＭＴＦ補正部への直接の入力としてもよい。
また、前述した実施例では、第１の画像データの画角と同一となるよう第２の画像データ取得時に光学ズームレンズを駆動するとしたが、第１の画像取得時に第２の画像データ取得時と画角が同一と成るよう光学ズームレンズを駆動する、あるいは第１と第２の両方に対して光学ズームレンズを駆動し、両者の画角が同等となるよう制御するものであってもよい。

図７は、本実施例３における撮像装置の構成図である。
被写体に対して特定の焦点距離となる第１のレンズ群７０１と、該レンズ群７０１からの被写体の光を光電変換する第１の撮像素子７０３を有する。この第１の撮像素子７０３で撮像された画像データは、「課題を解決するための手段」項にて述べた第１の画像データとする。
また、第１のレンズ群７０１とは異なる焦点距離となる第２のレンズ群７０２と、該レンズ群７０２からの被写体の光を光電変換する第２の撮像素子７０４を有する。この第２の撮像素子７０４で撮像された画像データは、「課題を解決するための手段」項にて述べた第２の画像データとする。
ＭＴＦ補正部３０６は、該第１の画像データの信号と該第２の画像データの信号を入力し、この二つの画像情報を基に該理想的なＭＴＦ特性における信号となるよう補正する。これは実施例１に記載したものと同様の処理となる。
以上の構成によれば、フォーカスレンズを制御することなく第１と第２の画像を取得することができ、かつ理想的なレンズＭＴＦ特性を予測補正することが可能となり、レンズＭＴＦ特性の高周波成分の減衰に伴う解像度劣化を抑制することが可能となる。

カメラにおけるレンズＭＴＦ特性を表すグラフ 本実施例における第１の画像と第２の画像、および予測するレンズＭＴＦ特性を表すグラフ 本実施例１におけるカメラ機器の構成図 本実施例１における左右白黒の被写体を移した場合の例図 本実施例１におけるＭＴＦ特性補正前後の図 本実施例２におけるカメラ機器の構成図 本実施例３におけるカメラ機器の構成図

符号の説明

１０１ 減衰量（グラフ縦軸）
１０２ 周波数（グラフ横軸）
１０３ 画素サンプリングによる限界周波数
１０４ 理想的なレンズＭＴＦ特性
１０５ 実際のカメラにおけるレンズＭＴＦ特性
２０１ 第１の画像のレンズＭＴＦ特性
２０２ 第２の画像のレンズＭＴＦ特性
３０１ レンズ群
３０２ フォーカスレンズ駆動部
３０３ 焦点距離制御部
３０４ 撮像素子
３０５ フレームメモリ
３０６ ＭＴＦ補正部
４０１ 画面
４０２ 信号レベル
４０３ 水平方向位置
４０４ 理想的なＭＴＦ特性での信号
４０５ 第１の画像データの信号
４０６ 第２の画像データの信号
５０１ ＭＴＦ予測部３０６による補正後の信号
６０１ 光学ズームレンズ駆動部
６０２ 光学ズーム制御部
７０１ 第１のレンズ群
７０２ 第２のレンズ群
７０３ 第１の撮像素子
７０４ 第２の撮像素子

Claims (8)

1. 撮像素子と、被写体と撮像素子の撮像面との焦点距離を変化させる焦点距離変更部と、該焦点距離変更部からの信号を基にフォーカスレンズを駆動させるフォーカスレンズ駆動部と、を有する固体撮像装置において、
   該焦点距離変更部により第１の焦点距離に変更して撮影する第１の撮影手段と、該焦点距離変更部により第２の焦点距離に変更して撮影する第２の撮影手段と、該第１の撮影手段および第２の撮影手段により撮影された画像からレンズＭＴＦ特性を補正した１枚の画像を生成するＭＴＦ補正部と、
   を有することを特徴とした固体撮像装置。
2. 撮像素子と、被写体と撮像素子の撮像面との焦点距離を変化させる焦点距離変更部と、該焦点距離変更部からの信号を基にフォーカスレンズを駆動させるフォーカスレンズ駆動部と、光学ズーム制御部と、該光学ズーム制御部からの信号を基に光学ズームレンズを駆動する光学ズームレンズ駆動部と、
   を有する固体撮像装置において、
   該焦点距離変更部により第１の焦点距離に変更し、該光学ズーム制御部により第１のズーム倍率に変更して撮影する第１の撮影手段と、
   該焦点距離変更部により第２の焦点距離に変更し、該光学ズーム制御部により第２のズーム倍率に変更して撮影する第２の撮影手段と、該第１の撮影手段および第２の撮影手段により撮影された画像からレンズＭＴＦ特性を補正した１枚の画像を生成するＭＴＦ補正部と、
   を有することを特徴とした固体撮像装置。
3. 請求項１または２いずれか一項に記載の固体撮像装置において、
   第１あるいは第２の撮影手段により撮影された画像のいずれかは、被写体に対して合焦状態となるよう焦点距離変更部を制御すること、
   を特徴とした固体撮像装置。
4. 請求項１または２において、
   第１あるいは第２の撮影手段により撮影された画像のいずれかは、被写体に対して非合焦状態となるよう焦点距離変更部を制御すること、
   を特徴とした固体撮像装置。
5. 請求項２において、
   光学ズーム制御部は、
   第１の焦点距離における画角と第２の焦点距離における画角とが一致するようズーム倍率を制御すること、
   を特徴とした固体撮像装置。
6. 第１の撮像素子と、被写体と第１の撮像素子の撮像面との焦点距離を特定の焦点距離とする第１のレンズ群と、第２の撮像素子と、被写体と第２の撮像素子の撮像面との焦点距離を特定の焦点距離とする第２のレンズ群と、
   を有する固体撮像装置において、
   該第１の撮像素子からの画像データと該第２の撮像素子からの画像データからレンズＭＴＦ特性を補正した１枚の画像を生成するＭＴＦ補正部と、
   を有することを特徴とした固体撮像装置。
7. 請求項６において、
   第１のレンズ群と第２のレンズ群のおのおのの焦点距離は異なっていること
   を特徴とする固体撮像装置。
8. 請求項１から３いずれか一項に記載の固体撮像装置において、
   ＭＴＦ補正部は、第１の撮影手段および第２の撮影手段により撮影された画像の差分値を生成する画像差分値生成部と、該画像差分値生成部の信号に任意の係数を乗算する係数乗算部と、該係数乗算部からの信号と第１あるいは第２の撮影手段により撮影された画像とを加算する信号加算部と、
   で構成されることを特徴とした固体撮像装置。

Images