はじめに、本発明の実施形態の原理について説明する。
この実施形態の撮像装置は、ユーザの指示操作を介さずに自律的な判断で、即ち自動的に、被写体の像にフォーカスが合うようにフォーカスレンズを移動させることができる。このようなフォーカスレンズの移動の制御を実現させる機能が、AF(Auto Focus)機能である。
AF機能により実現されるフォーカスレンズの移動の制御の手法として、撮像画像のコントラストの高低の判定結果を用いる手法、即ちいわゆるコントラストAF方式が用いられる。
コントラストAF方式では、撮像画像の予め設定されている特定領域がフォーカス制御用のデータ取得領域として設定され、この特定領域のコントラストの高低によって、フォーカスの度合が判定される。即ち、コントラストが高いほどフォーカスが合っていると判定される一方、コントラストが低いほどフォーカスがずれていると判定される。
このコントラストAF方式では、撮像画像の輝度データに含まれる周波数成分(直流成分を除く)が、フォーカスが最も合っている位置、いわゆる合焦位置で最大になるという特徴が利用されている。
具体的には、コントラストAF方式では、撮像画像の特定領域の輝度データに含まれる周波数成分の量が、特定領域の被写体の像のフォーカスの状態を評価する評価値として用いられる。なお、このような評価値を、以下、AF評価値と称する。即ち、撮像画像のデータのうち、特定領域内の各画素の輝度データに含まれる周波数成分の量が積分され、その積分値がAF評価値として算出される。このようにして算出されたAF評価値の値が高くなるほど、特定領域のコントラストが高くなるので、特定領域の被写体の像にフォーカスが合っていると評価することが可能になる。
コントラストAF方式では、このようなAF評価値により評価される被写体の像のフォーカスの状態に基づいてフォーカスレンズを移動させ、AF評価値が最も高くなる位置でフォーカスレンズを停止させることによって、AF機能が実現される。
換言すると、AF機能が実行されているとき、フォーカスレンズが複数の位置へと移動され、各位置でAF評価値がそれぞれ算出される。この場合、フォーカスレンズの位置に対するAF評価値は、例えば図2のような曲線を描く。
[AF評価値とフォーカスレンズの移動範囲の関係]
図2は、AF評価値とフォーカスレンズの移動範囲の関係を示す図である。
図2において、縦軸は、AF評価値を示し、横軸は、撮像装置のフォーカスレンズ11の移動範囲を示している。
図2に示されるように、フォーカスレンズ11の移動範囲のうち、位置P1が、AF評価値が最も高い位置、即ち特定領域内に含まれる被写体の像にフォーカスが合った合焦位置を示している。AF機能は、このようなAF評価値が最も高くなる位置P1にフォーカスレンズ11を移動させることにより実現される。
この場合、フォーカスレンズ11の移動距離によって、撮像装置から被写体(より正確には、AF評価値の演算の対象とされた主要被写体)までの距離を求めることができる。また、AF評価値が最も高くなる位置P1は、撮像画像の特定領域内のコントラストが最も高くなる位置である。従って、位置P1におけるAF評価値の大小により、特定領域内の被写体のコントランスの高低が示されることになる。このように、被写体を含む特定領域について求められたAF評価値は、撮像装置から被写体までの距離と、被写体を含む特定領域のコントラストの高低といった被写体の特徴を判断する指標となる。
さらに、以下、撮像装置から被写体までの距離と、被写体のコントラストの高低との各々の詳細について、その順番に説明する。
[撮像装置から被写体までの距離について]
図3と図4は、AF評価値から求められる撮像装置から被写体までの距離(以下、被写体までの距離と略称する)について説明する図である。
図3には、撮像装置の表示部21に表示されるスルー画像の一例として、スルー画像41が示され、図4には、スルー画像42が示されている。
ここで、「スルー画像」とは、次のような画像をいう。即ち、撮像装置は、撮像画像のデータの記録の前にも撮像動作を実行する。このような場合、撮像装置は、所定時間間隔毎に撮像素子から順次出力される撮像画像のデータを、内蔵するメモリ等に一時的に記憶させる。このような一連の処理を、以下、「スルー撮像」と称する。
撮像装置は、スルー撮像時にメモリ等に一時的に記憶された各フレーム画像のデータを順次読み出して、それぞれに対応するフレーム画像を表示部21に順次表示させる。このような一連の処理により表示部21に表示されるフレーム画像を、「スルー画像」と称する。ユーザは、「スルー画像」として所望の画像が表示されたタイミングで、シャッタボタンを操作し、その画像を記録させる。
図3のスルー画像41は、撮像装置からの距離がD1である被写体の被写体画像31を含んでいる。このスルー画像41の下の図は、スルー画像41が表示部21に表示されている状態での、被写体画像31を含む図示せぬ特定領域のAF評価値と、フォーカスレンズ11の移動範囲との関係を示している。図3の下の図において、縦軸は、AF評価値を示し、横軸は、フォーカスレンズ11の移動範囲を示している。当該横軸の下にある軸は、被写体までの距離を示している。
図3の下の図に示されるように、AF評価値が最大となる位置P2までフォーカスレンズ11が移動することにより、図示せぬ特定領域内の被写体画像31にフォーカスが合わせられる。
これに対して、図4のスルー画像42は、撮像装置からの距離がD2である被写体の被写体画像32を含んでいる。距離D2は、距離D1より長い。このスルー画像42の下の図は、スルー画像42が表示部21に表示されている状態での、被写体画像32を含む図示せぬ特定領域のAF評価値と、フォーカスレンズ11の移動範囲との関係を示す図である。図4の下の図において、縦軸は、AF評価値を示し、横軸は、フォーカスレンズ11の移動範囲を示している。当該横軸の下にある軸は、被写体までの距離を示している。
図4の下の図に示されるように、AF評価値が最大となる位置P3までフォーカスレンズ11が移動することにより、図示せぬ特定領域内の被写体画像32が対応する被写体にフォーカスが合わせられる。
図3の下の図と図4の下の図とを比較する。より近い距離D1の被写体画像31が対応する被写体にフォーカスが合わせられたときのフォーカスレンズ11の位置P2は、より遠い距離D2の被写体画像32が対応する被写体にフォーカスが合わせられたときのフォーカスレンズ11の位置P3よりも、フォーカスレンズ11の移動範囲の至近側に位置している。距離D1の被写体画像31が対応する被写体にフォーカスが合わせられたときのフォーカスレンズ11の位置P2でも、距離D2の被写体画像32が対応する被写体にフォーカスが合わせられたときのフォーカスレンズ11の位置P3でも、AF評価値は最大(ただし、両者の値は必ずしも同一とはならない)となっている。
このように、AF評価値が最大となるフォーカスレンズ11の位置は、被写体までの距離に応じて変化する。従って、撮像装置は、AF評価値が最大となるフォーカスレンズ11の位置に基づいて、即ち、AF評価値が最大となるまでにフォーカスレンズ11が移動した距離に基づいて、被写体までの距離を求めることができる。
例えば図3の例では、下の図に示されるように、被写体画像31を含む図示せぬ特定領域のAF評価値が最大となる位置P2に基づいて、当該被写体画像31の被写体までの距離D1が求められる。一方、図4の下の図に示されるように、被写体画像32を含む図示せぬ特定領域のAF評価値が最大となる位置P3に基づいて、当該被写体画像32の被写体までの距離D2が求められる。
このようにして、AF評価値から、被写体までの距離を求めることができる。
[AF評価値と被写体のコントラストの高低との関係]
図5と図6は、AF評価値と、被写体のコントラストの高低との関係について説明する図である。
図5には、撮像装置の表示部21に表示されるスルー画像の一例として、スルー画像61が示され、図6には、スルー画像62が示されている。
図5の上のスルー画像61は、撮像装置から所定の距離D3の位置に存在する被写体の被写体画像51を含んでいる。このスルー画像61の下の図は、スルー画像61が表示部21に表示されている状態での、被写体画像51を含む図示せぬ特定領域のAF評価値と、フォーカスレンズ11の移動範囲との関係を示している。図5の下の図において、縦軸は、AF評価値を示し、横軸は、フォーカスレンズ11の移動範囲を示している。当該横軸の下にある軸は、被写体までの距離を示している。
図5の下の図に示されるように、AF評価値が最大となる位置P4までフォーカスレンズ11が移動することにより、図示せぬ特定領域内の被写体画像51にフォーカスが合わせられる。
図6の上のスルー画像62は、撮像装置から所定の距離D3の位置に存在する被写体の被写体画像51を含んでいる。なお、スルー画像62に含まれる被写体画像51の被写体は、図5のスルー画像61に含まれる被写体画像51の被写体と同一である。ただし、被写体画像51のコントラストは、図5のスルー画像61よりも図6のスルー画像62の方が低くなっている。このスルー画像62の下の図は、スルー画像62が表示部21に表示されている状態での、被写体画像51を含む図示せぬ特定領域のAF評価値と、フォーカスレンズ11の移動範囲との関係を示している。図6の下の図において、縦軸は、AF評価値を示し、横軸は、フォーカスレンズ11の移動範囲を示している。当該横軸の下にある軸は、被写体までの距離を示している。
図6の下の図に示されるように、AF評価値が最大となる位置P4(同一の被写体なので図5の位置P4と同一)までフォーカスレンズ11が移動することにより、図示せぬ特定領域内の被写体画像51にフォーカスが合わせられる。
図5の下の図と図6の下の図とを比較するに、図示せぬ特定領域に含まれる被写体画像51の被写体までの距離D3が等しいため、AF評価値が最大となるフォーカスレンズ11の位置は、同一の位置P4となる。ただし、当該同一の位置P4におけるAF評価値の最高値は、被写体画像51のコントラストが高い場合のAF評価値E1の方が、同一の被写体画像51のコントラストが低い場合のAF評価値E2よりも高くなっている。
このように、同一被写体の像にフォーカスが合っている場合のフォーカスレンズ11の位置におけるAF評価値、即ち、AF評価値の最高値は、被写体のコントラストに応じて変化する。このように、AF評価値の最高値と、被写体のコントラストとは対応関係にある。
以上説明したように、撮像装置は、AF評価値を用いることで、被写体までの距離や被写体のコントラストの高低といった、被写体の特徴を把握することができる。
さらに、以下、AF評価値を用いることで、輪郭強調強度及びノイズリダクション強度を適切に設定することが可能になる理由について説明する。
初めに、AF評価値と解像感との関係性について説明する。
解像感の高低は、レンズ性能を評価する指標であるMTF(Modulation Transfer function)の大小に対応する。このようなMTFと、画像の空間周波数との間には、図7に示されるような関係がある。
[MTFと空間周波数との関係]
図7は、MTFと空間周波数との関係を示す図である。
図7において、縦軸はMTFを示し、横軸は空間周波数を示している。
図7に示すように、空間周波数が高くなるほど、MTFが小さくなる。画像の絵柄が細かい部分は、空間周波数としては高い傾向がある。
同一被写体であれば、被写体までの距離が長くなるほど、画像の絵柄が細かくなる傾向にある。被写体までの距離が長くなるほど、レンズの特性上MTFが低い位置で撮影することになるので、解像感は低くなる。
このことは、全ての被写体に当てはまるとまでは言えないが(例えば遠景であっても絵柄が細かくない場合等)、概ね同様な傾向にあると言える。即ち、一般的な傾向として、被写体までの距離が遠くなるほど解像感が低くなる。
また、被写体のコントラストと解像感との間にも、一般的な傾向として次のような関係がある。即ち、コントラストが高くなるほど、明暗の差が大きくなり、明るい部分や暗い部分がはっきりするため、解像感が高くなる傾向にある。よって、被写体のコントラストが高くなるほど、解像感が高くなる傾向にある。
被写体までの距離や被写体のコントラストは、AF評価値により把握することが可能である。よって、AF評価値と解像感との間にはある程度の関係が存在することになる。そして、解像感の高低は、輪郭強調強度を増減することである程度調整することが可能である。
一方、AF評価値とノイズ感との間には直接的な関係はほとんど存在しないと思われる。しかしながら、図1を用いて上述したように、輪郭強調強度とノイズ感との間には一定の関係がある。輪郭強調強度はまた、解像感との間にも一定の関係がある。したがって、ノイズ感及び解像感をセットで考えた場合、このようなセットとAF評価値との間にはある程度の関係が存在することになる。
以上のことから、解像感が高く、かつノイズ感が低い撮像画像、即ち、良好な画質の画像を提供するためには、輪郭強調強度及びノイズリダクション強度を適切に設定することが必要であり、このためには、AF評価値を用いることができることがわかる。
例えば、撮像装置は、輪郭強調強度及びノイズリダクション強度の設定として、図8に示されるような設定をすることで、解像感が高く、かつノイズ感が低い撮像画像を提供することが可能になる。
[輪郭強調強度及びノイズリダクション強度の設定の指針]
図8は、AF情報に基づく輪郭強調強度及びノイズリダクション強度の設定の指針を示す図である。
図8の例では、AF情報として、AF評価値から求められる被写体までの距離と、被写体の像にフォーカスが合ったときのAF評価値(AF評価値の最高値であり、以下、フォーカス時AF評価値と称する)との2種類が採用されている。
先ず、被写体までの距離に基づく、輪郭強調強度及びノイズリダクション強度の設定の指針について説明する。
被写体までの距離が長い場合には、上述したように、撮像画像は一般的に、高周波の画像となり解像感が低くなる傾向が強い。このため、図8に示されるように、撮像装置は、輪郭強調強度を強くして解像感の低下を防止する。ただし、輪郭強調強度を強くすることにより不要なノイズが増幅されるため、即ちノイズ感も高くなるため、撮像装置は、ノイズリダクション強度を強くして、ノイズ感の上昇を防止する。
一方、被写体までの距離が短い場合には、逆に、撮像画像は一般的に、低周波の画像となり解像感が高くなる傾向が強い。このため、撮像装置は、輪郭強調強度を弱くして、不要なノイズの増幅を防止する。このとき、輪郭強調強度が弱く、また、元々発生しているノイズもわずかであることが多く、ノイズの増幅も防止されていることから、撮像装置は、ノイズリダクション強度を弱くして、ディテールの消失を極力抑えるようにする。
なお、被写体までの距離が中距離の場合には、撮像装置は、輪郭強調強度もノイズリダクション強度も中程度の強度にして、解像感とノイズ感のバランスが保たれるようにする。
次に、フォーカス時AF評価値に基づく、輪郭強調強度及びノイズリダクション強度の設定の指針について説明する。
フォーカス時AF評価値が高い場合は、撮像画像は一般的に、被写体のコントラストが十分に強く、解像感が高くなる傾向が強い。このため、図8に示されるように、撮像装置は、輪郭強調強度を弱くして、不要なノイズの増幅を防止する。このとき、輪郭強調強度が弱く、また、元々発生しているノイズもわずかであることが多く、ノイズの増幅も防止されていることから、撮像装置は、ノイズリダクション強度を弱くして、ディテールの消失を極力抑えるようにする。
一方、フォーカス時AF評価値が低い場合には、逆に、撮像画像は一般的に、被写体のコントラストが弱く、解像感が低くなる傾向が強い。このため、撮像装置は、輪郭強調強度を強くして解像感の低下を防止する。ただし、輪郭強調強度を強くすることにより不要なノイズが増幅されるため、即ちノイズ感も高くなるため、撮像装置は、ノイズリダクション強度を強くして、ノイズ感の上昇を防止する。
なお、フォーカス時AF評価値が中程度の値の場合には、撮像装置は、輪郭強調強度もノイズリダクション強度も中程度の強度にして、解像感とノイズ感のバランスが保たれるようにする。
次に、図9以降の図面を参照して、このような本発明に係る撮像装置の実施形態について説明する。
[撮像装置の構成例]
図9は、本発明の実施形態に係る撮像装置81の機能的構成例を示すブロック図である。
撮像装置81は、デジタルスチルカメラとして構成されている。
レンズ部101は、例えば上述したフォーカスレンズ11やズームレンズ等で構成される。フォーカスレンズ11は、撮像素子102の受光面に被写体像を結像させるため光学レンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させる光学レンズである。
撮像素子102は、CCD(Charge Coupled Devices)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどからなる。撮像素子102は、タイミングジェネレータ(TG)111から供給されるタイミング信号に従って動作することにより、レンズ部101を介して入射する被写体からの光を受光して光電変換を行う。そして、撮像素子102は、受光量に応じた電気信号としてのアナログの画像信号を、A/D(Analog/Digital)変換部103に供給する。
A/D変換部103は、撮像素子102からのアナログ信号の画像信号をA/D変換し、その結果得られるディジタル信号を、撮像画像のデータとして、CPU(Central Processing Unit)106に供給する。
画像データ処理部104は、撮像画像のデータをCPU106から取得して、各種画像処理を適宜施した上で、表示部21や記録デバイス105に供給する。
例えば、画像データ処理部104は、CPU106から記録の指示を受けた場合、CPU106から取得した撮像画像のデータに対してJPEG(Joint Photographic Experts Group)方式等を用いた圧縮符号化処理を施し、その結果得られる圧縮符号化データを、記録デバイス105に記録させる。
また、画像データ処理部104は、記録デバイス105に記録された圧縮符号化データを読み出して伸張復号処理を施し、その結果得られる撮像画像等のデータを表示部21に供給する。このようにして、表示部21に撮像画像等のデータが供給された場合、当該撮像画像等が表示部21に表示される。
なお、撮像動作中の撮像画像のデータが、記録デバイス105を介さないで表示部21に供給された場合には、上述したように、当該撮像画像はスルー画像として表示される。
記録デバイス105は、例えば、DVD(Digital Versatile Disc)等のディスクや、メモリカード等の半導体メモリその他のリムーバブルなリムーバブル記録媒体であり、撮像装置81に対して、容易に着脱可能になっている。記録デバイス105には、例えば撮影画像のデータ等が記録される。
CPU106は、プログラムROM(Read Only Memory)109に記録されているプログラムを実行することにより、撮像装置81を構成する各部を制御し、また、操作部107からの信号に応じて、各種の処理を行う。
本実施形態では、CPU106は、所定のプログラムを実行することにより、AF情報演算部131、強度演算部132、ノイズリダクション部133、輪郭抽出部134、輪郭強調部135、遅延部136、及び合算部137として機能する。
情報演算手段としてのAF情報演算部131は、AF機能を実行することにより得られる情報として、本実施形態ではAF評価値を演算する。即ち、AF情報演算部131は、A/D変換部103から供給された撮像画像のデータを用いて、上述したように、AF評価値を演算する。AF情報演算部131は、さらに、後述するレンズ制御部112によるAF機能の実行時に得られた各種情報に基づいて、被写体までの距離及びフォーカス時AF評価値を演算し、強度演算部132に供給する。
強度演算部132は、AF情報演算部131により演算された被写体までの距離とフォーカス時AF評価値に基づいて、ノイズリダクション強度と輪郭強調強度を演算する。ノイズリダクション強度と輪郭強調強度の演算手法については後述する。
ノイズリダクション部133は、A/D変換部103から供給された撮像画像のデータに対してノイズリダクション処理を施す。この場合のノイズリダクション強度は、強度演算部132によって演算された強度が用いられる。
輪郭抽出部134は、ノイズリダクション部133から供給されたノイズリダクション処理後の撮像画像のデータから、輪郭部分のデータを抽出する。
輪郭強調部135は、輪郭抽出部134により抽出された輪郭部分のデータに基づいて、当該輪郭部分の補正量を求めるための輪郭強調処理を実行する。この場合の輪郭強調強度は、強度演算部132によって演算された強度が用いられる。
遅延部136は、このような輪郭抽出部134及び輪郭強調部135が処理を実行している間、ノイズリダクション部133から供給されたノイズリダクション処理後の撮像画像のデータを保持している。そして、遅延部136は、輪郭強調部135の処理が終了した時点で、保持していたノイズリダクション処理後の撮像画像のデータを遅延して出力する。
このようにして、合算部137には、ノイズリダクション処理後の撮像画像のデータが遅延部136を介してノイズリダクション部133から供給されると共に、輪郭強調すべき輪郭部分の補正量を示すデータが輪郭強調部135から供給される。
合算部137は、ノイズリダクション処理後の撮像画像のデータのうち、輪郭強調すべき輪郭部分のデータの大きさ(画素値)に対して、輪郭強調部135から供給された補正量を合算して、その結果得られるデータを、画像データ処理部104に供給する。
このようなCPU106には、上述したA/D変換部103及び画像データ処理部104の他さらに、操作部107、EEPROM(Electrically Erasable Programmable ROM)108、プログラムROM109、RAM(Random Access Memory)110、タイミングジェネレータ111、及びレンズ制御部112が接続されている。
操作部107は、ユーザによって操作され、その操作に対応した信号を、CPU106に供給する。操作部107には、例えば、図示せぬ電源ボタン、シャッタボタン、ズームボタン、操作ボタン等が含まれる。
EEPROM108は、CPU106の制御にしたがい、各種データを記憶し、撮像装置81の電源がオフにされた後にも保持しておく。換言すると、撮像装置81の電源がオフにされたときにも保持しておく必要があるデータ、例えば撮像装置81に設定された情報等が、EEPROM108に記憶される。
プログラムROM109は、CPU106が実行するプログラムを記憶し、さらには、CPU106がプログラムを実行する上で必要なデータを記憶している。RAM110は、CPU106が各種の処理を行う上で必要なプログラムやデータを一時記憶する。
タイミングジェネレータ111は、CPU106の制御にしたがって、タイミング信号を撮像素子102に供給する。タイミングジェネレータ111から撮像素子102に供給されるタイミング信号によって、撮像素子102における露出時間(シャッタスピード)等が制御される。
レンズ制御部112は、CPU106の制御にしたがい、各モータ(図中内部に文字Mが記載されたシンボルがモータを示す)を含むアクチュエータ113を駆動することによって、レンズ部101の動作を制御する。
例えば、レンズ制御部112は、レンズ部101のうちフォーカスレンズ11の位置が、AF情報演算部131から供給されたAF評価値が最大となる位置になるように、アクチュエータ113を駆動する。このようにして、AF評価値が最大となる位置にフォーカスレンズ11が移動することによりAF機能が実現される。また、本実施形態では、フォーカスレンズ11の移動距離に基づいて、被写体までの距離がAF情報演算部131によって算出される。また、AF機能が実現されて被写体の像にフォーカスが合ったとしてフォーカスレンズ11が停止したときのAF評価値が、フォーカス時AF評価値としてAF情報演算部131によって求められる。そこで、レンズ制御部112は、フォーカスレンズ11の移動に関する情報をCPU106に適宜供給する。
このような構成の撮像装置81は、AF機能の実現によりAF評価値を演算し、当該AF評価値に基づいて、被写体までの距離やフォーカス時AF評価値といったAF情報を求める。次に、撮像装置81は、このようなAF情報を用いてノイズリダクション強度及び輪郭強調強度を設定する。そして、撮像装置81は、撮像画像のデータに対して、設定したノイズリダクション強度を用いてノイズリダクション処理を施すとともに、設定した輪郭強調強度を用いて輪郭強調処理を施す。このような一連の処理を、以下、画像加工処理と称する。
[画像加工処理]
図10は、画像加工処理の一例を説明するフローチャートである。
画像加工処理は、撮像装置81の動作モードが、例えば撮影モードに移行すると実行される。
ステップS1において、AF情報演算部131は、A/D変換部103から出力された撮像画像のデータである入力画像データを入力する。
ステップS2において、AF情報演算部131は、ステップS1で入力された入力画像データを用いて、AF情報を演算する。
まず、AF情報演算部131は、AF評価値を演算し、レンズ制御部112に供給する。即ち、入力された画像の予め設定されている特定領域内の各画素の輝度データに含まれる周波数成分が積分され、AF評価値とされる。レンズ制御部112は、このようにしてAF情報演算部131から供給されるAF評価値が最高値となる位置に、フォーカスレンズ11を移動させる。レンズ制御部112は、AF評価値が最高値となる位置にフォーカスレンズ11が停止したタイミングと、当該位置までのフォーカスレンズ11の移動距離をAF情報演算部131に通知する。AF情報演算部131は、通知されたタイミングのAF評価値(最高値)を、フォーカス時AF評価値として求めると共に、フォーカスレンズ11の移動距離から、被写体までの距離を求める。このようにして、フォーカス時AF評価値及び被写体までの距離からなるAF情報が、AF情報演算部131によって求められて強度演算部132に供給される。
ステップS3において、強度演算部132は、AF情報に基づいて輪郭強調強度とノイズリダクション強度とを演算する。即ち、強度演算部132は、ステップS2の処理で演算された被写体までの距離とフォーカス時AF評価値(AF評価値の最高値)に基づいて、例えば上述した図8に示される指針に従って、輪郭強調強度とノイズリダクション強度とを演算する。
なお、輪郭強調強度とノイズリダクション強度との具体的な設定手法については、図11乃至図14を参照して後述する。
ステップS4において、ノイズリダクション部133は、ステップS3において演算されたノイズリダクション強度にしたがってノイズを抑制するようなノイズリダクション処理を、A/D変換部103から提供された入力画像データに対して施す。
ステップS5において、輪郭抽出部134は、入力画像データに対してノイズリダクション処理が施された結果生成された画像データから、輪郭部分のデータを抽出する。
ステップS6において、輪郭強調部135は、輪郭抽出部134により抽出された輪郭部分のデータに基づいて、ステップS3において演算された輪郭強調強度にしたがって、当該輪郭部分の補正量を求める輪郭強調処理を実行する。
ステップS7において、合算部137は、画像データを合算する。即ち、合算部137は、入力画像データに対してノイズリダクション処理が施された結果生成された画像データのうち、輪郭部分のデータの大きさ(画素値)に対して、輪郭強調処理により得られた補正量を合算する。
ステップS8において、合算部137は、このような合算の結果得られるデータを、出力画像データとして画像データ処理部104に提供する。画像データ処理部104は、合算部137から供給された画像データを適宜処理し、表示部21に供給し、対応する画像を表示させる。
これにより画像加工処理は終了する。
このように、撮像装置81は、AF機能から得られるAF情報に応じて輪郭強調強度とノイズリダクション強度を変調する画像加工処理を実行することができる。その結果、撮像装置81は、解像感が高く、かつノイズ感が低い撮像画像、即ち良好な画質の画像を提供することが可能になる。
次に、AF情報に基づく輪郭強調強度及びノイズリダクション強度の設定手法の一例としについて具体的に説明する。
輪郭強調強度を示す式として、例えば次の式(1)を採用することができる。
輪郭強調強度=Dr×α×β・・・(1)
式(1)において、輪郭強調強度は、Dr、α、及びβの積により演算される。Drは、デフォルト値を示している。デフォルト値Drとしては、例えば、頻繁に撮影する被写体を含む撮像画像のデータに対して輪郭強調処理を施す場合の輪郭強調強度を採用することができる。αは、被写体までの距離に応じて変化する係数を示しており、βは、フォーカス時AF評価値に応じて変化する係数を示している。係数αや係数βの値は、撮像装置81の設計者、製造者又はユーザ(以下、ユーザ等と称する)が自由に設定変更することが可能である。従って、ユーザ等は、係数αと係数βの設定値を適宜変更することにより、被写体までの距離とフォーカス時AF評価値とのうちどちらを重視して輪郭強調強度を演算するのかを設定することができる。
また、ノイズリダクション強度を示す式として、例えば次の式(2)を採用することができる。
ノイズリダクション強度=Dn×γ・・・(2)
式(2)において、ノイズリダクション強度は、Dnとγの積により演算される。Dnは、デフォルト値を示している。デフォルト値Dnしては、例えば、頻繁に撮影する被写体を含む撮像画像のデータに対してノイズリダクション処理を施す場合のノイズリダクション強度を採用することができる。γは、式(1)で演算された輪郭強調強度に応じて変化する係数である。係数γの値は、ユーザ等が自由に設定変更することが可能である。従って、ユーザ等は、係数γの設定値を適宜変更することにより、輪郭強調強度の適切な設定を維持したまま、ノイズリダクション強度を適切に設定することが実現可能になる。
次に、図11乃至図14を参照して、式(1)における係数α及び係数β、並びに、式(2)における係数γの具体的な設定手法について、幾つかの例を説明する。
[係数α,係数β,係数γの設定手法の一例]
図11は、式(1)における係数α及び係数β、並びに、式(2)における係数γの設定手法の一例を説明する図である。
図11Aは、式(1)における係数αの設定手法の一例を示す図である。図11Aにおいて、横軸は被写体までの距離を示し、縦軸は係数αを示している。即ち、図11Aの例では、被写体までの距離が長くなるにつれて(横軸の値が大きくなるのにつれて)、解像感が比例的に低くなると仮定(近似)されている。このため、係数αは、被写体までの距離が長くなるのに比例して大きくなるように、即ち解像感が低くなるのに比例して大きくなるように設定される。これにより、解像感の低下が防止される。
図11Bは、式(1)における係数βの設定手法の一例を示す図である。図11Bにおいて、横軸はフォーカス時AF評価値を示し、縦軸は係数βを示している。即ち、図11Bの例では、フォーカス時AF評価値が大きくになるにつれて(横軸の値が大きくなるにつれて)、解像感が比例的に高くなると仮定(近似)されている。このため、係数βは、フォーカス時AF評価値が大きくになるのに比例して小さくなるように、即ち解像感が高くなるのに比例して小さくなるように設定される。これにより、解像感が高くなるにつれて輪郭強調強度が弱くなるので、不要なノイズの増幅が防止される。
図11Cは、式(2)における係数γの設定手法の一例を示す図である。図11Cにおいて、横軸は輪郭強調強度を示し、縦軸は係数γを示している。即ち、図11Cの例では、輪郭強調強度が大きくなるにつれて(横軸の値が大きくなるにつれて)、ノイズ感が比例的に高くなると仮定(近似)されている。このため、係数γは、輪郭強調強度が大きくなるのに比例して大きくなるように、即ちノイズ感が高くなるのに比例して大きくなるように設定される。これにより、輪郭強調処理による不要なノイズの増幅が防止される。
[係数α,係数β,係数γの設定手法の他の一例]
図12は、式(1)における係数α及び係数β、並びに、式(2)における係数γの設定手法の他の例について説明する図である。
図12Aは、式(1)における係数αの設定手法の一例を示す図である。図12Aにおいて、横軸は被写体までの距離を示し、縦軸は係数αを示している。即ち、図12Aの例では、被写体までの距離が長くなるにつれて(横軸の値が大きくなるにつれて)、解像感が段階的に低くなると仮定(近似)されている。このため、係数αは、被写体までの距離が長くなるのに比例して段階的に大きくなるように、即ち解像感が低くなるのに比例して段階的に大きくなるように設定される。具体的には、被写体までの距離の範囲が、距離0乃至D1の第1範囲、距離D1乃至D2(D1<D2)の第2範囲、及び距離D2以上の第3範囲といった3つの範囲に区分される。このような3つの範囲のうち同一の範囲内では、係数αは、被写体までの距離が長くなるのに比例して大きくなるように、即ち解像感が低くなるのに比例して大きくなるように設定される。即ち、同一の範囲内では、係数αの増加の割合(傾き)が一定になる。ただし、このような係数αの増加の割合(傾き)、即ち比例定数は、第1範囲乃至第3範囲の順番で段階的に大きくなっていく。これにより、解像感の低下が防止される。
図12Bは、式(1)における係数βの設定手法の一例を示す図である。図12Bにおいて、横軸はフォーカス時AF評価値を示し、縦軸は係数βを示している。即ち、図12Bの例では、フォーカス時AF評価値が大きくになるにつれて(横軸の値が大きくなるにつれて)、解像感が段階的に高くなると仮定(近似)されている。このため、係数βは、フォーカス時AF評価値が大きくになるのに比例して段階的に小さくなるように、即ち解像感が高くなるのに比例して段階的に小さくなるように設定される。具体的には、フォーカス時AF評価値の範囲が、値0乃至A1の第1範囲、値A1乃至A2の第2範囲、及び値A2以上の第3範囲といった3つの範囲に区分される。このような3つの範囲のうち同一の範囲内では、係数βは、フォーカス時AF評価値が大きくなるのに比例して小さくなるように、即ち解像感が高くなるのに比例して小さくなるように設定される。即ち、同一の範囲内では、係数βの減少の割合(傾き)が一定になる。ただし、このような係数βの減少の割合(傾き)、即ち比例定数は、第1範囲乃至第3範囲の順番で段階的に小さくなっていく。これにより、解像感が高くなるにつれて輪郭強調強度が弱くなるので、不要なノイズの増幅が防止される。
図12Cは、式(2)における係数γの設定手法の一例を示す図である。図12Cにおいて、横軸は輪郭強調強度を示し、縦軸は係数γを示している。即ち、図12Cの例では、輪郭強調強度が大きくなるにつれて(横軸の値が大きくなるにつれて)、ノイズ感が段階的に高くなると仮定(近似)されている。このため、係数γは、輪郭強調強度が大きくなるのに比例して段階的大きくなるように、即ちノイズ感が高くなるのに比例して段階的に大きくなるように設定される。具体的には、輪郭強調強度の範囲が、値0乃至R1の第1範囲、値R1乃至R2の第2範囲、及び値R2以上の第3範囲といった3つの範囲に区分される。このような3つの範囲のうち同一の範囲内では、係数γは、輪郭強調強度が大きくなるのに比例して大きくなるように、即ちノイズ感が高くなるのに比例して大きくなるように設定される。即ち、同一の範囲内では、係数γの増加の割合(傾き)が一定になる。ただし、このような係数γの増加の割合(傾き)、即ち比例定数は、第1範囲乃至第3範囲の順番で段階的に大きくなっていく。これにより、輪郭強調処理による不要なノイズの増幅が防止される。
[係数α,係数β,係数γの設定手法の他の一例]
図13は、式(1)における係数α及び係数β、並びに、式(2)における係数γの設定手法の他の例について説明する図である。
図13Aは、式(1)における係数αの設定手法の一例を示す図である。図13Aにおいて、横軸は被写体までの距離を示し、縦軸は係数αを示している。即ち、図13Aの例では、被写体までの距離が一定距離以下の短い距離の場合には解像感は許容できる範囲で収まっていると仮定(近似)されている。ただし、被写体までの距離が一定距離を超えると、解像感が許容できないレベルまで低下し、それ以降長くなるにつれて(横軸の値が大きくなるにつれて)、解像感がさらに低くなると仮定(近似)されている。このため、被写体までの距離が一定距離になるまでは解像感は許容できるレベルの範囲内であるため、係数αとして一定の値が設定される。一方、係被写体までの距離が一定距離を超えると解像感は許容できないレベルまで低下するため、それ以降、係数αは、被写体までの距離が長くなるのに比例して段階的に大きくなるように、即ち解像感が低くなるのに比例して大きくなるように設定される。具体的には、被写体までの距離が一定距離D11になるまでは、係数αは一定の値が設定される。一方、距離D11を超えた範囲は、距離D11乃至D12(D11<D12)の第1範囲、及び距離D12以上の第2範囲といった2つの範囲に区分される。このような2つの範囲のうち同一の範囲内では、係数αは、被写体までの距離が長くなるのに比例して大きくなるように、即ち解像感が低くなるのに比例して大きくなるように設定される。即ち、同一の範囲内では、係数αの増加の割合(傾き)が一定になる。ただし、このような係数αの増加の割合(傾き)、即ち比例定数は、第1範囲及び第2範囲の順番で段階的に大きくなっていく。これにより、解像感の低下が防止される。
図13Bは、式(1)における係数βの設定手法の一例を示す図である。図13Bにおいて、横軸はフォーカス時AF評価値を示し、縦軸は係数βを示している。即ち、図13Bの例では、フォーカス時AF評価値が一定値以下の場合、フォーカス時AF評価値が大きくになるにつれて(横軸の値が大きくなるにつれて)、解像感が段階的に高くなると仮定(近似)されている。ただし、フォーカス時AF評価値が一定値を超える場合には解像感は満足できる範囲に収まると仮定(近似)されている。このため、フォーカス時AF評価値が一定値になるまでは、係数βは、フォーカス時AF評価値が大きくになるのに比例して段階的に小さくなるように、即ち解像感が高くなるのに比例して段階的に小さくなるように設定される。一方、フォーカス時AF評価値が一定値を超えると解像感は満足できるレベルまで高くなるため、それ以降、係数βとして一定の値が設定される。具体的には、フォーカス時AF評価値の範囲が、値0乃至A11の第1範囲、及び値A11乃至A12(A11<A12)の第2範囲といった2つの範囲に区分される。このような2つの範囲のうち同一の範囲内では、係数βは、フォーカス時AF評価値が大きくなるのに比例して小さくなるように、即ち解像感が高くなるのに比例して小さくなるように設定される。即ち、同一の範囲内では、係数βの減少の割合(傾き)が一定になる。ただし、このような係数βの減少の割合(傾き)、即ち比例定数は、第1範囲及び第2範囲の順番で段階的に小さくなっていく。一方、フォーカス時AF評価値が一定値A12を超えると、係数βとして一定の値が設定される。これにより、解像感が高くなるにつれて輪郭強調強度が弱くなるので、不要なノイズの増幅が防止される。
図13Cは、式(2)における係数γの設定手法の一例を示す図である。図13Cにおいて、横軸は輪郭強調強度を示し、縦軸は係数γを示している。即ち、図13Cの例では、輪郭強調強度が一定値以下の場合にはノイズ感は許容できる範囲で収まっていると仮定(近似)されている。ただし、輪郭強調強度が一定値を超えると、ノイズ感が許容できないレベルまで低下し、それ以降輪郭強調強度が大きくなるにつれて(横軸の値が大きくなるにつれて)、ノイズ感が段階的に高くなると仮定(近似)されている。このため、輪郭強調強度が一定値になるまではノイズ感は許容できるレベルの範囲内であるため、係数γとして一定の値が設定される。一方、輪郭強調強度が一定値を超えるとノイズ感は許容できないレベルまで低下するため、それ以降、係数γは、輪郭強調強度が大きくなるのに比例して段階的大きくなるように、即ちノイズ感が高くなるのに比例して段階的に大きくなるように設定される。具体的には、輪郭強調強度が一定値R11になるまでは、係数γは一定の値が設定される。一方、値R11を超えた範囲は、値R11乃至R12(R11<R12)の第1範囲、及び値R12以上の第2範囲といった2つの範囲に区分される。このような2つの範囲のうち同一の範囲内では、係数γは、輪郭強調強度が大きくなるのに比例して大きくなるように、即ちノイズ感が高くなるのに比例して大きくなるように設定される。即ち、同一の範囲内では、係数γの増加の割合(傾き)が一定になる。ただし、このような係数γの増加の割合(傾き)、即ち比例定数は、第1範囲及び第2範囲の順番で段階的に大きくなっていく。これにより、輪郭強調処理による不要なノイズの増幅が防止される。
[係数α,係数β,係数γの設定手法の他の一例]
図14は、式(1)における係数α及び係数β、並びに、式(2)における係数γの設定手法の他の例について説明する図である。
図14Aは、式(1)における係数αの設定手法の一例を示す図である。図14Aにおいて、横軸は被写体までの距離を示し、縦軸は係数αを示している。即ち、図14Aの例では、図11Aの例と同様に、被写体までの距離が長くなるにつれて(横軸の値が大きくなるにつれて)、解像感が比例的に低くなると仮定(近似)されている。このため、係数αは、被写体までの距離が長くなるのに比例して大きくなるように、即ち解像感が低くなるのに比例して大きくなるように設定される。ただし、輪郭強調処理の効果が強すぎると、輪郭部が過度に強調され、その結果撮像画像にはリンギングが発生するおそれがある。そこで、図14Aの例では、係数αにはリミットαLが設けられている。即ち、係数αが当該リミットαLを超えると、それ以降被写体までの距離が長くなっても、係数αとしてリミットαLが一律に設定され、その結果、輪郭強調強度の強さも一定以下に規制される。
図14Bは、式(1)における係数βの設定手法の一例を示す図である。図14Bにおいて、横軸はフォーカス時AF評価値を示し、縦軸は係数βを示している。即ち、図12Bの例では、図11Bの例と同様に、フォーカス時AF評価値が大きくになるにつれて(横軸の値が大きくなるにつれて)、解像感が比例的に高くなると仮定(近似)されている。このため、係数βは、フォーカス時AF評価値が大きくになるのに比例して小さくなるように、即ち解像感が高くなるのに比例して小さくなるように設定される。これにより、解像感が高くなるにつれて輪郭強調強度が弱くなるので、不要なノイズの増幅が防止される。ただし、郭強調処理の効果が強すぎると、輪郭部が過度に強調され、その結果撮像画像にはリンギングが発生するおそれがある。そこで、図14Bの例では、このようなリンギングの発生を防止すべく、係数βにはリミットβLが設けられている。即ち、被写体までの距離が一定距離になるまでは、係数βとしてリミットβLが一律に設定され、その結果、輪郭強調強度の強さも一定以下に規制される。
図14Cは、式(2)における係数γの設定手法の一例を示す図である。図14Cにおいて、横軸は輪郭強調強度を示し、縦軸は係数γを示している。即ち、図14Cの例では、図11Cと同様に、輪郭強調強度が大きくなるにつれて(横軸の値が大きくなるにつれて)、ノイズ感が比例的に高くなると仮定(近似)されている。このため、係数γは、輪郭強調強度が大きくなるのに比例して大きくなるように、即ちノイズ感が高くなるのに比例して大きくなるように設定される。これにより、輪郭強調処理による不要なノイズの増幅が防止される。ただし、ノイズリダクション処理の効果が強すぎると、撮像画像のディテールが消失するおそれがある。そこで、図14Cの例では、当該ディテールの消失を防止すべく、係数γにはリミットγLが設けられている。即ち、係数γが当該リミットγLを超えると、それ以降輪郭強調強度が高くなっても、係数γとしてリミットγLが一律に設定され、その結果、ノイズリダクション強度の強さも一定以下に規制される。
なお、以上においては、輪郭強調処理とノイズリダクション処理の両方を実行するようにしたが、その一方だけを実行する場合にも本発明を適用することができる。例えば、輪郭強調処理だけを実行する場合にも、式(1)により演算された値に基づき輪郭強調処理を制御すれば、固定値で制御する場合に較べて、より良好な画質の画像を得ることができる。
また、本発明の実施形態に係る撮像装置81において、CPU106によって行われる処理は、ハードウエア(DSP(Digital Signal Processor)等)により行われるようにしてもよい。
本発明は、デジタルスチルカメラの他、カメラ付き携帯電話機等、撮像機能とAF機能とを備えた撮像装置に適用することができる。
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
例えば、CPU106に実行させるプログラムは、あらかじめプログラムROM109にインストール(記憶)させておくこともできる。その他、プログラムが記憶された記録デバイス105を、パッケージメディアとして撮像装置81のユーザに提供することもできる。この場合には当該プログラムは、CPU106の制御にしたがって、パッケージメディアとして提供された記録デバイス105から読み出されて、EEPROM108にインストールされる。また、CPU106に実行させるプログラムは、図示はしないが、インターネット等のネットワークを介在する通信機能が撮像装置81に備えられている場合、ダウンロードサイトから、撮像装置81に直接ダウンロードされ、あるいは、図示せぬコンピュータでダウンロードされて撮像装置81に供給されることによって、EEPROM108にインストールされる。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。