JP2010050874A - 画像処理装置、画像処理方法及びデジタルスチルカメラ - Google Patents

Abstract

【課題】充分な測距精度が得られない様な撮影状況においても、適切な画像処理を行える画像処理装置、画像処理方法およびデジタルスチルカメラを提供すること。
【解決手段】入力画像データに対応する被写体までの距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定し、補正を要する場合、当該距離情報を補正距離情報に補正し、該補正距離情報に基づいて前記入力画像データに画像処理を行うことを特徴とする。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法及びデジタルスチルカメラに関する。

コンパクトデジタルカメラで用いられる撮像素子の面積は、一眼レフカメラで用いられる撮像素子の面積や銀塩フィルムよりも小さい。このため、コンパクトデジタルカメラでは同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は一眼レフカメラよりも短い。焦点距離が短いと、撮影光学系のＦナンバーを同じにしても、被写界深度が深くなってしまう。ここで、焦点距離が短くなることに比例させてＦナンバーを小さくする（明るくする）ことができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大してしまう。このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合ってしまう。これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所ともなるが、ポートレートのように背景を大きくぼかすような撮影は困難となり問題である。

上記した問題に対して、画像処理により背景をぼかすカメラが特許文献１〜４として提案されている。これらのカメラでは、距離や画角内の位置に応じてフィルタの特性を変え、遠近感のあるぼけを再現している。

特に、特許文献１、２及び４では、画面の各領域における被写体までの距離を測定し、距離に応じて主要被写体を分離しているため、より自然な画像を得ることができる。
しかしながら上記した従来のカメラでは、測距結果の精度に関しては何ら考慮されておらず、測距の精度が得られない様な撮影状況においても同じ処理を行っているために、撮影状況によっては主要被写体の誤分離の問題を引き起こすことになる。

特開平１１−２６６３８８号公報 特開２００３−３７７６７号公報 特開２００３−１０１８５８号公報 特開平９−３１８８７０号公報

本発明は、以上のような状況を鑑みてなされたものであり、充分な測距精度が得られない様な撮影状況においても、適切な画像処理を行える画像処理装置、画像処理方法およびデジタルスチルカメラを提供することを目的としている。

本発明者らは鋭意検討を重ねた結果、入力画像データに対応する被写体までの距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定し、補正を要する場合、当該距離情報を補正距離情報に補正し、該補正距離情報に基づいて前記入力画像データに画像処理を行うことで上記課題が解決されることを見出し、本発明を完成するに至った。
即ち、本発明は下記（１）〜（１３）に記載の技術的特徴を有するものである。

（１）：判定手段と、補正手段と、入力画像データに画像処理を行う画像処理手段と、を備え、前記判定手段は、前記入力画像データに対応する被写体までの距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定し、補正不要の場合、前記画像処理手段は、当該距離情報に基づいて前記入力画像データに画像処理を行い、補正を要する場合、前記補正手段は、当該距離情報を補正距離情報に補正し、前記画像処理手段は、前記補正距離情報に基づいて前記入力画像データに画像処理を行うことを特徴とする画像処理装置である。

（２）：前記補正手段は、前記被写体の各画像位置における、当該被写体の中の主要被写体の画像位置に対する変位に基づいて補正することを特徴とする上記（１）に記載の画像処理装置である。

（３）：前記判定手段は、前記被写体の中の主要被写体までの距離情報に基づいて判定を行うことを特徴とする上記（１）または（２）に記載の画像処理装置である。

（４）：前記判定手段は、前記入力画像データに対応する被写体撮像時のレンズの焦点距離に基づいて判定を行うことを特徴とする上記（１）または（２）に記載の画像処理装置である。

（５）：前記判定手段は、前記入力画像データにおける被写体の輝度情報に基づいて判定を行うことを特徴とする上記（１）または（２）に記載の画像処理装置である。

（６）：前記入力画像データは、主要被写体画像と、背景画像と、を含み、前記画像処理手段は、前記背景画像のぼかし処理を行うことを特徴とする上記（１）乃至（５）のいずれか１項に記載の画像処理装置である。

（７）：レンズを有する光学系と、該光学系を介して被写体から入射した光を撮像信号として出力する撮像素子と、前記被写体までの距離を測定して距離情報を取得する測距手段と、前記撮像信号をメモリに格納する撮像手段と、前記距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定する判定手段と、該判定手段の判定が補正を要する場合、当該距離情報を補正距離情報に補正する補正手段と、前記距離情報または前記補正距離情報に基づいて前記撮像信号に画像処理を行う画像処理手段と、を備えることを特徴とする撮像装置である。

（８）：前記補正手段は、前記被写体の各画像位置における、当該被写体の中の主要被写体の画像位置に対する変位に基づいて補正することを特徴とする上記（７）に記載の撮像装置である。

（９）：前記判定手段は、前記被写体の中の主要被写体までの距離情報に基づいて判定を行うことを特徴とする上記（７）または（８）に記載の撮像装置である。

（１０）：前記判定手段は、前記撮像手段の撮像時における前記レンズの焦点距離に基づいて判定を行うことを特徴とする上記（７）または（８）に記載の撮像装置である。

（１１）：前記被写体の輝度情報を取得する輝度情報取得手段を備え、
前記判定手段は、前記輝度情報に基づいて判定を行うことを特徴とする上記（７）または（８）に記載の撮像装置である。

（１２）：前記撮像信号は、主要被写体画像と、背景画像と、を含み、
前記画像処理手段は、前記背景画像のぼかし処理を行うことを特徴とする上記（７）乃至（１１）のいずれか１項に記載の撮像装置である。

（１３）：デジタルスチルカメラであることを特徴とする上記（７）乃至（１２）のいずれか１項に記載の撮像装置である。

（１４）：判定工程と、補正工程と、入力画像データに画像処理を行う画像処理工程と、を備え、前記判定工程は、前記入力画像データに対応する被写体までの距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定し、補正不要の場合、前記画像処理工程は、当該距離情報に基づいて前記入力画像データに画像処理を行い、補正を要する場合、前記補正工程は、当該距離情報を補正距離情報に補正し、前記画像処理工程は、前記補正距離情報に基づいて前記入力画像データに画像処理を行うことを特徴とする画像処理方法である。

（１５）：前記補正工程は、前記被写体の各画像位置における、当該被写体の中の主要被写体の画像位置に対する変位に基づいて補正することを特徴とする上記（１４）に記載の画像処理方法である。

（１６）：前記判定工程は、前記被写体の中の主要被写体までの距離情報に基づいて判定を行うことを特徴とする上記（１４）または（１５）に記載の画像処理方法である。

（１７）：前記判定工程は、前記入力画像データに対応する被写体撮像時のレンズの焦点距離に基づいて判定を行うことを特徴とする請求項１４または１５に記載の画像処理方法である。

（１８）：前記判定工程は、前記入力画像データにおける被写体の輝度情報に基づいて判定を行うことを特徴とする上記（１４）または（１５）に記載の画像処理方法である。

（１９）：前記入力画像データは、主要被写体画像と、背景画像と、を含み、前記画像処理工程は、前記背景画像のぼかし処理を行うことを特徴とする上記（１４）乃至（１８）のいずれか１項に記載の画像処理方法である。

上記（１）、（７）または（１４）に記載の発明によれば、測距情報の信頼性を判定し、判定結果に基づいて測距情報を補正する様に構成されているので、測距情報の信頼性に応じた最適な画像処理を行うことができるという効果がある。

上記（２）、（８）または（１５）に記載の発明によれば、主要被写体の画像位置からの変位に基づいて測距情報を補正する様に構成されているので、主要被写体を中心にした最適な画像処理を行うことができるという効果がある。

上記（３）、（９）または（１６）に記載の発明によれば、主要被写体までの測距情報に基づいて測距情報の信頼性を判定し、判定結果に基づいて測距情報を補正する様に構成されているので、主要被写体までの距離情報（撮影距離）に応じた最適な画像処理を行うことができるという効果がある。

上記（４）、（１０）または（１７）に記載の発明によれば、撮像時のレンズの焦点距離に基づいて測距情報の信頼性を判定し、判定結果に基づいて測距を補正する様に構成されているので、レンズの焦点距離（ズーム位置）に応じた最適な画像処理を行うことができるという効果がある。

上記（５）、（１１）または（１８）に記載の発明によれば、撮像時の被写体の明るさに基づいて測距の信頼性を判定し、判定結果に基づいて測距情報を補正する様に構成されているので、被写体の明るさに応じた最適な画像処理を行うことができるという効果がある。

上記（６）、（１２）または（１９）に記載の発明によれば、上記した発明における補正を背景画像のぼかし処理に適用する様に構成されているので、撮影状況に応じた最適なぼかし処理を行うことができるという効果がある。

上記（１３）に記載の発明によれば、撮影状況に応じて最適な画像処理を行うデジタルスチルカメラを実現することができるという効果がある。

本発明に係る画像処理装置、画像処理方法およびデジタルスチルカメラによれば、充分な測距精度が得られない様な撮影状況においても、適切な画像処理を行える。

以下、図面を参照しながら本発明の実施形態について具体的に説明する。
図１に本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示す。図１において、０１は、デジタルスチルカメラ装置である。０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマー等からなるシステム制御部である。０３は、撮像のために設けられた、光学系部品を駆動するためのモータや、ＣＣＤを駆動するためのＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部（撮像手段）である。

０４は、撮像部で得られた画像信号（入力画像データ）に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる画像処理部（画像処理手段）である。０５は、画像処理部０４で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤへ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる表示制御部である。

０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤである。０７は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラ等からなる記録メディアインターフェイス部である。０８は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられたフラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な記録メディアである。

０９は、ダイアル等のユーザーインターフェイスの状態検出を行い、またメインＣＰＵへの主電源制御を行うために設けられた、サブＣＰＵ等からなるハードキーインターフェイス部である。１０は、ＵＳＢ接続してデータ通信を行うために設けられた、通信コントローラからなる通信インターフェイス部である。１１は、デジタルスチルカメラ装置０１とＵＳＢ接続して、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣ（パーソナルコンピュータ）である。

１２は、撮影モードを設定するための、モードダイヤルである。１３は、撮影を指示するための、レリーズキーである。１４は、撮像を行うためのＣＣＤ（撮像素子）である。１５は、光学像をＣＣＤ１４上に結像させるための、レンズ（光学系の一部を構成する）である。

図２は本発明のデジタルスチルカメラの一実施の形態の外観を示す上面図である。図３は図２のデジタルスチルカメラの外観を示す正面図である。図４は図２のデジタルスチルカメラの外観を示す背面図である。
図２〜４において、デジタルスチルカメラ本体１の上面には、レリーズシャッタ（ＳＷ１）６２、モードダイヤル（ＳＷ２）６３、およびサブＬＣＤ６４が配置されている。デジタルスチルカメラ本体１の正面には、ＳＤカード／電池蓋６５、ストロボ発光部６６、光学ファインダ６７、リモコン受光部６９、鏡胴ユニット７０が配置されている。デジタルスチルカメラ本体１の背面には、ＡＦＬＥＤ７１、ストロボＬＥＤ７２、ズームスイッチ（ワイド）（ＳＷ３）７３、ズームスイッチ（遠隔）（ＳＷ４）７４、セルフタイマ／削除スイッチ（ＳＷ５）７５、メニュースイッチ（ＳＷ６）７６、上／ストロボスイッチ（ＳＷ７）７７が配置されている。さらに、デジタルスチルカメラ本体１の背面には、右スイッチ（ＳＷ８）７８、ディスプレイスイッチ（ＳＷ９）７９、下／ストロボスイッチ（ＳＷ１０）８０、左／画像確認スイッチ（ＳＷ１１）８１、オーケースイッチ（ＳＷ１２）８２、ＬＣＤモニタ８３および電源スイッチ（ＳＷ１３）８４が配置されている。またさらに、デジタルスチルカメラ本体１の背面には、光学ファインダ６７が正面と同様の位置に配置されている。この光学ファインダ６７は、装置の正面から背面まで挿通した状態で固定されている。

まず、従来の起動動作について説明する。利用者が電源ボタン８４を押下すると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔（２ｍＳ）毎にパルス信号を与えることで行う。また、記録メディア０８の初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを１０ｍＳ間隔でポーリングする。

続いて撮影時の動作について説明する。利用者は撮影に先立ち、図２〜４に示されている種々のキー、ダイヤルを操作し、撮影モード（高画質モード、低画質モード等）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部０４へ設定する。

あるいはまた、利用者はズームスイッチ７３，７４を操作し、画角（構図）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。

撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。レリーズボタン１３が押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。

撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディア０８へ書き込む。以上で一連の撮影動作を完了する。

〔距離情報を補正する動作フローの第１の実施の形態〕
続いて、本発明の第１の実施の形態として、主要被写体までの距離とレンズの焦点距離に基づいて距離情報（測距結果）を補正する例について説明する。動作フローを図５（Ａ）に示す。本フローはモニタリング中の動作に関わる動作フローを示している。
モニタリング動作を開始すると、システム制御部０２は、後述するぼかし量パラメータを初期値（＝５）に設定する（ｓｔｅｐ０１−００１）。システム制御部０２は画像処理部０４及び撮像部０３を制御し、ＣＣＤＡＦのスキャン動作を行う（ｓｔｅｐ０１−００２；測距手段）。続いてシステム制御部０２は、撮影領域内の位置毎のピーク位置の判定を行う（ｓｔｅｐ０１−００３）。

ここで、ＣＣＤＡＦの概要ついて説明する。
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、撮像素子で光電変換された映像信号（撮像信号）によって画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御して焦点調節を行う。通常、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。
ＣＣＤＡＦは、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置（レンズの焦点距離）を合焦位置とする方法である。

以下、図６を参照しながら説明する。図６（Ａ）において、１００はモニタリング画像の撮影領域、１０１は１つのＡＦ評価値エリアを示している。図６（Ａ）に示すように、ＡＦ評価値エリアは、撮影領域内を均等に分割した小領域となっており、ＣＣＤＡＦにより各領域毎のＡＦ評価値（領域内の画像のコントラストの積算値）が得られる。システム制御部０２は、各領域毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの位置を判定する。さらにシステム制御部０２は、各領域毎に、現在のズーム位置からレンズの駆動位置を距離情報（入力画像データの一部）に変換する。

このＣＣＤＡＦにおけるレンズ位置（合焦距離）とＡＦ評価値との関係の一例を図７に示す。
図７において、横軸はレンズ位置及び、レンズ位置に対応した合焦する距離、縦軸はＡＦ評価値を示している。また、９０１は遠距離にある被写体（例えば図６（Ｄ）の１０５の背景の山部分）のスキャンに伴うＡＦ評価値の変化を示した波形、９０２は同じく中距離にある被写体（例えば図６（Ｄ）の１０５の背景の縁石部分１１１）のスキャンに伴うＡＦ評価値の変化を示した波形、９０３は同じく近距離にある被写体（例えば図６（Ｄ）の人物部分）のスキャンに伴うＡＦ評価値の変化を示した波形である。

ここで、ＡＦ評価値はＡＦ評価値エリア内の各画素に対し、水平方向の画素間でＨＰＦ（ハイパスフィルター）演算を行い、得られた高周波成分を加算したものである。ＨＰＦの係数は、例えば、ｋｉ={−１，−２，６，−２，−１}といった値が用いられる。ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ２は注目画素に乗算される係数、ｋ３は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ４は注目画素の水平方向＋２の座標の画素に乗算される係数である。

このＡＦ評価値の演算を、図８に示すＡＦ評価値エリア内の５画素を抜き出したものを例に挙げて具体的に説明する。
図８において、１００１は、注目画素の水平方向−２の座標の画素、１００２は、注目画素の水平方向−１の座標の画素、１００３は、注目画素、１００４は、注目画素の水平方向＋１の座標の画素、１００５は、注目画素の水平方向＋２の座標の画素を示している。ＡＦ評価値は、下記式（１）で求められる。

（ＡＦ評価値） ＝ ｋ０×（１００１の画素の値） ＋ ｋ１×（１００２の画素の値） ＋ ｋ２×（１００３の画素の値） ＋ ｋ３×（１００４の画素の値） ＋ ｋ４×（１００５の画素の値） ・・・式（１）

ＡＦ評価値から距離情報を取得するには、下記式（２−１）で示されるガウスの結像方程式、
１／ａ＋１／ｂ＝１／ｆ ・・・式（２−１）
から、
ａ＝ｂｆ／（ｂ−ｆ） ・・・式（２−２）
として求められる。

ここで、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離、である。レンズから被写体までの距離ａが求める距離情報である。レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められる。レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの位置から一意に求められる。以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。

さらに、得られた距離情報の精度について考察する。
ＣＣＤＡＦで測距を行う場合には、前述した様に撮像素子１４で光電変換された映像信号（撮像信号）によって画面の鮮鋭度（ＡＦ評価値）を検出する。
そのため、光学的に撮像素子１４上に結像される像の変化が少なければ、鮮鋭度（ＡＦ評価値）の変化も少なくなり、ピークを検出し難くなる。

また、光学的な結像の変化の度合いの一面は、被写界深度で表すことができる。
被写界深度はある被写体にピントを合わせたときに、撮像素子の１画素の大きさから、ピントの合っているものとして許容することのできる、被写体までの距離の範囲を表すもので、下記式（３−１）及び（３−２）で定義される。

ＤＮ＝ｓ−ｓ・（Ｈ−ｆ）／（Ｈ＋ｓ−２ｆ） ・・・式（３−１）
ＤＦ＝ｓ・（Ｈ−ｆ）／（Ｈ−ｓ）−ｓ ・・・式（３−２）

ここで、ＤＮは、被写体の近距離側のピントの合う範囲、ＤＦは被写体の遠距離側のピントの合う範囲である。
上記式（３−１）及び（３−２）において、ｓは、被写体までの距離、ｆは、レンズの焦点距離、Ｈは、過焦点距離とよばれ、この過焦点距離Ｈは更に下記式（３−３）で定義される。

Ｈ＝ｆ×ｆ／（Ｎ×ｃ） ・・・式（３−３）

上記式（３−３）において、ｆは、レンズの焦点距離、Ｎは、レンズの絞り値、ｃは、撮像素子の１画素の大きさである。

このＤＮ及びＤＦで表される被写界深度Ｄの、被写体までの距離ｓまたはレンズの焦点距離ｆとの関係の一例を図９に示す。図９（Ａ）は、ある焦点距離のレンズにおける、被写体までの距離の変化に対する被写界深度の変化を示し、図９（Ｂ）は、ある被写体までの距離における、レンズの焦点距離の変化に対する被写界深度の変化を示す。
図９（Ａ）から明らかな様に、被写体までの距離ｓが長ければ長いほど、被写界深度は深くなり、即ち、光学的な結像の変化が少なくなり、ピーク検出の精度が落ちる。図示の例で具体的には、被写体までの距離ｓが３０００ｍｍよりも長くなると、被写界深度が深くなり好ましくない。

また、図９（Ｂ）から明らかな様に、レンズの焦点距離ｆが短ければ短いほど、被写界深度は深くなり、即ち、光学的な結像の変化が少なくなり、ピーク検出の精度が落ちる。図示の例で具体的には、レンズの焦点距離ｆが３０ｍｍよりも短くなると、被写界深度が深くなり好ましくない。

後述するように、距離情報に応じて被写体中にある主要被写体を分離するため、距離情報の信頼性が低いと、即ち、測距結果の測定精度が悪くなると、主要被写体の誤分離が生じ易くなる。
そこで本実施の形態では、オートフォーカスでフォーカスを合わせるエリア（主要被写体）までの距離情報と、被写体撮影時のレンズの焦点距離とに基づき、当該距離情報が補正不要か、補正を要するかを判定した後、補正を要する場合はオートフォーカスでフォーカスを合わせるエリアからの画像面上での変位量に応じて、距離情報を補正距離情報に補正する（ｓｔｅｐ０１−００４；判定手段、補正手段）ことで、測定精度の悪化による主要被写体の分離で誤分離が生じることを防止している。また、距離情報が補正不要である場合は、距離情報に対して補正は行わない。

ここで、図６（Ａ）において、１０２はオートフォーカスでフォーカスを合わせるエリアであるＡＦエリアを示している。このＡＦエリア１０２は、画像面上の中心である必要はなく、撮像対象となる主要被写体に対応した画像面上の任意の位置をユーザーが指定することができる。
ｓｔｅｐ０１−００４における補正は、このＡＦエリア１０２を中心にして、ＡＦエリア１０２から画像面上での位置が離れれば離れるほど（変位が大きくなるほど）、ピークの得られたレンズの位置（パルス数）を遠距離側へシフトする様に行う。

本発明に係るデジタルスチルカメラの一実施の形態における一部を構成する補正手段（ｓｔｅｐ０１−００４）での補正の具体的な補正データの例を図１０に示す。
図１０（Ａ）は、前述したＣＣＤＡＦにより得られたＡＦ評価値のピーク位置（距離情報）、図１０（Ｂ）は、補正データの例、図１０（Ｃ）は、補正されたＡＦ評価値のピーク位置（補正距離情報）を示している。

この補正により例えば、主要被写体までの距離が長いことや、レンズの焦点距離が短いことによって起こる測定精度の悪化が生じ、図６（Ｄ）の人物部分の評価値のピーク位置（図７の９０３）と、図６（Ｄ）の１０５の背景の縁石部分１１１の評価値のピーク位置（図７の９０２）とが近接してしまう様な場合でも、後述する主要被写体ブロックの判定を適切に行えるようになる。

なお、この補正データは、主要被写体までの距離が長くなればなるほど、即ち、ＡＦエリアのピーク位置の値が小さければ小さいほど、より強い補正、即ち、小さな値（負の方向に大きい）の補正データとする。
また同様に、レンズの焦点距離が短ければ短いほど、より強い補正、即ち、小さな値（負の方向に大きい）の補正データとする。

システム制御部０２は、ＡＦエリアの被写体までの距離と、所定範囲内の距離にあるＡＦ評価値エリアをまとめて主要被写体ブロックとして判定する（ｓｔｅｐ０１−００５）。
図６（Ｂ）において、１０３は主要被写体ブロックを示している。なお、主要被写体ブロック１０３はＡＦエリア１０２を含む。

ＡＦエリアの被写体までの距離と、主要被写体ブロックを決定するための所定範囲を、図１１を参照しながら説明する。
図１１において、横軸は無限遠から近距離に向けた距離、１１０１から１１０５は、図６（Ｄ）の１０５の様な被写体を、ｓｔｅｐ０１−００２，００３で測距した、各部の距離を示している。１１０１は、背景の山部分までの距離、１１０２は、１０５の背景の縁石部分１１１までの距離、１１０３は、人物の頭部までの距離、１１０４は、人物の顔部までの距離、１１０５は、人物の胸部までの距離である。ＡＦエリアは、図６（Ａ）に示す様に、人物の顔部に設定されており、ＡＦエリアの被写体までの距離は１１０４と等しい。１１０６，１１０７は、主要被写体ブロックを決定するための所定範囲を示しており、１１０６は近距離側の範囲、１１０７は遠距離側の範囲である。図１１の例では、１１０３，１１０４，１１０５が所定範囲に含まれる。

以上の様な判定に基づき、図６（Ｂ）の１０３で示したエリアを、主要被写体ブロックとして判定する。なお、この所定範囲１１０６，１１０７は、レンズの焦点距離とＡＦエリアの被写体までの距離に基づき、あらかじめシステム制御部０２内に記憶されているテーブルを参照することで設定される。設定は、レンズの焦点距離が長い場合には所定範囲は短く、レンズの焦点距離が短い場合には所定範囲は長く設定され、また、ＡＦエリアの被写体までの距離が長い場合には所定範囲は長く、ＡＦエリアの被写体までの距離が短い場合には所定範囲は短く、設定される。

このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出して記憶する（ｓｔｅｐ０１−００６）。また、システム制御部０２は、得られた主要被写体ブロック１０３の情報と、撮像した画像を元に主要被写体領域を判定する（ｓｔｅｐ０１−００７）。この処理は、従来の画像処理（輪郭抽出）により、主要被写体ブロック１０３を含む任意形状の領域の判定を行う。

図６（Ｃ）において、１０４は主要被写体領域を示している。画像処理部０４は、主要被写体領域１０４の情報を基に、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理を順次行う（ｓｔｅｐ０１−００８〜０１０）。図６（Ｄ）において、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。

主要被写体の抽出処理（ｓｔｅｐ０１−００８）では、主要被写体領域１０４に沿って画像を分離することで、主要被写体の抽出を行う。結果として、撮影画像１０５は主要被写体画像１０７と背景画像１０８に分離される。背景画像のぼかし処理（ｓｔｅｐ０１−００９；ぼかし処理手段）では、背景画像１０８にぼかし量パラメータに基づくぼかし処理を行い、ぼかした背景画像１０９を生成する。

ここで、ぼかし処理の詳細について図５（Ｃ）のフローに基づいて説明する。システム制御装置０２は、ぼかし量パラメータに基づき、表１に示すような処理内容を決定する（ｓｔｅｐ０３−００１）。

表１において、ぼかし量Ｂｐはぼけの大きさを決定するぼかし量パラメータの値（値が大きい方が大きなぼけを生ずる）、縮小処理はぼかし量パラメータの値により決定する縮小処理の縮小率（画像の一辺の長さの比）、フィルタタイプは後述する空間フィルタのタイプＡもしくはタイプＢを示している。即ち、大きなぼけを得る場合には、画像をより小さく縮小してから空間処理を行う。なお、縮小処理は、バイリニア法により、画像の画素数を減らすようにサンプリングを行う。

ぼかし量パラメータは、２〜１１２の範囲で変化する整数値であり、１画素からなる点像をぼかし処理を行った結果の、ぼけの大きさの直径の画素数に等しい。
なお、縮小処理の縮小率の分母の値１６は、画像の水平サイズと垂直サイズの公約数となる値が設定されており、縮小後の画像サイズは水平方向、垂直方向共に整数以下の端数を生じない。これにより、縮小処理や拡大処理における丸めによる誤差を排除することができ、縮小拡大後の画像サイズを正確に元画像に合わせることができ、ひいては、後述する合成処理の処理結果の画像品位を向上することができるため好ましい。

ぼかし量パラメータの値が、所定値以下の場合には、縮小処理を行わずに空間フィルタの処理のみを行う（ｓｔｅｐ０３−００２，００３）。空間フィルタの処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。空間フィルタ処理では、下記式（４）のように入力画像（Ｉｎ（ｘ,ｙ））にフィルタ係数（ｋ（ｉｘ,ｉｙ））を演算し、出力画像（Ｏｕｔ（ｘ,ｙ））を得る。

ここで、Ｉｎ：入力画像、Ｏｕｔ：出力画像、ｋ：フィルタ係数、ｆｓ：フィルタサイズ（本実施の形態では７）、である。
また、上記式４におけるｆｓがぼかし量パラメータ（ぼかし強度）に相当し、後述するｓｔｅｐ０１−０１５において、利用者の操作に応じて１ずつ値が変化する。ぼかし量パラメータは、利用者の操作により変更されるパラメータで、ぼかし量の大小を制御する。
さらに、上記式（４）において、座標の演算結果（ｘ＋ｉｘ―ｆｓ／２、及びｙ＋ｉｙ−ｆｓ／２）は、整数に切り捨て、かつ、入力画像内を指し示す様にクリップされる。

フィルタ係数の例を図１２に示す。図１２（Ａ）は、ぼかし量パラメータの値が２の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数が２相当のぼけ画像を生成する。ぼけの大きさの直径の画素数は、画像の見た目のぼけの強さと同義であり、ぼかし量パラメータの値が大きいほど、大きなぼけが生じた画像が生成される。
図１２（Ａ）において波線で示した円がぼけの大きさを示している。同様にして図１２（Ｂ）は、ぼかし量パラメータの値が７の場合のフィルタ係数を示している。
このように、システム制御部０２は、ぼけの大きさの直径の画素数が、ぼかし量パラメータの値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。

ぼかし量が所定量以上の場合には、一旦画像を縮小処理した後、空間フィルタの処理を行い拡大処理を行うことで元の大きさに戻す（ｓｔｅｐ０３−００４〜００６）。拡大処理では、ｓｔｅｐ０３−００４で行われる縮小率の逆数分の拡大処理を行い、結果、画像サイズは元の大きさとなる。なお、拡大処理は、バイリニア法により、画像の画素数を増やすようにサンプリングを行う。
これらの縮小、空間フィルタ、拡大の処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。縮小処理を伴うぼかし処理のフィルタは、ぼけの大きさの直径の画素数が、（ぼかし量パラメータの値）×（縮小率）の値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。図１２（Ｃ）は、ぼかし量パラメータの値が２８の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（２８）×（４／１６）＝７、となる。

ここでフィルタタイプＡ、Ｂについて説明する。これまで説明した図１２（Ａ）、図１２（Ｂ）、図１２（Ｃ）はフィルタタイプＡに分類され、図１２（Ｄ）はフィルタタイプＢに分類される。図１２（Ｄ）は、ぼかし量パラメータの値が５６の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（５６）×（２／１６）＝７、となり、大きさはぼかし量パラメータの値が２８の場合のフィルタ係数と等しい。しかしながら図１２（Ｄ）の係数では、波線で示した２重の円で囲まれるドーナツ状の部分の係数を大きな値に設定しており、これにより、縮小に伴うぼけ形状の視認性の劣化を防いでいる。画像の見た目では、ぼけ形状の視認性があることによって、ぼかす前の被写体の概観が残り、光学的にぼかした場合と同等なぼけ画像にすることができる。

以下、図５（Ａ）のフローに戻り説明する。合成処理（ｓｔｅｐ０１−０１０）では、ぼかした背景画像１０９に主要被写体画像１０７を重ね合わせて合成を行い、合成画像１１０を生成する。生成した合成画像１１０は、表示制御部０５を介してＬＣＤ０６へ表示される（ｓｔｅｐ０１−０１１）。以上で１コマのモニタリング画像の処理が完了する。このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出し（ｓｔｅｐ０１−０１２）、ｓｔｅｐ０１−００６で算出して記憶した値と比較し、所定量以上の差があった場合には、再度ＣＣＤＡＦのスキャン動作へ移行する（ｓｔｅｐ０１−０１３）。

また、ぼかし量の変更の操作が行われた場合には、操作に応じてぼかし量パラメータ（ぼかし強度）を変更し（ｓｔｅｐ０１−０１４，０１５）、以上の動作をモニタリング終了まで繰り返し実行する（ｓｔｅｐ０１−０１６）。なお、１コマ毎のモニタリング画像の処理は、ｓｔｅｐ０１−００７から繰り返し行われる。また、レリーズボタン１３が押された場合には、取り込んだ撮影画像に対してｓｔｅｐ０１−００７〜０１０と同様のぼかし処理を行い、背景をぼかした画像を記録する。その場合のぼかし量パラメータ（撮影時のぼかし量パラメータ）は、下記式（５）に示すように、撮影画像の水平画像サイズ（画素数）とモニタリング画像の水平画像サイズの比率で補正することで得られる。

（撮影時のぼかし量パラメータ） ＝ （モニタリング時のぼかし量パラメータ）×（撮影画像の水平画像サイズ）／（モニタリング画像の水平画像サイズ） ・・・式（５）

〔距離情報を補正する動作フローの第２の実施の形態〕
続いて、本発明の第２の実施の形態として、被写体の明るさ（平均輝度）に基づいて距離情報（測距結果）を補正する例について説明する。動作フローを図５（Ｂ）に示す。本フローは上記第１の実施の形態と同様にモニタリング中の動作に関わる動作フローを示している。
第２の実施の形態では、全画面の平均輝度（入力画像データの一部）を算出して（ｓｔｅｐ０２−００４；輝度情報取得手段）、ピーク位置の補正（ｓｔｅｐ０２−００５；判定手段、補正手段）に用いる点が異なっており、それ以外の動作フローは第１の実施の形態と同一である（ｓｔｅｐ０２−００１〜００３はｓｔｅｐ０１−００１〜００３と、ｓｔｅｐ０２−００６〜０１７はｓｔｅｐ０１−００５〜０１６と同一）。

ここで、測距結果の精度についてさらに考察する。
ＣＣＤＡＦで測距を行う場合には、前述した様に撮像素子１４で光電変換された映像信号（撮像信号）によって画面の鮮鋭度（ＡＦ評価値）を検出する。
そのため、光学的に撮像素子１４上に結像される像のコントラスト（明暗差）が少なければ、鮮鋭度（ＡＦ評価値）の値が小さくなり、ピークを検出し難くなる。

一般的な被写体においては、総じて明るい被写体であればコントラストが強く（明暗差が大きく）、暗い被写体であればコントラストが小さい（明暗差が小さい）。従って、被写体が暗ければ暗いほど、ピーク検出の精度が落ちることになる。

そこで本実施の形態では、全画面の平均輝度を算出し（ｓｔｅｐ０２−００４；輝度情報取得手段）、算出結果に基づき、オートフォーカスでフォーカスを合わせるエリアからの画像面上での変位量に応じた補正を行う（ｓｔｅｐ０２−００５；判定手段、補正手段）ことで、測定精度の悪化による主要被写体の分離で誤分離が生じることを防止している。また、距離情報が補正不要である場合は、距離情報に対して補正は行わない。

ここで、図１３に輝度の高低とコントラストとの関係の一例を表すグラフを示す。
図１３に示すように、輝度の高低によってコントラストは変動するが、例えば輝度が６Ｅｖを閾値として、閾値より明るい場合には良好にピークを検出し易くなるため補正を行わず、閾値より暗い場合には距離情報に対して補正を行うことが好ましい。

補正データは第１の実施の形態（図１０）と同じものであっても良い。
この補正データにより例えば、被写体全体の明るさが暗く、測定精度の悪化により図６（Ｄ）の人物部分の評価値のピーク位置（図７の９０３）と、図６（Ｄ）の１０５の背景の縁石部分１１１の評価値のピーク位置（図７の９０２）とが近接してしまう様な場合でも、主要被写体ブロックの判定を適切に行えるようになる。

なお、この補正データは、被写体全体の明るさが暗ければ暗いほど、より強い補正、即ち、小さな値（負の方向に大きい値）の補正データとする。

また、上記第１または第２の実施の形態においては、モニタリング画像を基準としたぼかし量パラメータを設定し、撮影した画像にぼかし処理を行う際には、撮影画像の水平画像サイズとモニタリング画像の水平画像サイズの比率で補正する例について示したが、逆に、撮影画像を基準としたぼかし量パラメータを設定し、モニタリング画像に適用するぼかし量パラメータを、下記式（６）で求めても良い。

（モニタリング時のぼかし量パラメータ） ＝ （撮影時のぼかし量パラメータ）×（モニタリング画像の水平画像サイズ）／（撮影画像の水平画像サイズ） ・・・式（６）

更に、複数の画像サイズの撮影モードを備える場合には、最大撮影画像サイズを基準としたぼかし量パラメータを設定し、モニタリング画像に適用するぼかし量パラメータを、下記式（７）で求め、撮影画像に適用するぼかし量パラメータを下記式（８）で求めても良い。

（モニタリング時のぼかし量パラメータ） ＝ （最大撮影画像サイズのぼかし量パラメータ）×（モニタリング画像の水平画像サイズ）／（最大撮影画像の水平画像サイズ） ・・・式（７）

（撮影時のぼかし量パラメータ） ＝ （最大撮影画像サイズのぼかし量パラメータ）×（撮影画像の水平画像サイズ）／（最大撮影画像の水平画像サイズ） ・・・式（８）

なお、この場合においても、図５（Ｃ）のｓｔｅｐ０３−００２〜００６に示した処理フローと同様にして、補正後のぼかし量パラメータの値に基づいて、縮小処理を行わずに空間フィルタの処理のみを行う場合と、縮小してから空間フィルタの処理を行う場合とを、切り換えることが可能であることは言うまでもない。

また、上記第１または第２の実施の形態においては、主要被写体ブロックを決定するための所定範囲を、レンズの焦点距離とＡＦエリアの被写体までの距離に基づき設定する例について示したが、さらには、ぼかし量パラメータの値に応じて補正を行っても良い。この場合、ぼかし量パラメータの値により、ぼかし量パラメータの値が大きい場合には所定範囲は短く、ぼかし量パラメータの値が小さい場合には所定範囲を長く設定する。

本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示すブロック図である。 本発明に係るデジタルスチルカメラにおける一実施の形態の外観を示す上面図である。 図２のデジタルスチルカメラの外観を示す正面図である。 図２のデジタルスチルカメラの外観を示す背面図である。 本発明に係るデジタルスチルカメラにおける第１の実施の形態および第２の実施の形態の動作フローである。 本発明に係るデジタルスチルカメラにおける第１の実施の形態の画像処理を示す図である。 本発明に係るデジタルスチルカメラにおける第１の実施の形態のＡＦ評価値の変化を示す図である。 本発明に係るデジタルスチルカメラにおける第１の実施の形態のＡＦ評価値のＨＰＦで演算対象となる画素を示す図である。 ＤＮ及びＤＦで表される被写界深度Ｄの、被写体までの距離ｓまたはレンズの焦点距離ｆとの関係の一例を示すグラフである。 本発明に係るデジタルスチルカメラの第１の実施の形態における一部を構成する補正手段での補正の具体的な補正データの例を示す図である。 本発明に係るデジタルスチルカメラにおける第１の実施の形態のＡＦエリアの被写体までの距離と所定範囲を示す図である。 本発明に係るデジタルスチルカメラにおける第１の実施の形態のフィルタ係数の分布を示す図である。 輝度の高低とコントラストとの関係の一例を表すグラフである。

符号の説明

０１ デジタルスチルカメラ装置
０２ システム制御部
０３ 撮像部
０４ 画像処理部
０５ 表示制御部
０６ ＬＣＤ
０７ 記録メディアインターフェイス部
０８ 記録メディア
０９ ハードキーインターフェイス部
１０ 通信インターフェイス部
１１ ＰＣ
１２ モードダイヤル
１３ レリーズ
１４ ＣＣＤ
１５ レンズ

Claims (19)

1. 判定手段と、補正手段と、入力画像データに画像処理を行う画像処理手段と、を備え、
   前記判定手段は、前記入力画像データに対応する被写体までの距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定し、
   補正不要の場合、前記画像処理手段は、当該距離情報に基づいて前記入力画像データに画像処理を行い、
   補正を要する場合、前記補正手段は、当該距離情報を補正距離情報に補正し、
   前記画像処理手段は、前記補正距離情報に基づいて前記入力画像データに画像処理を行うことを特徴とする画像処理装置。
2. 前記補正手段は、前記被写体の各画像位置における、当該被写体の中の主要被写体の画像位置に対する変位に基づいて補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記被写体の中の主要被写体までの距離情報に基づいて判定を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段は、前記入力画像データに対応する被写体撮像時のレンズの焦点距離に基づいて判定を行うことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記判定手段は、前記入力画像データにおける被写体の輝度情報に基づいて判定を行うことを特徴とする請求項１または２に記載の画像処理装置。
6. 前記入力画像データは、主要被写体画像と、背景画像と、を含み、
   前記画像処理手段は、前記背景画像のぼかし処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. レンズを有する光学系と、
   該光学系を介して被写体から入射した光を撮像信号として出力する撮像素子と、
   前記被写体までの距離を測定して距離情報を取得する測距手段と、
   前記撮像信号をメモリに格納する撮像手段と、
   前記距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定する判定手段と、
   該判定手段の判定が補正を要する場合、当該距離情報を補正距離情報に補正する補正手段と、
   前記距離情報または前記補正距離情報に基づいて前記撮像信号に画像処理を行う画像処理手段と、を備えることを特徴とする撮像装置。
8. 前記補正手段は、前記被写体の各画像位置における、当該被写体の中の主要被写体の画像位置に対する変位に基づいて補正することを特徴とする請求項７に記載の撮像装置。
9. 前記判定手段は、前記被写体の中の主要被写体までの距離情報に基づいて判定を行うことを特徴とする請求項７または８に記載の撮像装置。
10. 前記判定手段は、前記撮像手段の撮像時における前記レンズの焦点距離に基づいて判定を行うことを特徴とする請求項７または８に記載の撮像装置。
11. 前記被写体の輝度情報を取得する輝度情報取得手段を備え、
    前記判定手段は、前記輝度情報に基づいて判定を行うことを特徴とする請求項７または８に記載の撮像装置。
12. 前記撮像信号は、主要被写体画像と、背景画像と、を含み、
    前記画像処理手段は、前記背景画像のぼかし処理を行うことを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。
13. デジタルスチルカメラであることを特徴とする請求項７乃至１２のいずれか１項に記載の撮像装置。
14. 判定工程と、補正工程と、入力画像データに画像処理を行う画像処理工程と、を備え、
    前記判定工程は、前記入力画像データに対応する被写体までの距離情報の信頼性に基づいて、当該距離情報が補正不要か、補正を要するか、を判定し、
    補正不要の場合、前記画像処理工程は、当該距離情報に基づいて前記入力画像データに画像処理を行い、
    補正を要する場合、前記補正工程は、当該距離情報を補正距離情報に補正し、
    前記画像処理工程は、前記補正距離情報に基づいて前記入力画像データに画像処理を行うことを特徴とする画像処理方法。
15. 前記補正工程は、前記被写体の各画像位置における、当該被写体の中の主要被写体の画像位置に対する変位に基づいて補正することを特徴とする請求項１４に記載の画像処理方法。
16. 前記判定工程は、前記被写体の中の主要被写体までの距離情報に基づいて判定を行うことを特徴とする請求項１４または１５に記載の画像処理方法。
17. 前記判定工程は、前記入力画像データに対応する被写体撮像時のレンズの焦点距離に基づいて判定を行うことを特徴とする請求項１４または１５に記載の画像処理方法。
18. 前記判定工程は、前記入力画像データにおける被写体の輝度情報に基づいて判定を行うことを特徴とする請求項１４または１５に記載の画像処理方法。
19. 前記入力画像データは、主要被写体画像と、背景画像と、を含み、
    前記画像処理工程は、前記背景画像のぼかし処理を行うことを特徴とする請求項１４乃至１８のいずれか１項に記載の画像処理方法。