JP2014168141A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】 顕著性マップを適切に生成する。
【解決手段】 画像から得られる複数の特徴成分毎の特徴マップと、複数の特徴成分毎に対応付けられた寄与率とに基づいて、画像における顕著度を示す顕著性マップを生成するマップ生成手段と、取得された画像に関わる情報を取得する情報取得手段と、情報取得手段により取得された情報に基づいて、複数の特徴成分のうち、少なくとも２以上の特徴成分に対応付けられた寄与率を調整する調整手段と、を備えたことを特徴とする。
【選択図】 図２

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。

例えば色成分、コントラスト成分、エッジ成分などの複数の特徴成分を画像から取得し、取得した複数の特徴成分毎のマップ（特徴マップ）と各特徴成分に対して設定される比率とを加重加算することで、顕著度の分布を示す顕著性マップを生成する技術が提案されている（特許文献１参照）。この顕著性マップは、画像の注目すべき領域に対しての顕著度が他の領域の顕著度よりも高くなるという性質を有している。

特開２０１１−３４３１１号公報

ここで、複数の特徴成分毎に設定される上記比率は予め設定された固定値を用いることが多い。この比率を固定値とした場合、画像取得時の環境によっては、各特徴マップに対する比率が適切ではない場合もあり、顕著性マップを適切に生成することができない場合が生じてしまう。

本発明は、顕著性マップを適切に生成することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置の一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、取得された前記画像に関わる情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも２以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備えたことを特徴とする。

また、本発明の撮像装置は、上述した画像処理装置と、フォーカス動作を行うことが可能な撮像光学系と、前記撮像光学系により取り込まれた被写体光を受光し、画像信号を出力する撮像素子と、を備えたことを特徴とする。

また、本発明の画像処理プログラムは、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、取得された前記画像に関わる情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも２以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備えたことを特徴とする。

本発明によれば、顕著性マップを適切に生成することができる。

本発明の撮像装置の一構成を示す図である。 マップ生成部の構成を示す図である。 撮影時の処理の流れを示すフローチャートである。

以下、本発明の実施の形態について、図１を用いて説明する。図１に示すように、撮像装置１０は、撮像光学系１５、撮像素子１６、操作部材１７、レンズ駆動回路１８、測光回路１９、ＣＰＵ２０、撮像素子駆動回路２１、信号処理回路２２、データ処理回路２３、液晶モニタ２４、圧縮伸長処理回路２５、表示出力回路２６、記憶媒体２７を備えている。

不図示の被写体の像は、撮像光学系１５によって、撮像素子１６の撮像面上に結像される。撮像光学系１５は、複数枚のレンズで構成され、操作部材１７の操作などに基づいて、レンズ駆動回路１８を介して、フォーカス、ズームなどの調整が可能な構成とされている。

撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像、及び動画像の撮像が可能な撮像素子であり、例えばＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサから構成される。この撮像素子１６は、測光回路１９で得られた被写体の測光データに基づいて、ＣＰＵ２０の制御のもとで、撮像素子駆動回路２１によって駆動される。撮像素子１６により読み出された画像信号は、信号処理回路２２に入力される。

信号処理回路２２は、撮像素子１６により読み出された画像信号に対して、直流再生処理、Ａ／Ｄ変換処理、ホワイトバランス処理、γ変換処理などの信号処理を施し、画像データとしてデータ処理回路２３に出力する。

データ処理回路２３は、入力された画像データに対して、液晶モニタ２４に表示を行うための解像度（画素数）変換処理を施し、表示制御回路２６に出力するとともに、当該データ処理回路２３で処理された画像データを圧縮伸長処理回路２５に出力する。表示出力回路２６は、データ処理回路２３から入力された画像データに所定の信号処理を施して、液晶モニタ２４に出力する。なお、表示出力回路２６は、ＣＰＵ２０の制御に基づいて、データ処理回路２３から出力された画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、液晶モニタ２４には、被写体画像にオーバーレイ画像が重畳されて表示される。

圧縮伸長処理回路２５は、入力された画像データに対して圧縮処理を施し、記憶媒体２７に記憶する。液晶モニタ２４は、記憶媒体２７に圧縮して記憶された画像データに対応する画像を表示する。

なお、液晶モニタ２４は、記憶媒体２７に記憶されている画像データに対応する画像を再生画像として表示することもできる。ＣＰＵ２０は、記憶媒体２７に記憶された画像データを読み出して、圧縮伸長処理回路２５で復号化処理を施し、データ処理回路２３および表示出力回路２６を介して、液晶モニタ２４に供給する。

ＣＰＵ２０は、操作部材１７の一部を構成するレリーズボタンの操作に基づいて、撮像画面上の予め設定された領域（ＡＦ領域）における焦点評価値を算出し、その算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する動作を実行する。例えば、撮像素子１６の撮像面に配設されたフォーカス状態検出用の画素（位相差ＡＦ用画素）の出力により、各ＡＦ領域の焦点評価値が算出される。

なお、本実施形態では、撮像素子１６の撮像面に配設されたフォーカス状態検出用の画素（位相差ＡＦ用画素）を用いたＡＦ動作を例に挙げているが、これに限定される必要はなく、周知のコントラストＡＦ動作（ＴＶ−ＡＦ）を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。

ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１８を介して撮像光学系１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像データ、又は記憶媒体２７に記憶される画像データを、データ処理回路２３による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。

次に、データ処理回路２３の構成について説明する。図１又は図２に示すように、データ処理回路２３は、情報取得部３１、比率調整部３２及びマップ生成部３３の機能を有している。情報取得部３１は、撮影時に設定される自動合焦動作の動作モード（シングルＡＦモード、コンティニュアスＡＦモード）や撮影モード（シーンモードを含む）の情報や、撮影条件の情報をＣＰＵ２０から取得する。撮影条件の情報としては、撮像光学系１５における焦点距離やデフォーカス量の情報の他、被写界の明るさの情報、光源種の情報が挙げられる。また、この他に、情報取得部３１は、画像における輝度コントラストの情報を取得する。

比率調整部３２は、複数の特徴マップから得られる顕著性マップにおいて、各特徴マップが影響する比率（寄与率）を、情報取得部３１により得られる情報に基づいて調整する。以下、複数の特徴成分として、色成分、輝度コントラスト成分及び方向性エッジ成分の場合を例に挙げて説明する。

なお、複数の特徴マップ（又は特徴成分）のそれぞれにおける寄与率としては、予め設定された比率（初期比率）が割り当てられる。比率調整部３２は、情報取得部３１により得られた情報に基づいて、各特徴成分に割り当てられる初期比率を基準にして、少なくとも２以上の特徴成分に対する比率を調整する。そして、比率調整部３２は、調整後の各特徴成分に対する比率を、顕著性マップを生成するときに用いる寄与率として設定する。なお、各特徴成分に割り当てられる初期比率の総和、及び調整された後の各比率の総和は１となる。

ここで、各特徴成分に対する初期比率は、撮影モード（シーンモードを含む）に関係なく固定値であってもよいし、撮影モード（シーンモードを含む）毎に異なる値であってもよい。例えば複数の撮影モード（シーンモードを含む）毎に異なる初期比率が設定される場合、比率調整部３２は、情報取得部３１により得られる撮影モードの情報に基づいて、各特徴成分に対して設定される複数の初期比率から、撮影モードに応じた初期比率を選択する。そして、比率調整部３２は、情報取得部３１にて得られる情報に基づいて、選択された各特徴成分の初期比率を基準にして、少なくとも２以上の特徴成分に対する比率を調整すればよい。

マップ生成部３３は、データ処理回路２３にて施された画像処理済みの画像データを用いて、画像データから得られる複数の特徴成分に関わるマップ（特徴マップ）を特徴成分毎に生成する。ここで、特徴マップとしては、輝度情報マップ、色情報マップ、エッジ情報マップが挙げられる。マップ生成部３３は、特徴成分毎に生成される特徴マップを用いて、画像の顕著度の分布を示す顕著性マップを生成する。この顕著性マップを生成する際に、比率調整部３２により設定された寄与率が用いられる。

マップ生成部３３は、輝度情報抽出部４１、色情報抽出部４２、エッジ情報抽出部４３、マップ合成部４４を備えている。輝度情報抽出部４１は、入力された画像データに基づいて、各画素の画素値が輝度値からなる輝度画像データを生成する。輝度情報抽出部４１は、生成された輝度画像データを用いて、解像度が異なる複数の輝度画像データを生成する。輝度情報抽出部４１は、輝度画像データに対して、順次ガウシアンフィルタ処理を施すことで、例えばレベル１からレベル８までの８つの解像度の輝度画像データを生成する。なお、レベル１の輝度画像データは、入力された画像データと同一の解像度となるように設定される。そして、レベル２の輝度画像データ、レベル３の輝度画像データ，・・・・，レベル８の輝度画像データの順で、解像度が低く設定される。

これら解像度の異なる輝度画像データを生成した後、輝度情報抽出部４１は、生成された複数の輝度画像データのうち、例えばレベル１の輝度画像データ及びレベル２の輝度画像データなど、隣り合う２つのレベルの輝度画像データを選択し、選択した２つの輝度画像データの差分（以下、差分データ）を求める。なお、各輝度画像データの画素数がそれぞれ異なる場合には、差分データを求める際に、輝度情報抽出部４１は、２つの輝度画像データのうち、解像度の低い輝度画像データの画素数が、解像度の高い輝度画像データの画素数となるように解像度の低い輝度画像データの画素数を変換する。

輝度情報抽出部４１は、予め定めた数の差分データを生成した後、生成した差分データを、それぞれ正規化する。この正規化された差分データに基づいて、輝度情報抽出部４１輝度情報マップを生成する。なお、生成された輝度情報マップは、マップ合成部４４に出力される。

色情報抽出部４２は、入力される画像データを用いて、赤（Ｒ）色成分値と緑（Ｇ）色成分値との差分からなるＲＧ差分画像データを生成する。そして、色情報抽出部４２は、生成されたＲＧ差分画像データを用いて、解像度が異なる複数のＲＧ差分画像データを生成する。これにより、輝度画像データと同様に、例えばレベル１からレベル８までの８つの解像度のＲＧ差分画像データが生成される。

色情報抽出部４２は、生成された複数のＲＧ差分画像データのうち、例えばレベル１のＲＧ差分画像データ及びレベル２のＲＧ差分画像データなど、隣り合う２つのレベルのＲＧ差分画像データを選択し、選択した２つのＲＧ差分画像データの差分（以下、差分データ）を求める。この場合も、複数のＲＧ差分画像データの画素数がそれぞれ異なる場合には、色情報抽出部４２は、２つのＲＧ差分画像データのうち、解像度の低いＲＧ差分画像データの画素数が、解像度の高いＲＧ差分画像データの画素数となるように解像度の低いＲＧ差分画像データの画素数を変換する。色情報抽出部４２は、ＲＧ差分画像データから求めた差分データを正規化した後、赤（Ｒ）色成分値と緑（Ｇ）色成分値との差分に基づく色情報マップを生成する。

また、色情報抽出部４２は、入力される画像データを用いて、上述のＲＧ差分画像データ生成と同様の手法により、青（Ｂ）色成分値と黄（Ｙ）色成分値との差分からなるＢＹ差分画像データを生成する。そして、色情報抽出部４２は、ＲＧ差分画像データと同様の処理を行って、青（Ｂ）色成分値と黄（Ｙ）色成分値との差分に基づく色情報マップを生成する。この色情報抽出部４２により生成された各色情報マップは、マップ合成部４４に出力される。

エッジ情報抽出部４３は、入力される画像データに対してガボール・フィルタを用いたフィルタ処理を施す。このフィルタ処理により、例えば画面上で、０度、４５度、９０度及び１３５度の方向に対するエッジ強度を画素の画素値とするエッジ画像データをそれぞれ生成する。エッジ情報抽出部４３は、生成されたエッジ画像データを用いて、解像度の異なる複数のエッジ画像データをさらに生成する。この場合も、例えば、順次が得牛案フィルタ処理を施すことで、レベル１からレベル８までの８つの解像度のエッジ画像データが生成される。エッジ情報抽出部４３は、生成された複数のエッジ画像データのうち、例えばレベル１のエッジ画像データ及びレベル２のエッジ画像データなど、隣り合う２つのレベルのエッジ画像データを選択し、選択した２つのエッジ画像データの差分（以下、差分データ）を求める。この場合も、複数のエッジ画像データの画素数が、それぞれ異なる場合には、エッジ情報抽出部４３は、２つのエッジ画像データのうち、解像度の低いエッジ画像データの画素数が、解像度の高いエッジ画像データの画素数となるように解像度の低いエッジ画像データの画素数を変換する。エッジ情報抽出部４３は、エッジ画像データから求めた差分データを正規化した後、正規化された差分データに基づくエッジ情報マップを生成する。なお、エッジ情報抽出部４３は、上述した処理を、各方向のエッジ画像データ毎に実行する。これら生成されたエッジ情報マップは、マップ合成部４４に出力される。

マップ合成部４４は、入力される輝度情報マップ、色情報マップ、エッジ情報マップと、特徴成分毎に設定される寄与率とを用いた加重加算により顕著性マップを生成する。この顕著性マップは、画像における各画素における顕著度の分布を示すマップとなる。

次に、撮像時の処理の流れを図３に示すフローチャートを用いて説明する。このフローチャートにおいては、自動露出動作に係る処理は省略している。

ステップＳ１０１は、スルー画像を取得する処理である。ＣＰＵ２０は、撮像素子駆動回路２１を介して、撮像素子１６を駆動する。スルー画像を取得する処理である。撮影モードが開始されると、ＣＰＵ２０は、撮像素子駆動回路２１を介して、撮像素子１６を制御する。これにより、撮像素子１６が所定時間間隔を空けて駆動する。これにより、スルー画像の元になる画像信号が取得される。この画像信号は、信号処理回路２２に出力される。信号処理回路２２は、入力される画像信号に対して、直流再生処理、Ａ／Ｄ変換処理、ホワイトバランス処理、γ変換処理などの信号処理を施し、画像データとしてデータ処理回路２３に出力する。

なお、スルー画像を表示するのであれば、画像データは、データ処理回路２３を介して表示出力回路２６に出力される。これを受けて、表示出力回路２６は、液晶モニタ２４に、入力された画像データに基づく画像を表示する。これにより、スルー画像が、液晶モニタ２４に表示される。

ステップＳ１０２は、情報を取得する処理である。データ処理回路２３は、ＣＰＵ２０から、撮影時に設定される自動合焦動作の動作モード（シングルＡＦモード、コンティニュアスＡＦモード）や撮影モード（シーンモードを含む）の情報や、撮影条件の情報を取得する。

ステップＳ１０３は、寄与率を設定する処理である。データ処理回路２３は、ステップＳ１０２にて取得された情報に基づいて、顕著性マップを生成する際の寄与率を設定する。

ここで、寄与率を設定する具体例を説明する。比率調整部３２は、各特徴成分に対して割り振られた初期比率を読み出す。以下、色成分、輝度コントラスト成分及び方向性エッジ成分の各特徴成分の初期比率が０．３３に設定される場合を例に挙げて説明する。

初期比率を読み出した後、比率調整部３２は、情報取得部３１取得した情報に基づいて、各特徴成分の初期比率を基準にして、少なくとも２以上の特徴成分に対する比率を調整する。

［例１］
撮像光学系１５の焦点距離ｆの情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。ＣＰＵ２０は、撮像光学系１５の各レンズの位置情報から焦点距離ｆを算出している。比率調整部３２は、この焦点距離ｆの情報に基づいて各特徴成分に対する比率を調整する。

例えば、焦点距離ｆが２８ｍｍ以下となる場合（ｆ≦２８ｍｍの場合）、比率調整部３２は、色成分及び輝度コントラスト成分に対する比率を上げ（０．３３→０．５）、方向性エッジ成分に対する比率を０にする。

また、焦点距離ｆが２８ｍｍを超過し、５０ｍｍ以下となる場合（２８ｍｍ＜ｆ≦５０ｍｍの場合）、比率調整部３２は、色成分及び輝度コントラスト成分に対する比率を上げ（０．３３→０．４５）、方向性エッジ成分に対する比率を下げる（０．３３→０．１）。

また、焦点距離ｆが５０ｍｍを超過し、１２０ｍｍ以下となる場合（５０ｍｍ＜ｆ≦１２０ｍｍの場合）、比率調整部３２は、色成分及び輝度コントラスト成分に対する比率を上げ（０．３３→０．４）、方向性エッジ成分に対する比率を下げる（０．３３→０．２）。

さらに、焦点距離ｆが１２０ｍｍを超過する場合（１２０ｍｍ＜ｆの場合）、比率調整部３２は、各色成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率（０．３３）のままとなる。

このように、焦点距離が短いほど画角が広角となるので、画像内の被写体のエッジの差がでにくくなる。このため、焦点距離が短いほど、方向性エッジに対する比率を下げ、色成分及び輝度コントラスト成分に対する比率を上げるように、各特徴成分に対する比率を調整する。

［例２］
撮影モードの情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。撮影モードは、撮影時にユーザによる操作部材１７の操作に基づいて設定される。

撮影モードとしてモノクロ撮影モードが設定される場合、比率調整部３２は、輝度コントラスト成分及び方向性エッジ成分に対する比率を上げ（０．３３→０．５）、色成分に対する比率を０にする。一方、撮影モードとしてモノクロ撮影モードではなく、他の撮影モードが設定される場合には、比率調整部３２は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率（０．３３）のままとなる。

上述したモノクロ撮影モードの場合、画像においては、色成分の寄与度が低く、輝度コントラスト成分や方向性エッジ成分の寄与度が高くなることから、モノクロ撮影モードが設定される場合には、色成分に対する比率を下げ、輝度コントラスト成分や方向性エッジ成分に対する比率を上げるように各特徴成分に対する比率を調整する。

なお、モノクロ撮影モードは、白黒の画像を取得する撮影モードの他に、セピア調の画像など、光の強弱を色の濃淡で表した画像を取得する撮影モードを含んでいる。

［例３］
次に、被写界の明るさの情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。ここで、被写界の明るさの情報として、例えば取得されるスルー画像から得られる明るさの情報を用いる場合を説明する。なお、被写界の明るさの情報に基づいて、各特徴成分に対する比率を調整としては、例えば色成分に対する比率、又は、輝度コントラスト成分に対する比率の少なくともいずれか一方を下げることが考えられる。［表３］は、色成分に対する比率を下げる場合を示す。

比率調整部３２は、被写界の明るさの情報から得られるスルー画像内の明るさを、被写界の明るさが取り得る最大値が１となるように正規化する。この正規化の後、比率調整部３２は、スルー画像における明るさの最大値Ｂ_ｍａｘが取り得る値によって、各特徴成分に対する比率を調整する。例えば、明るさの最大値Ｂ_ｍａｘが、０．３を超過し、かつ１以下となる場合（０．３＜Ｂ_ｍａｘ≦１の場合）、比率調整部３２は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率（０．３３）のままとなる。

一方、明るさの最大値Ｂ_ｍａｘが０．３以下となる場合（Ｂ_ｍａｘ≦０．３の場合）、比率調整部３２は、色成分に対する比率を下げ（０．３３→０．１）、輝度コントラスト成分及び方向性エッジ成分に対する比率を上げる（０．３３→０．４５）。

次に、輝度コントラスト成分に対する比率を下げる場合を［表４］に示す。

例えば明るさの最大値Ｂ_ｍａｘが、０．３を超過し、かつ１以下となる場合（０．３＜Ｂ_ｍａｘ≦１の場合）、比率調整部３２は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率（０．３３）のままとなる。一方、明るさの最大値Ｂ_ｍａｘが０．３以下となる場合（Ｂ_ｍａｘ≦０．３）、比率調整部３２は、輝度コントラスト成分に対する比率を下げ（０．３３→０．１）、色成分及び方向性エッジ成分に対する比率を上げる（０．３３→０．４５）。

次に、色成分及び輝度コントラスト成分に対する比率を下げる場合を［表５］に示す。

例えば明るさの最大値Ｂ_ｍａｘが、０．３を超過し、かつ１以下となる場合（０．３＜Ｂ_ｍａｘ≦１の場合）、比率調整部３２は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率（０．３３）のままとなる。一方、明るさの最大値Ｂ_ｍａｘが０．３以下となる場合（Ｂ_ｍａｘ≦０．３）、比率調整部３２は、色成分に対する比率と輝度コントラスト成分に対する比率とを下げ（０．３３→０．１）、方向性エッジ成分に対する比率を上げる（０．３３→０．８）。

この例３では、被写界が暗くなれば、画像に含まれる色成分や輝度コントラストの値が全体的に低くなることから、色成分や輝度コントラスト成分に対する比率を下げ、方向性エッジ成分に対する比率を上げる。

なお、被写界の明るさ情報に基づいて各特徴成分に対する比率を調整する場合、画像内の明るさの最大値を用いているが、これに限定される必要はなく、画像内の明るさの平均値を用いて、各特徴成分に対する比率を調整することも可能である。

［例４］
次に、デフォーカス量の情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。撮像装置１０においては、設定されるＡＦ領域を用いて自動合焦動作を行っている。つまり、自動合焦動作を行うことで、デフォーカス量が取得される。比率調整部３２は、取得されたデフォーカス量の情報を用いて、各特徴成分に対する比率を調整する。詳細には、デフォーカス量の最小値ＤＦ_ｍｉｎが取り得る値に基づいて、各特徴成分に対する比率を調整する。この場合の一例を［表６］に示す。

ここで、α、βはそれぞれ閾値であり、α＜βとなる。

例えばデフォーカス量の最小値ＤＦ_ｍｉｎが閾値β以上となる場合（β≦ＤＦ_ｍｉｎの場合）、比率調整部３２は、色成分に対する比率と輝度コントラスト成分に対する比率とを上げ（０．３３→０．５）、方向性エッジ成分に対する比率を０にする。

また、デフォーカス量の最小値ＤＦ_ｍｉｎが閾値β未満で、閾値α以上となる場合（α≦ＤＦ_ｍｉｎ＜βの場合）、比率調整部３２は、色成分及び輝度コントラスト成分に対する比率を上げ（０．３３→０．４）、方向性エッジ成分に対する比率を下げる（０．３３→０．２）。

また、デフォーカス量の最小値ＤＦ_ｍｉｎが閾値α以下となる場合（ＤＦ_ｍｉｎ≦αの場合）、比率調整部３２は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率（０．３３）のままとなる。

この［例４］では、画面におけるデフォーカス量の値が大きいほど、得られる画像における焦点状態は悪くなることから、方向性エッジ成分に対する比率を下げ、色成分や輝度コントラスト成分に対する比率を上げるように各特徴成分に対する比率を調整している。

なお、［例４］においては、デフォーカス量の最小値を用いているが、これに限定される必要はなく、デフォーカス量の平均値を用いてもよい。

デフォーカス量は、例えば、各ＡＦ画素から焦点評価値として得ることができる。

［例５］
次に、ホワイトバランスに関わる情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。撮像装置１０においては、ユーザによる操作部材１７の操作により、撮影時のホワイトバランスが設定される。このホワイトバランスの設定は、光源種の設定や、色温度の設定が挙げられる。光源種の設定としては、例えばオート、電球、蛍光灯、晴天、フラッシュ、曇天、晴天日陰からいずれかを設定するものである。一方、色温度の設定としては、２５００〜１００００Ｋの範囲内でユーザが操作部材１７を操作して入力することが挙げられる。

比率調整部３２は、光源種の設定や色温度の情報から、屋外、晴天であるか否かを判定し、屋外、晴天であると判定された場合に、色成分及び輝度コントラスト成分に対する比率を上げ、方向性エッジ成分に対する比率を下げる。また、比率調整部３２は、光源種の設定や色温度の情報から、屋内である場合や、屋外であるが、曇天である場合には、色成分及び輝度コントラスト成分に対する比率を下げ、方向性エッジ成分に対する比率を上げる。

この［例５］では、光源種や色温度の設定において、輝度が明るくなるほど、得られる画像全体が明るくなり、また、コントラストが鮮明になることから、色成分や輝度コントラスト成分に対する比率を上げ、方向性エッジ成分に対する比率を下げるように各特徴成分に対する比率を調整している。

なお、ホワイトバランスに関わる情報に基づいて各特徴成分に対する比率を調整する場合、例えば撮影時の輝度が所定の輝度以上となり、且つ青色となる領域があるか否かによって屋外、晴天であるか否かを判定することも可能である。

［例６］
次に画像コントラスト情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。ＣＰＵ２０は、スルー画像における輝度コントラストＹＣの情報を取得する。比率調整部３２は、この輝度コントラストの最大値ＹＣ_ｍａｘと閾値との関係に基づいて、各特徴成分に対する比率を調整する。なお、輝度コントラストの最大値ＹＣ_ｍａｘと閾値との関係と、各特徴成分に対する比率とを［表７］に示す。

ここで、Ｃ，Ｄはそれぞれ閾値であり、Ｃ＜Ｄとなる。

例えば輝度コントラストの最大値ＹＣ_ｍａｘが閾値Ｄ以上となる場合（Ｄ≦ＹＣ_ｍａｘの場合）、比率調整部３２は、各特徴成分に対する比率は調整しない。この場合、各特徴成分に対する比率は、初期比率（０．３３）のままとなる。

また、輝度コントラストの最大値ＹＣ_ｍａｘが閾値Ｄ未満で、閾値Ｃ以上となる場合（Ｃ≦ＹＣ_ｍａｘ＜Ｄの場合）、比率調整部３２は、輝度コントラスト成分に対する比率を下げ（０．３３→０．２）、色成分及び方向性エッジ成分に対する比率を上げる（０．３３→０．４）。

さらに、輝度コントラストの最大値ＹＣ_ｍａｘが閾値Ｃ未満となる場合（ＹＣ_ｍａｘ＜Ｃの場合）、比率調整部３２は、輝度コントラスト成分に対する比率を０にし、色成分及び方向性エッジ成分に対する比率を上げる（０．３３→０．５）。

つまり、輝度コントラストの最大値が低いほど、画面における輝度コントラストが小さくなるので、輝度コントラスト成分に対する比率を下げ、色成分や方向性エッジの比率を上げる。

また、この他に、画像を取得する際に得られる距離情報に基づいて特徴成分に対する比率を調整することも可能である。この場合、画像における距離情報の最大値と最小値の差分を求め、この差分が小さいほど、方向性エッジ成分に対する比率を下げ、色成分や輝度コントラスト成分に対する比率を上げる。

このようにして、各特徴成分に対して設定される寄与率が画像を取得したときの取得状況に応じて適切に調整される。

なお、［例１］〜［例６］においては、比率調整部３２により取得される情報のうちいずれか１つの情報に基づいて、各特徴成分に対する比率を調整する例を挙げているが、これに限定する必要はなく、複数の情報に基づいて各特徴成分に対する比率を調整することも可能である。

［例７］
［例７］は、複数の撮影条件の要素を組み合わせて寄与率を調整する形態の一例を示すものである。［例７］では、撮影条件として［例１］で示した焦点距離情報と、［例５］で示したホワイトバランスに関わる情報とを組み合わせて寄与率を調整する例について説明する。

例えば、ホワイトバランスに関わる情報から、撮影環境が屋外で、且つ晴天であると推定される場合、比率調整部３２は、撮像光学系１５の焦点距離ｆの情報に基づいて、以下の［表８］となるように、色成分、輝度コントラスト及び方向性エッジのそれぞれに対する比率を調整する。

また、ホワイトバランスに関わる情報から、撮影環境が屋内である、又は曇天であると推定される場合、比率調整部３２は、撮像光学系１５の焦点距離ｆの情報に基づいて、以下の［表９］となるように、色成分、輝度コントラスト及び方向性エッジのそれぞれに対する比率を調整する。

このように、複数の撮影条件を組み合わせることで、色成分、輝度コントラスト及び方向性エッジに係る比率を、撮影の環境状況に応じて適切に調整することが可能となる。

ステップＳ１０４は、顕著性マップを生成する処理である。データ処理回路２３は、スルー画像データを用いて、色情報マップ、輝度情報マップ、エッジ情報マップを生成する。データ処理回路２３は、生成したマップと、ステップＳ１０３にて設定された各特徴成分に対する寄与率とを用いて顕著性マップを生成する。なお、生成された顕著性マップは、図示を省略したメモリに記憶される。

ステップＳ１０５は、顕著性マップに基づいてＡＦ領域を設定する処理である。ＣＰＵ２０は、メモリに記憶された顕著性マップを読み出す。ＣＰＵ２０は、読み出した顕著性マップにおける顕著度のうち、最も顕著度が高くなる領域を抽出する。そして、ＣＰＵ２０は、抽出した領域をＡＦ領域として設定する。なお、設定されたＡＦ領域に係る情報は、表示出力回路２６に出力される。表示出力回路２６は、スルー画像とＡＦ領域を示す枠とを重畳して液晶モニタ２４に表示する。

ステップＳ１０６は、レリーズボタンの半押し操作があるか否かを判定する処理である。なお、詳細は省略するが、レリーズボタンには、その半押し操作、及び全押し操作が行われたときに、オンとなるスイッチがそれぞれ設けられている。これらスイッチがオンとなる場合には、そのオンとなる信号（以下、操作信号）がＣＰＵ２０にそれぞれ入力される。ＣＰＵ２０は、レリーズボタンの半押し操作時の操作信号が入力されたか否かによって、レリーズボタンが半押し操作されたか否かを判定する。例えばレリーズボタンの半押し操作時の操作信号がＣＰＵ２０に入力された場合には、ＣＰＵ２０は、ステップＳ１０６の判定をＹｅｓとする。この場合、ステップＳ１０７に進む。一方、レリーズボタンの半押し操作時の操作信号がＣＰＵ２０に入力されない場合には、ＣＰＵ２０は、ステップＳ１０６の判定をＮｏとする。この場合、ステップＳ１０１に戻り、ステップＳ１０１からステップＳ１０５の処理が再度実行される。

ステップＳ１０７は、ＡＦ処理である。ステップＳ１０５によりＡＦ領域が設定されている。ＣＰＵ２０は、レンズ駆動回路１８を介して撮像光学系１５のフォーカスレンズを所定ピッチで光軸方向に移動させて、設定されたＡＦ領域における焦点評価値を求め、この焦点評価値をもとにフォーカスレンズを移動させて、ＡＦ処理を実行する。

ステップＳ１０８は、レリーズボタンの全押し操作があるか否かを判定する処理である。上述したように、レリーズボタンには、その半押し操作、及び全押し操作が行われたときに、オンとなるスイッチがそれぞれ設けられている。ＣＰＵ２０は、レリーズボタンの全押し操作時の操作信号が入力されたか否かによって、レリーズボタンが全押し操作されたか否かを判定する。例えばレリーズボタンの全押し操作時の操作信号がＣＰＵ２０に入力された場合には、ＣＰＵ２０は、ステップＳ１０８の判定をＹｅｓとする。この場合、ステップＳ１０９に進む。一方、レリーズボタンの全押し操作時の操作信号がＣＰＵ２０に入力されない場合には、ＣＰＵ２０は、ステップＳ１０８の判定をＮｏとする。この場合、ステップＳ１１３に進む。

ステップＳ１０９は、撮像処理である。ＣＰＵ２０は、ステップＳ１０７におけるＡＦ処理と同様にＡＦ処理を行う。この場合、フォーカスレンズを光軸方向に移動させるピッチは、ステップＳ１０７よりも細かいピッチとなる。

この処理の後、ＣＰＵ２０は、設定される絞り値をレンズ駆動回路に出力する。これを受けて、レンズ駆動回路１８は、入力された絞り値となるように、絞り（図示省略）を制御する。また、ＣＰＵ２０は、ＡＥ処理により設定されるシャッタ速度に基づく駆動信号を、撮像素子駆動回路２１に出力する。これを受けて、撮像素子１６が駆動制御される。これにより、撮像処理が実行される。この撮像処理により得られる画像信号は、信号処理回路２２に出力される。信号処理回路２２は、入力された画像信号に対して、直流再生処理、Ａ／Ｄ変換処理、γ変換処理などの信号処理を施す。これにより、撮像により得られた画像データ（本画像データ）が生成される。

ステップＳ１１０は、画像を表示する処理である。ステップＳ１０９により生成される画像データは、データ処理回路２３に入力される。データ処理回路２３は、入力された画像データに対して、必要に応じて、液晶モニタ２４に表示を行うための解像度（画素数）変換処理を施し、表示出力回路２６に出力する。表示出力回路２６は、データ処理回路２３から入力された画像データに所定の信号処理を施して、液晶モニタ２４に出力する。

ステップＳ１１１は、画像データを記憶するか否かを判定する処理である。ＣＰＵ２０は、表示出力回路２６に対して、表示された画像データを記憶するか否かをユーザに選択させるための表示を行う指示を行う。これを受けて、表示出力回路２６は、表示している画像に、例えば「画像データを記憶しますか？」などのコメントを重畳させる。この表示を受けて実行される操作部材１７からの操作信号に基づいて、ＣＰＵ２０は、画像データを記憶するか否かを判定する。操作部材１７からの操作信号が、画像データを記憶することを示す信号であれば、ＣＰＵ２０は、ステップＳ１１１の判定をＹｅｓとして、ステップＳ１１２に進む。一方、操作部材１７からの操作信号が、画像データを記憶しないことを示す信号であれば、ＣＰＵ２０は、ステップＳ１１１の判定Ｎｏとする。この場合は、図３のフローチャートの処理が終了する。

ステップＳ１１２は、画像データを記憶する処理である。データ処理回路２３は、画像データを圧縮伸長処理回路２５に出力する。これを受けて、圧縮伸長処理回路２５は、入力された画像データに対して圧縮処理を施し、記憶媒体２７に記憶する。ここで、画像データは、ステップＳ１０４、又はステップＳ１１７のいずれかの処理にて生成された顕著度マップが付帯情報として付帯された状態で、記憶媒体２７に記憶される。

上述したステップＳ１０８において、レリーズボタンの全押し操作がない場合には、ステップＳ１０８の判定がＮｏとなり、ステップＳ１１３に進む。

ステップＳ１１３は、自動合焦動作の動作モードがコンティニュアスＡＦモードであるか否かを判定する処理である。自動合焦動作の動作モードがコンティニュアスＡＦモードであれば、ＣＰＵ２０は、ステップＳ１１３の判定処理をＹｅｓとし、ステップＳ１１４に進む。

一方、自動合焦動作の動作モードがシングルＡＦモードであれば、ＣＰＵ２０は、ステップＳ１１３の判定処理をＮｏとする。この場合、ステップＳ１０８に戻る。自動合焦動作の動作モードがシングルＡＦモードの場合、ステップＳ１０７にて実行されたＡＦ処理により設定されるフォーカスレンズの位置が固定される。

ステップＳ１１４は、スルー画像を取得する処理である。このステップＳ１１４の処理はステップＳ１０１と同一の処理である。

ステップＳ１１５は、情報を取得する処理である。このステップＳ１１５の処理は、ステップＳ１０２と同一の処理である。

ステップＳ１１６は、寄与率を設定する処理である。このステップＳ１１６の処理は、ステップＳ１０３と同一の処理である。

ステップＳ１１７は、顕著性マップを生成する処理である。このステップＳ１１７の処理は、ステップＳ１０４と同一の処理である。

ステップＳ１１８は、顕著性マップに基づいてＡＦ領域を設定する処理である。このステップＳ１１８の処理は、ステップＳ１０５と同一の処理である。

ステップＳ１１９はＡＦ処理である。このステップＳ１１９の処理は、ステップＳ１０７と同一の処理である。

ここで、自動合焦動作の動作モードとしてコンティニュアスＡＦモードが設定され、且つレリーズボタンが半押し操作され続けた場合には、ステップＳ１１４からステップＳ１１９の処理が繰り返し実行される。つまり、スルー画像が取得される度に、顕著性マップが生成され、顕著性マップに基づいたＡＦ処理が実行される。

このように、情報取得部３１により得られる情報に基づいて、各特徴成分に対する比率が調整され、各特徴マップに対する寄与率が設定される。これにより、撮影時における画像の取得環境に応じた寄与率を設定することができ、適切な顕著性マップを生成することが可能となる。

また、生成された顕著性マップからＡＦ領域が設定されることになるので、自動合焦動作を適切に行うことが可能となる。

なお、図３のフローチャートにおいては、特徴成分に対する比率を調整する場合に、自動合焦動作の動作モードを加味していないが、例えばステップＳ１０３における寄与率の設定において、自動合焦動作の動作モードとしてシングルＡＦモードに設定されている場合に、撮像光学系の合焦状態を判定した結果を加味することも可能である。この場合、撮像光学系が合焦している場合には、方向性エッジ成分に対する比率を上げ、色成分及び輝度コントラスト成分に対する比率を下げるように、各特徴成分に対する比率を調整する。また、ＡＦ動作中である場合には、方向性エッジ成分に対する比率を下げ、残りの特徴成分に対する比率を上げるように、各特徴成分に対する比率を調整する構成としてもよい。また、ＡＥ動作の実行中には、輝度コントラスト成分に対する比率を下げ、残りの特徴成分に対する比率を上げるように、各特徴成分に対する比率を調整する構成としてもよい。このように、撮像装置の各種調整中に得られた撮影画像については、調整に関連する特徴成分の比率を例えば下げるように調整する構成としてもよい。したがって、撮影状況に応じて、適切な顕著度の判断を行うことが可能となる。

図３のフローチャートの処理においては、レリーズボタンの全押し操作が行われたと判定された場合（ステップＳ１０８がＹｅｓとなる場合）に撮像処理を実行しているが、これに限定される必要はなく、レリーズボタンの全押し操作が行われたと判定された場合に顕著性マップを生成し、生成された顕著性マップに基づいたＡＦ処理を行った後、撮像処理を実行することも可能である。この場合、スルー画像に基づく顕著性マップの生成時に用いる各特徴成分の寄与率の設定においては、方向性エッジ成分の寄与率を下げ、色成分及び輝度コントラスト成分の寄与率を上げる。そして、レリーズボタンが全押し操作されたことに起因した顕著性マップの生成時に用いる各特徴成分の寄与率の設定時に、方向性エッジ成分の寄与率を上げ、色成分及び輝度コントラスト成分の寄与率を下げる。つまり、スルー画像に基づいて生成される顕著性マップは、自動合焦動作を行う際に使用する領域（ＡＦ領域）を設定するために使用し、レリーズボタンの全押し操作に起因した顕著性マップは、ＡＦ領域における顕著度が、他の領域に対する顕著度よりも高いか否かを判定し、ユーザにとって好ましい画像が得られるか否かを補助的に判断するために使用できる。

本実施形態では、顕著度マップを用いて自動合焦動作を行う場合について説明しているが、これに限定される必要はなく、生成される顕著性マップから顕著度の高い領域を主要被写体の領域と推定し、推定される主要被写体の領域が適切な構図となるように、撮影倍率を変更するように、撮像光学系の各レンズを駆動制御してもよい。

また、この他に、顕著度マップから顕著度の高い領域を含む矩形の領域を、トリミング（クロップ）処理を行う候補となる領域として抽出し、抽出された領域を、スルー画像と重畳表示させることも可能である。

本実施形態では、スルー画像に基づいて顕著性マップを生成しているが、これに限定する必要はなく、撮影時に得られる画像に基づいて顕著性マップを生成することも可能である。撮影時に得られる画像に基づいて顕著性マップを生成する場合、例えばトリミング（クロップ）処理を行う候補となる領域の設定に使用することができる。また、連続撮影により得られる画像の場合には、複数の画像から得られる顕著性マップを用いて、取得された複数の画像のうち、最適な画像を選択することができる。

本実施形態では、撮像装置としているが、具体的には、デジタルカメラ、カメラ機能を備えた携帯型電話機に代表される携帯型端末機などが挙げられる。また、撮像装置の他に、図１及び図２に示すデータ処理回路２３の各部の機能を備えた画像処理装置であっても、本発明を適用することが可能である。さらに、撮像装置や画像処理装置の他に、デジタルカメラなどの撮像装置と、ＰＣとからなる撮像システムに適用することができる。

また、この他に、図１及び図２に示すデータ処理回路２３の各部の機能を実行するための画像処理プログラムであってもよい。この画像処理プログラムは、メモリカード、磁気ディスク、光学ディスクなどのコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。

１０…撮像装置、２０…ＣＰＵ、２２…信号処理回路、２３…データ処理回路、２４…液晶モニタ、２７…記憶媒体、３１…情報取得部、３２…比率調整部、３３…マップ生成部、４１…輝度情報抽出部、４２…色情報抽出部、４３…エッジ情報抽出部、４４…マップ合成部

Claims (14)

1. 画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、
   取得された前記画像に関わる情報を取得する情報取得手段と、
   前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも２以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記特徴成分毎に対応付けられた前記寄与率は、予め設定された初期値を有し、
   前記調整手段は、前記特徴成分毎に対応付けられた前記初期値を基準にして前記特徴成分毎に対応付けられた前記寄与率を調整することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記初期値は、複数の撮影モード毎に設定され、
   前記調整手段は、前記情報から得られる撮影モードに対応付けられた前記初期値を基準として、前記特徴成分毎に対応付けられた寄与率を調整することを特徴とする画像処理装置。
4. 請求項２又は請求項３に記載の画像処理装置において、
   前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分からなることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記情報取得手段により取得される前記情報は、画像取得時における撮像光学系の焦点距離を示す情報であり、
   前記調整手段は、前記撮像光学系の焦点距離に基づいて、前記方向性エッジ成分に対応付けられた寄与率を調整することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記調整手段は、前記焦点距離が短い場合に、前記方向性エッジ成分に対応付けられた寄与率を前記初期値よりも小さい値となるように調整することを特徴とする画像処理装置。
7. 請求項４に記載の画像処理装置において、
   前記情報取得手段により取得される前記情報は、前記画像が光の強弱を色の濃淡で表した画像であるか否かを示す情報であり、
   前記調整手段は、前記画像が光の強弱を色の濃淡で表した画像である場合に、前記色成分に対応付けられた寄与率を０に調整することを特徴とする画像処理装置。
8. 請求項４に記載の画像処理装置において、
   前記情報取得手段により取得される前記情報は、前記画像を取得したときの被写界の明るさを示す情報であり、
   前記調整手段は、前記画像を取得したときの前記被写界の明るさが暗い場合に、前記色成分又は前記輝度コントラスト成分の少なくともいずれか一方に対応付けられた寄与率を、前記初期値よりも小さい値に調整することを特徴とする画像処理装置。
9. 請求項４に記載の画像処理装置において、
   前記情報取得手段により取得される前記情報は、前記画像におけるデフォーカス量の情報であり、
   前記調整手段は、前記画像におけるデフォーカス量が大きいほど、前記方向性エッジ成分に対応付けられた寄与率を、前記初期値よりも小さい値に調整することを特徴とする画像処理装置。
10. 請求項４に記載の画像処理装置において、
    前記情報取得手段により取得される前記情報は、前記画像から得られるコントラストの情報であり、
    前記調整手段は、前記画像から得られるコントラストの値が小さいほど、前記色成分に対応付けられた寄与率を、前記初期値よりも大きい値に調整することを特徴とする画像処理装置。
11. 請求項４に記載の撮像装置において、
    前記情報取得手段により取得される前記情報は、前記画像がフォーカス動作中に得られた画像であるか否かの情報であり、
    前記調整手段は、前記画像がフォーカス動作中に得られた画像である場合に、前記方向性エッジ成分に対応付けられた寄与率を、前記初期値よりも小さい値に調整することを特徴とする画像処理装置。
12. 請求項４に記載の撮像装置において、
    前記情報取得手段により取得される前記情報は、フォーカス動作に関わる情報であり、
    前記調整手段は、前記フォーカス動作がシングルＡＦ動作となる場合に、レリーズボタンの操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率を、前記レリーズボタンの非操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率よりも大きな値に調整することを特徴とする画像処理装置。
13. 請求項１から請求項１２のいずれか１項に記載の画像処理装置と、
    フォーカス動作を行うことが可能な撮像光学系と、
    前記撮像光学系により取り込まれた被写体光を受光し、画像を取得する撮像素子と、
    を備えたことを特徴とする撮像装置。
14. 画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、
    取得された前記画像に関わる情報を取得する情報取得工程と、
    前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも２以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、
    を備えたことを特徴とする画像処理プログラム。

Images