JP2010213105A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置の表示部に、画像領域内の合焦状態を表示させる撮像装置を提供することにある。
【解決手段】固体撮像素子から出力された画像データから輪郭情報を抽出する輪郭抽出部２０２と、輪郭情報に基づいて画像データを複数の第１の画像領域に分割する領域分割部２０３と、画像データのフォーカス評価値を演算する評価値演算部と、フォーカス評価値に基づき第１の画像領域毎に画像データを補正する画像補正部と、撮像素子から出力された画像データと補正された画像データを合成する画像合成部と、を有することを特徴とする撮像装置。
【選択図】図２

Description

本発明は、デジタルカメラ等の撮像装置に係わり、特に、撮像時のフォーカス情報を表示する技術に関する。

従来、デジタルカメラやビデオカメラ等の撮像装置では、画像データを取得する撮像素子としてＣＣＤ（Charge Coupled Device）等を利用し、ＣＣＤから出力された画像データを、ビューファインダや背面モニター等の表示部に表示するものがある。
このような撮像装置として、被写体のどこにピントがあっているかという合焦状態についての情報が、撮像時の撮像画像とともに表示部に表示されるものがある。
また、このような撮像装置では、撮像装置側で被写体の合焦位置を決定し、この合焦位置において被写体のピント合わせを行うオートフォーカス機構が用いられている。このオートフォーカス機構によってピント合わせが行なわれると、合焦位置がビューファインダや背面モニターに表示されるものがある。

合焦状態を表示部に表示する表示方法としては、例えば、撮像時の被写体が表示されている画面内において、予め設定された複数の測距点に相当する位置にそれぞれ矩形等の模様を配し、これら複数の測距点の中から、合焦位置となった測距点に対応する模様を点灯させる表示方法（以下、第１の表示方法という）がある。
また、別の方法として、例えば、被写体の顔等に対応する画像領域を認識する機能等を用いて、被写体の顔等の画像領域を特定し、この特定された画像領域のうち、合焦位置となった画像領域の１つまたは複数の被写体に矩形図形を付して表示する表示方法（以下、第２の表示方法という）がある。

さらに、例えば、画像データのエッジ抽出を行い、画像データのうち抽出されたエッジ部分を合焦位置として、表示部にハイライト表示させるものがある（特許文献１参照）。
また、画面データを複数の矩形領域に分割して、各矩形領域内の合焦状態に応じて各矩形領域を色分けするなどして表示し、ユーザが画面全体の合焦状態を把握できるようにするものがある（特許文献２、３参照）。

特表平５−５００７４４号公報 特開平６−１１３１８３号公報 特開２００４−３０９９１５号公報

しかしながら、これらの合焦状態の表示方法によると、画面内の合焦位置等を特定して表示することにより、ユーザがこれらを把握することはできるが、合焦位置以外の合焦状態の程度（すなわち、ピントがあっておらず、画像表現がボケているボケ具合の程度）を把握することはできないという問題がある。
また、ビューファインダや背面モニターに表示される画像は、実際に撮像装置で撮影できる画像サイズよりも縮小された小さい画像で表示されるため、ユーザが表示された画像から合焦位置以外の領域のボケ具合を判断することは、非常に難しい。

さらに、特許文献１に記載される装置は、エッジ部分がハイライト表示されることにより合焦状態にある被写体を特定することができるため、上述した第１の表示方法による測距点の矩形模様の点灯や、第２の表示方法による合焦位置付近に矩形図形を付して表示する方法よりも、被写体に応じた合焦状態を表示することはできるが、合焦状態にある被写体以外の領域のボケ具合を表示することはできない。
また、特許文献２、３に記載される装置によると、画面を矩形領域で分割し、各矩形領域内の合焦状態に応じて各矩形領域を色分けするなどして表示しているため、一つの矩形領域内に遠近の異なる複数の被写体が混在している場合には、それぞれどちらの被写体に対しての合焦状態を表しているのか不明であり、ユーザは被写体ごとの合焦状態を把握することができない。

本発明は、このような事情を考慮し、上記の問題を解決すべくなされたものであって、その目的は、撮像装置の表示部に、画像領域内の合焦状態を表示させる撮像装置を提供することにある。

上記問題を解決するために、本発明は、撮像素子から出力された画像データから輪郭情報を抽出する輪郭抽出部と、前記輪郭情報に基づいて前記画像データを複数の第１の画像領域に分割する領域分割部と、前記画像データの合焦状態を表すフォーカス評価値を演算する評価値演算部と、前記フォーカス評価値に基づき前記第１の画像領域毎に画像データを補正する画像補正部と、前記撮像素子から出力された画像データと前記補正された画像データを合成する画像合成部と、前記画像合成部で合成された画像データを表示する表示部と、を有することを特徴とする撮像装置である。

また、本発明は、上述の撮像装置において、前記評価値演算部が、前記画像データを複数の第２の画像領域に分割し、前記第２の画像領域毎に前記フォーカス評価値を演算し、前記画像補正部が、前記第２の画像領域のフォーカス評価値に基づき、前記第１の画像領域毎のフォーカス評価値を演算することを特徴とする。

また、本発明は、上述の撮像装置において、前記画像補正部が、前記第１の画像領域毎のフォーカス評価値に基づき、前記複数の第１の画像領域のフォーカス評価レベルを判断することを特徴とする。

また、本発明は、上述の撮像装置において、前記画像補正部が、前記第１の画像領域毎のフォーカス評価値に対応した色のマスクデータに基づき前記画像データを補正し、前記画像合成部が、撮像素子から出力された画像データの前記第１の画像領域に、前記マスクデータを合成することを特徴とする。

また、本発明は、上述の撮像装置において、前記複数の第２の画像領域が、前記画像データを構成する複数の矩形領域であることを特徴とする。

また、本発明は、上述の撮像装置において、前記画像補正部は、前記フォーカス評価値に基づき、前記第１の画像領域毎に前記画像データの透明度、輝度又は色を補正することを特徴とする。

この構成により、本発明に係る撮像装置によると、被写体ごとに応じた合焦状態を表示装置に表示することができる。また、本発明に係る撮像装置によると、合焦位置にある被写体の合焦状態、およびこの被写体周辺部のピントが合っていない部分のボケ具合を表す画像を、表示装置に表示させることができる。よって、ユーザは、撮影時において、画像データの全体の合焦状態を容易に把握することができる。

本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。 図１に示す画像処理部の構成の一例を示すブロック図である。 図２に示す輪郭抽出部の構成の一例を示すブロック図である。 図１に示す画像処理部によって処理された画像データの一例を示す概念図である。 図１に示す画像処理部によって処理された画像データの他の一例を示す概念図である。 図１に示す画像処理部によって処理された画像データの他の一例を示す概念図である。 図１に示す画像処理部によって処理された画像データの他の一例を示す概念図である。 図１に示す画像処理部によって処理された画像データの他の一例を示す概念図である。 本実施の形態に係る撮像装置の処理フローを示すフローチャートである。 図２に示す領域分割部によって処理された画像データの一例を示す概念図である。 図２に示す領域分割部によって処理された画像データの他の例を示す概念図である。 図２に示す領域分割部によって処理された画像データの他の例を示す概念図である。 図２に示す領域分割部によって処理された画像データの他の例を示す概念図である。

［第１の実施形態］
以下、図面を参照して、本発明の一の実施形態について説明する。図１は、本発明の実施の形態に係る撮像装置の構成の一例を示すブロック図である。
図１に示すとおり、本実施の形態に係る撮像装置１は、レンズ群１０１と、固体撮像素子１０２と、撮像部１０３と、ＡＤ変換部１０４と、画像処理部１０５と、焦点調節部１０６と、ＣＰＵ１０７と、レリーズスイッチ（レリーズＳＷ）１０８と、メモリ１０９と、表示制御部１１０と、表示装置１１１と、システムバス１１２と、記録制御部１１３と、記録装置１１４とを備える。

レンズ群１０１は、撮像装置１内に入射する被写体光を固体撮像素子１０２に出力する。
固体撮像素子１０２は、レンズ群１０１から入力された被写体光を、アナログの撮像信号に変換する。固体撮像素子１０２は、レリーズＳＷ１０８が押下されることにより被写体を撮像し、撮像信号を出力する。この撮像信号に基づく画像データが撮像画像となる。また、固体撮像素子１０２は、レリーズＳＷ１０８による制御がなされない状態においても、レンズ群１０１から入力された被写体光を撮像信号に変換する。この撮像信号に基づく画像データが、いわゆるスルー画像となる。
撮像部１０３は、固体撮像素子１０２から入力されたアナログの撮像信号を、相関二重サンプリング等の処理を行い、蓄積電荷量に対応したＲ、Ｇ、Ｂの画像データとして、ＡＤ変換部１０４に出力する。
レンズ群１０１、固体撮像素子１０２および撮像部１０３は、絞り値や露出値等の各パラメータにより決定される撮像条件に基づき、焦点調整部１０６あるいはＣＰＵ１０７によって制御される。

ＡＤ変換部１０４は、Ａ／Ｄ変換器を備え、撮像部１０３から入力されたＲ、Ｇ、Ｂの画像データをデジタルデータに変換し、画像処理部１０５に出力する。
画像処理部１０５は、ＡＤ変換部１０４から入力されたデジタルデータに、階調変換、ホワイトバランス補正、γ補正などの各種画像処理をして画像データを生成し、システムバス１１２を介してメモリ１０９に出力する。このように、画像処理部１０５は、ＡＤ変換部１０４から入力されたデジタルデータに一連の画像処理終了後、画像処理がなされた画像データをメモリ２０９に記憶できる。しかし、画像処理部１０５はこれに限られず、一連の画像処理の途中で、任意の画像処理がされた画像データを一時的にメモリ２０９に記憶し、必要に応じてその画像データをメモリ１０９から読み出し、読み出した画像データに基づき別の画像処理を開始することもできる。なお、詳細については、図２を用いて後述する。

焦点調整部１０６は、ＣＰＵ１０７によって焦点調整が指示されると、レンズ群１０１を制御し、焦点位置にある被写体にピントを合わせる焦点調整を行う。例えば、焦点調整部１０６は、ＣＰＵ１０７によって決定された焦点位置にピントを合わせるよう、レンズ群１０１の位置決めをするレンズ駆動モータ等（図示せず）を制御し、焦点位置にピントを合わせる。

ＣＰＵ１０７は、撮像装置１を統括的に制御し、例えば、設定されているシーンモードや焦点調整モード、あるいは固体撮像素子１０２から取得された撮像信号に基づく画像処理のデータに応じた焦点調整を、焦点調整部１０６に行わせる。本実施の形態において、ＣＰＵ１０７は、オートフォーカス機能を備え、後述する画像処理部１０５の評価値演算部２０１によって算出されたフォーカス評価値に基づき、このフォーカス評価値が最大となる位置を焦点位置として、焦点調整部１０６に、例えば、ＴＴＬ（Through The Lens）方式に基づくレンズ群１０１の焦点調整を行わせる。

なお、焦点調整モードとして、オートフォーカス機能を利用した自動焦点調整モード（ＡＦモード）が設定されている場合、ＣＰＵ１０７は、ユーザ等により予め設定されているシーンモードに基づき被写体の合焦位置を決定し、焦点調整部１０６に、決定された合焦位置に対する焦点調整を行わせる。これを以下、自動焦点調整という。
例えば、シーン設定として人物モードが設定されている場合、ＣＰＵ１０７は、最も近い被写体に合焦位置を合わせるよう焦点調整部１０６を制御し、焦点調整部１０６は、決定された合焦位置で合焦するようレンズ群１０１を制御する。
また、ＣＰＵ１０７は、システムバス１１２を介して、画像処理部１０５、メモリ１０９、表示制御部１１０、記録制御部１１３と接続されており、各部をそれぞれ制御する。

レリーズＳＷ１０８は、２段階押しのスイッチである。撮像装置１がＡＦモードに設定されている状態で、レリーズＳＷ２０８がユーザが軽く押下（半押し）されると、ＣＰＵ１０７は、焦点調節部１０６に自動焦点調整を行わせる。焦点調整部１０６によって合焦位置である被写体にピントが合わせられると、ＣＰＵ１０７は、この状態における撮像条件を一時的に記憶し、レリーズＳＷ２０８の半押し状態が解除されるまでこの撮像条件の変更を禁止する。このようにＣＰＵ１０７によってピントあわせ時の撮像条件が維持されることを、以下データロックという。
また、レリーズＳＷ１０８は、半押し状態でもう一度強く押圧（全押し）されると、ＣＰＵ１０７は、データロックされている撮像条件で被写体を撮像する。これにより、固体撮像素子１０２から出力された撮像信号が、撮像画像としてメモリ１０９に記憶される。

メモリ１０９は、例えば、ＳＤＲＡＭ（Synchronous DRAM）等であって、システムバス１１２を介して、画像処理部１０５から入力された画像データを記憶する。
表示制御部１１０は、システムバス１１２を介して、メモリ１０９から画像データを取得し、取得した画像データを画像制御部１１０に応じたデジタル信号（例えば、コンポジット信号）に変換し、表示装置１１１に出力する。
表示装置１１１は、例えば、電子ビューファインダや液晶表示装置等であって、撮影した撮像画像や、いわゆるスルー画像、各種メニュー画面を表示する。

システムバス１１２は、画像処理部１０５、ＣＰＵ１０７、メモリ１０９、表示制御部１１０、記録制御部１１３と接続され、制御信号や画像データ等を伝達するバスである。
記録制御部１１３は、システムバス１１２を介して、メモリ１０９から画像データを取得し、この画像データに圧縮または伸長の処理をする。そして、記録制御部１１３は、圧縮または伸長の処理がなされた画像データを、所定の圧縮形式（例えばＪＰＧ方式）の画像データに変換し、記録装置１１４に出力する。なお、記録制御部１１３は、画像データに圧縮または伸長の処理をせず、いわゆるＲＡＷデータとして、記録装置１１４に出力することもできる。
記録装置１１４は、記録制御部１１３から入力された画像データを記憶する。記録装置１１４は、複数枚の画像データを記憶可能な、例えば、磁気ディスク、磁気テープ、光磁気ディスク、半導体メモリ等のメディアであって、撮像装置１に対して着脱自在に接続される。

次に、図２〜８を用いて、画像処理部１０５の構成について詳細に説明する。図２は、図１に示す画像処理部１０５の構成の一例を示すブロック図である。図３は、図２に示す輪郭抽出部の構成の一例を示すブロック図である。図４〜８は、図２、３の各構成によって処理された画像データを説明するための概念図である。図４は、複数の矩形領域４に分割された画像データ４００を示す図である。図５は、画像データ４００に基づき、輪郭情報で分割された画像領域５０１〜５０４を示す図である。図６は、図５に示した画像領域５０１〜５０４を、図４に示す矩形領域４にあわせて表すフラグデータ６０１〜６０４を示す図である。図７は、図５に示した画像領域５０１〜５０４に対して、フォーカス評価値レベルに応じた補正を行ったマスクデータ７０１〜７０４を示す図である。

図２に示す通り、画像処理部１０５は、評価値演算部２０１と、輪郭抽出部２０２と、領域分割部２０３と、色設定部（画像補正部）２０４と、画像合成部２０５とを備える。なお、レリーズＳＷ２０８が半押しされた状態で固体撮像素子１０２により取得された撮像信号に基づく画像データを、以下、画像データ４００として説明する。この画像データ４００は、ＡＤ変換部１０４から画像処理部１０５に入力されるデジタルデータ、あるいは画像処理部１０５によってメモリ１０９から取得した画像データのいずれでもよい。

評価値演算部２０１は、入力された画像データ４００を、図４に示すような、複数の矩形領域（第２の画像領域）４に分割し、例えば、デジタル積分方式を用いて各矩形領域４のフォーカス評価値を算出し、評価値情報として色設定部２０４に出力する。
例えば、評価値演算部２０１は、撮像部１０３およびＡＤ変換部１０４を介して、固体撮像素子１０２から入力された複数の画像データ４００からそれぞれの画像データごとの輝度を抽出し、特定の周波数成分を抽出するフィルタ処理をする。これにより、得られた複数の画像データ４００の周波数成分を、累積エリアである矩形領域４ごとに加算処理することで、画像データ４００の合焦状態を表すフォーカス評価値を算出する。

なお、この評価値演算部２０１によって算出されたフォーカス評価値は、上述したＡＦモードが設定されている場合のＣＰＵ１０７による焦点位置の検出に用いられ、システムバス１１２を介してＣＰＵ１０７に出力される。
また、評価値演算部２０１は、例えば、デジタル積算方式、いわゆる山登り方式を用いて、画像データに含まれる高域成分をデジタル信号に変換して積分し、フォーカス評価値を算出するものであってもよい。

画像領域４００は、図４に示す通り、画像データ４００を縦に６分割、横に６分割された３６個の矩形領域４で構成されている。これら複数の矩形領域４には、画像データ４００における位置が規定された座標情報（１，１）（１，２）・・・（６，６）が付与されている。
輪郭抽出部２０２は、入力された画像データ４００から、図３を用いて後述するとおり被写体の輪郭情報を抽出し、この輪郭情報および画像データ４００を領域分割部２０３に出力する。

領域分割部２０３は、輪郭抽出部２０２から入力された輪郭情報に基づき、入力された画像データ４００を輪郭情報で区切られた複数の画像領域（第１の画像領域）５０１、５０２、５０３、５０４に分割する。
これら複数の画像領域５０１〜５０４は、図５に示すとおり、輪郭情報によって区切られた被写体ごとの領域であって、図５に黒色を付して示す被写体領域５００Ｐに対応する画像データ４００を保持する。すなわち、すべての画像領域５０１〜５０４を合成することにより、画像データ４００を構成する。なお、図５に白抜きで表されている部分は、画像データ４００を保持していない部分であって、以下、無画像領域５００Ｎという。
例えば、領域分割部２０３は、詳細については後述するが、輪郭抽出部２０２から入力される輪郭情報である画素値「１」と、輪郭情報以外の被写体に対応する部分である画素値「０」に基づき、画素値「０」の連続性から、分割する画素値「０」の領域を区別し、区別された画素値「０」を画像領域５０１〜５０４として分割する。詳細については、図１０〜１４を用いて後述する。
なお、本実施の形態においては、画像データ４００が４つの画像領域５０１〜５０４に分割される例について説明するが、複数であればこれ以外の個数でもよい。

色設定部２０４は、領域分割部２０３から入力された複数の画像領域５０１〜５０４ごとに、それぞれ矩形領域４と対応付けられたフラグ値から構成されるフラグデータ６０１、６０２、６０３、６０４を作成する。すなわち、フラグデータ６０１〜６０４は、画像領域５０１〜５０４の情報を、矩形領域４に分割された画像データ４００の分割形式に変換したデータであって、例えば、図６に示すとおり、フラグデータ６０１〜６０４は、複数の矩形領域４に対応する複数の矩形領域６を有し、この矩形領域６は、フラグ値「１」あるいは「０」で区別されている。
つまり、色設定部２０４は、複数の画像領域５０１〜５０４の被写体領域５００Ｐに対応する部分の矩形領域６のフラグ値を「１」と、無画像領域５００Ｎに対応する矩形領域６のフラグ値を「０」とする、フラグデータ６０１〜６０４を作成する。なお、画像領域５０１〜５０４の被写体領域５００Ｐは、矩形領域６と必ずしも一致していない。このため、色設定部２０４は、被写体領域５００Ｐと矩形領域６との対応する面積比が所定の閾値（例えば７０％）以上である場合、この矩形領域６を被写体領域５００Ｐと対応する部分であると判断し、フラグ値「１」とする。

また、色設定部２０４は、作成したフラグデータ６０１〜６０４の矩形領域６のフラグ値と、評価値演算部２０１から入力された各矩形領域４のフォーカス評価値とを対応付け、領域分割部２０３から入力された複数の画像領域５０１〜５０４ごとのフォーカス評価値を演算する。
例えば、色設定部２０４は、フラグデータ６０１とフォーカス評価値とを乗算し、フラグ値が「１」の矩形領域６［座標（６，１）、（６，２）、（６，３）］に対応する、画像データ４００の矩形領域４のフォーカス評価値を算出する。色設定部２０４は、この算出されたフォーカス評価値を全て加算し、合計値をフラグ値「１」の矩形領域６の個数（３）で除算し、フラグデータ６０１の矩形領域６のフォーカス評価値の平均を算出することにより、画像領域５０１のフォーカス評価値を演算する。なお、このようにして得られたフラグデータ６０１〜６０４のフォーカス評価値の平均を、以下代表値という。

さらに、色設定部２０４は、演算された画像領域５０１〜５０４ごとのフォーカス評価値の代表値に基づき、画像領域５０１〜５０４ごとのフォーカス評価値レベルを判断し、フォーカス評価値レベルに応じて各画像領域５０１〜５０４を補正する。
例えば、色設定部２０４は、フォーカス評価値レベルに応じた色補正を複数の画像領域５０１〜５０４ごとに行い、フォーカス評価値レベルに応じた色が付与されたマスクデータ７０１、７０２、７０３、７０４を作成し、画像合成部２０５に出力する。

本実施形態において、画像領域５０１〜５０４間では、画像領域５０３のフォーカス評価値が最も高く（すなわち、焦点している被写体を含んでいる画像）、画像領域５０２のフォーカス評価値が最も低く（すなわち、最もピントが外れており、最もボケている画像）、画像領域５０１、５０４がこれら画像領域５０３と５０２のフォーカス評価値との間の値である。
よって、色設定部２０４は、これらフォーカス評価値の異なるマスクデータ７０１〜７０４には異なる色の補正をし、例えば、焦点している被写体を含むマスクデータ７０３は赤色に、最もピントが外れており最もぼけている被写体を含むマスクデータ７０２を青色に、これらの中間で、ややピントがぼけている被写体を含むマスクデータ７０４を黄色に、マスクデータ７０１よりもさらにピントがボケている被写体を含むマスクデータ７０１を緑色に補正する。

このように、色設定部２０４は、これら色補正の色を任意に決定できるが、焦点している焦点位置を含む被写体を第１の色（赤）に色補正し、この焦点位置以外の周辺領域においても、第１の色と異なり、フォーカス評価値レベルに応じて異なる第２の色（黄）、第３の色（緑）、第４の色（青）に色補正をする。これにより、色補正部２０４は、フォーカス評価値レベルに応じた補正をすることができる。
なお、マスクデータ７０３のように、フォーカス評価値が最大値（焦点位置）であるフォーカス評価値レベルをレベルＡとし、マスクデータ７０１、７０４のように、フォーカス評価値が中間値であるフォーカス評価値レベルをそれぞれレベルＢ、Ｃとし、フォーカス評価値が最小値であるフォーカス評価レベルをレベルＤとする。
また、本実施の形態において、マスクデータ７０４の方がフォーカス評価値が高く、すなわち、ボケ具合としてマスクデータ７０１よりぼけていない画像データであって、マスクデータ７０１とマスクデータ７０４とのフォーカス評価値レベルが異なる例について説明する。しかし、本発明はこれに限られず、例えば、マスクデータ７０１、７０４は、同じフォーカス評価値レベルであって、同じ色補正がなされるものであってもよい。

画像合成部２０５は、色設定部２０４から入力されたマスクデータ７０１〜７０４と、画像データ４００を合成し、システムバス１１２を介して、表示制御部１１０に補正された画像データ８００を出力する。画像データ８００は、図８に示す通り、画像データ４００の表面に色補正されたマスクデータ７０１〜７０４が合成されており、マスクデータ７０１〜７０４に対応する部分が色補正された色で、表示装置１１１に表示される。

次に、図３を用いて、輪郭抽出回路２０２について詳細に説明する。
図３に示す通り、輪郭抽出回路２０２は、ＢＰＦ（バンドパスフィルタ）３０１と、平滑化フィルタ３０２と、２値化回路３０３とを備える。

ＢＰＦ３０１は、特定の周波数帯域の周波数を通過させ、この周波数帯域以外の信号を減衰させる回路であって、画像データ４００内で、周波数が大幅に変化している部分、すなわち輪郭部分を抽出する。
例えば、ＢＰＦ３０１は、画像データ４００を構成する複数の画素データを、周波数成分値に応じた画素データに変換し、隣り合う画素データ同士の周波数成分値を比較する。ＢＰＦ３０１は、この周波数成分値の変化量の大きさに応じて、画像データ４００を出力値「０」〜「２５５」で表される画素データに変換する。なお、この画素データの出力値は、その変化量が大きいほど、より出力値を「０」に近くし、変化量が小さいほど出力値を「２５５」に近くする。また、最終的には、出力値「０」の画素データが、２値化回路３０３によって画素値「１」に変換され、輪郭抽出回路２０２から輪郭情報として出力される。

平滑化フィルタ３０２は、ＢＰＦ３０１から入力された画像データの出力値の変化量を滑らかにし、出力値「０」に近い画素データと、出力値「１」に近い画素データとの境界部分の変化量を減衰させた画像データを作成し、２値化回路３０３に出力する。
２値化回路３０３は、平滑化フィルタ３０２から入力された画像データの画素データを２値化された画素値に変換し、輪郭情報として領域分割部２０３に出力する。例えば、２値化回路３０３は、平滑化フィルタ３０２から入力された画像データの画素データの出力値が「１２８」未満の画素データを画素値「１」に、出力値が「１２９」以上の画素データを画素値「０」に変換して画像データを２値化し、画素値「１」の画素データを輪郭情報として出力する。
なお、輪郭抽出部２０２の構成として、バンドパスフィルタを含む例を用いて説明したが、これ以外にも、色検出を用いた輪郭検出等を用いる構成であってもよい。

次に、本実施の形態に係る撮像装置１の処理フローについて説明する。図９は、本実施の形態に係る撮像装置１の処理フローを示すフローチャートである。
図９に示す通り、固体撮像素子１０２から出力された撮像信号は、撮像部１０３とＡＤ変換部１０４を介して画像データ４００に変換され、画像処理部１０５に入力される。画像処理部１０５に入力された画像データ４００は、評価値演算部２０１と輪郭抽出部２０２に出力される。
評価値演算部２０１は、入力された画像データ４００を複数の矩形領域４（図４参照）に分割し、矩形領域４ごとのフォーカス評価値を算出し、色設定部２０４に出力する（ステップＳＴ１）。

一方、輪郭抽出部２０２は、入力された画像データ４００に対して輪郭抽出処理をし、輪郭情報を抽出し、この輪郭情報および画像データ４００を領域分割部２０３に出力する。領域分割部２０３は、輪郭抽出部２０２から入力された輪郭情報に基づき、入力された画像データ４００を輪郭情報で区切られた複数の画像領域５０１〜５０４（図５参照）に分割し、色設定部２０４に出力する（ステップＳＴ２）。

色設定部２０４は、領域分割部２０３から入力された複数の画像領域５０１〜５０４ごとに、矩形領域４に対応する矩形領域６からなるフラグデータ６０１〜６０４を作成する（ステップＳＴ３）。
また、色設定部２０４は、作成したフラグデータ６０１〜６０４と、評価値演算部２０１から入力された各矩形領域４のフォーカス評価値とを対応付け、領域分割部２０３から入力された複数の画像領域５０１〜５０４ごとのフォーカス評価値を演算する。色設定部２０４は、この画像領域５０１〜５０４の平均を算出し、代表値とする（ステップＳＴ４）。
次いで、色設定部２０４は、画像領域５０１〜５０４ごとのフォーカス評価値の代表値に基づき、画像領域５０１〜５０４ごとのフォーカス評価値レベルを判断し、フォーカス評価値レベルに応じて各画像領域５０１〜５０４を補正する。色設定部２０４は、例えば、フォーカス評価値レベルに応じた色補正を複数の画像領域５０１〜５０４ごとに行い、フォーカス評価値レベルに応じた色が付与されたマスクデータ７０１〜７０４を作成し、画像合成部２０５に出力する（ステップＳＴ５）。

画像合成部２０５は、色設定部２０４から入力されたマスクデータ７０１〜７０４と、画像データ４００を合成し、システムバス１１２を介して、表示制御部１１０に補正された画像データ８００を出力する（ステップＳＴ６）。表示制御部１１０は、補正された画像データ８００を表示装置１１０に応じたデジタル信号に変換し、表示装置１１１に出力する。そして表示装置１１１は、画像データ４００を、マスクデータ７０１〜７０４に対応する部分が色補正された色で表示する。

次に、図１０〜１４を用いて、領域分割部２０３の画像領域５０１〜５０４の分割方法の一例について詳細に説明する。図１０は、輪郭情報に基づき画素値で表された画像データ４００の一例を示す概略図である。図１１は、被写体領域５００Ｐを検出する方法の一例を説明するための画像データ４００の拡大図である。図１２は、図１１の方法により分割された分割領域と分割番号を示す概略図である。図１３は、分割番号「１」の分割領域に基づき、画像領域５０１を生成するためのマスクデータの一例を示す概略図である。

輪郭抽出部２０１から出力された輪郭情報に基づく画像データは、図１０に示すとおり、画素値「１」として「白抜き」で表された画素と、画素値「０」として「黒色」で表される。上述の通り、画素値「１」の画素が、輪郭情報に対応する領域であって、画素値「０」の画素が、輪郭以外の被写体に対応する領域である。
領域分割部２０３は、この白抜きの画素値「１」で表される輪郭情報で囲まれている（区別されている）黒色の画素値「０」の被写体領域５００Ｐを検出し、検出された被写体領域に分割番号を付す。

例えば、領域分割部２０３は、図１１に示す通り、画像データ４００の紙面左上の画素から右方向に１ライン毎、画面の上から下に向かって、対象となる画素の左隣りにある画素および上にある画素との画素値をそれぞれ比較し、被写体領域５００Ｐを検出する。
すなわち、領域分割部２０３は、画素Ｐ−１１の画素値「０」と、左隣りの画素Ｐ−１２の画素値「０」あるいは上の画素Ｐ−１３の画素値「０」とをそれぞれ比較する。この場合、画素Ｐ−１１は、左隣りの画素Ｐ−１２の画素値および上の画素Ｐ−１３の画素値と同じである。このため、領域分割部２０３は、画素Ｐ−１１が、前回までに検出されていた分割領域と連続した領域に含まれる画素であると判断し、例えば分割番号「１」で表される分割領域Ｓ−１内の画素であると判断する。

また、領域分割部２０３は、画素Ｐ−２１の画素値「０」と、左隣りの画素Ｐ−２２の画素値「１」あるいは上の画素Ｐ−２３の画素値「０」とをそれぞれ比較する。この場合、画素Ｐ−２１は、左隣りの画素Ｐ−２２の画素値とは異なり、上の画素Ｐ−２３の画素値と同じである。このため、領域分割部２０３は、画素Ｐ−２１が、分割領域Ｓ−１と連続した領域に含まれる画素であると判断するし、分割領域Ｓ−１内の画素とする。

また、領域分割部２０３は、画素Ｐ−３１の画素値「０」と、左隣りの画素Ｐ−３２の画素値「１」あるいは上の画素Ｐ−３３の画素値「１」とをそれぞれ比較する。この場合、画素Ｐ−３１は、左隣りの画素Ｐ−３２の画素値および上の画素Ｐ−３３の画素値と、ともに異なる。このため、領域分割部２０３は、画素Ｐ−３１が、分割領域Ｓ−１と異なる分割番号「２」で表される分割領域Ｓ−２に含まれる画素であると判断する。このように、領域分割部２０３は、左隣りと上の画素がともに画素値「１」である輪郭情報を表す画素である場合、当該画素を、新たな分割領域の画素であると判断する。

また、領域分割部２０３は、画素Ｐ−４１の画素値「０」と、左隣りの画素Ｐ−４２の画素値「１」あるいは上の画素Ｐ−４３の画素値「１」とをそれぞれ比較する。この場合、画素Ｐ−４１は、左隣りの画素Ｐ−４２の画素値および上の画素Ｐ−４３の画素値と、ともに異なる。このため、領域分割部２０３は、画素Ｐ−４１が、分割領域Ｓ−２と異なる分割番号「３」で表される分割領域Ｓ−３に含まれる画素であると判断する。
しかし、領域分割部２０３は、その後、画素Ｐ−５１に対して左隣りの画素Ｐ−５２および上の画素Ｐ−５３との画素値の比較を行った際、上の画素Ｐ−５３が既に分割領域Ｓ−１と判断されているため、画素Ｐ−５１を分割領域Ｓ−１と連続した領域に含まれる画素であると判断する。

領域分割部２０３は、上述のように単一の画素Ｐ−５１において、異なる２つ以上の分割領域Ｓ−１およびＳ−３の画素であると判断された場合、画像領域５０１〜５０４を作成する際に、例えば、これら２つの分割領域Ｓ−１およびＳ−３を同一の画像領域として処理する。また、領域分割部２０３は、後で検出された分割領域Ｓ−３の分割番号「３」を分割番号「１」と上書きすることにより、分割領域Ｓ−１に変換するものであってもよい。

領域分割部２０３は、画素値の比較により、画素値「０」の画素の分割領域が特定されると、図１２に示すように、それぞれの分割領域に分割番号１〜７を付与する。
領域分割部２０３は、これら複数の分割領域に特定された画素の画素値を、分割番号ごとに変更し、図１３に示すようなマスクデータを作成する。すなわち、領域分割部２０３は、分割番号１の分割領域Ｓ−１のマスクデータを作成する場合、分割領域Ｓ−１と判断された画素以外の画素値を「１」として、マスクデータを作成する。
領域分割部２０３は、このようにして作成されたマスクデータに基づく、画像領域５０１を作成する。また、同様にして、分割領域ごとのマスクデータを作成し、画像領域５０２〜５０４を作成する。

このように、領域分割部２０３は、画素値「０」の画素と、この画素の左と上にある画素との画素値を比較し、画素値「０」の画素の分割領域、すなわち輪郭情報である画素値「１」で分割された分割領域を特定し、特定された分割領域ごとのマスクデータで画像データ４００をマスク処理することで、画像データ４００を画像領域５０１〜５０４に分割する。
なお、上述において、領域分割部２０３は、４つの画像処理領域５０１〜５０４に分割する例を説明したが、本発明はこれに限られず、例えば、図１２に示す通り、６つに分割するものであってもよい。

上述の通り、撮像装置１は、輪郭抽出部２０２の輪郭情報に基づき被写体に応じて分割された画像領域５０１〜５０４に基づき、この画像領域５０１〜５０４に対応するフォーカス評価値およびフォーカス評価値レベルを得ることができる。これにより、被写体ごとに応じた合焦状態や被写界深度を表示装置１１１に表示することができる。また、実際に撮影する自然画では、焦点状態の異なる被写体の境界部分は曲線で区切られ形状が複雑である場合が多いが、輪郭情報に基づき被写体ごとに合焦状態を表示することができるため、画像全体の合焦状態を容易に把握することができる。さらに、フォーカス評価値レベルごとに区別して表示される被写体と、表示部を介してユーザが把握する被写体との輪郭が大きくずれることがないため、ユーザは被写体ごとに合焦状態を容易に把握することができる。

また、撮像装置１は、画像データ４００を複数の画像領域５０１〜５０４に分割し、これらを複数のフォーカス評価レベルと対応づけて、それぞれの合焦状態を表示装置１１１に表示している。つまり、撮像装置１は、合焦位置にある被写体の合焦状態をフォーカス評価値レベルのレベルＡの補正により表示し、この被写体周辺のピントがあっていない部分の合焦状態をフォーカス評価値レベルのレベルＢ、レベルＣあるいはレベルＤの補正により表示する。これにより、撮像装置１は、合焦位置にある被写体の合焦状態、およびこの被写体周辺部のピントが合っていない部分のボケ具合を表す画像を、表示装置１１１に表示させることができる。よって、ユーザは、撮影時において、画像データ４００の全体の合焦状態を容易に把握することができる。

さらに、撮像装置１は、画像領域５０１〜５０４ごとに、フォーカス評価値レベルに応じて異なる色補正をし、表示装置１１１に表示する。これにより、視認性の低い小さなビューファインダや背面モニターにより表示される場合であっても、ユーザは、色により区別された合焦状態やボケ具合を認識することができるため合焦を容易に把握することができる。

また、撮像装置１は、画像領域５０１〜５０４のフォーカス評価値レベルを判断する際に、オートフォーカス機構を利用する撮像装置１において既に利用されている評価値演算部２０１を利用することができる。このため、オートフォーカス機構を既に備えた撮像装置１では、既に搭載されている構成を利用することができ、構成の大幅な変更や新たな構成の追加等の負担が軽減され、低コスト化が図られる。

なお、フォーカス評価値レベルに応じて色補正された画像データを表示することにより、ユーザが、特定の被写体のみをくっきり撮影し、その他の背景部分をぼやかした写真を撮影したいと意図している場合には、画像全体が同じ色で表示されることにより、ユーザの意図する撮像条件が撮像装置１に設定されていないことを容易に把握することができる。
また、撮像装置１は、撮像素子から取得される画像データを撮像する装置であればよく、例えば、静止画を撮像するスチルカメラや、動画を撮像するビデオカメラ、あるいはカメラ一体型ＶＴＲ等であってもよい。

また、本実施の形態において、図９のステップＳＴ１において、固体撮像素子１０２から出力される画像データのタイミングとしては、レリーズＳＷ１０８が半押しされた際に出力された画像データであってもよく、レリーズＳＷ１０８が半押しされる以前に、ＡＦモードにおける焦点調整部１０６の自動焦点調整によって利用される画像データや、いわゆるスルー画像のデータであってもよい。
また、本実施の形態において、領域分割部２０３は、輪郭抽出部２０２によって抽出された輪郭情報に基づき、画像データ４００を画像領域５０１〜５０４に分割する場合を説明したが、本発明はこれに限られず、例えば、輪郭抽出部２０２に代えて特徴抽出部（図示せず）を利用することができる。この特徴抽出部としては、色検出やモルフォロジー、顔認証機能等を利用して被写体の特徴を抽出できるものが利用できる。

また、本実施の形態において、評価値演算部２０１は、画像データ４００からフォーカス評価値を演算する例を説明したが、本発明はこれに限られず、測距センサ（図示せず）を利用して、被写体との距離を計測し、この距離に基づきフォーカス評価値を演算する構成であってもよい。
また、本実施の形態において、色設定部２０４は、領域分割部２０３によって分割された画像領域５０１〜５０４に対して全て異なる色補正をする例を説明したが、本発明はこれに限られず、例えば、フォーカス評価値レベルが所定の中間レベルにあるレベルＢ、Ｃのマスクデータ７０１、７０４は、色補正をせずに出力値「０」とするものであってもよい。これにより、マスクデータ７０１、７０４と合成された画像データ４００は、対応する部分については画像データ４００の画像がそのまま表示される。

また、本実施の形態において、色設定部２０４は、フォーカス評価値レベルに応じて、画像領域５０１〜５０４に補正をする例を説明したが、本発明はこれに限られず、例えば、画像領域５０１〜５０４毎に、フォーカス評価値レベルに応じた透明度または輝度の補正をすることができる。
これは、例えば透明度を補正する場合、フォーカス評価値レベルのレベルＡの画像領域は透明度の補正を行わず、フォーカス評価値レベルＢからＤへとフォーカス評価値が低下するに従って（すなわちピントがよりボケていくに従って）、画像の透明度が高くなる補正をすることができる。
また、例えば輝度を補正する場合、フォーカス評価値レベルのレベルＡの画像領域は輝度を高く（表示を明るく）する補正をし、フォーカス評価値レベルＢからＤへとフォーカス評価値が低下するに従って、画像の輝度が低くなる（表示を暗く）補正をすることができる。

１ 撮像装置
４ 矩形領域（第２の画像領域）
１０１ レンズ群
１０２ 固体撮像素子
１０３ 撮像部
１０４ ＡＤ変換部
１０５ 画像処理部
１０６ 焦点調整部
１０７ ＣＰＵ
１０８ レリーズＳＷ
１０９ メモリ
１１０ 表示制御部
１１１ 表示装置
１１２ システムバス
１１３ 記録制御部
１１４ 記録装置
２０１ 評価値演算部
２０２ 輪郭抽出部
２０３ 領域分割部
２０４ 色設定部
２０５ 画像合成部
３０１ ＢＰＦ
３０２ 平滑化フィルタ
３０３ ２値化回路
４００ 画像データ
５０１〜５０４ 画像領域（第１の画像領域）

Claims (6)

1. 撮像素子から出力された画像データから輪郭情報を抽出する輪郭抽出部と、
   前記輪郭情報に基づいて前記画像データを複数の第１の画像領域に分割する領域分割部と、
   前記画像データの合焦状態を表すフォーカス評価値を演算する評価値演算部と、
   前記フォーカス評価値に基づき前記第１の画像領域毎に画像データを補正する画像補正部と、
   前記撮像素子から出力された画像データと前記補正された画像データを合成する画像合成部と、
   前記画像合成部で合成された画像データを表示する表示部と、
   を有することを特徴とする撮像装置。
2. 前記評価値演算部は、
   前記画像データを複数の第２の画像領域に分割し、前記第２の画像領域毎に前記フォーカス評価値を演算し、
   前記画像補正部は、
   前記第２の画像領域のフォーカス評価値に基づき、前記第１の画像領域毎のフォーカス評価値を演算することを特徴とする請求項１に記載の撮像装置。
3. 前記画像補正部は、
   前記第１の画像領域毎のフォーカス評価値に基づき、前記複数の第１の画像領域のフォーカス評価レベルを判断することを特徴とする請求項２に記載の撮像装置。
4. 前記画像補正部は、
   前記第１の画像領域毎のフォーカス評価値に対応した色のマスクデータに基づき前記画像データを補正し、
   前記画像合成部は、
   撮像素子から出力された画像データの前記第１の画像領域に、前記マスクデータを合成することを特徴とする請求項２に記載の撮像装置。
5. 前記複数の第２の画像領域は、
   前記画像データを構成する複数の矩形領域であることを特徴とする請求項２に記載の撮像装置。
6. 前記画像補正部は、
   前記フォーカス評価値に基づき、前記第１の画像領域毎に前記画像データの透明度、輝度又は色を補正することを特徴とする請求項１に記載の撮像装置。

Images