JP2006072332A - 撮像装置 - Google Patents

Abstract

【課題】 任意に設定可能な被写体にフォーカス調整を行うことができる高機能な撮像装置を提供する。
【解決手段】 被写体の電気的な画像信号を出力する撮像装置であって、焦点調節を行うためのフォーカスレンズ群を含み、被写体の光学的な像を形成する撮像光学系と、被写体の光学的な像を撮像して、電気的な画像信号に変換する撮像素子と、画像信号を複数のエリアに分割する画像分割部と、各エリア毎に画像信号から色情報をそれぞれ算出する色情報算出部と、予め参照色情報を設定する参照色情報設定部と、参照色情報と、色情報算出部により算出された各色情報とを比較した結果に基づいて、各エリアのうちの少なくとも１つを選択するエリア選択部と、選択されたエリアに対し、撮像光学系の合焦情報を算出する合焦情報算出部と、合焦情報に基づいて、フォーカスレンズ群を光軸方向に駆動するレンズ駆動部とを備える。
【選択図】 図１

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関し、特定的には、オートフォーカス機能を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。

現在、ＣＣＤやＣＭＯＳなどの撮像素子を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置が爆発的に普及している。これらの撮像装置は、一般的に被写体の画像信号に基づき合焦状態を検出し、検出結果に基づいて撮影光学系に含まれるフォーカスレンズ群を光軸方向に移動させることにより、オートフォーカス制御を行うものが主流である。

撮像装置の多機能化に伴って、オートフォーカス制御に対しても高機能化が求められるようになってきている。例えば、特許文献１は、被写体の画像信号を複数のＡＦエリアに分割し、それぞれの肌色画素の数をカウントして、フォーカス調整を行うＡＦエリアを特定する撮像装置用のオートフォーカス装置を提案している。

特許文献１に記載されたオートフォーカス装置は、主被写体として人物を想定している。すなわち、特許文献１に記載されたオートフォーカス装置は、肌色画素に基づいてフォーカス制御を行うことにより、フォーカスエリアが人物に追従し、常に人物に的確に合焦できるとしている。
特開２００４−３７７３３号公報

特許文献１に記載されたオートフォーカス装置は、主被写体として人物のみを想定しているため、他の被写体の場合にフォーカス追従を行うことができないという問題があった。デジタルスチルカメラ、デジタルビデオカメラ等は、人物が主被写体である場合ばかりではないため、特許文献１に記載されたオートフォーカス装置は、ユーザの要求に十分応えるものになっていない。

そこで、本発明の目的は、任意に設定可能な被写体にフォーカス調整を行うことができる高機能な撮像装置を提供することである。

上記目的は、以下の撮像装置により達成される。被写体の電気的な画像信号を出力する撮像装置であって、焦点調節を行うためのフォーカスレンズ群を含み、被写体の光学的な像を形成する撮像光学系と、被写体の光学的な像を撮像して、電気的な画像信号に変換する撮像素子と、画像信号を複数のエリアに分割する画像分割部と、各エリア毎に画像信号から色情報をそれぞれ算出する色情報算出部と、予め参照色情報を設定する参照色情報設定部と、参照色情報と、色情報算出部により算出された各色情報とを比較した結果に基づいて、各エリアのうちの少なくとも１つを選択するエリア選択部と、選択されたエリアに対し、撮像光学系の合焦情報を算出する合焦情報算出部と、合焦情報に基づいて、フォーカスレンズ群を光軸方向に駆動するレンズ駆動部とを備え、色情報および参照色情報は、いずれも、色相に関する情報および彩度に関する情報の内の少なくとも一方からなることを特徴とする。

好ましくは、参照色情報は、予め撮像された画像信号から、画像分割部によって分割された所望のエリアに対して、色情報算出部が算出した色情報である。一例として、画像信
号に基づく画像を表示する表示部を備え、選択されたエリアについて、参照色情報に基づき、表示部により表示されるべき画像信号の色を補正する特定エリア色補正処理部をさらに備える。

好ましくは、参照色情報に基づいて、撮像素子が出力する画像信号を補正する補正部を含む画像処理部を備え、合焦情報算出部は、補正された画像信号に基づいて、合焦情報を算出する。一例として、補正部は、撮像素子が出力する画像信号に対して、表示のためあるいは格納のために用いられる画像信号とは異なる補正を行う。

好ましくは、色情報算出部は、各エリア毎に画像信号から輝度をそれぞれ算出するとともに、さらに、算出した輝度が所定の値より大きいかどうかを判定する輝度判定部と、輝度判定部が算出した輝度が所定の値より大きいエリアを、エリア選択部が選択することを禁止する選択禁止部とを備える。

好ましくは、レンズ駆動部がフォーカスレンズを駆動する際に、被写体に補助光を投光する補助光源をさらに備え、色情報算出部は、補助光の色に応じて算出した色情報を補正する。

好ましくは、複数の参照色情報を格納する情報格納部をさらに備える。より好ましくは、情報格納部に格納された複数の参照色情報を表示する表示部をさらに備える。

好ましくは、複数の参照色情報と、当該参照色情報に関連する画像を表示するための画像信号とを格納する情報格納部をさらに備える。より好ましくは、情報格納部に格納された画像信号に基づく画像及び複数の参照色情報の少なくとも一方を表示させる表示部をさらに備える。

好ましくは、撮像装置は、撮像装置本体と、撮像光学部とに分離可能であり、撮像光学部は、撮像光学系を含み、撮像装置本体は、撮像素子と、画像分割部と、色情報算出部と、参照色情報設定部と、エリア選択部と、合焦情報算出部と、レンズ駆動部とを含む。

好ましくは、撮像装置は、撮像装置本体と、撮像光学部とに分離可能であり、撮像光学部は、撮像光学系と、レンズ駆動部とを含み、撮像装置本体は、撮像素子と、画像分割部と、色情報算出部と、参照色情報設定部と、エリア選択部と、合焦情報算出部とを含む。

上記目的は、以下の半導体集積回路により達成される。半導体集積回路は、上記の撮像装置に用いられる半導体集積回路であって、少なくとも画像分割部と、色情報算出部と、参照色情報設定部と、エリア選択部と、合焦情報算出部とを動作させる。

本発明によれば、任意に設定可能な被写体にフォーカス調整を行うことができる高機能な撮像装置を提供することが可能である。

（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置のブロック図である。実施の形態１にかかる撮像装置は、レンズ鏡筒１１と、撮像光学系であるズームレンズ系１２と、撮像素子であるＣＣＤ１４と、画像処理部１５と、画像メモリ１６と、表示部１７と、操作部１９と、補助光源２０と、レンズ駆動部２１と、システムコントローラ３０とを含む。

レンズ鏡筒１１は、内部にズームレンズ系１２を保持する。ズームレンズ系１２は、被写体の光学的な像を変倍可能に形成する撮像光学系である。ズームレンズ系１２は、被写体側から順に、変倍時に光軸に沿って移動するズームレンズ群１２ａ及びズームレンズ群１２ｂと、合焦状態に調節のために光軸に沿って移動するフォーカスレンズ群１３とからなる。

ＣＣＤ１４は、ズームレンズ系１２が形成した光学的な像を所定のタイミングで撮像し、電気的な画像信号に変換して出力する撮像素子である。画像処理部１５は、ＣＣＤ１４から出力された画像信号にホワイトバランス補正やγ補正などの所定の画像処理を施す処理部である。画像メモリ１６は、画像処理部１５から出力された画像信号を一次的に格納する。

表示部１７は、典型的には液晶ディスプレイであり、後述するシステムコントローラ３０からの指令に基づき、ＣＣＤ１４から出力された画像信号あるいは画像メモリ１６に格納された画像信号を、画像処理部１５を介して入力させ、この画像信号を可視画像としてユーザに表示する。また、画像処理部１５は、ユーザにより着脱可能なメモリーカード１８と双方向にアクセス可能である。メモリーカード１８は、後述するシステムコントローラ３０からの指令に基づき、ＣＣＤ１４から出力された画像信号あるいは画像メモリ１６
に格納された画像信号を、画像処理部１５を介して入力させて格納したり、格納された画像信号を、画像処理部１５を介して画像メモリ１６へ出力させ一時的に格納させたりする。

操作部１９は、撮像装置本体の外側に設けられ、ユーザが撮像装置本体の設定するため、あるいは操作するために用いる釦類である。なお、操作部１９は、複数の操作釦を含むが詳細は図２を用いて後述する。補助光源２０は、典型的にはＬＥＤであり、撮像環境が暗い場合に後述するシステムコントローラ３０からの指令に基づき、被写体側に向けられて点灯する発光素子である。

レンズ駆動部２１は、後述するシステムコントローラ３０のレンズ位置制御部３３からの指令に基づき、フォーカスレンズ群１３を光軸方向（Ａ方向あるいはＢ方向）に駆動する駆動信号を出力する。

システムコントローラ３０は、半導体集積回路により実現されており、画像分割部３１と、合焦状態算出部３２と、レンズ位置制御部３３と、色情報算出部３４と、参照色情報設定部３５と、エリア選択部３６とを含む。画像分割部３１は、画像メモリ１６から出力される画像信号を複数のエリアに分割する処理を行う。合焦情報算出部３２は、画像分割部３１により複数のエリアに分割された画像信号から、各エリアのコントラスト情報とフォーカスレンズ群１３の位置情報とに基づいてデフォーカス量を演算する。

レンズ位置制御部３３は、合焦情報算出部３２から出力されるデフォーカス量に基づいてフォーカスレンズ１３の位置を制御するための制御信号を生成し、レンズ駆動部２１へ出力する。また、レンズ位置制御部３３は、レンズ駆動部２１によりフォーカスレンズ１３を駆動させたときの位置情報を合焦状態算出部３２に出力する。このとき、合焦状態算出部３２は、フォーカスレンズ１３の位置情報とコントラスト情報からデフォーカス量を算出することができる。

色情報算出部３４は、画像分割部３１によって複数のエリアに分割された画像信号から各エリアの色情報を算出する。参照色情報設定部３５は、色情報算出部３４から出力される各エリアの色情報のうちユーザにより選択されたエリアの色情報を算出して格納させ、参照色情報設定処理を行う。なお、色情報算出部３４は、不揮発性メモリを含み、一旦格納させた参照色情報を撮像装置本体の電源を切った場合でも保持することが可能である。

エリア選択部３６は、色情報算出部３４から出力される各エリアの色情報と参照色情報設定部３５から出力される色情報とを比較してほぼ一致するエリアを選択して、選択されたエリアの位置を合焦情報算出部３２へ出力することにより、フォーカス追従撮像処理を行う。すなわち、参照色情報設定部３５は、フォーカス追従撮像処理を行う場合、格納している色情報を読み出してエリア選択部３６へ出力する。

図２は、本発明の実施の形態１における撮像装置本体背面の概略図である。実施の形態１にかかる撮像装置は、撮像装置本体１０と、表示部１７と、操作部１９と、ファインダー１０ａとを含む。

ファインダー１０ａは、光学的に被写体の像をユーザの瞳に導く光学系である。表示部１７は、先に説明した液晶ディスプレイであり、撮像された画像信号を可視画像としてユーザに表示する。操作部１９は、シャッター釦１９ａと、カーソルキー１９ｂと、決定釦１９ｃと、メニュー釦１９ｄとからなる。

シャッター釦１９ａは、ユーザにより半押しされることによってフォーカス追従撮像処
理を開始させ、ユーザにより全押しされることによって撮像した画像をメモリーカードに格納させる操作を行う。カーソルキー１９ｂは、表示部１７に表示された各種動作モードのメニューから項目及びその内容を選択するために操作される。決定釦１９ｃは、カーソルキー１９ｂによって選択された内容を決定するために操作される。メニュー釦１９ｄは、撮像装置本体の一般的な各種動作モードのメニュー表示を行うために操作される。

各種動作モードのメニューの項目には、後述する表示部１７に撮像した画像信号の色情報を格納させる（参照色情報設定）処理を開始するかどうかが含まれる。ユーザが、メニュー釦１９ｄを操作して、表示部１７に参照色情報設定処理の開始に関するメニューを表示させると、カーソルキー１９ｂは、ユーザによる操作でその内容の選択を受け付ける。この状態において、ユーザがカーソルキー１９ｂを操作し参照色情報設定処理の開始を選択し、決定釦１９ｃを操作すると、参照色情報設定部３５により参照色情報設定処理が開始される。

図３は、本発明の実施の形態１における被写体の参照色情報設定の動作フローチャートである。図３に示すフローチャートは、システムコンローラ３０上で動作するプログラムの動作フローを示す。また、図４は、本発明の実施の形態１における中央に被写体が写し出された表示部の概観図であり、表示部１７の中央に被写体Ｐ１が写し出されている例を示している。また、図５は、本発明の実施の形態１における中央に被写体とエリア枠が写し出された表示部の概観図であり、被写体Ｐ１に７×７個のエリア枠を表示させた例を示している。メニュー釦１９ｄと決定釦１９ｃにより色情報を参照するモードが設定された場合、参照色情報設定処理開始から処理が開始される。

ステップＳ１０１において、ＣＣＤ１４で撮像された画像信号が画像処理部１５から出力され表示部１７に可視画像とエリア枠とを表示する。このとき、表示部１７に表示されている画像は、図５に示すように、可視画像とエリア枠とが重畳された表示状態となる。また、画像メモリ１６からシステムコントローラ３０の画像分割部３１に入力された画像信号は、エリアごとに分割される。

ステップＳ１０２において、エリア枠が選択されたかどうかの入力待ちになる。このとき特定のエリアが太枠で囲まれて表示され、選択可能であることが示される。ユーザは、太枠のエリアをカーソルキー１９ｂで移動させることができる。例えば、ユーザが中央に太枠のエリアを移動させて決定釦１９ｃを押すと、中央のエリア枠Ａ１が選択されたことになり、ステップＳ１０３の処理に進む。

ステップＳ１０３において、色情報算出部３４は、選択されたエリア（ここでは太枠のエリア）内に表示されている分割された画像の色情報を算出して、ステップＳ１０４の処理に進む。

ステップＳ１０４において、参照情報設定部３５は算出された色情報を格納し、参照色情報設定処理を終了する。

図６は、本発明の実施の形態１における色相および彩度情報の演算式である。以下、ステップＳ１０３において説明した、色情報算出部３４の色相および彩度情報の演算原理を説明する。なお、画像信号を赤（以降ではＲと称す），緑（以降ではＧと称す），青（以降ではＢと称す）で分けて表し、Ｒ，Ｇ，Ｂをそれぞれ２５６階調として説明する。

色相および彩度情報の演算は、色情報算出部３４において実行される。はじめに、色情報算出部３４は、画像分割部３１から出力された分割画像信号に対して、Ｒ，Ｇ，Ｂの最大値を求め、求められた最大値をＶとする（式１）。次に、色情報算出部３４は、画像分
割部３１から出力された分割画像信号に対して、最小値を求め、求められた最小値をＶから引き算してｄとする（式２）。さらに、色情報算出部３４は、Ｖとｄから彩度Ｓを求める（式３）。

色情報算出部３４は、彩度Ｓ＝０であれば色相Ｈ＝０とする（式４）。また、色情報算出部３４は、彩度Ｓが０以外の値である場合、所定の処理を行って色相を演算する（式５〜式７）。ここで、所定の処理とは、Ｒ，Ｇ，Ｂの最大値がＲと等しい場合には式５により色相Ｈを求め、Ｇと等しい場合には式６により色相Ｈを求め、Ｂと等しい場合には式７により色相Ｈを求める処理である。

最後に、色情報算出部３４は、求められた色相Ｈが負の値に成っている場合、３６０を加算して、正の値に変換する（式８）。以上のようにして、色情報算出部３４は、分割画像信号の色相および彩度情報を、演算により算出する。

図７は、本発明の実施の形態１における色相および彩度情報のチャート図である。図７において、彩度Ｓはチャートの半径方向に相当し、中心をＳ＝０とし、周辺へ向けて０〜２５５の範囲で増加するようにプロットされる。また、図７において、色相Ｈは、回転方向に相当し、回転方向に沿って０〜３５９の値で表す。

例えば、分割画像信号の色情報がＲ＝２５０，Ｇ＝１８０，Ｂ＝１２０であったとすると、色情報算出部３４は、前述した各式を用いて、各式からＶ＝２５０、ｄ＝２５０−１２０＝１３０、彩度Ｓ＝１３０×２５５／２５０＝１３３、色相Ｈ＝（１８０−１２０）×６０／１３３＝２７を得ることができる。

以上の通り、色情報算出部３４は、分割画像信号の彩度と色相とを算出する。算出された彩度と色相とは、参照色情報として参照色情報設定部３５へ出力され保存される。次に、参照色情報に隣接して設定される参照近傍領域について説明する。

色情報算出部３４により算出された参照色情報は、参照色情報設定部３５に格納され、随時参照されて撮像されるべき被写体の色情報を判断するリファレンスとして用いられる。ところで、一般に、同一被写体であっても照明光や露光時間などの要因によって、撮像した色情報が微妙に変化する場合がある。したがって、参照色情報と撮像されるべき被写体の色情報とを比較する場合、参照色情報に一定の許容幅を持たせて、同一性判断をすることが望ましい。この参照色情報の一定の許容幅を参照近傍領域と呼ぶ。

以下、参照近傍領域を算出する例を示す。図８は、本発明の実施の形態１における参照色情報と参照近傍領域１を示した色相および彩度情報のチャート図である。図８において、参照色情報（Ｈ１，Ｓ１）としてプロットされた点は、参照色情報設定部３５で格納された色情報に相当する。なお、参照色情報は、一例として先に算出したＲ＝２５０，Ｇ＝１８０，Ｂ＝１２０とした場合に求められる色相Ｈ＝２７（＝Ｈ１）、彩度Ｓ＝１３０（＝Ｓ１）を表している。

参照近傍領域１は、格納されている参照色情報（Ｈ１，Ｓ１）に対してそれぞれ許容幅を規定した領域である。色相の許容幅ΔＨ＝１０、彩度の許容幅ΔＳ＝３０とすると、参照近傍領域１は、色相はＨ１±１０、彩度はＳ１±３０の領域に相当し、図８において、２本の円弧と２本の半径方向の線分で囲まれる領域となる。

図９は、本発明の実施の形態１における参照色情報と参照近傍領域２を示した色相および彩度情報のチャート図である。図９において、参照色情報（Ｈ１，Ｓ１）としてプロットされた点は、参照色情報設定部３５で格納された色情報に相当する。なお、参照色情報
は、一例として先に算出したＲ＝２５０，Ｇ＝１８０，Ｂ＝１２０とした場合に求められる色相Ｈ＝２７（＝Ｈ１）、彩度Ｓ＝１３０（＝Ｓ１）を表している。

参照近傍領域２は、彩度が０〜２５５のすべての範囲で、色相の許容幅ΔＨにより規定される。つまり、参照近傍領域２は、色相はＨ１±１０の領域に相当し、図９において、円弧と半径方向の線分で囲まれる扇形の領域となる。

以上説明した２つの例では、いずも色相の許容幅を一律に設定したが、これに限られない。補助光源を使用する場合などでは、光源の色相情報に基づいて参照される色情報の範囲を補正することで、暗所で撮像装置を使用している場合においても参照範囲を正確に規定することが可能になる。例えば、ＬＥＤ等を用いた赤系色の補助光源の場合にはＨ１を０の方向にシフトさせるで補正が可能である。

また、以上説明した２つの例では、参照色情報設定部３５に撮像した被写体の色情報を格納させる例であったが、これに限られない。例えば、撮像装置本体に、肌色などあらかじめいくつかの参照色情報を格納させておいてもよい。

図１０は、本発明の実施の形態１におけるフォーカス追従撮像処理の動作フローチャートである。また、図１１は、本発明の実施の形態１における被写体とエリア枠が写し出された表示部の概観図である。また、図１２は、本発明の実施の形態１における２体の被写体とエリア枠が写し出された表示部の概観図である。以下、図１０ないし図１２を参照して、実施の形態１にかかる撮像装置のフォーカス追従撮像処理を説明する。

図１０に示す動作フローチャートは、システムコントローラ３０上で動作するプログラムのフローを示す。図１０において、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

ステップＳ１５１において、ＣＣＤ１４で撮像され画像処理部１５で所定の画像処理が施された画像信号が、表示部１７にエリア枠と共に表示される。このとき、表示部１７には、図１１に示すように被写体Ｐ１と７×７個のエリア枠が表示される。

次に、ステップＳ１５２において、参照色情報設定部３５に格納されている参照色情報に基づいて、先の図８及び図９において説明したいずれかの方法で参照近傍領域が算出され、色情報算出部３４から出力される各エリアの色情報が参照近傍領域内であるかどうかが判定される。参照色情報に近い色情報を有するエリアがあればステップＳ１５３の処理に進み、なければステップＳ１５８の処理に進む。

ステップＳ１５３において、参照色情報に近い色情報を有するエリアが１つかどうかを判定し、１つであればステップＳ１５６の処理に進み、２つ以上であればステップＳ１５４の処理に進む。

図１１を用いた例では、参照色情報に近い色情報を有するエリアが１つ（エリアＡ４）であり、ステップＳ１５６の処理に進む。ステップＳ１５６において、合焦情報算出部３２、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ群１３が図１のＡ方向あるいはＢ方向に駆動される。その後、合焦情報算出部３２は、フォーカス位置と画像信号から生成されるコントラスト信号とから、エリアＡ１においてコントラスト値が最も高くなるフォーカス位置（合焦位置）を演算し、レンズ位置制御部３３へ制御信号を出力する。

ステップＳ１５７において、ステップＳ１５６の処理にて合焦情報算出部３２で求めた
合焦位置までのデフォーカス量分だけレンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ１３を選択エリア（エリアＡ１）で合焦させる動作を行い、次のステップＳ１６０の処理に進む。

一方、図１２を用いた例では、参照色情報に近い色情報を有するエリアが２つ（エリアＡ２およびエリアＡ３）であり、ステップＳ１５４の処理に進む。ステップＳ１５４において、合焦情報算出部３２、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ群１３が図１のＡ方向あるいはＢ方向に駆動される。その後、合焦情報算出部３２は、フォーカス位置と画像信号から生成されるコントラスト信号とから、エリアＡ２とエリアＡ３の各々においてコントラスト値が最も高くなるフォーカス位置（合焦位置）を演算し、レンズ位置制御部３３へ制御信号を出力する。

ステップＳ１５５において、ステップＳ１５４の処理にて合焦情報算出部３２で求めた各エリアの合焦位置までのデフォーカス量のうち最至近になるエリア（ここではエリアＡ３）を選択し、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ１３を選択エリア（エリアＡ３）で合焦させる動作を行い、次のステップＳ１６０の処理に進む。なお、最至近エリアに合焦させる例で説明したが、中央付近のエリアを優先して合焦させるようにしてもよい。

ステップＳ１５２において、参照色情報に近い色情報を有するエリアがない場合、ステップＳ１５８に進む。ステップＳ１５８において、合焦情報算出部３２、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ群１３が図１のＡ方向あるいはＢ方向に駆動される。その後、合焦情報算出部３２は、フォーカス位置と画像信号から生成されるコントラスト信号とから、すべてのエリアに対してコントラスト値が最も高くなるフォーカス位置を演算する。

ステップＳ１５９において、ステップＳ１５８の処理にて合焦情報算出部３２で求めた各エリアの合焦位置までのデフォーカス量のうち最至近になるエリアを選択し、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ１３を選択エリアで合焦させる動作を行い、次のステップＳ１６０の処理に進む。ここで、最至近エリアに合焦させる例で説明したが、同様に中央付近のエリアを優先して合焦させるようにしてもよい。

ステップＳ１６０において、シャッター釦１９ａが全押しされたかどうかを判定し、全押しされた場合には次のステップＳ１６１の処理に進む。シャッター釦１９ａが離された場合には以上の処理はすべてやり直しとなる。ステップＳ１６１ではシャッター釦１９ａが全押しされたタイミングで、システムコントローラ３０からの指令に基づき、画像メモリ１６または画像処理部１５から出力される画像信号をメモリーカードに格納させる撮像処理を行い、フォーカス追従撮像処理を終了させる。

以上のように、実施の形態１にかかる撮像装置によれば、任意に設定可能な被写体の色情報に応じてフォーカス調整を行うので、ユーザが合焦したいと望む被写体に容易にフォーカス追従をさせることができる。このとき、被写体の色情報はユーザによって任意に設定することができ、撮像装置の機能を向上させることができる。また、色情報は、色相と彩度とからなるので、輝度の影響を受けることなくユーザが合焦したいと望む被写体に容易にフォーカス追従をさせることができる。

なお、実施の形態１では７×７個のエリア枠を用いる例で説明したが、エリア枠の設定は任意であり、適宜設定すればよい。例えば、エリア枠を表示部１７の中央付近に複数個配置してもよいし、１つ配置するようにしてもよい。

（実施の形態２）
図１３は、本発明の実施の形態２における撮像装置のブロック図である。実施の形態２
にかかる撮像装置は、実施の形態１にかかる撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の番号を付し、詳細な説明は省略する。

図１３において、参照色情報設定部４５は、参照色情報設定処理を行う場合、実施の形態１にかかる撮像装置の色情報算出部３４から出力される各エリアの色情報のうちユーザにより選択されたエリアの色情報を算出して格納する。また、参照色情報設定処理部４５は、フォーカス追従撮像処理を行う場合、格納している色情報を読み出してエリア選択部３６へ出力する。参照色情報設定処理部４５は、フォーカス追従撮像処理を行う場合、さらに画像処理部５５へ補正情報を出力する。実施の形態２にかかる撮像装置では、後述するように色情報算出部３４により得られた色情報に基づいて、被写体に対するフォーカス精度を向上させることができる。

図１４は、本発明の実施の形態２における画像処理部の詳細ブロック図である。図１４において、画像処理部５５は、ＡＧＣ５５ａと、Ｒ，Ｇ，Ｂゲイン補正部５５ｂと、ホワイトバランス補正部５５ｃと、γ補正部５５ｄと、画像補正処理部５５ｅとを含む。

ＡＧＣ５５ａは、ＣＣＤ１４で撮像された画像信号のゲインを自動補正するＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路である。ホワイトバランス補正部５５ｃは、撮像された画像信号のホワイトバランスを補正する。γ補正部５５ｄは、撮像された画像信号のγ補正を行う。画像補正処理部５５ｅは、画像信号中に存在する画素の傷などの補正を行う。Ｒ，Ｇ，Ｂゲイン補正部５５ｂは、参照色情報設定部４５から出力される補正情報に基づいてＲ，Ｇ，Ｂの各色のゲインを補正する。

画素補正処理部５５ｅは、画像メモリ１６へ画像情報を出力し、撮像時にメモリーカード１８に格納させたり、表示部１７に表示させたりするために画像信号が用いられる。Ｒ，Ｇ，Ｂゲイン補正部５５ｂも、画像メモリ１６へ画像情報を出力するが、この画像信号は、フォーカスレンズ群１３の駆動を制御するための色情報算出およびコントラスト情報算出に用いられる。

図１５は、本発明の実施の形態２におけるフォーカス追従撮像処理の動作フローチャートである。以下、実施の形態２にかかる撮像装置の動作を説明する。

以下、実施の形態２にかかる撮像装置のフォーカス追従撮像処理の動作フローチャート（図１０）を、実施の形態１で説明したフォーカス追従撮像処理の動作フローチャートにステップＳ１６１の処理を追加した例として説明し、実施の形態１において説明した処理と重複する箇所については説明を省略する。なお、同様にこの動作フローチャートは、システムコントローラ５０上で動作するプログラムのフローを示す。実施の形態１と同様に、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

実施の形態２にかかる撮像装置において、ステップＳ１５２で参照色情報に近い色情報を有するエリアがある場合、図１５に示すステップＳ１６１の処理に進む。実施の形態２にかかる撮像装置において、図９に示す参照近傍領域２が規定されている。一例として、彩度が、０〜２５５のすべての範囲、色相およびその許容幅ΔＨが、Ｈ１＝０、ΔＨ＝３０とする。また、色相の許容幅の参照範囲はＨ＝±３０とする。つまり、赤系統の色を参照近傍領域２として説明する。

ステップＳ１６１において、画素のゲイン補正処理が行われた後、実施の形態１におけるフローチャート（図１０）におけるステップＳ１５３の処理に戻る。以下、実施の形態２の撮像装置の特徴部分である、画像のゲイン補正処理について詳しく説明する。

実施の形態２にかかる撮像装置は、撮像素子から出力される画像信号に対して、２系統の画像処理を行うことに特徴がある。すなわち、画像処理部５５のホワイトバランス補正部５５ｃおよびγ補正部５５ｄは、撮像した画像をより自然に鮮やかに見えるようにＣＣＤ１４からの画像信号の各色のレベル補正が行う。一方、画像処理部５５のＲ，Ｇ，Ｂゲイン補正部５５ｂは、フォーカス調整用に独自に画像処理を施すことでデフォーカス量を演算するときに用いるコントラスト情報を、ユーザの撮影したい色を有する被写体にフォーカスを合わせやすいように補正する。

図１６は、本発明の実施の形態２における被写体とエリア枠が写し出された表示部の概観図であり、表示部１７が、被写体として手前にある赤系統の色を有する花びらＰ３と奥にある緑系統の色を有する葉Ｐ４とを表示し、併せて７×７個のエリア枠を表示した状態を示す。

図１７は、本発明の実施の形態２におけるゲイン補正前のフォーカス位置とコントラスト値の特性図であり、Ｒ，Ｇ，Ｂゲイン補正前の被写体のエリアＡ５（色情報を算出する３×３個のエリア枠を含み、３×３個のエリア枠の平均的なコントラスト情報を算出するＡＦ用のエリア枠とする）のフォーカス位置と平均的なコントラスト値との関係を示す。図１７からわかるように、手前に写っている花びらのコントラスト値が大きくなるフォーカス位置はＸ１、奥に写っている葉のコントラスト値が大きくなるフォーカス位置はＸ２である。

通常、ホワイトバランス補正部５５ｃとγ補正部５５ｄとは、撮像した画像がより自然に、かつ鮮やかに見えるようにＣＣＤ１４からの画像信号の各色のレベル補正を行う。したがって、ホワイトバランス補正部５５ｃとγ補正部５５ｄが行われた画像信号に基づいて、フォーカス位置とコントラスト値との特性を求めた場合、必ずしもユーザの意図するフォーカス位置に合焦させるとは限らない。

図１７の被写体の例では、ユーザが合焦させたい被写体は花びらであるにも係わらずコントラスト値が高い奥に写っている葉に合焦させてしまい、手前の花びらに合焦させることができない。

そこで、実施の形態２にかかる撮像装置は、参照色情報設定部４５に、ユーザの意図する参照色情報（Ｈ＝±３０の範囲）を予め格納させておき、その参照色情報と色情報算出部３４にて算出されたエリアＡ５における３×３個の各エリアの色情報とを比較する処理を行う。そして、比較した結果、一致するエリアが存在する場合（図１７の例では、一致するエリア枠はＡ６，Ａ７）、参照色情報設定部４５は、Ｒ，Ｇ，Ｂゲイン補正部５５ｂにＲのレベルを上げ他の色のレベルを下げるように、画像処理部５５へ補正情報を出力する。

図１８は、本発明の実施の形態２におけるゲイン補正後のフォーカス位置とコントラスト値の特性図であり、Ｒ，Ｇ，Ｂゲイン補正後の被写体のエリアＡ５のフォーカス位置と平均的なコントラスト値との関係を示す。図１８からわかるように、補正情報を用いてゲイン補正を行うことにより、手前の赤の花びらにおけるコントラスト値が上がり、奥の緑の葉におけるコントラスト値を下がっている。この結果、図１７の被写体の例でも、ユーザが合焦させたい被写体である花びらに合焦させることができる。

以上のように、実施の形態２にかかる撮像装置によれば、予め格納された色情報に基づいて撮像された画像信号の内の分割画像のゲインを合焦のために補正するので、ユーザが意図する被写体に容易に合焦させることができる。

なお、実施の形態２において、参照色情報を設定する場合、Ｒ，Ｇ，Ｂの各色のゲインは所定の初期設定値に戻して行うことが望ましい。初期設定値を用いて参照色情報を設定することにより、参照色情報の再現性を確保することができる。

また、実施の形態２において、Ｒ，Ｇ，Ｂゲイン補正部５５ｂに画像信号中に存在する画素の傷などの補正を行う処理を加えてもよい。このような処理を加えることにより、フォーカス追従のための性能を向上させることができる。

また、実施の形態２において、色情報を算出する単位の３×３個のエリア枠含む構成で説明したが、エリア枠を表示部１７に複数個配置してもよいし、エリア枠について参照色情報を算出するエリア枠とほぼ一致するようにしてもよい。

また、図１５のステップＳ１６１の処理後、実施の形態１において図１０を用いて説明した複数エリアの選択処理を行うフローに接続されているが、これに限られない。例えば、ユーザの意図する色の被写体に合焦させる精度を向上させるために、実施の形態１における複数エリアの選択処理の機能を有するようにしてもよい。

（実施の形態３）
図１９は、本発明の実施の形態３における撮像装置のブロック図である。実施の形態３にかかる撮像装置は、実施の形態１にかかる撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の番号を付し、詳細な説明は省略する。

図１９において、輝度判定部３７は、色情報算出部３４から出力された色情報を入力し、図６に示す式１で求められた各エリアのＶに基づいて輝度が飽和しているかどうかを判定して出力する。選択禁止部３８は、輝度判定部３７によって判定された輝度が飽和しているエリアを合焦するエリアとして選択しないようにエリア選択部４６に禁止情報を送る。

図２０は、本発明の実施の形態３におけるフォーカス追従撮像処理の動作フローチャートである。以下、実施の形態３にかかる撮像装置のフォーカス追従撮像処理の動作フローチャートを、実施の形態１で説明したフォーカス追従撮像処理の動作フローチャート（図１０）にステップＳ１７１およびステップＳ１７２の処理を追加した例として説明し、実施の形態１において説明した処理と重複する箇所については説明を省略する。なお、同様にこの動作フローチャートは、システムコントローラ６０上で動作するプログラムのフローを示す。実施の形態１と同様に、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

実施の形態２において、ステップＳ１５１の後、ステップＳ１７１へ進む。ステップＳ１７１において、輝度が飽和しているエリアがある場合、ステップＳ１７２の処理に進み、輝度が飽和しているエリアがない場合にはステップＳ１５２の処理に戻る。

一例として、撮像された画像信号のエリアＡ６のＶが２５５となり輝度が飽和している場合を説明する。ステップＳ１７１において、輝度判定部３７がエリアＡ６の輝度が飽和していると判定し選択禁止部３８へ判定結果を出力する。ステップＳ１７２において、選択禁止部３８がエリア選択部４６にエリアＡ８を合焦エリアとして選択しないようにする禁止情報を出力し、ステップＳ１５２の処理に戻る。

この結果、輝度が飽和した合焦エリアは、フォーカス調整に使用されなくなる。したがって、実施の形態３にかかる撮像装置は、飽和した画像信号に基づいて誤ったコントラス
ト情報あるいは色情報から合焦させるための情報を演算することがないので、偽合焦することがない。

以上のように、実施の形態３にかかる撮像装置によれば、輝度が飽和した合焦エリアは、フォーカス調整に使用されないので、偽合焦が発生せず、フォーカスレンズ群を適正に移動させることができる。

（実施の形態４）
図２１は、本発明の実施の形態４における撮像装置のブロック図である。実施の形態４にかかる撮像装置は、実施の形態１にかかる撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の番号を付し、詳細な説明は省略する。

図２１において、参照色情報設定部４７は、参照色情報設定処理を行う場合、色情報算出部３４から出力される各エリアの色情報のうち、ユーザにより選択されたエリアの色情報を算出して格納し、このエリアの位置と算出した色情報を画像処理部５６へ出力する。また、参照色情報設定部４７は、フォーカス追従撮像処理を行う場合、格納している色情報を読み出してエリア選択部３６へ出力する。

さらに、参照色情報設定部４７は、フォーカス追従撮像処理を行う場合、参照色情報設定部４７から画像処理部５６へ補正情報を出力する。なお、この補正情報は、図１３と図１４を用いて説明した実施の形態２にかかる撮像装置と同様であり詳細な説明は省略する。

図２２は、本発明の実施の形態４における画像処理部の詳細ブロック図である。図２２において、画像処理部５６は、実施の形態２の画像処理部５５と概略構成が等しいので、同様に機能する構成要素については同一の番号を付し、詳細な説明は省略する。

特定エリア色補正処理部５５ｆは、参照色情報設定部４７から出力されたエリアの位置情報と算出した色情報に基づいて特定されたエリアの色を補正する。画像信号は、特定エリア色補正処理部５５ｆにおける補正処理が行われた後に画像メモリ１６へ出力される。

図２３は、本発明の実施の形態４における参照色情報設定処理の動作フローチャートである。以下、実施の形態４にかかる撮像装置のフォーカス追従撮像処理の動作フローチャートを、実施の形態１で説明した参照色情報設定処理の動作フローチャート（図３）にステップＳ１８１の処理を追加した例として説明し、実施の形態１において説明した処理と重複する箇所については説明を省略する。なお、同様にこの動作フローチャートは、システムコントローラ７０上で動作するプログラムのフローを示す。実施の形態１と同様に、ユーザによりカーソルキー１９ｂ、決定釦１９ｃ、メニュー釦１９ｄ等が操作されることにより、参照色情報設定処理が開始される。

ステップＳ１０３において、選択されたエリアの色情報が算出された後、図２３に示すステップＳ１８１の処理が行われ、ステップＳ１０４の処理に戻る。ステップＳ１８１において、参照色情報設定部４７にて選択されたエリアの位置情報と色情報とが、特定エリア色補正処理部５５ｆに送られ、特定エリアに対する色補正処理が行われる。

図２４は、本発明の実施の形態４における被写体とエリア枠が写し出された表示部の概観図である。実施の形態４にかかる撮像装置において、ステップＳ１８１を実行した場合、図２４に示す表示状態となり、太枠のエリアＡ１内の色が参照色情報に置き換えられる。このとき、エリアＡ１全体を参照色情報に置き換えるのではなく、被写体のエッジ抽出を行うことで輪郭などを残し、ユーザの操作性を損なうことを防止することが望ましい。
次に、ステップＳ１０４において、参照情報設定部４６に算出された色情報が格納され、参照色情報設定処理を終了する。

このように、実施の形態４にかかる撮像装置によれば、色情報を参照する場合に参照した単一の色情報を表示画面で被写体に合わせて表示させるので、ユーザが意図する色情報を抽出することができたかどうかを確認することが可能になる。

なお、実施の形態４において、参照されるエリアと参照された単一の色情報を表示させるエリアとは同一の大きさであるとして説明したが、これに限られない。例えば、画素一つ一つについて参照した色情報と比較を行い、近い色情報の画素を参照した色情報に置き換えてもよい。また、参照した色情報に限らず赤、緑、青等の彩度の高い色に置き換えたり、参照色情報に対する補色など視認性の高い色情報に置き換えたりしてもよい。

（実施の形態５）
図２５は、本発明の実施の形態５における撮像装置のブロック図である。実施の形態５にかかる撮像装置は、実施の形態１にかかる撮像装置と概略構成が等しいので、図１と同様に機能する構成要素については同一の番号を付し、詳細な説明は省略する。

図２５において、参照色情報設定部４８は、参照色情報設定処理を行う場合、色情報算出部３４から出力される各エリアの色情報のうち、ユーザにより選択されたエリアの色情報を算出して格納し、このエリアの位置と算出した色情報を画像処理部５７へ出力する。また、参照色情報設定部４８は、フォーカス追従撮像処理を行う場合、格納している色情報のうち、ユーザによって選択された色情報を読み出してエリア選択部３６へ出力する。

さらに、参照色情報設定部４８は、フォーカス追従撮像処理を行う場合、参照色情報設定部４８から画像処理部５７へ補正情報を出力する。なお、この補正情報は、図１３と図１４を用いて説明した実施の形態２にかかる撮像装置と同様であり詳細な説明は省略する。

図２６は、本発明の実施の形態５における画像処理部の詳細ブロック図である。図２６において、画像処理部５７は、実施の形態２の画像処理部５５と概略構成が等しいので、同様に機能する構成要素については同一の番号を付し、詳細な説明は省略する。

サムネイル処理部５５ｇは、参照色情報設定部４８から出力されたエリアの位置情報と参照色情報に基づいて、フォーカス追従撮像処理を行うために参照する被写体の画像信号を画像メモリ１６へ出力する。画像メモリ１６は、サムネイル処理部５５ｇから出力される画像信号を格納する。このとき画像メモリ１６に格納された画像信号は、フォーカス追従時に、フォーカス追従すべき色情報を選択するための参照画像として表示部１７に表示される。以下、通常の撮影時に画像メモリ１６に格納される画像信号と区別するために、サムネイル処理部５５ｇから出力され、画像メモリ１６に格納される画像信号を参照画像信号と呼ぶ。

画像メモリ１６に複数の参照画像信号を格納し、画像メモリ１６が格納する参照画像信号を表示部１７に表示させることにより、ユーザがフォーカス追従すべき被写体を任意に選択可能となるが、このときに行われる処理の詳細については後述する。なお、サムネイル処理部５５ｇは、通常撮影時あるいは表示部への通常モニタ表示時にはサムネイル処理を行わない。したがってその場合、画像信号は、画素補正処理部５５ｅから画像メモリ１６へ直接出力される。

また、画像メモリ１６に参照画像信号を格納する際、画像メモリ１６に不揮発性のメモリエリアを確保し、参照画像信号を圧縮あるいは間引いて格納するとよい。これにより、複数の参照画像信号を最小限の容量で保存することができる。

図２７は、本発明の実施の形態５における参照色情報設定処理の動作フローチャートである。以下、実施の形態５にかかる撮像装置の参照色情報設定処理の動作フローチャートを、実施の形態１で説明した参照色情報設定処理の動作フローチャート（図３）にステップＳ２０１、Ｓ２０２、およびＳ２０３の処理を追加した例として説明し、実施の形態１において説明した処理と重複する箇所については説明を省略する。なお、同様にこの動作フローチャートは、システムコントローラ８０上で動作するプログラムのフローを示す。実施の形態１と同様に、ユーザによりカーソルキー１９ｂ、決定釦１９ｃ、メニュー釦１９ｄ等が操作されることにより、参照色情報設定処理が開始される。

ステップＳ２０１において、エリア枠内に表示された画像と、表示部１７の全画面内に表示された画像のどちらを参照画像として登録するかの選択の入力待ちになる。このとき特定のエリア（エリア枠または全画面枠）が太枠で囲まれて表示され、選択可能であることが示される。ユーザは、太枠のエリアをカーソルキー１９ｂで移動させることができる。例えば、ユーザがエリア枠に太枠のエリアを移動させて決定釦１９ｃを押すと、エリア枠内に表示された画像の登録が選択されたことになり、ステップＳ２０２の処理に進む。

ステップＳ２０２において、エリア枠内の画像信号を参照画像信号として画像メモリ１６に格納し、当該画像メモリ１６に格納した参照画像信号に基づく参照画像を表示部１７に表示させる。

一方、ステップＳ２０１において、ユーザが全画面に太枠のエリアを移動させて決定釦１９ｃを押すと、全画面の画像信号の登録が選択されたことになり、ステップＳ２０３の処理に進む。

ステップＳ２０３において、全画面内の画像信号を参照画像信号として画像メモリ１６に格納し、画像メモリ１６に格納した参照画像信号を表示部１７に表示させる。

次に、本実施形態に係る撮像装置の具体的な表示例と、撮像装置の動作について説明する。図２８は、本発明の実施の形態５における被写体とエリア枠、参照画像１が写し出された表示部の概観図であり、被写体Ｐ１に７×７個のエリア枠を表示させた例を示している。メニュー釦１９ｄと決定釦１９ｃにより色情報を参照するモードが設定された場合、図３における参照色情報設定処理開始から処理が開始され、以降、実施の形態１において説明した処理を行い、ステップＳ１０４において、参照情報設定部４８で算出された色情報を格納し、図２７におけるステップＳ２０１の処理に進む。

ステップＳ２０１において、エリアＡ１枠内の画像と、表示部１７の全画面内の画像のどちらを参照画像として登録するかの入力を待つ。ここで、ユーザは、エリアＡ１枠内に表示された画像を選択するものとする。エリアＡ１枠内の画像が選択された場合、処理は次のステップＳ２０２へ進む。

ステップＳ２０２において、エリアＡ１枠内の画像信号を画像メモリ１６に格納し、図２８に示すように、表示部１７に参照画像を表示させる。参照画像は、表示部１７の下側に示す参照画像表示枠内に表示される。図２８に示す例では、表示部１７の下側に参照画像表示枠が７つ儲けられており、そのうちの１つの参照画像表示枠（エリアＣ１）に、エリアＡ１枠内に表示されていた画像を参照画像として表示させることとなる。そして、参照色情報設定処理を終了する。

なお、参照色情報設定部４８は、参照画像と参照色情報とを対応付けて記録したテーブルを保持する。参照色情報設定部４８が保持するテーブルの一例を図２９に示す。図２９において、参照画像には、当該参照画像が選択された際にフォーカス追従に用いる参照色情報（色相Ｈ、彩度Ｓ）が対応付けられている。参照色情報設定部４８は、フォーカス追従撮像処理時に、テーブルを参照し、ユーザによって選択された参照画像に対応付けられた参照色情報をフォーカス追従時に用いる参照色情報として選択する。

図３０は、本発明の実施の形態５における被写体とエリア枠，参照画像１及び２が写し出された表示部の概観図であり、被写体Ｐ２に７×７個のエリア枠を表示させた例を示している。メニュー釦１９ｄと決定釦１９ｃにより色情報を参照するモードが設定された場合、図３における参照色情報設定処理開始から処理が開始され、以降、実施の形態１において説明した処理を行い、ステップＳ１０４において、参照情報設定部４８で算出された色情報を格納し、図２７におけるステップＳ２０１の処理に進む。

ステップＳ２０１において、図３０に示すエリアＢ１枠内の画像と、全画面内の画像のどちらを参照画像として登録するかの入力を待つ。ここで、ユーザは、全画面内に表示された画像を選択するものとする。図３０に示す全画面内に表示された画像が選択された場合、処理はステップＳ２０３へ進む。

ステップＳ２０３において、表示部１７の全画面内の画像信号を参照画像信号として画像メモリ１６に格納し、図３０に示すように、表示部１７に参照画像を表示させる。なお、同ステップにおいて、参照画像信号は、図３に示すステップＳ１０４で格納された参照色情報（ここでは、エリアＢ１の色情報）に対応付けて格納される。

図３０の例では、図２８においてエリアＡ１内に表示された画像が参照画像として登録された後、全画面内に表示された画像が参照画像として登録された場合を示している。図３０に示すように、新たに登録された参照画像２は、先に登録された参照画像１と共に、参照画像２として表示部１７の下側に表示される。そして、参照色情報設定処理を終了する。

また、被写体のエッジ抽出を行い、参照画像として選択したエリア（この場合は被写体Ｐ２の帽子の部分）を対応する色情報で塗りつぶすようにしてもよいし、選択したエリアの部分だけの色情報を残すようにしてもよい。また、単に、選択したエリアの色情報だけを参照画像として表示させるようにしてもよい。

図３１は、本発明の実施の形態５におけるフォーカス追従撮像処理の動作フローチャートである。また、図３２は、本発明の実施の形態５における被写体とエリア枠、参照画像１〜３が写し出された表示部の概観図である。以下、図３１及び図３２を参照して、実施の形態５にかかる撮像装置のフォーカス追従撮像処理を説明する。

図３１に示す動作フローチャートは、システムコントローラ８０上で動作するプログラムのフローを示す。以下、実施の形態５にかかる撮像装置のフォーカス追従撮像処理の動作フローチャートを、実施の形態１で説明したフォーカス追従撮像処理の動作フローチャート（図１０）にステップＳ２１１〜Ｓ２１３の処理を追加した例として説明し、実施の形態１において説明した処理と重複する箇所については説明を省略する。なお、同様にこの動作フローチャートは、システムコントローラ８０上で動作するプログラムのフローを示す。実施の形態１と同様に、ユーザによりシャッター釦１９ａが半押しされた場合、フォーカス追従撮像処理が開始される。

図１０におけるステップＳ１５１において、ＣＣＤ１４で撮像され画像処理部５７で所定の画像処理が施された画像信号が表示部１７にエリア枠と共に表示される。このときの表示部１７の表示例を図３２に示す。図３２に示すように、表示部１７の下側には、被写体Ｐ２と、２１×１３個のエリア枠と、参照画像を表示するための７つの参照画像表示枠１〜７とが表示される。また、図３２では、７つの参照画像表示枠のうち、３つの参照表示枠１〜３（エリアＣ１〜Ｃ３）に参照画像が表示されている。

ステップＳ２１１において、登録された参照画像が１つであるか否かが判定される。登録された参照画像が複数ある場合、処理は次のステップ２１２に進む。一方、登録された参照画像が１つである場合、参照色情報設定部４８が格納する参照色情報が１つであることを意味する。その場合、参照色情報設定部４８は複数の候補の中から参照色情報を選択する必要がないため、ステップＳ１５２の処理へ進む。

ステップＳ２１２において、参照画像が選択されたかどうかの入力を待つ。ユーザは、複数表示された参照画像の中から、フォーカス追従を所望する参照画像を選択する。図３２に示す例では、すでに参照画像として登録され、表示されている３つの参照画像１〜３の中から１つを選択する。ここでは、エリアＣ２に表示されている参照画像２をユーザが選択するものとする。複数の候補の中から参照画像を選択する際には、選択された参照画像表示枠を太くする、あるいはハイライトにするなどして、現在選択されている参照画像をユーザが把握できるようにするとよい。ユーザにより参照画像が選択されると、処理は次のステップＳ２１３へ進む。

ステップＳ２１３において、フォーカス追従すべき参照色情報を選択する。参照色情報設定部４８は、ステップＳ２１１において選択された参照画像に対応する参照色情報に基づいて、先の図８及び図９において説明したいずれかの方法で参照近傍領域を算出し、色情報算出部３４から出力される各エリアの色情報が参照近傍領域内であるかどうかを判定する。参照色情報に近い色情報を有するエリアがあればステップＳ１５３の処理に進み、なければステップＳ１５８の処理に進む。

図３２に示す例では、ステップＳ１５２以降の処理において、参照色情報に合致するエリアがエリアＢ２であると判定され、ステップＳ１５２、Ｓ１５３、Ｓ１５６、Ｓ１５７、Ｓ１６０、Ｓ１６１の順で処理が行われる。具体的には、エリアＢ２においてデフォーカス量が演算され、合焦情報算出部３２、レンズ位置制御部３３、レンズ駆動部２１によりフォーカスレンズ群１３が図２５のＡ方向あるいはＢ方向に駆動される。その後、合焦情報算出部３２は、フォーカス位置と画像信号から生成されるコントラスト信号とから、エリアＢ２においてコントラスト値が最も高くなるフォーカス位置（合焦位置）を演算し、レンズ位置制御部３３へ制御信号を出力する。

このように、実施の形態５にかかる撮像装置によれば、ユーザが撮影したい頻度の高い被写体の色情報を複数登録して選択できるようにしたので、被写体が変わるごとに撮影したい被写体の色情報を登録する必要がない。したがって、ユーザは、撮影時に意図する被写体の色情報を選択すればよいので、使いやすいフォーカス追従撮像機能を実現することができる。

また、参照画像信号を画像メモリ１６の不揮発性のメモリエリアに格納することにより、参照画像信号として登録された後は、撮像装置本体の電源のＯＮ／ＯＦＦに関わらず、登録した参照画像を保持することができる。また、ユーザの指示に応じて登録した参照画像を消去してもよく、また、不揮発性のメモリエリアに格納する代わりに、２次電源等で動作する揮発性のメモリエリアに格納することとしてもよい。また、参照画像信号を揮発性のメモリエリアに格納する場合、電源をＯＦＦにした際に登録した参照画像信号が消去されても、電源を再びＯＮにした際に、参照画像信号を再登録して動作させるようにしてもよい。また、ユーザの指示に応じて、参照画像の表示／非表示を切り替えることとしてもよい。

なお、撮像装置の工場での調整時に、代表的な色情報をデフォルトとして複数登録しておき、ユーザが所望の色情報を選択できるようにしてもよいし、このデフォルトを削除して、ユーザが新たな色情報を登録するようにしてもよい。また、参照色情報及びテーブルは参照色情報設定部に格納され、参照画像信号は画像メモリに格納される場合を例に説明したが、参照色情報、テーブル、参照画像信号の格納先はこれに限られない。

各実施の形態にかかる撮像装置は、具体的な対応に限られず適宜変更可能である。例えば、各実施の形態にかかる撮像装置は、いずれもユーザによりシャッター釦が操作されて静止画を取得するデジタルスチルカメラである場合を例に説明したが、撮像釦が操作されている間所定のタイミングで画像が取得されつづけるデジタルビデオカメラとしても適用可能である。この場合、被写体が移動してもフォーカス追従を行うことができる。また、各実施の形態にかかる撮像装置は、監視カメラ、車載カメラ、ウェブカメラに適用してもよい。この場合、ユーザによりシャッター釦を操作することが難しい場合があり得るが、シャッター釦を所定のタイミングで自動的に操作したり、遠隔操作する等してもよい。

また、各実施の形態にかかる撮像装置は、システムコントローラを個別に備える例であったが、これをパーソナルコンピュータや携帯電話端末の制御ＣＰＵに代用させてなる撮像システムに適用することも可能である。その他、各構成要素同士は、任意の組み合わせが可能であり、例えば、撮影光学系及び撮像素子とその他の構成が物理的に分離されたシステム例、撮影光学系、撮像素子、画像処理部と、その他の構成が物理的に分離されたシステム例などさまざまな組み合わせを考えて良い。

また、各実施の形態にかかる撮像装置は、主に色情報を参照情報として被写体を追従させる機能を有するものとして説明したが、色情報単独ではなく、被写体の輝度値やコントラストのレベルと色情報とを組み合わせ、参照情報として用いてもよい。また、ウェーブレット変換や離散コサイン変換（ＤＣＴ）などを用いた被写体の高周波成分を特徴とするパターン情報を参照情報に加えてもよい。これにより、色情報のマッチングだけでなく、レベルやパターンマッチングを行うことができるため、ユーザが意図する被写体への追従性をさらに向上させることができる。

また、各実施の形態にかかる撮像装置において、参照色情報を抽出するタイミングは、ホワイトバランス補正の前後、Ｒ，Ｇ，Ｂゲイン補正の前後、またはγ補正後のいずれであってもよい。

また、各実施の形態にかかる撮像装置における表示部のエリア枠は７×７個に分割して表示させた例を用いて説明したが、この分割数に係らずさらに細かく分割してもよいし、粗くしてもよい。また、メニュー釦の操作によってユーザが任意に分割数を設定できるようにしてもよいし、予め設定されたエリア枠のうち複数のエリア枠を選択して一つのエリア枠として設定できるようにしてもよい。

撮像装置は、いわゆる一眼レフレックスカメラシステムのように、撮像装置本体と、撮像光学系を含む撮像光学部とに分離可能な構成としてもよい。この場合、撮像装置本体は、撮像素子と、画像分割部と、色情報算出部と、参照色情報設定部と、エリア選択部と、合焦情報算出部とを含む構成になる。ただし、レンズ駆動部は、撮像装置本体側にあっても、撮像光学部側にあってもいずれでもよい。

レンズ駆動部が撮像光学部側にある場合は、撮像装置本体のシステムコントローラから撮像光学部のレンズ駆動部に、シリアル通信などによる電気的な指令によってレンズ駆動部を動作させ、フォーカスレンズを移動制御させる。また、レンズ駆動部が撮像装置本体側にある場合は、撮像装置本体のレンズ駆動部と撮像光学部の光軸方向に可動するフォーカスレンズを、直接的あるいは間接的に光軸方向に移動させるメカ連動機構などで結合させることによって、フォーカスレンズを移動制御させる。フォーカスレンズを光軸方向に間接的に移動制御させる機構には、例えば、カムや減速機構、回転駆動を直線駆動に変換する機構などがある。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に好適である。

本発明の実施の形態１における撮像装置のブロック図 本発明の実施の形態１における撮像装置本体背面の概略図 本発明の実施の形態１における被写体の参照色情報設定の動作フローチャート 本発明の実施の形態１における中央に被写体が写し出された表示部の概観図 本発明の実施の形態１における中央に被写体とエリア枠が写し出された表示部の概観図 本発明の実施の形態１における色相および彩度情報の演算式 本発明の実施の形態１における色相および彩度情報のチャート図 本発明の実施の形態１における参照色情報と参照近傍領域１を示した色相および彩度情報のチャート図 本発明の実施の形態１における参照色情報と参照近傍領域２を示した色相および彩度情報のチャート図 本発明の実施の形態１におけるフォーカス追従撮像処理の動作フローチャート 本発明の実施の形態１における被写体とエリア枠が写し出された表示部の概観図 本発明の実施の形態１における２体の被写体とエリア枠が写し出された表示部の概観図 本発明の実施の形態２における撮像装置のブロック図 本発明の実施の形態２における画像処理部の詳細ブロック図 本発明の実施の形態２におけるフォーカス追従撮像処理の動作フローチャート 本発明の実施の形態２における被写体とエリア枠が写し出された表示部の概観図 本発明の実施の形態２におけるゲイン補正前のフォーカス位置とコントラスト値の特性図 本発明の実施の形態２におけるゲイン補正後のフォーカス位置とコントラスト値の特性図 本発明の実施の形態３における撮像装置のブロック図 本発明の実施の形態３におけるフォーカス追従撮像処理の動作フローチャート 本発明の実施の形態４における撮像装置のブロック図 本発明の実施の形態４における画像処理部の詳細ブロック図 本発明の実施の形態４における被写体の参照色情報設定の動作フローチャート 本発明の実施の形態４における被写体とエリア枠が写し出された表示部の概観図 本発明の実施の形態５における撮像装置のブロック図 本発明の実施の形態５における画像処理部の詳細ブロック図 本発明の実施の形態５における被写体の参照色情報設定の動作フローチャート 本発明の実施の形態５における被写体とエリア枠、参照画像１が写し出された表示部の概観図 参照情報設定部４８が格納するテーブルの一例を示す図 本発明の実施の形態５における被写体とエリア枠、参照画像１及び２が写し出された表示部の概観図 本発明の実施の形態５におけるフォーカス追従撮像処理の動作フローチャート 本発明の実施の形態５における被写体とエリア枠、および参照被写体１〜３が写し出された表示部の概観図

符号の説明

１１ レンズ鏡筒
１２ ズームレンズ
１２ａ ズームレンズ
１２ｂ ズームレンズ
１３ フォーカスレンズ群
１４ ＣＣＤ
１５、５５、５６、５７ 画像処理部
１６ 画像メモリ
１７ 表示部
１８ メモリーカード
１９ 操作部
１９ａ シャッター釦
１９ｂ カーソルキー
１９ｃ 決定釦
１９ｄ メニュー釦
２０ 補助光源
２１ レンズ駆動部
３０、５０、６０、７０ システムコントローラ
３１ 画像分割部
３２ 合焦情報算出部
３３ レンズ位置制御部
３４ 色情報算出部
３５、４５、４７、４８ 参照色情報設定部
３６、４６ エリア選択部
３７ 輝度判定部
３８ 選択禁止部
５５ａ ＡＧＣ
５５ｂ Ｒ，Ｇ，Ｂゲイン補正部
５５ｃ ホワイトバランス補正部
５５ｄ γ補正部
５５ｅ 画像補整処理部
５５ｆ 特定エリア色補正処理部
５５ｇ サムネイル処理部

Claims (14)

1. 被写体の電気的な画像信号を出力する撮像装置であって、
   焦点調節を行うためのフォーカスレンズ群を含み、前記被写体の光学的な像を形成する撮像光学系と、
   前記被写体の光学的な像を撮像して、前記電気的な画像信号に変換する撮像素子と、
   前記画像信号を複数のエリアに分割する画像分割部と、
   各前記エリア毎に前記画像信号から色情報をそれぞれ算出する色情報算出部と、
   予め参照色情報を設定する参照色情報設定部と、
   前記参照色情報と、前記色情報算出部により算出された各前記色情報とを比較した結果に基づいて、各前記エリアのうちの少なくとも１つを選択するエリア選択部と、
   選択された前記エリアに対し、前記撮像光学系の合焦情報を算出する合焦情報算出部と、
   前記合焦情報に基づいて、前記フォーカスレンズ群を光軸方向に駆動するレンズ駆動部とを備え、
   前記色情報および前記参照色情報は、いずれも、色相に関する情報および彩度に関する情報の内の少なくとも一方からなることを特徴とする、撮像装置。
2. 前記参照色情報は、予め撮像された画像信号から、前記画像分割部によって分割された所望のエリアに対して、前記色情報算出部が算出した色情報である、請求項１に記載の撮像装置。
3. 前記参照色情報に基づいて、前記撮像素子が出力する画像信号を補正する補正部を含む画像処理部を備え、
   前記合焦情報算出部は、補正された前記画像信号に基づいて、前記合焦情報を算出する、請求項１に記載の撮像装置。
4. 前記補正部は、前記撮像素子が出力する画像信号に対して、表示のためあるいは格納のために用いられる画像信号とは異なる補正を行う、請求項３に記載の撮像装置。
5. 前記色情報算出部は、各前記エリア毎に前記画像信号から輝度をそれぞれ算出するとともに、さらに、
   前記算出した輝度が所定の値より大きいかどうかを判定する輝度判定部と、
   前記輝度判定部が算出した輝度が所定の値より大きいエリアを、前記エリア選択部が選択することを禁止する選択禁止部とを備える、請求項１に記載の撮像装置。
6. 前記レンズ駆動部が前記フォーカスレンズ群を駆動する際に、前記被写体に補助光を投光する補助光源をさらに備え、
   前記色情報算出部は、前記補助光の色に応じて前記算出した前記色情報を補正する、請求項１に記載の撮像装置。
7. 前記画像信号に基づく画像を表示する表示部を備え、
   前記選択されたエリアについて、前記参照色情報に基づき、前記表示部により表示されるべき前記画像信号の色を補正する特定エリア色補正処理部をさらに備える、請求項２に記載の撮像装置。
8. 複数の参照色情報を格納する情報格納部をさらに備える、請求項１に記載の撮像装置。
9. 前記情報格納部に格納された複数の参照色情報を表示する表示部をさらに備える、請求項９に記載の撮像装置。
10. 複数の参照色情報と、当該参照色情報に関連する画像を表示するための画像信号とを格納する情報格納部をさらに備える、請求項１に記載の撮像装置。
11. 前記情報格納部に格納された前記画像信号に基づく画像及び前記複数の参照色情報の少なくとも一方を表示させる表示部をさらに備える、請求項１１に記載の撮像装置。
12. 前記撮像装置は、撮像装置本体と、撮像光学部とに分離可能であり、
    前記撮像光学部は、
    前記撮像光学系を含み、
    前記撮像装置本体は、
    前記撮像素子と、前記画像分割部と、前記色情報算出部と、前記参照色情報設定部と、前記エリア選択部と、前記合焦情報算出部と、レンズ駆動部とを含む、請求項１に記載の撮像装置。
13. 前記撮像装置は、撮像装置本体と、撮像光学部とに分離可能であり、
    前記撮像光学部は、
    前記撮像光学系と、レンズ駆動部とを含み、
    前記撮像装置本体は、
    前記撮像素子と、前記画像分割部と、前記色情報算出部と、前記参照色情報設定部と、前記エリア選択部と、前記合焦情報算出部とを含む、請求項１に記載の撮像装置。
14. 請求項１に記載の撮像装置に用いられる半導体集積回路であって、少なくとも前記画像分割部と、前記色情報算出部と、前記参照色情報設定部と、前記エリア選択部と、前記合焦情報算出部とを動作させる半導体集積回路。

Images