JP2013097082A - 画像信号処理装置 - Google Patents

Abstract

【課題】一般的なデジタルカメラやビデオカメラに搭載されているＡＦ機能は、点光源の存在するシーンにおいて正常に合焦しないことがある。
【解決手段】焦点評価値を算出する対象となる領域を設定する焦点評価値算出対象領域設定手段と、前記焦点評価値算出対象領域設定手段によって設定された焦点評価値算出対象領域内の点光源の有無を判定する点光源検出手段と、前記点光源検出手段から得た情報を用いて点光源の存在する領域を特定し、該領域を焦点評価値算出対象から除外して焦点評価値を算出する点光源対応焦点評価値算出手段とを備え、前記点光源検出手段によって一度点光源を検出した後は、所定の期間点光源検出手段を再び動作させないことを特徴とする画像信号処理装置。
【選択図】 図１

Description

本発明は、画像信号処理装置に関する。

本技術分野の背景技術として、例えば、特許文献１がある。特許文献１には、「[課題] 点光源がある場面でも合焦位置を正しく且つ容易に判定して合焦すること。[解決手段] 互いに大きさが異なる複数の焦点評価値算出エリアを画像に対して設定し、レンズドライバ５５によりフォーカスレンズ５２を移動させながら、各焦点評価値算出エリアごとに画像のコントラストの焦点評価値を算出する焦点評価値算出手段、フォーカスレンズ５２の合焦位置を判定するための合焦判定エリアを、画像における点光源の有無に基づいて複数の焦点評価値算出エリアから選択するエリア選択手段、および、合焦判定エリアにおける焦点評価値に基づいてフォーカスレンズ５２の合焦位置を判定し、レンズドライバ５５により合焦位置にフォーカスレンズ５２を移動させる合焦制御手段としてＣＰＵ７０を備えた。」と記載されている（要約参照）。

特開２０１０−２８６７９１号公報

特許文献１（特開２０１０−２８６７９１号公報）では、点光源下におけるＡＦ動作性能を向上する手法が述べられているが、ＡＦ制御中にフォーカスレンズの位置によって飽和画素の位置や大きさが刻々と変化した場合に、選択される合焦判定エリアが頻繁に切り替わってしまい、焦点評価値が安定して得られず正確に合焦できない可能性がある。

本発明は、上記課題を解決し、点光源のあるシーンにおいても精度よくＡＦを実現する画像信号処理装置を提供するものである。

上記課題を解決するために、本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
(１)フォーカスレンズを備える撮像手段と、前記フォーカスレンズを合焦点に移動させるために用いる焦点評価値を算出する対象となる領域内の点光源を検出する点光源検出手段と、前記点光源検出手段により検出された点光源の存在する領域を特定し、前記焦点評価値を算出する対象となる領域から前記特定した点光源の存在する領域を除外した領域に対して焦点評価値を算出する評価値算出手段と、前記評価値算出手段により算出された焦点評価値に基づいて前記フォーカスレンズを制御して、ＡＦ制御開始から合焦までを制御するシステム制御手段と、を有し、前記システム制御手段は、前記ＡＦ制御開始から合焦まで、前記評価値算出手段が前記特定した点光源の存在する領域を変更しないように制御することを特徴とする画像信号処理装置である。
(２)(１)記載の画像信号処理装置であって、さらに、前記焦点評価値を算出する対象となる領域を複数の領域に分割して設定する領域設定手段を備え、前記評価値算出手段では、前記点光源の存在する領域は、前記領域設定手段により設定された分割領域単位で設定されることを特徴とする画像信号処理装置である。
(３)(２)記載の画像信号処理装置であって、前記評価値算出手段は、前記領域設定手段により設定された複数の分割領域ごとに重み係数を付加して前記焦点評価値を算出することを特徴とする画像信号処理装置である。

本発明によれば、点光源のあるシーンにおいても精度よくＡＦを実現することが可能な画像信号処理装置を提供できる。

本実施形態に係る画像信号処理装置の第一の基本構成例を示す図である。 点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を示す図である。 点光源が存在する被写体における焦点評価値の一例を説明する図である。 画面内に設定された領域の一例を説明する図である。 点光源のある領域を特定することによる点光源対応ＡＦ制御の第一例を示す図である。 点光源のある領域を特定することによる点光源対応ＡＦ制御の第二例を示す図である。 画面内にタイル状に設定した領域を用いた点光源対応ＡＦ制御の処理の流れの一例を示す図である。 領域設定・点光源検出処理の詳細な流れの一例を示す図である。 点光源に対応したＡＦ制御においてパン・チルト・ズームによる被写体の変化が発生した場合の処理の流れの一例を示す図である。 点光源に対応したＡＦ制御において高輝度画素数が大幅に変動した場合の処理の流れの一例を示す図である。 焦点評価値を算出する際に領域の位置に対応した重み係数を用いる方法の一例について説明する図である。 重み係数を用いるＡＦ制御全体の処理の流れを示すフロー図である。 重み係数を用いて焦点評価値を算出する処理の詳細を示すフロー図である。 本実施形態に係る画像信号処理装置の第ニの基本構成例を示す図である。 大領域内に点光源が存在した場合の小領域設定方法の一例を示す図である。 ＡＦ枠内に点光源が複数ある場合の小領域設定方法の一例を示す図である。 点光源の位置及び大きさに合わせて小領域を設定する点光源対応ＡＦの一例を説明するフロー図である。

以下、本発明の実施形態について、図面を用いて説明する。
（１）エリア分割方式の説明
ここでは、焦点評価値を算出する対象となる撮像領域を縦横任意の数でタイル状に設定し、領域ごとに点光源を検出し、点光源のある領域を、焦点評価値を算出する対象から除外する手段について説明する。本実施例では、これをエリア分割方式と呼ぶ。
エリア分割方式について詳細に説明する。図１は、本実施形態に係る画像信号処理装置の第一の基本構成例を示す図である。撮像部１０１は、被写体からの入射光の光量を調整する絞りＤ１０１と、絞りＤ１０１を通った光の焦点を調節するためのフォーカスレンズＤ１０２と、フォーカスレンズＤ１０２を通った光を光電変換し画像信号として出力する撮像素子Ｄ１０３などを適宜用いて構成され、それぞれシステム制御部１０７により、絞り制御Ｃ１０１、レンズ制御Ｃ１０２、シャッタ・利得制御Ｃ１０３がなされる。領域設定部１０２は、システム制御部１０７からの命令で、焦点評価値を算出する対象となる領域を、任意の数、大きさ、位置に設定する。点光源検出部１０３は、システム制御部１０７からの命令で、撮像部１０１から得た画像信号のうち、領域設定部１０２が設定した領域内の画像信号を閾値と比較することで、領域ごとに閾値以上の画素信号を点光源として、点光源の有無を検出する。焦点評価値算出部１０４は、システム制御部１０７からの命令で、点光源検出部１０３によって得た領域ごとの点光源の有無の情報を用いて、点光源が存在する領域を除外した領域の画像信号を用いて焦点評価値を算出する。ここで、焦点評価値とは、例えば、指定された領域の画像信号の輪郭部分の強さを検出するための、画像信号のラインごとに高周波成分を積算した信号である。画像処理部１０５は、システム制御部１０７からの命令で、撮像部１０１から得た画像信号に対して、ノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理を適宜行う。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。外部装置１０６は、例えば、各種設定を保存するために用いるＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）や、各種センサ、フラッシュメモリなどの外部装置であり、システム制御部１０７によって制御される。システム制御部１０７は、撮像部１０１、領域設定部１０２、点光源検出部１０３、焦点評価値算出部１０４、画像処理部１０５、外部装置１０６を制御する。ＡＦ部１０８は、領域設定部１０２、点光源検出部１０３、評価値算出部１０４を含む、ＡＦ制御に必要なブロック群を示す。以上の構成により、点光源検出部１０３が、点光源が存在する領域を特定し、特定結果を用いて焦点評価値算出部１０４が焦点評価値算出対象領域から点光源が存在する領域を除外して焦点評価値を算出することができるため、点光源のあるシーンにおいても精度よくＡＦを実現することができる。

図２は、点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を示す図である。横軸はフォーカスレンズの位置を表わし、縦軸は焦点評価値を表わす。以下では、被写体に焦点が合うフォーカスレンズ位置を合焦点と呼ぶ。一般的な被写体では、フォーカスレンズが合焦点に近づくほど輪郭部分が強くなるため焦点評価値のレベルが増加し、離れるほど輪郭部分が弱くなり減少する。そのため、焦点評価値のピークを検出し、フォーカスレンズをその点に移動制御することで、正確に被写体に合焦させることができる。

図３は、点光源が存在する被写体における焦点評価値の一例を説明する図である。本来の合焦点は図の（Ａ）に示すフォーカスレンズ位置だが、（Ａ）の焦点評価値がピークになっていない。これは、点光源は合焦点から遠いほどぼやけて大きく見えるため、合焦点から遠いほど輪郭部分が強くなり、その結果焦点評価値が合焦点よりも大きな値となってしまうためである。そのため、点光源が存在する被写体に対して焦点評価値が最大の位置にフォーカスレンズを動かすＡＦ制御を行うと（Ｂ）の偽合焦点を合焦点としてフォーカスレンズを停止させることになる。なお、ここで用いた偽合焦点とは、本実施例では、本来の合焦点ではないにもかかわらずＡＦ制御によってフォーカスレンズが止まるフォーカスレンズ位置をいう。フォーカスレンズが偽合焦点で止まることにより、いわゆるピンボケが発生する。

図４は、被写体の撮像画像を表示する撮像画面内に設定された領域の一例を示す図である。４０１で示す一番外側の枠は、合焦させたい被写体ではなく背景に合焦してしまういわゆる後ピンを防ぐために、撮像画面よりも小さくなるよう設定する。４０２は、４０１の枠を分割した領域のひとつを示す。本実施例では、４０１の枠を縦横に八分割した場合を例に説明するが分割数はこれに限られない。また、分割領域はタイル状としたが、正方形等適宜変更しても構わない。なお、領域設定部１０２をハードウェアで実現する場合、分割数が多すぎるとハードウェアコストが増加するが、性能向上のために分割数を増やしても構わないし、処理コスト削減のために分割数を減らしても構わない。

図５及び図６は、点光源のある領域を特定することによる点光源対応ＡＦ制御の一例を説明する図である。図５は、ＡＦ制御開始直後の状態であるとする。５０１は、図４の４０１と同じ枠を示す。５０２は、５０１の枠内に存在する点光源を示す。また、フォーカスレンズの位置が合焦点から遠いため、点光源がぼやけて大きく見えている。この状態において点光源がある領域は、例えば５０３で示した通りになる。図６は、ＡＦ制御によって図５よりもフォーカスレンズが合焦点に近づいた状態であるとする。６０１は、５０１と同じ枠を示す。６０２は、６０１の枠内に存在する点光源を示す。フォーカスレンズが合焦点に近づいたため、ＡＦ枠に対する点光源の面積は図５よりも減少する。そのため、図５では点光源が存在していた領域でも、図６では点光源が存在しなくなる場合がある。図５の状態では６０３に示す領域に点光源が存在していたのに対し、図６の状態では６０４の枠内の領域にしか点光源が存在しない。しかし、フォーカスレンズの位置によって拡大・縮小する点光源に合わせて、点光源が存在すると判定する領域を頻繁に変えると、焦点評価値を算出する際に使用する領域数が変動するため、図２に示すような実際の合焦点に向かって単調増加となる安定した高精度の焦点評価値を得ることができない。そこで、本実施例では、フォーカスレンズの制御開始からフォーカスレンズが合焦点で停止するまでは、点光源が存在すると判定される領域を固定することとする。これにより、フォーカスレンズの移動に伴う点光源の大きさの変動の影響を受けない、安定した高精度の焦点評価値を得ることができる。

図７は、図４から図６で説明した、画面内にタイル状に設定した領域を用いた点光源対応ＡＦ制御の処理の流れの一例を示す図である。図７の処理は、システム制御部１０７によって実行される。本手法は、画面内に、任意の大きさの領域をタイル状に並べるように設定し、各領域に対して点光源の有無を判定し、点光源が存在する領域を焦点評価値算出対象から除外するものである。ＡＦ制御が開始されると、ステップＳ７０１で、システム制御部１０７は、画面内に設定する領域の数を取得する。このとき、領域の数はＥＥＰＲＯＭ（外部装置１０６）などに縦方向横方向それぞれの値を保存し、それを用いても構わないし、定数を用いても構わない。また、画面内に設定する領域の総数を、ｎ０として保持しておく。ステップＳ７０２で、システム制御部１０７は、領域設定部１０２が画面内に例えば図４のように領域を設定するよう命令し、点光源検出部１０３が、設定された領域ごとに点光源の有無を検出するよう命令する。ステップＳ７０２の処理の詳細については後述する。ステップＳ７０３では、システム制御部１０７は、点光源検出部１０３から、点光源が存在する領域に関する情報を取得する。このとき、点光源が存在する領域数をｎ１として保持しておく。ステップＳ７０４では、システム制御部１０７は、ステップＳ７０３で得た点光源存在領域情報を焦点評価値算出部１０４に設定し、焦点評価値算出対象から点光源が存在する領域を除外して焦点評価値を算出するよう命令する。ステップＳ７０５では、ステップＳ７０４で算出した焦点評価値を用いてフォーカスレンズを一定量制御する。ステップＳ７０６では、フォーカスレンズが合焦点にあるか否かを判定し、合焦点にある場合は処理を終了する。合焦点に無い場合は、ステップＳ７０３に戻り、一連の処理を行う。本実施例では、領域内の点光源を検出するのはステップＳ７０２の１回のみであるため、合焦するまで、焦点評価値を算出する対象となる領域の数は一定となる。そのため、一度フォーカスレンズの制御が開始したら、合焦点でフォーカスレンズが停止するまで、先の図２で示したような安定した高精度の焦点評価値を得ることができる。以上の処理により、点光源のあるシーンにおいても精度よくＡＦを実現することができる。

図８は、図７のステップＳ７０２での、領域設定部１０２及び点光源検出部１０３による領域設定・点光源検出処理の詳細な流れの一例を示す図である。ステップＳ８０１では、領域設定部１０２が画面内にシステム制御部１０７によって設定された情報を用いて、例えば図４のように領域を設定する。ステップＳ８０２では、点光源検出部１０３が、画素ごとに信号レベルを閾値１と比較し、閾値１よりも値が大きければ該画素は点光源の一部であると判定し、ステップＳ８０３で高輝度画素カウンタを１インクリメントする。このとき、高輝度画素カウンタは例えばステップＳ８０１で設定した領域ごとに用意しておき、各画素が所属する領域の高輝度画素カウンタをインクリメントする。ステップＳ８０２で信号レベルが閾値１よりも小さければステップＳ８０４の判定を行う。ステップＳ８０４では、点光源検出部１０３が、ステップＳ８０１で設定した全ての領域の画素についてステップＳ８０２の判定をしたか否かを判定し、していない場合はステップＳ８０２に戻り、一連の処理を行う。全ての画素について判定が完了している場合は、ステップＳ８０５に進む。ステップＳ８０５では、点光源検出部１０３が、領域ごとの高輝度画素カウンタの値と閾値２の値を比較し、カウンタの値が閾値２よりも大きければステップＳ８０６に進む。ステップＳ８０６では、点光源検出部１０３が、注目領域に点光源が存在すると判定する。ステップＳ８０５で、カウンタの値が閾値２よりも小さければステップＳ８０７に進む。ステップＳ８０７では、点光源検出部１０３が、全ての領域についてステップＳ８０５の判定をしたか否かを判定し、していない場合にはステップＳ８０５に戻り、一連の処理を行う。全ての領域について判定が完了している場合は処理を終了する。なお、前記閾値１及び前記閾値２はＥＥＰＲＯＭ（外部装置１０６）などに値を保存し、それを用いても構わない。また、ステップＳ８０２の判定で、注目画素のみの信号レベルを閾値１と比較するのではなく、隣接画素との重みづけ平均によって算出した値を閾値１と比較しても構わない。本実施例では、図８の処理をハードウェアで行うことを想定しているが、ソフトウェアで行ってももちろん構わない。これにより、ランダムノイズの影響を軽減することができる。以上の処理により、領域ごとに点光源の有無を判定し、点光源が存在する領域を特定することができる。

図９は、点光源に対応したＡＦ制御においてパン・チルト・ズームによる被写体の変化が発生した場合の処理の流れの一例を示す図である。図９の処理は、システム制御部１０７によって実行される。ステップＳ９０６以外は、図７の対応する処理と同様の処理のため、適宜説明を省略する。ステップＳ９０６では、カメラがパン・チルト・ズームなどして被写体が変化した場合にＹｅｓと判定し、ステップＳ９０２に戻り、一連の処理を行う。ステップＳ９０６でＮｏと判定した場合は、ステップＳ９０７に進む。図９の処理が図７と異なるのは、フォーカスレンズの制御が開始してからフォーカスレンズが合焦点で止まるまでの間に、パン・チルト・ズームを検出した場合に、点光源の検出を行うことである。これは、カメラのパン・チルト・ズームによって点光源の位置が変化するため、その変化にＡＦ制御を対応させるためである。なお、パン・チルト・ズームの検出は、例えば、焦点評価値の変化が一定以上であればパン・チルト・ズーム発生とする。その他にもジャイロセンサ（外部装置１０６）を用いても良いし、図１のＡＦ部１０８内にヒストグラム算出部を加えてヒストグラムの変化を用いて行っても良い。これにより、例えば、カメラが移動して点光源の位置が変化した場合に、即座に最適な焦点評価値を算出することができるため、高精度にＡＦ制御することができる。以上の処理により、フォーカスレンズ制御中であっても、点光源の位置や大きさなどが変化した場合は即座に点光源検出情報を更新することで、被写体の変化に迅速に対応した精度よいＡＦ制御を実現することができる。

図１０は、点光源に対応したＡＦ制御において高輝度画素数が大幅に変動した場合の処理の流れの一例を示す図である。図１０の処理は、システム制御部１０７によって実行される。図１０の処理では、点光源検出部１０３が、領域内の高輝度画素数の積算値を算出する。高輝度画素とは、８ビットデータの場合、例えば、信号レベルが２３０以上の画素である。ステップＳ１００３及びステップＳ１００６以外は、図７と同様の処理のため、適宜説明を省略する。ステップＳ１００３では、点光源検出部１０３から、点光源が存在する領域に関する情報を取得する。このとき、点光源が存在する領域数ｎ１及び高輝度画素数ｈｌを設定する。ステップＳ１００６では、例えば、点光源が消灯するなどして高輝度画素が大幅に減少した場合にＹｅｓと判定し、ステップＳ１００２に戻り、一連の処理を行う。このとき、高輝度画素が大幅に変動したか否かの判定には、前回の高輝度画素数と最新の高輝度画素数の差分をとり、該差分が閾値よりも大きければＹｅｓと判定しても良い。そのほかにも、最新の高輝度画素数自体を閾値（暗）及び閾値（明）と比較し、該画素数が閾値（暗）よりも小さい、もしくは、該画素数が閾値（明）大きい場合に、Ｙｅｓと判定しても構わない。ステップＳ１００６でＮｏと判定した場合は、ステップＳ１００７に進む。図１０の処理が図７と異なるのは、フォーカスレンズの制御が開始してからフォーカスレンズが合焦点で止まるまでの間に、高輝度画素数が大幅に変動した場合に、点光源の検出を行うことである。これにより、例えば、光源が消灯するなどして点光源の影響がなくなった場合や、光源が点灯するなどして点光源の影響が新たに発生した場合に、即座に最適な焦点評価値を算出することができるため、高精度にＡＦ制御することができる。以上の処理により、フォーカスレンズ制御中であっても、点光源の点灯状況などが変化した場合は即座に点光源検出情報を更新することで、被写体の変化に迅速に対応した精度よいＡＦ制御を実現することができる。
（２）重み係数を用いたＡＦ制御
ここでは、画面内に縦横任意の数の領域をタイル状に設定し、点光源の存在しない領域の焦点評価値に、領域の位置に応じた重み係数を乗算することによって、重み係数を大きく設定した領域内の被写体に合焦しやすく、かつ図２に示すような安定した焦点評価値を算出する手法について説明する。

図１１は、焦点評価値を算出する際に領域の位置に対応した重み係数を用いる方法の一例について示す図である。例えば、画面内に設定された外枠内の各領域のうち中心に近い領域ほど重み係数が大きいとし、１１０１に所属する領域の重み係数を１、１１０２に所属する領域の重み係数を２、１１０３に所属する領域の重み係数を３、１１０４に所属する領域の重み係数を４とする。

図１２及び図１３は、図１１に示した重み係数を用いて焦点評価値を算出する処理の流れの一例を示す図である。図１２は、重み係数を用いるＡＦ制御全体の処理の流れを示すフロー図である。図１２の処理は、システム制御部１０７によって実行される。領域ごとの重み係数は、ステップＳ１２０２の前に、システム制御部１０７が、領域設定部１０２に対して設定しているものとする。この領域ごとの重み係数の設定及びステップＳ１２０４以外は、図７の対応する処理と同様の処理であるため、適宜説明を省略する。ステップＳ１２０４の処理は、図１３を用いて説明する。図１３は、図１２のステップＳ１２０４で焦点評価値算出部１０４が、重み係数を用いて焦点評価値を算出する処理の詳細を示すフロー図である。ここでは、領域数カウンタをｎ、点光源が存在しない領域のうちｎ番目の領域の焦点評価値をＡｎ、点光源が存在しない領域のうちｎ番目の領域の重み係数をＷｎ、重み係数の合計値をＷＴ、領域ごとの焦点評価値の積算値をＡＴとする。また、ｎ、ＷＴ及びＡＴはステップＳ１３０１の前に値をゼロで初期化しておく。ステップＳ１３０１では、焦点評価値算出部１０４により点光源が存在しない領域の焦点評価値を領域ごとに算出する（Ａｎ）。ステップＳ１３０２で、図１２の処理で得られた領域設定数ｎ０及び点光源が存在する領域数ｎ１を用いて、点光源が存在しない領域数ｎ３（ｎ３＝ｎ０−ｎ１）を算出し、ｎ３とカウンタｎを比較し、ｎが小さければステップＳ１３０３に、大きければステップＳ１３０７に進む。ステップＳ１３０３では、焦点評価値算出部１０４が、ｎ番目の領域の焦点評価値に重み係数を乗算する（Ａｎ＝Ａｎ*Ｗｎ）。ステップＳ１３０４では、焦点評価値算出部１０４が、ｎ番目の領域に対応する重み係数を重み係数合計値に加算する（ＷＴ＝ＷＴ＋Ｗｎ）。ステップＳ１３０５では、焦点評価値算出部１０４が、ｎ番目の領域の焦点評価値を積算する（ＡＴ＝ＡＴ＋Ａｎ）。ステップＳ１３０６では、カウンタｎを１インクリメントし、再びステップＳ１３０２に進む。ステップＳ１３０７では、焦点評価値算出部１０４が、焦点評価値積算値を重み係数合計値で除算し（ＡＴ＝ＡＴ/ＷＴ）、これを最終的な焦点評価値とし、処理を終了する。本実施例では、図１３の処理をハードウェアで行うことを想定しているが、ソフトウェアで行ってももちろん構わない。以上の処理により、点光源の存在しない領域の焦点評価値に、領域の位置に応じた重み係数を適用して最終的な焦点評価値を算出するため、注目被写体に合焦しやすく、かつ、先の図２のように安定した焦点評価値を得ることができる。これにより、点光源のあるシーンにおいても精度よくＡＦを実現することができる。なお、各領域の重み係数の値については、図１１の限りではない。例えば、画面の中心以外に存在する被写体に重点を置いたＡＦ制御を行う場合は、被写体が存在する任意の領域の重み係数が最も大きくなるように設定し、該領域からの距離に応じてその他の領域の重み係数を決定してももちろん構わない。また、全ての重み係数を等しくすれば、図７と同等の焦点評価値を得ることができる。
（３）点光源領域減算方式
ここでは、画面内に大領域を設定し、大領域内の点光源が存在する部分に、点光源全体を覆うように小領域を設定し、大領域の焦点評価値から小領域の焦点評価値の積算値を減算することによって焦点評価値を算出する手法について説明する。本実施例では、これを点光源領域減算方式と呼ぶ。

点光源領域減算方式について詳細に説明する。図１４は、本実施形態に係る画像信号処理装置の第二の基本構成例を示す図である。なお、図１で示した構成と同様の構成については適宜説明を省略する。撮像部１４０１は、絞りＤ１４０１、フォーカスレンズＤ１４０２、撮像素子Ｄ１４０３を適宜用いて構成され、図１の１０１と同様の機能を持ち、それぞれシステム制御部１４０８により、絞り制御Ｃ１４０１、レンズ制御Ｃ１４０２、シャッタ・利得制御Ｃ１４０３がなされる。大領域設定部１４０２は、システム制御部１４０８からの命令で、被写体ではなく背景に合焦してしまういわゆる後ピンを防ぐために、画面よりも小さく、小領域設定部１４０３よりも大きい領域を設定する。小領域設定部１４０３は、システム制御部１４０８からの命令で、任意の数、大きさ、位置に小領域を設定する。点光源検出部１４０４は、システム制御部１４０８からの命令で、撮像部１０１から得た画像信号のうち、大領域設定部１４０２が設定した大領域の画像信号を閾値と比較することで、大領域内の点光源の有無を判定及び検出し、点光源の位置や大きさなどの情報を得る。焦点評価値算出部１４０５は、システム制御部１４０８からの命令で、システム制御部１４０８によって指定された領域の画像信号を用いて焦点評価値を算出する。焦点評価値とは、例えば、指定された領域の画像信号に対してラインごとにＢＰＦ（Band Path Filter）をかけた値を積算した信号である。画像処理部１４０６は、システム制御部１４０８からの命令で、画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理を行う。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。外部装置１４０７は、例えば、各種設定を保存するために用いるＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）や、各種センサ、フラッシュメモリなどの外部装置であり、システム制御部１４０８によって制御される。システム制御部１４０８は、撮像部１４０１、大領域設定部１４０２、小領域設定部１４０３、点光源検出部１４０４、焦点評価値算出部１４０５、画像処理部１４０６、外部装置１４０７を制御する。ＡＦ部１４０９は、ＡＦ制御に必要なブロック群を示す。以上の構成により、点光源検出部１４０４が、大領域設定部１４０２が設定した大領域内の点光源の位置及び大きさを算出し、算出結果を用いて、システム制御部１４０８が、小領域設定部１４０３に、点光源を覆うように小領域を設定するよう命令する。焦点評価値算出部１４０５が、大領域内の画像信号から焦点評価値（大）及び小領域内の画像信号から焦点評価値（小）を算出する。システム制御部１４０８は、焦点評価値（大）から焦点評価値（小）を減算することで、最終的な焦点評価値を得る。得られた焦点評価値は、点光源が存在しない領域の画像信号から得た焦点評価値と同等であるため、点光源のあるシーンにおいても点光源の影響を受けない精度よいＡＦ制御を実現することができる。また、本手法は、ハードウェアは、システム制御部１４０８（図１４）から指定された領域の焦点評価値を算出すれば良く、点光源対応の焦点評価値を算出する処理はシステム制御部１４０８（図１４）によってソフトウェア処理されるため、ソフトウェアによる柔軟な制御が可能となる。

図１５は、大領域内に点光源が存在した場合の小領域設定方法の一例を示す図である。１５０１は大領域を示す。１５０２は大領域内の点光源を示す。１５０３は、大領域内の点光源を覆うような大きさ及び位置で設定された小領域を示す。図１６は、大領域内に点光源が複数ある場合の小領域設定方法の一例を示す図である。１６０１は大領域を示す。１６０２及び１６０３は、大領域内の点光源を示す。１６０４及び１６０５は、点光源を覆うような大きさ及び位置で複数設定された小領域を示す。

図１７は、点光源の位置及び大きさに合わせて小領域を設定する点光源対応ＡＦの一例を説明するフロー図である。図１７の処理は、システム制御部１４０８（図１４）によって実行される。ステップＳ１７０１では、システム制御部１４０８（図１４）が大領域の位置及び大きさを指定し、大領域設定部１４０２（図１４）は大領域を設定する。ステップＳ１７０２では、点光源検出部１４０４（図１４）が、ステップＳ１７０１で設定された大領域内の点光源を検出する。ステップＳ１７０３では、システム制御部１４０８（図１４）は、点光源検出部１４０４（図１４）から点光源の位置及び大きさなどの情報を得る。ステップＳ１７０４では、システム制御部１４０８（図１４）がステップＳ１７０３で得た情報を用いて、小領域設定部１４０３（図１４）が点光源を覆うように小領域を設定するよう命令する。ステップＳ１７０５では、大領域設定部１４０２（図１４）が設定した領域内の画像信号を用いて、焦点評価値算出部１４０５（図１４）が焦点評価値を算出する（ＡＴ）。ステップＳ１７０６では、小領域設定部１４０２（図１４）が設定した領域内の画像信号を用いて、焦点評価値算出部１４０５（図４）が焦点評価値を算出する（ＳＴ）。小領域が複数ある場合は、小領域ごとの焦点評価値の積算値をＳＴとする。ステップＳ１７０７では、システム制御部１４０８（図１４）が、大領域の焦点評価値（ＡＴ）から小領域の焦点評価値（ＳＴ）を減算し、最終的な焦点評価値とする。ステップＳ１７０８では、ステップＳ１７０７で算出した焦点評価値を用いてフォーカスレンズを一定量制御する。ステップＳ１７０９では、フォーカスレンズが合焦点にあるか否かを判定し、合焦点にある場合は処理を終了する。合焦点に無い場合は、ステップＳ１７０５に戻り、一連の処理を行う。以上の処理により、大領域の焦点評価値から小領域の焦点評価値を減算することによって、点光源が存在しない領域の画像信号から得た焦点評価値と同等の焦点評価値を得ることができるため、点光源のあるシーンにおいても点光源の影響を受けない精度よいＡＦ制御を実現することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

４０１…外枠、４０２…４０１の枠を分割した領域のひとつ、５０１…外枠、５０２…点光源、５０３…点光源が存在する領域、６０１…外枠、６０２…点光源、６０３…図５の点光源が存在する領域、６０４…点光源が存在する領域、１１０１…重み係数が最も小さい小領域、１１０２…重み係数が二番目に小さい小領域、１１０３…重み係数が三番目に小さい小領域、１１０４…重み係数が最も大きい小領域、１５０１…ＡＦ枠、１５０２…点光源、１５０３…小領域、１６０１…ＡＦ枠、１６０２…点光源、１６０３…点光源、１６０４…小領域、１６０５…小領域

Claims (10)

1. フォーカスレンズを備える撮像手段と、
   前記フォーカスレンズを合焦点に移動させるために用いる焦点評価値を算出する対象となる領域内の点光源を検出する点光源検出手段と、
   前記点光源検出手段により検出された点光源の存在する領域を特定し、前記焦点評価値を算出する対象となる領域から前記特定した点光源の存在する領域を除外した領域に対して焦点評価値を算出する評価値算出手段と、
   前記評価値算出手段により算出された焦点評価値に基づいて前記フォーカスレンズを制御して、ＡＦ制御開始から合焦までを制御するシステム制御手段と、
   を有し、
   前記システム制御手段は、前記ＡＦ制御開始から合焦まで、前記評価値算出手段が前記特定した点光源の存在する領域を変更しないように制御することを特徴とする画像信号処理装置。
2. 請求項１記載の画像信号処理装置であって、
   さらに、前記焦点評価値を算出する対象となる領域を複数の領域に分割して設定する領域設定手段を備え、
   前記評価値算出手段では、前記点光源の存在する領域は、前記領域設定手段により設定された分割領域単位で設定されることを特徴とする画像信号処理装置。
3. 請求項２記載の画像信号処理装置であって、
   前記評価値算出手段は、前記領域設定手段により設定された複数の分割領域ごとに重み係数を付加して前記焦点評価値を算出することを特徴とする画像信号処理装置。
4. 請求項２又は３に記載の画像信号処理装置であって、
   前記領域設定手段により分割して設定された複数の領域は、任意の大きさの領域であって縦横任意の数でタイル状であることを特徴とする画像信号処理装置。
5. 請求項１記載の画像信号処理装置であって、
   さらに、前記焦点評価値を算出する対象となる領域を任意の大きさ、位置に設定する任意領域設定手段を有することを特徴とする画像信号処理装置。
6. 請求項５記載の画像信号処理装置であって、
   さらに、前記任意領域設定手段により設定された領域内に、さらに、任意の数、大きさ、位置の小領域を設定する小領域設定手段を備え、
   前記システム制御手段は、前記小領域設定手段が設定する小領域の位置及び大きさを、前記点光源検出手段により検出された点光源の存在する領域の情報に基づいて制御することを特徴とする画像信号処理装置。
7. 請求項６記載の画像信号処理装置であって、
   前記任意領域設定手段により設定された領域の画像信号から算出した焦点評価値から、前記小領域設定手段により設定された小領域の画像信号から算出した焦点評価値を減算することで、前記フォーカスレンズの制御に用いる焦点評価値を得ることを特徴とする画像信号処理装置。
8. 請求項５乃至７のいずれかに記載の画像信号処理装置であって、
   前記任意領域設定手段は、領域の数も任意に設定可能であることを特徴とする画像信号処理装置。
9. 請求項１乃至８のいずれかに記載の画像信号処理装置であって、
   さらに、パン・チルト検出手段を有し、
   前記パン・チルト検出手段によりパン又はチルト動作が確認されると、前記ＡＦ制御開始から合焦までの間であっても、前記点光源検出手段により点光源を再検出することを特徴とする画像信号処理装置。
10. 請求項１乃至８のいずれかに記載の画像信号処理装置であって、
    高輝度画素数が所定値以上に変動した場合には、前記ＡＦ制御開始から合焦までの間であっても、前記点光源検出手段により点光源を再検出することを特徴とする画像信号処理装置。

Images