JP2005345962A

JP2005345962A - 固体撮像装置、フォーカス制御方法

Info

Publication number: JP2005345962A
Application number: JP2004168463A
Authority: JP
Inventors: Akira Fujimoto; 顕藤本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-06-07
Filing date: 2004-06-07
Publication date: 2005-12-15

Abstract

【課題】構成を複雑化せずにオートフォーカスのための適切な評価値が得られるようにする。
【解決手段】
オートフォーカス機能を実現するためにレンズが移動できる仕組みを持った固体撮像装置において、固体撮像素子３からの撮像画像信号の輝度信号高域成分についてゼロクロスカウントを行う。例えば前後の画素での信号値を比較して、前画素値１００、後画素値が−２０のように値０を通過した回数をカウントする。そしてこのゼロクロスカウント結果（ゼロクロス回数ＺＣ）を、オートフォーカスの評価値として使用する。
【選択図】図１

Description

本発明はＣＣＤセンサ或いはＣＭＯＳセンサ等の固体撮像素子を用いた固体撮像装置、及び固体撮像装置のオートフォーカス機能のためのフォーカス制御方法に関するものである。

特開昭６３−２１５２６８号公報特開平２−７６４８０号公報特開平８−２８９１９３号公報特開平１１−８８７６０号公報特開平４−３０５６０９号公報特開２００３−１４００３２号公報特開平６−１４１２２３号公報特開２００１−５７６４５号公報特開平７−２３２７４号公報特開平５−３００４２１号公報特開平５−２１９４１８号公報

ＣＣＤセンサ、或いはＣＭＯＳセンサを撮像素子として用いた固体撮像装置が、いわゆるビデオカメラやスチルカメラなどとして普及している。これら固体撮像装置では、オートフォーカス機能を備えているものが多い。
オートフォーカス方式には大きく分けて、固体撮像素子で得られる撮像画像信号から評価値を抽出して制御を行う方式と、被写体までの距離を測定してフォーカス位置を決める方式の２種類がある。コスト面の制約が大きい場合には、外部にセンサが不要となることから前者、即ち撮像画像信号から評価値を抽出して制御を行う方式を採用することが多い。

固体撮像素子による撮像画像信号から評価値を抽出して制御を行う手法を採用した場合、システムの制御方式としては、いわゆる「山登りサーボ方式」と呼ばれる手法が多く用いられている。この方式を用いたオートフォーカス方式については、上記特許文献１として挙げた特開昭６３−２１５２６８号公報において詳細に述べられている。簡単に述べると、撮像して得られた映像信号の高域成分を１フィールドごとに焦点評価値として検出し、この焦点評価値を１フィールド前のものと常に比較し、焦点評価値が常に極大となるようにフォーカスレンズ位置を微小振動させ続けるものである。

ところで、山登りサーボ方式を採用した場合に、現在でも最大の課題となっているのが、使用する評価値である。一般的な評価値の算出方法として、ピーク検波方式や積分検波方式がある。
ピーク検波方式は、検波対象領域で一番ピークとなる輝度高域成分をそのまま評価値として採用する方式である。この方式の欠点は、検波対象領域内部のある１点を抽出しているので、輝度の高い部分が対象の場合はその高輝度部分のエッジ付近を評価値にしてしまったり、低照度時でノイズが多い場面ではノイズ成分を評価値にしてしまうこと、さらには低コントラストの被写体ではピーク値が小さくなり被写体周辺のノイズに影響されてしまうなど、安定した評価値が得られにくいという点である。

このピーク検波方式を若干改善したものが積分検波方式である。積分検波方式としては、検波対象領域の高域成分を全て検波する方式や、水平ライン毎にピーク検波してそれを垂直ライン毎に積分する方式など、いろいろな手法がある。積分検波方式では上記の欠点がピーク検波方式よりも多少改善はされてはいるが、高輝度部分のエッジ付近を評価値にしてしまうことや低照度時でノイズが多い場面ではノイズ成分を積分して評価値にしてしまうこと、低コントラストの被写体では評価値が低くなってしまう点は同じである。
また、実際のところ評価値自体にばらつきを多く含む場合がほとんどであり、評価値のピークポイントを探すことが非常に困難で、合焦する前にフォーカスロックしてしまうことが多いという問題もある。

これらピーク検波方式や積分検波方式の欠点を改善する手法も数々提案されており、上記特許文献２〜８として挙げたような方式が知られている。
[特開平２−７６４８０（特許文献２）]：高輝度成分を検波対象からはずすことで評価値を算出する方式
[特開平８−２８９１９３（特許文献３）]：高域抽出フィルタを２つ持つつことで２種類の評価値を算出し、その相対比を利用してピークポイントを検索する方式
[特開平１１−８８７６０（特許文献４）]：低照度でノイズが多い場合に高域抽出フィルタの特性を変更して評価値を算出することでノイズの影響を小さくする方式
[特開平４−３０５６０９（特許文献５）]：評価値の変化量がばらつくのを最小二乗法などで補正して、山登り制御の判定の精度を上げようとする方式
[特開２００３−１４００３２（特許文献６）]：低照度時は、複数フィールドに渡る評価値を合算して評価することで混入したノイズ成分を低減する手法
[特開平６−１４１２２３（特許文献７）]：高域抽出フィルタを数種類、ピーク／積分検波方式を数種類用意して評価値を算出し２種類以上の評価値でピークを検出したら合焦と判定する方式
[特開２００１−５７６４５（特許文献８）]：被写体の照度レベルに応じて、画素（ライン）加算した信号を利用することで、Ｓ／Ｎが改善される効果を利用して合焦する方式

これらの技術によっては、上記問題の一部を解決することはできるが、回路規模もそれほど大きくならず、構造も単純であり、全ての欠点を良好に改善できるものは見当たらない。

また、ピーク検波方式、積分検波方式以外の手法では、上記特許文献９〜１１として挙げた例がある。
[特開平７−２３２７４（特許文献９）]：ＤＣＴによる周波数成分の抽出結果から被写体までの距離とボケ量を演算し、合焦となるように制御する方式
[特開平５−３００４２１（特許文献１０）]：画素間のばらつき具合で合焦を判定する方式
[特開平５−２１９４１８（特許文献１１）]：エッジ幅を画素周期クロックを利用してカウントし、このカウント値を利用したエッジ幅に関するヒストグラムを求め、その重心値が所定の値になったら合焦と判定する方式

これらの技術は、それぞれ有用ではあるが、構成がかなり複雑で、回路化あるいはソフトによる制御を行うのがかなり難しいことが推察される内容も多く、実際のシステムに適用するのは困難が予想される。

オートフォーカス制御の従来技術に関して述べた以上のことをまとめると次のようになる。
ピーク検波方式や積分検波方式は構造が単純である点で優れており、実用化に適しているが、下記のような問題を対策するのにかなり改善が必要となる。また、全ての問題点をうまく改善できるような手法は見当たらない。
・高輝度時、高輝度被写体周辺のエッジを検出してしまう
・低コントラスト時、評価値が低くなり、周辺ノイズの影響を受けやすい
・山登りサーボ方式を採用した場合、評価値にばらつきが多くピークポイントを検索が難しい。

またピーク検波方式、積分検波方式以外の手法は検波方式が複雑で実用化するのがやや困難である。

本発明は以上のような問題に鑑みて、簡単な構成で実現できると共に、ピーク検波方式や積分検波方式における問題点を解消できる、オートフォーカス制御のための新規な評価値の生成方式を提供することを目的とする。

本発明の固体撮像装置は、被写体からの光を入射するとともに、オートフォーカス機能のためのレンズ移動機構を備えた撮像光学系手段と、上記撮像光学系手段によって固体撮像素子アレイの各画素に入射された入射光に応じた撮像画像信号を出力する撮像画像信号生成手段と、上記撮像画像信号における各画素の輝度信号に基づいて得られた信号のゼロクロス回数をカウントし、そのカウント値をオートフォーカス機能の評価値とする評価値生成手段と、上記評価値生成手段で生成された評価値を監視しながら上記レンズ移動機構を駆動させ、最適な評価値が得られるレンズ位置状態に制御するフォーカス制御手段と、を備える。
また、上記評価値生成手段は、上記撮像画像信号から輝度信号を抽出する輝度信号抽出手段と、上記輝度信号抽出手段で抽出された輝度信号の高域成分を抽出する高域抽出手段と、上記高域抽出手段で抽出された連続する画素についての輝度信号高域成分の値を監視してゼロクロス検出を行うゼロクロス検出手段と、上記ゼロクロス検出手段で検出されたゼロクロス回数をカウントするカウント手段とを備えるようにする。
或いは、上記評価値生成手段は、上記撮像画像信号から輪郭抽出信号を得る輪郭抽出信号生成手段と、上記輪郭抽出信号生成手段で得られた輪郭抽出信号の値を監視してゼロクロス検出を行うゼロクロス検出手段と、上記ゼロクロス検出手段で検出されたゼロクロス回数をカウントするカウント手段とを備えるようにする。

本発明のフォーカス制御方法は、被写体からの入射光に応じて生成された撮像画像信号における、各画素の輝度信号に基づいて得られた信号のゼロクロス回数をカウントし、そのカウント値をオートフォーカス機能の評価値とする評価値生成ステップと、上記評価値生成手段で生成された評価値を監視しながら、被写体からの入射光を入射する撮像光学系におけるフォーカス用レンズのレンズ移動機構を駆動させ、最適な評価値が得られるレンズ位置状態に制御するフォーカス制御ステップとを備える。
上記評価値生成ステップは、上記撮像画像信号から輝度信号を抽出する輝度信号抽出ステップと、上記輝度信号抽出ステップで抽出された輝度信号の高域成分を抽出する高域抽出ステップと、上記高域抽出ステップで抽出された、連続する画素についての輝度信号高域成分の値を監視してゼロクロス検出を行うゼロクロス検出ステップと、上記ゼロクロス検出ステップで検出されたゼロクロス回数をカウントするカウントステップとを備える。
又は、上記評価値生成ステップは、上記撮像画像信号から輪郭抽出信号を得る輪郭抽出信号生成ステップと、上記輪郭抽出信号生成ステップで得られた輪郭抽出信号の値を監視してゼロクロス検出を行うゼロクロス検出ステップと、上記ゼロクロス検出ステップで検出されたゼロクロス回数をカウントするカウントステップとを備える。

即ち本発明では、オートフォーカス機能を実現するためにレンズが移動できる仕組みを持った固体撮像装置において、固体撮像素子からの信号を信号処理を行うブロックから得られる信号、即ち輝度信号の高域成分を抽出した信号、或いは輪郭（エッジ）抽出信号について、その信号値のゼロクロスカウントを行う。例えば前後の画素での信号値を比較して、前画素値１００、後画素値が−２０のように値０を通過した回数をカウントする。そしてこのゼロクロスカウント結果（ゼロクロス回数）を、オートフォーカスの評価値として使用する。

本発明によれば、被写体からの入射光に応じて生成された撮像画像信号における各画素の輝度信号に基づいて得られた信号、即ち輝度信号高域成分、或いは輪郭抽出信号についてのゼロクロス回数をカウントし、そのカウント値であるゼロクロス回数をオートフォーカス制御の基準となる評価値としている。この場合、焦点があった物体に対して高い評価値が出力されるので、従来にあった積分処理やピーク検波処理手法に比べ、誤動作の少ないオートフォーカス制御が可能となるという効果がある。即ち、高輝度時、高輝度被写体周辺のエッジを検出してしまうことや、低コントラスト時に評価値が低くなり周辺ノイズの影響を受けやすいことなどが解消される。さらに、山登りサーボ方式を採用した場合に、ピークポイントを判定することが容易となり、これも正確なオートフォーカス制御に寄与する。
また、簡易な構成であって回路規模は大きくならず、このため実用上適したものとなる。
また、検波枠設定をして重み付けをしなくても、フォーカスの合ったところを基準に評価値を生成しているので、検波枠設定処理を追加するだけで従来よりも少ない回路規模で従来の重み付けして得られる評価値とほぼ同等のものが得られる。

また輝度信号の高域成分を得るための高域抽出手段には、画素差分フィルタを用いることで、回路規模を大きくしないという観点で有利となる。
また、上記のように輪郭抽出信号のゼロクロスカウントを行う場合は、高域抽出手段も不要となり、回路規模の点で更に有利である。

また、上記高域抽出手段で抽出された輝度信号高域成分に対して２種類以上のゲインを選択的に与えるゲイン選択手段をさらに備えることで、被写体状況などに応じて適正な評価値を得るための切換が可能となる。
例えばゲイン選択手段は、画像のコントラストの判定結果に応じてゲイン選択を行うことで、例えば低コントラストのときも好適な評価値（ゼロクロスカウント値）が得られるようにすることができる。また、ゼロクロス検出回数に応じてゲイン選択を行うようにすることで、被写体状況に応じて好適な評価値が得られるようにできる。
また、ゼロクロス検出手段は、連続する前後の画素の輝度信号高域成分についてゼロクロスが生じていた場合において、その連続する前後の画素の輝度信号高域成分の差分値が、所定の閾値より大きい場合にのみ、ゼロクロス発生として検出することで、ゼロクロスカウント動作の不感帯が設定されることになり、これはノイズの影響を低減した適切な評価値を得るための好適な手法となる。

以下、本発明の実施の形態を説明する。図１は実施の形態の固体撮像装置のブロック図である。
被写体からの光はレンズ系１を介してセンサ部３に入射される。レンズ系１において図示するレンズ２はフォーカス用のレンズであり、このフォーカスレンズ２はフォーカスモータ１５によって入射光の光軸方向に移動可能に構成されている。
センサ部３は、ＣＣＤセンサアレイ、又はＣＭＯＳセンサアレイとして多数の画素を構成する固体撮像素子部や、固体撮像素子部を駆動する垂直走査回路、水平走査回路、読み出しアンプ等を有する。そして固体撮像素子部はレンズ系１を介して入射される被写体からの光を光電変換し、各画素の信号として出力する。各画素から出力される画素信号は垂直転送及び水平転送されて１フレームの画像を構成する撮像画像信号ストリームとされる。

センサ部３で読み出された撮像画像信号は、前処理部４において黒レベル調整やゲイン付加などが行われる。そしてＡ／Ｄ変換器５でデジタルデータに変換されて出力される。
Ａ／Ｄ変換器５から出力される撮像画像データはカメラ信号処理部６に供給される。
カメラ処理部６は、供給された撮像画像データはに対してクランプ処理、欠陥補正処理、ホワイトバランス処理などを行なってＹ／Ｃ処理部７に供給する。
Ｙ／Ｃ処理部７に供給された撮像画像データは、輝度信号（Ｙ）と色信号（Ｃ）に分離され、Ｙプロセス部７ａ、Ｃプロセス部７ｂでそれぞれＹプロセス処理、Ｃプロセス処理が施される。
そしてこのＹ／Ｃ処理部７において処理した輝度信号、色信号は、エンコーダ８において所定の画像フォーマットにエンコードされる。例えばＹＵＶフォーマット（Ｙ：輝度信号、Ｕ：Ｂ−Ｙ色差信号、Ｖ：Ｒ−Ｙ色差信号）の撮像画像データとされたり、或いはＪＰＥＧエンコードが行われ、ＪＰＥＧフォーマットの画像データとして端子９から出力される。端子９から出力された所定のフォーマットの撮像画像データは、その後、図示しないビューファインダ或いは他の表示デバイスに供給されて表示されたり、或いは記録部に供給されて固体メモリ、メモリカード、磁気ディスク、光ディスクなどの記録媒体に記録される。或いは送信出力されるようにしてもよい。

制御部１２は、ＣＰＵにより形成され、例えば図示しないマスターコントローラからのコマンド等に応じて、撮像信号処理系の制御を行う。図示していないマスターコントローラは、固体撮像装置（又は固体撮像装置が搭載される携帯電話や情報処理装置などの電子機器）において装置全体の制御を行う部位であり、ユーザーの操作や、動作モード状態に応じて制御部１２や他の部位に対して所要の指示制御を行う。
シグナルジェネレータ１５は、制御部１２による設定制御に基づいて、センサ部３の動作のための水平同期信号、垂直同期信号、露光制御信号その他必要な信号を生成し、センサ部３に供給する。
モータコントローラ１４は、制御部１２の制御に基づいて、フォーカスモータ１５を駆動制御し、オートフォーカス機能のためのレンズ２の移送動作を実行させる。

制御部１２は、オートフォーカス機能のためにモータコントローラ１４に指示を出し、フォーカスレンズ２の移送動作を実行させるが、この移送動作を適正な合焦位置に導くための指標となる評価値ＺＣとして、ゼロクロス検出／カウント部１１からのカウント値（ゼロクロス回数）を入力している。
この評価値は、Ｙ／Ｃ処理部７におけるＹ抽出部７ｃ、高域抽出部１０，ゼロクロス検出／カウント部１１により生成される。

Ｙ抽出部７ｃは、輝度信号抽出処理を行って輝度信号Ｙを取り出す。この輝度信号の抽出処理方式は各種考えられるが、一例を図２に示す。図２は、ベイヤー配列のカラーフィルタを使用した場合の例である。
カラーフィルタにより各画素はＲ、Ｇ、Ｂの各色の画素とされるが、図２においてＲ０１〜Ｒ０４はＲ画素、Ｂ１１〜Ｂ１４はＢ画素、Ｇ０１〜Ｇ０４及びＧ１１〜Ｇ１４はＧ画素を示しているものとする。
このような画素配列で得られる撮像画像データから、輝度信号を算出するには、
輝度信号Ｙ０１＝Ｒ０１＋Ｇ０１＋Ｇ１１＋Ｂ１１
としての演算を行う。輝度信号Ｙ０２以降も同様に、
輝度信号Ｙ０２＝Ｇ０１＋Ｒ０２＋Ｂ１１＋Ｇ１２
輝度信号Ｙ０３＝Ｒ０２＋Ｇ０２＋Ｇ１２＋Ｂ１２
と計算される。
もちろん他の手法でも構わないが、なるべく高域の信号が得られるような輝度信号の生成方式を選択することが適切である。また上記例では原色フィルタを対象したが、ここではオートフォーカス機能の評価値を生成するための輝度信号Ｙを得るのが目的であることから補色フィルタ方式であっても構わない。

Ｙ抽出部７ｃで抽出された輝度信号Ｙは、高域抽出部１０で輝度の高域成分だけが抽出される。高域成分を抽出するためのフィルタには多様な種類があるが、本例の場合、画素差分フィルタを利用するのが望ましい。
画素差分フィルタを用いた場合の高域抽出部１０の回路構成を図３（ａ）に、また、その周波数特性を図３（ｂ）に示す。
図３（ａ）に示すように、ハイパスフィルタ（ＨＰＦ）２０がラッチ回路２１及び減算器２２で構成される。この場合、各画素タイミングで供給される輝度信号Ｙはラッチ回路（Ｄフリップフロップ）２１及び減算器２２に供給される。即ち、今回入力された輝度信号Ｙと、ラッチ回路２１に保持された前回入力された輝度信号Ｙの差分（例えばＹ０１−Ｙ０２）が減算器２２によって得られる構成となる。そしてその差分がアンプ２３で例えばゲイン０．５が与えられて輝度信号高域成分ＹＨとされる。
このような画素差分フィルタ構成の場合、図３（ｂ）の周波数特性を見てもわかるように、フィルタの特性はそれほど急峻ではなく低域から徐々にゲインが増えていく、緩やかなフィルタ特性になっており、遮断周波数がサンプリング周波数の１／４になっている。緩やかなゲイン特性を持っているので、このフィルタ出力段のアンプ２３のゲインを少し大きくするだけで、低域の信号を取り出すことも可能となる。
そして、このような特性をもつフィルタを利用するので、他にフィルタを用意する必要がなくなり、よって回路規模を大きくせずに出力段のゲインを調整するだけで、低コントラストの撮像画像の場合でも良好なエッジ抽出特性が得られるものである。

高域抽出部１０で抽出された輝度信号高域成分ＹＨは、ゼロクロス検出／カウント部１１に供給される。
ゼロクロス検出／カウント部１１は、前後の画素でデータ（輝度信号高域成分ＹＨ）の符号が反転する（例えば、前画素：プラス、後画素：マイナスのような場合、及びその逆）ような条件を検出し、この検出回数をカウントする。そして例えば１フレーム期間のカウント値、或いは１フレーム内の所定の検波枠内でのカウント値がそのまま評価値ＺＣとなり、制御部１２に供給される。

図４にゼロクロス検出／カウント部１１の構成例を示す。ゼロクロス検出／カウント部１１は、評価値ＺＣを得るための基本的構成として、ゼロクロス検出処理部３１とカウンタ４３を備える。また、この例では、ゼロクロス判定の不感帯を設けるために検出レベル判定処理部３６及びアンドゲート４２が設けられている。
ゼロクロス検出処理部３１は、ラッチ回路（Ｄフリップフロップ）３２、符号ビット抽出処理部３３，３４、ＥＸ−ＯＲゲート３５を有する。
入力された輝度信号高域成分ＹＨは、一方の符号ビット抽出処理部３３に供給されると共に、ラッチ回路３２に供給される。他方の符号ビット抽出処理部３４には、ラッチ回路３２から前回入力された輝度信号高域成分ＹＨが供給される。符号ビット抽出処理部３３，３４は、それぞれ入力された輝度信号高域成分ＹＨについての符号ビットを抽出する。従って、輝度信号高域成分ＹＨの値として前回が正値、今回が負値の場合、もしくは前回が負値、今回が正値の場合に、ＥＸ−ＯＲゲート３５からHigh信号が出力され、前回及び今回とも正値、もしくは前回及び今回とも負値の場合はＥＸ−ＯＲゲート３５からLow信号が出力される。

このＥＸ−ＯＲゲート３５の出力はアンドゲート４２を介してカウンタ４３に供給される。カウンタ４３はＥＸ−ＯＲゲート３５のHigh信号をカウントする。従ってカウンタ４３では、輝度信号高域成分ＹＨが前回と今回で符号反転した場合、つまりゼロクロスが検出された場合にカウントアップを行うものとなる。そしてそのカウント値、つまりゼロクロス回数が、評価値ＺＣとして出力される。

なお、検出レベル判定処理部３６及びアンドゲート４２により、カウントすべきでないゼロクロスの発生が遮蔽される。
検出レベル判定処理部３６は、減算器３７，３８，大小判定部３９，選択回路４０，比較器４１を有する。
減算器３７は、前回の輝度信号高域成分ＹＨから今回の輝度信号高域成分ＹＨを減算する。
減算器３８は逆に、今回の輝度信号高域成分ＹＨから前回の輝度信号高域成分ＹＨを減算する。
大小判定部３９は、前回の輝度信号高域成分ＹＨと今回の輝度信号高域成分ＹＨの値の大小判定を行う。
選択回路４０は、大小判定部３９の判定結果に応じて、減算器３７，３８の一方を選択する。
ここまでの構成は、今回と前回の輝度信号高域成分ＹＨの差分の絶対値を得る構成となる。即ち、値の大きい方から小さい方を減算した減算結果を選択することで、今回と前回の輝度信号高域成分ＹＨの差分値を、正の値で得るものである。
選択回路４０から出力される差分値は比較器４１に供給され、或る閾値Ｔｈ１と比較される。そして差分値が閾値Ｔｈ１より大きい場合に、比較器４１からアンドゲート４２にHigh信号が出力され、差分値が閾値Ｔｈ１以下であれば、比較器４１からアンドゲート４２にLow信号が出力される。
閾値Ｔｈ１は不感帯を決定する閾値であり、前回と今回の輝度信号高域成分ＹＨの間でゼロクロスが生じていても、その差が閾値Ｔｈ１以下であれば、アンドゲート４２の出力はLow信号となり、カウンタ４３でカウントアップされない。
つまり、連続する前後の画素の輝度信号高域成分ＹＨについてゼロクロスが生じていたとしても、その連続する前後の画素の輝度信号高域成分ＹＨの差分値が、閾値Ｔｈ１より大きい場合にのみ、それをゼロクロス発生としてカウントする。
例えば輝度レベルがゼロ近辺となるような画像の場合、ノイズや画素出力の誤差などによって、ゼロクロスが頻発することが考えられるが、そのようなゼロクロスはカウントしないことが適正な評価値ＺＣの生成のためには好適であるため、以上のようにゼロクロス検出における不感帯を設けるようにする。

この図４のようなゼロクロス検出／カウント部１１で得られたカウント値は、オートフォーカス状態の評価値ＺＣとして制御部１２に送られる。制御部１２は、評価値ＺＣの相対的な変化を観測しながらモータコントローラ１４を制御し、フォーカスレンズ２の位相制御を行う。例えば評価値ＺＣを監視しながら上述した山登りサーボ方式としての制御を行って、オートフォーカス機能を実現する。

以上の説明からわかるように本例では、オートフォーカス機能のための評価値ＺＣを、輝度信号高域成分ＹＨのゼロクロス回数として生成している。
このようにゼロクロス検出回数を評価値とする方式（以下、ゼロクロス検出方式と呼ぶ）による効果を、従来の方式（ここでは、画素差分フィルタで高域成分を抽出し、水平ラインでのピーク検波と垂直方向の積分処理を組み合わせたもの）と比較することで説明する。

まず、図５（ａ）（ｂ）（ｃ）に撮像画像の例を示す。
図５（ａ）の画像例ＰＩＣ１は或る程度の照度があり、またコントラストが高い画像の例として、或る室内を撮像した画像である。ここでは画面右下側から左上に向かって、消しゴム、ティッシュペーパボックス、ぬいぐるみ、人が撮し込まれており、また天井の蛍光灯も撮されているとしている。オートフォーカス機能によっては、例えば中央のぬいぐるみに合焦する状態に制御されるべき画像である。
図５（ｂ）の画像例ＰＩＣ２は、比較的低コントラストの被写体の画像であり、これはガムテープの表面の布地をアップで撮した画像である。
図５（ｃ）の画像例ＰＩＣ３は、低照度の状態で撮された或る被写体の画像である。

まず図５（ａ）の画像例ＰＩＣ１を原画として、本例のゼロクロス検出方式の場合での検波ポイントを図６（ａ）に示し、また従来方式（水平ラインでのピーク検波と垂直方向の積分処理を組み合わせた方式）の検波ポイントを図６（ｂ）に示す。画像上において検波ポイントをドット「・」で表している。
なお、この図６（ａ）（ｂ）では、原画に対して画素差分方式の高域抽出フィルタ処理を行った後で各検波方式を試したものとしている。
原画である画像例ＰＩＣ１は、画面中央にピントがあっている状態になっているので、評価値としてはピントが合っている部分を中心に得られた方が精度が高いと考えることができる。

本例の場合の図６（ａ）の検波ポイントは、輝度信号高域成分ＹＨのゼロクロスポイントである。一方従来方式の図６（ｂ）の検波ポイントは、水平ライン方向にピーク検波したポイントである。この図６（ａ）（ｂ）の結果を比較するとわかるように、従来方式では水平ラインで１つしか評価値を出力しないので、評価枠を利用して、例えば画面中央の被写体に対して重みづけするような処理をしないと所望の評価値が得られない。
例えば原画の上方にある蛍光灯のような明るい被写体の境界線となるエッジも評価値に組み込んでしまうため、重み付けがない場合は蛍光灯にフォーカスが合ってしまう。
原画では画面中央がフォーカスの一番合っているところなのだが、そこの部分よりも蛍光灯の評価値が多く混入したものになってしまうのが原因である。これを解消するには、特許文献２として挙げた特開平２−７６４８０号公報に記載されているように、高輝度を検波から除外してしまうか、検波枠を画面中央に設定して室内であれば蛍光灯が検波枠の内部に入らないように設定し、他の領域とは違った重み付けをすることで評価値を大きくする必要がある。
しかし、本例のゼロクロス検出方式の場合では、輝度の高域信号成分で前後の画素値の符号が違う部分を抽出しているので、必然的にピントが合ってくると評価値が高くなるような特性が得られる。
図６（ａ）で評価値として抽出した部分を見てみると、蛍光灯周辺のエッジよりも画面中央付近が大部分を占めていることがわかる。このため生成される評価値は、高輝度周辺よりもフォーカスポイントを重視したものとなる。

さらに、従来方式ではエッジ成分を積算する処理を行っていたため、高輝度周辺に発生する大きな高周波成分の振幅を評価値に組み込んでしまう関係上、高輝度の被写体があるとそちらにフォーカスをあわせるような評価値が出力されてしまっていた。しかし、ゼロクロス検出方式ではゼロクロスした部分のカウント値を評価値にするので、高輝度周辺のエッジであろがフォーカスポイントのエッジであろうがゼロクロスするエッジの数が多い方を重視するので信頼性の高い評価値が得られる。
よって、ゼロクロス検出方式によれば、検波枠を何種類か設けたとしても、重み付け処理をする必要がなく、ピントが合ってきた部分の評価値がより高くなるので、精度の良いオートフォーカス制御が実現できる。

続いて、画像例ＰＩＣ１，ＰＩＣ２，ＰＩＣ３のそれぞれについて、フォーカスレンズ２を一定ステップ間隔で変化させていった場合に得られる評価値を、それぞれ図７（ａ）（ｂ）に示す。図７（ａ）はゼロクロス検出方式の場合、図７（ｂ）は従来方式の場合である。
まず、画像例ＰＩＣ１の場合の評価値の変化について、図７（ａ）と図７（ｂ）の結果を比較する。図７（ａ）のゼロクロス検出方式では、前述のようにフォーカスの合ったところに重み付けされた評価値のため、検波領域内でフォーカスが合った部分が一番多い場合（図７（ａ）における「Ｉ」の合焦点）がピーク値となる。
同様に従来方式も図７（ｂ）に示すように「Ｉ」「II」の合焦点でピーク値を持つが、重み付けがされていないので評価値の変化だけを追っていくと偽の合焦点と判断する恐れがある。
図８（ａ）（ｂ）に合焦点ＩとIIの時の画像を比べたものを示す。破線が見た目でフォーカスの合っている領域を示しているが、図８（ａ）は合焦点Ｉの場合であり、画面中央に合焦している。図８（ｂ）は合焦点IIの場合であり、前方の消しゴムに合焦している。
合焦点Ｉの方が見た目でフォーカスの合っている領域が多いので、合焦点IIよりも評価値が大きくなることがわかる。しかし、従来方式では、被写体の距離や表示画面に占める面積に関係なく値が出力されているので合焦点ＩとIIを比べてみても評価値にあまり差がでない。この点でもゼロクロス方式に優位性があり、また、遠方／近方のどちらにフォーカスを合わせるかを選択できるようなカメラシステムにも十分利用できる。

次に、画像例ＰＩＣ２のような、低コントラストの被写体における評価値に関して説明する。この画像例ＰＩＣ２及び画像例ＰＩＣ１としての被写体から輝度信号を抽出して、輝度ヒストグラムを作成したものを図９に示す。
画像例ＰＩＣ１の場合、ヒストグラムに広がり（Ｗ１）があるのでコントラストが高く、一方、画像例ＰＩＣ２の場合、ヒストグラムに広がりがない（Ｗ２）のでコントラストが低いといえる。
この画像例ＰＩＣ２のような低コントラストの被写体の場合、従来の手法では評価値の変化が緩やかになる部分がでてしまい、合焦位置の見極めが非常に難しくなる。即ち図７（ｂ）のポイントIIIとして示すように、合焦点付近ではほとんど評価値が変化せず、どこが本当の合焦位置なのか判断しにくい。
これに対して、ゼロクロス方式ではそういった問題は発生しにくいことが図７（ａ）を見てもわかる。即ち、図７（ａ）のポイントIIIとして、合焦点となるフォーカスステップ位置が明確にわかるような評価値が得られる。

次に、画像例ＰＩＣ３のような、低照度の被写体における評価値に関して説明する。低照度の被写体の場合、一般的に図１の前処理部４でゲインを大きくすることでセンサ出力信号を増幅して表示させるが、この時センサから出力される信号といろいろな要因で発生するノイズとの比が問題となる。低照度の場合、センサ出力信号に含まれるノイズの占める割合が増えてくるので、表示画像はノイズの多い画像となる。
ゼロクロス検出方式の場合、高域輝度信号を検知する関係上、ノイズの信号も合焦時の信号として誤検出してしまうので、評価値が大きくなってしまう。このあたりの特性が図７（ａ）の画像例ＰＩＣ３のグラフにあらわれている。
逆に従来の手法の場合、１ラインに１つのピーク値を検波して積分するので、場合によってはノイズの影響が緩和されてしまうこともある。図７（ｂ）の画像例ＰＩＣ３のグラフはまさにその状態を示している。
特にこのような低照度条件下では、図４で説明したように、ゼロクロス検出／カウント部１１において検出レベル判定処理部３６、アンドゲート４２を設ける構成、即ちゼロクロス不感帯を設ける構成が有用となる。これによってノイズ成分と思われるゼロクロス点は除去できるので評価値ＺＣにノイズ成分が混入しにくくなる。
なお、低照度以外の条件であっても、ノイズは当然含まれているのでこれを除去するために、ゼロクロス不感帯を設けることは有効である。
また、撮像画像が低照度であることを検出した場合には、図４の閾値Ｔｈ１を大きくして、不感帯を広げ、ノイズの混入を減らすという手法も考えられる。この場合の低照度の検出方法としては、一般的にカメラでは画面上の輝度信号を積分してどのような輝度分布となるかを調査し、その情報を元に前処理部４のゲイン値を決定しているので、低照度の検出はゲイン値が大きいとき、あるいは得られた輝度信号の積分値が小さい場合などであることがわかる。よって、低照度の検知は容易である。

以上説明した各点から、本実施の形態のゼロクロス検出方式によりオートフォーカス用の評価値算出を行うことで、従来手法の課題を解決できることが理解される。
つまり、今までに提案されてきた評価値算出方法とあまり変わらない回路規模で、低照度／高輝度／低コントラストの条件で精度の良い評価値が得られる。そして山登りサーボ方式を採用した場合に、ピークポイントを判定することが容易となる。
また、検波枠設定をして重み付けをしなくても、フォーカスの合ったところを基準に評価値を生成しているので、検波枠設定処理を追加するだけで従来よりも少ない回路規模で従来の重み付けして得られる評価値とほぼ同等のものが得られる。

以下では上記実施の形態の各種変形例を説明していく。
図１０は高域抽出部１０の他の構成例を示している。ＨＰＦ２０の構成は図３（ａ）と同様に画素差分フィルタとしているが、アンプ２３に加えてゲインの異なるアンプ２４，及びアンプ２３，２４を選択するセレクタ２５を設けている。
例えばアンプ２３のゲインは「０．５」、アンプ２４のゲインは「１」とされており、セレクタ２５は与えられたゲイン選択信号に基づいて、アンプ２３、２４の一方を選択する。つまりゲインを切り換えて輝度信号高域成分ＹＨを出力することのできる構成としている。ゲインを大きくすれば、輝度信号高域成分ＹＨのゼロクロスカウント値が大きくなる。従って、各種状況に応じてゲインを切り換えることで、より正確なオートフォーカス機能を実現できる。なお、もちろん３種類以上のゲインを切り換えることのできる構成としても良い。

図１１は、高域抽出部１０のゲインを、画像のコントラストに応じて切り換える例である。高域抽出部１０には、ＨＰＦ２０の後段にゲインＧ１のアンプ２９ａと、ゲインＧ２のアンプ２９ｂを設け、このアンプ２９ａ、２９ｂをセレクタ２５で選択できる構成とする。（Ｇ１＜Ｇ２）
また、輝度信号Ｙについてヒストグラムを算出するヒストグラム算出部２７と、算出されたヒストグラムに基づいて低コントラストの画像であるか否かを判定する低コントラスト判定部２８を備える。
ヒストグラム算出部２７は、例えば図９に示したようなヒストグラムを生成し、輝度信号値のレンジ（幅Ｗ）を算出する。例えば画像例ＰＩＣ２の場合、幅Ｗ２を算出する。
低コントラスト判定部２８は、幅Ｗについてコントラストの高低の閾値Ｔｈ２と、ヒストグラム算出部２７で算出された幅Ｗを比較して、その比較結果をセレクタ２５に対するゲイン選択信号として出力する。
例えば画像例ＰＩＣ１の場合でコントラストが幅Ｗ１として算出されるが、それが閾値Ｔｈ２より大きければ、コントラストの高い画像であると判定し、この場合低い方のゲインＧ１、即ちアンプ２９ａ側の出力を選択させる。
また例えば画像例ＰＩＣ２の場合でコントラストが幅Ｗ２として算出されると、それが閾値Ｔｈ２より小さくければ、コントラストの低い画像であると判定し、この場合高い方のゲインＧ２、即ちアンプ２９ｂ側の出力を選択させる。

現実の撮像時には各種多様な被写体が存在する。それに対応するためには、この構成のようにヒストグラム算出を行い、コントラストが極端に低い場合を検出し、その場合にはゲインを高くして輝度信号高域成分出力の振幅を大きくし、ゼロクロスカウント回数を増やすことで、評価値ＺＣを安定に出力することができるようになる。

また、コントラストが低い場合に限らず、評価値が極端に小さい場合や大きい場合などに対応するためには、図１２のような構成も考えられる。
図１２の場合、高域抽出部１０はＨＰＦ２０，アンプ２９ａ、２９ｂ、セレクタ２５で構成される。そしてセレクタ２５に与えられるゲイン選択信号は、ゼロクロス検出／カウント部１１側から供給される。ゼロクロス検出／カウント部１１では、上記図４で説明したように、ゼロクロス検出処理部３１とカウンタ４３によりゼロクロス回数のカウントを行って評価値ＺＣを出力する。ここで、比較器４４が設けられ、評価値ＺＣとして出力されるカウント値と閾値Ｔｈ３が比較され、その比較結果がセレクタ２５に対するゲイン選択信号とされる。
即ち、ゼロクロス回数が所定の閾値Ｔｈ３よりも小さい場合は、より大きいゲインＧ２を付加された高域輝度信号の処理結果（アンプ２９ｂの出力）を採用し、一方ゼロクロス回数が所定の閾値Ｔｈ３よりも多い場合は、より小さいゲインＧ１を付加された高域輝度信号の処理結果（アンプ２９ａの出力）を採用して評価値ＺＣを算出する構成である。
なお、図１２のゼロクロス検出／カウント部１１には図示していないが、この図１２の場合も、図４のように検出レベル判定処理部３６及びアンドゲート４２が設けられることも当然に考えられる。

図１３は、輝度信号高域成分ＹＨに代えて輪郭抽出信号（エッジ抽出信号）Ｅｄを用いる場合の構成を示している。なお、図１と同一部分には同一符号を付し、説明を省略する。
この図１３の構成では、Ｙ／Ｃ処理部７において輪郭抽出部７ｄで得られる輪郭抽出信号Ｅｄを、ゼロクロス検出／カウント部１１に供給するようにしている。なお、輪郭抽出部７ｄは、例えば輪郭強調処理などのために通常設けられている回路部であり、この例は、その処理に用いる輪郭抽出信号Ｅｄをオートフォーカス用の評価値ＺＣの生成に流用するものであると言える。
ゼロクロス検出／カウント部１１では、例えば図４の構成で輪郭抽出信号Ｅｄについてのゼロクロス回数をカウントし、それを評価値ＺＣとして制御部１２に受け渡す。
このような構成とすると、図１の高域抽出部１０が不要となり、回路構成の簡略化の点で有利となる。
なお、輪郭抽出信号Ｅｄを用いる場合においても、その輪郭抽出信号Ｅｄに与えるゲインを選択してゼロクロス検出／カウント部１１に供給する構成も考えられる。即ち図１０，図１１，図１２の手法を適用することも考えられる。

以上、本発明の実施の形態について説明してきたが、本発明はビデオカメラ、スチルカメラなどの固体撮像装置におけるオートフォーカス制御のための評価値生成手法として広く適用できるものである。

本発明の実施の形態の固体撮像装置のブロック図である。実施の形態の輝度信号抽出処理の説明図である。実施の形態の高域抽出部の説明図である。実施の形態のゼロクロス検出／カウント部のブロック図である。撮像画像例の説明図である。実施の形態及び従来例の検波ポイントの説明図である。実施の形態及び従来例のレンズ位置と評価値の関係の説明図である。実施の形態の及び従来例でのフォーカスが合っている領域の説明図である。輝度ヒストグラムの説明図である。実施の形態のゲイン選択構成の説明図である。実施の形態のコントラストに応じたゲイン選択構成の説明図である。実施の形態のカウント値に応じたゲイン選択構成の説明図である。実施の形態の輪郭抽出信号を用いる例のブロック図である。

符号の説明

１レンズ系、２フォーカスレンズ、３センサ部、４前処理部、５Ａ／Ｄ変換器、６カメラ信号処理部、７Ｙ／Ｃ処理部、７ａＹプロセス部、７ｂＣプロセス部、７ｃＹ抽出部、７ｄ輪郭抽出部、８エンコーダ１０高域抽出部、１１ゼロクロス検出／カウント部、１２制御部、１５フォーカスモータ

Claims

被写体からの光を入射するとともに、オートフォーカス機能のためのレンズ移動機構を備えた撮像光学系手段と、
上記撮像光学系手段によって固体撮像素子アレイの各画素に入射された入射光に応じた撮像画像信号を出力する撮像画像信号生成手段と、
上記撮像画像信号における各画素の輝度信号に基づいて得られた信号のゼロクロス回数をカウントし、そのカウント値をオートフォーカス機能の評価値とする評価値生成手段と、
上記評価値生成手段で生成された評価値を監視しながら上記レンズ移動機構を駆動させ、最適な評価値が得られるレンズ位置状態に制御するフォーカス制御手段と、
を備えたことを特徴とする固体撮像装置。
上記評価値生成手段は、
上記撮像画像信号から輝度信号を抽出する輝度信号抽出手段と、
上記輝度信号抽出手段で抽出された輝度信号の高域成分を抽出する高域抽出手段と、
上記高域抽出手段で抽出された輝度信号高域成分の値を監視してゼロクロス検出を行うゼロクロス検出手段と、
上記ゼロクロス検出手段で検出されたゼロクロス回数をカウントするカウント手段と、
を備えて構成されることを特徴とする請求項１に記載の固体撮像装置。
上記高域抽出手段には、画素差分フィルタが用いられることを特徴とする請求項２に記載の固体撮像装置。
上記高域抽出手段で抽出された輝度信号高域成分に対して２種類以上のゲインを選択的に与えるゲイン選択手段を、さらに備えることを特徴とする請求項２に記載の固体撮像装置。
さらに、画像のコントラストを判定するコントラスト判定手段を備え、
上記ゲイン選択手段は、上記コントラスト判定手段でのコントラストの判定結果に応じてゲイン選択を行うことを特徴とする請求項４に記載の固体撮像装置。
上記ゲイン選択手段は、上記カウント手段でカウントされるゼロクロス検出回数に応じてゲイン選択を行うことを特徴とする請求項４に記載の固体撮像装置。
上記ゼロクロス検出手段は、連続する前後の輝度信号高域成分についてゼロクロスが生じていた場合において、その連続する前後の輝度信号高域成分の差分値が、所定の閾値より大きい場合にのみ、ゼロクロス発生として検出することを特徴とする請求項２に記載の固体撮像装置。
上記評価値生成手段は、
上記撮像画像信号から輪郭抽出信号を得る輪郭抽出信号生成手段と、
上記輪郭抽出信号生成手段で得られた輪郭抽出信号の値を監視してゼロクロス検出を行うゼロクロス検出手段と、
上記ゼロクロス検出手段で検出されたゼロクロス回数をカウントするカウント手段と、
を備えて構成されることを特徴とする請求項１に記載の固体撮像装置。
被写体からの入射光に応じて生成された撮像画像信号における、各画素の輝度信号に基づいて得られた信号のゼロクロス回数をカウントし、そのカウント値をオートフォーカス機能の評価値とする評価値生成ステップと、
上記評価値生成手段で生成された評価値を監視しながら、被写体からの入射光を入射する撮像光学系におけるフォーカス用レンズのレンズ移動機構を駆動させ、最適な評価値が得られるレンズ位置状態に制御するフォーカス制御ステップと、
を備えたことを特徴とするフォーカス制御方法。
上記評価値生成ステップは、
上記撮像画像信号から輝度信号を抽出する輝度信号抽出ステップと、
上記輝度信号抽出ステップで抽出された輝度信号の高域成分を抽出する高域抽出ステップと、
上記高域抽出ステップで抽出された輝度信号高域成分の値を監視してゼロクロス検出を行うゼロクロス検出ステップと、
上記ゼロクロス検出ステップで検出されたゼロクロス回数をカウントするカウントステップと、
を備えることを特徴とする請求項９に記載のフォーカス制御方法。
上記評価値生成ステップは、
上記撮像画像信号から輪郭抽出信号を得る輪郭抽出信号生成ステップと、
上記輪郭抽出信号生成ステップで得られた輪郭抽出信号の値を監視してゼロクロス検出を行うゼロクロス検出ステップと、
上記ゼロクロス検出ステップで検出されたゼロクロス回数をカウントするカウントステップと、
を備えることを特徴とする請求項９に記載のフォーカス制御方法。