JP2007267278A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】焦点調整を速やかに行うことができる撮像装置および撮像方法を提供する。
【解決手段】露出とレンズ駆動を同時に行われた場合には蓄積時間のずれを考慮し、レンズ駆動時間、ＡＦウインドウサイズ、露出時間をパラメータとして、ＡＦウインドウ各々のラインのレンズ重心位置を算出し、さらにウインドウ全体の重心位置を算出するＡＦ処理装置２００を有する。
【選択図】図１

Description

本発明は、撮像装置および撮像方法に係り、特に、２次元画素アレイを順次走査によって露光および読み出し動作を行うＣＭＯＳイメージセンサ等の固体撮像装置を用いた、カメラの自動焦点調節（以下「ＡＦ（オートフォーカス）」と略す）装置の制御技術に関するものである。

銀塩フィルムカメラ、デジタルスチルカメラ、ビデオカメラ等のカメラにおいては、焦点や露出を自動的に調整する技術が実現され、市販の多くのカメラに搭載されている。

カメラにおけるＡＦ制御の手法として、撮像信号に含まれる高周波成分を抽出してコントラスト評価値を算出し、高コントラストが得られた際のレンズ位置に撮像レンズを制御することにより焦点調整を行う、いわゆる「山登り制御」がある。

この制御においては、算出されたコントラスト評価値と露出されたレンズ位置が対応していなければならない。
すなわち、露出時にはレンズが停止している状態が望ましいが、合焦状態となるまでの時間短縮のためには、露出とレンズ駆動を同時に行い、得られたコントラスト評価値のレンズ位置は補正計算によって算出する方法がとられている。
特開２００５−２４４７６０号公報 特開２００５−２４４７６１号公報 特開２００５−２４４７６２号公報

現在、撮像データを取得する用途として、電荷結合素子(CCD)イメージセンサおよび相補型金属酸化物半導体(CMOS)イメージセンサが主に使用されている。
ＣＭＯＳセンサは他のＣＭＯＳ ＬＳＩと同様の製造プロセスを使用できるため量産性に優れ、また低電圧単一電源で済む、ＣＣＤで問題となるスミアが無視できるほど小さいなどの利点を持っているため、近年使用用途が高まっている。

ＣＭＯＳセンサは、その基本的な動作方式から、ローリングシャッタにより画像データが時系列に読み出される。ローリングシャッタ方式を用いた撮像装置としては、たとえば特許文献１〜３に開示されている。

ところが、ＣＭＯＳセンサは、その基本的な動作方式から、ローリングシャッタにより画像データが時系列に読み出されるため、走査線ごとに走査する時間だけ蓄積時間がずれる。
このローリングシャッタによる露光、読み出しにおける上記レンズ位置補正計算では、蓄積時間のずれを考慮しなければならない。

本発明の目的は、焦点調整を速やかに行うことができる撮像装置および撮像方法を提供することにある。

本発明の第１の観点は、山登り方式の焦点調節制御を行う撮像装置であって、焦点調節可能な光学系と、前記光学系を光軸方向に移動させて焦点調節を行う駆動部と、ローリングシャッタ機能を有し、前記光学系による被写体像を撮像するための光電変換素子がマトリクス状に配列され、前記ローリングシャッタ機能により、当該配列の行単位で走査して各光電変換素子の電荷蓄積および読み出し動作を行う撮像素子と、前記撮像素子により撮像された画像データのコントラストの強弱を示すコントラスト評価値を取得するコントラスト評価値取得手段と、前記コントラスト評価値取得手段がコントラスト評価値を取得する際の前記光学系の位置について補正計算を行って求める演算手段と、を有する。

好適には、前記演算手段は、前記撮像素子の露光・電荷蓄積と、前記光学系の駆動が同時に行われた場合に前記補正計算を実行する。

好適には、前記演算手段は、前記光学系の駆動時間、前記撮像素子上のＡＦウインドウのサイズ、露光時間、の何れか、若しくは全部をパラメータとして前記補正計算を行う。

好適には、前記演算手段は、前記補正計算により前記ＡＦウインドウの重心位置を算出することによって前記光学系の位置を求める。

好適には、前記演算手段は、前記ＡＦウインドウの重心位置の算出において、当該ＡＦウインドウ内の各々のラインの重心位置を算出し、さらに当該ＡＦウインドウ全体の重心位置を算出する。

好適には、前記演算手段は、前記ＡＦウインドウ内の中央部のラインのみについて前記ＡＦウインドウの重心位置の算出を行う。

本発明の第２の観点は、山登り方式の焦点調節制御を行う撮像方法であって、光学系を光軸方向に移動させて焦点調節を行うステップと、前記光学系による被写体像を撮像するための光電変換素子がマトリクス状に配列された撮像素子において、ローリングシャッタ機能により、当該配列の行単位で走査して各光電変換素子の電荷蓄積および読み出し動作を行うステップと、前記撮像素子により撮像された画像データのコントラストの強弱を示すコントラスト評価値を取得するステップと、前記コントラスト評価値取得手段がコントラスト評価値を取得する際の前記光学系の位置について補正計算を行って求めるステップと、を有する。

本発明によれば、このローリングシャッタによる露光、読み出しを行うＣＭＯＳセンサを利用した撮像装置において、焦点調整を速やかに行うことができる。

以下、本発明の実施形態を図面に関連付けて説明する。

本実施の形態では、山登り制御によりオートフォーカス（ＡＦ）制御を行う撮像装置としてのデジタルスチルカメラ（以下、単に「カメラ」と略す）に関して説明する。

山登りオートフォーカス制御を行う場合、高速化のためにはレンズを駆動させながら、同時に蓄積を行っていくのが望ましい。しかしながら、ＣＭＯＳ撮像素子は、ローリングシャッタにより画素データが時系列に読み出される構造のため、走査線ごとに走査時間だけ蓄積時間がずれていく。
そこで、本実施形態のカメラにおいては、時系列で取り込まれるＡＦデータに対応するレンズ位置を求めるために、この蓄積時間のずれを考慮して補正演算を行う。
すなわち、本実施形態のカメラにおいては、後で詳述するように、露出とレンズ駆動を同時に行われた場合には蓄積時間のずれを考慮し、レンズ駆動時間、ＡＦウインドウサイズ、露出時間をパラメータとして、ＡＦウインドウ各々のラインのレンズ重心位置を算出し、さらにウインドウ全体の重心位置を算出するように構成されている。
本実施形態のカメラは、ローリングシャッタ機能による露光、読み出しにおいて、露出とレンズ駆動を同時に行われた場合でも、コントラストデータに対応する精度の良いレンズ位置を得ることができる。
以下、本実施形態のカメラの具体的な構成および機能について説明する。

図１は、山登り制御において合焦位置を求める際に利用する山登り曲線を示す図である。図１において、横軸はレンズ位置Ｘを示し、縦軸はコントラスト評価値Ｖを示している。
上述の通り、山登り制御では、撮像信号に含まれる高周波成分を抽出してコントラスト評価値Ｖを算出し、最も高いコントラスト評価値Ｖが得られた際のレンズ位置Ｘにフォーカスレンズを制御することで、合焦位置を制御している。
本図では、フォーカス位置Ｘ１において最も高いコントラスト評価値Ｖａとなっており、このフォーカス位置Ｘ１が合焦位置となる。

図２は、本実施形態に係るＡＦ制御機能を有するカメラの構成を示す図である。

本カメラ１００は、図２に示すように、光学系としてのレンズモジュール１１０、撮像素子１２０、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）回路１３０、自動利得制御（ＡＧＣ：Auto Gain Control）回路１４０、アナログ・デジタル（ＡＤ）変換回路１５０、信号処理部１６０、画像記録部１７０、ハイパスフィルタ（ＨＰＦ）１８０、操作部１９０、ＡＦ処理部２００、フォーカスレンズ制御部２１０、およびフォーカスレンズ駆動モータ２２０を有する。

レンズモジュール１１０は、フォーカス（焦点）調節可能で、ズームレンズ１１１と、フォーカスレンズ１１２と、絞り１１３とを備え、被写体像を撮像素子１２０の撮像面に結像する。

撮像素子１２０は、レンズモジュール１１０によって結像された被写体の光像を赤Ｒ、緑Ｇ、青Ｂの３成分の画像信号に光電変換し、ＣＤＳ回路１３０へ出力する。

図３は、本実施形態のＣＭＯＳセンサを用いた撮像素子の画素アレイ部の基本構成例を示す図である。

撮像素子１２０は、図３に示すように、複数の画素１２１がマトリクス状に配列されている。図３においては、簡単化のため、３×３の画素マトリクス配列を示している。
各画素１２１は、基本的に、光電変換素子としてのフォトダイオードＰＤ、電荷検出部ＦＤ、およびロウスイッチＳＷを含む。
同一行の画素１２１のフォトダイオードＰＤは共通の行読み出し線１２２に接続され、同一行の画素１２１の電荷検出部ＦＤは共通の行リセット線１２３に接続され、同一行の画素のロウスイッチのゲートが共通の行選択線１２４に接続されている。
そして、各ロウスイッチＳＷのソース・ドレインはマトリクス配列の各列に配線された列信号線１２５と自画素の電荷検出部ＦＤに接続されている。

このような構成を有する撮像素子１２０の基本的な動作としては、たとえば、最初に第１行でフォトダイオードＰＤの電荷蓄積が完了し、まずは行リセット線１２３にパルスが印加され、電荷検出部ＦＤのリセットが行われる。
リセットレベルの信号出力のために、行選択線１２４がアクティブとなって、たとえばＣＤＳ回路１３０のレベル保持部にリセットレベルが保持される。
次に、行読み出し線１２２にパルスが印加され、フォトダイオードＰＤから電荷検出部ＦＤに信号電荷が読み出される。
次に、行選択線１２４にパルスが印加され、信号レベルが列信号線１２５に現れる。この信号レベルはＣＤＳ回路１３０のレベル保持部に保持される。

ＣＤＳ回路１３０は、信号レベルとリセットレベルの減算処理等を行って、画像信号のノイズ低減処理を行う。

ＡＧＣ回路１４０は、ＣＤＳ回路１３０でノイズ低減された画像信号のゲインを調整することで、画像信号のレベル調整を行う。

ＡＤ変換回路１５０は、ＡＧＣ回路１４０から出力されたアナログの画像信号をデジタルの画像信号に変換し、信号処理部１６０に出力する。

信号処理部１６０は、ＲＧＢの画像信号を、輝度信号Ｙ（単に、「輝度Ｙ」ともいう）と、二つの色差信号ＣｂおよびＣｒ（以下、「色差信号Ｃｂ」を単に「色差Ｃｂ」ともいい、同様に、「色差信号Ｃｒ」を単に「色差Ｃｒ」ともいう）に変換し、それぞれ第１、第２、第３の信号線Ｌ１、Ｌ２、Ｌ３を介して画像記録部１７０に出力する。
なお、第１の信号線Ｌ１を伝搬される輝度信号Ｙの信号は、さらにＨＰＦ１８０に伝達される。

画像記録部１７０は、操作部１９０に含まれるシャッタが押下された際に、それらの信号を、所定のフォーマットに変換し、画像記録部１７０が備える所定の記憶領域に保持する。

ＨＰＦ１８０は、画像のコントラストを山登り制御で用いるコントラスト評価値として算出するために、輝度信号Ｙから高周波成分を抽出し、ＡＦ処理部２００に出力する。

ＡＦ処理部２００は、フォーカスレンズ制御部２１０に指示し、フォーカスレンズ駆動モータ２２０を駆動させることでフォーカスレンズ１１２を移動させながら、画像のコントラスト評価値を取得し、至近位置から無限遠位置で、コントラスト評価値が最も高い位置を合焦位置として算出する。
このように、ＡＦ処理部２００は、コントラスト評価値取得機能および演算機能を有する。
以下に、コントラストデータ取得とレンズ駆動のタイミング、各ラインのレンズ重心位置算出処理について、図４〜図９に関連付けてより具体的に説明する。

図４および図５は、コントラストデータ取得とレンズ駆動のタイミングの説明図である。
また、図６および図７は、各ラインのレンズ重心位置算出の説明図である。図７は図６をより理解しやすくするために条件ごとに場合わけして模式的に示す図である。
また、図８は、ＡＦウインドウ全体のレンズ重心位置算出の説明図であり、図９は、コントラストデータの近似曲線補間の説明図である。

図４に示すように、垂直同期信号ＶＳＹＮＣの２フレームサイクルでコントラスト評価値Ｖを採取する制御とした場合には、ＡＦウインドウ３００の露出期間はレンズが停止しているため、コントラスト評価値Ｖに対応するレンズ位置の補正計算は必要無い。
ＡＦ合焦時間短縮のため、図５のように１フレームサイクルでコントラスト評価値Ｖを取得した場合のレンズ重心位置計算の方法について図６および図７に従って以下に述べる。

まず、ＡＦウインドウ３００内各ラインのレンズ重心位置ｄを求める。
ここで計算のパラメータは、Ａ（露出時間）、Ｂ（レンズ駆動時間）、Ｃ（レンズ停止から露光終了までの時間（レンズ停止から電荷読み出し開始までの時間））、ｐｏｓ１（駆動開始レンズ位置）、ｐｏｓ２（駆動終了レンズ位置）である。
計算式を以下に示す。

まず、露出時間（Ａ）が、レンズ駆動時間（Ｂ）とレンズ停止から露光終了までの時間（Ｃ）を足し合わせた時間より長い場合、すなわち、Ａ＞（Ｂ＋Ｃ）の場合、図７（Ａ）の斜線部の面積をＳとすると、レンズ重心位置ｄは、次式で求まる。

［数１］
S = (B+2*C) * (pos2-pos1) / 2
ｄ = S / A ＋ pos1 …（１）

露出時間（Ａ）が、レンズ駆動時間（Ｂ）とレンズ停止から露光終了までの時間（Ｃ）を足し合わせた時間と等しい、あるいは、短い場合、すなわち、Ａ≦（Ｂ＋Ｃ）で、かつ、露出時間（Ａ）がレンズ停止位置から露光終了までの時間（Ｃ）より長い場合、すなわち、Ａ＞Ｃの場合に、図７（Ｂ）の斜線部の面積をＳとし、斜線部の開始位置をｘちとすると、レンズ重心位置ｄは、次式で求まる。

［数２］
X = pos2 (pos2 pos1)*(A-C) / B
S = (A+C)*(pos2-x) / 2
d = S / A + x …（２）

また、露出時間（Ａ）がレンズ停止から露光終了までの時間（Ｃ）より短い場合、すなわち、Ａ＜Ｃの場合、レンズ重心位置ｄは次式で求まる。

［数３］
d = pos2 …（３）

次に、ＡＦウインドウ３００全体のレンズ重心位置を求める。横軸にＡＦウインドウのライン数、縦軸に各ラインのレンズ重心位置をプロットして、それらを結んだ線と横軸とで囲まれた部分の面積を、ＡＦウインドウサイズで割った値がウインドウ全体の重心位置となる。
このとき、図７に示されるような条件（Ａ≦（Ｂ＋Ｃ）且つＡ＞Ｃ）の場合、プロットされる点を結ぶと、直線ではなく図８に示すような曲線となる。算出のために近似曲線をここでは２次式によって表現している。処理の負荷は重くなるが、次数を上げて近似曲線の元データに対する相関を高めても良い。

重心位置を精度良く計算した場合、補正されたレンズ位置は小数点をもった値となる。 実際に停止可能なレンズ位置の中でのベストピント位置は、図９のようにレンズ位置に対するコントラストデータの近似曲線から求める。図９において、横軸はレンズ位置を、縦軸はコントラストデータ値を示している。
近似曲線を算出することにより、コントラストデータの取得頻度を減らす効果も期待できる。図９においては１／４まで減らすことができることを示している。

以上、本実施形態では、ＡＦウインドウ全体の重心位置を求めたが、フォーカス制御の精度の許容幅が広いシステム等では、ウインドウの中央部のラインの重心位置を算出して、これを全体の重心位置とみなす方法で処理を簡略化する方法も採用することも可能である。

以上説明したように、本実施形態によれば、露出とレンズ駆動を同時に行われた場合には蓄積時間のずれを考慮し、レンズ駆動時間、ＡＦウインドウサイズ、露出時間をパラメータとして、ＡＦウインドウ各々のラインのレンズ重心位置を算出し、さらにウインドウ全体の重心位置を算出するＡＦ処理装置２００を有することから、ローリングシャッタによる露光、読み出しにおいて、露出とレンズ駆動を同時に行なわれた場合でも、コントラストデータに対応する精度の良いレンズ位置を得ることができる。
したがって、このローリングシャッタによる露光、読み出しを行うＣＭＯＳセンサを利用した撮像装置において、焦点調整を速やかに行うことができる利点がある。

山登り制御において合焦位置を求める際に利用する山登り曲線を示す図である。 実施の形態に係るＡＦ制御機能を有するカメラの構成図である。 本実施形態のＣＭＯＳセンサを用いた撮像素子の画素アレイ部の基本構成例を示す図である。 ２フレームサイクルでのコントラストデータ取得とレンズ駆動のタイミングの説明図である。 １フレームサイクルでのコントラストデータ取得とレンズ駆動のタイミングの説明図である。 各ラインのレンズ重心位置算出の説明図である。 各ラインのレンズ重心位置算出の説明図であって、図６をより理解しやすくするために条件ごとに場合分けして模式的に示す図である。 ＡＦウインドウ全体のレンズ重心位置算出の説明図である。 コントラストデータの近似曲線補間の説明図である。

符号の説明

１００・・・カメラ（撮像装置）、１１０・・・レンズモジュール（光学系）、１２０・・・撮像素子、１３０・・・相関二重サンプリング（ＣＤＳ）回路、１４０・・・自動利得制御（ＡＧＣ）回路、１５０・・・アナログ・デジタル（ＡＤ）変換回路、１６０・・・信号処理部、１７０・・・画像記録部、１８０・・・ハイパスフィルタ（ＨＰＦ）、１９０・・・操作部、２００・・・ＡＦ処理部、２１０・・・フォーカスレンズ制御部、２２０・・・フォーカスレンズ駆動モータ。

Claims (7)

1. 山登り方式の焦点調節制御を行う撮像装置であって、
   焦点調節可能な光学系と、
   前記光学系を光軸方向に移動させて焦点調節を行う駆動部と、
   ローリングシャッタ機能を有し、前記光学系による被写体像を撮像するための光電変換素子がマトリクス状に配列され、前記ローリングシャッタ機能により、当該配列の行単位で走査して各光電変換素子の電荷蓄積および読み出し動作を行う撮像素子と、
   前記撮像素子により撮像された画像データのコントラストの強弱を示すコントラスト評価値を取得するコントラスト評価値取得手段と、
   前記コントラスト評価値取得手段がコントラスト評価値を取得する際の前記光学系の位置について補正計算を行って求める演算手段と
   を有する撮像装置。
2. 前記演算手段は、前記撮像素子の露光・電荷蓄積と、前記光学系の駆動が同時に行われた場合に前記補正計算を実行する
   請求項１に記載の撮像装置。
3. 前記演算手段は、前記光学系の駆動時間、前記撮像素子上のＡＦウインドウのサイズ、露光時間、の何れか、若しくは全部をパラメータとして前記補正計算を行う
   請求項２に記載の撮像装置。
4. 前記演算手段は、前記補正計算により前記ＡＦウインドウの重心位置を算出することによって前記光学系の位置を求める
   請求項１から３の何れかに記載の撮像装置。
5. 前記演算手段は、前記ＡＦウインドウの重心位置の算出において、当該ＡＦウインドウ内の各々のラインの重心位置を算出し、さらに当該ＡＦウインドウ全体の重心位置を算出する
   請求項４に記載の撮像装置。
6. 前記演算手段は、前記ＡＦウインドウ内の中央部のラインのみについて前記ＡＦウインドウの重心位置の算出を行う
   請求項４に記載の撮像装置。
7. 山登り方式の焦点調節制御を行う撮像方法であって、
   光学系を光軸方向に移動させて焦点調節を行うステップと、
   前記光学系による被写体像を撮像するための光電変換素子がマトリクス状に配列された撮像素子において、ローリングシャッタ機能により、当該配列の行単位で走査して各光電変換素子の電荷蓄積および読み出し動作を行うステップと、
   前記撮像素子により撮像された画像データのコントラストの強弱を示すコントラスト評価値を取得するステップと、
   前記コントラスト評価値取得手段がコントラスト評価値を取得する際の前記光学系の位置について補正計算を行って求めるステップと
   を有する撮像方法。

Images