JP2005283750A - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】 被写界内の任意の被写体に焦点を合わせることができるようにする。
【解決手段】 偶数フィールドが表示される時刻ｔ１１乃至ｔ１２，ｔ１３乃至ｔ１４，ｔ１５乃至ｔ１６，ｔ１７乃至ｔ１８，ｔ１９乃至ｔ２０，ｔ２１乃至ｔ２２において、フォーカスレンズの位置を基準合焦位置である位置L2に設定し、このとき撮像された画像を表示する。また、奇数フィールドが表示される時刻ｔ１０乃至ｔ１１，ｔ１２乃至ｔ１３，ｔ１４乃至ｔ１５，ｔ１６乃至ｔ１７，ｔ１８乃至ｔ１９，ｔ２０乃至ｔ２１，ｔ２２乃至ｔ２３において、フォーカスレンズの位置を基準合焦位置である位置L0乃至L5に順次変化させて、撮像される画像の鮮鋭度に基づいて、合焦位置を検出し、合焦位置を示す情報を、偶数フィールドの表示される画像にオーバラップして表示し、選択できるようにする。
【選択図】 図７

Description

本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、特に、合焦位置を選択できるようにすることで被写界内の任意の被写体に対して焦点を合わせることができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。

オートフォーカスと呼ばれる自動合焦機構を備えた撮像装置が一般に普及している。

この自動合焦機構は、撮像された画像信号の高周波成分を解析することにより、撮像された画像の鮮鋭度を検出し、その高周波成分が最大あるいは極大になるようにフォーカスレンズの位置を制御することにより、合焦状態となるように制御するものである。すなわち、自動合焦機構は、合焦の際に被写体像のエッジでは画像信号が急に変化するために、画像信号の高周波成分が多くなる特性を利用して、高周波成分が最大になるようにフォーカスレンズなどの光学部材を調整し、その被写体像に対して合焦するように制御するものである。

また、静止画の撮像において、対物レンズ又は標本を十分に近い焦点位置から十分に遠い焦点位置まで移動させ、その移動範囲の中で得られた最大のコントラストの位置を記憶しておき、被写体像のコントラストが最大となるように、被写体と対物レンズとの間の距離を調節して焦点を合わせるようにした自動焦点調節方法が提案されている（例えば、特許文献１参照）。
特公平７−７４８５６号公報

しかしながら、上述の手法を動画撮像に適用すると、合焦位置を検出する途中の画像が表示されてしまい非常に見難い画像となってしまうと言う課題があった。

また、被写界内に複数の被写体が存在すると、ユーザが意図していない被写体に合焦してしまうという課題があった。このように複数の被写体に合焦してしまうような場合、どの被写体に合焦すべきかはユーザの判断が必要となる。しかしながら、どの被写体に合焦すべきかを選択するには、自動合焦方式は撮像する画像の鮮鋭度を検出するために、実際にレンズを移動させて、合焦するレンズの位置を検出する必要がある。ところが、レンズの位置を移動させたまま画像が撮像されると、どの被写体にも合焦していない、合焦位置を検出するための動作中の画像が出力あるいは記録され、合焦した画像のみを撮像することができないと言う課題があった。

そこで、被写界を変更しないまま、合焦する対象被写体を選択あるいは変更するために、タッチパネル入力や視線入力などによる鮮鋭度の検出領域を、画像上に表示して、それらのいずれかの領域を指定することで、合焦位置を指定する方法が考案されている。しかしながら、被写界内に合焦位置となる複数の被写体が重なって映ると、タッチパネル入力や視線入力などによって鮮鋭度の検出領域を指定しても、個々の被写体を選択することができず、正確な合焦位置の指定ができないという課題があった。

本発明はこのような状況に鑑みてなされたものであり、特に、被写界内に複数の合焦位置となる被写体が存在しても、表示画像を見難いものとすることなく合焦位置を検出し、適切に任意の被写体を合焦位置に設定することができるようにするものである。

本発明の撮像装置は、第１の撮像期間に光学系の焦点位置を所定の位置に調整して、第２の撮像期間に光学系の焦点位置を変化させるように調整する焦点位置調整手段と、第１の撮像期間に撮像された画像を表示する表示手段と、第２の撮像期間に撮像された画像に基づいて、焦点位置に応じた鮮鋭度の分布を生成する分布生成手段と、分布生成手段により生成された位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置を検出する合焦位置検出手段とを備えることを特徴とする。

前記第１の撮像期間と第２の撮像期間は、交互に繰り返されるようにすることができる。

前記焦点位置調整手段には、フォーカスレンズの位置を移動させることにより、光学系の焦点位置を調整させるようにすることができる。

前記焦点位置調整手段には、撮像素子の位置を移動させることにより、撮像素子に相対する光学系の焦点位置を調整させるようにすることができる。

前記焦点位置調整手段には、光学系の形状を変化させることにより、撮像素子に相対する光学系の焦点位置を調整させるようにすることができる。

前記第２の撮像期間において、焦点位置調整手段にはフォーカスレンズの位置を非等間隔で移動させることにより、焦点位置を調整させるようにすることができる。

前記合焦位置検出手段により検出された合焦位置を示す合焦位置表示画像を生成する合焦位置表示画像生成手段をさらに設けるようにさせることができる。

前記第１の撮像期間に撮像された画像に、合焦位置表示画像生成手段により生成された合焦位置表示画像を合成する画像合成手段をさらに設けるようにさせることができ、表示手段には、合焦位置表示画像が合成されている第１の撮像期間に撮像された画像を表示させるようにすることができる。

前記合焦位置表示画像生成手段により生成された合焦位置表示画像より、合焦位置を選択する選択手段をさらに設けるようにさせることができ、焦点位置調整手段には、第１の撮像期間に撮像される画像の焦点位置を、選択手段により選択された合焦位置に対応する焦点位置に調整させるようにすることができる。

前記光学系のズームを設定するズーム設定手段をさらに設けるようにさせることができ、焦点位置調整手段には、第１の撮像期間に、ズーム設定手段により設定されたズームに対応して、光学系の焦点位置を所定の位置に調整し、ズーム設定手段により設定されたズームに対応して、第２の撮像期間から得た光学系の合焦位置を再計算させるようにすることができる。

本発明の撮像方法は、第１の撮像期間に光学系の焦点位置を所定の位置に調整し、第２の撮像期間に光学系の焦点位置を変化させるように調整する焦点位置調整ステップと、第１の撮像期間に撮像された画像を表示する表示ステップと、第２の撮像期間に撮像された画像に基づいて、焦点位置に応じた鮮鋭度の分布を生成する分布生成ステップと、分布生成ステップの処理で生成された焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置を検出する合焦位置検出ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、第１の撮像期間に光学系の焦点位置の所定の位置への調整と、第２の撮像期間に光学系の焦点位置を変化させるような調整を制御する焦点位置調整制御ステップと、第１の撮像期間に撮像された画像の表示を制御する表示制御ステップと、第２の撮像期間に撮像された画像に基づいて、焦点位置に応じた鮮鋭度の分布の生成を制御する分布生成制御ステップと、分布生成制御ステップの処理で生成された焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置の検出を制御する合焦位置検出制御ステップとを含むことを特徴とする。

本発明のプログラムは、第１の撮像期間に光学系の焦点位置の所定位置への調整と、第２の撮像期間に光学系の焦点位置を変化させるような調整を制御する焦点位置調整制御ステップと、第１の撮像期間に撮像された画像の表示を制御する表示制御ステップと、第２の撮像期間に撮像された画像に基づいて、焦点位置に応じた鮮鋭度の分布の生成を制御する分布生成制御ステップと、分布生成制御ステップの処理で生成された焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置の検出を制御する合焦位置検出制御ステップとをコンピュータに実行させることを特徴とする。

本発明の撮像装置および方法、並びにプログラムにおいては、第１の撮像期間に光学系の焦点位置が所定の位置に調整され、第２の撮像期間に光学系の焦点位置が変化させられるように調整され、第１の撮像期間に撮像された画像が表示され、第２の撮像期間に撮像された画像に基づいて、焦点位置に応じた鮮鋭度の分布が生成され、生成された位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置が検出される。

本発明の撮像装置は、独立した装置であっても良いし、撮像処理を行うブロックであっても良い。

本発明によれば、表示画像を見難いものとすることなく合焦位置を検出することが可能になると共に、適切に、かつ、容易に任意の被写体を合焦位置に設定することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の撮像装置は、第１の撮像期間に撮像される光学系の焦点位置を所定の位置に調整し、第２の撮像期間に撮像される光学系の焦点位置を変化させるように調整する焦点位置調整手段（例えば、図１のドライバ制御部２６）と、第１の撮像期間に撮像された画像を表示する表示手段（例えば、図１の切替部２４によりスイッチ２３が第１の撮像期間のみ端子２３ａに接続されることにより供給される画像を表示するディスプレイ２２）と、第２の撮像期間に撮像された画像に基づいて、焦点位置に応じた鮮鋭度の分布を生成する分布生成手段（例えば、図１の鮮鋭度分布生成部１８）と、分布生成手段により生成された焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置を検出する合焦位置検出手段（例えば、図１の合焦位置検出部１９）とを備えることを特徴とする。

前記合焦位置検出手段により検出された合焦位置を示す合焦位置表示画像を生成する合焦位置表示画像生成手段（例えば、図１の合焦位置表示画像生成部２０）をさらに設けるようにさせることができる。

前記第１の撮像期間に撮像された画像に、合焦位置表示画像生成手段により生成された合焦位置表示画像を合成する画像合成手段（例えば、図１の合成部２１）をさらに設けるようにさせることができ、表示手段には、合焦位置表示画像が合成されている第１の撮像期間に撮像された画像を表示させるようにすることができる。

前記合焦位置表示画像生成手段により生成された合焦位置表示画像より、合焦位置を選択する選択手段（例えば、図１の操作部２５）をさらに設けるようにさせることができ、焦点位置調整手段には、第１の撮像期間に撮像される焦点位置を、選択手段により選択された合焦位置に対応する焦点位置に調整させるようにすることができる。

前記光学系のズームを設定するズーム設定手段（例えば、図１のドライバ制御部２６）をさらに設けるようにさせることができ、焦点位置調整手段には、第１の撮像期間に、ズーム設定手段により設定されたズームに対応して、撮像される光学系の焦点位置を所定の位置に調整し、ズーム設定手段により設定されたズームに対応して、第２の撮像期間から得た光学系の合焦位置を再計算させるようにすることができる。

本発明の撮像方法は、第１の撮像期間に撮像される光学系の焦点位置を所定の位置に調整し、第２の撮像期間に撮像される光学系の焦点位置を変化させるように調整する焦点位置調整ステップ（図６のフローチャートにおけるステップＳ５５，Ｓ６６の処理）と、第１の撮像期間に撮像された画像を表示する表示ステップ（図６のフローチャートにおけるステップＳ６３の処理）と、第２の撮像期間に撮像された画像に基づいて、焦点位置に応じた鮮鋭度の分布を生成する分布生成ステップ（図６のフローチャートにおけるステップＳ６０の処理）と、分布生成ステップの処理で生成された焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置を検出する合焦位置検出ステップ（図６のフローチャートにおけるステップＳ６１の処理）とを含むことを特徴とする。

尚、記録媒体、並びに、プログラムについての対応関係は、撮像方法にそれぞれ対応するものであるので、その説明は省略する。

以下、本発明の一実施の形態であるデジタルビデオカメラ１について、図面を参照して説明する。

固定レンズ１１は、被写界の画像を構成する光を集光して、ズーミングレンズ１２に透過させる。ズーミングレンズ１２は、アクチュエータ２８により図中左右方向に動作するように制御され、その位置に応じて被写界の画像を構成する光を調整することにより、被写界の画像を拡大、または、縮小して、後段のフィールドレンズ１３に透過させる。

フィールドレンズ１３は、固定レンズであり、ズーミングレンズ１２によりズームサイズが調整された被写界の画像を構成する光をフォーカスレンズ１４に透過させる。フォーカスレンズ１４は、アクチュエータ２９により動作が制御され、図中左右方向に移動することで、被写界の画像を構成する光の焦点位置を変えて、結像される画像をCCDイメージセンサ１５に透過させる。

尚、ここで、焦点位置とは、無限遠にある被写体の像が光学ブロック（固定レンズ１１、ズーミングレンズ１２、フィールドレンズ１３、および、フォーカスレンズ１４より構成されるブロック）を介して結像される位置である。また、焦点位置を変化させると言うことは、光学ブロックからCCDイメージセンサ１５上に結像される被写体までの距離を変化させることと同値のことである。

つまり、同じ光学ズーム倍率に対して、焦点位置からCCDイメージセンサ15までの距離が長いとき、画像中で合焦する被写体は、光学ブロックから見て比較的近い位置に存在する被写体であり、焦点位置からCCDイメージセンサ15までの距離が短いとき、画像中で合焦する被写体は、光学ブロックから見て比較的遠い位置に存在する被写体である。

通常、被写体を撮像する場合、光学ブロックから被写体までの距離を変化させることはできない。そこで、光学ブロックを調整して、光学ブロックからの焦点位置を変化させることで被写体を合焦させる。ここでは、光学ブロックのうち、ズーミングレンズ１２、および、フォーカスレンズ１４の位置を変化させることにより焦点位置を変化させる。

また、光学ブロックを介して結像される被写体が合焦した状態となる光学系の焦点位置（いわゆる被写体のピントが合った状態での光学系の焦点位置）を、特に、合焦位置と称するものとする。従って、画像中に光学ブロックから見て異なる距離に複数の被写体が存在する場合、被写体の位置に応じた（光学ブロックから見た被写体までの距離に応じた）複数の合焦位置が存在することになる。

例えば、光学ブロックから見て遠くに存在する被写体と近くに存在する被写体が、同一の画像中に存在する場合、フォーカスレンズ１４の位置を変化させることで、CCDイメージセンサ15から見た焦点位置を遠い位置から順次近い位置に変化させるとき、近くの被写体が合焦状態となる焦点位置が、第１の合焦位置となり、さらに、遠くの被写体が合焦状態となる焦点位置が、第２の合焦位置となる。

CCD（Charge Coupled Device）イメージセンサ１５は、フォーカスレンズ１４を透過してくる光を光電変換し、各画素単位の電圧値とすることにより、画像信号を生成し、鮮鋭度検出部１７、RAM１６、および、スイッチ２３の端子２３ａに供給する。

鮮鋭度検出部１７は、CCDイメージセンサ１５より供給される画像信号に基づいて、画像の鮮鋭度を求めることにより、鮮鋭度に基づいて評価値を求め、その鮮鋭度を評価値として鮮鋭度分布生成部１８に供給する。より具体的には、例えば、鮮鋭度検出部１７は、CCDイメージセンサ１５より供給された画像に対して、ラプラシアンフィルタなどの鮮鋭度向上処理を施した後、所定の画素値以上となる画像上でエッジを構成する画素の数を求め、そのエッジを構成する画素数を鮮鋭度の評価値として、鮮鋭度分布生成部１８に供給する。尚、鮮鋭度向上処理に用いるフィルタは、ラプラシアンフィルタのみに限定されるものではなく、それ以外のフィルタであってもよい。また、鮮鋭度の評価値は、以上のような手法で求められるものに限定されるものではなく、それ以外の方法で求めるものであっても良く、例えば、画素間のコントラストの大小を鮮鋭度の評価値とするようにしても良い。

鮮鋭度分布生成部１８は、コントローラ兼ドライバ２７を介してポジションセンサ３１より供給される、そのときのフォーカスレンズ１４の位置の情報、ポジションセンサ３０より供給される、そのときのズーミングレンズ１２の位置、および、鮮鋭度検出部１７より供給される鮮鋭度の評価値に基づいて、フォーカスレンズ１４の位置に対する鮮鋭度分布を生成し、合焦位置検出部１９に供給する。

合焦位置検出部１９は、鮮鋭度分布に基づいて、合焦位置に対応するフォーカスレンズ位置を検出し、合焦位置表示画像生成部２０に供給する。より詳細には、鮮鋭度分布は、横軸にフォーカスレンズ１４の位置、縦軸に鮮鋭度の評価値を取ったものであるので、合焦位置検出部１９は、鮮鋭度分布の鮮鋭度が極大値、または、変曲点をとるフォーカスレンズ１４の位置を合焦位置に対応するフォーカスレンズ位置として検出する。すなわち、鮮鋭度分布の鮮鋭度が極大値、または、変曲点をとるフォーカスレンズ１４の位置では、鮮鋭度が高いので（ピントが合った状態であるので）、撮像された画像が合焦している（被写体の像が合焦状態になる）ものとみなされ、そのときのフォーカスレンズ１４の位置が合焦位置に対応するフォーカスレンズ位置として検出される。

合焦位置表示画像生成部２０は、合焦位置検出部１９より供給された合焦位置の情報に基づいて、ユーザに視覚的に合焦する位置を認識させるための画像を生成し、合成部２１に供給する。

合成部２１は、スイッチ２３を介して、CCDイメージセンサ１５により供給される画像信号に、合焦位置表示画像生成部２０より供給される合焦位置表示画像をオーバラップさせて合成し、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、プラズマ・ディスプレイパネル（PDP）、有機発光ダイオード（OLED）、薄膜エレクトロ・ルミネッセンス・ディスプレイ（TFEL）、または、フィールドエミッション・ディスプレイ（FED）などからなるディスプレイ２２に表示させる。

RAM１６は、CCDイメージセンサ１５より供給された画像信号の１フィールド分を一時的に記憶して、１フィールド分のタイミングだけ遅延して端子２３ｂに供給する。

切替部２４は、ドライバ制御部２６より供給される今現在撮像されている画像が、偶数番目のフィールドであるか、奇数番目のフィールドであるかを識別する信号に基づいて、スイッチ２３を端子２３ａ、または、２３ｂに切り替える。すなわち、切替部２４は、奇数番目のフィールドである場合、スイッチ２３を端子２３ａに接続し、偶数番目のフィールドである場合、端子２３ｂに接続する。ここで、RAM１６は、上述したように１フィールド分の画像を、１フィールド分のタイミングだけ遅延して端子２３ｂに供給しているので、スイッチ２３は、CCDイメージセンサ１５から奇数番目のフィールドが供給されるとき、端子２３ａより奇数フィールドの画像を合成部２１に供給すると共に、その奇数フィールドの画像は、そのタイミングでRAM１６に蓄えられる。次のタイミングでCCDイメージセンサ１５から偶数番目のフィールドが供給されるとき、スイッチ２３は、端子２３ｂに接続されるので、RAM１６に蓄えられている、直前の奇数番目のフィールドがスイッチ２３より合成部２１に供給され、この処理が繰り返されることになる。

結果として、スイッチ２３からは常に奇数番目のフィールドの画像だけが合成部２１に供給されることになる。

操作部２５は、デジタルビデオカメラ１に対してユーザより焦点位置やズームなどの指示を出すときに操作されるスイッチやボタンなど構成されており、操作内容に応じた操作信号がドライバ制御部２６に供給される。尚、これらの操作部２５は、ディスプレイ２２と一体構造とした、いわゆるタッチパネルとして構成するようにしても良い。

ドライバ制御部２６は、操作部２５からの操作信号に対応するズーミングレンズ１２やフォーカスレンズ１４の動作を制御する信号をコントローラ兼ドライバ２７からフィードバックされるズーミングレンズ１２やフォーカスレンズ１４の位置情報に基づいて、コントローラ兼ドライバ２７に供給すると共に、今現在、CCDイメージセンサ１５により撮像されているフィールドが偶数番目のフィールドであるか、または、奇数番目のフィールドであるかを示す信号を切替部２４に供給する。また、ドライバ制御部２６は、最初に基準となる合焦位置（以下、基準合焦位置と称する）を検出するように、フォーカスレンズ１４を画像が合焦状態となる被写体の光学ブロックから被写体までの距離が段階的に最も近い位置から段階的に遠い位置となるように動作させ、基準合焦位置に対応するフォーカスレンズ１４の位置を検出させる。さらに、基準合焦位置が検出された後、ドライバ制御部２６は、奇数番目のフィールドについては、コントローラ兼ドライバ２７を制御して、フォーカスレンズ１４を基準合焦位置に対応する位置に設定させると共に、偶数番目のフィールドについては、フォーカスレンズ１４の位置を段階的に変化させるように設定させる。

コントローラ兼ドライバ２７は、ドライバ制御部２６からの制御信号を受けると、ポジションセンサ３０，３１により供給されるズーミングレンズ１２やフォーカスレンズ１４の位置情報から、それぞれの移動方向と距離を計算し、計算結果に基づいて、アクチュエータ２８，２９を動作させて、ズーミングレンズ１２やフォーカスレンズ１４を制御信号に応じた位置に移動させる。さらに、コントローラ兼ドライバ２７はズーミングレンズ１２やフォーカスレンズ１４の位置情報をドライバ制御部２６にフィードバックすると同時に、鮮鋭度分布生成部１８に供給する

次に、図２のフローチャートを参照して、図１のデジタルビデオカメラによる撮像処理について説明する。

ステップＳ１において、初期化処理が実行される。

ここで、図３のフローチャートを参照して、初期化処理について説明する。

ステップＳ２１において、ドライバ制御部２６は、コントローラ兼ドライバ２７を制御して、ズーミングレンズ１２をデフォルトとなるズームとなる位置に設定させる。より詳細には、デフォルトのズームが１倍である場合、ドライバ制御部２６は、コントローラ兼ドライバ２７に対して１倍となるズームを実現できる位置にズーミングレンズ１２を移動させるように指令する。この指令に応じて、コントローラ兼ドライバ２７は、ポジションセンサ３０より供給されるズーミングレンズ１２の位置情報に基づいて、１倍となるズームを実現できる位置までの方向と距離を求め、対応する移動方向と距離だけズーミングレンズ１２を移動させるように、アクチュエータ２８を動作させる。

ステップＳ２２において、ドライバ制御部２６は、カウンタLをLminに設定し、コントローラ兼ドライバ２７を制御して、フォーカスレンズ１４の位置Ｌを画像が合焦状態となる被写体の光学ブロックから被写体までの距離が最も短くなる位置、すなわち、光学系の焦点位置をカウンタL＝Ｌminに対応する位置に設定させる。より詳細には、ドライバ制御部２６は、コントローラ兼ドライバ２７に対して焦点位置がズーミングレンズ１２位置における捜査範囲の中でCCDイメージセンサ１５から最も遠くなる位置Ｌminにフォーカスレンズ１４を移動させるように指令する。この指令に応じて、コントローラ兼ドライバ２７は、ポジションセンサ３１より供給されるフォーカスレンズ１４の位置情報に基づいて、Ｌminまでの方向と距離を求め、対応する移動方向と距離だけフォーカスレンズ１４を移動させるように、アクチュエータ２９を動作させる。尚、以降の説明において、ズーミングレンズ１２、および、フォーカスレンズ１４を移動させる処理は同様であるので、コントローラ兼ドライバ２７、アクチュエータ２８，２９、および、ポジションセンサ３０，３１の動作の説明を省略するものとする。

ステップＳ２３において、ドライバ制御部２６は、切替部２４を制御して、スイッチ２３を端子２３ａに接続させる。

ステップＳ２４において、CCDイメージセンサ１５は、固定レンズ１１、ズーミングレンズ１２、フィールドレンズ１３、および、フォーカスレンズ１４を介して透過してくる光からなる画像を、撮像して画像信号として鮮鋭度検出部１７、RAM１６、および、スイッチ２３の端子２３ａに供給する。今、スイッチ２３は、端子２３ａに接続されているので、この処理により、撮像された画像は、合成部２１に供給されることになる。

ステップＳ２５において、鮮鋭度検出部１７は、CCDイメージセンサ１５より供給された画像の鮮鋭度を検出する。すなわち、鮮鋭度検出部１７は、例えば、供給された画像信号に対してラプラシアンフィルタを掛けて、鮮鋭度を高めた後、画素値が所定の値以上となる画素、すなわち、エッジが構成されている可能性の高い画素の数を鮮鋭度の評価値として鮮鋭度分布生成部１８に供給する。

ステップＳ２６において、鮮鋭度分布生成部１８は、ポジションセンサ３１より供給されるフォーカスレンズ１４の位置と、鮮鋭度検出部１６より供給された鮮鋭度の情報に基づいて、鮮鋭度分布を生成し、合焦位置検出部１９に供給する。鮮鋭度分布は、フォーカスレンズの位置を横軸として、鮮鋭度を縦軸にした分布であり、フォーカスレンズの位置情報と鮮鋭度の情報が、繰り返し供給されていくにつれて蓄積されていくものである。

ステップＳ２７において、合焦位置検出部１９は、鮮鋭度分布生成部１８より供給された鮮鋭度分布より、合焦位置が検出されるか否かを判定する。より具体的には、合焦位置検出部１９は、鮮鋭度分布に基づいて、画像の鮮鋭度の極大点、または、変曲点が検出されたか否かに基づいて、合焦位置に対応するフォーカスレンズの位置を検出する。例えば、ステップＳ２７において、合焦位置が検出されなかったと判定された場合、ステップＳ２８において、ドライバ制御部２６は、カウンタLを所定の間隔ｄだけインクリメントする。

ステップＳ２９において、ドライバ制御部２６は、カウンタLが最大値Ｌmaxより大きいか否かを判定し、例えば、大きくない判定した場合、その処理は、ステップＳ３０に進み、コントローラ兼ドライバ２７を制御して、フォーカスレンズ１４の位置を位置Lに設定させ、その処理は、ステップＳ２４に戻る。

ステップＳ２７において、合焦位置が検出されたと判定された場合、ステップＳ３２において、ドライバ制御部２６は、検出された合焦状態となるカウンタLからｄを引いた値L−dを基準合焦位置に対応するフォーカスレンズ位置Lbとして設定すると共に、フォーカスレンズ１４をカウンタL＝Lbに対応する位置に設定させる。すなわち、鮮鋭度の極大点、または、変曲点は、フォーカスレンズ１４が、実際の鮮鋭度の極大点、または、変曲点を越えた位置でなければ検出できないので、鮮鋭度の極大点、または、変曲点が検出されたフォーカスレンズ１４の位置よりも距離ｄ分だけ戻った位置（L−d）が合焦状態となる位置として設定される。

ステップＳ３３において、合成部２１は、スイッチ２３より供給されてくる撮像された画像をディスプレイ２２に表示させる。すなわち、初期化処理においては、合焦位置表示画像生成部２０は、動作しないため、合焦位置表示画像が生成されないので、合成部２１は、スイッチ２３より供給された画像をそのままディスプレイ２２に表示させる。

ステップＳ２９において、カウンタLがLmaxよりも大きいと判定された場合、ステップＳ３１において、合焦位置検出部１９は、生成された鮮鋭度分布の変化傾向が単調増加あるいは単調減少するか判断し、その変化傾向が単調増加の場合は、カウンタLにLmax+dを設定し、単調減少の場合はカウンタLにLmin+dを設定する。その後、ステップＳ３２に進む。

すなわち、ステップＳ２４乃至３０の処理が繰り返されることにより、図４で示されるように、フォーカスレンズ１４の位置がLminであるL₀から距離ｄ間隔で、位置L₁乃至L₅（LmaxをL₅）まで移動させられる。尚、図４においては、縦軸がフォーカスレンズ１４の位置を示しており、ズーミングレンズの位置に応じて、捜査範囲（位置L₀乃至L₅まで）が設定されている。また、横軸は、時間を示しており、時刻ｔ₀乃至ｔ₁期間に、第１フィールドが撮像され、時刻ｔ₁乃至ｔ₂期間に、第２フィールドが撮像され、時刻ｔ₂乃至ｔ₃期間に、第３フィールドが撮像され、時刻ｔ₃乃至ｔ₄期間に、第４フィールドが撮像され、時刻ｔ₄乃至ｔ₅期間に、第５フィールドが撮像され、時刻ｔ₅乃至ｔ₆期間に、第６フィールドが撮像される。

すなわち、図４で示されるように、第1フィールドが撮像される時刻ｔ₀乃至ｔ₁においては、フォーカスレンズ１４は、カウンタL₀に対応する位置に設定され、第２フィールドが撮像される時刻ｔ₁乃至ｔ₂においては、フォーカスレンズ１４は、カウンタL₁に対応する位置に設定され、さらに第３フィールドが撮像される時刻ｔ₂乃至ｔ₃においては、フォーカスレンズ１４は、カウンタL₂に対応する位置に設定され、また、第４フィールドが撮像される時刻ｔ₃乃至ｔ₄においては、フォーカスレンズ１４は、カウンタL₃に対応する位置に設定され、さらに第５フィールドが撮像される時刻ｔ₄乃至ｔ₅においては、フォーカスレンズ１４は、カウンタL₄に対応する位置に設定され、また、第６フィールドが撮像される時刻ｔ₅乃至ｔ₆においては、フォーカスレンズ１４は、カウンタL₅に対応する位置に設定される。すなわち、図４においては、フォーカスレンズ１４は、図１における図中の左右方向に６段階に位置を変化させられる。例えば、図中の最左位置が図４の位置L₀に相当する場合、距離ｄの間隔で右方向に６段階にフォーカスレンズ１４が移動させられて、焦点位置が変化させられていることになる。

そして、ステップＳ２５の処理により、鮮鋭度分布生成部１８は、各フォーカスレンズ１４の位置毎に、鮮鋭度が検出されることにより、例えば、図５で示されるような、鮮鋭度分布を生成する。図５においては、縦軸が鮮鋭度を示しており、横軸がフォーカスレンズ１４の位置を示している。図５においては、フォーカスレンズ１４の位置が位置Ｌ₂であるとき、鮮鋭度が極大値ｐを示すので、カウンタL＝L₃のとき、ステップＳ２７において、合焦状態が検出されることになるので、例えば、カウンタL₄以降では、ステップＳ２４乃至Ｓ３０の処理がなされないことになり、さらに、カウンタL＝Ｌ₂に対応する位置にフォーカスレンズ１４が設定されて、その状態で撮像された画像がディスプレイ２２に表示されることになる。

結果として、フォーカスレンズ１４が、基準合焦位置に対応するフォーカスレンズの位置Lbに設定され、光学ブロックからみて撮像範囲以内に最も近い被写体に合焦した状態で撮像された画像が表示されることになる。

ここで、図２のフローチャートの説明に戻る。

ステップＳ２において、多点合焦位置検出処理が実行される。

ここで、図６のフローチャートを参照して、多点合焦位置検出処理について説明する。

ステップＳ５１において、ドライバ制御部２６は、ズーミングレンズ１２をセットされた位置に設定する。すなわち、最初の処理の場合、ステップＳ１の処理により、ズーミングレンズ１２は、デフォルトが１倍の場合、１倍のズームとなる位置に設定され、それ以降の場合、後述するステップＳ７の処理で設定されたズーミングレンズの位置に設定される。

ステップＳ５２において、ドライバ制御部２６は、今現在撮像される画像のフィールドが偶数フィールドのタイミングであるか否かを判定する。ここでは、フィールド番号は、開始番号を１として、順次１ずつインクリメントされるものとする。従って、例えば、最初の処理では、フィールドは第１フィールドとなるので、偶数フィールドではないと判定され、その処理は、ステップＳ５３に進む。

ステップＳ５３において、ドライバ制御部２６は、最初の処理であるか否かを判定し、例えば、最初の処理である場合、ステップＳ５４において、カウンタLを最小値Lminに設定する。すなわち、図４の場合、フォーカスレンズ１４がL₀乃至L₅の６段階に移動可能な場合、最小値Lminは、位置L₀となる。

ステップＳ５５において、ドライバ制御部２６は、カウンタLに対応する位置に、フォーカスレンズ１４を設定する。

ステップＳ５６において、ドライバ制御部２６は、切替部２４を制御して、スイッチ２３を端子２３ｂに接続させる。

ステップＳ５７において、CCDイメージセンサ１５は、固定レンズ１１、ズーミングレンズ１２、フィールドレンズ１３、および、フォーカスレンズ１４を介して透過してくる光からなる画像を、撮像して画像信号として鮮鋭度検出部１７、RAM１６、および、スイッチ２３の端子２３ａに供給する。

ステップＳ５８において、RAM１６は、端子２３ｂおよびスイッチ２３を介して、直前に撮像されたフィールドの画像を合成部２１に供給する。すなわち、合成部２１には、CCDイメージセンサ１５で撮像された画像ではなく、RAM１６に記憶されている画像が供給される。

ステップＳ５９において、図３のフローチャートのステップＳ２５の処理と同様に、鮮鋭度検出部１７は、CCDイメージセンサ１５より供給された画像から鮮鋭度を計算し、その鮮鋭度を鮮鋭度分布生成部１８に供給する。

ステップＳ６０において、図３のフローチャートのステップＳ２６の処理と同様に、鮮鋭度分布生成部１８は、ポジションセンサ３１より供給されるフォーカスレンズ１４の位置と、鮮鋭度検出部１６より供給された鮮鋭度の情報に基づいて、鮮鋭度分布を生成し、合焦位置検出部１９に供給する。

ステップＳ６１において、図３のフローチャートのステップＳ２６の処理において合焦位置の有無を判定するときの処理と同様に、合焦位置検出部１９は、鮮鋭度検出部１７より供給された鮮鋭度分布より合焦位置を検出し、合焦位置表示画像生成部２０に供給する。尚、この処理においては、合焦位置が必ずしも検出されないこともあり、そのような場合、合焦位置なしの情報が供給される。

ステップＳ６２において、合焦位置表示画像生成部２０は、合焦位置検出部１９よりう供給された合焦位置の情報に基づいて、合焦位置表示画像を生成し、図示せぬ内蔵するメモリに記憶させる。

ステップＳ６３において、合成部２１は、RAM１６より供給される直前のフィールドの画像に、合焦位置表示画像生成部２０の図示せぬ内蔵するメモリに記憶されている合焦位置表示画像をオーバラップして合成させ、ディスプレイ２２に表示させる。

一方、ステップＳ５３において、最初の処理ではないと判定された場合、ステップＳ６４において、ドライバ制御部２６は、カウンタLをｄだけインクリメントする。ステップＳ６５において、ドライバ制御部２６は、カウンタLが最大値Lmaxよりも大きいか否かを判定し、大きい場合、その処理は、ステップＳ５４に進み、大きくないと判定された場合、その処理は、ステップＳ５５に進む。

すなわち、ステップＳ６４において、処理前のカウンタLが、図４で示されるL₁であった場合、ｄだけインクリメントされることにより、カウンタLは、L₂とになり、結果として、ステップＳ５５において、対応する位置にフォーカスレンズ１４が設定されることになる。また、処理前のカウンタLが、図４で示されるL₅であった場合、ｄだけインクリメントされることにより、最大値L₅を越えることになり、結果として、ステップＳ５４において、最小値に戻されることになる。

また、ステップＳ５２において、偶数フィールドではない、すなわち、奇数フィールドである場合、その処理は、ステップＳ６６に進み、ドライバ制御部２６は、フォーカスレンズ１４の位置を、ステップＳ１の処理により求められた基準合焦位置に対応するフォーカスレンズ１４の位置Lbに設定する。

ステップＳ６７において、ドライバ制御部２６は、スイッチ２３を端子２３ａに接続する。ステップＳ６８において、CCDイメージセンサ１５は、固定レンズ１１、ズーミングレンズ１２、フィールドレンズ１３、および、フォーカスレンズ１４を介して透過してくる光からなる画像を、撮像して画像信号として鮮鋭度検出部１７、RAM１６、および、スイッチ２３の端子２３ａに供給する。

ステップＳ６９において、RAM１６は、CCDイメージセンサ１５より供給された画像を記憶し、その処理は、ステップＳ６３に進む。

以上の処理が繰り返されることにより、フォーカスレンズ１４は、図７で示されるように挙動することになる。図７においては、図４と同様に、縦軸がフォーカスレンズ１４の位置を示しており、横軸が時刻を示している。尚、図７の説明においては、基準合焦位置に対応するフォーカスレンズ１４の位置LｂがL₂であるものとするが、これ以外の位置が基準合焦位置に対応するフォーカスレンズ１４の位置であっても良いことは言うまでも無いことである。

すなわち、時刻ｔ１０乃至ｔ１１においては、CCDイメージセンサ１５により撮像される画像が、第１フィールド＝奇数フィールドであり、さらに、最初の処理であるので、ステップＳ５４の処理により、カウンタLがLmin＝L₀に設定され、対応する位置にフォーカスレンズ１４が設定される。さらに、その次のタイミングである時刻ｔ１１乃至ｔ１２においては、CCDイメージセンサ１５により撮像される画像が、第２フィールド＝偶数フィールドであるので、フォーカスレンズ１４は、基準合焦位置に対応するフォーカスレンズ１４の位置Lb（≒L₂）に設定される。

さらに、時刻ｔ１２乃至ｔ１３においては、CCDイメージセンサ１５により撮像される画像が、第３フィールド＝奇数フィールドであり、さらに、最初の処理ではないので、ステップＳ６４において、カウンタLがｄだけインクリメントされることにより、カウンタL＝L₁に設定されることになるので、フォーカスレンズ１４が位置L₀から位置L₁に移動される。

また、その次のタイミングである時刻ｔ１３乃至ｔ１４においては、CCDイメージセンサ１５により撮像される画像が、第４フィールド＝偶数フィールドであるので、フォーカスレンズ１４は、基準合焦位置に対応するフォーカスレンズ１４の位置Lb（≒L₂）に設定される。

同様にして、時刻ｔ１４乃至ｔ１５においては、CCDイメージセンサ１５により撮像される画像が、第５フィールド＝奇数フィールドであり、さらに、最初の処理ではないので、ステップＳ６４において、カウンタLがｄだけインクリメントされることにより、カウンタL＝L₂に設定されることになるので、フォーカスレンズ１４が位置L₁から位置L₂に移動される。

以降、その次のタイミングである時刻ｔ１５乃至ｔ１６，ｔ１７乃至ｔ１８，ｔ１９乃至ｔ２０，ｔ２１乃至ｔ２２においては、CCDイメージセンサ１５により撮像される画像が、第６，８，１０，１２フィールド＝偶数フィールドであるので、フォーカスレンズ１４は、基準合焦位置に対応するフォーカスレンズ１４の位置Lbに設定される。

また、時刻ｔ１６乃至ｔ１７，ｔ１８乃至ｔ１９，ｔ２０乃至ｔ２１においては、CCDイメージセンサ１５により撮像される画像が、第７，９，１１フィールド＝奇数フィールドであり、さらに、最初の処理ではないので、ステップＳ６４において、順次カウンタLがｄだけインクリメントされることにより、カウンタLが順次L＝L₃，L₄，L₅に設定されることになるので、それぞれのｔ１６，ｔ１８、ｔ２０のタイミングで、フォーカスレンズ１４が位置L_bから位置L₃に、位置L_bから位置L₄に、位置L_bから位置L₅にそれぞれ移動されて設定される。

そして、時刻ｔ２２乃至ｔ２３においては、第１３フィールド＝奇数フィールドであり、さらに、最初の処理ではないので、ステップＳ６４において、順次カウンタLがｄだけインクリメントされることにより、カウンタL＝L₅＋ｄとなるが、ステップＳ６５において、最大値Ｌmax以上であると判定されて、ステップＳ５４において、カウンタL＝Lmin＝L₀に設定されることになるので、結果として、フォーカスレンズ１４が位置L₂から位置L₀に移動され、以降、同様の処理が繰り返されることになる。

以上の処理により、フォーカスレンズ１４は、偶数番目のフィールドが撮像されるとき、図７の太実線で示されるように基準合焦位置に対応するフォーカスレンズ１４の位置Lbに移動され、奇数番目のフィールドが撮像されるとき、図７の細実線で示されるように順次フォーカスレンズ１４の位置が段階的に変化する。結果として、偶数番目のフィールドが撮像されるとき、ステップＳ６７の処理により、スイッチ２３が端子２３ａに接続され、基準合焦位置に対応するフォーカスレンズ１４の位置にフォーカスレンズ１４が設定されたときは、CCDイメージセンサ１５から供給された画像が合成部２１に供給され、奇数番目のフィールドが撮像されるとき、ステップＳ５６の処理により、スイッチ２３が端子２３ｂに接続され、基準合焦位置に対応するフォーカスレンズ１４の位置にフォーカスレンズ１４が設定された状態で撮像されている、RAM１６に記憶された、直前のフィールド（＝偶数フィールド）の画像が合成部２１に供給されることになるので、１フィールド単位でフォーカスレンズ１４が移動しているにもかかわらず、ディスプレイ２２には、フォーカスレンズ１４が基準合焦位置に対応するフォーカスレンズ１４の位置Lbに設定された状態で撮像された、偶数フィールドの画像のみが表示されることになり、常に、焦点があっている画像が表示されることになるので、フォーカスレンズ１４が移動することにより合焦位置を検出している期間に撮像される、焦点が必ずしも合っていないような画像を表示しないようにすることが可能となる。

一方、奇数番目のフィールドのタイミングでは、フォーカスレンズ１４が順次異なる位置で撮像された画像に基づいて、ステップＳ５９乃至Ｓ６０の処理が繰り返されることにより、例えば、図８で示されるような鮮鋭度分布が生成され、この鮮鋭度分布に基づいて、ステップＳ６１において、合焦位置が求められる。図８においては、縦軸が鮮鋭度を示す評価値を示し、横軸がフォーカスレンズの位置を示している。例えば、図８のような鮮鋭度分布が得られた場合、図中のフォーカスレンズの位置Ln，Lfにおいて、極大値、または、最大値を取っているので、合焦位置として位置Ln，Lfが求められることになる。

さらに、ステップＳ６２の処理により、合焦位置表示画像が生成されて、ステップＳ６３において、撮像された画像にオーバラップして合成され、例えば、図９で示されるようにディスプレイ２２に表示される。ここで、図９の画像５１は、手前に金網状のフェンスがあり、その奥にバスケットゴールが撮像された画像である。さらに、図９においては、合焦位置表示画像として、その画像上にオーバラップされた状態で、図中下部に左右方向に矢印上の直線６１が設けられ、その左端部に「Near」、右端部に「Far」とそれぞれ記載され、合焦位置を示すコラム６２，６３が表示されている。

直線６１は、ズーミングレンズ１４の位置を示すスケール（焦点位置を示すスケールとも言える）であり、各コラム６２，６３は、合焦位置を示しており、例えば、鮮鋭度分布が図８で示されるような場合、コラム６２が、位置Lnに、コラム６３が位置Lfにそれぞれ対応しており、また、各コラムの図中の縦方向の長さが、評価値の大きさを示している。さらに、コラム６２，６３は、操作部２５により所定のポインタなどにより選択することができる。

このように合焦位置表示画像が撮像された画像上にオーバラップして表示されることにより、ユーザは、ディスプレイ２２に表示された画像を見るだけで、今現在の被写界の画像において、複数の合焦位置を、フォーカスレンズ１４の位置（合焦位置（合焦できる被写体の位置）はフォーカスレンズ１４で調整され、光学系全体の焦点距離はズーミングレンズで調整される）に応じて認識することが可能となる。

ここで、図２のフローチャートの説明に戻る。

ステップＳ３において、ドライバ制御部２６は、合焦位置が変更されたか否かを判定する。すなわち、例えば、図９で示されるような画像５１がディスプレイに表示されていた場合、ドライバ制御部２６は、操作部２５が操作されて、今現在の基準合焦位置に対応するコラムではない、合焦位置を示すコラムが選択されたか否かを判定する。例えば、今現在の基準合焦位置が、コラム６２に対応する合焦位置であった場合（Lb＝Ｌｎであった場合）、コラム６３が選択されると、合焦位置が変更されたと判定され、その処理は、ステップＳ４に進む。

ステップＳ４において、ドライバ制御部２６は、フォーカスレンズ１４を変更された（選択された）合焦位置に対応する位置Ｌｆに移動させ、ステップＳ５において、移動された位置を基準合焦位置に対応するフォーカスレンズ１４の位置Lbに設定し、その処理は、ステップＳ２に戻る。

すなわち、ステップＳ４の処理により、フォーカスレンズ１４は、図８で示される鮮鋭度分布で示される位置Ｌｆに移動され、さらに奥側に存在する被写体に焦点が合わされている、例えば、図１０で示される画像７１のような画像が表示される。ここで、図１０の画像７１は、フェンスの奥に存在するバスケットゴールに焦点が合わされた、手前のフェンスに焦点が合っていない画像となる。また、ステップＳ５の処理により、この状態のバスケットゴールが合焦状態となっているフォーカスレンズ１４の位置Ｌｆが、基準合焦位置に対応するフォーカスレンズ１４の位置Lbに設定されて、ステップＳ２以降の処理が繰り返される。

以上のような処理により、ユーザは、ディスプレイ２２に表示された合焦位置表示画像を見て、複数の合焦位置から任意の合焦位置を選択し、さらに、選択された合焦位置の画像を切り替えて表示させることが可能となる。

ここで、図２のフローチャートの説明に戻る。

ステップＳ３において、合焦位置が変更されなかった場合、ステップＳ６において、ドライバ制御部２６は、操作部２５が操作されて、ズームが変更されたか否かを判定し、例えば、ズーム倍率が変更された場合、ステップＳ７において、変更された倍率に対応して、ズーミングレンズ１２を動作させ、ステップＳ８において、合焦位置のデータを変更（クリア）させた後、その処理は、ステップＳ２に戻る。すなわち、ズーミングレンズ１２の位置が変化すると、光学系の焦点距離が変化し、鮮鋭度分布そのものも変化することになるので、結果として、それまでの合焦位置のデータ（より具体的には、鮮鋭度分布）を使うことができなくなる。そこで、ステップＳ８の処理では、それまでの合焦位置データである鮮鋭度分布を変更して（クリアして）、ステップＳ２の処理において、新たなズーミングレンズ１２の位置での合焦位置を検出し直す（鮮鋭度分布を新たに求める）ようにする。尚、ズーミングレンズ１２の特性がわかっているような場合、それまでの合焦位置のデータ（鮮鋭度分布）を新たなズーミングレンズ１２の位置に対応するように計算して変更させるようにしてもよく、このとき、合焦位置のデータ（鮮鋭度分布）は継続的に保持されることになる。

ステップＳ６において、ズームが変更されていないと判定された場合、ステップＳ９において、ドライバ制御部２６は、撮像の終了が指示されたか否かを判定し、例えば、撮像の終了が指示された場合、その処理を終了する。また、ステップＳ９において、撮像の終了が指示されていないと判定された場合、その処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。

すなわち、ステップＳ１の処理により、最初は、光学ブロックからみて撮像範囲以内に最も近い被写体に合焦した状態で撮像された画像が表示され、その状態で、ステップＳ２の処理により、複数の合焦位置が検出される。このとき、例えば、図９の画像５１が、ディスプレイ２２に表示されることにより、初期段階の画像に、合焦位置の情報を示す合焦位置表示画像がオーバラップして表示されるので、そのコラムの位置、数、および大きさにより、合焦位置の距離、合焦位置の数、および、合焦位置における鮮鋭度の評価レベルを認識することが可能となる。また、コラムを選択することで、複数の合焦位置のうち、所望とする合焦位置にフォーカスレンズ１４の位置を切り替えることができるので、例えば、コラム６３を選択することにより、図９の画像５１から図１０の画像７１に表示画像を切り替えることができ、任意の合焦位置の画像を容易に選択することが可能となる。

結果として、表示された画像内の合焦位置が選択されるだけで、同一被写界内の複数の被写体のうちの任意の被写体に対応するように焦点を切り替えて表示することが可能となる。

尚、以上においては、鮮鋭度分布内に、極大値、または、最大値が２箇所ある場合に、対応する位置を合焦位置であるものとして説明してきたが、鮮鋭度分布においては、極大値、または、最大値のみならず、変曲点を合焦位置とするようにしても良い。すなわち、図１１で示されるような鮮鋭度分布が得られたような場合、位置Lo，Lp，Lqをそれぞれ合焦位置として認識するようにしても良い。これは、一般に、合焦位置は、焦点位置を変化させながら撮像される画像の鮮鋭度が極大値、または、最大値となる焦点位置であるが、これらが重なり合うような場合、すなわち、被写界内に複数の合焦位置が存在する場合、極大値、または、最大値同士が重なり合うことがあり、そのような部分には増加領域または減少領域に最大値または極大値をとる領域が重なることにより変曲点が生じることになるので、変曲点近傍には、極大値、または、最大値が存在するものと考えることができるからである。また、図１１における位置Lrのように鮮鋭度が単調増加するような無限遠方を合焦位置とするようにしてもよい。

さらに、以上においては、１フィールド毎にフォーカスレンズ１４の位置が変化するため、CCDイメージセンサ１５の露光期間内にフォーカスレンズ１４の移動が完了していない恐れがある。

例えば、図１２で示されるように、フォーカスレンズ１４を位置LbからLxに移動させる場合について考える。ここで、図１２は、上部が同期信号であり、中段がフォーカスレンズ１４の位置を示しており、下段がCCDイメージセンサ１５の露光期間をカウントするクロックである。尚、図１２の中段は、下段のCCDイメージセンサ１５の露光期間をカウントするクロックに対応したフォーカスレンズ１４の位置を示している。

例えば、図１２中の実線で示されるように、同期信号が立ち上がったタイミングであるクロックC1で、フォーカスレンズ１４が位置Lbから位置Lxに移動を開始するものとする。また、このとき、CCDイメージセンサ１５の露光期間がクロックC6乃至C１２であったとすると、クロックC6乃至C9の期間は、フォーカスレンズ１４が位置Lxに移動中に露光状態になるので、CCDイメージセンサ１５では、フォーカスレンズ１４を位置Lxにしたときの画像を正確に撮像できないことになる。このような場合、例えば、図１２の点線で示されるように、クロックC6までにフォーカスレンズ１４の移動を完了させるような高速で動作できるアクチュエータ２９を用いるようにしても良いが、コストが上がってしまう恐れがある。そこで、このような場合、図１３で示されるように、露光期間をクロックC9乃至C12に減少させることにより、フォーカスレンズ１４が位置Lxへ移動を完了した後に撮像を開始することができるので、アクチュエータ１４などのハードウェアのコストを上げることなく、フォーカスレンズ１４が位置Lxに設定された状態での正確な撮像を実現することが可能となる。

尚、以上においては、図２のフローチャートにおけるステップＳ１の処理において、基準合焦位置を焦点距離が最も手前になる合焦位置としていたが、これに限るものではなく、例えば、最も奥に存在する合焦位置や、上述したように鮮鋭度が単調増加するような場合、無限遠方となるフォーカスレンズ１４の位置を基準位置とするようにしてもよい。また、フォーカスレンズ１４の位置を切り替える順序は、例えば、図４における位置L₀からL₅方向に変化させるだけではなく、L₅からL₀に変化させるようにしてもよく、さらに、位置L₀からL₅に到達した後は、L₅からL₀に変化させるようにして、再びL₀からL₅に変化させるようにしても良い。このようにすることで、フォーカスレンズの最大移動距離を少なくすることができるので、図１２，図１３を参照して説明したような露光期間の減少を最小限にすることが可能となる。

また、以上においては、フォーカスレンズ１４の位置を示すカウンタＬが、間隔ｄでインクリメントされ、これに伴ってフォーカスレンズ１４が、間隔ｄで移動する場合について説明してきたが、常に等間隔の間隔ｄで移動する場合に限らず、非等間隔でカウンタＬを変化させ、フォーカスレンズ１４を非等間隔で移動させるようにしても良い。

さらに、以上においては、図７で示されるように、偶数番目のフィールドの画像をディスプレイ２２に表示し、奇数番目のフィールドの画像を使って合焦位置を求めるようにする場合について説明してきたが、奇数番目のフィールドの画像をディスプレイ２２に表示し、偶数番目のフィールドの画像を使って合焦位置を求めるようにしてもよいし、１フィールド毎に表示したり、合焦位置を求めるようにするのみならず、それ以外の間隔のフィールドの画像を表示に使用したり、合焦位置を求めるものに使用してもよい。

また、以上においては、画像を撮像する素子としてCCDイメージセンサ１５を用いる例について説明してきたが、それ以外のイメージセンサを用いるようにしてもよく、例えば、CCDイメージセンサ１５の代わりにCMOS（Complementary Metal Oxide Semiconductor）イメージセンサを用いるようにしても、同様の効果を奏する。

本発明によれば、被写界内に複数の合焦位置となる被写体が存在しても、表示画像を見難いものとすることなく合焦位置を検出し、適切に、かつ、容易に任意の被写体を合焦位置に設定することが可能となる。

ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１４は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１０１を内蔵している。CPU１０１にはバス１０４を介して、入出力インタフェース１０５が接続されている。バス１０４には、ROM(Read Only Memory)１０２およびRAM(Random Access Memory)１０３が接続されている。

入出力インタフェース１０５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１０６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１０８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部１０９が接続されている。また、磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)、Blu-Ray Disc、および、HD（High-definition）-DVDを含む）、光磁気ディスク１２３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１２４などの記録媒体に対してデータを読み書きするドライブ１１０が接続されている。

CPU１０１は、ROM１０２に記憶されているプログラム、または磁気ディスク１２１乃至半導体メモリ１２４から読み出されて記憶部１０８にインストールされ、記憶部１０８からRAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用したデジタルビデオカメラの構成を示すブロック図である。 撮像処理を説明するフローチャートである。 図２のフローチャートにおける初期化処理を説明するフローチャートである。 初期化処理におけるフォーカスレンズの位置の変化を説明する図である。 鮮鋭度分布を説明する図である。 図２のフローチャートにおける多点合焦位置検出処理を説明するフローチャートである。 多点合焦位置検出処理におけるフォーカスレンズの位置の変化を説明する図である。 鮮鋭度分布を説明する図である。 図１のディスプレイに表示される画像例を示す図である。 図１のディスプレイに表示される画像例を示す図である。 鮮鋭度分布を説明する図である。 フォーカスレンズの移動速度に伴うCCDイメージセンサの露光時間の調整方法を説明する図である。 フォーカスレンズの移動速度に伴うCCDイメージセンサの露光時間の調整方法を説明する図である。 汎用のパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ デジタルビデオカメラ， １１ 固定レンズ， １２ ズーミングレンズ， １３ フィールドレンズ， １４ フォーカスレンズ， １５ CCDイメージセンサ， １６ RAM， １７ 鮮鋭度検出部， １８ 鮮鋭度分布生成部， １９ 合焦位置検出部， ２０ 合焦位置表示画像生成部， ２１ 合成部， ２２ ディスプレイ， ２３ スイッチ， ２３ａ，２３ｂ 端子， ２４ 切替部， ２５ 操作部， ２６ ドライバ制御部， ２７ ドライバ， ２８，２９ アクチュエータ， ３０，３１ ポジションセンサ

Claims (14)

1. 第１の撮像期間に光学系の焦点位置を所定の位置に調整し、第２の撮像期間に光学系の焦点位置を変化させるように調整する焦点位置調整手段と、
   前記第１の撮像期間に撮像された画像を表示する表示手段と、
   前記第２の撮像期間に撮像された画像に基づいて、前記焦点位置に応じた鮮鋭度の分布を生成する分布生成手段と、
   前記分布生成手段により生成された前記位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置を検出する合焦位置検出手段と
   を備えることを特徴とする撮像装置。
2. 前記第１の撮像期間と前記第２の撮像期間は、交互に繰り返される
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記焦点位置調整手段は、フォーカスレンズの位置を移動させることにより、光学系の焦点位置を調整する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記焦点位置調整手段は、撮像素子の位置を移動させることにより、撮像素子に相対する光学系の焦点位置を調整する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記焦点位置調整手段は、光学系の形状を変化させることにより、撮像素子に相対する光学系の焦点位置を調整する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記第２の撮像期間において、前記焦点位置調整手段はフォーカスレンズの位置を非等間隔で移動させることにより、焦点位置を調整する
   ことを特徴とする請求項３に記載の撮像装置。
7. 前記合焦位置検出手段により検出された合焦位置を示す合焦位置表示画像を生成する合焦位置表示画像生成手段をさらに備える
   ことを特徴とする請求項１に記載の撮像装置。
8. 前記第１の撮像期間に撮像された画像に、前記合焦位置表示画像生成手段により生成された合焦位置表示画像を合成する画像合成手段をさらに備え、
   前記表示手段は、前記合焦位置表示画像が合成されている前記第１の撮像期間に撮像された画像を表示する
   ことを特徴とする請求項５に記載の撮像装置。
9. 前記合焦位置表示画像生成手段により生成された合焦位置表示画像より、前記合焦位置を選択する選択手段をさらに備え、
   前記焦点位置調整手段は、前記第１の撮像期間に撮像される画像の焦点位置を、前記選択手段により選択された合焦位置に対応する焦点位置に調整する
   ことを特徴とする請求項１に記載の撮像装置。
10. 前記光学系のズームを設定するズーム設定手段をさらに備え、
    前記焦点位置調整手段は、前記第１の撮像期間に、前記ズーム設定手段により設定されたズームに対応して、光学系の焦点位置を所定の位置に調整し、前記ズーム設定手段により設定されたズームに対応して、第２の撮像期間から得た光学系の合焦位置を再計算させる
    ことを特徴とする請求項１に記載の撮像装置。
11. 前記光学系のズームを設定するズーム設定手段をさらに備え、
    前記焦点位置調整手段は、前記第１の撮像期間に、前記ズーム設定手段により設定されたズームに対応して、光学系の焦点位置を所定の位置に調整し、第２の撮像期間に前記ズーム設定手段により設定されたズームに対応して、光学系の焦点位置を変化させる範囲を調整する
    ことを特徴とする請求項１に記載の撮像装置。
12. 第１の撮像期間に光学系の焦点位置を所定の位置に調整し、第２の撮像期間に光学系の焦点位置を変化させるように調整する焦点位置調整ステップと、
    前記第１の撮像期間に撮像された画像を表示する表示ステップと、
    前記第２の撮像期間に撮像された画像に基づいて、前記焦点位置に応じた鮮鋭度の分布を生成する分布生成ステップと、
    前記分布生成ステップの処理で生成された前記焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置を検出する合焦位置検出ステップと
    を含むことを特徴とする撮像方法。
13. 第１の撮像期間に光学系の焦点位置の所定の位置への調整と、第２の撮像期間に光学系の焦点位置を変化させるような調整を制御する焦点位置調整制御ステップと、
    前記第１の撮像期間に撮像された画像の表示を制御する表示制御ステップと、
    前記第２の撮像期間に撮像された画像に基づいて、前記焦点位置に応じた鮮鋭度の分布の生成を制御する分布生成制御ステップと、
    前記分布生成制御ステップの処理で生成された前記焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置の検出を制御する合焦位置検出制御ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
14. 第１の撮像期間に光学系の焦点位置の所定の位置への調整と、第２の撮像期間に光学系の焦点位置を変化させるような調整を制御する焦点位置調整制御ステップと、
    前記第１の撮像期間に撮像された画像の表示を制御する表示制御ステップと、
    前記第２の撮像期間に撮像された画像に基づいて、前記焦点位置に応じた鮮鋭度の分布の生成を制御する分布生成制御ステップと、
    前記分布生成制御ステップの処理で生成された前記焦点の位置に応じた鮮鋭度の分布に基づいて、被写体の像が合焦状態になる光学系の焦点位置の検出を制御する合焦位置検出制御ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images