JP2023027743A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】あおり撮像においてピント面に対して位置が異なる領域に発生するぼけを低減する。【解決手段】撮像装置１００は、撮像素子１０６と、該撮像素子の撮像面と撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、撮像光学系に含まれるフォーカスレンズ１０２の位置およびあおり角のうち少なくとも一方を制御して、ピント面２０３を光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定する制御手段１５０とを有する。制御手段は、ピント面を撮像対象である第１の対象物の位置に対応する第１の位置とは異なる位置であって第１の対象物の位置が被写界深度内に含まれる第２の位置に設定するように少なくとも一方を制御する。【選択図】図７

Description

本発明は、あおり撮像が可能な撮像装置に関する。

ピントが合う面（ピント面）を傾けること等を目的として、撮像光学系の光軸に直交する面と撮像面とを相対的に傾けることで、あおり（ティルト）撮像が可能である。あおり撮像を行うことで、絞りを絞らずに被写界深度を増やすことができ、光量が少ないシーンにおいても水平奥行き方向の広い範囲の被写体にピントを合わせた撮像を行うことができる。

特許文献１には、撮像により生成された撮像画像内の水平面を検出し、検出された水平面に対してピントが合うように、あおり制御を行う撮像装置が開示されている。特許文献２には、撮像画像内の２つの領域における合焦度を取得し、これら合焦度の差に基づいて奥行き方向にあるそれら２つの領域にピントが合うようにあおり動作とフォーカス動作を制御する撮像装置が開示されている。

特開２０２０－７６９６０号公報 特開２０２１－３３１８９号公報

しかしながら、特許文献１および特許文献２に開示された撮像装置では、あおり撮像に特有のぼけである、ピント面に対する高さの違いにより発生するぼけ（上下ぼけと称されることが多い）については考慮されていない。具体的には、特許文献１の撮像装置のように検出された水平面に対してピントを合わせるあおり制御を行うと、水平面とは高さが異なる被写体に対してぼけが生じるおそれがある。また、特許文献２の撮像装置において、撮像画像内の３つ以上の領域に被写体が存在し、あおり動作とフォーカス動作の制御に使用される２つの領域の被写体に対してそれ以外の領域の被写体の高さが異なっていると、該高さが異なる被写体に対してぼけが生じるおそれがある。

本発明は、ピント面に対して位置（高さ等）が異なる被写体に対して発生するぼけを低減したあおり撮像が可能な撮像装置およびその制御方法等を提供する。

本発明の一側面としての撮像装置は、撮像光学系により形成される光学像を撮像する撮像素子と、該撮像素子の撮像面と撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、撮像光学系に含まれるフォーカスレンズの位置およびあおり角のうち少なくとも一方を制御して、ピント面を光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定する制御手段とを有する。制御手段は、ピント面を撮像対象である第１の対象物の位置に対応する第１の位置とは異なる位置であって第１の対象物の位置が被写界深度内に含まれる第２の位置に設定するように上記少なくとも一方を制御することを特徴とする。

また、本発明の他の一側面としての制御方法は、撮像光学系により形成される光学像を撮像する撮像素子を有する撮像装置に適用される。該制御方法は、撮像素子の撮像面と撮像光学系の光軸に直交する面との間にあおり角が設けられた撮像において、撮像光学系に含まれるフォーカスレンズの位置およびあおり角のうち少なくとも一方を制御して、ピント面を光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定するステップを有する。該ステップにおいて、ピント面を撮像対象である第１の対象物の位置に対応する第１の位置とは異なる位置であって第１の対象物の位置が被写界深度内に含まれる第２の位置に設定するように上記少なくとも一方を制御することを特徴とする。なお、撮像装置のコンピュータに、上記制御方法に従う処理を実行させるプログラムも本発明の他の一側面を構成する。

本発明によれば、あおり撮像において、ピント面と異なる位置で発生するぼけを低減することができる。

実施例１、２の撮像装置の構成を示すブロック図。 あおり制御を説明する図。 あおり被写界深度を説明する図。 下深度端を地面の高さに設定する場合の計算を説明する図。 実施例１において撮像されるシーンの例を示す図。 実施例１の撮像装置が実行する処理を示すフローチャート。 実施例１におけるあおりピント位置の制御前後を示す図。 実施例２の撮像装置が実行する処理を示すフローチャート。 実施例２おいて撮像されるシーンの例を示す図。 実施例２におけるフォーカスサーチを説明する図。 実施例２におけるあおりピント面の制御前後を示す図。 実施例２におけるフォーカス位置を合焦評価値の変化を示す図。 実施例２における絞りを絞ることによる合焦評価値の変化を示す図。 実施例２における絞り制御を考慮したフローチャート。 実施例２における合焦評価値の高低による被写体のイメージ図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例である撮像装置１００の構成を示している。撮像光学系は、光軸方向に移動して焦点距離を変更するズームレンズ１０１と、光軸方向に移動して焦点調節を行うフォーカスレンズ１０２と、光量を調整する絞りユニット１０３とを有する。なお、撮像光学系は、撮像装置１００に一体に設けられてもよいし、撮像装置１００に対して着脱可能であってもよい。撮像光学系を通過した光は、バンドパスフィルタ（ＢＰＦ）１０４およびカラーフィルタ１０５を介して撮像素子１０６上に光学像としての被写体像を形成する。ＢＰＦ１０４は、撮像光学系の光路に対して出入り可能なものでもよい。被写体像は、撮像素子１０６により光電変換される。

本実施例では、撮像光学系の光軸に直交する主面（以下、レンズ主面という）に対して撮像素子１０６の撮像面を傾けて、ピント面をレンズ主面に対して傾けるあおり撮像が可能である。以下の説明において、レンズ主面に対して傾いたピント面を「あおりピント面」という。さらに本実施例では、あおりピント面の上下方向（高さ方向）での位置を、光軸に対してあおりピント面がなす角度が異なるいずれかの位置に設定することが可能である。あおりピント面の高さ方向での位置を、以下の説明では、あおりピント面の高さという。

撮像素子１０６から出力されたアナログ撮像信号（出力信号）は、ＡＧＣ１０７によりゲイン調整され、ＡＤ変換器１０８によりデジタル撮像信号に変換された後、カメラ信号処理部（画像生成手段）１０９に入力される。カメラ信号処理部１０９は、デジタル撮像信号に対して各種画像処理を行って映像信号（撮像画像）を生成する。

映像信号は、通信部１１０を介して撮像装置１００に有線または無線通信により接続された監視モニタ装置１１１に出力される。監視モニタ装置１１１は、撮像装置１００から入力された撮像画像を表示したり記録したりする。また、監視モニタ装置１１１は、ユーザによる指示に応じて、通信部１１０を介して撮像装置１００内のあおり制御部１１７、フォーカス制御部１１８およびズーム制御部１１９にコマンド等の制御信号を出力する。

対象物検出部１１２は、入力された撮像画像から撮像対象である対象物を検出するための画像処理を行う。対象物検出部により検出された対象物の位置情報を含む対象物情報は、通信部１１０を介して合焦度取得部１１４に送られる。合焦度取得部１１４は、対象物情報に基づいて後述する合焦評価値を算出（取得）する。なお、図１では対象物検出部１１２が撮像装置１００の外部に設けられている場合を示しているが、対象物検出部１１２を撮像装置１００の内部に設けてもよい。

あおりピント面検出部１１３は、撮像画像のうち、あおりピント面を設定可能な領域（手前から奥にかけての合焦可能な領域）を検出する。具体的には、撮像画像を複数の領域に分割してフォーカスレンズ１０２を駆動しながら領域ごとに被写体距離を取得する。そして、被写体距離が短い領域から長い領域に順に被写体距離を比較し、隣り合う２つの領域の被写体距離の差が所定値以上である複数の領域（例えば水平領域）をあおりピント面を設定可能な領域として検出する。隣り合う２つの領域の被写体距離の差が所定値未満（例えば０）となる場合は、水平面上に立体物が存在するものとして、あおりピント面を設定可能な領域としては検出しない。

なお、図１ではあおりピント面検出部１１３が撮像装置１００の外部（例えばパーソナルコンピュータ）に設けられている場合を示しているが、あおりピント面検出部１１３を撮像装置１００の内部に設けてもよい。また、対象物検出部１１２とあおりピント面検出部１１３の両方を撮像装置１００の内部に設けてもよい。

また、あおりピント面検出部１１３は、ユーザからの指示に応じて、該ユーザがあおりピント面を設定する意図を有する領域を検出してもよい。すなわち、ユーザが入力した領域をあおりピント面として設定することも可能である。

合焦度取得部１１４は、対象物検出部１１２から受け取った対象物情報のうち位置情報に基づいて合焦度を取得する評価領域（評価枠）を設定する。そして、設定した評価枠ごとに、ＡＤ変換器１０８から受け取ったデジタル撮像信号またはカメラ信号処理部１０９から受け取った映像信号におけるＲＧＢの画素値または輝度値を用いて特定周波数のコントラスト、つまりは合焦度を示す合焦評価値を算出（取得）する。

あおり角／フォーカス量算出部１１５は、あおりピント面の高さを変化させる際のフォーカスレンズ１０２の駆動量としてのフォーカス量と撮像素子１０６のあおり駆動量としてのあおり角を算出する。フォーカス補正量算出部１１６は、あおりピント面に対する高さの違いより発生する上下ぼけを低減するためのフォーカスレンズ１０２の駆動量（または位置）の補正量であるフォーカス補正量を算出する。

あおり制御部１１７は、あおり角／フォーカス量算出部１１５で算出されたあおり角または通信部１１０を介した監視モニタ装置１１１からのユーザによる指示に応じてあおり駆動部１２０に対してあおり設定位置を指示する。あおり駆動部１２０は、撮像素子１０６をあおり制御部１１７により指示されたあおり設定位置に回転させるように撮像素子１０６をあおり駆動する。これにより、あおりピント面がその高さが変化するように移動する。

フォーカス制御部１１８は、あおり角／フォーカス量算出部１１５で算出されたフォーカス量、フォーカス補正量算出部１１６で算出されたフォーカス補正量または通信部１１０を介した監視モニタ装置１１１からの指示に応じて、フォーカス駆動部１２１にフォーカス設定位置を指示する。フォーカス駆動部１２１は、フォーカス制御部１１８から指示されたフォーカス設定位置にフォーカスレンズ１０２を駆動する。このようにして、あおり角／フォーカス量算出部１１５、フォーカス補正量算出部１１６、あおり制御部１１７およびフォーカス制御部１１８により構成される制御手段としてのコントローラ１５０が、あおり駆動部１２０およびフォーカス駆動部１２１を介してあおり制御を行う。

ズーム制御部１１９は、通信部１１０を介した監視モニタ装置１１１からの指示に応じて、ズーム駆動部１２２に対してズーム設定位置を指示する。ズーム駆動部１２２は、ズーム制御部１１９から指示されたズーム設定位置にズームレンズ１０１を駆動する。

次に、あおり制御の概要について、図２を用いて説明する。図２は、撮像装置１００からの距離が互いに異なる２つの対象物Ａ、Ｂとしての人の顔の高さにあおりピント面が位置するようにあおり制御を行った例を示している。あおり制御は、シャインプルーフの原理に基づいて行われる。シャインプルーフの原理は、レンズ主面２０１と撮像面２０２とがある１点（シャインプルーフポイント２０４）で交わるとき、あおりピント面２０３もその点で交わるというものである。撮像光学系の焦点距離をｆ、光軸上での被写体距離をＬ、光軸が水平面に対してなす角度である俯角θとすると、あおり角αはシャインプルーフの原理より、次式（１）で算出される。

これにより、あおりピント面２０３上における近距離から遠距離までの対象物にピントを合わせることが可能となる。

図３を用いて、あおり被写界深度を説明する。あおり制御を行わない（レンズ主面と撮像面が平行である）場合の通常の被写界深度は、合焦位置Ｐ０よりも手前側においてピントが合って見える範囲である前方被写界深度ｄ１と、合焦位置Ｐ０よりも奥側のピントが合って見える範囲である後方被写界深度ｄ２からなる。前方被写界深度ｄ１と後方被写界深度ｄ２は、焦点距離をｆ、光軸上での被写体距離をＬ、Ｆ値をＦｎｏ 、許容錯乱円径をδとするとき次式（２）、（３）で算出される。許容錯乱円径δは、撮像素子１０６の画素ピッチに相当する。

一方、あおり被写界深度は、図３に示すように、該あおり被写界深度の上側の端である上深度端３０１と下側の端である下深度端３０２との間の合焦範囲を意味する。基準となる合焦位置Ｐ０から光軸上において前方被写界距離ｄ１だけ手前側の点をＰ１とし、シャインプルーフポイントＰｓと点Ｐ１を通る直線により上深度端３０１が定義される。また、合焦位置Ｐ０から光軸上において後方被写界距離ｄ２だけ奥側の点をＰ２とするとき、シャインプルーフポイントＰｓと点Ｐ２を通る直線により下深度端３０２が定義される。図３から分かるように、あおり被写界深度は、撮像装置１００からの距離が近い程、合焦範囲の上下方向の幅が狭くなっており、対象物のうち合焦範囲に入らない上部と下部の光学像がぼける「上下ぼけ」が生じやすい。

ここで、あおり被写界深度の一端である下深度端３０２に着目する。図３に示すように、あおりピント面２０３を地面に対応する（理想的には一致する）位置に設定した場合、あおりピント面２０３から下深度端３０２までの合焦範囲は地面よりも下側に存在することになる。撮像画像において、地面より低い対象物は写らないため、あおりピント面２０３から下深度端３０２までの合焦範囲は無駄となる。このように、あおり被写界深度のうち撮像画像に写る対象物が存在しない領域（以下、無効深度領域という）４０１がある場合には、無効深度領域４０１を小さくする（望ましくは無くする）ようにあおりピント面２０３の高さを変化させる。これにより、あおり被写界深度を有効利用して上下ぼけを低減することが可能である。

図４（ａ）、（ｂ）を用いて、あおりピント面２０３の高さを変化させる制御について説明する。図４（ａ）は、無効深度領域４０１を小さくするようにあおりピント面２０３の高さを制御する前の状態を示し、この状態では、図３と同様にあおりピント面２０３が地面（第１の対象物）の高さとなっており、下深度端３０２が地面より低くなっている。このときに光軸に対してあおりピント面２０３がなす角度をβとする。図４（ａ）では、βは図３に示した俯角θと同じである。

図４（ｂ）は無効深度領域４０１を小さくするようにあおりピント面２０３の高さを制御した後の状態を示す。制御後では、図４（ａ）の状態に比べて、下深度端３０２が地面に近い（望ましくは一致する）位置となるようにあおりピント面２０３が上に移動している。このとき、光軸に対してあおりピント面２０３がなす角度β′は、βよりも大きくなっている。

このようにあおりピント面２０３の高さを制御するためには、フォーカスレンズ１０２を至近側（Ｎｅａｒ側）または無限遠側（Ｆａｒ側）に移動させるレンズ制御を行う。例えば、図４（ａ）に示す制御前の状態から図４（ｂ）に示すようにあおりピント面２０３を上に移動させる（光軸に対してあおりピント面２０３がなす角度を大きくする）。このためには、図４（ａ）における光軸上の点Ｐ２を光軸とあおりピント面２０３との交点Ｐ０に一致させるようにフォーカスレンズ１０２をＮｅａｒ側に移動させる。このとき、制御前における光軸上での被写体距離をＬ、制御後における光軸上での被写体距離をＬ′、制御後における後方被写界深度をｄ２′とするとき、以下の式（４）、（５）の関係が成り立つ。

式（４）、（５）の連立方程式により、図４（ｂ）に示すように下深度端３０２を地面の高さに設定するために合焦すべき被写体距離Ｌ′は、以下の式（６）により求めることができる。この被写体距離Ｌ′に合焦する位置にフォーカスレンズ１０２を移動させることで、図４（ｂ）に示すあおりピント面２０３が得られる。

こうして無効深度領域４０１を小さくしてあおり被写体深度領域のほとんどを地面より
上に位置させることで、上下ぼけが生じにくくすることができる。

一方、あおりピント面２０３から上深度端３０１までの間が無効深度領域となる場合は、フォーカスレンズ１０２をＦａｒ側に移動させてあおりピント面２０３を下に移動させる（光軸に対してあおりピント面２０３がなす角度を小さくする）。このときの合焦すべき被写体距離Ｌ′は、以下の式（７）により求めることができる。この被写体距離Ｌ′に合焦する位置にフォーカスレンズ１０２を移動させることで、無効深度領域を小さくすることができる。

以上のようにあおりピント面２０３の高さ（光軸に対してあおりピント面２０３がなす角度）を変化させるようにフォーカスレンズ１０２の位置を制御することで、上下ぼけを低減したあおり撮像が可能となる。すなわち、通常のあおり撮像に比べて広い範囲でピントが合った撮像画像が得られる。

以下、具体的なあおりピント面の制御を示す実施例について説明する。

実施例１では、撮像画像に含まれるあおりピント面を検出し、検出されたあおりピント面２０３の高さを変化させる。図５は、例として、電気製品の工場で様々な電子部品が実装された基板５０３の検査において取得される撮像画像５０１を示している。ここでは、水平な検査台５０２の上に置かれた基板５０３から近距離の位置で撮像光学系のズーム状態を望遠状態としてあおり撮像が行われている。このあおり撮像では、基板５０３に対して撮像光学系の被写界深度が浅く、上下ぼけが発生しやすい。このため、無効深度領域を小さくして上下ぼけの発生を低減するようにあおりピント面２０３の高さを制御することが望ましい。

図６のフローチャートは、あおりピント面を制御するためにコントローラ１５０が実行する処理（制御方法）を示している。コンピュータであるコントローラ１５０は、コンピュータプログラムに従って本処理を実行する。図中のＳは、ステップを意味する。

ステップ６０１では、コントローラ１５０（あおりピント面検出部１１３）は、基準となるあおりピント面を設定する領域（以下、基準あおりピント領域という）を検出する。図５に示した撮像画像５０１では、基板５０３が置かれている水平な検査台（第１の対象物）５０２の領域が基準あおりピント領域として検出される。

次にステップ６０２では、コントローラ１５０（あおり角／フォーカス量算出部１１５）は、ステップ６０１で検出された基準あおりピント領域に合焦させる（つまりは、あおりピント面を基準あおりピント領域の高さに対応する高さ（第１の位置）に設定するためのあおり角とフォーカス量を算出する。

この際、あおり角／フォーカス量算出部１１５は、撮像条件（撮像面から被写体までの光軸上での被写体距離、焦点距離、俯角および撮像装置１００の設置高さ等）を示す情報を各レンズの位置情報、外部センサまたはユーザにより入力された指示等から取得する。そして、これら取得した撮像条件の情報を用いてあおり角とフォーカス量を算出する。

なお、撮像素子１０６を基準あおりピント領域に合焦するようにフォーカスレンズ１０２を駆動した上で、撮像素子１０６のあおり角を所定量ずつ変化させ、合焦度取得部１１４により基準あおりピント領域で取得された合焦度（合焦評価値）が最大となるあおり角を求めてもよい。

次にステップ６０３では、コントローラ１５０（フォーカス補正量算出部１１６）は、ステップ６０２で算出されたフォーカス量を、無効被写界深度を小さくするために実際のあおりピント面を基準あおりピント領域よりも高い位置（目標位置としての第２の位置）に移動させるように補正するためのフォーカス補正量を算出する。図４（ａ）を用いて前述したようにあおりピント面２０３と下深度端３０２との間の合焦範囲が無効深度領域４０１となる場合に、フォーカスレンズ１０２をＮｅａｒ側へ移動させることで無効深度領域４０１を小さく（または無くする）ことができる。このときのフォーカスレンズ１０２の移動量がフォーカス補正量に相当し、フォーカス補正量算出部１１６は前述した式（６）によりフォーカス補正量を算出する。

次にステップ６０４では、コントローラ１５０（あおり制御部１１７）は、あおり駆動部１２０を介して、撮像素子１０６のあおり角がステップ６０２で算出されたあおり角となるように撮像素子１０６をあおり駆動する。また、コントローラ１５０（フォーカス制御部１１８）は、フォーカス駆動部１２１を介して、ステップ６０２で算出されたフォーカス量をステップ６０３で算出されたフォーカス補正量により補正して得られる補正フォーカス量だけフォーカスレンズ１０２を駆動する。

このように本実施例では、あおりピント面２０３が第１の対象物（検査台５０２）の位置に対応する第１の位置に設定されるときのフォーカスレンズ１０２の位置を、あおりピント面２０３が第１の位置とは異なる位置であって第１の対象物の位置が被写界深度内に含まれる第２の位置に設定されるフォーカスレンズ１０２の位置に補正する。

図７（ａ）は、ステップ６０２で算出されたあおり角で撮像素子１０６（撮像面２０２）をレンズ主面２０１に対してあおり駆動し、同ステップで算出されたフォーカス量でフォーカスレンズ１０２を駆動したときのあおりピント面２０３を示している。あおりピント面２０３は、検査台５０２の高さに対応する高さに設定されており、あおりピント面２０３から下深度端３０２までの合焦範囲は検査台５０２よりも下側の無効深度領域４０１となっている。これにより、実際の合焦範囲は、あおりピント面２０３から上深度端３０１までの狭い範囲となっており、撮像装置１００からの距離が近い電子部品の上部があおり被写界深度から外れて、上ぼけが生じている。

これに対して、図７（ｂ）は、ステップ６０２で算出されたあおり角で撮像素子１０６をあおり駆動し、ステップ６０４で得られた補正フォーカス量でフォーカスレンズ１０２を駆動したときのあおりピント面２０３を示している。あおりピント面２０３は、下深度端３０２が検査台５０２の高さに近づく（望ましくは対応する又は一致する）ように検査台５０２よりも上に位置している。このため、無効深度領域４０１がほぼ無くなっている。これにより、撮像装置１００からの距離が近い電子部品の上部も概ねあおり被写界深度内に入り、図７（ａ）よりも上ぼけが低減された撮像画像が得られる。

以上説明したように、本実施例によれば、あおりピント面を第１の位置よりも無効深度領域を小さくなる第２の位置に設定するように制御することで、あおり被写界深度を有効利用して上下ぼけの発生を低減することができる。

なお、本実施例では、あおりピント面を実際に第１の位置に設定することなく（第１の位置に設定するときのフォーカスレンズの位置を算出するのみで）、あおりピント面を第２の位置に設定する場合について説明した。しかし、あおりピント面を第１の位置に設定した後に第２の位置に設定してもよい。

実施例２では、撮像されるシーン内の対象物の検出結果を用いて、そのシーンに適切なあおりピント面が得られるように動的に制御する。本実施例における撮像装置の構成は、後述する判定部を有する以外は実施例１（図１）の撮像装置１００と同じである。

図９（ａ）、（ｂ）はそれぞれ、あおりピント面の動的制御を行うべきシーン９０１、９０２の例を示している。シーン９０１では、対象物としての多くの大人や子供が歩道を歩いており、実線枠で囲まれた大人の顔（第１の対象物）に対して合焦が得られるようにあおりピント面９０３が設定されている。この場合、大人の顔の高さより低い位置において点線枠で囲まれた子供の顔（第２の対象物）に対する合焦が得られず、下ぼけが生じる。

また、シーン９０２は、電車の駅のホームに設置された撮像装置により撮像されるシーンであり、実線枠で囲まれたホーム上の人の顔（第１の対象物）に対して合焦が得られるようにあおりピント面９０４が設定されている。この場合、ホームより下の線路に人が立ち入った異常時に点線枠で囲まれた線路内の人の顔（第２の対象物）に対する合焦が得られず、下ぼけが生じる。

本実施例では、これらのシーンにおいてあおりピント面の高さを適切に設定することにより、上記のような下ぼけを含む上下ぼけを低減する。なお、対象物は、人やその顔以外でもよく、車両やそのナンバープレート等でもよい。

図８のフローチャートは、あおりピント面を制御するためにコントローラ１５０が実行する処理（制御方法）を示している。コンピュータであるコントローラ１５０は、コンピュータプログラムに従って本処理を実行する。なお、本実施例では、図１に括弧書きで示すように、コントローラ１５０内に判定部１３０が設けられている。

ステップ８０１では、コントローラ１５０（あおり制御部１１７およびフォーカス制御部１１８）は、あおりピント面が撮像画像に含まれる第１の対象物の高さに対応する基準となる高さ（第１の位置）となるように撮像素子１０６のあおり駆動およびフォーカスレンズ１０２の駆動を制御する。第１の対象物の高さは、監視モニタ装置１１１を通じてユーザが入力して指定してもよいし、対象物検出部１１２による対象物（歩道上やホーム上の人）の検出結果に基づいて設定された、複数の第１の対象物が存在する高さとしてもよい。

また、あおりピント面を第１の対象物の高さに対応する高さに設定するための撮像素子１０６のあおり角とフォーカスレンズ１０２の移動量であるフォーカス量は、実施例１でも説明したように撮像条件に基づいて算出することができる。さらに、あおり角とフォーカス量を、第１の対象物の像高とデフォーカス量とに基づいて算出したり、複数の第１の対象物のうち合焦度が最大となるあおり角とフォーカス量をサーチして取得したりしてもよい。

図９（ａ）、（ｂ）に示したシーン９０１、９０２においてそれぞれ、あおりピント面９０３、９０４が設定されると、手前から奥までの人の実線枠で囲まれた顔に合焦した撮像画像が得られる。

次にステップ８０２では、コントローラ１５０（判定部１３０）は、対象物検出部１１２により撮像画像における現在のフレーム内において対象物が検出されているか否かを判定する。図９（ａ）、（ｂ）のシーン９０１、９０２では対象物は人の顔である。コントローラ１５０は、現在のフレーム内に人の顔が検出されている場合はステップ８０３に進み、検出されていない場合は次のフレーム内における対象物の検出の有無の判定を繰り返す。

ステップ８０３では、コントローラ１５０（判定部１３０）は、撮像画像において検出された対象物に対する合焦度（合焦評価値）を合焦度取得部１１４から取得する。対象物が複数検出された場合には、個々の対象物に対する合焦度を取得する。

次にステップ８０４では、コントローラ１５０（判定部１３０）は、ステップ８０３で取得した対象物に対する合焦度を所定値である閾値と比較し、合焦度が閾値より低い対象物が存在するか否かを判定する。合焦度が閾値より低い対象物が存在する場合は、撮像画像内にぼけた対象物が存在しており、ステップ８０１においてあおりピント面が適切なあおり被写界深度を与えるように設定されなかったことを意味している。例えば、図９（ａ）、（ｂ）のシーン９０１、９０２において、点線枠により囲まれた顔が合焦度が閾値より低いと判定された対象物である。これら点線枠で囲まれた対象物はあおりピント面９０３、９０４に対して高さ（あおりピント面２０３の位置が設定される方向での位置）が低いために、該対象物に対する下ぼけが生じる。合焦度が閾値より低い対象物が存在する場合はステップ８０５に進み、存在しない場合はステップ８０２に戻る。

ステップ８０５では、コントローラ１５０は（判定部１３０）は、ステップ８０３で取得された対象物ごとの合焦度を全て加算して合焦度の合計値（以下、合計合焦度という）を算出する。そして、フォーカス制御部１１８およびフォーカス駆動部１２１を介してフォーカスレンズ１０２をステップ８０１で駆動した位置から所定量ずつ移動させながら合計合焦度が最大となるフォーカスレンズ１０２の位置（以下、ピークフォーカス位置という）を探索するフォーカスサーチを行う。この際、ステップ８０４で合焦度が閾値より低いと判定された対象物の高さを推定することで、該対象物とあおりピント面との高さの関係に基づいてフォーカスサーチにおけるフォーカスレンズ１０２の駆動方向を決定することができる。

図１０（ａ）、（ｂ）は、フォーカスサーチにおけるフォーカスレンズ１０２の駆動方向の決定方法を示す。図１０（ａ）、（ｂ）では、３つの対象物（顔）Ａ、Ｂ、ＣのうちＡ、Ｃ（第１の対象物）があおりピント面２０３の高さに位置し、Ｂ（第２の対象物）がそれよりも高い位置または低い位置にあってあおり被写界深度から外れている。これらの場合、対象物Ｂに対する合焦度が閾値より低いと判定される。このとき、フォーカスレンズ１０２をＦａｒ側に駆動するとあおりピント面２０３は下に移動し、フォーカスレンズ１０２をＮｅａｒ側に駆動するとあおりピント面２０３は上に移動する。図１０（ａ）では、あおりピント面２０３を適度に上に移動させることで、対象物Ａ、Ｂ、Ｃのすべてがあおり被写界深度内に入る。また図１０（ｂ）では、あおりピント面２０３を適度に下に移動させることで、対象物Ａ、Ｂ、Ｃのすべてがあおり被写界深度内に入る。

この関係を用いることで、無駄なフォーカスレンズ１０２の駆動を行うことなくフォーカスサーチを行うことができ、あおりピント面２０３を適切なあおり被写界深度を与える高さに素早く制御することができる。

また、フォーカスサーチにおけるフォーカスレンズ１０２の駆動範囲を、移動するあおりピント面２０３に対する上深度端３０１と下深度端３０２がそれぞれ移動前のあおりピント面に対応する位置となるフォーカスレンズ１０２の位置を両端とする範囲内とすることが望ましい。言い換えれば、あおりピント面２０３が対象物Ａ、Ｂの高さに対応する高さにあるときの被写界深度の範囲内であおりピント面２０３が移動するようにフォーカスレンズ１０２の駆動範囲を制限することが望ましい。これにより、さらに無駄なフォーカスレンズ１０２の駆動を含まないフォーカスサーチを行うことができる。

次にステップ８０６では、コントローラ１５０（フォーカス制御部１１８）は、フォーカス駆動部１２１を介して、ステップ８０５で探索されたピークフォーカス位置にフォーカスレンズ１０２を駆動する。

このように本実施例では、あおりピント面２０３を第１の対象物（ホーム上の人）の位置に対応する第１の位置に設定し、その後に第１および第２の対象物に対する合焦度を取得する。そして、取得した合焦度に基づいて第１の対象物と第２の対象物（線路内の人）の位置がともに被写界深度内に含まれる目標位置としての第２の位置にあおりピント面２０３を設定するようにフォーカスレンズ１０２の位置を制御する。

図１１（ａ）は、図９（ｂ）のシーンにおいて、ステップ８０１で制御されたあおりピント面２０３、あおり被写界深度（上下深度端３０２、３０３）および対象物（ホーム上の人と線路内の人）の関係を示している。このとき、あおり被写界深度内に入っているホーム上の人に対しては合焦した撮像画像が得られるが、あおり被写界深度から外れた線路内の人についてはぼけた撮像画像しか得られない。

図１１（ｂ）は、図９（ｂ）のシーンにおいて、ステップ８０５でフォーカスレンズ１０２がピークフォーカス位置に制御された後のあおりピント面２０３、あおり被写界深度および対象物の関係を示している。この図では、図１１（ａ）のようにあおりピント面２０３がホーム上の人の顔（第１の対象物）の高さに対応する高さにある場合に比べて、被写界深度の一端である上深度端３０２がホーム上の人の顔の高さに近くなるようにあおりピント面２０３の高さが設定されている。これにより、ホーム上の人も線路内の人もあおり被写界深度（上下深度端３０２、３０３）内に入り、これら全ての人に対して合焦した撮像画像が得られる。

以上説明したように、本実施例では、対象物の検出結果を応じてあおりピント面の高さを動的に設定するように制御することで、対象物の高さが変化する場合でもそれらの対象物に対する上下ぼけの発生を低減することができる。

なお、本実施例のように合焦度を用いた第１および第２の対象物がともに被写界深度内に含まれるようにするあおりピント面の位置の制御を、実施例１で説明した検査台（第１の対象物）５０２と基板（第２の対象物）５０３のあおり撮像に適用してもよい。この場合、検査台５０２と基板５０３のそれぞれに対する合焦度の合計値が最大となるようにあおりピント面を設定することで、結果的に下深度端が検査台５０２に近づいた位置又は対応する位置になるようにしてもよい。

また、図９（ｂ）に示したように複数の対象物が存在する場合に、全ての対象物を認識し易くするために、これら対象物のそれぞれに対する合焦評価値の最小値が最大になるようなピント面の位置の設定を行ってもよい。図１２は、図９（ｂ）におけるホーム上の奥側の対象物、手前側の対象物および線路上の対象物のそれぞれに対するフォーカスレンズの位置ごとの合焦評価値９０５Ａ、９０５Ｂ、９０５Ｃを示している。図１２に示すように、これら３つの対象物に対する合焦評価値９０５Ａ、９０５Ｂ、９０５Ｃの最小値が最大になるようにピント面の位置の設定を行うことで、全ての対象物を認識し易くすることができる。

さらに図９（ｂ）に示したようにホーム上ではなく線路上に対象物が存在する場合のように、通常の検出領域とは異なる検出領域、すなわち通常は対象物が存在しない領域に対象物の存在を検出した場合には、特別な状況が発生しているとみなす。そして、その対象物に対する合焦評価値９０５Ｃを高くするようなフォーカスレンズまたはあおり角の制御を行ってもよい。

フォーカスレンズの位置の変化によって合焦評価値が変化した場合の制御方法について説明を追加する。図１３（ａ）は、図９（ｂ）に示したホーム上の奥前の対象物と手前側の対象物に対する合焦評価値９０５Ａ、９０５Ｂを示している。例えば、フォーカスレンズが至近（Ｎｅａｒ）側から無限遠（Ｆａｒ）側に移動すると、手前側の対象物に対する合焦評価値９０５Ｂが合焦度の閾値（合焦閾値）を下回って手前側の対象物がぼける場合がある。この場合には、絞りユニット１０３を絞ることで、図１３（ｂ）に示すように手前側の対象物に対する合焦評価値９０５Ｂを合焦閾値を上回るように増加させて、手前側の対象物にピントを合わせることができる。奥側の対象物に対する合焦評価値９０５Ａについても同様により増加させることができる。

図１４のフローチャートは、あおりピント面を制御するためにコントローラ１５０が実行する、図８の処理に対する変形例としての処理（制御方法）を示している。この処理を実行するコントローラ１５０も、図１に括弧書きで示すように判定部１３０を有する。図１４中のステップ１４０１～４０６は、図８中のステップ８０１～８０６と同じである。

ステップ１４０６において、ステップ１４０５で探索されたピークフォーカス位置にフォーカスレンズ１０２を駆動したコントローラ１５０は、ステップ１４０７に進む。ステップ１４０７では、コントローラ１５０（判定部１３０）は、ステップ１４０４と同様に、合焦度が閾値より低い対象物が存在するか否かを判定する。合焦度が閾値より低い対象物が存在する場合はステップ１４０８に進み、存在しない場合は本処理を終了する。

ステップ１４０８では、コントローラ１５０は、絞りユニット１０３を撮像条件（被写体距離、焦点距離等）に基づいて調整する。そして本処理を終了する。

なお、本実施例において、対象物の検出と顔認証等の認証系技術とを併せ用してもよい。認証系技術には、認証評価値が所定の認証閾値以上である場合にその対象物が特定の対象物と認証するものがある。この場合に、図１５に示すように合焦評価値が低い対象物については認証もし難い。このため、コントローラ１５０は、合焦評価値（合焦度）に応じて認証閾値を変更する（下げる）ことにより、合焦評価値が低い対象物に対しても特定の対象物との認証率を高めることができる。

また、上記各実施例では、固定されたレンズ主面（つまりは撮像光学系）に対して撮像素子（撮像面）をあおり駆動する場合について説明したが、固定された撮像面に対して撮像光学系をあおり駆動したり、両方をあおり駆動したりしてもよい。すなわち、撮像面と撮像光学系のうち少なくとも一方をあおり駆動すればよい。撮像光学系をあおり駆動する場合において、該撮像光学系が交換タイプである場合は、そのあおり駆動は撮像装置（コントローラ）により制御することが望ましい。

また、上記各実施例では、上下方向において傾きを有するあおりピント面の高さを適切に設定する場合について説明したが、各実施例と同様の制御により水平方向において傾きを有するあおりピント面の水平方向での位置を設定するようしてしてもよい。（その他の実施例） 本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した実施の形態は、以下の構成を含む。
（構成１）
撮像光学系により形成される光学像を撮像する撮像素子と、
前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対する該ピント面の角度が異なるいずれかの位置に設定する制御手段とを有し、
前記制御手段は、前記ピント面を撮像対象である第１の対象物の位置に対応する第１の位置とは異なる位置であって前記第１の対象物の位置が被写界深度内に含まれる第２の位置に設定するように前記少なくとも一方を制御することを特徴とする撮像装置。
（構成２）
前記制御手段は、前記ピント面が前記第１の位置に設定されるときの前記少なくとも一方を、前記ピント面が前記第２の位置に設定されるように補正することを特徴とする構成１に記載の撮像装置。
（構成３）
前記制御手段は、前記フォーカスレンズの位置および前記あおり角を前記ピント面が前記第１の位置に設定されるように制御した後に、前記少なくとも一方を前記ピント面が前記第２の位置に設定されるように制御することを特徴とする構成１に記載の撮像装置。
（構成４）
前記第２の位置は、前記被写界深度の一端が、前記ピント面が前記第１の位置に設定されるときよりも前記第１の対象物の位置に近くなる又は前記第１の対象物の位置に対応する位置となる前記ピント面の位置であることを特徴とする構成１から３のいずれか１つに記載の撮像装置。
（構成５）
前記第２の位置は、前記第１の対象物と、前記ピント面の位置が設定される方向において前記第１の対象物とは位置が異なる撮像対象である第２の対象物とがともに前記被写界深度内に含まれる前記ピント面の位置であることを特徴とする構成１から４のいずれか１つに記載の撮像装置。
（構成６）
前記制御手段は、前記第１の対象物および前記第２の対象物のそれぞれに対する合焦度を取得し、該合焦度に基づいて前記少なくとも一方を制御することを特徴とする構成５に記載の撮像装置。
（構成７）
前記第２の位置は、前記第１の対象物と前記第２の対象物のそれぞれに対して取得された合焦度の合計値が最大となる前記ピント面の位置であることを特徴とする構成６に記載の撮像装置。
（構成８）
前記第２の位置は、複数の対象物とそれぞれに対して取得された合焦度の最小値が最大となる前記ピント面の位置であることを特徴とする構成６に記載の撮像装置。
（構成９）
前記制御手段は、前記ピント面が前記第１の位置に設定されたときの前記第２の対象物に対する前記合焦度が所定値より低い場合に、前記ピント面を前記第２の位置に設定するように前記少なくとも一方を制御することを特徴とする構成６から８のいずれか１つに記載の撮像装置。
（構成１０）
前記制御手段は、
前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
前記ピント面の位置と前記第２の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させる方向を決定することを特徴とする構成６から８のいずれか１つに記載の撮像装置。
（構成１１）
前記制御手段は、前記ピント面が前記第１の位置に設定されているときの被写界深度の範囲内で前記ピント面が移動するように前記フォーカスレンズを前記所定量ずつ移動させることを特徴とする構成１０に記載の撮像装置。
（構成１２）
前記制御手段は、撮像により生成された撮像画像において検出された前記第１の対象物
の位置に基づいて、前記第１の位置を設定することを特徴とする構成１から１１のいずれか１つに記載の撮像装置。
（構成１３）
前記制御手段は、ユーザにより入力された前記第１の対象物の位置に基づいて、前記第１の位置を設定することを特徴とする構成１から１２のいずれか１つに記載の撮像装置。
（構成１４）
前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
前記ピント面の位置と前記第２の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させ、対象被写体の合焦度が所定値より低い場合に前記撮像光学系に含まれる絞りを絞ることを特徴とする構成１から１３のいずれか１つに記載の撮像装置
（構成１５）
前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
通常の検出領域とは異なる検出領域において対象物の存在を検出した場合に、該対象物の合焦度が高くなるように前記少なくとも一方を制御することを特徴とする構成１から１４のいずれか１つに記載の撮像装置。
（構成１６）
前記制御手段は、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより大きくなる位置に設定する際には前記フォーカスレンズを至近側に移動させ、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより小さくなる位置に設定する際には前記フォーカスレンズを無限遠側に移動させることを特徴とする構成１から１５のいずれか１つに記載の撮像装置。
（構成１７）
前記制御手段は、
特定の対象物を認証するための評価値が認証閾値以上である対象物を前記特定の被写体と認証し、
前記合焦度に応じて前記認証閾値を変更することを特徴とする構成１から１６のいずれか１つに記載の撮像装置。
（他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０２ フォーカスレンズ
１０６ 撮像素子
１１３ あおりピント面検出部
１１５ あおり角／フォーカス量算出部
１１６ フォーカス補正量算出部
１１７ あおり制御部
１１８ フォーカス制御部

Claims (19)

1. 撮像光学系により形成される光学像を撮像する撮像素子と、
   前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対する該ピント面の角度が異なるいずれかの位置に設定する制御手段とを有し、
   前記制御手段は、前記ピント面を撮像対象である第１の対象物の位置に対応する第１の位置とは異なる位置であって前記第１の対象物の位置が被写界深度内に含まれる第２の位置に設定するように前記少なくとも一方を制御することを特徴とする撮像装置。
2. 前記制御手段は、前記ピント面が前記第１の位置に設定されるときの前記少なくとも一方を、前記ピント面が前記第２の位置に設定されるように補正することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記フォーカスレンズの位置および前記あおり角を前記ピント面が前記第１の位置に設定されるように制御した後に、前記少なくとも一方を前記ピント面が前記第２の位置に設定されるように制御することを特徴とする請求項１に記載の撮像装置。
4. 前記第２の位置は、前記被写界深度の一端が、前記ピント面が前記第１の位置に設定されるときよりも前記第１の対象物の位置に近くなる又は前記第１の対象物の位置に対応する位置となる前記ピント面の位置であることを特徴とする請求項１に記載の撮像装置。
5. 前記第２の位置は、前記第１の対象物と、前記ピント面の位置が設定される方向において前記第１の対象物とは位置が異なる撮像対象である第２の対象物とがともに前記被写界深度内に含まれる前記ピント面の位置であることを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、前記第１の対象物および前記第２の対象物のそれぞれに対する合焦度を取得し、該合焦度に基づいて前記少なくとも一方を制御することを特徴とする請求項５に記載の撮像装置。
7. 前記第２の位置は、前記第１の対象物と前記第２の対象物のそれぞれに対して取得された合焦度の合計値が最大となる前記ピント面の位置であることを特徴とする請求項６に記載の撮像装置。
8. 前記第２の位置は、複数の対象物とそれぞれに対して取得された合焦度の最小値が最大となる前記ピント面の位置であることを特徴とする請求項６に記載の撮像装置。
9. 前記制御手段は、前記ピント面が前記第１の位置に設定されたときの前記第２の対象物に対する前記合焦度が所定値より低い場合に、前記ピント面を前記第２の位置に設定するように前記少なくとも一方を制御することを特徴とする請求項６に記載の撮像装置。
10. 前記制御手段は、
    前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
    前記ピント面の位置と前記第２の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させる方向を決定することを特徴とする請求項６に記載の撮像装置。
11. 前記制御手段は、前記ピント面が前記第１の位置に設定されているときの被写界深度の範囲内で前記ピント面が移動するように前記フォーカスレンズを前記所定量ずつ移動させることを特徴とする請求項１０に記載の撮像装置。
12. 前記制御手段は、撮像により生成された撮像画像において検出された前記第１の対象物
    の位置に基づいて、前記第１の位置を設定することを特徴とする請求項１に記載の撮像装置。
13. 前記制御手段は、ユーザにより入力された前記第１の対象物の位置に基づいて、前記第１の位置を設定することを特徴とする請求項１に記載の撮像装置。
14. 前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
    前記ピント面の位置と前記第２の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させ、対象被写体の合焦度が所定値より低い場合に前記撮像光学系に含まれる絞りを絞ることを特徴とする請求項１に記載の撮像装置
15. 前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
    通常の検出領域とは異なる検出領域において対象物の存在を検出した場合に、該対象物の合焦度が高くなるように前記少なくとも一方を制御することを特徴とする請求項１に記載の撮像装置。
16. 前記制御手段は、
    前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより大きくなる位置に設定する際には前記フォーカスレンズを至近側に移動させ、
    前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより小さくなる位置に設定する際には前記フォーカスレンズを無限遠側に移動させることを特徴とする請求項１に記載の撮像装置。
17. 前記制御手段は、
    特定の対象物を認証するための評価値が認証閾値以上である対象物を前記特定の被写体と認証し、
    前記合焦度に応じて前記認証閾値を変更することを特徴とする請求項１に記載の撮像装置。
18. 撮像光学系により形成される光学像を撮像する撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定するステップを有し、
    前記ステップにおいて、前記ピント面を撮像対象である第１の対象物の位置に対応する第１の位置とは異なる位置であって前記第１の対象物の位置が被写界深度内に含まれる第２の位置に設定するように前記少なくとも一方を制御することを特徴とする制御方法。
19. 撮像光学系により形成される光学像を撮像する撮像素子を有する撮像装置のコンピュータに、請求項１８に記載の制御方法に従う処理を実行させることを特徴とするプログラム。
    

Images