JP2013148788A - 焦点調節装置、及び焦点調節プログラム - Google Patents

Abstract

【課題】精度良く被写体に合焦させることができる焦点調節装置、及び焦点調節プログラムを提供する。
【解決手段】焦点調節装置１９１は、ＡＦレンズ１１２を介して撮影された、撮影時刻が異なる複数の画像を取得する取得部１９２と、取得部１９２により取得された画像の特徴量に基づいて、主要被写体領域を抽出する制御部１９３と、複数の画像のうち、相対的に前の時刻に撮影された画像の主要被写体領域と相対的に後の時刻に撮影された画像の主要被写体領域とを比較する制御部１９３と、比較結果に応じて前記合焦レンズを制御する制御部１９３と、ＡＦレンズ１１２を介して撮像された時刻が異なる複数の画像を取得する取得部１９２と、被写体が撮像されている領域を画像特徴量に基づいて画像から抽出し、ＡＦレンズ１１２の位置を制御することで領域に合焦させる制御部１９３と、を備える。
【選択図】図１

Description

本発明は、被写体に合焦させる焦点調節装置、及び焦点調節プログラムに関する。

被写体が撮像装置の方向に移動した場合でも、その被写体に合焦させることを目的とした撮像装置が、特許文献１に開示されている。

特開２００９−６９７４８号公報

しかしながら、特許文献１に開示された撮像装置は、各画素に対して画像マッチングを実行することで被写体を検出している。このため、特許文献１に開示された撮像装置は、被写体が回転した場合、画像がマッチせず、被写体に精度良く合焦させることができないという問題がある。

本発明は、前記の点に鑑みてなされたものであり、被写体に精度良く合焦させることができる焦点調節装置、及び焦点調節プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、合焦レンズを介して撮影された、撮影時刻が異なる複数の画像を取得する画像取得部と、前記画像取得部により取得された前記画像の特徴量に基づいて、主要被写体領域を抽出する被写体領域抽出部と、前記複数の画像のうち、相対的に前の時刻に撮影された画像の主要被写体領域と相対的に後の時刻に撮影された主要被写体領域とを比較する特徴量比較部と、前記特徴量比較部による比較結果に応じて前記合焦レンズを制御する制御部と、を備えることを特徴とする焦点調節装置である。

また、本発明は、焦点調節装置のコンピュータに、合焦レンズを介して撮像された時刻が異なる複数の画像を取得する手順と、被写体が撮像されている領域を画像特徴量に基づいて前記画像から抽出し、前記合焦レンズの位置を制御することで前記領域に合焦させる手順と、を実行させるための焦点調節プログラムである。

本発明によれば、焦点調節装置は、被写体に精度良く合焦させることができる。

本発明の第１実施形態における、撮像装置、レンズ鏡筒及び記憶媒体の構成を表すブロック図である。 本発明の第１実施形態における、焦点調節装置の動作手順を表すフローチャートである。 本発明の第１実施形態における、画像においてラベル領域の位置が変化した場合に合焦させるタイミングを説明するための図である。 本発明の第２実施形態における、焦点調節装置の動作手順を表すフローチャートである。 本発明の第３実施形態における、エッジ検出オペレータを説明するための図である。 本発明の第３実施形態における、ラベル領域の輪郭線と、輪郭線の全体を含むウィンドウとを表す図である。 本発明の第３実施形態における、コントラスト評価値の度数分布を色成分毎に表す図である。 本発明の第３実施形態における、コントラスト評価値の度数分布を被写体距離毎に表す図である。 本発明の第３実施形態における、コントラスト評価値のピーク度数と、被写体距離との関係を表す図である。 本発明の第３実施形態における、焦点調節装置の動作手順を表すフローチャートである。 本発明の第３実施形態における、焦点調節装置の動作手順を表すフローチャートである。 本発明の第３実施形態における、ラベル領域の輪郭線を説明するための図である。 本発明の第４実施形態における、ラベル領域の輪郭線の一部分を含むウィンドウを表す図である。 本発明の第４実施形態における、ラベル領域の輪郭線の全体を含む複数のウィンドウを表す図である。 本発明の第４実施形態における、ラベル領域の輪郭線の部分をそれぞれ含む複数のウィンドウを表す図である。 本発明の第４実施形態における、ウィンドウ毎のコントラスト評価値の変化を表す図である。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、撮像装置、レンズ鏡筒及び記憶媒体の構成が、ブロック図により表されている。撮像装置１００は、レンズ鏡筒１１１を介して光学像（被写体像）を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。

まず、レンズ鏡筒の構成を説明する。
レンズ鏡筒１１１は、合焦レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８とを備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。

ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、撮像装置１００が備える撮像部１１０の撮像素子１１９（後述）の受光面（光電変換面）に、被写体の光学像を導く。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号である。

鏡筒制御部１１８は、撮像装置１００から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させるための制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。

また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカス・ポジション）を、撮像装置１００に出力する。ここで、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号を、移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出する。

レンズ駆動部１１６は、鏡筒制御部１１８による制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。

次に、撮像装置の構成を説明する。
撮像装置１００は、撮像部１１０と、画像処理部１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０と、焦点調節装置１９１とを備える。

撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０の各部は、設定された撮像条件（例えば、絞り値、露出値）に基づいてＣＰＵ１９０により制御される。

撮像素子１１９は、光電変換面を備える。撮像素子１１９は、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換し、変換した電気信号をＡ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成される。また、撮像素子１１９は、光電変換面の一部に結像された光学像を、電気信号に変換してもよい（切り出し）。

また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られた画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、撮像指示を受け付けていない状態では、連続的に得られる画像をスルー画像として、焦点調節装置１９１及び表示部１５０に対して、Ａ／Ｄ変換部１２０を介して出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９により変換された電気信号をデジタル化し、デジタル化した電気信号により表される画像を、バッファメモリ部１３０に出力する。
操作部１８０は、ユーザによる操作入力を受け付け、操作入力に応じた信号をＣＰＵ１９０に出力する。操作部１８０は、ユーザ・インターフェース（ＵＩ）として、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備える。

画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照し、バッファメモリ部１３０に一時的に記憶されている画像に対して、画像処理を施す。画像処理部１４０は、画像処理を施した画像を、通信部１７０を介して記憶媒体２００に記憶させる。
表示部１５０は、撮像部１１０により得られた画像、及び操作画面などを表示する。表示部１５０は、例えば、液晶ディスプレイである。

バッファメモリ部１３０は、撮像部１１０により撮像された画像を一時的に記憶する。
記憶部１６０は、撮像する場面を判定するシーン判定の際にＣＰＵ１９０から参照される判定条件、及び、判定された撮像シーン毎に対応付けられた撮像条件（例えば、絞り値、露出値）などを記憶する。

ＣＰＵ１９０は、設定された撮像条件に従って撮像部１１０を制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画又は動画として、画像処理部１４０に画像を画像処理させる。

通信部１７０は、取り外しが可能な記憶媒体２００（例えば、メモリカード）と接続され、記憶媒体２００への情報（画像データなど）の書込み、読み出し又は消去を実行する。
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、各種の情報（画像データなど）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。

次に、焦点調節装置の構成を説明する。
焦点調節装置１９１は、撮像された時刻が異なる複数のフレーム画像（動画、スルー画）を取得する。また、焦点調節装置１９１は、フレーム画像において被写体が撮像されている領域であって、ラベル（識別情報）が割り当てられた領域（以下、「ラベル領域」という）に合焦させる。

焦点調節装置１９１は、取得部１９２と、制御部１９３とを備える。取得部１９２は、ＡＦレンズ１１２を介して撮像された時刻が異なる複数のフレーム画像を、動画又はスルー画として、Ａ／Ｄ変換部１２０を介して撮像素子１１９から取得する。

制御部１９３には、取得部１９２が取得した複数のフレーム画像が入力される。制御部１９３（被写体領域抽出部）は、フレーム画像において主要被写体が撮像されている領域（主要被写体領域）を、画像特徴量に基づいてフレーム画像から抽出する。ここで、画像特徴量とは、例えば、領域の分布（位置、形状（慣性モーメント））、領域の面積、領域の数、デフォーカス量（被写体距離）、動きベクトル（差分データ）、色相（色成分）、彩度、明度、及びテクスチャ（模様）である。制御部１９３（算出部）は、画像特徴量に基づいて、抽出された主要被写体領域の輪郭線（エッジ）及びコントラスト評価値を検出（算出）する。

また、制御部１９３は、相対的に前の時刻に撮像されたフレーム画像に対して用いた画像特徴量を、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）に対しても用いることで、フレーム画像において被写体が撮像されている領域を抽出する。これにより、制御部１９３は、被写体の前後移動又は回転などにより被写体の見掛けの大きさ、明るさ、面積又は形状が変化しても、フレーム画像同士の差分に基づく画像マッチングと比較して容易に領域を抽出することができる。なお、制御部１９３は、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）において領域を抽出しにくい場合、画像特徴量の条件を緩くしてもよい。

また、制御部１９３は、山登りオートフォーカス（山登りＡＦ）をフレーム画像に対して実行することにより、被写体が撮像された領域に合焦させる。また、制御部１９３は、山登りオートフォーカスの際に検出した色成分毎のコントラスト評価値を、色成分毎のコントラスト評価値の初期値として、記憶部１６０に記憶させる。

コントラスト評価値の初期値が記憶部１６０に記憶されている場合、すなわち、被写体が撮像された領域に１回以上合焦させた場合、制御部１９３は、抽出した領域にラベルを割り当てることで、抽出した領域をラベル領域とする（ラベリング）。また、制御部１９３は、コントラスト・オートフォーカス（コントラストＡＦ）を実行する際にコントラスト評価値を検出する範囲として、ラベル領域に外接するウィンドウ（測距枠）を画像に定める。ウィンドウは、例えば、矩形の枠である。

また、制御部１９３は、ＡＦレンズ１１２の位置を制御することで、撮像された時刻が異なる複数のフレーム画像の各ラベル領域に合焦させる。ここで、制御部１９３は、鏡筒制御部１１８に駆動制御信号を出力することにより、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置を制御する。

制御部１９３（特徴量比較部）は、複数のフレーム画像のうち、相対的に前の時刻に撮影されたフレーム画像のラベル領域（主要被写体領域）と、相対的に後の時刻に撮影されたフレーム画像のラベル領域とを比較し、フレーム画像においてラベル領域の位置が変化したか否かを判定する。ここで、制御部１９３は、フレーム画像においてラベル領域の位置が変化しているか否かに係わらず、コントラスト評価値を検出するものとする。これは、フレーム画像においてラベル領域の位置が変化していなくても、被写体と撮像装置１００との距離（被写体距離）が変化している場合には、被写体距離に応じてコントラスト評価値が変化するためである。

制御部１９３は、相対的に前の時刻に撮像されたフレーム画像におけるラベル領域の位置と、相対的に後の時刻に撮像されたフレーム画像におけるラベル領域の位置とが異なる場合、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）におけるラベル領域に、再び合焦させる。

次に、焦点調節装置の動作手順を説明する。
図２は、焦点調節装置の動作手順を表すフローチャートである。また、図３は、画像においてラベル領域の位置が変化した場合に合焦させるタイミングを説明するための図である。
操作部１８０は、追尾モードに状態遷移する旨の指示を、操作入力により受け付けたとする。ここで、追尾モードとは、動画又はスルー画において被写体を追尾するための動作モードである。操作部１８０は、追尾モードを受け付けたことを表す信号を、制御部１９３に出力する。これにより、制御部１９３は、追尾モードに状態遷移する（図２：ステップＳ１）。

また、操作部１８０は、制御部１９３が追尾する対象とする被写体の指定を、操作入力（カメラ・ユーザ・インターフェース（カメラＵＩ））により受け付けたとする。ここで、制御部１９３が追尾する対象とする被写体は、動画又はスルー画における被写体の座標に基づいて指定されてもよいし、被写体距離を表す情報（例えば、マクロ撮影であるか否かを表す情報）に基づいて指定されてもよい（図２：ステップＳ２）。

制御部１９３は、指定された被写体が撮像された領域に対して山登りオートフォーカスを実行し、その領域に１回以上合焦させる。さらに、制御部１９３は、被写体の色成分（ＲＧＢ値）に基づいて、フレーム画像からラベル領域を抽出する（図２：ステップＳ３）。また、制御部１９３は、ラベル領域に外接するウィンドウ（測距枠）をフレーム画像に定める（図２：ステップＳ４）。ここで、ラベル領域４００（図３を参照）に外接するウィンドウ５００が、相対的に前の時刻に撮像されたフレーム画像３００（初期のフレーム画像）に定められたとする。

制御部１９３は、ウィンドウ５００内のコントラスト評価値を色成分毎に積分する（図２：ステップＳ５）。また、制御部１９３は、色成分毎に積分したコントラスト評価値を、記憶部１６０に記憶させる（図２：ステップＳ６）。また、制御部１９３は、ウィンドウ５００内についてコントラスト・オートフォーカスを実行することにより、ＡＦレンズ１１２の位置を制御し、ラベル領域４００に合焦させる（図２：ステップＳ７）。

そして、制御部１９３は、相対的に後の時刻に撮像された画像（後続のフレーム画像）を取得する（図２：ステップＳ８）。ここで、制御部１９３は、フレーム画像３０１（図３を参照）を取得したとする。

制御部１９３は、今回取得したフレーム画像３０１においてラベル領域４００の位置が変化したか否かを判定する（図２：ステップＳ９）。ラベル領域４００の位置が変化していない場合（ステップＳ９−ＮＯ）、制御部１９３は、前回取得したフレーム画像３００に用いた画像特徴量の条件と同じ条件に基づいて、今回取得したフレーム画像３０１をラベリングする（図２：ステップＳ１０）。また、制御部１９３は、ウィンドウ５００内のコントラスト評価値を色成分毎に積分し（図２：ステップＳ１１）、図２のステップＳ８に処理を戻す。

一方、ステップＳ９において、ラベル領域４００の位置が変化している場合（図２：ステップＳ９−ＹＥＳ）、制御部１９３は、ウィンドウ５００内についてコントラスト・オートフォーカスを実行することにより、ＡＦレンズ１１２の位置を制御し、ラベル領域４００に合焦させる（図２：ステップ１２）。制御部１９３は、フレーム画像３０１（図３を参照）において、ウィンドウ５００内についてコントラスト・オートフォーカスを実行することにより、ＡＦレンズ１１２の位置を制御し、位置が変化しているラベル領域４００に合焦させる。そして、制御部１９３は、図２のステップＳ８に処理を戻す。

以上のように、焦点調節装置１９１は、ＡＦレンズ１１２を介して撮影された、撮影時刻が異なる複数の画像を取得する取得部１９２と、取得部１９２により取得された前記画像の特徴量に基づいて、主要被写体領域を抽出する制御部１９３（被写体領域抽出部）と、前記複数の画像のうち、相対的に前の時刻に撮影された画像の主要被写体領域と相対的に後の時刻に撮影された主要被写体領域とを比較する制御部１９３（特徴量比較部）と、制御部１９３（特徴量比較部）による比較結果に応じてＡＦレンズ１１２を制御する制御部１９３と、を備える。
この構成により、焦点調節装置は、画像同士の差分に基づく画像マッチングと比較して被写体を検出し易い（被写体の移動又は回転に対して耐性が在る）画像特徴量に基づいて抽出されたラベル領域に合焦させるので、これにより、被写体に精度良く合焦させることができる。また、焦点調節装置は、被写体が移動又は回転した場合でも、画像に撮像された被写体を追尾することができる。

また、制御部１９３（被写体領域抽出部）は、画像特徴量である領域の分布、領域の面積、領域の数、デフォーカス量、動きベクトル、色成分、彩度、明度及びテクスチャのうち少なくとも１つに基づいて、ラベル領域を抽出する。
これにより、焦点調節装置は、被写体の見掛けの面積、形状又は光量が変化しても、画像同士の差分に基づく画像マッチングと比較して被写体を容易に検出して、被写体に精度良く合焦させることができる。

また、制御部１９３は、相対的に前の時刻に撮影された画像のラベル領域（主要被写体領域）の位置と相対的に後の時刻に撮影された画像の前記主要被写体領域の位置とが異なる場合、前記相対的に後の時刻に撮影された画像（後続のフレーム画像）の前記主要被写体領域に合焦させるようにＡＦレンズ１１２を制御する。
この構成により、焦点調節装置は、ラベル領域の位置が変化した場合、ラベル領域に再び合焦させるので、これにより、適切なタイミングで被写体に合焦させ、必要以上に頻繁に被写体に合焦させることなく、動画及びスルー画を見やすく表示させることができる。

［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、画像における被写体の位置が変化しない代わりに、被写体距離が変化する点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。

制御部１９３（算出部）は、抽出されたラベル領域（主要被写体領域）のコントラスト評価値を算出する。また、制御部１９３（図１を参照）は、ＡＦレンズ１１２を光軸方向に前後移動させる（ウォブリング）。制御部１９３は、ウォブリングによるコントラスト評価値の増減に基づいて、被写体の前景に合焦している状態（以下、「前ピン」という）であるか、又は、被写体の背景に合焦している状態（以下、「後ピン」という）であるかを判定する。

制御部１９３は、相対的に前の時刻に撮像されたフレーム画像におけるラベル領域（主要被写体領域）のコントラスト評価値と、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）におけるラベル領域（主要被写体領域）のコントラスト評価値とが異なる場合、後続のフレーム画像におけるラベル領域に再び合焦させる。ここで、制御部１９３は、前ピンであるか又は後ピンであるかの判定結果に基づいて、ＡＦレンズ１１２の移動方向を前ピン方向又は後ピン方向のいずれか一方に制限して、ウィンドウ内についてコントラスト・オートフォーカスを実行することにより、ラベル領域に合焦させる。

また、制御部１９３は、相対的に前の時刻に撮像されたフレーム画像におけるラベル領域のコントラスト評価値を初期値とし、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）におけるラベル領域のコントラスト評価値が初期値以上になるまでＡＦレンズ１１２の位置を制御することで、ラベル領域に再び合焦させる。

ここで、Ｓ０を「コントラスト評価値の初期値」とし、Ｓ１を「後続のフレーム画像におけるコントラスト評価値」とし、ΔＳを（Ｓ１−Ｓ０）又は（Ｓ１／Ｓ０）とし、Ｋ１を「予め定められた閾値」とする。

制御部１９３は、ΔＳ＞Ｋ１が成立している場合、合焦していない（ピントがずれている）と判定する。また、制御部１９３は、この式が成立しなくなるまで、ＡＦレンズ１１２の位置を制御することで、ラベル領域に再び合焦させる。

次に、焦点調節装置の動作手順を説明する。
図４は、焦点調節装置の動作手順を表すフローチャートである。操作部１８０は、追尾モードに状態遷移する旨の指示を、操作入力により受け付けたとする。操作部１８０は、追尾モードを受け付けたことを表す信号を、制御部１９３に出力する。これにより、制御部１９３は、追尾モードに状態遷移する（図４：ステップＳａ１）。また、操作部１８０は、制御部１９３が追尾する対象とする被写体の指定を、操作入力（カメラＵＩ）により受け付けたとする（図４：ステップＳａ２）。

制御部１９３は、指定された被写体が撮像された領域に対して山登りオートフォーカスを実行し、その領域に山登りオートフォーカスにより１回以上合焦させる。さらに、制御部１９３は、被写体の色成分（ＲＧＢ値）に基づいて、フレーム画像からラベル領域を抽出する（図４：ステップＳａ３）。また、制御部１９３は、ラベル領域に外接するウィンドウ（測距枠）を画像に定める（図４：ステップＳａ４）。

制御部１９３は、相対的に前の時刻に撮像されたフレーム画像（初期のフレーム画像）に定められたウィンドウ内のコントラスト評価値を、色成分毎に積分する（図４：ステップＳａ５）。また、制御部１９３は、色成分毎に積分したコントラスト評価値を、記憶部１６０に記憶させる（図４：ステップＳａ６）。

そして、制御部１９３は、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）を取得する（図４：ステップＳａ８）。また、制御部１９３は、今回取得したフレーム画像に定められたウィンドウ内のコントラスト評価値を、色成分毎に積分する（図４：ステップＳａ９）。

制御部１９３は、今回取得したフレーム画像においてコントラスト評価値が低減（劣化）したか否かを判定する（図４：ステップＳａ１０）。コントラスト評価値が低減した場合（ステップＳａ１０−ＹＥＳ）、制御部１９３は、前回取得したフレーム画像に用いた画像特徴量の条件と同じ条件に基づいて、今回取得したフレーム画像についてラベリングを実行する（図４：ステップＳａ１１）。また、制御部１９３は、今回取得したフレーム画像に定められたウィンドウ内のコントラスト評価値を、色成分毎に積分する（図４：ステップＳａ１２）。

また、制御部１９３は、今回取得したフレーム画像においてコントラスト評価値が低減したか否かを判定する（図４：ステップＳａ１３）。コントラスト評価値が低減した場合（ステップＳａ１３−ＹＥＳ）、制御部１９３は、ウォブリングによるコントラスト評価値の増減に基づいて、前ピンであるか又は後ピンであるかを判定する。

また、制御部１９３は、この判定結果に基づいて、ＡＦレンズ１１２の移動方向を前ピン方向又は後ピン方向のいずれか一方に制限し、ウィンドウ内についてコントラスト・オートフォーカスを実行することにより、ラベル領域に合焦させる。ここで、制御部１９３は、前ピン又は後ピンのデフォーカス量（ぼけ量）に基づいて、ＡＦレンズ１１２の移動量を制限しながらコントラスト・オートフォーカスを実行することにより、ラベル領域に合焦させる（図４：ステップＳａ１５）。このように、焦点調節装置は、ＡＦレンズ１１２の移動量を制限するので、ラベル領域に精度良く短時間で合焦させることができる。

一方、ステップＳａ１０において、コントラスト評価値が低減していない場合（ステップＳａ１０−ＹＥＳ）、制御部１９３は、図４のステップＳａ８に処理を戻す。
また、ステップＳａ１３において、コントラスト評価値が低減していない場合（ステップＳａ１３−ＹＥＳ）、制御部１９３は、図４のステップＳａ８に処理を戻す。

以上のように、焦点調節装置１９１は、制御部１９３（被写体領域抽出部）により抽出された前記主要被写体領域のコントラスト評価値を算出する算出部をさらに備える。制御部１９３は、相対的に前の時刻に撮影された画像の前記主要被写体領域のコントラスト評価値と相対的に後の時刻に撮影された画像（後続のフレーム画像）の前記主要被写体領域のコントラスト評価値とが異なる場合、前記相対的に後の時刻に撮影された画像の前記主要被写体領域に合焦させる。
この構成により、焦点調節装置は、コントラスト評価値が変化した場合、ラベル領域に合焦させるので、これにより、被写体に精度良く短時間で合焦させることができる。また、焦点調節装置は、被写体が移動又は回転した場合でも、画像に撮像された被写体を追尾することができる。

また、制御部１９３は、相対的に前の時刻に撮像された画像の前記主要被写体領域のコントラスト評価値を初期値とし、相対的に後の時刻に撮像された画像の前記主要被写体領域のコントラスト評価値が前記初期値以上になるまでＡＦレンズ１１２の位置を制御することで、ラベル領域（主要被写体領域）に再び合焦させる。
この構成により、焦点調節装置は、コントラスト評価値を初期値に基づいて、ラベル領域に合焦させるために最適なＡＦレンズの位置を定めるので、ラベル領域に精度良く短時間で合焦させることができる。

［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。第３実施形態では、ラベル領域の輪郭線のコントラスト評価値に基づいて合焦させる点が、第１及び第２実施形態と異なる。以下では、第１及び第２実施形態との相違点についてのみ説明する。

まず、焦点調節装置の構成を説明する。
制御部１９３は、エッジ検出オペレータ（微分オペレータ）を用いて演算を実行し、ラベル領域の輪郭線を色成分毎にフレーム画像から抽出する。また、制御部１９３は、ラベル領域の輪郭線の全体のコントラスト評価値が変化した場合、ラベル領域に再び合焦させる。

図５は、エッジ検出オペレータを説明するための図である。図５では、画素６００と画素６０１とが隣接しているとする。また、画素６００の画像特徴量は「＋１」と、画素６０１の画像特徴量は「０」とする。また、エッジ検出オペレータ７００は、隣接する一方の画素の画像特徴量に対する係数「−１」と、隣接する他方の画素の画像特徴量に対する係数「＋１」とを有する。

制御部１９３（算出部）は、隣接する画素同士の画像特徴量の差（傾斜）を検出（算出）し、検出した差の絶対値に基づいて、ラベル領域の輪郭線を抽出する。具体的には、制御部１９３は、画素６００の画像特徴量「＋１」と、エッジ検出オペレータ７００の係数「−１」とを乗算する。また、制御部１９３は、画素６０１の画像特徴量「０」と、エッジ検出オペレータ７００の係数「＋１」とを乗算する。さらに、制御部１９３は、これらの乗算結果を加算し、加算結果の絶対値を算出する。以下、エッジ検出オペレータの出力値を「コントラスト評価値」という。コントラスト評価値は、ラベル領域の輪郭線の画像特徴量（エッジパワー）の差に応じた値となる。

制御部１９３は、算出したコントラスト評価値に基づいて、フレーム画像からラベル領域の輪郭線を抽出する。図６には、ラベル領域の輪郭線と、輪郭線の全体を含むウィンドウとが表されている。図６では、ウィンドウ５２０ａがラベル領域の輪郭線４２０ａの全体を含んでいることが表されている。

制御部１９３は、画素毎の画像特徴量により定まるコントラスト評価値の度数分布（ヒストグラム）に基づいて、ラベル領域に再び合焦させる。図７には、コントラスト評価値の度数分布が、色成分毎に表されている。横軸は、コントラスト評価値を表す。縦軸は、コントラスト評価値の度数を表す。ここで、輪郭線に含まれる色成分である赤色（Ｒチャネル）、緑色（Ｇチャネル）及び青色（Ｂチャネル）のそれぞれのコントラスト評価値の度数分布が表されている。

焦点調節を実行するか否かの判定には、度数が一定以上在る色成分（色チャネル）が、制御部１９３により選択される。なお、判定に用いられる色成分は、コントラスト評価値の度数分布の平均値（Ａｖｅ）又は分散（σ）に基づいて選択されてもよい。

記憶部１６０（図１を参照）は、コントラスト評価値と、ＡＦレンズ１１２の位置とを対応付けて予め記憶する。また、記憶部１６０は、制御部１９３による制御に応じて、色成分毎のコントラスト評価値を記憶する。

図８には、コントラスト評価値の度数分布が、被写体距離毎に表されている。図８（Ａ）には、被写体距離２［ｍ］における度数分布が表されている。また、図８（Ｂ）には、被写体距離２．２［ｍ］における度数分布が表されている。また、図８（Ｃ）には、被写体距離２．５［ｍ］における度数分布が表されている。また、図８（Ｄ）には、被写体距離４［ｍ］における度数分布が表されている。図８に表されているように、被写体距離が長いほど、度数分布の分散は大きくなる。

また、図９には、コントラスト評価値のピーク度数と、被写体距離との関係が表されている。図８及び図９に表されているように、被写体距離が長いほど、コントラスト評価値のピーク度数は大きくなる。

制御部１９３は、コントラスト評価値とＡＦレンズ１１２の位置とを対応付けて予め記憶する記憶部１６０を参照し、規定されたパルス電圧のステップ数を、記憶部１６０から取得する。制御部１９３は、コントラスト評価値毎に規定されたパルス電圧のステップ数に基づいて、ＡＦレンズ１１２の移動量を制限する。これにより、制御部１９３は、ラベル領域に合焦する最適な位置を、ＡＦレンズ１１２が大きく越えないようにすることができる。

また、制御部１９３（特徴量比較部）は、度数が一定以上在るコントラスト評価値を色成分毎に選択し、選択した色成分の全てについて、相対的に前の時刻に撮像されたフレーム画像（前回取得したフレーム画像）におけるラベル領域のコントラスト評価値と比較する。制御部１９３は、相対的に後の時刻に撮像されたフレーム画像（今回取得したフレーム画像）のラベル領域のコントラスト評価値が劣る場合、相対的に後の時刻に撮像されたフレーム画像（今回取得したフレーム画像）のラベル領域に再び合焦させる。

次に、焦点調節装置の動作手順を説明する。
図１０及び図１１は、焦点調節装置の動作手順を表すフローチャートである。また、図１２は、ラベル領域の輪郭線を説明するための図である。操作部１８０は、追尾モードに状態遷移する旨の指示を、操作入力により受け付けたとする。操作部１８０は、追尾モードを受け付けたことを表す信号を、制御部１９３に出力する。これにより、制御部１９３は、追尾モードに状態遷移する（図１０：ステップＳｂ１）。また、操作部１８０は、制御部１９３が追尾する対象とする被写体の指定を、操作入力（カメラＵＩ）により受け付けたとする（図１０：ステップＳｂ２）。

制御部１９３は、指定された被写体が撮像された領域に対して山登りオートフォーカスを実行し、その領域に１回以上合焦させる。さらに、制御部１９３は、被写体の色成分（ＲＧＢ値）に基づいて、フレーム画像からラベル領域を抽出する（図１０：ステップＳｂ３）。また、制御部１９３は、ラベル領域に外接するウィンドウ（測距枠）を画像に定める（図１０：ステップＳｂ４）。

制御部１９３は、相対的に前の時刻に撮像されたフレーム画像（初期のフレーム画像）のウィンドウ内のコントラスト評価値を、色成分毎に積分する（図１０：ステップＳｂ５）。制御部１９３は、フレーム画像３１０（初期のフレーム画像）のウィンドウ５１０内のコントラスト評価値を、色成分毎に積分する（図１２を参照）。また、制御部１９３は、色成分毎に積分したコントラスト評価値を、記憶部１６０に記憶させる（図１０：ステップＳｂ６）。

制御部１９３は、ラベル領域の輪郭線を色成分毎に抽出する。制御部１９３は、ラベル領域の輪郭線４１０ａを、色成分毎に抽出する（図１２を参照）。また、制御部１９３は、輪郭線４１０ａの色成分量（エッジパワー）を、記憶部１６０に記憶させる（図１０：ステップＳｂ７）。

制御部１９３は、コントラスト評価値の度数分布（ヒストグラム）を検出する（図１０：ステップＳｂ８）。また、制御部１９３は、コントラスト評価値のピーク度数を、色成分毎に検出する。また、制御部１９３は、度数分布の分散を算出する（図１０：ステップＳｂ９）。

そして、制御部１９３は、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）を取得する（図１０：ステップＳｂ１０）。また、制御部１９３は、前回取得したフレーム画像に用いた画像特徴量の条件と同じ条件に基づいて、今回取得したフレーム画像についてラベリングする（図１０：ステップＳｂ１１）。また、制御部１９３は、前回取得したフレーム画像に用いた画像特徴量の条件と同じ条件に基づいて、今回取得したフレーム画像から輪郭線を抽出する（図１０：ステップＳｂ１２）。

制御部１９３は、度数分布の平均値及び分散を、度数が一定以上在る色成分毎に検出する（図１０：ステップＳｂ１３）。また、制御部１９３は、検出した全ての色成分でエッジパワーが低減したか否かを判定する（図１０：ステップＳｂ１４）。検出した全ての色成分でエッジパワーが低減した場合（図１０：ステップＳｂ１４−ＹＥＳ）、制御部１９３は、ウォブリングとして駆動制御信号を出力し、ＡＦレンズ１１２を前ピン方向にパルス駆動させる（図１１：ステップＳｂ１５）。

そして、制御部１９３は、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）を取得する（図１１：ステップＳｂ１６）。また、制御部１９３は、前回取得したフレーム画像に用いた画像特徴量の条件と同じ条件に基づいて、今回取得したフレーム画像についてラベリングする（図１１：ステップＳｂ１７）。また、制御部１９３は、前回取得したフレーム画像に用いた画像特徴量の条件と同じ条件に基づいて、今回取得したフレーム画像から輪郭線を抽出する（図１１：ステップＳｂ１８）。

制御部１９３は、度数分布の平均値及び分散を、度数が一定以上在る色成分毎に検出する（図１１：ステップＳｂ１９）。また、制御部１９３は、検出した全ての色成分でエッジパワーが増加したか否かを判定する（図１１：ステップＳｂ２０）。エッジパワーが増加した場合（図１１：ステップＳｂ２０−ＹＥＳ）、制御部１９３は、前ピンであることを表す前ピンフラグを立てる（図１１：ステップＳｂ２１）。一方、エッジパワーが増加していない場合（図１１：ステップＳｂ２０−ＮＯ）、制御部１９３は、後ピンであることを表す後ピンフラグを立てる（図１１：ステップＳｂ２２）。

また、制御部１９３は、ラベル領域に外接するウィンドウ（測距枠）を画像に定める（図１１：ステップＳｂ２３）。制御部１９３は、コントラスト評価値とＡＦレンズ１１２の位置とを対応付けて予め記憶する記憶部１６０を参照し、規定されたパルス電圧のステップ数を、記憶部１６０から取得する。制御部１９３は、規定されたパルス電圧のステップ数に基づいて、ＡＦレンズ１１２の移動量を制限する。

ステップＳｂ２１において前ピンフラグを立てた場合、制御部１９３は、コントラスト・オートフォーカスを実行するための準備として、ＡＦレンズ１１２を後ピン方向に規定パルス電圧のステップ数だけ駆動させる。一方、ステップＳｂ２２において後ピンフラグを立てた場合、制御部１９３は、コントラスト・オートフォーカスを実行するための準備として、ＡＦレンズ１１２を前ピン方向に規定パルス電圧のステップ数だけ駆動させる（図１１：ステップＳｂ２４）。

そして、制御部１９３は、相対的に後の時刻に撮像されたフレーム画像（後続のフレーム画像）を取得する（図１１：ステップＳｂ２５）。また、制御部１９３は、前回取得したフレーム画像に用いた画像特徴量の条件と同じ条件に基づいて、今回取得したフレーム画像から輪郭線を抽出する（図１１：ステップＳｂ２６）。

制御部１９３は、度数分布の平均値及び分散を、度数が一定以上在る色成分毎に検出する（図１１：ステップＳｂ２７）。また、制御部１９３は、コントラスト・オートフォーカスにおけるコントラスト・スキャンを実行し、今回取得したフレーム画像のウィンドウ内のコントラスト評価値を、色成分毎に積分する（図１１：ステップＳｂ２８）。制御部１９３は、コントラスト評価値が、合焦状態におけるコントラスト評価値以上か否かを判定する（図１１：ステップＳｂ２９）。

コントラスト評価値が、合焦状態におけるコントラスト評価値未満である場合（図１１：ステップＳｂ２９−ＮＯ）、制御部１９３は、コントラスト・スキャンを実行した際に、コントラスト評価値のピークを検出したか否かを判定する（図１１：ステップＳｂ３０）。

コントラスト評価値のピークを検出していない場合（図１１：ステップＳｂ３０−ＮＯ）制御部１９３は、コントラスト・スキャンにおいてＡＦレンズ１１２が駆動する範囲であるスキャン域が終了したか否かを判定する（図１１：ステップＳｂ３１）。スキャン域が終了した場合（図１１：ステップＳｂ３１−ＹＥＳ）、制御部１９３は、コントラスト・スキャンにおいてＡＦレンズ１１２の位置に応じたコントラスト評価値に基づいて、内挿法により定まる内挿点に応じて合焦位置を検出し（図１１：ステップＳｂ３２）、検出した合焦位置にＡＦレンズ１１２を移動させる（図１１：ステップＳｂ３３）。制御部１９３は、コントラスト・オートフォーカスを終了し（図１１：ステップＳｂ３４）、図１０のステップＳｂ１０に処理を戻す。

一方、ステップＳｂ１４において、検出した全ての色成分でエッジパワーが低減した場合（図１０：ステップＳｂ１４−ＮＯ）、制御部１９３は、図１０のステップＳｂ１０に処理を戻す。
また、ステップＳｂ２９において、コントラスト評価値が、合焦状態におけるコントラスト評価値以上である場合（図１１：ステップＳｂ２９−ＹＥＳ）、制御部１９３は、図１１のステップＳｂ３４に処理を進める。
また、ステップＳｂ３０において、コントラスト評価値のピークを検出した場合（図１１：ステップＳｂ３０−ＹＥＳ）制御部１９３は、図１１のステップＳｂ３２に処理を進める。
また、ステップＳｂ３１において、スキャン域が終了していない場合（図１１：ステップＳｂ３１−ＮＯ）、制御部１９３は、図１１のステップＳｂ２４に処理を戻す。

以上のように、制御部１９３は、ラベル領域（主要被写体領域）の輪郭線の全体のコントラスト評価値が変化した場合、ラベル領域に再び合焦させる。
この構成により、焦点調節装置は、ラベル領域の輪郭線の全体のコントラスト評価値に基づいて、被写体と背景との境界（被写体の輪郭線）を明確にするので、これにより、動画及びスルー画でも安定して、ラベル領域に精度良く合焦させることができる。

また、制御部１９３は、コントラスト評価値とＡＦレンズ１１２の位置とを対応付けて予め記憶する記憶部１６０を参照し、コントラスト評価値に基づいて、ＡＦレンズ１１２の移動量を制限する。
この構成により、焦点調節装置は、前ピン又は後ピンのデフォーカス量に基づいて、ＡＦレンズの移動量を制限するため、ラベル領域に合焦させるために最適な位置をＡＦレンズが越えないので、ラベル領域に精度良く短時間で合焦させることができる。

また、制御部１９３（特徴量比較部）は、前記コントラスト評価値を色成分毎に選択し、選択した色成分の全てについて、相対的に前の時刻に撮像された画像（前回取得したフレーム画像）の前記主要被写体領域のコントラスト評価値と比較し、制御部１９３は、相対的に後の時刻に撮像された画像（今回取得したフレーム画像）の前記主要被写体領域のコントラスト評価値が劣る場合、相対的に後の時刻に撮像された画像の前記主要被写体領域に再び合焦させる。
この構成により、焦点調節装置は、度数が一定以上在る色成分毎のコントラスト評価値に基づいて、焦点調節を実行するか否かを判定するので、これにより、ラベル領域に精度良く合焦させることができる。

また、制御部１９３（算出部）は、隣接する画素同士の画像の特徴量の差を検出し、検出した差の絶対値に基づいて、前記主要被写体領域の輪郭線を抽出する。

［第４実施形態］
本発明の第４実施形態について図面を参照して詳細に説明する。第４実施形態では、ラベル領域の輪郭線の部分のコントラスト評価値に基づいて合焦させる点が、第１〜第３実施形態と異なる。以下では、第１〜第３実施形態との相違点についてのみ説明する。

また、以下では、説明を簡単にするため、複数のフレーム画像間で輪郭線の位置の変化、及び光量の変化はないものとして説明するが、これらに変化があるとした場合でも、本発明の要旨は変わらない。同様に、以下では、輪郭線の特性（例えば、色成分の構成）が輪郭線の全周に亘り同じ特性であるものとして説明するが、これらが同じ特性でないとした場合でも、本発明の要旨は変わらない。

制御部１９３は、ラベル領域の輪郭線の一部分のコントラスト評価値が変化（劣化）した場合、ラベル領域に再び合焦させる。図１３には、ラベル領域の輪郭線の一部分を含むウィンドウが表されている。図１３では、ウィンドウ５３０ａとウィンドウ５３０ｂとが、ラベル領域４２０の輪郭線の一部分を含んでいることが表されている。

ここで、Ｓａ０を「ウィンドウ５３０ａにおけるコントラスト評価値の初期値」とし、Ｓａを「ウィンドウ５３０ａにおけるコントラスト評価値」とし、ΔＳａを（Ｓａ−Ｓａ０）又は（Ｓａ／Ｓａ０）とし、Ｋ２を「予め定められた閾値」とする。同様に、Ｓｂ０を「ウィンドウ５３０ｂにおけるコントラスト評価値の初期値」とし、Ｓｂを「ウィンドウ５３０ｂにおけるコントラスト評価値」とし、ΔＳｂを（Ｓｂ−Ｓｂ０）又は（Ｓｂ／Ｓｂ０）とし、Ｋ２を「予め定められた閾値」とする。

制御部１９３は、ΔＳａ＞Ｋ２、且つ、ΔＳｂ＞Ｋ２が成立している場合、ラベル領域に合焦していないと判定する。制御部１９３は、これらの式の少なくとも一方が成立しなくなるまで、ＡＦレンズ１１２の位置を制御することで、ラベル領域に再び合焦させる。

また、Ｋ３を「予め定められた閾値」とする。制御部１９３は、（ΔＳａ＋ΔＳｂ）＞Ｋ３が成立している場合も、ラベル領域に合焦していないと判定する。制御部１９３は、この式が成立しなくなるまで、ＡＦレンズ１１２の位置を制御することで、ラベル領域に再び合焦させる。

制御部１９３は、ラベル領域の輪郭線における複数の部分のコントラスト評価値が変化（劣化）した場合、ラベル領域に再び合焦させる。図１４には、ラベル領域の輪郭線の全体を含む複数のウィンドウが表されている。図１４では、ウィンドウ５４０ａ〜５４０ｄが、ラベル領域４２０の輪郭線の全体を含んでいることが表されている。

制御部１９３は、被写体の奥行きが被写界深度（Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ、ＤＯＦ）以内であり、且つ、全てのウィンドウにおいてコントラスト評価値が変化（劣化）した場合、ラベル領域に再び合焦させる。この場合の判定は、図１３を用いて説明した判定と同様である。

また、制御部１９３は、ラベル領域の輪郭線における複数の部分の全てにおいて、コントラスト評価値が第１閾値を下回った場合、ラベル領域に再び合焦させる。また、制御部１９３は、ラベル領域の輪郭線における複数の部分の一部において、コントラスト評価値が第２閾値を下回った場合、ラベル領域に再び合焦させる。

図１５には、ラベル領域の輪郭線の部分をそれぞれ含む複数のウィンドウが表されている。図１５では、ウィンドウ５５０ａ〜５５０ｇが、ラベル領域４２０の輪郭線の部分をそれぞれ含んでいることが表されている。

また、図１６には、ウィンドウ毎のコントラスト評価値の変化が表されている。図１６におけるａ〜ｇは、ウィンドウ５５０ａ〜５５０ｇを表す。図１６（Ａ）には、合焦状態となった初期におけるウィンドウ毎のコントラスト評価値が表されている。ここで、ウィンドウ５５０ａ〜５５０ｇのコントラスト評価値の平均値を、初期値Ｋ４とする。

また、図１６（Ｂ）には、合焦状態が変化（劣化）したウィンドウ毎のコントラスト評価値が表されている。図１６（Ｂ）では、ウィンドウ５５０ｇ以外のウィンドウのコントラスト評価値が、初期値Ｋ４未満の変化量で劣化したとする。ここで、ラベル領域４２０の輪郭線における複数の部分の全て（ウィンドウ５５０ａ〜５５０ｆ）において、コントラスト評価値が第２閾値を下回っていない（変化量が初期値Ｋ４未満である）ので、制御部１９３は、コントラスト・オートフォーカスを実行しないと判定する。

また、図１６（Ｃ）には、合焦状態が変化（劣化）したウィンドウ毎のコントラスト評価値が表されている。例えば、被写体が斜めに傾いたことにより、図１６（Ｃ）では、ウィンドウ５５０ｃ〜５５０ｆのコントラスト評価値が、初期値Ｋ４以上の変化量で劣化したとする。ここで、ラベル領域４２０の輪郭線における複数の部分の一部（ウィンドウ５５０ｃ〜５５０ｆ）において、コントラスト評価値が第２閾値を下回った（初期値Ｋ４以上の変化量で劣化した）ので、制御部１９３は、コントラスト・オートフォーカスを実行すると判定し、ラベル領域４２０に再び合焦させる。

また、図１６（Ｄ）には、合焦状態が変化（劣化）したウィンドウ毎のコントラスト評価値が表されている。例えば、被写体が撮像装置１００（図１を参照）に対して前後に移動したことにより、図１６（Ｄ）では、ウィンドウ５５０ａ〜５５０ｆのコントラスト評価値が、閾値Ｋ５以上の変化量で劣化したとする。ここで、ラベル領域４２０の輪郭線における複数の部分の全て（ウィンドウ５５０ａ〜５５０ｆ）において、コントラスト評価値が第１閾値を下回った（変化量が閾値Ｋ５以上である）ので、制御部１９３は、コントラスト・オートフォーカスを実行すると判定し、ラベル領域４２０に再び合焦させる。

以上のように、制御部１９３は、ラベル領域４２０の輪郭線の一部分のコントラスト評価値が変化した場合、ラベル領域４２０に再び合焦させる。
この構成により、焦点調節装置は、ラベル領域（被写体）における異なる部分から各コントラスト評価値を得るので、被写体が傾いたり、変形したり、回転した場合でも、被写体に精度良く合焦させることができる。

制御部１９３は、ラベル領域４２０の輪郭線における複数の部分のコントラスト評価値が変化した場合、ラベル領域４２０に再び合焦させる。
この構成により、焦点調節装置は、ラベル領域（被写体）における上下及び左右の異なる部分から各コントラスト評価値を得るので、被写体が傾いたり、変形したり、回転した場合でも、被写体に精度良く合焦させることができる。

制御部１９３は、複数の部分の全て（ウィンドウ５５０ａ〜５５０ｇ）においてコントラスト評価値が第１閾値を下回った場合、ラベル領域４２０に再び合焦させる。
この構成により、焦点調節装置は、被写体が撮像装置１００に対して前後に移動した場合でも、被写体に精度良く合焦させることができる。

制御部１９３は、ラベル領域４２０の輪郭線における複数の部分の一部においてコントラスト評価値が第２閾値を下回った場合、ラベル領域４２０に再び合焦させる。
この構成により、焦点調節装置は、被写体が斜めに傾いた場合でも、被写体に精度良く合焦させることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、制御部１９３は、他のエッジ検出オペレータ（例えば、ラプラシアン・フィルタ）を用いて、輪郭線を抽出してもよい。

なお、以上に説明した焦点調節装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１１２…ＡＦレンズ、１１６…レンズ駆動部、１１７…ＡＦエンコーダ、１１８…鏡筒制御部、１１９…撮像素子、１２０…Ａ／Ｄ変換部、１３０…バッファメモリ部、１４０…画像処理部、１５０…表示部、１６０…記憶部、１７０…通信部、１８０…操作部、１９０…ＣＰＵ、１９１…焦点調節装置、１９２…取得部、１９３…制御部、２００…記憶媒体、３００〜３０２，３１０…フレーム画像、４００，４１０…ラベル領域、４１０ａ，４２０ａ…ラベル領域の輪郭線、５２０，５３０ａ〜５３０ｂ，５４０ａ〜５４０ｄ…ウィンドウ、５５０a〜５５０ｇ…測距枠、６００，６０１…画素、７００…エッジ検出オペレータ

Claims (15)

1. 合焦レンズを介して撮影された、撮影時刻が異なる複数の画像を取得する画像取得部と、
   前記画像取得部により取得された前記画像の特徴量に基づいて、主要被写体領域を抽出する被写体領域抽出部と、
   前記複数の画像のうち、相対的に前の時刻に撮影された画像の主要被写体領域と相対的に後の時刻に撮影された主要被写体領域とを比較する特徴量比較部と、
   前記特徴量比較部による比較結果に応じて前記合焦レンズを制御する制御部と、
   を備えることを特徴とする焦点調節装置。
2. 前記被写体領域抽出部は、前記特徴量である領域の分布、領域の面積、領域の数、デフォーカス量、動きベクトル、色成分、彩度、明度及びテクスチャのうち少なくとも１つに基づいて前記主要被写体領域を抽出することを特徴とする請求項１に記載の焦点調節装置。
3. 前記制御部は、相対的に前の時刻に撮影された画像の前記主要被写体領域の位置と相対的に後の時刻に撮影された画像の主要被写体領域の位置とが異なる場合、前記相対的に後の時刻に撮影された画像の主要被写体領域に合焦させるように前記合焦レンズを制御することを特徴とする請求項１又は請求項２に記載の焦点調節装置。
4. 前記被写体領域抽出部により抽出された主要被写体領域のコントラスト評価値を算出する算出部をさらに備え、
   前記制御部は、相対的に前の時刻に撮影された画像の主要被写体領域のコントラスト評価値と相対的に後の時刻に撮影された画像の主要被写体領域のコントラスト評価値とが異なる場合、前記相対的に後の時刻に撮影された画像の主要被写体領域に合焦させることを特徴とする請求項１から請求項３のいずれか１つに記載の焦点調節装置。
5. 前記制御部は、前記主要被写体領域の輪郭線の全体のコントラスト評価値が変化した場合、前記主要被写体領域に再び合焦させることを特徴とする請求項４に記載の焦点調節装置。
6. 前記制御部は、前記主要被写体領域の輪郭線の一部分のコントラスト評価値が変化した場合、前記領域に再び合焦させることを特徴とする請求項４に記載の焦点調節装置。
7. 前記制御部は、前記主要被写体領域の輪郭線における複数の部分のコントラスト評価値が変化した場合、前記主要被写体領域に再び合焦させることを特徴とする請求項４に記載の焦点調節装置。
8. 前記制御部は、前記複数の部分の全てにおいてコントラスト評価値が第１閾値を下回った場合、前記主要被写体領域に再び合焦させることを特徴とする請求項７に記載の焦点調節装置。
9. 前記制御部は、前記複数の部分の一部においてコントラスト評価値が第２閾値を下回った場合、前記主要被写体領域に再び合焦させることを特徴とする請求項７に記載の焦点調節装置。
10. 前記制御部は、前記コントラスト評価値を色成分毎に選択し、選択した色成分の全てについて、相対的に前の時刻に撮像された画像における前記領域のコントラスト評価値と比較して、相対的に後の時刻に撮像された画像における前記領域のコントラスト評価値が劣る場合、前記領域に再び合焦させることを特徴とする請求項４から請求項９のいずれか１つに記載の焦点調節装置。
11. 前記制御部は、隣接する画素同士の画像特徴量の差を検出し、検出した差の絶対値に基づいて、前記領域の輪郭線を抽出することを特徴とする請求項４から請求項１０のいずれか１つに記載の焦点調節装置。
12. 前記制御部は、前記コントラスト評価値の度数分布に基づいて、前記主要被写体領域に再び合焦させることを特徴とする請求項４から請求項１１のいずれか１つに記載の焦点調節装置。
13. 前記制御部は、相対的に前の時刻に撮像された画像の主要被写体領域のコントラスト評価値を初期値とし、相対的に後の時刻に撮像された画像の主要被写体領域のコントラスト評価値が前記初期値以上になるまで前記合焦レンズの位置を制御することで、前記主要被写体領域に再び合焦させることを特徴とする請求項４から請求項１２のいずれか１つに記載の焦点調節装置。
14. 前記制御部は、前記コントラスト評価値と前記合焦レンズの位置とを対応付けて予め記憶する記憶部を参照し、前記コントラスト評価値に基づいて、前記合焦レンズの移動量を制限することを特徴とする請求項４から請求項１３のいずれか１つに記載の焦点調節装置。
15. 焦点調節装置のコンピュータに、
    合焦レンズを介して撮像された時刻が異なる複数の画像を取得する手順と、
    被写体が撮像されている領域を画像特徴量に基づいて前記画像から抽出し、前記合焦レンズの位置を制御することで前記領域に合焦させる手順と、
    を実行させるための焦点調節プログラム。

Images