JP2012108322A - 焦点調節装置、焦点調節方法、撮影装置及び焦点調節プログラム - Google Patents

Abstract

【課題】ユーザが所望する被写体に焦点を合わせる焦点調節装置、焦点調節方法及び焦点調節プログラムを提供する。
【解決手段】複数の視点の画像に基づく視差マップを生成する視差マップ生成部１２２と、前記視差マップから視差毎の頻度を算出し、前記頻度が第N番目（Nは自然数）に高い視差に基づき穂車体の距離を算出する被写体距離算出部１８１と、前記距離からの光線の焦点が撮像素子１０６，１１６に合う合焦位置に撮影レンズの位置を調節するフォーカス制御部１２５とを備える。
【選択図】図２

Description

本発明は、焦点調節装置、焦点調節方法、撮影装置及び焦点調節プログラムに関する。

被写体を鮮明に撮影するためには、その被写体からの光線の焦点が撮像素子に合わなければならない。そのために、撮影レンズの位置を制御する自動焦点調節（ＡＦ,Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓｉｎｇ）機能を備える撮影装置が普及している。自動焦点調節機能は、撮像素子上に被写体からの光線の焦点を合わせるように、撮影レンズの位置を制御する。その際、自動焦点調節機能は、撮像素子が取得した画像のコントラストに基づく合焦評価値を求め、その合焦評価値が極値をとる位置に撮影レンズの位置を調節することがある。

しかしながら、被写体にはユーザが所望しない物体が含まれ、そのような物体に焦点が合うことがある。例えば、ユーザが遠隔の風景を所望するにもかかわらず、より近接するフェンスに焦点が合うことがある。そのような場合には、ユーザが所望しない物体に対して焦点が合わないようにする必要がある。例えば、特許文献１及び２には、撮影装置から所定の距離の範囲を合焦位置の候補から除外する発明が記載されている。

特開２００６−３４９７５５号公報 特開２００８−１１１８９７号公報

しかしながら、特許文献１及び２に記載の発明では、合焦位置の候補から除外する撮影位置の制限幅を、(a) 予め撮影装置に記憶させておくか、(b) ユーザが設定する必要がある。(a) の場合には、ユーザが所望しない被写体の距離によっては、その被写体に対する合焦位置が除外されないことがある。(b) の場合には、ユーザがその制限幅を認知し、制設定するための操作が強いられる。

本発明は上記の点に鑑みてなされたものであり、ユーザが容易に所望する被写体に焦点を合わせる焦点調節装置、焦点調節方法、撮影装置及び焦点調節プログラム、を提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数の視点からの画像に基づく視差マップを生成する視差マップ生成部と、前記視差マップから視差毎の頻度を算出し、前記頻度が第N番目（Nは自然数）に高い視差に基づき被写体の距離を算出する被写体距離算出部と、前記距離から光線の焦点が撮像素子に合う合焦位置に撮影レンズの位置を調節するフォーカス制御部と、を備えることを特徴とする焦点調節装置である。
（２）また、本発明の他の態様として、前記被写体距離算出部は、前記視差マップにおいて視差が一意に決定されない画素を前記頻度の算出において除外すること、を特徴とすることとしてもよい。
（３）また、本発明の他の態様として、撮影された画像に基づき光学系における合焦の程度を示す合焦評価値を算出する合焦評価部を有し、前記フォーカス制御部は、前記合焦評価値に基づき前記合焦位置を定めること、を特徴とすることとしてもよい。
（４）また、本発明の他の態様として、複数の視点からの画像に基づく視差マップを生成する視差マップ生成部と、前記視差マップから視差毎の頻度を算出し、前記頻度が第N番目（Nは自然数）に高い視差に基づき被写体の距離を算出する被写体距離算出部と、前記合焦位置に撮影レンズの位置を調節するフォーカス制御部とを備えることを特徴とする撮影装置であってもよい。

本発明によれば、形状に周期性がある被写体に対して視差を一意に定めることができず、その被写体に対応する合焦位置は、撮影レンズの位置の候補から除外される。また、そのような被写体は、通例ではユーザが所望するものではない。よって、本発明によれば、ユーザが所望する被写体に対する合焦位置に撮影レンズの位置が制御される。

本発明の第１の実施形態に係る撮影装置の概略図である。 本実施形態に係る焦点調節装置の構成の一例を示す概略ブロック図である。 ＳＡＤ法を説明するための図である。 注目ウィンドウ、探索ウィンドウ各々について画素値の配置例を示す図である。 探索ウィンドウの中心座標のx座標ごとのSAD値の一例を示す図である。 視差毎の画素数の一例を示す図である。 距離d、視差x、被写体の距離の候補値Lとの位置関係を示す図である。 本実施形態に係る焦点調節方法の一例を示す流れ図である。 本実施形態に係る焦点調節方法の他の例を示す流れ図である。 本実施形態に係る焦点調節方法のその他の例を示す流れ図である。 本実施形態に係る撮影装置の他の例を示す概略図である。 本実施形態に係る撮影装置のその他の例を示す概略図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明に係る焦点調整装置の第1の実施形態の一例を含んで構成される撮影装置１０１の概略図である。撮影装置１０１は、レンズユニット１０２、レンズユニット１１２、視差マップ生成部１２２、記録用メディア１２３、操作制御部１２４、フォーカス制御部１２５、撮影制御部１３１、ＣＰＵ１３２、ＲＯＭ部１３３、ＲＡＭ部１３４、ドライバ部１３５、映像処理部１３６、電源管理部１３７、音声入力部１４１、映像入力部１４２、映像表示部１５２、バス１６１、被写体距離算出部１８１、合焦評価部１８２及び撮影信号処理部１８３を含んで構成される。

レンズユニット１０２は、固定レンズ１０３、絞り羽根１０４、撮影レンズ１０５、撮像素子１０６、撮影レンズ駆動部１０７及び位置検出部１０８と、を含んで構成される。
レンズユニット１１２は、固定レンズ１１３、絞り羽根１１４、撮影レンズ１１５、撮像素子１１６、撮影レンズ駆動部１１７及び位置検出部１１８と、を含んで構成される。
被写体からの光線は、レンズユニット１０２，１１２を構成する固定レンズ１０３，１１３、絞り羽根１０４，１１４及び撮影レンズ１０５，１１５、各部を各々通り、撮像素子１０６，１１６に結像する。ここで、絞り羽根１０４，１１４は固定レンズ１０３，１１３からの光量を調節する。撮影装置１０１は、レンズユニット１０２及び１１２を左右に並置している。そのため、撮像素子１０６，１１６は、各々左右のレンズユニット１０２，１１２の各部を通過した光線を光電変換し、アナログ画像信号を生成する。これらの画像信号は、各々視点の異なる位置から取得されたものである。レンズユニット１０２，１１２から取得された画像信号を、各々アナログ左画像信号、アナログ右画像信号という。

撮影レンズ駆動部１０７，１１７は、フォーカス制御部１２５からの制御情報に基づき撮影レンズ１０５，１１５の光軸の方向に、それらを移動させる。これにより、被写体からの光線の焦点を調整することができる。
位置検出部１０８，１１８は、撮影レンズ１０５，１１５の位置を検出し、検出した位置情報を各々フォーカス制御部１２５に出力する。
フォーカス制御部１２５は、位置検出部１０８，１１８で検出した位置情報、被写体距離算出部１８１から入力した距離情報及び合焦評価部１８２から入力した合焦状態情報に基づき、駆動制御信号を生成する。フォーカス制御部１２５は、駆動制御信号を各々撮影レンズ駆動部１０７，１１７に出力する。フォーカス制御部１２５における処理については後述する。

記録用メディア１２３は、ドライバ部１３５又は映像処理部１３６から入力された音声信号及び映像信号を記憶する。記録用メディア１２３は、撮影装置１０１に着脱可能な記録媒体、例えば、メモリーカードやハードディスクである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）部１３３は、後述する操作制御部１２４から音声映像出力指示信号を入力されたとき、ＲＯＭから音声信号及び映像信号を読み出す。ＲＯＭ部１３３は、音声信号を音声出力部１５１に、映像信号を映像表示部１５２にそれぞれ出力する。

操作制御部１２４は、ユーザの操作により、被写体の撮影を指示する撮影指示信号、音声信号及び映像信号の記録を指示する音声映像記録指示信号、又は音声及び映像の出力を指示する音声映像出力指示信号を生成する。操作制御部１２４は、撮影指示信号を映像処理部１３６に、音声映像記録指示信号又は音声映像出力指示信号をドライバ部１３５に出力する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３２は、バス１６１によって撮影装置１０１の各部を接続し、各部を制御するように構成する。操作制御部１２４がユーザによる操作入力を受け付けると、電源管理部１３７は、撮影装置１０１の各部に電源を供給する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）部１３４は撮影のためのプログラムがロードされており、撮影制御部１３１がユーザにより、録画モードで動作するように操作入力を受けると、ＣＰＵ１３２は、このプログラムに従って動作する。

ドライバ部１３５は、操作制御部１２４から音声映像記録指示信号を入力されたとき、音声入力部１４１から入力された音声信号を、映像入力部１４２から入力された映像信号を、記録用メディア１２３に出力し、これらを記録させる。ドライバ部１３５は、操作制御部１２４から音声映像出力指示信号を入力されたとき、記録用メディア１２３は音声信号及び映像信号を読出し、各々音声出力部１５１及び映像表示部１５２に出力する。

音声入力部１４１は音声信号を入力され、ドライバ部１３５に出力する。映像入力部１４２は映像信号を入力され、ドライバ部１３５に出力する。音声出力部１５１は、ドライバ部１３５から入力された音声信号に基づき音声を再生する。映像表示部１５２は、ドライバ部１３５から入力された映像信号に基づき映像を表示する。
映像処理部１３６は、操作制御部１２４から撮影指示信号を入力されたとき、撮影信号処理部１８３から入力された映像信号を所定のデータ形式（例えば、Ｍｏｔｉｏｎ ＪＰＥＧ、ＭＰＥＧ−４）に変換し、記録用メディア１２３に出力する。

撮影信号処理部１８３は、撮像素子１０６，１１６から入力されたアナログ左画像信号、アナログ右画像信号を、アナログディジタル変換してディジタル左画像信号、ディジタル右画像信号を生成する。撮影信号処理部１８３は、生成したディジタル左画像信号及びディジタル右画像信号を視差マップ生成部１２２、合焦評価部１８２及び映像処理部１３６に出力する。

図１に示す撮影装置１０１において、撮影レンズ１０５，１１５、撮影レンズ駆動部１０７，１１７、撮像素子１０６，１１６、視差マップ生成部１２２、被写体距離算出部１８１、合焦評価部１８２及び撮影信号処理部１８３、を含んで構成される部分は、本実施形態に係る焦点調節装置１９１である。次に、この部分について図２を用いて説明する。図２は、本実施形態に係る焦点調節装置１９１の構成の一例に係る概略ブロック図である。

図２において、撮影信号処理部１８３は、撮像素子１０６及び１１６から入力されたアナログ左画像信号及びアナログ右画像信号を各々アナログディジタル変換して、ディジタル左画像信号及びディジタル右画像信号を生成する。ここで生成したディジタル左画像信号及びディジタル右画像信号は、画素毎の輝度を示す。撮影信号処理部１８３は、ディジタル左画像信号及びディジタル右画像信号を視差マップ生成部１２２及び合焦評価部１８２に出力する。

視差マップ生成部１２２は、撮影信号処理部１８３から入力されたディジタル左画像信号及びディジタル右画像信号に基づき視差マップ情報を生成する。視差とは、ある被写体の異なる視点からの方向や位置の差をいう。本実施形態では、視差は、例えば、レンズユニット１０２，１１２各々から、ある被写体を撮影した画像の座標の差分である。一般に、視差が小さくなるほど、その被写体の距離が撮影装置１０１から遠くなる。
視差マップ情報とは、視差を映像の輝度値を用いて表した情報、即ちディジタル左画像信号及びディジタル右画像信号に表された、ある被写体の座標における差分の絶対値を画素毎に表した情報である。即ち、視差マップ情報における輝度値が高い部分が、視差が大きい、つまり撮影装置から近い部分であることを示す。また、輝度値が低い部分が、視差が小さい、つまり撮影装置から遠い部分であることを示す。

視差マップ生成部１２２は、ディジタル左画像信号とディジタル右画像信号を用いて、ステレオマッチング処理により視差マップ情報を生成する。ステレオマッチング処理とは、ディジタル左画像信号が示す画像が、ディジタル右画像信号が示す画像のどの部分に対応するかを演算により決定し、その対応関係から視差情報を算出するものである。ステレオマッチング処理には、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法を用いることができる。ＳＡＤ法は、いわゆるブロックマッチング法の一つである。つまり、ＳＡＤ法では、ディジタル左画像信号とディジタル右画像信号のうち一方を基準画像信号とし、ある画素に注目する。このような画素を注目画素という。この注目画素を中心とし、所定の範囲の画素を抽出するウィンドウを注目ウィンドウという。そして、他方の画像から注目ウィンドウと同一の大きさの探索ウィンドウにより所定の範囲の画素値を抽出する。その探索ウィンドウの座標値ごとに、両ウィンドウの範囲内の画素値に基づき評価関数を算出し、算出した評価関数に基づき両画素値がもっとも合致する探索ウィンドウの座標値と注目画素の座標値の差分を視差と決定する。一方の画像における注目ウィンドウを順次変更し、視差を決定することにより視差マップ情報を生成することができる。ＳＡＤ法は評価関数を算出するための演算量が少なく、高速処理が可能である特徴がある。

ＳＡＤ法について、例えば、画素数が縦３個×横３個の画像ブロックを用いる場合について図３を用いて説明する。図３は、ＳＡＤ法を説明するための図である。図３では左側に各々１フレーム分のディジタル左画像信号ＩＬ、右側にディジタル右画像信号ＩＲの例を示す。
まず、視差マップ生成部１２２は、ディジタル左画像信号ＩＬとディジタル右画像信号ＩＲのうち一方を基準画像信号とする。視差マップ生成部１２２は、例えば、ディジタル左画像信号ＩＬを基準画像信号とし、基準画像信号において、ある注目画素ＴＰが中心となる注目ウィンドウＴＷを設定する。
視差マップ生成部１２２は、ディジタル右画像信号ＩＲについても、その注目ウィンドウＴＷと同一の縦座標（y座標）において、注目ウィンドウＴＷと同一の大きさの探索ウィンドウＳＷを設定する。視差マップ生成部１２２は、ディジタル左画像信号ＩＬの注目ウィンドウＴＷにおける画素値とディジタル右画像信号ＩＲの探索ウィンドウＳＷにおける画素値の絶対値の差分の総和を評価関数として算出する。
評価関数ＳＡＤは、式（１）で表される。

ここで、x₀〜x₈、x’₀〜x’₈は、注目ウィンドウＴＷ、探索ウィンドウＳＷ各々を構成する画素値である。図４は、注目ウィンドウＴＷ、探索ウィンドウＳＷ各々について画素値の配置例を示す図である。図４に示すように、x₀〜x₈、x’₀〜x’₈は、注目ウィンドウＴＷ、探索ウィンドウＳＷ各々における、左上端から右下端までの画素値である。
ＳＡＤ法では、評価関数を式（１）に従って算出するが、視差マップ生成部１２２は評価関数を他の方法で、例えば注目ウィンドウＴＷ内の画素値x₀〜x₈と探索ウィンドウＳＷ内の画素値x’₀〜x’₈との相関関数を、算出してもよい。
図３に示されるように、視差マップ生成部１２２は、探索ウィンドウＳＷの座標を順次右側に変更し、その都度、評価関数を算出する処理を繰り返す。処理に係る探索ウィンドウＳＷの座標の範囲は、右画像探索開始位置ＰＲ１から右画像探索終了位置ＰＲ２まである。右画像探索終了位置ＰＲ２の横座標（ｘ座標）は注目ウィンドウＴＷと同一である。また、右画像探索開始位置ＰＲ１の横座標は注目ウィンドウＴＷから見込まれる最大視差ＰＬｍａｘだけ左側にずれた位置となる。従って、探索ウィンドウＳＷの探索範囲ＳＲの大きさは最大視差ＰＬｍａｘとなる。従って、右画像探索開始位置ＰＲ１、右画像探索終了位置ＰＲ２は、ともに、探索ウィンドウＳＷの一部又は全部がディジタル右画像信号ＩＲの範囲を超えない。
ここで、視差マップ生成部１２２は、評価関数（ＳＡＤ）が最小となる座標の探索ウィンドウＳＷを一致ウィンドウとし、その画素の中心座標値Xmatchを検出する。これにより、視差マップ生成部１２２は、注目画素の座標値Xtargetと一致ウィンドウの中心座標値Xmatchとの差分を視差値Dispと算出する。
なお、評価関数として注目ウィンドウＴＷ内の画素値と探索ウィンドウＳＷ内の画素値との相関関数を用いた場合、視差マップ生成部１２２は、評価関数（相関関数）が最大となる座標の探索ウィンドウＳＷを一致ウィンドウとして、視差値Dispを算出する必要がある。

そして、視差マップ生成部１２２は、注目画素ＴＰ、即ち注目ウィンドウＴＷの中心座標値を順次変更して、各々の視差値Dispを算出して、基準画像信号のフレームごとに視差マップ情報を構成する。注目画素を変更する範囲は、図３のディジタル左画像信号ＩＬに網掛けで示される視差値算出不可領域ＮＣを除いた、最も左上の座標点、即ち左画像探索開始位置ＰＬ１から最も右下の座標点、即ち左画像探索終了位置ＰＬ２までである。
視差値算出不可領域ＮＣは、想定される最大視差ＰＬｍａｘより左側でかつ、注目ウィンドウＴＷの全部又は一部がディジタル左画像信号ＩＬの範囲を超える部分である。言い換えれば、視差値Dispを算出する注目画素ＴＰの範囲は、想定される最大視差ＰＬｍａｘより右側，かつ注目ウィンドウＴＷの全部分がディジタル左画像信号ＩＬに含まれる領域である。

ここで、被写体がフェンスや網戸のように周期的な形状を有する場合には、一致ウィンドウ、ひいては視差値Dispが複数個探索され一意に決定されない。そのような場合には、視差マップ生成部１２２は、その注目画素ＴＰについて視差値Dispを定めずにエラー信号を割り当てる。計算誤差の影響を排除するために、視差マップ生成部１２２は、例えば式（２）を満たす探索ウィンドウＳＷの座標値が探索範囲ＳＲ内に１個でも存在する場合、エラーとして検出する。

ここで、Cは一致ウィンドウのSAD値、x_iは、Cの前後１画素を除く探索範囲Ｒ内における座標毎のSAD値、DepthErrはエラー検出パラメータである。図５は、探索ウィンドウの中心座標のx座標ごとのSAD値の一例を示す図である。図５では、横軸がそのx座標、縦軸がSAD値である。ここで、SAD値が最小になる値Cは、注目ウィンドウＴＷと探索ウィンドウＳＷの画素値が最も合致することを示す。また、SAD値がC+DepthErrよりも小さくなる点x_iでも、その探索ウィンドウＳＷについて視差値Dispが検出されていることを示す。図５に示すように、式（２）に示す基準によれば、視差マップ生成部１２２は、C+DepthErrよりも小さいSAD値をとる探索ウィンドウＳＷを一致ウィンドウの候補として検出することにより、エラーを検出することになる。ここで、要求される計算精度に応じて、DepthErrの値を変更することにより、エラー判定の精度を変更することができる。また、エラー検出において、SAD値が最小となる一致ウィンドウから前後１画素ずれた探索ウィンドウＳＷがエラー候補から除外されるため、視差マップ生成部１２２は、真の視差値が画素値の半値の偶数倍であったり、SADの最小値が連続する場合でもエラー検出が可能になる。

視差マップ生成部１２２は、得られた視差マップ情報に基づき、フレームごとに視差毎の頻度を算出する。頻度は、例えば画素数である。以下、頻度が画素数である場合について説明するが、頻度は他の指標、例えば視差毎の画素数の１フレーム内の全画素数に対する割合であってもよい。視差マップ生成部１２２は、エラー信号が割り当てられた画素については、視差毎の画素数の算出において無視する。これにより、視差マップにおいて視差が一意に決定されない画素が画素数の算出において除外されることになる。
図６は、ある視差マップにおける視差毎の画素数の一例を示す。図６では、視差値Dispが０から最大値PLmax（ここでは１０）の各々について画素数を示す。これによれば、視差値が７，３，８（画素）の場合、画素数が第１，２，３番目に多い。
視差マップ生成部１２２は、画素数が第１ないし第Ｎ番目に多い視差の候補値x₁からx_Nのうちいずれかを決定し、被写体距離算出部１８１及び合焦評価部１８２に出力する。ここで、Ｎは１以上の自然数であり、例えば３である。
得られた視差マップ情報は、他の用途にも用いられることがあるため、視差マップ生成る部１２２は、その視差マップ情報をＲＡＭ部１３３に出力し、ＲＡＭ部１３３に一時的に記憶させてもよい。また、他処理部から要求信号を入力されて、視差マップを生成するようにしてもよい。
被写体距離算出部１８１は、視差の候補値xに基づき、例えば次式を用いて、各々被写体の距離の候補値Lを算出する。

ここで、fは撮影レンズ１０５，１１５の焦点距離、dは撮像素子１０６，１１６の間の距離、xは視差である。なお、被写体距離算出部１８１は、これらのうち、焦点距離fと撮像素子間の距離dを算出用パラメータとして予め記憶しておく。図７は、被写体Ｏｂｊの特徴点Ｐｆと撮像素子１０６，１１６間の距離d、撮像素子１０６，１１６で取得された画像間の視差x、撮影レンズと特徴点との間の距離、即ち被写体の距離の候補値Lとの位置関係の一例を示す図である。焦点距離fは、撮影レンズ１０５，１１５から被写体からの光線が結像する点までの距離である。換言すれば、撮像素子１０６，１１６と撮影レンズ１０５，１１５との距離が焦点距離fに等しい場合、撮影レンズ１０５，１１５が合焦位置にあることに他ならない。焦点距離Ｐｆ０，Ｐｆ２は、被写体Ｏｂｊの特徴点Ｐｆの画像が撮像素子１０６，１１６に投影される点である。Ｐｆ１は、撮像素子１１６上のＰｆ２に対応する点である。視差ｘは、Ｐｆ１とＰｆ２の間の距離である。式（３）に基づき距離Lを求める際には、画素値単位で得られた視差xに、例えばメートル単位での画素間間隔を乗じることにより、各変数の単位系を整合させておく必要がある。図７によれば、式（３）は、視差xと焦点距離fの比が、撮像素子間距離dと被写体の距離Lの比に等しいという関係に基づく。
被写体距離算出部１８１は、被写体の距離の候補値情報Lをフォーカス制御部１２５に出力する。

図２に戻り、合焦評価部１８２は、例えば、撮影信号処理部１８３から入力されたアナログ左画像信号及びアナログ右画像信号に基づき、合焦評価値を算出する。合焦評価値は、光学系における合焦の程度を示す変数である。一般に、合焦状態で撮影した画像は、高周波数成分を多く含む点に注目したものである。合焦評価値は、合焦状態で極大値又は極小値となれば、いかなる変数を採用してもよい。極大値又は極小値には、それぞれ最大値または最小値を含む。また、極大値及び極小値を極値と総称する。合焦評価値は、例えば、撮影したディジタル画像信号から高域通過フィルタを用いて抽出した高周波成分のパワーの比率、輝度の大きさ、点像強度分布(ＰＳＦ，Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ)の何れか又はこれらの任意の組み合わせである。
本実施形態では、合焦評価部１８２は、合焦評価値が合焦状態で最大値をとるものとして説明する。しかし、本実施形態ではこれに限らず、評価値が合焦状態で最小値をとるものを採用してもよく、その際には合焦評価値の大小関係を逆転させればよい。また、合焦評価値を算出するためには、各フレームの一部の領域内のディジタル画像信号を用いても、各フレーム全体に含まれるディジタル画像信号を用いてもよい。

合焦評価部１８２は、合焦評価値に基づき合焦状態か否か判断する。例えば、合焦評価部１８２は、合焦評価値が最大値から所定の値の範囲にあるとき合焦状態と判断し、合焦評価値が最大から所定の値の範囲にない場合、合焦状態でないと判断する。合焦評価部１８２は、合焦状態と判断した場合に合焦状態であることを示す合焦状態信号を、合焦状態でないと判断した場合に合焦状態でないことを示す非合焦状態信号を、フォーカス制御部１２５に出力する。
合焦評価値は、一般に撮影レンズ１０５，１１５の位置の関数となる。そこで、上記の最大値を次のように決定する。撮影中に撮影レンズ駆動部１０７，１１７は、撮影レンズ１０５，１１５を光軸上で移動させ、合焦評価部１８２は、複数の位置について各々合焦評価値を記録する。合焦評価部１８２は、記録された値のうち最大となる値を合焦評価値の上記の最大値と決定してもよい。なお、動画を撮影する場合には、撮影レンズ駆動部１０７，１１７は、撮影レンズ１０５，１１５を微小に光軸上で往復させる。このとき、合焦評価部１８２は、合焦評価値の増減を観測し、極大となる値を上記の最大値と決定してもよい。また、被写体距離算出部１８１で算出された被写体の距離の候補値Lに対応する合焦評価値が、その最大値から所定の範囲にあるとき合焦状態と判断し、その最大値から所定の範囲にないとき合焦状態でないと判断してもよい。

フォーカス制御部１２５は、合焦評価部１８２から合焦状態信号を入力されたとき、位置検出部１０８，１１８から入力された撮影レンズ１０５，１０７の位置情報に基づき、撮影レンズ１０５，１０７を合焦位置に移動させるように制御する。そのため、フォーカス制御部１２５は、被写体距離算出部１８１から入力された被写体の距離の候補値Lに対応する位置に撮影レンズ１０５，１１５を移動させるための制御情報を既知の方法により各々算出する。フォーカス制御部１２５は、算出した制御情報を各々撮影レンズ駆動部１０７，１１７に出力する。

次に、本実施形態に係る焦点調節装置の動作、すなわち焦点調節方法の一態様について図８を用いて説明する。図８は、本実施形態に係る焦点調節方法の一態様に係る流れ図である。
（ステップＳ４０１）撮影信号処理部１８３は、レンズユニット１０２，１１２から入力された画像信号を撮影する。即ち、撮像素子１０６，１１６から入力されたアナログ左画像信号、アナログ右画像信号を、アナログディジタル変換してディジタル左画像信号、ディジタル右画像信号を生成する。撮影信号処理部１８３は、生成したディジタル左画像信号及びディジタル右画像信号を視差マップ生成部１２２、合焦評価部１８２に出力する。
（ステップＳ４０２）視差マップ生成部１２２は、撮影信号処理部１８３から入力されたディジタル左画像信号及びディジタル右画像信号に基づき視差マップ情報を生成する。即ち、ディジタル左画像信号における注目ウィンドウ内の画素値とディジタル右画像信号における探索ウィンドウ内の画素値から算出した評価関数に基づき、画素毎の視差情報を求める。

（ステップＳ４０３）視差マップ生成部１２２は、視差値毎の画素数をカウントし、視差値毎の画素数を示すヒストグラムを算出する。ここで、形状が周期的な被写体については、視差情報を一意に求められずエラーが検出される。画素数のカウントにおいて、そのような被写体については無視される。
（ステップＳ４０４）視差マップ生成部１２２は、画素数が最も多い視差の候補値xのうち何れかを決定し、合焦位置算出部１８１に出力する。
被写体距離算出部１８１は、視差の候補値xに基づき、各々被写体の距離の候補値Lを算出する。被写体距離算出部１８１は、被写体の距離の候補値情報のうち最も画素数が多い視差に対応するものをフォーカス制御部１２５に出力する。
フォーカス制御部１２５は、位置検出部１０８，１１８から入力された撮影レンズ１０５，１０７の位置情報に基づき、被写体距離算出部１８１から入力された被写体の距離の候補値に、撮影レンズ１０５，１１５を移動させるための制御情報を既知の方法により各々算出する。これにより、撮影レンズ１０５，１１５は、最も画素数が多い視差に対応する距離に合焦する位置に移動する。

（ステップＳ４０５）合焦評価部１８２は、撮影信号処理部１８３から入力されたアナログ左画像信号及びアナログ右画像信号に基づき、合焦評価値を算出する。合焦評価部１８２は、合焦評価値に基づき合焦状態か否かを判断する。
（ステップＳ４０５ Ｙ）合焦評価部１８２が合焦状態と判断した場合、ステップＳ４０７に進む。なお、図８には示さないが、被写体の距離の候補値情報のうちＮ番目に画素数が多い視差においても合焦状態と判断されなかった場合にも、強制的にステップＳ４０７に進む。
（ステップＳ４０５ Ｎ）合焦評価部１８２が合焦状態でないと判断した場合、ステップＳ４０６に進む。

（ステップＳ４０６）被写体距離算出部１８１は、被写体の距離の候補値情報のうち次に画素数が多い視差に対応するものをフォーカス制御部１２５に出力する。
フォーカス制御部１２５は、位置検出部１０８，１１８から入力された撮影レンズ１０５，１０７の位置情報に基づき、被写体距離算出部１８１から入力された被写体の距離の候補値に、撮影レンズ１０５，１１５を移動させるための制御情報を既知の方法により各々算出する。これにより、撮影レンズ１０５，１１５は、次に画素数が多い視差に対応する距離に合焦する位置に移動する。ステップＳ４０５に進む。
（ステップＳ４０７）操作制御部１２４が、ユーザの操作により、映像信号の撮影を停止することを指示する撮影停止信号を入力されたか否か判断する。
（ステップＳ４０７ Ｙ）操作制御部１２４が、撮影停止信号を入力されたとき、処理を停止する。
（ステップＳ４０７ Ｎ）操作制御部１２４が、撮影停止信号を入力していないときは、ステップＳ４０１に戻る。

従って、本実施形態に係る焦点調節方法によれば、視点の異なる画像から求めた視差マップ情報から、視差ごとの画素数に基づき撮影レンズの焦点を調整する。形状に周期性がある被写体については、視差が一意に求まらず、視差ごとの画素数の算出において無視される。そのような被写体に対して合焦されないため、ユーザが所望する被写体に焦点を合わせることができる。

次に、本実施形態に係る焦点調節装置の動作、すなわち焦点調節方法の他の態様について図９を用いて説明する。図９は、本実施形態に係る焦点調節方法の他の態様に係る流れ図である。この態様においては、図８に示した焦点調節方法とステップＳ４０１，４０２，４０３，４０７が共通のステップであり、ステップＳ４１１，４１２，４１３が新たに加わったステップである。ここでは、主に新たに加わったステップについて説明する。
（ステップＳ４１１）フォーカス制御部１２５は、位置検出部１０８，１１８から入力された撮影レンズ１０５，１０７の位置情報に基づき、撮影レンズ１０５，１１５を移動させるための制御情報を既知の方法により各々算出する。ここでは、例えば、制御情報として撮影レンズ１０５、１１５の移動量を算出する。これにより、撮影レンズ１０５，１１５は、その移動量で指示された位置に移動する。

（ステップＳ４１２）合焦評価部１８２は、撮影信号処理部１８３から入力されたアナログ左画像信号及びアナログ右画像信号に基づき、合焦評価値を算出する。合焦評価部１８２は、合焦評価値に基づき合焦状態か否かを判断する。
（ステップＳ４１２ Ｙ）合焦評価部１８２が合焦状態と判断した場合、ステップＳ４０２に進む。
（ステップＳ４１２ Ｎ）合焦評価部１８２が合焦状態でないと判断した場合、ステップＳ４１１に進む。
（ステップＳ４１３）フォーカス制御部１２５は、位置検出部１０８，１１８から入力された撮影レンズ１０５，１０７の位置情報に基づき、撮影素子１０６，１１６との距離を求める。フォーカス制御部１２５は、この距離が、被写体距離算出部１８１から入力された被写体距離Lの第１ないし第Ｎ候補値のいずれに対応するか判断する。フォーカス制御部１２５は、例えば、この距離fの候補値を次式により算出する。

ここで、フォーカス制御部１２５は、撮影レンズ１０５，１０７の位置に基づく距離が、式（４）で算出した距離の第１ないし第Ｎ候補値の何れかの一定範囲内にあるか否かを判断する。
（ステップＳ４１３ Ｙ）フォーカス制御部１２５が、撮影レンズ１０５，１０７の位置が、被写体距離Lの第１ないし第Ｎ候補値のいずれに対応すると判断した場合、ステップＳ４０７に進む。
（ステップＳ４１３ Ｎ）フォーカス制御部１２５が、撮影レンズ１０５，１０７の位置が、被写体距離Lの第１ないし第Ｎ候補値のいずれに対応すると判断しない場合、ステップＳ４１１に戻る。

これにより、本態様によれば、自動焦点調整による焦点距離が、視差マップ情報に基づく被写体の距離情報による焦点距離が合致するか判断される。視差マップ情報に基づく距離情報には、形状に周期性を有する被写体の距離情報が除外される。そのため、自動焦点調整において、そのような被写体に撮影レンズ１０５，１１５の焦点が合う問題を回避することができる。

次に、本実施形態に係る焦点調節装置の動作、すなわち焦点調節方法の他の態様について図１０を用いて説明する。図１０は、本実施形態に係る焦点調節方法の他の態様に係る流れ図である。この態様においては、図９に示した焦点調節方法とステップＳ４０１，４０７，Ｓ４１１，Ｓ４１２，Ｓ４２１が共通のステップであり、ステップＳ４２２，４２３，４２４が新たに加わったステップである。ここでは、主に新たに加わったステップについて説明する。
（ステップＳ４２２）視差マップ生成部１２２は、撮影信号処理部１８３から入力されたディジタル左画像信号及びディジタル右画像信号に基づき視差マップ情報を生成する。即ち、ディジタル左画像信号における注目ウィンドウ内の画素値とディジタル右画像信号における探索ウィンドウ内の画素値から算出した評価関数に基づき、画素毎の視差情報を求める。視差マップ生成部１２２は、複数の視差情報が算出されることによりエラーが検出された画素についても、視差情報とエラー信号を対応させて記憶する。

（ステップＳ４２３）視差マップ生成部１２２は、視差値毎の画素数をカウントし、視差値毎の画素数を示すヒストグラムを算出する。ここでは、エラーが検出された画素についても画素数をカウントする対象とする。また、エラーが検出された画素についての視差値についても、エラー信号を対応させて記憶する。視差マップ生成部１２２は、視差情報毎の画素数及びエラー信号をフォーカス制御部１２５に出力する。

（ステップＳ４２４）フォーカス制御部１２５は、位置検出部１０８，１１８から入力された撮影レンズ１０５，１０７の位置情報に基づき、撮影素子１０６，１１６との距離、即ち撮影レンズ１０５，１０７の焦点距離を求める。フォーカス制御部１２５は、この焦点距離が、エラー信号が伴う視差情報に基づく焦点距離に対応するか否か判断する。即ち、フォーカス制御部１２５は、撮影レンズ１０５，１０７の位置に基づく距離が、エラー信号を伴う視差情報に基づき式（４）で算出した距離の一定範囲内にあるか否かを判断する。
（ステップＳ４２４ Ｙ）フォーカス制御部１２５は、この撮影レンズの位置が、エラー信号が伴う視差情報に基づく焦点距離に対応すると判断した場合には、ステップＳ４０７に進む。
（ステップＳ４２４ Ｎ）フォーカス制御部１２５は、この撮影レンズの位置が、エラー信号が伴う視差情報に基づく焦点距離に対応しないと判断した場合には、ステップＳ４１１に進む。

これにより、本態様によれば、自動焦点調整による焦点距離の候補から、視差マップ情報を生成する際にエラーが検出された距離が除外される。かかるエラーは、形状に周期性を有する被写体の距離において生じる。そのため、自動焦点調整において、そのような被写体に撮影レンズ１０５，１１５の焦点が合ってしまう問題を回避することができる。

次に、本実施形態に係る焦点調節装置を含んで構成される撮影装置の別の態様について説明する。図１１は、本実施形態に係る撮影装置２０１を示す概略図である。撮影装置２０１は、撮影装置１０１の構成に加え、ズームレンズ１０９，１１９、ズームレンズ駆動部１１０，１２０、及びズーム制御部１２６を含んで構成される。
ズームレンズ１０９，１１９は、固定レンズ１０３，１１３から入射された光線を拡散させて、絞り羽根１０４，１１４に導く。ズームレンズ駆動部１１０，１２０は、ズーム制御部１２６からの制御情報に基づき、ズームレンズ１０９，１１９を、その光軸方向と平行な方向に移動させる。ズーム制御部１２６は、位置検出部１０８，１１８で検出されたズームレンズ１０９，１１９の位置情報に基づき制御信号を生成する。これにより、被写体を示す画像を拡大又は縮小させることができる。
このように、本実施形態に係る焦点調整装置は、ズーム機能を有する撮影装置２０１にも応用することができる。

次に、本実施形態に係る焦点調節装置を含んで構成される撮影装置の更に別の態様について説明する。図１２は、本実施形態に係る撮影装置３０１を示す概略図である。撮影装置３０１は、撮影装置１０１の構成に加え、無線通信部１７１を含んで構成される。無線通信部１７１は、アンテナ部１７２、アンテナ制御部１７３、ＲＦ部１７４、変復調部１７５、ベースバンド処理部１７６を含んで構成される。これらの構成を有することにより、撮影した映像信号を遠隔地に送信することができる。
このように、本実施形態に係る焦点調整装置は、無線通信部１７１を有する撮影装置３０１にも応用することができる。

なお、上述した実施形態における撮影装置１０１，２０１，３０１や、焦点調節装置１９１の一部、例えば、視差マップ生成部１２２、フォーカス制御部１２５、被写体距離算出部１８１、合焦評価部１８２及び撮影信号処理部１８３をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、撮影装置又は焦点調節装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における撮影装置及び焦点調節装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。撮影装置及び焦点調節装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０１…撮影装置、１０２…レンズユニット、１０３…固定レンズ、１０４…絞り羽根、１０５…撮影レンズ、１０６…撮像素子、１０７…撮影レンズ駆動部、
１０８…位置検出部、１０９…ズームレンズ、１１０…ズームレンズ駆動部、
１１２…レンズユニット、１１３…固定レンズ、１１４…絞り羽根、１１５…撮影レンズ、１１６…撮像素子、１１７…撮影レンズ駆動部、１１８…位置検出部、
１１９…ズームレンズ、１２０…ズームレンズ駆動部、１２２…視差マップ生成部、
１２３…記録用メディア、１２４…操作制御部、１２５…フォーカス制御部、
１２６…ズーム制御部、１３１…撮影制御部、１３２…ＣＰＵ１３２、１３３…ＲＯＭ部、１３４…ＲＡＭ部、１３５…ドライバ部、１３６…映像処理部、１３７…電源管理部、
１４１…音声入力部、１４２…映像入力部、１５２…映像表示部、１６１…バス、
１７１…無線通信部、１７２…アンテナ部、１７３…アンテナ制御部、１７４…ＲＦ部、１７５…変復調部、１７６…ベースバンド処理部、
１８１…被写体距離算出部、１８２…合焦評価部、１８３…撮影信号処理部
２０１…撮影装置、３０１…撮影装置

Claims (6)

1. 複数の視点からの画像に基づく視差マップを生成する視差マップ生成部と、
   前記視差マップから視差毎の頻度を算出し、前記頻度が第N番目（Nは自然数）に高い視差に基づき被写体の距離を算出する被写体距離算出部と、
   前記距離からの光線の焦点が撮像素子に合う合焦位置に撮影レンズの位置を調節するフォーカス制御部と、を備えること
   を特徴とする焦点調節装置。
2. 前記被写体距離算出部は、
   前記視差マップにおいて視差が一意に決定されない画素を前記頻度の算出において除外すること
   を特徴とする請求項１に記載の焦点調節装置。
3. 撮影された画像に基づき光学系における合焦の程度を示す合焦評価値を算出する合焦評価部を有し、
   前記フォーカス制御部は、前記合焦評価値に基づき前記合焦位置を定めること
   を特徴とする請求項１に記載の焦点調節装置。
4. 複数の視点からの画像に基づく視差マップを生成する視差マップ生成部と、
   前記視差マップから視差毎の頻度を算出し、前記頻度が第N番目（Nは自然数）に高い視差に基づき被写体の距離を算出する被写体距離算出部と、
   前記距離からの光線に焦点が撮像素子に合う合焦位置に撮影レンズの位置を調節するフォーカス制御部と、を備えること
   を特徴とする撮影装置。
5. 画像撮影装置における焦点調節方法において、
   複数からの視点の画像に基づく視差マップを生成する第１の過程と、
   前記視差マップから視差毎の頻度を算出し、前記頻度が第N番目（Nは自然数）に高い視差に基づき被写体の距離を算出する第２の過程と、
   前記距離からの光線の焦点が撮像素子に合う合焦位置に撮影レンズの位置を調節する第３の過程と、を有すること
   を特徴とする焦点調節方法。
6. 画像撮影装置のコンピュータに、
   前記画像撮影装置が複数からの視点の画像に基づく視差マップを生成する第１の手順と、
   前記視差マップから視差毎の頻度を算出し、前記頻度が第N番目（Nは自然数）に高い視差に基づき被写体の距離を算出する第２の手順と、
   前記距離からの光線の焦点が撮像素子に合う合焦位置に撮影レンズの位置を調節する第３の手順と
   を実行させるための焦点調節プログラム。

Images