JP2012133232A - 撮影装置及び撮影制御方法 - Google Patents

Abstract

【課題】複眼式の撮影装置において、それぞれの光学系で合焦ズレが起こらないような良好なＡＦ制御を行うこと。
【解決手段】立体画像を撮影可能な撮影装置であって、第１レンズ及び第２レンズの視差量を、前記第１レンズを駆動するための制御量に関連付けた視差情報を記憶する記憶部と、第１検波位置において合焦させるため前記第１レンズの駆動を制御する第１合焦制御部と、第１合焦制御部により合焦した際の制御量に対応する視差量を前記視差情報から取得し、視差量を前記第１検波位置に反映した第２検波位置を検出する視差補償部と、視差補償部により検出された第２検波位置において合焦させるため第２レンズの駆動を制御する第２合焦制御部と、を備える。
【選択図】図４

Description

本発明は、立体映像を撮影する撮影装置及び撮影制御方法に関する。

両眼による視差を用いた立体画像を得るために、１台のカメラに２つの光学系を設けた複眼カメラを用いて撮影が行なわれる。ところが、複数の受光レンズを介して画像を入力する場合、それぞれの受光レンズが対象物上の何処かで合焦していたとしても、同一点で合焦しているとは限らない。

特に複眼のカメラでマクロ撮影する場合やズーム撮影した場合、両眼それぞれのカメラ制御の精度不足によるズレにより、両眼画像のフォーカスのズレが大きくなる。したがって、複数のカメラにより撮影されたそれぞれの画像は、対象物上の同一点であっても、ボケ状態が互いに異なったりすることがある。

図１は、両眼画像のフォーカスのズレを説明するための図である。図１に示す例は、簡単のため、右目用のカメラ１１と左目用のカメラ１２とを別体にして説明するが、複眼カメラでも同様のことが起こりうる。

図１に示すように、右目用のカメラ１１は、手前の円錐３にピントが合っている。また、右目用のカメラ１１は、奥の直方体１にはピントがあっておらず、直方体１は表示部においてボケて写っている。

一方、左目用のカメラ１２は、真ん中の円柱２にピントが合っている。また、左目用のカメラ１２は、手前の円錐３と奥の直方体１にはピントが合っておらず、円錐３と直方体１とは表示部においてボケて写っている。

この問題を解決するため、複眼カメラに別途測距センサを設け、この測距センサにより測定した距離情報に基づいて複数のカメラのフォーカスを制御する技術がある。この測距方式は、例えばアクティブ式といわれる、被写体に光を照射しその反射光で距離を測る方式である。この方式は、測定精度も高く、早い合焦が可能だが、外付けの測距センサがコストアップの原因となることと、実際の映像に対する合焦の精度、さらに測距ポイントの自由度がないなどの問題がある。

また、近年では、小型のデジタルカメラ（以下、コンパクトデジカメともいう）には、カメラセンサ自体がＡＦ（Auto Focus）センサをかねるコントラスト方式が採用されている。コントラスト方式では、別途測距センサを設ける必要がない。

図２は、コントラスト方式による合焦処理の一例を示すフローチャートである。図２に示すように、予め与えられている検波位置（検波ポイントともいう）を含む所定領域（例えば３×３）でのエッジ量が算出される（Ｓ１０１）。

次に、ステップモータを前後に動かし前回との差分をとって、エッジ量の大きい方向にモータが制御される（Ｓ１０２）。

エッジ量の変化量が正である場合（Ｓ１０３−ＹＥＳ）、その方向にモータは動かされ（Ｓ１０４）、この変化量が負になった場合（Ｓ１０３−ＮＯ）、前回の位置が合焦位置となる（Ｓ１０５）。以上のように、コントラスト方式は、検波ポイントでのエッジ量を極大させるようにすることで合焦する手法である。

ここで、複眼カメラの場合、被写体が近いものほど、視差が大きくなることから、左右のＡＦ検波ポイントが大きくずれ、焦点を合わせることが難しい。この検波ポイントのズレについて図３を用いて説明する。図３は、検波ポイントのズレを説明するための図である。図３（Ａ）は、左目用のカメラで写る画像の例を示す。図３（Ａ）に示すように、検波ポイント２２は、真ん中の円柱２上にある。

図３（Ｂ）は、右目用のカメラで写る画像の例を示す。図３（Ｂ）に示すように、検波ポイント２１は、円錐３上にある。このまま右目用のカメラと左目用のカメラとでそれぞれ合焦を行うと、それぞれ異なる被写体にピントが合ってしまい、合焦ズレが生じる。本来であれば、例えば同じ円錐３に検波ポイントが設定されるべきである。この場合、図３（Ａ）に示す点線の検波ポイント２３が設定されるべきである。しかし、検波ポイントはそれぞれの合焦時に予め与えられるものであり、また、一方で合焦した被写体を他方では知ることができない。

そこで、この問題に対して、互いに視差を有する第１の像と第２の像とを撮像素子上に交互に形成する光学系と、第１及び第２の像のうち一方を撮像した撮像素子の出力から得られた信号のみに基づいて光学系の焦点調節動作を行う技術がある。

また、両眼視差を利用するための立体撮影用の２つの撮像光学系に係る情報に基づいた共通の範囲に対して自動合焦処理を行う技術がある。

特開２００１−１４８８６６号公報 特開２００５−５００２２８号公報 特開２００５−１７３２７０号公報 特開平８−１９４２７４号公報

測距センサを設けないコントラスト方式を用いる場合、特許文献３においては、もう一方のカメラでの合焦の有無を評価しない方式なので、モータ制御の個体差などで、もう一方のカメラで、被写体に焦点が合う保証がない。

また、特許文献４は、焦点距離が長いとき共通領域は狭められるが、近接物を撮るのにズームレンズより広角レンズを用いることを考えれば、被写体まで特定できるほど共通領域は狭くはならない。

以上のように、コントラスト方式でＡＦ制御を行う複眼式の撮影装置において、一方の光学系で合焦している物体の位置を他方の光学系が知りえないため、それぞれの光学系で撮像した像に合焦ズレが起こりうるという問題があった。

そこで、開示の技術は、複眼式の撮影装置において、それぞれの光学系で合焦ズレが起こらないような良好なＡＦ制御を行うことができる撮影装置及び撮影制御方法を提供することを目的とする。

開示の一態様の撮影装置は、立体画像を撮影可能な撮影装置であって、第１レンズ及び第２レンズの視差量を、前記第１レンズを駆動するための制御量に関連付けた視差情報を記憶する記憶部と、第１検波位置において合焦させるため前記第１レンズの駆動を制御する第１合焦制御部と、前記第１合焦制御部により合焦した際の制御量に対応する視差量を前記視差情報から取得し、該視差量を前記第１検波位置に反映した第２検波位置を検出する視差補償部と、前記視差補償部により検出された第２検波位置において合焦させるため前記第２レンズの駆動を制御する第２合焦制御部と、を備える。

開示の技術によれば、複眼式の撮影装置において、それぞれの光学系で合焦ズレが起こらないような良好なＡＦ制御を行うことができる。

両眼画像のフォーカスのズレを説明するための図。 コントラスト方式による合焦処理の一例を示すフローチャート。 検波ポイントのズレを説明するための図。 実施例１における撮影装置の構成の一例を示すブロック図。 駆動差情報の一例を示す図。 視差情報の一例を示す図。 第２ＡＦ制御部の構成の一例を示すブロック図。 合焦処理の具体例を示す図。 実施例１における合焦制御処理の一例を示すフローチャート。 実施例２における撮影装置の構成の一例を示すブロック図。 実施例２における視差補償部の構成の一例を示すブロック図。 実施例２における合焦制御処理の一例を示すフローチャート。 変形例における携帯端末装置の構成の一例を示すブロック図。

以下、図面に基づいて実施例について説明する。

［実施例１］
＜構成＞
図４は、実施例１における撮影装置１００の構成の一例を示すブロック図である。図４に示すように、実施例１における撮影装置１００は、第１レンズ１０１、第１センサ１０２、信号処理部１０３、第１駆動部１０４、第２レンズ１０５、第２センサ１０６、第２駆動部１０７、ホストＣＰＵ１０８、ピクチャメモリ１０９を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

第１レンズ１０１は、第１駆動部１０４により駆動される。第１センサ１０２は、第１レンズ１０１により受光された像に対応する画像データを生成する。第１センサ１０２は、例えばＣＣＤ（Charge Coupled Device）などである。

信号処理部１０３は、第１レンズ１０１に対するオートフォーカス（ＡＦ：Auto Focus）制御を行う。また、信号処理部１０３は、後述する第２レンズ１０５に対するＡＦ制御を行う。信号処理部１０３の詳細は後述する。信号処理部１０３は、例えば信号処理ＬＳＩとして実装されうる。

第１駆動部１０４は、信号処理部１０３から出力された第１ＡＦ制御信号に応じて、内蔵するレンズ移動素子を駆動して第１レンズ１０１を移動させる。レンズ移動素子は、例えばステッピングモータ、ボイスコイルモータなどである。

第２レンズ１０５は、第２駆動部１０７により駆動される。第２センサ１０６は、第２レンズ１０５により受光された像に対応する画像データを生成する。第２センサ１０６は、例えばＣＣＤなどである。

第２駆動部１０７は、信号処理部１０３から出力された第２ＡＦ制御信号に応じて、内蔵するレンズ移動素子を駆動して第２レンズ１０５を移動させる。

ホストＣＰＵ１０８は、例えば、撮影装置１００の撮影メニューを制御したり、画像データにヘッダを付けたり、撮影装置１００の全体制御を行う。また、ホストＣＰＵ１０８は、処理した画像データなどをピクチャメモリ１０９に出力したり、伝送路を用いて伝送したりする。ピクチャメモリ１０９は、ホストＣＰＵ１０８から出力された画像データを記憶する。ピクチャメモリ１０９は、例えば立体映像を記憶する。

次に、信号処理部１０３について説明する。信号処理部１０３は、第１ＡＦ検波部１１０、第１ＡＦ制御部１１１、駆動差補償部１１２、第２記憶部１１３、視差補償部１１４、第１記憶部１１５、第２ＡＦ制御部１１６、第２ＡＦ検波部１１７を含む。なお、以降に説明する実施例では、第１側の制御をマスタ制御とする。

第１ＡＦ検波部１１０は、第１センサ１０２から取得した画像データに基づいて、第１検波位置（第１検波ポイント）における高周波の積分データを検出する。この積分データは、第１ＡＦ制御部１１１に出力される。第１ＡＦ検波部１１０は、第１センサ１０２から取得した画像データを例えば右目用の画像データとしてホストＣＰＵ１０８に出力する。

第１ＡＦ制御部１１１は、第１ＡＦ検波部１１０から取得した積分データに対し演算を行って、第１レンズ１０１の移動方向と移動量とを求める。第１ＡＦ制御部１１１は、求めた移動方向と移動量とを第１ＡＦ制御信号として第１駆動部１０４、駆動差補償部１１２、及び視差補償部１１４に出力する。第１ＡＦ制御信号は、例えば、第１駆動部１０４がステッピングモータであればステップ数を示す駆動パルスであり、ボイスコイルモータであれば制御パルスである。

駆動差補償部１１２は、モータの個体差を補償する。モータの制御は、モータ自体によって異なる制御をするので、この差を吸収しておく必要がある。駆動差補償部１１２は、第１ＡＦ検波部１１０から第１ＡＦ制御信号を取得した場合、第２記憶手段１１３に記憶されている駆動差情報を参照して、第２レンズ１０５に対する制御量を取得する。

図５は、駆動差情報の一例を示す図である。駆動差情報は、例えば、図５に示すように、モータ制御の差を補償するモータの駆動制御量の値を保持する駆動差補償テーブルである。駆動差情報は、例えば、第１レンズ１０１及び第２レンズ１０５の焦点距離を同じにするため第１レンズ１０１の駆動に対する制御量と第２レンズ１０５の駆動に対する制御量とを関連付けておく。図５に示す第１制御量は、第１レンズ１０１の駆動に対する制御量を表し、第２制御量は、第２レンズ１０５の駆動に対する制御量を表す。

駆動差補償部１１２は、第２記憶部１１３に記憶される駆動差情報を参照して、第１ＡＦ制御信号が示す第１制御量に対応する第２制御量を取得する。駆動差補償部１１２は、取得した制御量を第２ＡＦ制御部１１６に出力する。第２記憶部１１３は、駆動差情報を記憶する。

視差補償部１１４は、第１レンズ１０１及び第２レンズ１０５における視差を補償する。視差補償部１１４は、第１ＡＦ制御部１１１から第１ＡＦ制御信号を取得する。次に、視差補償部１１４は、第１記憶部１１５に記憶される視差情報を参照して、第１ＡＦ制御信号が示す制御量に対応する視差量を取得する。

図６は、視差情報の一例を示す図である。視差情報は、例えば、図６に示すように、第１レンズ１０１及び第２レンズ１０５の視差量を、第１レンズ１０１を駆動するための制御量に関連付けた視差補償テーブルである。初期値から合焦するまでの第１レンズ１０１の駆動に対する制御量は、撮影装置１００から被写体までの距離に相当する量であり、その距離における左右の視差を事前学習によって定めた値が視差情報である。距離における左右の視差は、左右の光学系の間隔と、被写体から成る三角測量で求めることができる。

なお、図６に示す例では、左右の画像に対して平行化処理が終了しているという前提で、垂直方向のズレ（縦ズレ）の補正はなく、水平方向の視差のみピクセル数を用いて示している。縦ズレがある場合は、画像の縦ズレの補正分を視差情報に含めればよい。

視差補償部１１４は、取得した視差量を第１検波位置に反映し、第２検波位置を検出する。例えば、視差補償部１１４は、保持している第１検波位置の座標に、視差量を加算して第２検波位置を検出する。検出された第２検波位置は第２ＡＦ検波部１１７に出力される。

第２ＡＦ検波部１１７は、第２センサ１０６から取得した画像データに基づいて、第２検波位置（第２検波ポイント）における高周波の積分データを検出する。この積分データは、第２ＡＦ制御部１１６に出力される。第２ＡＦ検波部１１７は、第２センサ１０６から取得した画像データを例えば左目用の画像データとしてホストＣＰＵ１０８に出力する。

第２ＡＦ制御部１１６は、図７を用いて説明する。図７は、第２ＡＦ制御部１１６の構成の一例を示すブロック図である。図７に示すように、第２ＡＦ制御部１１６は、駆動制御部２０１を含む。

駆動制御部２０１は、駆動差補償部１１２により取得した制御量に基づいて、第２レンズ１０５に対する初期合焦のための第２ＡＦ制御信号を第２駆動部１０７に出力する。駆動制御部２０１は、初期合焦が終了すると、第２ＡＦ検波部１１７から取得する積分データに対し演算を行って、第２レンズ１０５の移動方向と移動量とを求める。駆動制御部２０１は、求めた移動方向と移動量とを第２ＡＦ制御信号として第２駆動部１０７に出力する。

すなわち、第２ＡＦ制御部１１６は、初期合焦の制御には駆動差補償部１１２からの出力データを用い、２回目以降の合焦制御には第２ＡＦ検波部１１７からの出力データを用いる。

これにより、初期合焦で、モータの個体差を補償しておおよそのズレをなくした後に、それぞれの光学系で、同一の被写体に検波位置を設定して合焦処理を行うことができる。よって、左右の画像データで合焦ズレが生じにくいＡＦ制御を行うことができる。

＜合焦処理の例＞
次に、合焦処理の具体例について説明する。図８は、合焦処理の具体例を示す図である。図８に示す画像３０１は、右画像とし、画像３０２は、左画像とする。ここでは、右画像３０１を第１の光学系で撮像し、左画像３０２を第２の光学系で撮像するとする。

第１検波位置３１０の座標は予め与えられており、第１ＡＦ制御部１１１のＡＦ制御により右画像３０１の円錐部分で合焦動作が行われたとする。このときの第１駆動部１０４による移動量は、距離に相当する量である。第１駆動部１０４による移動量は、第１ＡＦ制御部１１１による制御量に相当する。視差補償部１１４は、この制御量に対応する視差量ｔ（位置のオフセットｔ）を視差情報（図６参照）から取得する。

右画像３０１の第１検波位置３１０にこのオフセットｔを足しこむと左画像３０２での第２検波位置３２０を定めることができる。このようにして定めた第２検波位置３２０で第２ＡＦ制御部１１６による合焦動作の制御を行えば、ボケていた円錐に対して焦点があうようになる。

＜動作＞
次に、実施例１における撮影装置１００の動作について説明する。図９は、実施例１における合焦制御処理の一例を示すフローチャートである。図９に示すステップＳ２０１で、第１ＡＦ検波部１１０、第１ＡＦ制御部１１１などは、第１レンズ１０１を通して撮像された画像データの第１検波位置において合焦処理を行う。合焦処理は、図２に示す処理と同様である。

ステップＳ２０２で、駆動差補償部１１２は、第１ＡＦ制御信号を取得し、駆動差情報を参照し、第２レンズ１０５に対する制御量を取得する。これにより、第２レンズ１０５の駆動に対する初期の制御量が設定され、初期合焦が行われる。

ステップＳ２０３で、視差補償部１１４は、第１ＡＦ制御信号を取得し、視差情報を参照し、視差量を取得する。視差補償部１１４は、この視差量を第１検波位置に反映することで第２検波位置を検出する。

ステップＳ２０４で、第２ＡＦ検波部１１７、第２ＡＦ制御部１１６などは、第２レンズ１０５を通して撮像された画像データの第２検出位置において合焦処理を行う。合焦処理は、図２に示す処理と同様である。

以上、実施例１によれば、初期合焦で、モータの個体差を補償しておおよそのズレをなくした後に、それぞれの光学系で、同一の被写体に検波位置を設定して合焦処理を行うことができる。よって、左右の画像データで合焦ズレが生じにくいＡＦ制御を行うことができる。

［実施例２］
次に、実施例２における撮影装置４００について説明する。実施例２では、視差量を反映して第２検波位置を検出した後、左右の画像データを用いてブロックマッチングを行って第２検波位置を修正することで、より精緻な第２検波位置を求めることができる。

＜構成＞
図１０は、実施例２における撮影装置４００の構成の一例を示すブロック図である。図１０に示す構成で、図４に示す構成と同様のものは同じ符号を付し、その説明を省略する。図１０に示す撮影装置４００は、実施例１と比べて信号処理部４０１の構成が異なる。よって、以下では信号処理部４０１について主に説明する。

信号処理部４０１は、第１ＡＦ検波部４０２、第１ＡＦ制御部１１１、駆動差補償部１１２、第２記憶部１１３、視差補償部４０３、第１記憶部１１５、第２ＡＦ制御部１１６、第２ＡＦ検波部４０４を含む。

第１ＡＦ検波部４０２は、第１センサ１０２から取得した画像データに基づいて、第１検波位置（第１検波ポイント）における高周波の積分データを検出する。この積分データは、第１ＡＦ制御部１１１に出力される。第１ＡＦ検波部１１０は、第１センサ１０２から取得した画像データを例えば右目用の画像データとしてホストＣＰＵ１０８及び視差補償部４０３に出力する。このとき、第１ＡＦ検波部１１０は、合焦した際の画像データを出力するようにすればよい。

第２ＡＦ検波部４０４は、第２センサ１０６から取得した画像データに基づいて、第２検波位置（第２検波ポイント）における高周波の積分データを検出する。この積分データは、第２ＡＦ制御部１１６に出力される。第２ＡＦ検波部４０４は、第２センサ１０６から取得した画像データを例えば左目用の画像データとしてホストＣＰＵ１０８及び視差補償部４０３に出力する。

このとき、第２ＡＦ検波部４０４は、初期合焦後の画像データを視差補償部４０３に出力し、合焦後の画像データをホストＣＰＵ１０８に出力すればよい。視差補償部４０３に出力する画像データが初期合焦後である理由は、ある程度の合焦ボケを解消した画像データでないと、後述するマッチング処理が適切にできないからである。よって、マッチングには、第１駆動部１０４及び第２駆動部１０７の駆動差を補償した初期合焦後の画像データを用いるとよい。

視差補償部４０３については、図１１を用いて説明する。図１１は、実施例２における視差補償部４０３の構成の一例を示すブロック図である。図１１に示すように、視差補償部４０３は、第２検波位置検出部５０１、マッチング部５０２、修正部５０３を含む。

第２検波位置検出部５０１は、第１レンズ１０１及び第２レンズ１０５における視差を補償する。第２検波位置検出部５０１は、第１ＡＦ制御部１１１から第１ＡＦ制御信号を取得する。次に、第２検波位置検出部５０１は、第１記憶部１１５に記憶される視差情報を参照して、第１ＡＦ制御信号が示す制御量に対応する視差量を取得する。視差情報は、図６に示す通りである。

第２検波位置検出部５０１は、視差情報を参照して取得した視差量を第１検波位置に反映し、第２検波位置を検出する。例えば、第２検波位置検出部５０１は、保持している第１検波位置の座標に、視差量を加算して第２検波位置を検出する。検出された第２検波位置はマッチング部５０２及び修正部５０３に出力される。

マッチング部５０２は、第１ＡＦ検波部４０２から第１画像データを取得し、第２ＡＦ検波部４０３から第２画像データを取得する。マッチング部５０２は、第１検波位置を含む所定の領域と、第２画像データ内の所定の領域とでマッチングを行う。第２画像データ内の所定領域は、例えば第２検波位置周辺の所定領域とする。これにより、マッチング処理の負荷を軽減することができる。

このマッチング処理は、ＭＰＥＧ（Moving Picture Experts Group）の動き探索などで用いられる技術を適用すればよい。マッチング部５０２は、マッチング結果であるブロック間のズレ（動き量）を修正部５０３に出力する。

修正部５０３は、マッチング部５０２から取得したマッチング結果を用いて、第２検波位置検出部５０１から取得した第２検波位置を修正する。修正部５０３は、具体的には、第２検波位置をマッチング結果が示すブロック間のズレ分だけ移動させる。修正部５０３は、修正された第２検波位置を第２ＡＦ検波部４０４に出力する。

第２ＡＦ検波部４０４は、修正された第２検波位置における高周波の積分データを検出する。この検出は、初期合焦後に行われる。検出されたデータは、第２ＡＦ制御部１１６に出力される。

これにより、第１及び第２画像データを用いてブロックマッチングを行って第２検波位置を修正することで、より精緻な第２検波位置を求めることができる。また、第２画像データは、初期合焦後の画像データにすることで、ボケた画像とのマッチング処理を防止することができる。また、第２検波位置周辺の領域とブロックマッチングを行うことで、マッチング処理の負荷を軽減させることができる。

＜動作＞
次に、実施例２における撮影装置４００の動作について説明する。図１２は、実施例２における合焦制御処理の一例を示すフローチャートである。図１２に示すステップＳ３０１で、第１ＡＦ検波部４０２、第１ＡＦ制御部１１１などは、第１レンズ１０１を通して撮像された画像データの第１検波位置（ｘ_０，ｙ_０）における合焦処理を行う。合焦処理は、図２に示す処理と同様である。

ステップＳ３０２で、駆動差補償部１１２は、第１ＡＦ制御信号が示す制御量ｄ_０を取得し、駆動差情報ｄｉｆＴａｂ（ｄ）を参照し、第２レンズ１０５に対する制御量ｄ_０’を設定する。ｄｉｆＴａｂ（ｄ）は、図５に示す関係を、第１の制御量ｄを引数として、第２制御量が求められる関数とする。
ｄ_０’＝ｄｉｆＴａｂ（ｄ_０） ・・・式（１）
これにより、第２レンズ１０５の駆動するための初期の制御量ｄ_０’が設定され、初期合焦が行われる。

ステップＳ３０３で、視差補償部４０３は、第１ＡＦ制御信号が示す制御量ｄ_０を取得し、視差情報ＰｌｘＴａｂ（ｄ）を参照し、視差量（ｘ_ｏｆｆ，ｙ_ｏｆｆ）を取得する。この例では、垂直方向、水平方向の視差量（オフセット量）が視差情報に設定されている。ＰｌｘＴａｂ（ｄ）は、図６に示す関係を、第１の制御量ｄを引数として、視差量が求められる関数とする。
（ｘ_ｏｆｆ，ｙ_ｏｆｆ）＝ＰｌｘＴａｂ（ｄ_０） ・・・式（２）
視差補償部４０３は、この視差量（ｘ_ｏｆｆ，ｙ_ｏｆｆ）を第１検波位置（ｘ_０，ｙ_０）に反映することで第２検波位置（ｘ^＊，ｙ^＊）を検出する。
（ｘ^＊，ｙ^＊）＝（ｘ_０＋ｘ_ｏｆｆ，ｙ_０＋ｙ_ｏｆｆ） ・・・式（３）

ステップＳ３０４で、視差補償部４０３は、左右両方の画像データを用いて、第２検波位置（ｘ^＊，ｙ^＊）の周辺の領域でマッチングを取り、第２検波位置を修正する。
（ｘ’，ｙ’）＝（ｘ^＊＋ｘ，ｙ^＊＋ｙ） ・・・式（４）
ここで、（ｘ，ｙ）は、
Σ｜Ｐｌ（ｘ^＊＋ｘ，ｙ^＊＋ｙ）−Ｐｒ（ｘ_０，ｙ_０）｜ ・・・式（５）
を最小化する（ｘ，ｙ）とする。Ｐｌは、左の画像データを表し、Ｐｒは、右の画像データを表す。

ステップＳ３０５で、第２ＡＦ検波部４０４、第２ＡＦ制御部１１６などは、視差補償部４０３が検出し、修正した第２検出位置（ｘ’，ｙ’）において合焦処理を行う。合焦処理は、図２に示す処理と同様である。

ステップＳ３０２とＳ３０３の処理は、次のステップＳ３０４の左右の画像のマッチングを行う際に有用な処理であり、まったく焦点の合わない画像でマッチングが行われることを防ぐことができる。また、これらの処理は、計算量の削減、マッチング誤りを防止することもできる。

以上、実施例２によれば、第１及び第２画像データを用いてブロックマッチングを行って第２検波位置を修正することで、より精緻な第２検波位置を求めることができる。また、第２画像データは、初期合焦後の画像データにすることで、ボケた画像とのマッチング処理を防止することができる。また、第２検波位置周辺の領域とブロックマッチングを行うことで、マッチング処理の負荷を軽減させることができる。

また、特性が合致しない２つのＡＦ制御動作を、片側を先に合焦させて、合焦までの駆動部の制御量を他方のＡＦ制御時に用いて他方をおおよそ合焦させ、その後、他方を単独で精緻に合焦させることができる。このとき、マッチング過程で得られた補正量は、図に示す視差情報にフィードバックし、視差情報を学習させてもよい。なお、実施例１及び実施例２では、２眼カメラを例に説明したが、２以上のカメラ数であっても、開示の技術は同様に適用できる。

［変形例］
図１３は、変形例における携帯端末装置６００の構成の一例を示すブロック図である。図１３に示すように、携帯端末装置６００は、アンテナ６０１、無線部６０２、ベースバンド処理部６０３、制御部６０４、端末インタフェース部６０５、カメラ部６０６を有する。

アンテナ６０１は、送信アンプで増幅された無線信号を送信し、また、基地局から無線信号を受信する。無線部６０２は、ベースバンド処理部６０３で拡散された送信信号をＤ／Ａ変換し、直交変調により高周波信号に変換し、その信号を電力増幅器により増幅する。無線部６０２は、受信した無線信号を増幅し、その信号をＡ／Ｄ変換してベースバンド処理部６０３に伝送する。

ベースバンド処理部６０３は、送信データの誤り訂正符号の追加、データ変調、拡散変調、受信信号の逆拡散、受信環境の判定、各チャネル信号の閾値判定、誤り訂正復号などのベースバンド処理を行う。

制御部６０４は、制御信号の送受信などの無線制御を行う。端末インタフェース部６０５は、データ用アダプタ処理、ハンドセットおよび外部データ端末とのインタフェース処理を行う。

カメラ部６０６は、実施例１で説明した第１レンズ１０１、第１センサ１０２、信号処理部１０３、第１駆動部１０４、第２レンズ１０５、第２センサ１０６、第２駆動部１０７に相当する。また、カメラ部６０６は、第１レンズ１０１、第１センサ１０２、信号処理部４０１、第１駆動部１０４、第２レンズ１０５、第２センサ１０６、第２駆動部１０７に相当してもよい。

また、前述した実施例１及び実施例２で説明した合焦制御処理を実現するためのプログラムを記録媒体に記録することで、各実施例での処理をコンピュータに実施させることができる。

また、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末装置に読み取らせて、前述した合焦制御処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した信号処理部は、１つ又は複数の半導体集積回路に実装されてもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
立体画像を撮影可能な撮影装置であって、
第１レンズ及び第２レンズの視差量を、前記第１レンズを駆動するための制御量に関連付けた視差情報を記憶する記憶部と、
第１検波位置において合焦させるため前記第１レンズの駆動を制御する第１合焦制御部と、
前記第１合焦制御部により合焦した際の制御量に対応する視差量を前記視差情報から取得し、該視差量を前記第１検波位置に反映した第２検波位置を検出する視差補償部と、
前記視差補償部により検出された第２検波位置において合焦させるため前記第２レンズの駆動を制御する第２合焦制御部と、
を備える撮影装置。
（付記２）
前記視差補償部は、
前記第１レンズを通して撮像された第１画像及び前記第２レンズを通して撮像された第２画像とのマッチング処理を行い、前記第２検波位置を修正する付記１記載の撮影装置。
（付記３）
前記第１及び第２レンズの焦点距離を同じにするため前記第１レンズに対する制御量と前記第２レンズに対する制御量とを関連付けた駆動差情報を記憶する第２記憶部と、
前記第１合焦制御部により合焦した際の制御量に対応する前記第２レンズに対する制御量を前記駆動差情報から取得する駆動差補償部と、をさらに備え、
前記第２合焦制御部は、
前記駆動差補償部により取得された制御量に基づき、前記第２レンズの駆動を制御し、次に、前記第２検波位置において合焦させるため前記第２レンズの駆動を制御する付記２記載の撮影装置。
（付記４）
前記第２画像は、前記第２合焦制御部により、前記取得された制御量に基づき前記第２レンズの駆動を制御した後に、前記第２レンズを通して撮像された画像である付記３記載の撮影装置。
（付記５）
前記マッチング処理は、前記第１検波位置を含む領域と、前記第２検波位置周辺の領域とで行われる付記２乃至４何れか一項に記載の撮影装置。
（付記６）
立体画像を撮影可能な撮影装置における撮影制御方法であって、
第１検波位置において合焦させるため第１レンズの駆動を制御し、
前記第１レンズで合焦した際の制御量に対応する視差量を、前記第１レンズ及び第２レンズの視差量を前記第１レンズを駆動するための制御量に関連付けた視差情報を記憶した記憶部から取得し、
前記取得された視差量を前記第１検波位置に反映した第２検波位置を検出し、
前記検出された第２検波位置において合焦させるため前記第２レンズの駆動を制御する撮影制御方法。

１００、４００ 撮影装置
１０１ 第１レンズ
１０２ 第１センサ
１０３、４０１ 信号処理部
１０４ 第１駆動部
１０５ 第２レンズ
１０６ 第２センサ
１０７ 第２駆動部
１１０、４０２ 第１ＡＦ検波部
１１１ 第１ＡＦ制御部
１１２ 駆動差補償部
１１３ 第２記憶部
１１４、４０３ 視差補償部
１１５ 第１記憶部
１１６ 第２ＡＦ制御部
１１７、４０４ 第２ＡＦ検波部
２０１ 駆動制御部
５０１ 第２検波位置検出部
５０２ マッチング部
５０３ 修正部

Claims (6)

1. 立体画像を撮影可能な撮影装置であって、
   第１レンズ及び第２レンズの視差量を、前記第１レンズを駆動するための制御量に関連付けた視差情報を記憶する記憶部と、
   第１検波位置において合焦させるため前記第１レンズの駆動を制御する第１合焦制御部と、
   前記第１合焦制御部により合焦した際の制御量に対応する視差量を前記視差情報から取得し、該視差量を前記第１検波位置に反映した第２検波位置を検出する視差補償部と、
   前記視差補償部により検出された第２検波位置において合焦させるため前記第２レンズの駆動を制御する第２合焦制御部と、
   を備える撮影装置。
2. 前記視差補償部は、
   前記第１レンズを通して撮像された第１画像及び前記第２レンズを通して撮像された第２画像とのマッチング処理を行い、前記第２検波位置を修正する請求項１記載の撮影装置。
3. 前記第１及び第２レンズの焦点距離を同じにするため前記第１レンズに対する制御量と前記第２レンズに対する制御量とを関連付けた駆動差情報を記憶する第２記憶部と、
   前記第１合焦制御部により合焦した際の制御量に対応する前記第２レンズに対する制御量を前記駆動差情報から取得する駆動差補償部と、をさらに備え、
   前記第２合焦制御部は、
   前記駆動差補償部により取得された制御量に基づき、前記第２レンズの駆動を制御し、次に、前記第２検波位置において合焦させるため前記第２レンズの駆動を制御する請求項２記載の撮影装置。
4. 前記第２画像は、前記第２合焦制御部により、前記取得された制御量に基づき前記第２レンズの駆動を制御した後に、前記第２レンズを通して撮像された画像である請求項３記載の撮影装置。
5. 前記マッチング処理は、前記第１検波位置を含む領域と、前記第２検波位置周辺の領域とで行われる請求項２乃至４何れか一項に記載の撮影装置。
6. 立体画像を撮影可能な撮影装置における撮影制御方法であって、
   第１検波位置において合焦させるため第１レンズの駆動を制御し、
   前記第１レンズで合焦した際の制御量に対応する視差量を、前記第１レンズ及び第２レンズの視差量を前記第１レンズを駆動するための制御量に関連付けた視差情報を記憶した記憶部から取得し、
   前記取得された視差量を前記第１検波位置に反映した第２検波位置を検出し、
   前記検出された第２検波位置において合焦させるため前記第２レンズの駆動を制御する撮影制御方法。

Images