JP2013050689A - 撮像装置、撮像装置の合焦制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】複眼撮影装置において、レンズにおける焦点距離の機械的・電気的な経時変化が生じている場合、又は焦点距離が動的に変化するズームレンズを撮像部が備えている場合においても、同一被写体に良好に合焦させる。
【解決手段】フォーカスレンズを備え、並置した２つの撮像部それぞれにより取得した各画像の鮮鋭度を、画像毎に定めた算出領域に含まれる画像のコントラスト値より、それぞれ算出する鮮鋭度算出部と、算出した各々の鮮鋭度が最大となるように各撮像部が備えるフォーカスレンズの位置を制御する制御部とを備える撮像装置において、各撮像部がそれぞれ取得した２つの画像の視差を算出する視差算出部と、該視差算出部により算出した視差を基に、一方の画像の前記算出領域を補正する補正部とをさらに備える。
【選択図】図１

Description

本発明は、複数の撮像部が同一の被写体に合焦する撮像装置、撮像装置の合焦制御方法及びコンピュータプログラムに関する。

近年、デジタルビデオカメラ、デジタルスチルカメラなどの撮像装置は、自動焦点調整（オートフォーカス、以下、「ＡＦ」と略記する。）機構を備えている。
ＡＦ機構の一例として、撮像部により得た画像の高周波成分を抽出し、抽出した高周波成分が最大となる位置を焦点位置とする山登り方式がある。
山登り方式においては、画像の全領域の画像に対して高周波成分を抽出するのではなく、画像の所定の領域（以下、「ＡＦエリア」という。）に含まれる画像に対して高周波成分を抽出するのが一般的である。

一方、複数の撮像部を備えた複眼撮像装置は、種々なものが知られている。複眼撮像装置において、ある被写体に焦点を合わせようとする場合に、左右独立に焦点合わせを行うとき、輻輳角や被写体の位置によっては、それぞれの撮像部が異なった被写体（ＡＦエリア）に対して焦点を合わせてしまうことがある。

従来、複眼撮像装置における各々の撮像部の合焦状態を同じにする方法として、種々のものが提案されている。
例えば、特許文献１には、複眼撮像装置において、一方の撮像部より得た画像から、いわゆる山登り方式を用いて、両方の撮像部の１次合焦動作を行い、その後に予め記憶しておいた、２つの撮像部間のフォーカスレンズの位置補正情報を基に、他方のフォーカスレンズ位置を補正する方法が記載されている。
更に、特許文献１には、一方の撮像部より得た画像により、両方の撮像部の１次合焦動作を行い、その後に、２つの撮像部の基線長、輻輳角、焦点距離、及び一方の撮像部におけるＡＦエリア情報から、他方の撮像部のＡＦエリアを算出し、算出したＡＦエリアにおいて、補助ＡＦ動作を行い合焦する方法が記載されている。

特開平８−２４２４６８号公報

しかしながら、特許文献１に記載されたいずれの方法においても、ＡＦエリアの補正に必要な被写体距離を、１次合焦後の一方のフォーカスレンズ位置と、予め記憶されているフォーカスレンズの位置補正情報により、算出している。該位置補正情報は製造時に取得し記憶されたものであるため、レンズにおける焦点距離の機械的・電気的な経時変化が生じている場合、正確な被写体距離を算出することができない。そのため、ＡＦエリアの補正が正確に行えず、適切な合焦動作が行えないという問題があった。
また、焦点距離が動的に変化するズームレンズを撮像部が備えている場合にも同様に、１次合焦後の一方のフォーカスレンズ位置、ズームレンズ位置、及び予め記憶されているフォーカスレンズの位置補正情報により、被写体距離を算出している。そのため、レンズにおける焦点距離の機械的・電気的な経時変化が生じている場合、適切な合焦動作が行えないという問題があった。

本発明は上記事情に鑑みてなされたものであり、レンズにおける焦点距離の機械的・電気的な経時変化が生じている場合、又は焦点距離が動的に変化するズームレンズを撮像部が備えている場合においても、同一被写体に良好に合焦できる撮像装置、該撮像装置の合焦制御方法、及び上記撮像装置を動作させるためのコンピュータプログラムの提供を目的とする。

本発明に係る撮像装置は、フォーカスレンズを備え、並置した２つの撮像部それぞれにより取得した各画像の鮮鋭度を、画像毎に定めた算出領域に含まれる画像のコントラスト値より、それぞれ算出する鮮鋭度算出部と、算出した各々の鮮鋭度が最大となるように各撮像部が備えるフォーカスレンズの位置を制御する制御部とを備える撮像装置において、各撮像部がそれぞれ取得した２つの画像の視差を算出する視差算出部と、該視差算出部により算出した視差を基に、一方の画像の前記算出領域を補正する補正部とをさらに備えたことを特徴とする。

本発明にあっては、２つの撮像部それぞれにより取得した２つの画像の視差を算出し、算出された視差を基に、一方の画像における鮮鋭度の算出に用いる画像の領域、すなわち一方の画像のＡＦエリアを補正するので、両画像のＡＦエリアには同一の被写体が含まれることとなる。２つの撮像部はそれぞれＡＦエリアに含まれる画像のコントラストより画像の鮮鋭度を算出し、該鮮鋭度が最大となるように、フォーカスレンズの位置を制御するため、２つの撮像部が同一の被写体に対して合焦動作を行うことができる。

本発明に係る撮像装置は、前記補正部は、前記一方の画像の算出領域の位置を、前記視差算出部により算出した視差に相当する距離分、他方の画像に係る撮像部に近づけた位置に変更するものであることを特徴とする。

本発明にあっては、一方の画像のＡＦエリアの位置を、基線方向に、２つの画像の視差に相当する距離分、他方の画像に係る撮像部に近づけた位置に変更するので、両画像のＡＦエリアには同一の被写体が含まれることとなる。２つの撮像部はそれぞれＡＦエリアに含まれる画像のコントラストより画像の鮮鋭度を算出し、該鮮鋭度が最大となるように、フォーカスレンズの位置を制御するため、２つの撮像部が同一の被写体に対して合焦動作を行うことができる。

本発明に係る撮像装置は、前記他方の画像に係る撮像部はズームレンズを更に備え、前記他方の画像は、ズームレンズにより拡大された画像であり、前記視差算出部は、他方の画像の画角と一方の画像の画角とが同等となるように他方の画像を縮小し又は一方の画像を拡大した後に、視差を算出するものであることを特徴とする。

本発明にあっては、他方の撮像部にズームレンズを備えた場合であっても、２つの画像を同等の画角に変換した後に、視差を算出するため、視差を正確に算出することができる。算出した視差を基に、一方の画像のＡＦエリアを補正するので、両画像のＡＦエリアには同一の被写体が含まれることとなる。２つの撮像部はそれぞれＡＦエリアに含まれる画像のコントラストより画像の鮮鋭度を算出し、該鮮鋭度が最大となるように、フォーカスレンズの位置を制御するため、２つの撮像部が同一の被写体に対して合焦動作を行うことができる。

本発明に係る撮像装置は、前記補正部は、前記他方の画像の拡大倍率に応じて、前記一方の画像の算出領域を縮小するものであることを特徴とする。

本発明にあっては、他方の画像の拡大倍率に応じて、一方の画像におけるＡＦエリアを縮小するので、他方の画像のＡＦエリアに含まれる被写体部分と一方の画像のＡＦエリアに含まれる被写体部分は実質的に同一となる。２つの撮像部はそれぞれＡＦエリアに含まれる画像のコントラストより画像の鮮鋭度を算出し、該鮮鋭度が最大となるように、フォーカスレンズの位置を制御するため、２つの撮像部は同一の被写体に対して合焦動作を行うことができる。

本発明に係る撮像装置の合焦制御方法は、フォーカスレンズを備え、並置した２つの撮像部それぞれにより取得した各画像の鮮鋭度を、画像毎に定めた算出領域に含まれる画像のコントラスト値より、それぞれ算出し、算出した各々の鮮鋭度が最大となるように各撮像部の備えるフォーカスレンズの位置を制御する撮像装置の合焦制御方法において、各撮像部がそれぞれ取得した２つの画像の視差を算出する視差算出ステップと、算出した視差を基に、一方の画像の前記算出領域を補正する補正ステップとを備えることを特徴とする。

本発明にあっては、２つの撮像部それぞれにより取得した２つの画像の視差を算出し、算出された視差を基に、一方の画像のＡＦエリアを補正するので、両画像のＡＦエリアには同一の被写体が含まれることとなる。２つの撮像部はそれぞれＡＦエリアに含まれる画像のコントラストより画像の鮮鋭度を算出し、該鮮鋭度が最大となるように、フォーカスレンズの位置を制御するため、２つの撮像部が同一の被写体に対して合焦動作を行うことができる。

本発明に係るコンピュータプログラムは、コンピュータに、フォーカスレンズを備え、並置した２つの撮像部それぞれにより取得した各画像の鮮鋭度を、画像毎に定めた算出領域に含まれる画像のコントラスト値より、それぞれ算出させ、算出した各々の鮮鋭度が最大となるように各撮像部の備えるフォーカスレンズの位置を制御させるコンピュータプログラムにおいて、前記コンピュータに、各撮像部それぞれが取得した２つの画像の視差を算出する視差算出ステップと、算出した視差を基に、一方の画像の前記算出領域を補正する補正ステップとを実行させることを特徴とする。

本発明にあっては、２つの撮像部それぞれにより取得した２つの画像の視差を算出し、算出された視差を基に、一方の画像のＡＦエリアを補正するので、両画像のＡＦエリアには同一の被写体が含まれることとなる。２つの撮像部はそれぞれＡＦエリアに含まれる画像のコントラストより画像の鮮鋭度を算出し、該鮮鋭度が最大となるように、フォーカスレンズの位置を制御するため、２つの撮像部が同一の被写体に対して合焦動作を行うことができる。

本発明にあっては、２つの撮像部それぞれが取得した２つの画像の視差を算出し、算出された視差を基に、一方の画像における鮮鋭度の算出に用いる画像の領域を補正するので、レンズにおける焦点距離の機械的・電気的な経時変化が生じている場合であっても、２つの撮像部が同一の被写体に対して合焦動作を行うことができる。

本発明の実施の形態１に係るデジタルカメラの構成を示した図である。 実施の形態１に係るデジタルカメラの合焦動作手順を示すフローチャートである。 カムデータのデータ構造を示す概念図である。 Ａは第１撮像部にて取得される画像と、該画像に対応するＡＦエリアとの位置関係を示した説明図であり、Ｂは第２撮像部にて取得される画像と、補正前の該画像に対応するＡＦエリアとの位置関係を示す説明図である。 Ａは第１撮像部にて取得される画像と、該画像に対応するＡＦエリアとの位置関係を示す説明図であり、Ｂは第２撮像部にて取得される画像と、補正後の該画像に対応するＡＦエリアとの位置関係を示す説明図である。 本発明の実施の形態２に係るデジタルカメラの構成を示した図である。 実施の形態２に係るデジタルカメラの合焦動作手順を示すフローチャートである。 被写体に合焦した場合のズームレンズ位置とフォーカスレンズ位置との関係を被写体距離毎に表したグラフ図である。 ＲＯＭに予め記憶された第１撮像部のカムデータを示す図表である。 ズームレンズ位置と焦点距離との関係を示した図表である。 ズームレンズ位置とズーム比率との関係を示す図表である。 Ａは第１撮像部にて取得される画像と、該画像に対応したＡＦエリアとの位置関係を示す説明図であり、Ｂは第２撮像部にて取得される画像と、補正前の該画像に対応したＡＦエリアとの位置関係を示す説明図である。 Ａは第１撮像部にて取得される画像と、該画像に対応したＡＦエリアとの位置関係を示す説明図であり、Ｂは第２撮像部にて取得される画像と、補正後の該画像に対応したＡＦエリアとの位置関係を示す説明図である。 本発明の実施の形態３に係るデジタルカメラの構成例を示す図である。

以下、本発明をその実施の形態を示す図面を参照して具体的に説明する。
実施の形態１
図１は、本発明の実施の形態１に係るデジタルカメラの構成を示した図である。デジタルカメラ１は、第１撮像部１１ａ、第２撮像部１１ｂ、第１フォーカスレンズ駆動回路１２ａ、第２フォーカスレンズ駆動回路１２ｂ、第１ＡＦ検出回路１３ａ、第２ＡＦ検出回路１３ｂ、第１画像処理回路１４ａ、第２画像処理回路１４ｂ、視差算出回路１５、制御部１６、操作部１７、表示部１８、外部記憶部１９を含む。

第１撮像部１１ａは、それぞれフォーカスレンズを含むレンズユニット（図示しない）より入射した光をＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などからなる撮像素子（図示しない）にて光電変換する。光電変換された電気信号は必要に応じてＡ／Ｄ変換回路（図示しない）により、デジタル形式の画像に変換される。変換されたデジタル形式の画像は、第１ＡＦ検出回路１３ａ又は第１画像処理回路１４ａに出力される。第２撮像部１１ｂは、第１撮像部１１ａと同様な構成であり、画像が第２ＡＦ検出回路１３ｂ又は第２画像処理回路１４ｂに出力される。

第１撮像部１１ａの光軸と第２撮像部１１ｂの光軸とは、略同一平面上に位置し、所定の間隔（基線長）で互いに略平行となるよう、第１撮像部１１ａ及び第２撮像部１１ｂは、デジタルカメラの筺体に固定されている。すなわち、第１撮像部１１ａ及び第２撮像部１１ｂの２つの撮像部は並置されている。

第１フォーカスレンズ駆動回路１２ａは、制御部１６の指示に従いレンズ位置を変化させるモータ（図示しない）を駆動する。
第２フォーカスレンズ駆動回路１２ｂは、制御部１６の指示に従いレンズ位置を変化させるモータ（図示しない）を駆動する。

第１ＡＦ検出回路１３ａ（鮮鋭度算出部）は第１撮像部１１ａから画像が入力されると、予め設定されているＡＦエリア内（算出領域）の画像をＢＰＦ（Band Pass Filter）に通して高周波成分を抽出し、高周波成分の絶対値を積算した値を求める。この積算値は、画像のコトンラスト値より算出された、画像の鮮鋭度（以下、「ＡＦ評価値」と記す。）である。第１ＡＦ検出回路１３ａは、ＡＦ評価値を制御部１６に出力する。
第２ＡＦ検出回路１３ｂ（鮮鋭度算出部）も同様に、ＡＦ評価値を制御部１６に出力する。
ここで、ＡＦエリアの中心位置は画像の中心とする。ＡＦエリアの大きさは、ＶＧＡサイズ（幅６４０×高さ４８０画素）の画像であれば、幅６４×高さ４８画素とする。画像サイズが変更された場合には、上述の画像サイズとＡＦエリアとの関係が保たれるように、ＡＦエリアのサイズを変更する。
なお、ＡＦエリアの位置、大きさ又は画像サイズとの関係は、上述したものに限られず、例えば、公知の顔認識技術により認識した人の顔の位置、大きさに合わせて変更しても良い。また、ユーザによりＡＦエリアの位置や大きさを定めることとしても良い。

第１画像処理回路１４ａは第１撮像部１１ａから出力された画像を縮小し、視差算出回路１５に縮小した画像を出力する。
また、第１画像処理回路１４ａは第１撮像部１１ａから出力された画像に対して所定の処理を施して、表示部１８や外部記憶部１９に画像を出力する。

同様に、第２画像処理回路１４ｂは第２撮像部１１ｂから出力された画像を縮小し、視差算出回路１５に縮小した画像を出力する。
また、第２画像処理回路１４ｂは第２撮像部１１ｂから出力された画像に対して所定の処理を施して、表示部１８や外部記憶部１９に画像を出力する。

視差算出回路（視差算出部）１５は、第１画像処理回路１４ａより出力された画像を基準画像、第２画像処理回路１４ｂから出力された画像を参照画像として、ステレオマッチングを行い、視差の算出を行う。

制御部１６は、演算を行なうＣＰＵ（Central Processing Unit ）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ等を備える。
ＲＯＭ１６ｂは、書き込み及び消去可能なＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ等である。ＣＰＵ１６ａがＲＯＭ１６ｂに予め格納されている制御プログラムを読み出して実行することにより、デジタルカメラを実施の形態１に係るデジタルカメラ１として機能させる。
ＲＡＭ１６ｃは、ＳＲＡＭ（Static Random Access Memory）又はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等で構成される。ＲＡＭ１６ｃには、制御部１６によるプログラムの実行時に発生する作業用のデータが一時的に記憶される。

制御部１６は、第１撮像部のフォーカスレンズ位置及び第２撮像部のフォーカスレンズ位置を管理し、２つの位置をＲＡＭ１６ｃに記憶している。

フォーカスレンズの位置の管理は、例えば、以下のようにして行う。
可動範囲の端位置の一方を初期位置と定める。フォーカスレンズが初期位置に位置していることを検出するための位置検出センサ、例えば、フォトインタラプタ、ホール素子などのセンサを設ける。駆動モータとしてステッピングモータを採用し、モータ駆動時にモータに出力したパルス数をカウントして記憶する。
デジタルカメラの起動時に、位置検出センサを用いてフォーカスレンズを初期位置まで移動させる。その後は、カウントしたパルス数とモータのステップ角等より初期位置からの移動距離を算出することにより、フォーカスレンズ位置を求め、記憶する。
フォーカスレンズの位置の管理は、上述の方法に限られず、ステッピングモータの代わりに、ボイスコイルモータを用い、ボイスコイルモータに供給した駆動電流により相対位置を管理する、リニアポテンショメータを用いて絶対位置を計測するなど、フォーカスレンズの位置が求まるのであれば、他の方法でも良い。
また、カメラ動作中において、フォーカスレンズの位置は、ＣＰＵ１６ａによりＲＡＭ１６ｃに記憶されるが、それに限られるものではなく、フォーカスレンズ駆動回路１２ａ、１２ｂに記憶部を設け記憶することとしても良い。

表示部１８は、第１撮像部１１ａ又は第２撮像部１１ｂにより撮像された画像を表示する。また、表示部１８は、各画像に対応したＡＦエリアを重ねて表示する。
外部記憶部１９は、第１撮像部１１ａ又は第２撮像部１１ｂにより撮像された画像を、外部記憶媒体、例えば、ＳＤメモリカード、メモリスティック、ＳＤＨＣカードに記憶する。

次に、上述のように構成された本実施の形態に係るデジタルカメラ１の合焦動作について説明する。
図２は、実施の形態１に係るデジタルカメラの合焦動作手順を示すフローチャートである。

制御部１６は、第１撮像部１１ａに画像を取得させ、第１ＡＦ検出回路１３ａへ取得した画像を出力させる（Ｓ１）。制御部１６は、第１ＡＦ検出回路１３に第１撮像部１１ａより取得した画像から予め設定されたＡＦエリア内の画像を抽出させ、ＡＦ評価値を求めさせる（Ｓ２）。制御部１６は、第１ＡＦ検出回路１３ａよりＡＦ評価値を取得する。制御部１６は、第１フォーカスレンズ駆動回路１２ａを制御し、合焦を行う（Ｓ３）。すなわち、フォーカスレンズの位置を移動させＡＦ評価値が最大となるフォーカスレンズ位置を探索する。この合焦動作については、公知の技術を用いれば良い。

次に、制御部１６は、第２撮像部１１ｂでは合焦動作を行わず、第１撮像部１１ａのフォーカスレンズの停止位置と同等な位置となるように、第２撮像部１１ｂのフォーカスレンズの位置を移動させる（Ｓ４）。

図３は、カムデータのデータ構造を示す概念図である。フォーカスレンズ位置と合焦被写体距離との関係を示している。第１撮像部と第２撮像部とは同様の構成であるが、フォーカスレンズの絶対位置は、製造時にばらつきが生じるため、カムデータは撮像部毎に予めＲＯＭ１６ｂに記憶されている。

制御部１６は、第１撮像部１１ａのフォーカスレンズ停止位置よりＲＯＭ１６ｂに記憶された第１撮像部１１ａのカムデータを用いて、停止位置に対応した合焦被写体距離を求める。制御部１６は、求めた合焦被写体距離よりＲＯＭ１６ｂに記憶された第２撮像部１１ｂのカムデータを用いて、合焦被写体距離に対応したレンズ停止位置を求める。
制御部１６は、第２フォーカスレンズ駆動回路１２ｂを制御し、第２撮像部１１ｂのフォーカスレンズを求めた停止位置まで移動させる。

図２に戻り、制御部１６は、第１撮像部１１ａ及び第２撮像部１１ｂに画像を取得させ、それぞれ第１画像処理回路１４ａ、第２画像処理回路１４ｂに画像を出力させる（Ｓ５）。制御部１６は、第１画像処理回路１４ａ及び第２画像処理回路１４ｂに、それぞれ取得した画像を縮小させる（Ｓ６）。第１撮像部に対応したＡＦエリアも同じ縮小率で縮小する。
ここで、画像を縮小するのは、２つの画像の局所的な合焦状態の差異を低減させるためである。縮小することにより２つの画像のぼけの程度が同程度となり、ステレオマッチングの精度が向上する。また、画像サイズが小さくなることにより、ステレオマッチングの処理量が減り、処理の高速化を図れるという利点もある。
なお、画像の縮小率は１／２が好適であるが、これに限られず他の縮小率でも良い。

制御部１６は、第１画像処理回路１４ａ及び第２画像処理回路１４ｂに、縮小した画像を視差算出回路１５へ出力させる。

制御部１６は、視差算出回路１５に、第１画像処理回路１４ａより出力された画像を基準画像、第２画像処理回路１４ｂから出力された画像を参照画像として、ステレオマッチングを行わせ、視差の算出を行わせる（Ｓ７）。
なお、ステレオマッチング行うのは、基準画像の全体についてではなくＡＦエリア内の画像についてのみ行えば良い。

ステレオマッチングとは、基準画像の各点と対応する対応点を参照画像の探索領域から探索するものである。対応点の判定方法としては、基準画像の各点である基準点を中心に小領域を抽出し、抽出した小領域と探索領域内の小領域とを比較する方法がある。この方法においては、各小領域の画像輝度パターンが類似しているかを、画像輝度の差分絶対和（ＳＡＤ：Sum of Absolute Difference）の値を評価値として用いる。評価値は、他に差分二乗和（ＳＳＤ：Sum of Squared Difference）、正規化相互相関（ＮＣＣ：Normalize Cross Correlation）などを用いても良い。

視差算出回路１５はステレオマッチングにより求めた視差を、制御部１６に出力する。ここで、第１撮像部１１ａと第２撮像部１１ｂとは略同一平面上に並置してあるため、算出される視差は水平方向の視差である。

制御部１６は、視差算出回路１５より算出された視差を受け取る。制御部１６（補正部）は、算出されたＡＦエリア内の被写体の視差を基に、第２撮像部１１ｂのＡＦエリアの位置を補正する（Ｓ８）。制御部１６は、補正したＡＦエリアの位置を第２ＡＦ検出回路１３ｂに出力する。

ＡＦエリアの位置補正は、例えば、以下のようにして行う。制御部１６は、ＡＦエリア内の視差を示したディスパリティマップを取得する。
制御部１６はＡＦエリア内の視差の最頻値を求める。その最頻値を２倍した値を補正値とする。ステレオマッチングする際に画像を１／２に縮小しているために実際の画像での視差はその２倍となるからである。制御部１６は、第２ＡＦ検出回路１３ｂのＡＦエリア位置を補正値に相当する画素分（距離分）、第１撮像部１１ａに近づけた位置に変更する。

なお、ここでは、ＡＦエリア内のすべての画素に対応した視差の最頻値より、補正値を算出している。合焦すべき被写体がＡＦエリアの多くの部分を占めていると考えられるからである。しかし、最頻値に限られず、視差の最大値より補正値を算出しても良い。デジタルカメラから見てもっとも手前の被写体に合焦させることが多いからである。
また、ステレオマッチングのエラーデータを考慮し、最頻値ではなく二番目に出現頻度が高い視差より補正値を求めても良い。ＡＦエリア内のすべての画素の視差を用いるのではなく、視差の分布を調べ、上位又は下位の５％は用いずに最頻値や最大値を定め、補正値を算出しても良い。その他、平均値、中央値など公知のあらゆる統計手法等を用いて、補正値を算出するための視差を定めても良いことは言うまでもないことである。

また、視差の算出はＡＦエリア内の画素についてのみ行ったが、ＡＦエリア内のみでなく、基準画像の全範囲について行った後に、ＡＦエリア内の視差を抽出して補正値を算出しても良い。
参照画像の探索範囲も全範囲である必要はなく、第１撮像部１１ａと第２撮像部１１ｂは略同一平面上に位置しているので、基準画像の画素と同じ高さを持つ水平ラインに加えて、上下の数ラインを探索範囲とすれば良い。また、ＡＦエリアより、水平方向、外側の画素は探索対象としなくても良い。被写体が無限遠では視差はなく、被写体の距離が小さくなるほど、画面上において水平方向内側に被写体は位置するからである。
また、ＡＦエリア内の視差が求まるのであれば、上述した以外の如何なる公知技術を用いてステレオマッチングの効率化を計っても良いことは言うまでもないことである。

ここで、ＡＦエリア補正の一例を、図を用いて示す。
図４Ａは、第１撮像部にて取得される画像と、該画像に対応するＡＦエリアとの位置関係を示した説明図である。図４Ｂは、第２撮像部にて取得される画像と、補正前の該画像に対応するＡＦエリアとの位置関係を示す説明図である。第１撮像部１１ａのＡＦエリアＡ１、第２撮像部１１ｂのＡＦエリアＡ２１共に、取得される画像の中心付近に位置している。ここで示した画像及びＡＦエリアは一例であり、これに限られるものではない。

図５Ａは、第１撮像部にて取得される画像と、該画像に対応するＡＦエリアとの位置関係を示す説明図である。図５Ａに示されている内容は、図４Ａと同様である。図５Ｂは、第２撮像部にて取得される画像と、補正後の該画像に対応するＡＦエリアとの位置関係を示す説明図である。ＡＦエリアの補正により、第２撮像部にて取得される画像に対応するＡＦエリアは、図４Ｂに示したＡ２１からＡ２２の位置へ変更されている。その結果、ＡＦエリアＡ１と被写体との位置関係と、ＡＦエリアＡ２２と被写体との位置関係は、同様な位置関係となっている。
なお、ここでは、ユーザから見て左側が第１撮像部１１ａ、右側が第２撮像部１１ｂとなっているが、これに限られず、左側が第２撮像部１１ｂで、右側が第１撮像部１１ａであっても良い。左右いずれの撮像部を第１撮像部１１ａにするのかを、ユーザにより設定できるものとしても良い。

図２に戻り、制御部１６は、第２フォーカスレンズ駆動回路１２ｂを制御し、合焦動作を行う（Ｓ９）。すなわち、制御部１６は、第２ＡＦ検出回路１３ｂに、第２撮像部１１ｂより出力された画像の補正後のＡＦエリアに対して、ＡＦ評価値を算出させる。制御部１６は、算出されたＡＦ評価値を取得する。制御部１６は、ＡＦ評価値が最大となる位置にフォーカスレンズを停止させる。
なお、第２フォーカスレンズは、上述のＳ４にて略合焦位置にあるため、初期位置から合焦を行う場合に比べて、高速に合焦動作を行うことができる。

上述したように、第１撮像部１１ａと第２撮像部１１ｂは、フォーカスレンズの停止位置のばらつきや、レンズ駆動部の機械的・電気的な経時変化による合焦精度の低下を生じることなく、同一被写体に良好に合焦することができる。

実施の形態２
図６は、本発明の実施の形態２に係るデジタルカメラの構成を示した図である。本実施の形態に係るデジタルカメラ２は、実施の形態１に係るデジタルカメラ１において、第１撮像部にズームレンズ（図示せず）が追加された構成である。それに伴い、ズームレンズ駆動回路２０ａが追加されている。その他の構成については、実施の形態１に係るデジタルカメラと同様である。実施の形態１と同様な構成については、同一の符号を付し、説明を省略する。
以下、実施の形態１との相違点を主に説明する。

ズームレンズ駆動回路２０ａは、第１撮像部１１ａのズームレンズ位置を変化させるモータを駆動する。操作部に含まれるズームスイッチ（図示しない）の操作量に応じて、制御部１６がズームレンズ駆動回路２０ａを制御する。
また、制御部１６は、フォーカスレンズと同様にズームレンズの位置を管理し、その位置をＲＡＭ１６ｃに記憶させている。第１撮像部で取得される画像は、ズームレンズの位置に応じた倍率で拡大された画像となる。

次に、上述のように構成された本実施の形態に係るデジタルカメラ２の合焦動作について説明する。
図７は、実施の形態２に係るデジタルカメラの合焦動作手順を示すフローチャートである。

制御部１６は、第１撮像部１１ａに画像を取得させ（Ｓ１）、第１ＡＦ検出回路１３ａにＡＦ評価値を算出させる（Ｓ２）。制御部１６は、取得したＡＦ評価値に基づいて、第１撮像部１１ａにおける合焦を行う（Ｓ３）。

制御部１６は、第１撮像部１１ａのフォーカスレンズ位置情報と、ズームレンズ位置情報と、ＲＯＭに予め記憶された第１撮像部１１ａのカムデータから、第１撮像部１１ａにおいて合焦された被写体距離と、第１撮像部１１ａの焦点距離を算出する（Ｓ１１）。

被写体距離の算出は、以下のようにして行う。
図８は、被写体に合焦した場合のズームレンズ位置とフォーカスレンズ位置との関係を被写体距離毎に表したグラフ図である。図８に示した曲線は、カメラ製造時、実際に計測したデータより求めるものである。図８には数本の曲線しか示されていないが、実際にはもっと多くの被写体距離に対して曲線を求める。図９は、ＲＯＭに予め記憶された第１撮像部のカムデータを示す図表である。カムデータは、図８に示した曲線をサンプリングして得た点が表すズームレンズ位置、フォーカスレンズ位置及び被写体距離の対応関係を表形式で記憶している。図９に示した図表では、図８よりも多くの被写体距離に対するデータを格納している。

制御部１６は、第１撮像部１１ａのフォーカスレンズ位置及びズームレンズ位置をＲＡＭ１６ｃより取得する。
制御部１６は、取得したフォーカスレンズ位置、ズームレンズ位置及び図９に示したカムデータより、被写体距離を求める。なお、該当するデータがない場合は、もっとも近いデータを選択する。例えば、ズームレンズ位置が取得した値と同一で、フォーカスレンズ位置の値が、取得した値の前後の値のうち、取得した値との差分の絶対値が小さい方のデータを選択する。選択した値に対応する被写体距離を取得する。

焦点距離の算出は、以下のようにして行う。
図１０は、ズームレンズ位置と焦点距離との関係を示した図表である。図１０に示した表は、第１撮像部１１ｂのカムデータの１つとして予めＲＯＭ１６ｂに記憶されている。制御部１６は図１０に示した図表を用いて、取得したズームレンズ位置から焦点距離を求める。ズームレンズ位置として該当するものがない場合、取得した前後の値を取るズームレンズ位置のうち、取得したズームレンズ位置との差の絶対値が小さい方の値を選択し、それに対応した焦点距離を取得する。

制御部１６は、求めた被写体距離情報と第２撮像部１１ｂのカムデータから、第２撮像部１１ｂのフォーカスレンズ位置を算出する（Ｓ１２）。該位置は、第１撮像部１１ａにおいて合焦された被写体に第２撮像部１１ｂが略合焦する位置となる。
なお、ここでいうカムデータは、第２撮像部１１ｂについて、フォーカスレンズ位置と合焦被写体距離とを対応付けたものである（図３参照）。

図７に戻り、制御部１６は、第２フォーカスレンズ駆動回路１２ｂを制御し、第２撮像部１１ｂのフォーカスレンズを算出された位置まで移動させる（Ｓ４）。制御部６は、第１撮像部１１ａ及び第２撮像部１１ｂに画像を取得させ、第１撮像部１１ａが取得した画像を第１画像処理回路１４ａへ、第２撮像部１１ｂが取得した画像を第２画像処理回路１４ｂへ出力させる（Ｓ５）。

第１撮像部１１ａから取得した基準画像と、第２撮像部１１ｂから取得した参照画像は、第１撮像部１１ａと第２撮像部１１ｂとのズーム比率に応じて異なる画角の画像である。
基準画像と、参照画像とからステレオマッチングにより視差を算出するために、両画像を擬似的に同等にする必要がある。

制御部１６は、第１撮像部１１ｂのズームレンズ位置情報を基にＲＯＭ１６ｂに記憶されたカムデータよりズーム比率を求める。ここでいうカムデータとは、ズームレンズ位置毎のズーム比率が格納されたものである。図１１は、ズームレンズ位置とズーム比率との関係を示す図表である。図１１に示したカムデータが予めＲＯＭ１６ｂに記憶されている。
制御部１６は、求めたズーム比率を第１画像処理回路１４ａに出力する。第１画像処理回路１４ａは、基準画像をズーム比率に応じて縮小する（Ｓ１３）。例えば、ズーム比率が２であれば、基準画像を１／２に縮小する。
ここでズームに応じて基準画像を縮小するのは、基準画像の画角を参照画像の画角と同等にする目的であるが、縮小することにより画像サイズが変化する。ステレオマッチングにおいて、基準画像及び参照画像は、画角及びサイズが同一であることが前提であるため、基準画像のサイズが変化すると、正確なステレオマッチングが行えない。そこで、縮小前の画像と同一サイズの画像の中心に縮小した基準画像を配置し、それ以外の元の画素がない部分については所定の値を持つ画素を配置した画像を生成し、基準画像とする。

ここでは、基準画像を縮小したが、参照画像を拡大させても良い。この場合においては、拡大後の参照画像のサイズが、基準画像より大きくなるので、同一のサイズとなるように拡大後の参照画像を中心からトリムする。
また、基準画像の画像サイズ及び参照画像の画像サイズを同一にすることとしたが、これに限らず、画像サイズの違いを考慮し、算出する視差にオフセットを加算しても良い。基準画像を縮小する場合には正のオフセット、参照画像を拡大する場合には負のオフセットを加算すれば良い。

制御部１６は、視差算出回路１５に、縮小後の基準画像と、参照画像とを基に実施の形態１と同様にステレオマッチングにより視差を算出させる（Ｓ７）。制御部６は、視差算出回路１５よりＡＦエリア内の視差を示したディスパリティマップを取得する。

制御部６は、ＡＦエリア内の視差より、その最頻値を求め、補正値とする。制御部６は、補正値に相当する画素分、第２ＡＦ検出回路１４ｂにおけるＡＦエリアの位置を変更する（Ｓ８）。制御部は、第２ＡＦ検知回路１３ｂおけるＡＦエリアのサイズを上述のズーム比率（拡大倍率）に応じて縮小する（Ｓ１４）。縮小の際には、縮小前後のＡＦエリアの中心位置は変わらないようにする。
制御部６は、求めたＡＦエリアの位置情報を、第２ＡＦ検出回路１３ｂに出力する。第２ＡＦ検出回路１３ｂにおけるＡＦエリアの位置補正により、第１ＡＦ検出回路１３ａにおけるＡＦエリア内の被写体が、第２ＡＦ検出回路１３ｂにおけるＡＦエリア内の相対的に同じ位置に配置される。
なお、実施の形態１と同様に、ＡＦエリア内のみでなく、基準画像の全範囲についてステレオマッチング行った後に、ＡＦエリア内の視差を抽出して補正値を算出しても良い。参照画像の探索範囲も全範囲である必要はなく、基準画像の画素と同じ高さを持つ水平ラインに加えて、上下の数ラインを探索範囲とすれば良い。また、ＡＦエリアより、水平方向、外側の画素は探索対象としなくても良い。
また、ＡＦエリア内の視差が求まるのであれば、上述した以外の如何なる公知技術を用いてステレオマッチングの効率化を計っても良いことは言うまでもないことである。
一方、補正値として、単なる最頻値ではなく、実施の形態１と同様に、公知のあらゆる統計手法等を用いて、補正値を算出するための視差を定めても良いことは言うまでもないことである。

ここで、実施の形態２におけるＡＦエリア補正の一例を、図を用いて示す。
図１２Ａは、第１撮像部にて取得される画像と、該画像に対応したＡＦエリアとの位置関係を示す説明図である。図１２Ｂは、第２撮像部にて取得される画像と、補正前の該画像に対応したＡＦエリアとの位置関係を示す説明図である。ここで示した画像及びＡＦエリアは一例であり、これに限られるものではない。

図１３Ａは、第１撮像部にて取得される画像と、該画像に対応したＡＦエリアとの位置関係を示す説明図である。図示されている内容は、図１２Ａと同様である。図１３Ｂは、第２撮像部にて取得される画像と、補正後の該画像に対応したＡＦエリアとの位置関係を示す説明図である。ＡＦエリアの補正により、第２撮像部にて取得される画像に対応するＡＦエリアは、図１２Ｂに示したＡ４１からＡ４２の位置へ変更されている。ＡＦエリアのサイズはズーム比率に合わせて縮小されている。図１３Ａに示したＡＦエリアＡ３及び被写体の位置関係と、図１３Ｂに示したＡＦエリアＡ４２及び被写体の位置関係とは、同様な位置関係となっている。２つのＡＦエリア（Ａ３、Ａ４２）は、被写体に対して同様な範囲となっている。

図７に戻り、制御部は、第２フォーカスレンズ駆動回路を制御し、第２撮像部において合焦を行い（Ｓ９）、処理を終了する。なお、第２フォーカスレンズは、上述のＳ４にて略合焦位置にあるため、初期位置から合焦を行う場合に比べて、高速に合焦動作を行うことができる。
以上により、第１撮像部１１ａのみにズームレンズを組み込み、第１撮像部１１ａの画角と第２撮像部１１ｂの画角と異なる場合においても、同一被写体に良好に合焦することができる。

なお、実施の形態１と同様にユーザから見て左側が第１撮像部１１ａ、右側が第２撮像部１１ｂとしたが、これに限られず、左側が第２撮像部１１ｂ、右側が第１撮像部１１ａであっても良いし、左右のどちらを第１撮像部１１ａとするかを、ユーザにより設定できるものとしても良い。

さらに、第１撮像部１１ａにズームレンズを搭載するものとしたが、第２撮像部１１ｂにズームレンズを搭載することとしても良い。ただし、この場合においては、基準となる第１撮像部１１ａが取得する基準画像の画角が、第２撮像部１１ｂが取得する参照画像の画角よりも広くなるため、基準画像のＡＦエリアに入っている被写体が、参照画像に写っていない場合もありうる。
このような場合に備えて、第１撮像部の画角及び第２撮像部のズームレンズ位置と画角との関係を示すデータを予め記憶し、上述の状況が生じていると判定した場合には、必要に応じてユーザに警告をする機能を設けても良い。

実施の形態３
実施の形態１において、制御プログラムは予めＲＯＭに記憶されているものとしたが、それに限られず外部より制御プログラムとしてのコンピュータプログラムを読み込むこととしても良い。
図１４は、本発明の実施の形態３に係るデジタルカメラの構成例を示す図である。本発明の実施の形態３に係るデジタルカメラ３は、実施の形態１で示したデジタルカメラ１において、さらに、通信部２１を備えている。実施の形態１と同様な構成については、同一の符号を付し、説明を省略する。

以下、実施の形態１との相違点を主に説明する。
外部記憶部１９は、発明の実施の形態３に係るコンピュータプログラムを記憶した外部記憶媒体１９ａより、コンピュータプログラム１９ｂを読み取り、フラッシュメモリ等で構成されたＲＯＭ１６ｂに格納する。通信部２１は、発明の実施の形態に係るコンピュータプログラム１９ｂを、例えばインターネットなどの通信網を通じて取得し、ＲＯＭ１６ｂに格納する。なお、コンピュータプログラム１９ｂは、外部記憶部１９を通じて記憶媒体１９ａから取得しても良いし、通信部２１を介して通信網から取得しても良い。また、プログラムモジュールごとに、記憶媒体１９ａ又は通信網のいずれかより、コンピュータプログラム１９ｂを取得することとしても良い。

制御部１６の処理手順は、図２に示す通りであり、ステップＳ１からＳ９の処理手順を実行する。該処理手順は、実施の形態１に係るデジタルカメラ１における処理内容と同様であるため、その詳細な説明を省略する。

実施の形態３に係るデジタルカメラ３及びコンピュータプログラム１９ｂにあっては、本実施の形態に係るデジタルカメラ３として機能し、また本実施の形態に係る合焦制御方法を実施させることができ、本発明の実施の形態１と同様の効果を奏する。

上述の実施の形態１又は３において、合焦させたい被写体が、第１撮像部１１ａにより取得した画像において、端に位置する場合、第２撮像部１１ｂの取得した画像においては、存在していない場合がある。その場合に、ステレオマッチングを行うとき、基準画像に対応する画素が参照画像において見つからないこととなる。このような場合には、処理を中断して第２撮像部１１ｂの合焦動作は行えないことを、ユーザに警告するようにしても良い。

上述の実施の形態１から３において、第２撮像部のＡＦエリアは予め定められており、第１撮像部により取得した画像と第２撮像部により取得した画像との視差より、ＡＦエリアの位置又は大きさを補正するものとしているが、それに限られない。第２撮像部のＡＦエリアは予め定めず、第１撮像部のＡＦエリアと、上述の視差より、ＡＦエリアの位置及び大きさを定めることとしても良い。

上述の実施の形態１から３において、取得される画像は静止画像であっても、動画像であってもよい。第１ＡＦ検出回路１３ａ、第２ＡＦ検出回路１３ｂ、第１画像処理回路１４ａ、第２画像処理回路１４ｂにて処理される画像は、それぞれ１フレームの画像である。視差算出回路１５にて処理される画像は、第１撮像部１１ａ及び第２撮像部１１ｂにて同時に取得された各１フレームの画像であり、１フレームの画像２枚により視差が算出される。
静止画像の場合は、ユーザの操作等により所定のタインミグで取得されたフレームの画像に対して、上述の処理が行われる。
動画像は時系列順の複数フレームの画像で構成されるので、動画像の場合は、時系列順に連続するフレームの画像のうち、所定のタイミングで取得されたフレームに対して静止画像と同様の処理を行うものとする。

上述の実施の形態１から３において、第１フォーカスレンズ駆動回路１２ａ、第１ＡＦ検出回路１３ａ、第１画像処理回路１４ａ、第２フォーカスレンズ駆動回路１２ｂ、第２ＡＦ検出回路１３ｂ、第２画像処理回路１４ｂ、視差算出回路１５及びズームレンズ駆動回路２０ａは、個別のハードウェア（部品）であるかの如く説明したが、あくまでも一例である。これらの回路の全て又は一部をＡＳＩＣ（Application Specific Integrated Circuit）などにより単一の部品としても良い。
さらに、上述の各回路が担っている処理を、制御部１６にて行うようにしても良い。

上述の実施の形態１〜３においては、本発明に係る撮像装置としてデジタルカメラを例として説明したが、他に、スマートフォン、監視カメラ、テレビジョン会議用カメラとして実現することも可能である。

なお、上述した実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ デシタルカメラ
１１ａ 第１撮像部
１２ａ 第１フォーカスレンズ駆動回路
１３ａ 第１ＡＦ検出回路
１４ａ 第１画像処理回路
１１ｂ 第２撮像部
１２ｂ 第２フォーカスレンズ駆動回路
１３ｂ 第２ＡＦ検出回路
１４ｂ 第２画像処理回路
１５ 視差算出回路
１６ 制御部
１６ａ ＣＰＵ
１６ｂ ＲＯＭ
１６ｃ ＲＡＭ
１７ 操作部
１８ 表示部
１９ 外部記憶部
２ デジタルカメラ
２０ａ ズームレンズ駆動回路
３ デジタルカメラ
１９ａ 記憶媒体
１９ｂ コンピュータプログラム
２１ 通信部

Claims (6)

1. フォーカスレンズを備え、並置した２つの撮像部それぞれにより取得した各画像の鮮鋭度を、画像毎に定めた算出領域に含まれる画像のコントラスト値より、それぞれ算出する鮮鋭度算出部と、
   算出した各々の鮮鋭度が最大となるように各撮像部が備えるフォーカスレンズの位置を制御する制御部と
   を備える撮像装置において、
   各撮像部がそれぞれ取得した２つの画像の視差を算出する視差算出部と、
   該視差算出部により算出した視差を基に、一方の画像の前記算出領域を補正する補正部と
   をさらに備えたことを特徴とする撮像装置。
2. 前記補正部は、前記一方の画像の算出領域の位置を、前記視差算出部により算出した視差に相当する距離分、他方の画像に係る撮像部に近づけた位置に変更するものであること
   を特徴とする請求項１に記載の撮像装置。
3. 前記他方の画像に係る撮像部はズームレンズを更に備え、
   前記他方の画像は、ズームレンズにより拡大された画像であり、
   前記視差算出部は、他方の画像の画角と一方の画像の画角とが同等となるように他方の画像を縮小し又は一方の画像を拡大した後に、視差を算出するものであること
   を特徴とする請求項１又は２に記載の撮像装置。
4. 前記補正部は、前記他方の画像の拡大倍率に応じて、前記一方の画像の算出領域を縮小するものであること
   を特徴とする請求項３に記載の撮像装置。
5. フォーカスレンズを備え、並置した２つの撮像部それぞれにより取得した各画像の鮮鋭度を、画像毎に定めた算出領域に含まれる画像のコントラスト値より、それぞれ算出し、算出した各々の鮮鋭度が最大となるように各撮像部の備えるフォーカスレンズの位置を制御する撮像装置の合焦制御方法において、
   各撮像部がそれぞれ取得した２つの画像の視差を算出する視差算出ステップと、
   算出した視差を基に、一方の画像の前記算出領域を補正する補正ステップと
   を備えることを特徴とする撮像装置の合焦制御方法。
6. コンピュータに、フォーカスレンズを備え、並置した２つの撮像部それぞれにより取得した各画像の鮮鋭度を、画像毎に定めた算出領域に含まれる画像のコントラスト値より、それぞれ算出させ、算出した各々の鮮鋭度が最大となるように各撮像部の備えるフォーカスレンズの位置を制御させるコンピュータプログラムにおいて、
   前記コンピュータに、
   各撮像部それぞれが取得した２つの画像の視差を算出する視差算出ステップと、
   算出した視差を基に、一方の画像の前記算出領域を補正する補正ステップと
   を実行させることを特徴とするコンピュータプログラム。

Images