JP2009080113A - 距離推定方法、距離推定装置、撮像装置およびコンピュータ読み取り可能な媒体 - Google Patents

Abstract

【課題】撮像装置の自動焦点画像センサにより生成される画像信号を用いて被写体への距
離を推定する新規な方法を提供すること。
【解決手段】各画像センサの画像データを処理してその中のエッジを検出し、各エッジセ
ンサについて対応するエッジ画像を生成し、エッジ画像を相関し、エッジ画像間で最良の
一致をもたらす一方のエッジ画像に対する他方のエッジ画像のシフトを判定し、少なくと
も判定されたシフトに基づき距離推定を計算することを有する。
【選択図】図２

Description

本発明は一般的に距離推定に関し、具体的には自動焦点センサを用いた距離推定方法お
よびこれを用いる撮像装置に関する。

カメラ、ビデオ・レコーダ、カムコーダ、等々など最近の撮像装置のほとんどは操作す
る者ができるだけ簡単に画像を取り込めるよう連携して作動する一式の自動機能を含む。
自動焦点（ＡＦ）機能はこの一式の中で非常に多く見られる機能である。カメラのＡＦ機
能はカメラ内のプロセッサを利用して、最も鮮明な画像が得られるまでレンズを中または
外に動かすことによりカメラ・レンズの焦点を自動的に合わせる小型モータを稼動する。

ＡＦ機能付きのカメラは２種類の自動焦点システム、すなわち受動的自動焦点システム
および能動的自動焦点システム、の双方の組み合わせを使用するものもあるが、通常は受
動的自動焦点システムおよび能動的自動焦点システムの内１つを用いる。より安価な自動
露出カメラは通常能動的ＡＦシステムを用い、より高価な一眼レフ（ＳＬＲ）カメラは受
動的ＡＦシステムを用いる。

典型的な能動的ＡＦシステムは赤外線信号を発する赤外線エミッタおよび反射した赤外
線信号がカメラに戻るのを検出する赤外線受信機を有してなる。カメラ・プロセッサはエ
ミッタにより赤外線信号が伝送されてから反射された赤外線信号を受信機が検出するまで
の経過時間を演算する。演算された経過時間は次にカメラ・プロセッサにより用いられ、
モータを稼動させレンズの位置を調節して焦点を自動的に補正する。

２種類の受動的ＡＦシステム、すなわちコントラスト測定ＡＦシステムおよび位相検出
ＡＦシステム、が普及している。コントラスト測定ＡＦシステムにおいて、カメラ・レン
ズを通してのぞく電荷結合素子（ＣＣＤ）が条片の画像を取り込む。取り込まれた条片の
画像はカメラ・プロセッサに送られ、後者は続いて条片の画像における隣接ピクセルの輝
度を調べる。条片画像の隣接ピクセルが類似した輝度を有する場合、条片画像は焦点が外
れているとみなされる。プロセッサは次にモータを稼動させてカメラ・レンズの位置を調
節し、上述のプロセスはカメラ・レンズが隣接ピクセル間の輝度差が最高になる位置にな
るまで繰り返される。

位相検出ＡＦシステムにおいて、カメラ・レンズに入る光は図６に示されるように分割
され右の画像センサ１０および左の画像センサ１２に各々に結び付けられたレンズ１４お
よびレンズ１６経由で向けられる。図示されていないが、右の画像センサ１０および左の
画像センサ１２はセンサ・アッセンブリの光軸ＯＡを見下ろすように内側の角度に向けら
れる。画像センサ１０および画像センサ１２の出力は画像信号をもたらし、これらはカメ
ラ・プロセッサにより比較され、類似した光強度パターンについて分析される。次に画像
信号間の位相差が計算され被写体が前方焦点位置にあるか後方焦点位置にあるか判定され
る。位相差はこのようにレンズがその位置に移動するようカメラ・プロセッサにモータを
稼動させ、カメラ・レンズが焦点合わせできる位置を提供する。

画像センサ１０および画像センサ１２により出力される画像信号間の差は被写体のカメ
ラからの距離に依存するため、図６に示す位相検出ＡＦシステムは被写体のカメラからの
距離を推定するのに用いることができる。距離を推定するには画像センサ１０および画像
センサ１２により出力される画像信号を相関させ、互いの最良の適合を見出す必要がある
。理想的な環境では、直接的な方法が満足できる結果をもたらし、ここでは画像センサ１
０および画像センサ１２により出力される画像信号を互いに比較し、２つの画像信号間の
シフトにおいて差がどこで互いに最小であるかを判定する。あいにく、カメラ内の不完全
な光絶縁および／または周囲光のため、画像センサ１０および画像センサ１２により出力
される画像信号は互いに対し図７に示すようにしばしばシフトされる。加えて、位相検出
ＡＦシステムではしばしば周期的雑音が生じ、図８に示すように各画像センサの偶数要素
からの画像信号が画像センサの奇数要素からの画像信号より高く、または低くなる。図示
されるように、通常パリティ・ノイズと呼ばれるこの周期的雑音は画像センサの連続要素
に対し高から低に交互する。

カメラ・ユーザにとって焦点の合った画像を取り込むことが肝要であるので、ＡＦシス
テムの分野においてかなりの努力がなされ、ＡＦシステムの多くの変形が検討されている
ことは驚くにあたらない。例えば、Ｌｉｐｔｏｎ他の米国特許第５１４２３５７号明細書
は静止画像または動画像の取り込みおよび再生用の電子ステレオ・ビデオ・カメラを開示
している。ビデオ・カメラは信号処理手段を用いて左および右の画像センサのビデオ出力
を処理し、各々ビデオ・カメラの左および右の画像領域における左および右画像の位置を
突き止める。突き止められた左および右画像の比較により固定して取り付けたカメラ・レ
ンズのセットに対し一方または双方の画像センサの有効位置を調節するために制御信号が
生成される。Ａｋａｓｈｉの米国特許第５２９３１９４号明細書はカメラ用の焦点検出装
置を開示しており、複数の焦点センサが場面内において複数の異なった区域の焦点状態を
検出する。焦点センサの出力を基に、場面の特定区域について焦点が得られるか否かをプ
ロセッサが判定する。場面の特定区域が例えば場面の中心区域である場合、焦点合わせを
支援するために補助的な光が発せられる。

Ｋｉｔａｍｕｒａの米国特許第５３６９４３０号明細書は焦点検出方法および装置を開
示している。方法において、複数の物体パターンを含む物体の実画像が光学システムを通
して画像撮像装置に投影され、画像撮像装置から得られた画像データが産出される。光学
システムの光軸方向に画像撮像装置、光学システムおよび複数の物体パターン各々の画像
データおよび物体の相対的位置関係を変化させながら前以て記憶された基準パターンの画
像データの相関値が計算される。最大の相関値をもたらす相対位置関係が焦点の合った状
態とみなされる。

Ｓｏｂｅｌ他の米国特許第６７０７９３７号明細書はデジタル画像に色画像情報を補間
する方法および装置を開示している。目標ピクセル付近のデジタル画像の部分に対する画
像データ値が受信され、ローカル・アレイに記憶される。ローカル・アレイのデータ値に
基づき目標ピクセルの付近にエッジがあるかプロセッサが判定する。目標ピクセルの付近
にエッジがない場合、画像に欠ける色情報を生成するためにローカル・アレイの画像デー
タに対し長尺補間が実施される。目標ピクセル付近にエッジがある場合は、目標ピクセル
の近傍にあるローカル・アレイのサブセットにある画像データ亜ギアを用いて短尺補間が
実施他される。

Ｉｄｅ他の米国特許第６７８５４９６号明細書および米国特許出願公開第２００５／０
０１３６０１号明細書は互いに視差を有する２つの画像を受信する、半導体基板に形成さ
れた画像撮像要素および画像撮像要素により受信された光に対応する信号を処理するため
に半導体基板に形成された光受信信号処理回路を含むＡＦエリア・センサを有する距離測
定装置を開示している。輪郭検出モードにおいてＡＦエリア・センサで実行される集約に
より得られたセンサ・データに基づき、距離測定装置が写真画面における主被写体を検出
の上、主被写体を含む距離想定区域を設定し、主被写体までの距離を測定する。

Ｆｕｊｉｉ他の米国特許出願公開第２００２／０１１４０１５号明細書はＡＦ区域にお
けるエッジ幅のヒストグラムを生成するヒストグラム生成回路およびヒストグラムから雑
音成分を排除する雑音排除部分を有するデジタル・カメラのＡＦ制御部を開示している。
ヒストグラム評価部分がヒストグラムから焦点を合わせられる程度を示す評価値を計算し
、コントラスト計算回路がＡＦ区域におけるコントラストを計算する。駆動方向判定部分
がコントラストを用いて焦点合わせレンズの実現すべき駆動方向を判定する。ヒストグラ
ムの評価値とコントラストを用い駆動量判定部分が焦点合わせレンズを焦点の合った位置
に位置づける。Ｙａｒｏｓｌａｖｓｋｙの米国特許出願公開第２００３／０１１８２４５
号明細書はエッジ検出方法および画像比較方法の一方または双方を用いて撮像システムの
焦点を自動的に合わす装置および方法を開示している。エッジ検出方法は物体の１セット
の画像における各画像についてエッジ密度を演算し、セット内の画像で最大の演算エッジ
密度を有するものに対応する焦点位置を最適焦点位置として選択することを有してなる。
画像比較方法は基準画像に対する焦点位置と代表的物体の綿密にマッチされた画像との差
に基づき焦点位置を調節することを有してなる。

Ｓｔｅｗａｒｔの米国特許出願公開第２００６／００２９２８４号明細書は画像から焦
点測度を判定する方法を開示している。方法の際、画像を、エッジ位相化効果を拒絶する
よう適応された１つ以上の一次エッジ検出カーネルで画像を処理することにより、画像に
おける１つ以上のエッジが検出される。エッジ各々の第１強度測度およびエッジ各々のコ
ントラストが判定される。エッジ各々の第１強度測度はエッジ各々のコントラストにより
正規化され、エッジ各々の第２強度測度が得られる。第２強度測度に従い画像からエッジ
の１つ以上が選ばれ、選ばれたエッジの第２強度測度を用いて焦点測度が計算される。

Ａａｓ他の米国特許出願公開第２００６／００６２４８４号明細書は取り込まれた焦点
画像の少なくとも１つの領域において領域の隣接ピクセルを用いて第１エッジ検出結果を
得、第１エッジ検出結果をフィルタすることによりエッジを検出することを有してなる方
法を開示している。フィルタリングは第１エッジ検出結果におけるピクセル・コントラス
トの差を第１閾値と比較し、第１エッジ検出結果から第１閾値未満のピクセル・コントラ
ストの差を除去することを有してなる。少なくとも領域内のエッジが、領域の非隣接ピク
セルを用い検出され第２エッジ検出結果が得られ、第２エッジ検出結果はフィルタされる
。第２フィルタリングは第２エッジ検出結果におけるピクセル・コントラストと第２閾値
との差を比較し第２エッジ検出結果から第２閾値未満のピクセル・コントラストの差を除
去することを有してなる。

上述の参考文献は異なった自動焦点手法を考察しているが、改良が望まれる。

米国特許出願公開第２００６／００６２４８４号明細書 米国特許出願公開第２００６／００２９２８４号明細書

本発明の１つの目的は新規な距離推定方法、およびこれを用いた新規な撮像装置を提供
することである。

本発明の距離推定方法は、撮像装置の自動焦点画像センサにより生成される画像信号を
用いて被写体への距離を推定する距離推定方法であって、各画像センサの画像データを処
理してその中のエッジを検出し、各エッジセンサについて対応するエッジ画像を生成する
工程と、前記エッジ画像を相関し、前記エッジ画像間で最良の一致をもたらす一方のエッ
ジ画像に対する他方のエッジ画像のシフトを判定する工程と、少なくとも前記判定された
シフトに基づき距離推定を計算する工程とを有することを特徴とする。

また本発明の距離推定方法は、前記計算する工程の前に、前記判定されたシフトを調節
する工程をさらに有することを特徴とする。

また本発明の距離推定方法は、前記距離推定がサブピクセルの精度で計算できるよう、
前記判定されたシフトを前記相関の際に生成された相関データに基づき調節する工程を有
することを特徴とする。

また本発明の距離推定方法は、前記相関データに基づき調節する工程は、前記判定され
たシフトに差値を加えることを有する。

また本発明の距離推定方法は、前記差値は、前記相関の際、生成される相関データの補
間により計算されることを特徴とする。

また本発明の距離推定方法において、前記相関は、前記一方のエッジ画像を前記他方の
エッジ画像と比較して相互相関値を生成する工程と、前記一方のエッジ画像を前記他方の
エッジ画像に対しシフトし、別の相互相関値を生成する工程と、前記シフトおよび相互相
関値の生成を繰り返す工程と、最小相互相関値を判定する工程と、最小相互相関値に結び
付いたシフト位置を判定されたシフトとして選択する工程とを有することを特徴とする。

また本発明の距離推定方法は、前記シフトおよび相互相関値の生成は、被写体を中心と
した範囲にわたり実施されることを特徴とする。

また本発明の距離推定方法は、前記比較の際、前記一方のエッジ画像におけるピクセル
のサブセットが前記他方のエッジ画像における対応ピクセルと比較されることを特徴とす
る。

また本発明の距離推定方法は、前記サブセットは少なくとも前記被写体の全体を包含す
るよう選択されるサイズを有することを特徴とする。

また本発明の距離推定方法は、前記相関の前に前記エッジ画像のサイズを倍加する工程
をさらに有することを特徴とする。

また本発明の距離推定方法において、前記相関は、前記一方のエッジ画像を前記他方の
エッジ画像と比較し相互相関値を生成する工程と、前記一方のエッジ画像を前記他方のエ
ッジ画像に対しシフトし別の相互相関値を生成する工程と、前記シフトおよび相互相関値
の生成を繰り返す工程と、最小相互相関値を判定する工程と、最小相互相関値に結び付い
たシフト位置を判定されたシフトとして選択する工程とを有することを特徴とする。

また本発明の距離推定方法において、前記シフトおよび相互相関値の生成は、被写体を
中心とした範囲にわたり実施されることを特徴とする。

また本発明の距離推定方法は、前記比較の際、前記一方のエッジ画像におけるピクセル
のサブセットが前記他方のエッジ画像における対応ピクセルと比較されることを特徴とす
る。

また本発明の距離推定方法は、距離推定がサブピクセルの精度で計算できるよう、前記
判定されたシフトを前記相関の際、生成された相関データに基づき調節する工程を有する
ことを特徴とする。

また本発明の距離推定方法は、前記相関データに基づき調節する工程は、前記判定され
たシフトに前記相互相関値の補間により計算された差値を加えることを有する。

また本発明の距離推定方法は、前記距離推定の計算は、前記判定されたシフトおよび前
記撮像装置の少なくとも１つのパラメータに基づくことを特徴とする。

ここで本発明の距離推定装置は、撮像装置の自動焦点画像センサにより生成される画像
信号を用いて被写体への距離を推定する距離推定装置であって、前記画像センサと通信す
る処理構造を有し、前記処理構造は、各画像センサの画像データを処理してその中のエッ
ジを検出し、各エッジセンサについて対応するエッジ画像を生成し、エッジ画像を相関し
、エッジ画像間で最良の一致をもたらす一方のエッジ画像に対する他方のエッジ画像のシ
フトを判定し、判定されたシフトおよび前記撮像装置の少なくとも１つのパラメータに基
づき距離推定を計算することを特徴とする。

また本発明の撮像装置は、前記距離推定装置を備えることを特徴とする。

ここで、前記撮像装置はデジタル・カメラ、ビデオ・レコーダ、およびスキャナの内の
１つであることを特徴とする。

一方本発明のコンピュータ読み取り可能な媒体は、撮像装置の自動焦点画像センサによ
り生成される画像信号を用いて被写体への距離を推定するコンピュータ・プログラムを具
現するコンピュータ読み取り可能な媒体であって、各画像センサの画像データを処理して
その中のエッジを検出し、各エッジセンサについて対応するエッジ画像を生成するコンピ
ュータ・プログラム・コードと、前記エッジ画像を相関し、エッジ画像間で最良の一致を
もたらす一方のエッジ画像に対する他方のエッジ画像のシフトを判定するコンピュータ・
プログラム・コードと、少なくとも前記判定されたシフトに基づき距離推定を計算するコ
ンピュータ・プログラム・コードとを有することを特徴とする。

以下の説明において、自動焦点画像センサを用いた距離推定方法の実施形態およびこれ
を実施する距離推定装置さらにはこれを用いた撮像装置が提供される。撮像装置としては
、デジタル・カメラ、ビデオ・レコーダ、およびスキャナなどさまざまな装置に本発明を
適用することができるが、以下の説明ではデジタル・カメラを例に挙げて説明する。距離
推定方法の際には、各自動焦点センサの画像データが処理されてその中のエッジが検出さ
れ、各画像センサに対し対応するエッジ画像が生成される。エッジ画像の相関に基づいて
、一方のエッジ画像が他方のエッジ画像に対し相互に最良の一致をもたらすシフト値、す
なわちエッジ画像間に最小差、が判定される。次に少なくとも判定されたシフト値に基づ
き距離推定が計算される。望ましい場合は、サブピクセルの精度で距離を推定できるよう
、判定されたシフト値を計算前に調節することができる。また相関の前にエッジ画像のサ
イズを倍化することができる。

上述の工程は撮像装置のプロセッサにより実行されるコンピュータ実行可能な命令を含
むソフトウェア・アプリケーションにより実施することができる。ソフトウェア・アプリ
ケーションはルーチン、プログラム、オブジェクト・コンポーネント、データ構造、等々
を有してなることができ、コンピュータ読み取り可能な媒体に格納されるコンピュータ読
み取り可能なプログラム・コードとして具現されることができる。コンピュータ読み取り
可能な媒体は後に撮像装置のプロセッサが読み取ることのできるデータを格納し得る任意
のデータ記憶装置である。コンピュータ読み取り可能な媒体の例は例えば読み取り専用メ
モリ、ランダムアクセス・メモリ、ＣＤ−ＲＯＭ、磁気テープ、および光データ記憶装置
を含む。

次に図１に移ると、デジタルＳＬＲカメラの形をとる撮像装置の簡略図が示され、全般
的に参考番号５０で特定される。撮像装置としてのデジタル・カメラ５０は画像を取り込
む時に入射光をＣＣＤまたはＣＭＯＳセンサ・アレイ５４に集中させるレンズ・アッセン
ブリ５２を有してなる。ＣＭＯＳセンサ・アレイ５４は次に生の画像データをプロセッサ
５６に提供する。プロセッサ５６はさらにユーザがデジタル・カメラ５０を操作できるよ
うにする制御ボタン、スイッチ、ロッカ、等々を有してなるユーザ・インタフェース５８
、ドライバおよび結び付いたディスプレイ６０、およびメモリ６２と通信する。

本実施形態のデジタル・カメラ５０はさらに自動焦点センサ・アッセンブリ（以降、Ａ
Ｆセンサ・アッセンブリという）７０を有してなる位相検出自動焦点（ＡＦ）システムを
含む。画像が取り込まれない場合、デジタル・カメラ５０に入射する光をミラー７２がＡ
Ｆセンサ・アッセンブリ７０方向に反射する。ＡＦセンサ・アッセンブリ７０は図６に示
されるものに類似しており、右の画像センサ１０および左の画像センサ１２ならびに結び
付いたレンズ１４およびレンズ１６を有してなる。画像センサ１０および画像センサ１２
はＡＦセンサ・アッセンブリ７０の光軸ＯＡを見下ろすように内側の角度に向けられる。
ミラー７２によりＡＦセンサ・アッセンブリ７０に向かう光は２つのパスに分割され、結
び付けられたレンズ１４およびレンズ１６経由で右の画像センサ１０および左の画像セン
サ１２に向けられる。プロセッサ５６は周知の方法でＡＦセンサ・アッセンブリ７０、お
よびモータ・ドライバ７４とＡＦシャッタ７６と通信し、デジタル・カメラ５０に自動焦
点機能を提供する。

本実施形態で、デジタル・カメラ５０はさらにＡＦセンサ・アッセンブリ７０の出力を
用いてデジタル・カメラの視野にある被写体への距離を推定する。そのために、プロセッ
サ５６は距離推定アプリケーションを実行し、被写体への距離を推定できるようにする。
そして、自動焦点機能が推定した被写体への距離に基づいてピントを調整し、ユーザの指
示に基づいてデジタル・カメラ５０は撮像を行う。距離推定アプリケーションの実行の際
、プロセッサにより実施される工程を次に図２を参照して説明する。図３に見られるよう
に、距離推定の際、右の画像センサ１０および左の画像センサ１２により取得された生画
像としての右センサ・データ１００および生画像としての左センサ・データ１０２は最初
対応する右のエッジ画像および左のエッジ画像を形成するためにエッジ検出を受ける（工
程Ｓ１０４および工程Ｓ１０６）。エッジ検出の際、生画像の各々について、生画像のピ
クセル対Ｎ_i+1とピクセル対Ｎ_i-1との間の差が判定され、対応するエッジ画像のピクセル
Ｅ_iのエッジ規模を表すのに使用される。図３は生画像データおよび対応するエッジ・デ
ータを図示する。

本実施形態で、一旦、右のエッジ画像および左のエッジ画像が生成されると、エッジ画
像は解像度を向上させるために倍化される（工程Ｓ１０８および工程Ｓ１１０）。エッジ
画像を倍化することは補間エラーを減らすのに役立つ。各エッジ画像を倍化する際、エッ
ジ画像各々についてエッジ画像より２倍大きいアレイが作成される。エッジ画像のピクセ
ルＥ_iは次にアレイの偶数の位置にコピーされる。奇数の位置にあるピクセルＥ_iはキュー
ビック補間を用い次の方程式（１）に従い計算される。

補間された値はアレイの中で必要な連続隣接位置がない位置について上述の方法で計算
できないので、ボイドを生めるためにアレイのこれらの位置にピクセルＥ_iがコピーされ
る。例えば倍化された４００ピクセルのエッジ画像の場合、ピクセルＥ_iは次のようにア
レイにコピーされる。

工程Ｓ１０８および工程Ｓ１１０において右および左のエッジ画像を倍化することに続
き、倍化された右および左のエッジ画像は相関され倍化された右のエッジ画像が倍化され
た左のエッジ画像と最良の一致を達成するためにシフトされる必要のある程度が判定され
る（工程Ｓ１１２）。右および左のエッジ画像ピクセル間で絶対差の合計が最小になるよ
うな、倍化された右のエッジ画像のシフトが最適とみなされる。一旦、最適なシフトが判
定されると、相互相関関数は整数のシフト値にしか計算できないので、最適なシフトに追
加されるサブピクセル差の値を生成するために補間が実行される（工程Ｓ１１４）。工程
Ｓ１１４における補間に続き、被写体への距離推定がメートルで計算される（工程Ｓ１１
６）。

工程Ｓ１１２の相関の際、相関窓ＣＷがプロセッサ５６により選択される。良好な光お
よびコントラスト条件の場合、相関窓のサイズＳ_CWは相関窓ＣＷで囲まれる被写体の角サ
イズが約１．５から約４度の範囲にあるように選ばれる。暗い光および低コントラスト条
件の場合、相関窓のサイズは被写体の角サイズの範囲がより高くなるよう選ぶことができ
る。相関窓ＣＷのサイズＳ_CWをピクセルで表したものは次の方程式（２）に従い計算され
る。

ここで、
Ｓ_CWは度数で表した相関窓ＣＷのサイズ；
ＳＡ_Pはピクセルで表したＡＦセンサ・アッセンブリ７０のサイズ；
ＳＡ_φはＡＦセンサ・アッセンブリ７０の写角；
である。

例えば、写角が１０度に等しい４００ピクセルのＡＦセンサ・アッセンブリで良好な光
とコントラスタ条件を仮定した場合、相関窓ＣＷは被写体を中心とした関心領域における
エッジの数および強度により、６０ピクセルを超え約１６０ピクセルまでの範囲のサイズ
を有するよう選択される。

相関窓のサイズＳ_CWが決定されると相関窓ＣＷは被写体を中心とした倍化された左エッ
ジ画像に置かれる。同じサイズのスライド式相関窓ＳＣＷが倍化された右エッジ画像に置
かれる。スライド式相関窓ＳＣＷは相関窓ＣＷの中心周囲の−Ｓ_CW／２からＳ_CW／２に等
しいスライド範囲を有する。これに続きスライド式相関窓ＳＣＷはその範囲の最も左の限
度に置かれ、スライド式相関窓ＳＣＷ内の倍化された右エッジ画像のピクセルと倍化され
た左エッジ画像の対応するピクセルとの間の相互相関ＸＣ（Δ）が次の方程式（３）に従
い計算される。

ここで、
ｃとｗは相関窓ＣＷの中心ｃおよび幅ｗ；
Ｒは倍化された右エッジ画像；
Ｌは倍化された左エッジ画像；
Δは倍化された右エッジ画像および左エッジ画像間のシフト；
である。

相互相関ＸＣ（Δ）が計算されると、スライド式相関窓ＳＣＷは１ピクセル分右にシフ
トされ、相互相関ＸＣ（Δ）が再計算される。このプロセスはスライド式相関窓ＳＣＷが
範囲の最も右の限度に到達するまで、スライド式相関窓のピクセル・シフト各々について
行われる。この段階で倍化された右エッジ画像および倍化された左エッジ画像間の最良の
一致を意味する最小相互相関ＸＣ（Δ）_MINを判定するために計算された相互相関ＸＣ（
Δ）が調べられる。右と左エッジ画像を相関することは、左および右の生の画像データが
決して直接には比較されないので、データの位置ずれに依存しないことから有利である。
また、相関結果は偶数のセンサ要素が奇数のセンサ要素と比較されないので、パリティ・
ノイズに影響されない。

図４は倍化された左エッジ画像上の相関窓ＣＷならびにスライド式相関窓ＳＣＷが範囲
の最も左および最も右の限度にある例を示す。本例において、相関窓ＣＷは４０ピクセル
に等しいサイズＳ_CWを有し、倍化された左エッジ画像の２００ピクセルを中心としている
。

工程Ｓ１１４で補間の際、判定された最小相互相関ＸＣ（Δ）_MINならびに隣接するス
ライド式相関窓のシフトについて計算された相互相関ＸＣ（Δ）_MIN-1および相互相関Ｘ
Ｃ（Δ）_MIN+1に関わる３点補間（図５参照）を用いて次の方程式（４）に従いサブピク
セルの差ｄを計算する。

サブピクセルの差ｄの計算に続き、サブピクセルの差ｄは最小相互相関ＸＣ（Δ）_MIN
に対応するシフトΔに加えられる。調節されたシフト（Δ＋ｄ）は次に被写体への距離を
計算するのに用いられる。工程Ｓ１１６において、被写体への距離Ｄが次の方程式（５）
に従いメートルで計算される。

ここで、
Ａ_∞は無限大における被写体のシフト；
ＢはＡＦセンサ・アッセンブリ７０のパラメータ（レンズ・アッセンブリ５２の焦点距
離、ならびに右の画像センサ１０および左の画像センサ１２のピッチに基づく）；
である。

図２に示すように、エッジ画像は随意に倍化できる。エッジ画像を倍化することは精度
を向上させるが、処理を必要とするピクセルの数が増えるにつれ演算上の負担が増える。
エッジ画像が倍化されない場合、方程式（２）における倍化因数は取り除かれる。

特定の実施形態が説明されたが、当業者であれば添付クレームで定義されるその精神お
よび範囲から逸脱することなく変形および修正が可能であることを理解しよう。

位相検出ＡＦシステムを用いたデジタル・カメラの簡略化された概略図。 位相検出ＡＦシステムを用いて図１のデジタル・カメラにより実施される工程を示すフローチャート。 生の画像データおよび対応するエッジ・データを示す説明図。 左のエッジ画像を中心として相関窓およびシフト範囲の両極端にあるスライド式相関窓を示す説明図。 ３点直線補間の例を示す説明図。 従来の位相検出自動焦点（ＡＦ）システムの右の画像センサおよび左の画像センサを示す説明図。 図６の右の画像センサおよび左の画像センサにより出力された画像データの位置ずれを示す説明図。 図７の画像データにおけるパリティ・ノイズを示す説明図。

符号の説明

１０，１２…画像センサ、１４，１６…レンズ、５０…撮像装置としてのデジタル・カ
メラ、５２…レンズ・アッセンブリ、５４…ＣＭＯＳセンサ・アレイ、５６…プロセッサ
、５８…ユーザ・インタフェース、６０…ディスプレイ、６２…メモリ、７０…ＡＦセン
サ・アッセンブリ、７２…ミラー、７４…モータ・ドライバ、７６…ＡＦシャッタ、１０
０…生画像としての右センサ・データ、１０２…生画像としての左センサ・データ、ｃ…
中心、ＣＷ…相関窓、ｄ…差、Ｄ…距離、Ｅ_i…ピクセル、Ｎ_i+1，Ｎ_i-1…ピクセル対、
ＯＡ…光軸、Ｓ_CW…サイズ、ＳＣＷ…スライド式相関窓、ｗ…幅、ＸＣ（Δ），ＸＣ（Δ
）_MIN+1，ＸＣ（Δ）_MIN-1…相互相関、ＸＣ（Δ）_MIN…最小相互相関、Δ，（Δ＋ｄ）
…シフト。

Claims (13)

1. 少なくとも２つの画像センサにより生成される画像信号を用いて被写体への距離を推定
   する距離推定方法であって、
   各画像センサの画像データを処理してその中のエッジを検出し、各画像センサに対応す
   るエッジ画像を生成する工程と、
   前記エッジ画像の各々に基づいてシフト値を判定する工程と、
   前記シフト値に基づき推定距離を計算する工程とを有することを特徴とする距離推定方
   法。
2. 前記推定距離がサブピクセルの精度で計算できるよう、推定距離を計算する工程の前に
   前記判定されたシフト値を前記エッジ画像の所定の領域における相関の程度を示す相関デ
   ータに基づき調節する工程を有することを特徴とする請求項１に記載の距離推定方法。
3. 前記相関データに基づき調節する工程は、前記判定されたシフト値に差値を加えること
   を有する請求項２に記載の距離推定方法。
4. 前記差値は、前記相関データの補間により計算されることを特徴とする請求項３に記載
   の距離推定方法。
5. 前記シフト値を判定する工程は、一方のエッジ画像を他方のエッジ画像と比較して相互
   相関値を生成する工程と、
   前記一方のエッジ画像を前記他方のエッジ画像に対しシフトし、別の相互相関値を生成
   する工程と、
   前記シフトおよび相互相関値の生成を繰り返す工程と、
   最小相互相関値を判定する工程と、最小相互相関値に結び付いたシフト位置を判定され
   たシフト値として選択する工程とを有することを特徴とする請求項１乃至請求項４のいず
   れか一項に記載の距離推定方法。
6. 前記シフトおよび相互相関値の生成は、被写体を中心とした範囲にわたり実施されるこ
   とを特徴とする請求項５に記載の距離推定方法。
7. 前記比較の際、前記一方のエッジ画像におけるピクセルのサブセットが前記他方のエッ
   ジ画像における対応ピクセルと比較されることを特徴とする請求項６に記載の距離推定方
   法。
8. 前記サブセットは少なくとも前記被写体の全体を包含するよう選択されるサイズを有す
   ることを特徴とする請求項７に記載の距離推定方法。
9. 前記シフト値を判定する工程の前に前記エッジ画像のサイズを倍加する工程をさらに有
   することを特徴とする請求項１乃至請求項８のいずれか一項に記載の距離推定方法。
10. 被写体への距離を推定する距離推定装置であって、
    少なくとも２つの画像センサと、
    前記画像センサにより生成される画像データを取得する画像取得部と、
    前記各画像データを処理してその中のエッジを検出し、各画像センサに対応するエッジ
    画像を生成し、エッジ画像の各々に基づいてシフト値を判定し、判定されたシフト値に基
    づき推定距離を計算する計算部と、
    を備えることを特徴とする距離推定装置。
11. 請求項１０に記載の前記距離推定装置を備え、計算した推定距離に基づいて撮像を行う
    ことを特徴とする撮像装置。
12. 前記撮像装置はデジタル・カメラ、ビデオ・レコーダ、およびスキャナの内の１つであ
    ることを特徴とする請求項１１に記載の撮像装置。
13. 少なくとも２つの画像センサにより生成される画像信号を用いて被写体への距離をコン
    ピュータに推定させるコンピュータ・プログラムであって、
    各画像センサの画像データを処理してその中のエッジを検出し、各画像センサに対応す
    るエッジ画像を生成するようにコンピュータを制御するプログラム・コードと、
    前記エッジ画像の各々に基づいてシフト値を判定するようにコンピュータを制御するプ
    ログラム・コードと、
    前記シフト値に基づき推定距離を計算するようにコンピュータを制御するプログラム・
    コードとを有するコンピュータ・プログラム。

Images