JP2019066451A - 画像計測装置、画像計測方法、撮像装置、プログラム - Google Patents

Abstract

【課題】画像データを取得して計測処理を行う画像計測装置において、より精度の高い測距値を算出する。【解決手段】画像計測装置１００の画像入力部１０２は、撮像部のピント位置を変えて撮影された各ピント位置での異なる視点の画像データを取得する。撮影情報取得部１０４は撮影時の撮影情報を取得する。測距点選択部１０５は、画像中の測距点として、ユーザ操作の指示または特徴点検出によって２点を選択して制御部１０１に出力する。評価値決定部１０８は、複数の画像における測距点での信頼度の評価値を決定する。制御部１０１は評価値を用いて複数の画像から選択した画像に関連する距離情報を取得するとともに、測距点間距離算出部１０９に対して２点間の長さ（測距点間距離）の算出を指令する。画像計測結果表示部１１０は、選択された測距点の位置および算出された２点間の長さを画面に表示する。【選択図】図１

Description

本発明は、画像計測装置における被写体の長さの算出処理技術に関する。

立体視用画像を撮像するステレオカメラは、２つの撮像部によって同一の被写体を同時に撮像し、視差を有する２種類の画像を取得可能である。また、ステレオカメラ等によって撮像された２種類の画像のデータに基づき、画像の奥行き方向の長さを算出する方法がある。特許文献１には、立体視用の撮像装置を用いて、ユーザが指定した被写体画像上の２点間距離（３次元空間での長さ）を測定する技術が開示されている。

一方、１つの撮像部において、撮像光学系の異なる瞳部分領域をそれぞれ通過する、被写体からの光束を分割して、視差を有する複数の画像データを生成する瞳分割撮像方法が知られている。

特開２０１１−２３２３３０号公報

瞳分割撮像方法で撮像された画像について奥行き方向の長さを算出する場合、デフォーカス量が所定値以上に大きい領域では奥行き方向の長さを算出するときの精度が低下する可能性がある。その理由は、デフォーカス量が大きくなることで対象となる画像が暈けてしまい、視差を有する複数の画像間で像信号の対称性が損なわれるからである。したがって、被写体画像上で指定された２点間の３次元空間での長さを、より高精度に測定するためには、測距対象である被写体に対し、同じ画角にてピント位置を変えて撮影した複数枚の画像が必要である。例えば、撮影された複数枚の画像を測距用画像として用いる場合、指定された２点に対してそれぞれ、どの測距用画像の奥行き方向の長さを利用すれば、より高精度な測距値が得られるかを判断する必要がある。
本発明は、画像データを取得して計測処理を行う画像計測装置において、より精度の高い測距値を算出することを目的とする。

本発明の一実施形態の装置は、複数のピント位置で、かつ異なる視点でそれぞれ撮像された複数の画像データを取得する第１の取得手段と、各ピント位置での異なる視点の画像データ対を用いて被写体の距離情報を取得する第２の取得手段と、前記画像データにおける複数の測距点を指定する指定手段と、前記画像データ対の像ずれ量またはデフォーカス量から各測距点に対応する距離情報を算出し、該距離情報を用いて、画像の奥行き方向を含む３次元空間における指定された前記測距点間の長さを算出する算出手段と、を備える。

本発明によれば、画像データを取得して計測処理を行う画像計測装置において、より精度の高い測距値を算出することができる。

本実施形態に係る画像計測装置の全体構成を示すブロック図である。 本実施形態における複数の画像を説明する図である。 画像ごとの有効測距範囲の説明図である。 画像計測全体の処理を説明するフローチャートである。 測距点の選択処理を説明するフローチャートである。 測距点の選択例を示す説明図である。 評価値の決定方法を説明するフローチャートである。 対応点の探索方法を説明するフローチャートである。 対応点の探索方法を説明する模式図である。 デフォーカス量の算出方法を説明するフローチャートである。 撮像部の画素構造を例示する図である。 画像の分割処理および像ずれ量の算出処理を説明する模式図である。 デフォーカス量、Ｆ値、像ずれ量の関係を示す模式図である。 評価値の決定処理を説明するフローチャートである。 各種評価値をグラフで説明する図である。 画像ごとの有効測距範囲と複数の測距点の例を示す模式図である。 測距値の表示処理を説明する図である。 第２実施形態に係る装置の構成を示すブロック図である。 第２実施形態における動作を説明するフローチャートである。 第２実施形態における仮測距を説明するフローチャートである。 第２実施形態の撮影方法について説明するフローチャートである。 第２実施形態に係る撮影範囲を説明する図である。 第２実施形態に係る信頼度の評価値を説明する図である。 第２実施形態に係る有効測距範囲を説明する図である。 第２実施形態に係る撮影方法を説明する図である。 有効測距範囲の分割数を増やした場合の撮影方法の説明図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。各実施形態の画像計測装置は、画像データを取得して計測処理を行う撮像装置や情報処理装置等に幅広く適用可能である。

［第１実施形態］
図１は、本実施形態の画像計測装置１００の構成例を示すブロック図である。画像計測装置１００は、制御部１０１と各モジュール（符号１０２〜１１０）を備え、画像情報や画像に関連する各種情報を取得して処理を実行する。

制御部１０１はＣＰＵ（中央演算処理装置）等を備え、画像計測装置１００を構成するモジュール間での情報の送受を制御する。画像入力部１０２は画像計測装置１００に入力された複数枚の画像のデータを、制御部１０１からの制御指令にしたがってメモリ１０３へ記憶する処理を行う。メモリ１０３は制御部１０１によって制御され、各モジュールでの処理に必要な情報を読み出し、また各モジュールによる処理結果を保存する。

撮影情報取得部１０４は撮影情報を取得し、制御部１０１からの制御指令によりメモリ１０３へ出力する。メモリ１０３への情報記憶は制御部１０１を介して行われる。撮影情報は、画像計測装置１００へ入力された複数枚の画像に関連付けられた、撮影時に生成される情報である。

測距点選択部１０５は、画像計測装置１００へ入力された測距点情報を取得するとともに、メモリ１０３に保存された複数枚の画像のデータに対し、測距点を２点選択する。測距点選択部１０５は制御部１０１からの制御指令にしたがい、選択された２点の各座標情報をメモリ１０３へ出力する。各座標情報は制御部１０１を介してメモリ１０３に記憶される。

対応点探索部１０６は、メモリ１０３に記憶された複数枚の画像のデータを読み出す。読み出された複数枚の画像データに対して、測距点選択部１０５によって選択された測距点（２点）に対応する各測距点を探索する処理が行われる。対応点探索部１０６は、複数枚の画像における、各測距点に対応する座標情報を算出する。算出された座標情報は制御部１０１を介してメモリ１０３に記憶される。

デフォーカス量算出部１０７は、メモリ１０３に記憶された複数枚の画像のデータと撮影情報とを読み出す。複数枚の画像のデータに対して、測距点（２点）にそれぞれ対応する座標でのデフォーカス量が算出される。算出されたデフォーカス量は制御部１０１を介してメモリ１０３に記憶される。

評価値決定部１０８は、メモリ１０３に記憶された、複数枚の画像のデータとデフォーカス量と複数枚の画像における測距点（２点）にそれぞれ対応する座標情報を読み出す。複数枚の画像における各測距点に対応する座標の評価値が決定される。決定された評価値は制御部１０１を介してメモリ１０３に記憶される。

測距点間距離算出部１０９は、メモリ１０３に記憶されている評価値およびデフォーカス量を読み出す。読み出された評価値に基づいて、使用する画像が複数枚の画像の中から決定される。決定された画像における測距点（２点）でのデフォーカス量に基づき、各測距点の３次元空間での座標を算出する処理が行われる。測距点間距離算出部（以下、単に距離算出部という）１０９は、各測距点の３次元空間での座標から測距点間の長さを算出する。算出された長さ情報は、制御部１０１を介してメモリ１０３に記憶される。

画像計測結果表示部（以下、単に表示部という）１１０は、メモリ１０３から読み出した、複数枚の画像のデータ、測距点の座標情報、および測距点間の長さ情報に基づいて、画像計測結果を画面上に表示し、ユーザへ提示する。複数枚の画像から選択された代表画像に対して、測距点である２点の座標と２点間の長さが表示部１１０に表示される。

図２を参照して、画像計測装置１００に入力される複数枚の画像について詳細に説明する。図２（Ａ）は撮像装置と被写体との位置関係を例示する模式図である。撮像装置２０１は、瞳分割型の撮像部を備える。例えば、撮像光学系の瞳部分領域をそれぞれ通過する、被写体から光束を２分割して受光し、視差を有する複数の画像（視差画像）として、第１および第２の視点画像を生成することができる。撮像装置２０１は、合焦位置に相当するピント位置や被写界深度を変更しながら被写体２０２を撮像し、複数枚の画像のデータを取得できるものとする。つまり、複数の視差画像の画像データ対が、複数のピント位置にてそれぞれ取得される。図２（Ａ）にて撮像装置２０１に関して、水平方向をｘ軸方向とし、垂直方向をｙ軸方向とし、奥行き方向をｚ軸方向として定義する。奥行き方向は、撮像装置２０１の光軸方向に沿う方向である。

図２（Ｂ）は撮像装置２０１によって撮影された複数枚の画像の説明図である。図２（Ａ）に示したように、撮像装置２０１と被写体２０２の位置関係で撮影が行われ、撮影された複数枚の画像には、測距点選択用画像と測距用画像が含まれる。測距点選択用画像は測距点を選択するために被写界深度の深い撮影によって取得される画像である。また、測距用画像は同一の被写体に対してピント位置を変えて撮影された画像である。測距点選択用画像は測距用画像に対して合焦領域が広い画像である。尚、測距点選択用画像については測距用画像の中から特定の１枚を選択することによって、測距用画像と兼用することも可能である。さらには、測距用画像に対して合焦領域が広い画像が存在しない場合、測距用画像の中から任意に１枚の測距点選択用画像を選択することも可能である。

図３は、測距用画像ごとの有効測距範囲を説明する図である。図２（Ａ）に示す撮像装置２０１と被写体２０２の位置関係において、被写体２０２をｙ軸方向から俯瞰することによって、ピント位置を変えて複数枚撮影した測距用画像ごとの有効測距範囲を示す。図３の紙面に垂直な軸をｙ軸とし、紙面内で直交する２軸をｘ軸、ｚ軸とする。ピント位置はｙ軸方向から俯瞰することによって、ｚ軸に対するピント面として表現することが可能である。ピント位置を変えて複数枚撮影した測距用画像については、各測距用画像におけるピント面を、カメラ位置に近い方から順にピント面２０３ｐ、ピント面２０４ｐ、ピント面２０５ｐ、ピント面２０６ｐとする。この場合、各ピント面において、それよりも手前側の有効測距範囲と奥側の有効測距範囲をそれぞれ示している。例えば、ピント面２０３ｐにおいて、ピント面２０３ｐより手前側の有効測距範囲は、ピント面２０３ｐから有効測距範囲を示す位置２０３ｂまでの範囲である。また、ピント面２０３ｐより奥側の有効測距範囲は、ピント面２０３ｐから有効測距範囲を示す位置２０３ｉまでの範囲である。手前側の有効測距範囲を示す位置２０３ｂから奥側の有効測距範囲を示す位置２０３ｉまでの範囲が、ピント面２０３ｐにおける有効測距範囲２０３ａとなる。同様にして、ピント面２０４ｐ、２０５ｐ、２０６ｐの有効測距範囲はそれぞれ、範囲２０４ａ、２０５ａ、２０６ａとなる。有効測距範囲はピント位置を中心とした奥行き方向における測距精度の有効性が高い範囲であり、後述するデフォーカス量に基づいて決定することが可能である。つまり、有効測距範囲外では測距精度が有効測距範囲内の測距精度に比べて大きく低下する。

図４に示すフローチャートを参照して、画像計測装置１００が行う処理について詳細に説明する。Ｓ３０１にて、複数枚の画像の情報、撮影情報、測距点情報が取得され、画像計測装置１００へ入力される。複数枚の画像には、測距点選択用画像と測距用画像が含まれており、画像入力部１０２が取得する。撮影情報としては、複数枚の画像ごとに少なくとも下記（ａ）〜（ｈ）の情報が撮影情報取得部１０４によって取得される。
（ａ）撮像装置からピント位置までの距離
（ｂ）撮像素子の画素ピッチ
（ｃ）一対の測距瞳領域を通過する光束の重心の開き角の大きさによって決まる変換係数
（ｄ）Ｆ値
（ｅ）瞳距離
（ｆ）撮像装置のレンズにおける像主点から撮像センサ面までの距離
（ｇ）撮像装置のレンズにおける物主点から被写体までの距離
（ｈ）撮像装置のレンズステート情報（焦点距離および横倍率比）
撮影情報はデフォーカス量を算出する場合や、３次元空間上での座標を算出する場合に必要である。

測距点情報は、測距点の選択方法を自動で行うか、またはユーザが任意に選択するかを決定する情報であり、測距点選択部１０５によって取得される。また、測距点情報については、測距点の選択方法を自動で決定する場合、その決定方法に関する情報を含む。

次のＳ３０２において、測距点（２点）を選択する処理が実行される。処理の詳細については図５を用いて後述する。Ｓ３０３において、各測距点の評価値を決定する処理が実行される。処理の詳細については図７を用いて後述する。Ｓ３０４において、Ｓ３０３で決定された評価値に基づいて、各測距点の三次元座標と２点間の長さを算出する処理が実行され、算出結果がユーザへ提示される。評価方法については、図１６を用いて後述する。Ｓ３０４の後、処理を終了する。

図５を参照して、測距点選択部１０５による測距点の選択処理について説明する。図５は測距点の選択処理を説明するフローチャートである。Ｓ４０１にて、測距点選択用画像のデータを読み出す処理が行われる。次のＳ４０２では、測距点情報を参照し、ユーザから測距点の指定があるかどうかの判断処理が実行される。ユーザの操作による測距点の指定が行われない場合、Ｓ４０３へ処理を進める。またユーザの操作による測距点の指定が行われた場合、Ｓ４０４に処理を進める。

Ｓ４０３では、あらかじめ測距点情報によって設定された条件に基づいて測距点が自動的に決定される。図６（Ａ）を参照して具体例を説明する。図６（Ａ）は特徴点検出および評価値算出を説明するための模式図である。まず、測距点選択用画像４０１について特徴点検出が行われ、例えば直方体形状をした被写体の特徴点４０１１〜４０１７が得られる。このとき、特徴点として検出された点での評価値が算出されて、特徴点の特徴量が評価される。図６（Ａ）では、特徴点の特徴量が大きいほど、特徴点（黒点）が大きく表示されている。つまり特徴量が大きいほど、測距点選択用画像４０１にて表示する特徴点を表す黒点印の半径が大きいものとする。例えば、特徴点４０１１〜４０１７のうち、特徴点４０１１と４０１２は、他の特徴点４０１３〜４０１７と比較して高い特徴量を有する。この場合、特徴点４０１１と４０１２が２点の測距点として決定される。尚、特徴点の検出方法としてコーナー検出方法、コントラスト検出方法、エッジ検出方法等がある。これらの方法を単独に使用する方法や、複数の方法を組み合わせて特徴点を算出する方法がある。

図５のＳ４０４では、あらかじめ測距点情報によって設定された条件に基づいてユーザにより指定された２点が測距点として選択される。図６（Ｂ）を参照して具体例を説明する。図６（Ｂ）は、ユーザによる選択操作を説明する模式図である。測距点選択用画像４０１について、ユーザが測距点４０２１および４０２２を指示する例を示す。ユーザはタッチパネル上で所望の測距点を、その手指により選択する操作またはポインティングデバイスおよびカーソル図形４０２３による指示操作を行える。これにより２点の測距点が選択される。尚、図６（Ｂ）に示す例以外にも、画像上でユーザが座標を選択し、選択した座標に対応する点を測距点とすることが可能である。
以上により、ユーザは測距点を自由に選択することができ、また、測距点の自動選択の場合にはユーザの手間を軽減できる。

次に図７のフローチャートを参照して、各測距点の評価値を決定する処理（図４：Ｓ３０３）について説明する。Ｓ５０１にて、測距点選択用画像で選択された測距点に対して、測距用画像における対応する点を探索するために対応点探索が行われる。Ｓ５０２にて、探索された対応点でのデフォーカス量を算出する処理が行われる。Ｓ５０３にて、算出されたデフォーカス量と信頼度に基づいて、測距点における評価値が決定される。図７の各ステップに示す処理の詳細を以下に説明する。

まず、Ｓ５０１では、測距点選択用画像で選択された測距点（２点）の座標を、複数の測距用画像において特定する必要があるので、対応点の探索処理が行われる。図８のフローチャートを参照して、対応点探索部１０６が行う処理を詳細に説明する。

Ｓ６０１では、測距点選択用画像における各測距点の周辺の画素を選択する処理が行われる。Ｓ６０２では、選択された周辺画素を使用して、各測距用画像でブロックマッチング処理が実行される。図９（Ａ）を参照して具体例を説明する。

図９（Ａ）は対応点探索を説明する模式図であり、測距点選択用画像６０１および測距用画像６０２を例示する。測距点選択用画像６０１において、まず測距点６０１１の周辺の画素を相関窓６０１２として選択する処理が行われる。相関窓６０１２を拡大図で示す。さらに、測距用画像６０２に対して窓範囲６０２１で選択された相関窓６０２２を選択する処理が行われる。選択された相関窓６０２２を拡大図で示す。これらの相関窓６０１２と相関窓６０２２とでブロックマッチング処理が行われる。つまり、相関窓同士の誤差量を算出する処理が実行され、この処理は、窓範囲６０２１の位置を変更しながら画像全体に亘って繰り返し行われる。そして、算出された誤差量が最小である範囲の座標から、測距点選択用画像６０１で選択された測距点に対応する、測距用画像６０２における測距点を算出することができる。測距点６０１３についても、測距点６０１１と同様に、各測距用画像における、測距点選択用画像で選択された測距点に対応する測距点が算出される。

図９（Ｂ）はブロックマッチング処理の改善法の説明図である。図９（Ａ）で説明したブロックマッチング処理に工夫を凝らした方法として、画像内の探索範囲を絞り込んで演算量を低減する方法がある。つまり、図９（Ａ）では測距用画像６０２の画像全体を探索範囲としたが、図９（Ｂ）では測距用画像６０３が測距点選択用画像に対してピント位置を変更して撮影された画像であることを利用する。測距点選択用画像における測距点の座標が測距用画像６０３における測距点の座標から大きく乖離する可能性は低い。この特性を利用し、測距用画像６０３における窓範囲６０３１の開始位置を測距点選択用画像における測距点の座標とし、相関窓６０３２を選択する処理が行われる。さらに、窓範囲６０３１の位置を変更する範囲が窓移動範囲６０３３内に制限される。このことにより、相関の低い領域を探索することによる処理の無駄を省き、演算量を著しく削減することができる。

図１０を参照して、図７のＳ５０２に示すデフォーカス量の算出処理について詳細に説明する。図１０はデフォーカス量算出部１０７が行う処理を説明するフローチャートである。Ｓ７０１において、１枚の測距用画像から一対の画像データを生成する処理が行われる。その詳細について、図１１を用いて具体的に説明する。

図１１（Ａ）は、視差画像の撮影を行う際に使用される撮像素子の画素配列を説明する模式図である。紙面に垂直な軸をＺ軸とし、紙面内にて直交する２軸をそれぞれＸ軸、Ｙ軸とする。撮像部を構成する撮像素子は、多数の画素部７１２を２次元アレイ状に規則的に配列した構造を有する。図１１（Ｂ）は画素部７１２のひとつを拡大して示す図である。画素部７１２は、マイクロレンズ７１１と一対の光電変換部７１３Ａ、７１４Ｂ（以下、瞳分割画素７１３Ａ、７１４Ｂという）から構成される。各マイクロレンズに対応する複数の光電変換部は、撮像光学系の異なる瞳部分領域をそれぞれ通過する、被写体からの光束を受光して光電変換を行い、電気信号を出力する。本実施形態では、瞳分割画素７１３Ａにより取得される画像をＡ像と呼び、瞳分割画素７１４Ｂにより取得される画像をＢ像と呼ぶ。Ａ像とＢ像を合成した画像をＡＢ像と呼ぶ。ＡＢ像は瞳分割型でない撮像素子によって撮像される画像に相当する。

図１１に例示する構成では、画像計測処理を行うために必要な情報として、Ａ像およびＢ像のデータを取得可能である。尚、この例では光電変換部の分割数が２であるが、分割数については３以上でもよく、視点の異なる複数の視点画像を取得することができる。

図１０のＳ７０２では、Ｓ７０１で生成された一対の画像データを微小ブロックに分割する処理が行われる。図１２（Ａ）を参照して具体例を説明する。図１２（Ａ）は、瞳分割画素７１３Ａ、７１４Ｂによってそれぞれ取得される信号から生成される、Ａ像７２１とＢ像７２２のデータを示す模式図である。Ａ像７２１とＢ像７２２については、微小ブロック７２３で示すように複数のブロックに分割される。例えば、入力画像の画素ごとに、微小ブロックの中心位置に着目画素が設定されるものとする。図１２（Ａ）の微小ブロック７２３は、その中心にある測距点７２４での着目画素と、その周囲にある８つの画素を含むように分割される。

図１２（Ｂ）は、微小ブロックの形状について説明するために、Ａ像７２１を示す模式図である。左側の図に示す微小ブロック７２５は、図１２（Ａ）の微小ブロック７２３よりもサイズが大きい例である。また右側の図に示す微小ブロック７２６はＬ字形状の例である。このように、分割される微小ブロックのサイズと形状に制限は無いものとする。また、近接する微小ブロック同士の領域が重なっていてもよい。

図１０のＳ７０３では、Ｓ７０２で分割された微小ブロックにおいて相関演算処理が行われ、各測距点での像ずれ量が算出される。具体的には、微小ブロックにおける一対の画素データをそれぞれ、Ｅ（１）〜Ｅ（ｍ）およびＦ（１）〜Ｆ（ｍ）と表記する。ｍはデータ数を表す。この場合、第１のデータ系列Ｅ（１）〜Ｅ（ｍ）に対して、第２のデータ系列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、下記数式（１）により２つのデータ列間のずらし量（ｋと記す）における相関量Ｃ（ｋ）が算出される。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜ ・・・（１）
数式（１）において｜｜は絶対値記号であり、Σ演算（積算）はｎについて計算される。このΣ演算において、ｎ、ｎ＋ｋの取る範囲は１〜ｍの範囲に限定される。ずらし量ｋの値は整数であり、一対の画像データの検出ピッチを単位とした相対的なシフト量である。

図１２（Ｃ）に示すグラフを参照して、数式（１）の演算結果の例を説明する。図１２（Ｃ）の横軸は像ずれ量を表し、縦軸は相関量Ｃ（ｋ）を表す。一対のデータ系列の間で相関が高い像ずれ量において、相関量Ｃ（ｋ）が最小になる。そして、下記数式（２）〜（５）による３点内挿法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与える像ずれ量（ｘと記す）が算出される。像ずれ量ｘの値は実数である。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（２）
Ｃ（ｘ）＝ Ｃ（ｋｊ）−｜Ｄ｜ ・・・（３）
Ｄ＝{Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）}／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）}・・・（５）
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるときのｋである。
数式（２）から求まる量ｘを、一対の瞳分割画像における像ずれ量とする。尚、像ずれ量ｘの単位はｐｉｘｅｌとする。

図１０のＳ７０４では、数式（２）で求めた測距点での像ずれ量ｘから、被写体像面の予定結像面に対するデフォーカス量（ＤＥＦと記す）が、下記数式（６）によって算出される。
ＤＥＦ＝ ＫＸ ・ＰＹ ・ｘ ・・・（６）
数式（６）において、ＰＹは撮像素子の画素ピッチ（撮像素子を構成する画素の画素間距離）である。ＫＸは一対の測距瞳部分領域をそれぞれ通過する光束の重心の開き角の大きさによって決まる変換係数であり、単位はｍｍ／ｐｉｘｅｌである。尚、この重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化し、レンズ情報に応じて決定される。図１３を用いて具体的に説明する。

図１３は予定結像面に対するデフォーカス量、Ｆ値、像ずれ量の関係を示す模式図である。図１３の左側から順に、撮像対象の物面７４１、レンズ７４２、撮像素子の予定結像面７４３、像面７４４をそれぞれ示す。像面７４４は、予定結像面７４３からのデフォーカス量７４５に相当する位置にある面である。Ｆ値に応じた像ずれ量７４６、７４７をそれぞれ示している。像ずれ量７４６はＦ値が小さい場合（開放側）の像ずれ量であり、像ずれ量７４７はＦ値が大きい場合（絞り側）の像ずれ量である。デフォーカス状態での像面に対する像ずれ量は開放側で大きくなり、絞り側で小さくなることがわかる。言い換えれば、デフォーカス量が同じでも像ずれ量はＦ値によって異なる。そのため、像ずれ量からデフォーカス量を算出する際には、数式（６）で示すように、Ｆ値に応じたゲインである変換係数ＫＸを乗算する必要がある。

以上のように、着目画素の位置を１画素ずつずらしながら繰り返し計算を行うことで、デフォーカス量を算出することができる。この算出処理方法を、各測距用画像の測距点（２点）に対して適用することによって、各測距用画像のデフォーカス量を算出できる。

図１４を参照して、図７のＳ５０３に示す評価値の決定処理について説明する。図１４は評価値決定部１０８が行う処理を説明するフローチャートである。Ｓ８０１は第１の条件に関する判断処理である。第１の条件とは、測距点である２点が１枚の画像の有効測距範囲内にある測距用画像（以下、条件適合画像という）が存在することである。第１の条件を満たす場合、Ｓ８０２の処理へ進み、第１の条件を満たさない場合にはＳ８０９へ移行する。ここで、有効測距範囲について詳しく説明する。条件適合画像の存否については、数式（６）で算出されるデフォーカス量ＤＥＦを評価することで判断できる。つまりデフォーカス量ＤＥＦが大きくなるにつれて、ＤＥＦの測距精度が低下する。測距精度がある一定以上に保証されるデフォーカス量ＤＥＦの範囲を、｜ＤＥＦ｜＜Ｃｒと定義する。Ｃｒはデフォーカス量の閾値である。｜ＤＥＦ｜＜Ｃｒという不等式を満たすデフォーカス量ＤＥＦが測距点で算出された場合、この測距点が有効測距範囲内にあると判断される。つまり、測距点でのデフォーカス量ＤＥＦの大きさが所定の閾値Ｃｒより小さいか否かによって、条件適合画像の存否を判断することができる。複数枚の測距用画像の各測距点に対して算出されるデフォーカス量に基づいて、条件適合画像が存在するかどうかを評価することができる。

前記したように、デフォーカス量は絞り開口の大きさ（Ｆ値）に応じて変化する。図１３を参照すると、具体的にはＦ値を大きく設定した第１の測距用画像は、Ｆ値を小さく設定した第２の測距用画像に対して、有効測距範囲を広くとることができる。ただし、第１の測距用画像では測距精度が低下する。この特性を利用し、Ｆ値を大きくした測距用画像が存在する場合には、この測距用画像１枚で測距点（２点）の仮測距を行い、２つの測距点が１枚の画像の有効測距範囲内にあるかどうかを判断することができる。このようにすることで、測距用画像のそれぞれで２つの測距点が有効測距範囲内であるかどうかを評価する処理に比べて、計算量および時間を低減可能である。

図１４のＳ８０２では、真度の信頼度を評価値として優先するか否かが判断される。真度とは、真の値からの測定誤差に対応する度合いを表し、測定値が真の値に近いほど信頼度が高いものとする。真度の信頼度は、ピントの移動量を評価することによって決定される。ピントの移動量とは、測距点である２点での奥行き情報を算出する各測距用画像が選択される場合において、各測距用画像間のピントの移動量を示す。ピントの移動量が大きい場合、複数枚の画像の撮影時におけるピント位置までの距離の測定誤差が大きくなる。仮に、真度の信頼度を評価値として優先するかどうかを判断せずに、真度の信頼度を評価値として常に優先する実施方法では、画質の良し悪しに関わらず、ピントの移動量のみで評価値が算出されてしまう。この場合に発生する問題は測距精度の低下である。例えば、測距点でのコントラストが低い画像や、測距点での輝度値が飽和している画像の場合、ピントの移動量が小さいために測距用画像として選択されてしまい、測距精度が低下する可能性がある。他方、真度の信頼度を評価値として優先しない実施方法では、その他の評価値をすべて算出し、または決定しなければならず、計算処理上の負担が大きくなる可能性がある。以上の理由により、Ｓ８０２では、真度の信頼度を評価値として優先するかどうかが判断され、真度の信頼度を評価値として優先しない場合、Ｓ８０３へ進み、真度の信頼度を評価値として優先する場合にはＳ８０６へ進む。判断方法としては、例えば、以下のようにユーザ主体の方法と装置主体の方法がある。

・ユーザが操作を行って任意に設定する方法
装置は、ユーザが操作部を使用して行った設定の指示にしたがって優先判定を行う。
・装置が自動で判断する方法
例えば、複数枚の画像撮影にて撮影間隔（時間間隔）の長さに基づき、撮影間隔がある一定時間（閾値時間）以上である場合、装置は真度の信頼度を評価値として優先しないことを自動で判断する。
尚、各方法を単独で実施するか、または条件に応じて複数の方法を使い分けてもよい。

Ｓ８０３にて、測距点（２点）の各測距用画像での真度の信頼度が、ピントの移動量を評価することによって決定される。ピントの移動量が大きい場合、複数枚の画像の撮影時におけるピント位置までの距離の測定誤差が大きくなる。そのため、評価値決定部１０８はピントの移動量の評価値を小さくする。また、測距点（２点）での奥行き情報を算出するための測距用画像が同一の測距用画像である場合にはピントの移動量はゼロである。このような場合に評価値決定部１０８はピントの移動の評価値を大きくする。図１５（Ａ）を参照して具体例を説明する。

図１５（Ａ）は、ピントの移動量と対応する評価値との関係をグラフで説明する図である。横軸はピントの移動量（ｐｍと記す）を表し、縦軸は評価値（ＰＩＮと記す）を表す。ピントの移動量ｐｍが大きくなるにつれて評価値ＰＩＮが小さくなる。例えば、評価値ＰＩＮは数式（７）により算出される。
ＰＩＮ ＝ ｂ１ − ｂ２ × ｐｍ ・・・（７）
ただし、切片ｂ１、係数ｂ２はいずれも正値（ｂ１，ｂ２＞０）であり、任意に設定可能である。ピントの移動量ｐｍを評価しない場合には、数式（８）のように
ＰＩＮ ＝ ｂ３ ・・・（８）
とする。ｂ３は一定値（正値）であり、任意に設定可能である。

各測距用画像での真度の信頼度をＲｓと表記し、
Ｒｓ ＝ ＰＩＮ ・・・（９）
とする。ピントの移動量ｐｍを評価する際、ｐｍの値が大きくなるにつれて、信頼度Ｒｓが小さくなるように決定することができる。これにより、ピントの移動による測定誤差を低減することができるので、より高精度な測距値を算出可能となる。尚、評価値ＰＩＮを数式（７）および（８）のように算出する他に、パラメータによる参照テーブルを設けることで決定することも可能である。さらには、真度の信頼度Ｒｓについても、数式（９）で算出せずにパラメータによる参照テーブルを設けることにより、ピントの移動量ｐｍと評価値ＰＩＮとの関係から決定することも可能である。

図１４のＳ８０４において、測距点２点の各測距用画像での再現性の信頼度が決定される。再現性の信頼度は、２つの測距点それぞれにおける、デフォーカス量または像ずれ量、輝度値、分散値を評価することによって決定される信頼度である。図１５（Ｂ）から（Ｄ）を参照して、具体的に説明する。

図１５（Ｂ）は、デフォーカス量の評価値に基づく再現性の信頼度をグラフで説明する図である。横軸に示すデフォーカス量ＤＥＦに対して、その評価値をＤＦＲと表記して縦軸に示す。デフォーカス量の絶対値｜ＤＥＦ｜が大きくなるにしたがって、画像のボケが大きくなることから、有効測距範囲内であっても測距精度が低下する。測距点２点の各測距用画像でのデフォーカス量は数式（１）から数式（６）を用いて算出される。デフォーカス量ＤＥＦがゼロである位置１５０１ｂを基準として、デフォーカス量ＤＥＦの絶対値が大きくなるにしたがって評価値ＤＦＲは小さくなる。評価値ＤＦＲは数式（１０）のように表現できる。
ＤＦＲ ＝ ｃ１ ― ｃ２ × ｜ＤＥＦ｜ ・・・（１０）
数式（１０）にて、ｃ１は位置１５０１ｂにおけるＤＦＲの値である。ｃ１＞０とし、これはＤＦＲの最大値となる。また、ｃ２は任意の係数であり、ｃ２＞０とする。ただし、ＤＥＦがどのような値であっても、ＤＦＲ＞０となるようにｃ１、ｃ２の値が設定されるものとする。
以上のように、デフォーカス量の絶対値｜ＤＥＦ｜が大きくなるにしたがって評価値ＤＦＲを小さくすることが可能である。これにより、デフォーカス量に起因する測定誤差を低減することができるので、より高精度な測距値を算出可能である。

図１５（Ｃ）は、輝度平均値の評価値に基づく再現性の信頼度を説明する図である。横軸に示す輝度平均値ＬＵＭに対して、その評価値をＬＭＲと表記して縦軸に示す。測距点２点の各測距用画像での輝度値については、各測距用画像における測距点２点それぞれの座標の近傍の画素の輝度値の平均値が算出される。近傍の範囲については任意に設定可能である。輝度平均値が輝度を表現する範囲の中間値に対して相対的に大きい（または小さい）ことは、その輝度平均値が輝度の中間値と比較して明るい（または暗い）ことを示す。輝度の中間値と比較して輝度平均値が明るすぎる場合、または暗すぎる場合には、各測距用画像の測距点を探索する場合に誤差が発生する可能性があり、またデフォーカス量の算出誤差が発生する可能性がある。これらの誤差の増加によって測距精度が低下する。図１５（Ｃ）に示す例では、横軸に示す輝度平均値ＬＵＭが０から２５５の範囲で表現される。その中間値１２７に対応する位置１５０１ｃを基準として輝度平均値ＬＵＭが大きく（または小さく）なるにしたがって評価値ＬＭＲは小さくなる。評価値ＬＭＲは数式（１１）のように表現できる。
ＬＭＲ ＝ ｄ１ ― ｄ２ × ｜（（ＬＭ／２）−ＬＵＭ）｜ ・・・（１１）
数式（１１）に示すｄ１は、中間値１２７に対応する位置１５０１ｃにおける値であり、ｄ１＞０とし、これはＬＭＲの最大値となる。係数ｄ２の値は任意に設定可能であり、ｄ２＞０とする。ＬＭは表現可能な輝度値の最大値であり、図１５（Ｃ）は２５５の例を示す。
以上のように、輝度平均値ＬＵＭが表現可能な輝度値の中間値から乖離するにしたがって評価値ＬＭＲを小さくすることが可能である。これにより、輝度平均値に起因する測定誤差を低減することができるので、より高精度な測距値を算出可能である。

図１５（Ｄ）は、分散値の評価値に基づく再現性の信頼度について説明する図である。横軸に示す画像の分散値ＣＯＮに対して、その評価値をＣＮＲと表記して縦軸に示す。測距点２点の各測距用画像での分散値については、各測距用画像における２つの測距点それぞれの座標の近傍における画素の分散値から算出することができる。算出時に近傍の範囲を任意に設定可能である。分散値が小さい場合、すなわちコントラストが低い場合には、各測距用画像の測距点を探索する際に誤差が発生し、またデフォーカス量の算出誤差が発生することにより、測距精度が低下する。図１５（Ｄ）に示すように、分散値ＣＯＮが大きくなるにしたがって評価値ＣＮＲは大きくなる。ＣＮＲは数式（１２）により表現できる。
ＣＮＲ ＝ ｅ１×ＣＯＮ ・・・（１２）
数式（１２）において、ｅ１はＣＮＲの値を制御するための比例係数である。分散値ＣＯＮがＣＯＮ≧０であることから、ＣＮＲはゼロ以上の値で表現される。
以上のように、分散値が大きくなるにしたがって評価値を大きくすることが可能である。これにより、分散値に起因する測定誤差を低減することができるので、より高精度な測距値を算出可能である。

再現性の信頼度をＲｒと表記すると、これは、数式（１０）、数式（１１）、数式（１２）にしたがって、数式（１３）のように３つの評価値の積として算出される。
Ｒｒ ＝ ＤＦＲ × ＬＭＲ × ＣＮＲ ・・・（１３）
すなわち、信頼度決定処理において再現性の信頼度Ｒｒについては、デフォーカス量ＤＥＦ、輝度平均値ＬＵＭ、分散値ＣＯＮをそれぞれ評価することによって決定できる。本実施形態では、デフォーカス量の評価値ＤＦＲ、輝度平均値の評価値ＬＭＲ、分散値の評価値ＣＮＲを、数式（１０）、数式（１１）、数式（１２）で算出する方法を説明した。これに限らず、パラメータによる参照テーブルを予め設けることにより各評価値を決定する方法を採用してもよい。さらには、再現性の信頼度Ｒｒについても、数式（１３）で算出する方法に限らず、パラメータによる参照テーブルを用いて決定してもよい。この場合、各評価値ＤＦＲ、ＬＭＲ、ＣＮＲの関係に基づいて信頼度Ｒｒを決定可能である。

Ｓ８０５において、真度の信頼度Ｒｓと再現性の信頼度Ｒｒから測距点２点の各測距用画像における評価値が決定される。この評価値（Ｒと記す）は数式（１４）により算出される。
Ｒ ＝ （ｓ×Ｒｓ）×（ｒ×Ｒｒ） ・・・（１４）
数式（１４）において、ｓとｒはそれぞれ信頼度ＲｓとＲｒに対する重み付けのパラメータである。ｓ≧０、ｒ≧０の任意の値が設定される。
以上により、条件適合画像が存在し、かつ真度の信頼度Ｒｓを評価値として優先しない場合には、真度および再現性の各信頼度から測距点２点での各測距用画像における評価値を決定することができる。

次に真度の信頼度Ｒｓを評価値として優先する場合を説明する。この場合、Ｓ８０２からＳ８０６へ進む。Ｓ８０６において第２の条件について判定処理が行われる。第２の条件は、条件適合画像が複数存在することである。第２の条件を満たさない場合、つまり条件適合画像が複数存在しないと判定された場合、Ｓ８０７へ進む。また第２の条件を満たす場合にはＳ８０８へ進む。Ｓ８０７において、条件適合画像の評価値が最大となるように評価値が決定される。すなわち、複数枚の測距用画像において、測距点である２点が１枚の画像の有効測距範囲内に存在しない測距用画像での測距点（２点）の評価値Ｒをゼロとすることと同義である。条件適合画像でない測距用画像における測距点での評価値Ｒは数式（１４）において、ｓ＝０として設定される。
以上により、１枚の条件適合画像が存在し、かつ真度の信頼度を評価値として優先する場合に、条件適合画像の評価値が最大となるように評価値を決定することができる。

一方、Ｓ８０８では、条件適合画像以外の測距用画像を、取得済みの測距用画像から除外する処理が行われる。これにより、各測距用画像における信頼度の算出に要する計算負担を低減できる。

Ｓ８０９において、測距点２点の各測距用画像での再現性の信頼度を決定する処理が行われる。再現性の信頼度については数式（１０）から（１３）によって求められる、再現性の信頼度Ｒｒと同様に算出することができる。ただし、Ｓ８０１において、条件適合画像が存在しないことが判定された場合には、すべての測距用画像に対して再現性の信頼度Ｒｒが算出される。これに対して、Ｓ８０６にて条件適合画像が複数存在することが判定された場合には、条件適合画像のみに対して再現性の信頼度Ｒｒが算出される。

Ｓ８０９の次にＳ８１０へ進み、再現性の信頼度Ｒｒから各測距点の各測距用画像における評価値Ｒが算出される。評価値Ｒは数式（１５）を用いて算出される。
Ｒ ＝ ｒ × Ｒｒ ・・・（１５）
ｒは信頼度Ｒｒに対する係数パラメータであり、ｒ≧０の任意の値が設定される。
以上により、条件適合画像が存在しない場合（Ｓ８０１からＳ８０９へ進む場合）について各測距点の各測距用画像における評価値を決定することができる。また、条件適合画像が複数存在し、かつ真度の信頼度を評価値として優先する場合についても各測距点の各測距用画像における評価値を決定することができる。

図１６を参照して、図４のＳ３０３で決定された評価値による評価方法について説明する。図１６は、図３で説明した有効測距範囲について具体的な測距点Ａ、測距点Ｂ、測距点Ｃを例示した説明図である。測距点ＡとＢとの間、測距点ＡとＣとの間、測距点ＢとＣとの間について、各評価値を決定する場合を例示する。

表１は、測距点ＡとＢとの位置関係について測距点ＡおよびＢのそれぞれの評価値を決定した具体例を示す。自然数の変数ｎ（＝１，２，・・・）は各測距用画像を区別するために付与した識別番号を表す。ｎの値は図１６に示す有効測距範囲（１）から（４）おける括弧内の数字に対応する。「ピント移動なしＲ」は、ピント移動量がゼロである場合の評価値であり、「ピント移動ありＲ」は、ピント移動量がゼロでない場合の評価値である。測距点Ａは有効測距範囲（４）内にあり、測距点Ｂは有効測距範囲（１）内にあり、測距点Ｃは有効測距範囲（１）および（２）内にあるものとする。

図１６の例では、測距点ＡおよびＢが１枚の画像の有効測距範囲内にある測距用画像は存在しない。そのため、ピント移動なしの評価値Ｒは決定できず、ピント移動ありの評価値Ｒのみを決定する処理が行われる。例えば、測距点Ａにおける最大の評価値Ｒ（＝８０）は、ｎ＝４での有効測距範囲で撮影された測距用画像において決定される。また、測距点Ｂにおける最大の評価値Ｒ（＝８０）は、ｎ＝１での有効測距範囲で撮影された測距用画像において決定される。つまり、測距点ＡとＢとの間の長さを算出するために用いる測距用画像に関し、測距点Ａについてはｎ＝４の測距用画像から評価値が算出され、測距点Ｂについてはｎ＝１の測距用画像から評価値が算出される。
測距点ＡとＣとの位置関係について測距点ＡおよびＣの各評価値を決定した具体例を表２に示す。

図１６の例では、測距点ＡおよびＣが１枚の画像の有効測距範囲内にある測距用画像は存在しない。そのため、ピント移動なしの評価値Ｒは決定されず、ピント移動ありの評価値Ｒのみを決定する処理が行われる。測距点Ａにおける最大の評価値Ｒ（＝８０）は、ｎ＝４での有効測距範囲で撮影された測距用画像にて決定される。測距点Ｃはｎ＝１に対応する有効測距範囲（１）、およびｎ＝２に対応する有効測距範囲（２）に含まれるが、評価値を比較することで、Ｒ＝８０であるｎ＝２の測距用画像に決定することができる。つまり、測距点ＡとＣとの間の長さを算出するために用いる測距用画像に関し、測距点Ａについてはｎ＝４の測距用画像から評価値が算出され、測距点Ｃについてはｎ＝２の測距用画像から評価値が算出される。
測距点ＢとＣとの位置関係について測距点ＢおよびＣの各評価値を決定した具体例を表３に示す。

図１６の例では、測距点ＢおよびＣが１枚の画像の有効測距範囲内にある測距用画像が存在する。ピント移動なしの評価値Ｒとピント移動ありの評価値Ｒの両方を決定することができる。測距点Ｂについては、ピント移動ありＲについてもピント移動なしＲについてもｎ＝１での評価値Ｒが最大である。よって、測距点Ｂに使用する測距用画像としては、ｎ＝１の測距用画像に決定することができる。また測距点Ｃについては、ピント移動なしＲの場合にはｎ＝１で評価値が最大となり、ピント移動ありＲの場合にはｎ＝２で評価値が最大となる。このような場合、ピント移動ありＲの場合の評価値の積と、ピント移動なしＲの場合の評価値の積とを比較する処理が行われる。具体的には、ピント移動ありＲの場合の評価値積をＰＡと表記すると、数式（１６）のように算出される。
ＰＡ ＝ ８０ × ８０ ＝ ６４００ ・・・（１６）
一方、ピント移動なしＲの場合の評価値積をＰＢと表記すると、数式（１７）のように算出される。
ＰＢ ＝ ９０ × ８０ ＝ ７２００ ・・・（１７）
したがって、ＰＢ＞ＰＡとなることから、ピント移動なしＲの評価値に基づいて、測距点Ｂと測距点Ｃに用いる測距用画像としては、ｎ＝１の測距用画像を使用することを決定できる。

次に、評価値に基づいて決定された測距用画像から、各測距点の三次元座標と２点間の長さを算出する処理について説明する。撮影情報取得部１０４により取得された撮影情報と、測距点選択部１０５によって選択された測距点と、測距用画像から求めたデフォーカス量ＤＥＦに基づいて、３次元空間での測距点の座標が算出される。この座標を（ｘ，ｙ，ｚ）と表記し、数式（１８）〜（２２）により算出できる。ただし、３次元座標系としては、射出瞳中心を光軸中心とし、デフォーカス量ＤＥＦがゼロである軸をｚ軸とする。
（ｈ,ｖ） ＝ （ｈｂ,ｈｖ） × ＰＹ ・・・（１８）
（Ｈ,Ｖ） ＝ （ｈ,ｖ）× (１−ＤＥＦ／Ｌ) ・・・（１９）
（ｘ,ｙ） ＝ （Ｈ,Ｖ)× |ｄｉｓｔ／（ｄｉｓｔ＿ｄ ＋ ＤＥＦ）|・・・（２０）
ｄｉｓｔ ＝ １／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ) −１／ｆ） ・・・（２１）
ｚ ＝ ｌｅｎｇｔｈ − ｄｉｓｔ ・・・（２２）
各記号の意味は以下のとおりである。
（ｈ,ｖ）：測距点の撮像センサ面上の座標
（ｈｂ,ｈｖ）：測距点の画像上の座標
ＰＹ：画素ピッチ
Ｌ：瞳距離
（Ｈ,Ｖ）：撮像センサ面上の座標（ｈ,ｖ）からデフォーカスされたｘｙ平面における座標
ｄｉｓｔ：撮像装置のレンズにおける物主点から被写体までの距離
ｄｉｓｔ＿ｄ：撮像装置のレンズにおける像主点から撮像センサ面までの距離
ｆ：撮像光学系の焦点距離
ｌｅｎｇｔｈ：撮像装置の撮像センサ面から被写体までの距離（被写体距離）

距離算出部１０９は、数式（１８）から（２２）を用いて、測距点（２点）の３次元座標（ｘ，ｙ，ｚ）を算出する。ただし、測距点の座標を算出するための測距用画像が２点でそれぞれ異なる場合には、一方の測距用画像におけるｚ軸に対し、３次元座標（ｘ，ｙ，ｚ）を平行移動する必要がある。平行移動後のｚ座標をｚｎと表記し、平行移動前のｚ座標をｚｂと表記する、数式（２３）からｚｎが算出される。
ｚｎ＝ ｚｂ − （ｌｅｎｇｔｈＡ − ｌｅｎｇｔｈＢ）・・・（２３）

数式（２３）において、ｌｅｎｇｔｈＡは平行移動させない方の測距用画像における被写体距離であり、ｌｅｎｇｔｈＢは平行移動させる方の測距用画像における被写体距離である。被写体距離は、例えばレーザ測距部により、ピント位置までの距離情報を測定することが可能である。例えば、被写体距離を、複数枚の撮影画像のすべてについて画像ごとに取得する方法がある。また、距離情報（被写体距離）を任意の枚数の画像で取得する方法や、撮影時の焦点距離と、横倍率の比によって被写体距離を算出する方法がある。複数枚の画像すべてに対して被写体距離を測定する場合に比べて手間を省くことができる。具体的には、横倍率の比をＤ１：Ｄ２とし、焦点距離ｆの位置から被写体までの距離をＤと表記する。距離Ｄを数式（２４）によって算出できる。
Ｄ ＝ （ Ｄ１ ／ Ｄ２ ） × ｆ ・・・（２４）

焦点距離ｆは、撮影時のレンズステート情報を撮像装置が読み出すことで取得可能である。被写体距離ｌｅｎｇｔｈＡは、距離Ｄと焦点距離ｆとの和となるので、数式（２５）によって算出できる。
ｌｅｎｇｔｈＡ ＝ Ｄ ＋ ｆ ・・・（２５）
測距点Ａの３次元座標を（ｘａ，ｙａ，ｚａ）とし、測距点Ｂの３次元座標を（ｘｂ，ｙｂ，ｚｂ）とし、測距点Ａから測距点Ｂまでの線分の長さをＬＥＮと表記する。ＬＥＮは数式（２６）によって算出される。
ＬＥＮ
＝√（（ｘａ−ｘｂ）^２＋（ｙａ−ｙｂ）^２＋（ｚａ−ｚｂ）^２）・・・（２６）
「^」はべき乗を表す。

以上により、評価値に基づいて決定された測距用画像から各測距点の三次元座標と２点間の長さを算出することができ、表示部１１０は計測結果である２点間の長さを表示する。

図１７は、計測結果をユーザへ提示する場合の画面例を示す模式図である。図１７（Ａ）に示す表示画面１００１には、被写体の奥行き方向において最も手前側に位置する２点間の測定距離が表示され、図１７（Ｂ）に示す表示画面１００２には、被写体の奥行き方向において側面部の２点間の測定距離が表示されている。これらの例では、指定された２点の位置、および２点間の長さが画面上に表示される。ユーザは、算出された測距点間の距離を容易に把握することができる。
本実施形態では、測距用画像ごとの各測距点での評価値に基づいて、３次元空間での２点間の長さの算出に使用する画像を自動的に選択し、より高精度な測距値を算出して提示することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。瞳分割撮像方法を用いた奥行き方向の長さの計測においては、デフォーカス量や、撮像画像の輝度、コントラスト、ＳＮＲ（信号対ノイズ比）、撮像装置から被写体までの距離によって、測距精度が影響を受ける。さらに、Ｆ値を小絞りにして基線長を短くすることにより被写界深度が深くなるので、ピント位置からの距離におけるデフォーカス量を小さくできる。このため、測距可能範囲を長くすることができる反面で、測距分解能が低くなってしまい、測距精度が低下する。このような理由から、被写体に対して指定した２点間の３次元空間での長さを、より高精度に計測するためには、同一の被写体に対して同じ画角でピント位置を変えて複数枚の画像を撮影するフォーカスブラケット撮影を行う必要がある。

フォーカスブラケット撮影（以下、単にブラケット撮影ともいう）を行う場合、ブラケット数（撮影数）はフォーカス位置のとりうる範囲でいくらでも設定可能であるが、そのような方法は時間的な制約上、現実的ではない。そこで、あるピント位置での１回の撮影で取得可能な奥行き方向の距離範囲（以降、有効測距範囲という）に基づいて、追加の撮影方法を決定する必要がある。本実施形態では、有効測距範囲に基づいて、ブラケット撮影の撮影方法を決定する処理を説明する。なお、第１実施形態との相違点を主に説明し、第１実施形態と同様の事項については既に使用した符号を用いることによって、それらの詳細な説明を省略する。

図１８は、本実施形態の画像計測装置１００の構成例を示すブロック図である。図１との相違点は以下のとおりである。
・画像入力部１０２に代えて、撮像部１１０２が設けられていること。
・パラメータ設定部１１０４、有効測距範囲算出部１１０７、追加撮影方法決定部１１０８、撮影制御部１１０９が設けられていること。
それ以外の構成要素（図１の符号１０８から１１０参照）については第１実施形態と同じであるため、図示を省略する。

撮像部１１０２は瞳分割型撮像素子を備え、被写体を撮像して、制御部１０１からの制御指令にしたがって撮像画像データをメモリ１０３へ出力する。パラメータ設定部１１０４は、ユーザによって画像計測装置１００へ入力された各パラメータ情報の設定処理を行い、制御部１０１からの制御指令にしたがって、設定データをメモリ１０３へ出力する。

撮影された画像に関連付けられた撮影時の撮影情報は、撮影情報取得部１０４が取得し、制御部１０１からの制御指令にしたがってメモリ１０３へ出力する。デフォーカス量算出部１０７はメモリ１０３に記憶された画像情報および撮影情報を読み出し、画像の座標ごとに対応するデフォーカス量を算出する。算出されたデフォーカス量は制御部１０１からの制御指令にしたがってメモリ１０３に保存される。

有効測距範囲算出部１１０７は、メモリ１０３に保存された画像情報とパラメータ情報、撮影情報、デフォーカス量のデータを読み出し、画像の有効測距範囲を算出する。有効測距範囲算出部１１０７は、有効測距範囲決定処理を行って有効測距範囲のデータをメモリ１０３に保存する。追加撮影方法決定部１１０８は、メモリ１０３に保存されたデフォーカス量と有効測距範囲のデータを読み出し、追加撮影方法を決定する。決定された追加撮影方法のデータは、制御部１０１からの制御指令にしたがってメモリ１０３に保存される。撮影制御部１１０９は、メモリ１０３に保存された追加撮影方法のデータを読み出し、制御部１０１を介して撮像部１１０２の制御を行う。

図１９のフローチャートを参照して、画像計測装置１００の動作について詳細に説明する。まず、Ｓ１９０１において、パラメータ設定部１１０４は、画像計測装置１００のパラメータの設定処理を行う。設定されるパラメータは、少なくとも下記の情報を含む。
（Ａ）仮測距時の撮影条件（Ｆ値、ＩＳＯ感度、シャッタ速度等）。
（Ｂ）必要な測距精度。
（Ｃ）ブラケット撮影枚数の上限値。
設定されたパラメータに基づいて、仮測距時の撮影条件を決定し、その結果と必要な測距精度、ブラケット撮影枚数の上限値に基づいて追加撮影方法を決定することが可能となる。

Ｓ１９０２にて仮測距処理が実行される。仮測距の方法については、図２０を用いて後述する。Ｓ１９０３では、Ｓ１９０２で算出された仮測距の結果に基づいて、ブラケット撮影方法が決定される。ブラケット撮影方法については図２１を用いて後述する。Ｓ１９０４において、Ｓ１９０３で決定された方法でブラケット撮影が行われる。そして一連の処理を終了する。以下では、各処理について具体的に説明する。

図２０は、図１９のＳ１９０２における仮測距の方法を説明するフローチャートである。Ｓ２００１で撮像部１１０２は、図１９のＳ１９０１で設定されたパラメータに基づいて、被写体を撮像する。Ｓ２００２で撮影情報取得部１０４は、Ｓ２００１で行った撮影時の撮影情報を取得する。撮像情報は、例えば、第１実施形態で示した（ａ）〜（ｈ）の情報である。撮像装置の焦点位置情報として撮像光学系の焦点距離および横倍率比が取得される。

Ｓ２００３にてデフォーカス量算出部１０７は、Ｓ２００２で取得した撮影情報に基づいて、Ｓ２００１で撮像された画像に係るデフォーカス量を算出する。デフォーカス量の算出処理の詳細については、第１実施形態にて説明したとおりである。着目画素位置を１画素ずつずらしながら繰り返し計算することで、仮測距用として撮像された画像のデフォーカス量が算出される。

Ｓ２００４にて制御部１０１は、Ｓ２００３で算出されたデフォーカス量から実距離情報を算出する。画像内の各点における実距離をｚと表記すると、これは数式（２７）および（２８）から算出できる。
ｄｉｓｔ = １／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ) − 1／ｆ） ・・・（２７）
ｚ ＝ ｌｅｎｇｔｈ − ｄｉｓｔ ・・・（２８）
各記号の意味は以下に示すとおりである。
・ｄｉｓｔ：撮像部１１０２のレンズにおける物主点から被写体までの距離
・ｄｉｓｔ＿ｄ：撮像部１１０２のレンズにおける像主点から撮像センサ面までの距離
・ｆ：撮像光学系の焦点距離
・ｌｅｎｇｔｈ：画像計測装置１００の撮像センサ面から被写体までの距離。

距離ｌｅｎｇｔｈについては、例えばレーザ測距部により、ピント位置までの距離を測定する方法や、撮影時の焦点距離ｆと横倍率の比によって算出する方法がある。横倍率の比Ｄ１：Ｄ２と焦点距離ｆから、焦点距離ｆの位置から被写体までの距離Ｄを前記の数式（２４）によって求めることができる。焦点距離ｆは、撮影時の焦点位置情報から取得可能である。距離ｌｅｎｇｔｈは、距離Ｄと焦点距離ｆとの和となるので、数式（２９）によって求めることができる。
ｌｅｎｇｔｈ ＝ Ｄ ＋ ｆ ・・・（２９）
Ｓ２００４の後、リターン処理へ移行する。

次に、本実施形態のフォーカスブラケット撮影について説明する。図２１はブラケット撮影方法を説明するためのフローチャートである。Ｓ２１０１にて有効測距範囲算出部１１０７は、取得したい距離の範囲を決定する。図２２を用いて、ブラケット範囲を決定する方法について説明する。

図２２は、図１９のＳ１９０２で取得された仮測距の結果を、画像における距離の分布としてヒストグラム化した図である。横軸は距離を表わし、縦軸は距離の分布量を表わす。距離分布２２０１は、背景と判断された画像部の距離分布量を示している。距離分布２２０１よりも手前（撮像部１１０２側）に位置する距離分布の範囲が、ブラケット範囲（フォーカスブラケット撮影範囲）として決定される。また、この方法以外に、顔領域等を認識する被写体認識部を備える装置では、さらに被写体認識結果を組み合わせてブラケット範囲を決定できる。例えば、被写体認識部により認識された被写体距離のヒストグラムに基づいて、認識された被写体の距離範囲がブラケット範囲として決定される。あるいは、所定の閾値以上の距離分布量を有する範囲をブラケット範囲として決定することもできる。ブラケット範囲については１つとは限らず、複数の範囲であってもよい。

図２１のＳ２１０２において、仮測距時に取得した画像データに係る信頼度が算出される。信頼度は、画像の輝度値、コントラスト、ノイズ推定量、ピント位置までの距離を評価することによって算出することができる。画像の輝度値については、仮測距時に撮影された画像のそれぞれの座標での近傍の画素の輝度値から平均値を算出することで輝度平均値が算出される。輝度平均値の評価値ＬＭＲに基づく再現性の信頼度については、図１５（Ｃ）を用いて説明済みである。また、コントラストにかかわる分散値については、仮測距時に撮影した画像のそれぞれの座標での近傍の画素の分散値が算出される。分散値の評価値ＣＮＲに基づく再現性の信頼度については、図１５（Ｄ）を用いて説明済みである。

図２３（Ａ）は、画像のノイズ推定量に関する評価値を説明する図である。横軸はノイズ推定量を表わし、縦軸はノイズ推定量の評価値（ＮＩＳと記す）を表わす。ノイズ推定量は撮影時のＩＳＯ値に基づいて算出される。ＩＳＯ値が大きくなるにつれてノイズ推定量が大きくなる。ノイズ推定量が大きい場合、コントラストが高くなってしまうため、分散値の評価値に影響を与えてしまう。また、ノイズの影響により、デフォーカス量の算出時においてＡ像とＢ像の対称性に影響を与える場合、測距精度が低下する可能性がある。

図２３（Ａ）に示すように、評価値ＮＩＳはノイズ推定量が大きくなるにつれて小さくなるように決定される。ノイズ推定量をｎｚと表記すると、評価値ＮＩＳは下記式により算出される。
ＮＩＳ ＝ ｇ１ − ｇ２ × ｎｚ ・・・（３０）
定数ｇ１、ｇ２はいずれも正値であり、任意に設定可能である。ノイズ推定量ｎｚを評価しない場合は、
ＮＩＳ ＝ ｇ３ ・・・（３１）
とする。ｇ３＞０であり、ｇ３の値は任意に設定可能である。
以上のように、ノイズ推定量ｎｚが大きくなるにつれて、ノイズ推定量の評価値ＮＩＳが小さくなる。これにより、ノイズに起因する測定誤差を低減できるので、より高精度な測距値を算出することが可能である。

図２３（Ｂ）はピント位置までの距離に関する評価値を説明する図である。横軸はピント位置までの距離ｐｎを表わし、縦軸は評価値ＤＩＳを表わす。距離ｐｎについては、当該距離が大きくなるにつれて測距精度が低下する。測距精度は距離ｐｎの二乗に反比例して低下する。図２３（Ｂ）に示すように、評価値ＤＩＳは距離ｐｎが大きくなるにつれて小さくなるように決定される。評価値ＤＩＳは、距離ｐｎにより、下記式から算出される。
ＤＩＳ ＝ ｈ１ − ｈ２ × ｐｎ ・・・（３２）
定数ｈ１、ｈ２はいずれも正値であり、任意に設定可能である。距離ｐｎを評価しない場合には、
ＤＩＳ ＝ ｈ３ ・・・（３３）
とする。ｈ３＞０であり、ｈ３の値は任意に設定可能である。
以上のように、距離ｐｎが大きくなるにつれて評価値ＤＩＳが小さくなる。これにより、ピント位置までの距離に起因する測定誤差を低減できるため、より高精度な測距値を算出することが可能である。

信頼度決定処理において信頼度Ｒｐは、第１実施形態と同様に、各評価値の積から算出される。
Ｒｐ ＝ ＬＭＲ × ＣＮＲ × ＮＩＳ × ＤＩＳ・・・（３４）
ＬＭＲ、ＣＮＲ、ＮＩＳ、ＤＩＳの各評価値の値域が０〜１となるようにパラメータを設定することで、信頼度Ｒｐが正規化されて、０〜１の範囲で表現される。各評価値、信頼度については、数式による算出方法の他に、パラメータテーブルを用いた算出方法がある。

画素ごとに算出された信頼度は、最終的に距離別の信頼度に変換される。距離別の信頼度は、画素ごとに算出された距離情報が同じか、または距離情報の近い値を持つ画素群の信頼度を加算平均して算出される。これにより、特定の距離情報を持つ画素の信頼度を算出することができる。

図２１のＳ２１０３にて、有効測距範囲算出部１１０７は有効測距範囲を算出する。図２４を参照して具体例を説明する。本実施形態では、特定のピント位置にて１回の撮影で取得可能な奥行き方向の距離範囲が、有効測距範囲として算出される。

図２４（Ａ）は、横軸にピント位置からの距離をとり、縦軸に測距精度をとって、両者の関係を例示する模式図である。有効測距範囲算出部１１０７は、必要な測距精度に基づいて有効測距範囲決定処理を行う。関数曲線８０１は数式（３５）のように決定される。
ｙ = Ａ × ｘ^2 ＋ Ｃ ・・・（３５）
ｙは測距精度値を示し、Ａは一対の測距瞳領域を通過する光束の重心の開き角の大きさに応じた変換係数から決定される係数を示す。ｘはピント位置からの距離を示し、ＣはＳ２１０２で算出した信頼度から算出される切片を示す。係数Ａの値は撮像光学系のＦ値が小さくなるにつれて値が大きくなるように設定される。切片Ｃについては、信頼度が最も高い場合の切片（Ｃ１と記す）と、信頼度が最も低い場合の切片（Ｃ２と記す）と、信頼度（Ｒと記す）の関係から、数式（３６）のように算出される。
Ｃ = Ｃ２ − （Ｃ２ − Ｃ１） × Ｒ ・・・（３６）

このように定義された関数曲線８０１に対して、ユーザが指定した必要な測距精度に基づいて有効測距範囲を算出可能である。つまり、有効測距範囲は、測距精度（ｙ値）が指定された測距精度値以下である場合の距離範囲である。

図２４（Ｂ）は、図２４（Ａ）で例示した関数曲線８０１に対して、別の関数曲線８０２を示す。関数曲線８０２は、Ｆ値が大きく、信頼度が低い場合の関数曲線の例である。図２４（Ａ）における必要な測距精度は、図２４（Ｂ）でも同じ測距精度であるとする。この場合、関数曲線８０２における有効測距範囲は、図２４（Ａ）に示した有効測距範囲よりも狭くなることがわかる。このように、Ｆ値と信頼度に基づいて、必要な測距精度を満たす有効測距範囲を算出することができる。

図２１のＳ２１０４において、ブラケット範囲を、Ｓ２１０３で算出された有効測距範囲で分割する処理が実行される。図２５を参照して具体的に説明する。図２５（Ａ）において横軸は距離を表わし、縦軸は信頼度Ｒを示す。ブラケット範囲について、信頼度Ｒを最大値とした時の有効測距範囲で均等に分割した例である。

図２５（Ａ）に示す有効測距範囲９０１ａは、ピント位置９０２ａで撮影が行われた場合の有効測距範囲を示している。均等な分割を行った場合、信頼度Ｒを評価することによって低測距精度となってしまう領域が発生し得る。低測距精度の領域を、実線の矩形枠で示す。低測距精度の領域が発生する場合について、図２５（Ｂ）を用いて説明する。

図２５（Ｂ）は、横軸に示すピント位置からの距離と、縦軸に示す測距精度との関係を例示する。関数曲線９０１ｂは、信頼度Ｒを最高値とした場合の関数曲線である。関数曲線９０２ｂは、信頼度を考慮した場合の関数曲線であり、関数曲線９０１ｂよりも上側に位置している。関数曲線９０１ｂから算出される第１の有効測距範囲と、関数曲線９０２ｂから算出される第２の有効測距範囲とを比較すると、第１の有効測距範囲は、第２の有効測距範囲と、低測距精度となる領域とを含んでいることがわかる。つまり、第２の有効測距範囲の方が狭い。信頼度を評価することにより、ピント位置が同じでも有効測距範囲が狭くなっている。

図２５（Ａ）で示される例において、均等な分割のままでは十分な測距精度が得られない場合、さらに分割処理が実行される。例えば、測距精度が十分に得られない、信頼度Ｒを最高値とした時の有効測距範囲を、範囲９０３ａ，９０４ａ，９０５ａに示す。これらの範囲についてはさらに分割される。

図２６（Ａ）は、図２５（Ａ）にて低測距精度となる領域を含む有効測距範囲を、等分に２分割した結果を示す。この例では、分割された領域について信頼度Ｒをさらに評価すると、低測距精度となる領域が存在する。よって領域をさらに等分に２分割し、低測距精度となる領域が存在しなくなるまで分割処理が繰り返される。最終的には、図２６（Ｂ）に示すようなブラケット範囲の分割結果となり、低測距精度の領域は無くなる。

図２６（Ｃ）は、図２６（Ｂ）に示すようにブラケット範囲を有効測距範囲で分割したときのピント位置９０１ｅ〜９１１ｅと、距離ごとの信頼度を示す。分割後の各ピント位置で撮影を行うことにより、必要な測距精度を得ることができる。以上の処理は追加撮影方法決定部１１０８によって行われる。ブラケット範囲を有効測距範囲で分割して、測距精度を向上させることが可能であるが、低測距精度となる領域が存在しなくなるまで分割を繰り返す方法以外に、分割数を制限する方法がある。この場合、パラメータ設定部１１０４により設定されたブラケット数に基づいて分割数が制限される。ブラケット範囲のすべてについて必要な測距精度で取得することはできなくなるが、制限されたブラケット数以内で効率的なブラケット撮影方法の設定が可能である。

さらには、ブラケット範囲が非常に広くなってしまうときにブラケット数を優先したい場合がある。制限されたブラケット数でブラケット範囲をなるべく広く取得できるように数式（３５），（３６）を設定することにより、被写界深度を深くしてブラケット撮影が行われる。一方で、ブラケット範囲が非常に狭いときに測距精度を優先したい場合には、被写界深度を浅くしてブラケット撮影が行われる。

本実施形態では、ブラケット範囲の均等分割では必要な測距精度を満たすことができず、低測距精度の領域が発生するという課題に対して、さらに分割処理が行われる。この場合、信頼度を評価せずに、徒に細かくピント位置を刻んで間隔を過剰に小さくすると、有効測距範囲同士の重複が発生して非効率である。またブラケット撮影の枚数が膨大になってしまう。そこで撮影制御部１１０９は、信頼度の評価結果に基づいて、図２６（Ｃ）に示したピント位置でブラケット撮影を行うように制御する。必要な測距精度を満たし、かつ効率的なブラケット撮影が可能である。本実施形態によれば、信頼度を評価した有効測距範囲に基づいてブラケット撮影の撮影方法を決定することにより、任意の測距精度の条件を満たす距離情報を効率的に取得できる。

前記実施形態では、複数の画像データに対応する距離情報として、異なる視点の画像データ対の像ずれ量またはデフォーカス量から各測距点に対応する距離情報を算出し、該距離情報を用いて、指定された測距点間の長さを算出する例を説明した。これに限らず、画像の領域ごとに各ピント位置での画像データ対、つまり視差画像データ対の像ずれ量に基づいて、どの視差画像データ対を使って得られる距離情報を使用するのかを予め決めておく実施形態に適用できる。この場合、画像の各領域について距離情報の算出が１回で済むので、処理の簡単化および高速化に好適である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像計測装置
１０１ 制御部
１０２ 画像入力部
１０４ 撮影情報取得部
１０５ 測距点選択部
１０６ 対応点探索部
１０７ デフォーカス量算出部
１０８ 評価値決定部
１０９ 測距点間距離算出部

Claims (22)

1. 複数のピント位置で、かつ異なる視点でそれぞれ撮像された複数の画像データを取得する第１の取得手段と、
   各ピント位置での異なる視点の画像データ対を用いて被写体の距離情報を取得する第２の取得手段と、
   前記画像データにおける複数の測距点を指定する指定手段と、
   前記画像データ対の像ずれ量またはデフォーカス量から各測距点に対応する距離情報を算出し、該距離情報を用いて、画像の奥行き方向を含む３次元空間における指定された前記測距点間の長さを算出する算出手段と、を備える
   ことを特徴とする画像計測装置。
2. 前記指定手段は、操作手段により前記測距点を指定し、または前記画像の特徴点を検出して前記測距点を指定する
   ことを特徴とする請求項１に記載の画像計測装置。
3. 前記複数の画像データにおける前記測距点に対応する信頼度を決定する信頼度決定手段を備え、
   前記算出手段は、前記信頼度決定手段により決定された信頼度を用いて選択された画像データにおける前記測距点の距離情報から前記測距点間の長さを算出する
   ことを特徴とする請求項１または請求項２に記載の画像計測装置。
4. 前記信頼度決定手段は、前記複数の画像データにおける前記測距点について算出される画像間のピントの移動量、像ずれ量もしくはデフォーカス量、輝度値、または画素の分散値のうちの１つ以上により前記信頼度を決定する
   ことを特徴とする請求項３に記載の画像計測装置。
5. 前記第２の取得手段は、レーザ測距によって被写体の距離情報を取得する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像計測装置。
6. 前記第２の取得手段は、撮像光学系の焦点距離と横倍率の比を用いて算出される被写体の距離情報を取得する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像計測装置。
7. 前記複数の画像データのうちの１つ以上の画像データを用いて有効測距範囲を決定する範囲決定手段と、
   前記距離情報および前記有効測距範囲から、撮像手段により追加で撮影する際の撮影方法を決定する撮影方法決定手段と、
   決定された前記撮影方法にしたがって前記撮像手段による撮像を制御する制御手段と、をさらに備える
   ことを特徴とする請求項３または請求項４に記載の画像計測装置。
8. 前記範囲決定手段は、前記信頼度と測距精度により前記有効測距範囲を決定する
   ことを特徴とする請求項７に記載の画像計測装置。
9. 前記範囲決定手段は、前記信頼度決定手段が画像の輝度値、コントラスト、ノイズ推定量、または前記撮像手段からピント位置までの距離のうちの１つ以上により決定した信頼度を用いて、前記有効測距範囲を決定する
   ことを特徴とする請求項８に記載の画像計測装置。
10. 前記撮影方法決定手段は、前記距離情報の分布を表すヒストグラムを用いて前記撮影方法を決定する
    ことを特徴とする請求項７から９のいずれか１項に記載の画像計測装置。
11. 前記撮影方法決定手段は、前記ヒストグラムにて背景に対応する距離分布よりも前記撮像手段の側に位置する距離分布の範囲を撮影範囲に決定する
    ことを特徴とする請求項１０に記載の画像計測装置。
12. 前記画像データにおける被写体を認識する認識手段をさらに備え、
    前記撮影方法決定手段は、前記ヒストグラムにて前記認識手段により認識された被写体の距離分布の範囲を撮影範囲に決定する
    ことを特徴とする請求項１０に記載の画像計測装置。
13. 前記撮影方法決定手段は、前記ヒストグラムにて距離分布量が閾値以上である範囲を撮影範囲に決定する
    ことを特徴とする請求項１０に記載の画像計測装置。
14. 前記撮影方法決定手段は、撮影範囲を前記有効測距範囲により分割して複数の撮影を行う撮影方法を決定する
    ことを特徴とする請求項７から１３のいずれか１項に記載の画像計測装置。
15. 前記撮影方法決定手段は、被写界深度を変更して撮影方法を決定する
    ことを特徴とする請求項１４に記載の画像計測装置。
16. 前記撮影方法決定手段は、撮影数を優先する場合に測距精度を優先する場合に比べて被写界深度を深くする撮影方法に決定する
    ことを特徴とする請求項１５に記載の画像計測装置。
17. 前記算出手段によって算出された前記測距点間の長さを表示する表示手段を備える
    ことを特徴とする請求項１から１６のいずれか１項に記載の画像計測装置。
18. 請求項１から１７のいずれか１項に記載の画像計測装置と、
    撮像手段と、を備える撮像装置。
19. 前記撮像手段は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、
    前記第１の取得手段は、撮像光学系の異なる瞳部分領域をそれぞれ通過する光束を前記複数の光電変換部が受光して光電変換した信号により、前記複数の画像データを取得する
    ことを特徴とする請求項１８に記載の撮像装置。
20. 前記算出手段は算出した前記測距点間の長さのデータを表示部に出力する
    ことを特徴とする請求項１８または請求項１９に記載の撮像装置。
21. 画像データを取得して計測処理を行う画像計測装置にて実行される画像計測方法であって、
    複数のピント位置で、かつ異なる視点でそれぞれ撮像された、複数の画像データを取得するとともに、各ピント位置での異なる視点の画像データ対を用いて被写体の距離情報を取得する工程と、
    前記画像データにおける複数の測距点を指定する工程と、
    前記画像データ対の像ずれ量またはデフォーカス量から各測距点に対応する距離情報を算出し、該距離情報を用いて、画像の奥行き方向を含む３次元空間における指定された前記測距点間の長さを算出する工程と、を有する
    ことを特徴とする画像計測方法。
22. 請求項２１に記載の各工程を画像計測装置のコンピュータに実行させるためのプログラム。
    
    
    

Images