JP2023069386A - 画像計測装置、方法およびプログラム - Google Patents

Abstract

【課題】 注目領域が複数ある場合や注目領域のサイズが大きい場合でも被写体までの高精度な距離情報を取得可能な画像計測装置を提供する。【解決手段】 撮影された画像を取得する画像取得手段と、前記画像を撮影した際のパラメータを取得するパラメータ取得手段と、前記画像に対応するパラメータを用いて前記画像における注目領域を決定する注目領域決定手段と、前記注目領域の数および大きさに応じて前記注目領域から１つ以上の評価値を算出する評価値算出手段と、前記評価値から代表評価値を算出する代表評価値算出手段と、前記代表評価値に基づいて、前記画像内の被写体までの距離情報を算出する距離情報算出手段を有することを特徴とする画像計測装置。【選択図】 図１

Description

本発明は画像計測装置に関し、特に被写体までの距離情報を取得する方法に関するものである。

撮像装置から被写体までの距離情報は、撮像装置のレンズの位置情報から求めたピント距離情報と被写体のデフォーカス量から算出することができる。特許文献１では撮影時のＡＦフレーム領域（焦点調節の対象、目標となる被写体領域）内とその周辺領域のそれぞれのデフォーカス量に基づいて撮像光学系の焦点調整を行う技術が開示されている。

特開２０２１―０３２９８４号公報

特許文献１に開示された技術では、ＡＦフレーム領域が複数ある場合やＡＦフレーム領域のサイズが大きい場合は適切な視差値またはデフォーカス値を決定できないため、被写体までの高精度な距離情報を取得できない課題があった。

本発明は、上記課題を鑑みて成されたものであり、ＡＦフレーム領域や画像認識結果などによって検出した領域を注目領域とし、注目領域が複数ある場合や注目領域のサイズが大きい場合でも被写体までの高精度な距離情報を取得することを目的とする。

上記目的を達成するために本発明に係る画像計測装置は、撮影された画像を取得する画像取得手段と、前記画像を撮影した際のパラメータを取得するパラメータ取得手段と、前記画像に対応するパラメータを用いて前記画像における注目領域を決定する注目領域決定手段と、前記注目領域の数および大きさに応じて前記注目領域から１つ以上の評価値を算出する評価値算出手段と、前記評価値から代表評価値を算出する代表評価値算出手段と、前記代表評価値に基づいて、前記画像内の被写体までの距離情報を算出する距離情報算出手段を有することを特徴とする。

本発明によれば、注目領域が複数ある場合や注目領域のサイズが大きい場合でも被写体までの高精度な距離情報を取得することが可能である。

第一の実施形態である全体の構成を示すブロック図 第一の実施形態である全体の動作を示す動作フロー図 第一の実施形態に係る代表評価値算出方法の動作を示す動作フロー図 第一の実施形態に係る評価値取得方法の動作を示す動作フロー図 第一の実施形態に係る距離情報の算出方法を説明する動作フロー図 第一の実施形態に係る微小ブロックの分割について説明する図 第一の実施形態に係る視差値と相関値の関係を説明する図 第一の実施形態に係る注目領域が複数ある場合を説明する図 第一の実施形態に係る注目領域のサイズが大きい場合を説明する図 第二の実施形態である全体の構成を示すブロック図 第二の実施形態である全体の動作を示す動作フロー図 第二の実施形態に係る代表領域算出方法の動作を示す動作フロー図 第二の実施形態に係る代表領域の重畳表示について説明する図 第三の実施形態である全体の構成を示すブロック図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、そのすべてが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第一の実施形態］
（画像計測装置の説明）
以下、本発明の好適な第一の実施形態について、図面を参照して詳細に説明する。

図１に、本発明の実施形態である画像計測装置と撮像装置を示す。

図１（ａ）に、本発明の実施形態である画像計測装置と撮像装置、制御部を示す。

画像計測装置１００と撮像装置１１０にはそれぞれの装置内の情報のやり取りを制御する制御部１０１、２００によって構成される。また、画像計測装置１００と撮像装置１１０にはそれぞれ通信インターフェース（Ｉ／Ｆ）３０１、３０２が構成されており、制御部１０１、２００の制御により画像計測装置１００と撮像装置１１０間の情報のやり取りが行われる。

撮像装置１１０は撮像部１１１と制御部２００、メモリ２０１、通信インターフェース３０２の各モジュールによって構成される。撮像部１１１は画像計測する対象を撮像し、制御部２００の制御により通信インターフェース３０１、３０２を介して画像計測装置１００の画像取得部１０４へ画像を供給する。また、撮影時のパラメータ情報についても制御部２００の指示によって通信インターフェース３０１、３０２を介して画像計測装置１００のパラメータ取得部１０３へ供給する。

メモリ２０１は制御部２００によって制御され、各モジュールでの処理に必要な情報の読み出しと各モジュールでの処理結果の保存を行う。

画像計測装置１００は制御部１０１とメモリ１０２、パラメータ取得部１０３、画像取得部１０４、注目領域取得部１０５、評価値・信頼度情報算出部１０６、代表評価値算出部１０７、被写体までの距離情報算出部１０８、通信インターフェース３０１から構成される。

メモリ１０２は制御部１０１によって制御され、各モジュールでの処理に必要な情報の読み出しと各モジュールでの処理結果の保存を行う。

パラメータ取得部１０３は制御部１０１の指示により通信インターフェース３０１、３０２を介して撮像装置１１０と通信し、撮影時のパラメータ情報を取得し、制御部１０１の制御によりメモリ１０２へ供給する。この時に取得するパラメータについては後述する。

また画像取得部１０４は撮像装置１１０の撮像部１１１で撮像された画像、または撮像装置１１０以外で撮像された画像を取得し、メモリ１０２へ供給する。

注目領域取得部１０５は画像取得部１０４にて取得した画像及びパラメータ取得部１０３が取得した少なくとも１つ以上のパラメータの情報から画像内の注目領域を検出し、検出した注目領域をメモリ１０２へ供給する。注目領域は例えばＡＦフレーム領域や顔認証領域を用いて決定される。

評価値・信頼度情報算出部１０６は注目領域を評価するための評価値および信頼度情報を算出、取得し、メモリ１０２へ供給する。

代表評価値算出部１０７は評価値・信頼度情報算出部１０６にて算出した注目領域の評価値に基づいて注目領域の代表評価値を算出し、メモリ１０２へ供給する。

被写体までの距離情報算出部１０８はピント距離情報と代表評価値に基づいて被写体までの距離情報を算出し、メモリ１０２へ供給する。

図１（ｂ）に、本発明の実施形態である撮像装置１１０の撮像部１１１の構成を示す。

撮像部１１１は画素１１３が二次元的に規則的に配列されている。画素１１３はマイクロレンズ１１２と一対の光電変換部１１４Ａ、１１５Ｂ（以下、瞳分割画素１１４Ａ、１１５Ｂと呼ぶ。）から構成される。本実施の形態においては、瞳分割画素１１４Ａで撮像されるのがＡ像、瞳分割画素１１５Ｂで撮像されるのがＢ像、とする。また、Ａ像とＢ像を合成した画像をＡＢ像とする（Ａ像、Ｂ像、ＡＢ像これらの少なくとも２つを指して「測距用画像」とも呼ぶ）。撮像部１１１がこのように構成されることにより、撮像光学系の異なる瞳領域を通過する被写体光束に基づく一対の画像データ（Ａ像、Ｂ像）を取得することが可能である。これにより、Ａ像、Ｂ像と一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数等のパラメータを用いることにより、Ａ像とＢ像のずれ量を視差値として算出することが可能である。

図１（ｃ）に、本発明の実施形態である撮像装置１１０の撮像光学系の構成を示す。撮像部１１１は物体（物面）１１６から発せられた光をレンズ１１７により予定結像面１１８で結像し、センサ面１１９で受光する。受光した光学像を撮像部１１１にて電気信号に変換することにより、光学像に対応した画像信号を生成する。本実施形態の撮像部１１１にはＡ／Ｄ変換器等を有しており、デジタル画像信号を出力する。このようにして受光した光学像を画像として取得することが可能となる。

以上のように構成された画像計測装置１００と撮像装置１１０において、本発明の第一の形態の実施方法を図２に示す動作フロー図を用いて詳細に説明する。以下の動作フローは画像計測装置１００の制御部１０１および撮像装置１１０の制御部２００の制御により、画像計測装置１００および撮像装置１１０の各部が動作を実行することで進行する。

まず、ステップＳ２０１において、パラメータ取得部１０３はパラメータの取得を行う。パラメータ取得部１０３は先述したように撮像装置１１０と通信することでパラメータを取得する。パラメータ取得部１０３は撮像装置で画像を撮像した際に画像内に記録されたパラメータの情報を取得することが可能である。

パラメータ取得部１０３は、下記の情報のうち少なくともいずれか１つを取得する。
撮像装置のセンサ面からピント位置までの距離・・・（ａ）
一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数・・・（ｂ）
注目領域の最小サイズ・・・（ｃ）
焦点距離・・・（ｄ）
ＡＦフレーム領域・・・（ｅ）
顔認識領域・・・（ｆ）
撮像装置の撮像部のレンズにおける像側主点からセンサ面までの距離・・・（ｇ）

ステップＳ２０２において、画像取得部１０４は画像の取得を行う。

ここで、画像取得部１０４が取得する画像は撮像装置１１０で撮像された画像、または撮像装置１１０以外で撮像された画像を取得する。

ステップＳ２０３において、代表評価値算出部１０７が代表評価値の算出を行う。代表評価値の算出方法の詳細については図３を用いて以下に説明する。

ステップＳ３０１において、注目領域取得部１０５が注目領域の取得を行う。注目領域は撮像装置で撮像した際に画像データ内に記録されたＡＦフレーム領域の位置から取得する方法の他に、撮像した画像データに対して画像認識処理を行い認識した情報（画像認識情報）に対応する領域を注目領域として取得する方法でもよい。

本実施例では、注目領域として撮像装置で画像を撮像した際に画像内に記録されたＡＦフレーム領域の位置を利用する方法を用いて具体的に説明する。なお、注目領域の位置が決定されれば、その後の処理フローは画像認識処理を用いて注目領域位置を取得する場合でも同様であるため、別途説明はしない。

注目領域取得部１０５が取得する注目領域は多点ＡＦ（画面内複数の領域に合焦するように動作するＡＦシーケンス）が設定されるモードで撮影した場合は複数になる。また、撮像装置によっては通常より大きいサイズの注目領域を設定することが可能である。この場合、注目領域取得部１０５は大きいサイズの注目領域を取得することが可能である。

ステップＳ３０２において、評価値・信頼度情報算出部１０６は注目領域の評価値と信頼度情報を取得する。注目領域の評価値の取得方法、および信頼度情報の取得方法については図４を用いて説明する。

図４は注目領域の評価値および信頼度情報を算出する処理を示すフローチャートである。

ステップＳ４０１において、評価値・信頼度情報算出部１０６は注目領域の評価値を算出する。評価値は例えば視差値、デフォーカス値、距離値を用いることで取得可能である。評価値の算出方法については図５を用いて説明する。

（評価値の取得方法の説明：ＤＡＦ）
図５は注目領域の評価値を算出する処理を示すフローチャートである。

ステップＳ５０１において、評価値・信頼度情報算出部１０６は、画像取得部１０４がステップＳ２０２で取得した画像から、一対の画像データを生成する。撮像装置が発光部を有する場合は、発光部に格子状などのパターンを配置し、被写体にパターンを投影した画像を撮影し、使用することも可能である。この場合、テクスチャがない被写体にパターンをつけることができるため、視差算出精度を高めることができる。

ステップＳ５０２において、評価値・信頼度情報算出部１０６はＳ５０１で生成したＡ像とＢ像に対して微小ブロックを設定する。微小ブロックは一般にテンプレートマッチングを行う際に設定されるウィンドウと同義である。図６（ａ）はＳ５０２を説明した図である。Ａ像６０１とＢ像６０２について、微小ブロック６０３のように微小ブロックを設定する。なお、本実施例では入力画像が有する画素ごとに、微小ブロックの中心の着目画素を設定するものとする。図６（ａ）で説明すると、着目画素６０４に対して微小ブロック６０３のように微小ブロックを設定する。また、図６（ｂ）は微小ブロックの形状について説明した図である。微小ブロックは微小ブロックのように大きさを変更することが可能である。

ステップＳ５０３において、評価値・信頼度情報算出部１０６は設定した微小ブロックにおいて相関演算処理を行い各点の視差値を算出する。本実施例における視差値は２つのデータ列間のずらし量から求めた像ずれ量と同義である。相関演算は、微小ブロックにおける一対の画素データを、それぞれＥ、Ｆと一般化して表現する。データ系列Ｅに対してデータ系列Ｆを相対的にずらしながら数式（１）により２つのデータ列間のずらし量ｋにおける相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜・・・（１）

数式（１）において、Ｃ（ｋ）はデータ系列の番数ｎについて計算される。ずらし量ｋは整数であり、画像データのデータ間隔を単位とした相対的なシフト量である。また、ずらし量ｋはステレオマッチング法における視差量と同義である。

数式（１）の演算結果の例として、図７に横軸が視差値、縦軸に相関量Ｃ（ｋ）をとったグラフを示す。

図７より、一対のデータ系列の相関が高い視差値において相関量Ｃ（ｋ）が最小になる。そして、下記数式（２）～（５）による３点内挿の手法を用い、連続的な相関量に対する最小値Ｃ（ｘ）を与える視差値ｘを求める。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ・・・（２）
Ｃ（ｘ）＝Ｃ（ｋｊ）－｜Ｄ｜・・・（３）
Ｄ＝｛Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）｝／２・・・（４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）｝・・・（５）

ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるｋである。

数式（２）で求めたシフト量ｘを一対の瞳分割画像における視差値とする。なお、像視差値ｘの単位はｐｉｘｅｌとする。

ステップＳ５０４において、数式（２）で求めた視差値ｘより、被写体像面の予定結像面に対するデフォーカス値ＤＥＦを下記数式（６）で求めることができる。
ＤＥＦ＝－ｘ／ＢＬ・・・（６）

数式（６）においてＢＬは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。

ステップＳ５０５において、ステップＳ５０４で算出したデフォーカス値を用いて撮像装置の撮像部のセンサ面から被写体までの距離値ｚを算出する。各点における距離値ｚは数式（７）～（８）から算出できる。
ｄｉｓｔ＝１／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ）－１／ｆ）・・・（７）
ｚ＝ｌｅｎｇｔｈ－ｄｉｓｔ・・・（８）

ｄｉｓｔはピント位置から被写体までの距離、ｄｉｓｔ＿ｄは撮像装置の撮像部のレンズにおける像側主点からセンサ面までの距離、ｆは焦点距離、ｌｅｎｇｔｈは撮像装置のセンサ面からピント位置までの距離を示す。

このように着目画素位置を１画素ずつずらしながら繰り返し計算することで、各画素位置の視差値、デフォーカス値、距離値を算出することができる。

以上により、視差値、デフォーカス値、撮像装置の撮像部のセンサ面から被写体までの距離値を取得することが可能である。上記の処理を注目領域に限定することで計算コストを下げることも可能である。

（信頼度情報算出方法の説明）
ステップＳ４０２において、評価値・信頼度情報算出部１０６は信頼度情報を算出する。信頼度情報は取得した画像データ及び算出した複数の評価値から算出することができる。ここでの信頼度情報は算出した評価値に対応する信頼度情報である。評価値の信頼度とは、取得した評価値が使用できるか否かを判断する情報である。信頼度情報が高信頼度となる複数の評価値を用いて代表評価値を算出することで、被写体までの距離情報を高精度に取得することが可能である。ここでは信頼度情報を算出する方法について６つの方法を説明する。

１つ目の信頼度情報算出方法は画像のコントラストを用いる方法である。本実施例において評価値と視差値を算出する場合に、２対の画像から視差値を算出している。この時、画像の信号のコントラストが低い領域は相関量Ｃ（ｋ）から最小値を求める精度が低下する。そこで、画像のコントラストを用いた信頼度情報は、各画素とその周辺の輝度から輝度の分散を算出し、分散の値が予め定めた第１の値（コントラスト閾値）以上のときに高信頼度領域と設定することで算出可能である。

２つ目の信頼度情報算出方法は画像の輝度を用いる方法である。本実施例において評価値として視差値を算出する場合に、２対の画像から視差値を算出している。この時、画像の信号が明る過ぎる（輝度が高すぎる）、または暗すぎる（輝度が低すぎる）領域については視差値の算出精度は低下する。そこで、画像の輝度を用いた信頼度情報は、画像の各画素の輝度値が予め定めた第２の値（輝度最大閾値）以下、または予め定めた第３の値（輝度最小閾値）以上のときに高信頼度領域と設定することで算出可能である。

３つ目の信頼度情報算出方法はデフォーカス値を用いた方法である。一般にデフォーカス値の絶対値が大きくなるにしたがって画像のボケが大きくなり、測距精度は低下する。したがって、デフォーカス値を用いた信頼度情報は、画像の各画素のデフォーカス値が予め定めた第４の値（デフォーカス値最大閾値）以下、または予め定めた第５の値（デフォーカス値最小閾値）以上のときに高信頼度とすることが可能である。

４つ目の信頼度情報算出方法は視差値を用いた方法である。一般に視差値の絶対値が大きくなるほど相対的にデフォーカス値も大きくなり、測距精度は低下する。しかしながら、視差値からデフォーカス値に変換する変換係数は撮影条件で異なることから、撮影条件が異なれば同じ視差値であっても画像のボケ量が異なる場合がある。したがって、視差値を用いて信頼度情報を算出する方法は撮影条件が不明であり、デフォーカス値を算出できない場合に用いることが好ましい。一方で、撮影条件がどのようであれ、視差値が大きい程、相対的によりデフォーカスしている領域であると考えられる。このことから、視差値を用いた信頼度情報は、画像の各画素の視差値が予め定めた第６の値（視差値最大閾値）以下、または予め定めた第７の値（視差値最小閾値）以上のときに高信頼度とすることが可能である。

５つ目の信頼度情報算出方法は距離値を用いた方法である。ここでいう距離値は先述した式（８）にて算出される、撮像装置のセンサ面から被写体までの距離を指しており、便宜上「距離値Ａ」と呼ぶことにする。撮像装置からピント位置までの距離値（ここでは「距離値Ｂ」と呼ぶことにする）と距離値Ａとの差分の絶対値が大きくなるほど相対的によりデフォーカスしている領域であるので、測距精度は低下する。なお、差分の値が正か負、すなわちピント位置に対して前後のどちらにずれているかによってデフォーカスの変化量は異なることに注意する。このことから、距離値Ａを用いた信頼度情報は、画像の各画素に対応した距離値Ａが予め定めた第８の値（距離値Ａの最大閾値）以下、または距離値Ａが予め定めた第９の値（距離値Ａの最小閾値）以上のときに高信頼度とすることが可能である。

６つ目の信頼度算出方法は視差値またはデフォーカス値の少なくともどちらか一方の標準偏差を用いた方法である。標準偏差を用いることで複数の評価値の中から外れ値を排除することができる。これにより、信頼度情報は算出した標準偏差について、予め定めた値（標準偏差閾値）の範囲内のときは高信頼度とすることが可能である。

このように、取得した画像データおよび複数の評価値から信頼度情報を算出することが可能である。本実施形態では、上記紹介した６つの信頼度情報算出方法のうち、少なくとも１つを用いて信頼度情報を得ればよいものとする。

以上により、ステップＳ３０２において注目領域の評価値と信頼度情報を取得することが可能である。

ステップＳ３０３において、評価値・信頼度情報算出部１０６は注目領域の数を評価する。注目領域が複数ある場合はステップＳ３０４へ進み、注目領域が１つのみの場合はステップＳ３０５へ進む。

（注目領域が複数ある場合の説明）
ステップＳ３０４において、代表評価値算出部１０７は複数の注目領域の中から代表領域を決定し代表評価値を算出する。複数の注目領域の中から代表評価値を算出する方法について、図８を用いて説明する。

図８（ａ）は複数の注目領域が存在するシーンについて説明する図である。図８（ａ）の被写体８０１は本実施例においてピントを合わせたい主被写体とする。範囲８０２は複数の注目領域を示す。注目領域８０３は複数の注目領域のうちの１つを示す。

このように複数の注目領域がある場合、代表評価値は、各注目領域に対応する領域の評価値（領域評価値）を算出し、領域評価値の絶対値が最小となる注目領域の評価値を用いて算出する。領域評価値の算出方法には視差値、またはデフォーカス値または距離値Ｂと距離値Ａとの差分の絶対値を用いて算出する。

領域評価値は各注目領域で評価値の平均値、中央値、または最小値を算出する。ここでは各注目領域内の外れ値等の影響を抑えるために、中央値や平均値を用いることが好ましいが、最小値を用いても構わない。これらのうち少なくとも１つ以上の領域評価値を各注目領域で算出し、その絶対値が最小となる領域の評価値を用いて代表評価値を算出する。

図８（ｂ）は領域評価値が最小となる領域８０４を示す。また、図８（ｃ）の領域８０５で示すように注目領域８０４の中の信頼度情報が高信頼度となる領域内の距離情報から代表評価値を算出することが可能である。また、領域評価値は信頼度情報をあらかじめ使用して注目領域内の高信頼度情報の評価値を用いて算出し、算出した領域評価値を代表評価値とすることも可能である。

その他、複数の注目領域がある場合に、各注目領域の中で信頼度情報がすべて高信頼度でない場合は評価値の算出をせず、注目領域としないことも可能である。これにより、処理の負荷を低減できる。

以上により、複数の注目領域の中から代表評価値を算出することが可能である。これにより、複数の注目領域の中から被写体までの距離情報の取得に必要な代表評価値を算出することが可能である。

ステップＳ３０５において、評価値・信頼度情報算出部１０６は注目領域の大きさを評価する。注目領域が大きい場合はステップＳ３０６へ進む。注目領域が小さい場合はステップＳ３０７へ進む。

（注目領域のサイズが大きい場合の説明）
ステップＳ３０６において、代表評価値算出部１０７は注目領域の中から代表評価値を算出する。注目領域の中から代表評価値を算出する方法について、図９を用いて説明する。

図９（ａ）は注目領域が大きいシーンについて説明する図である。図９（ａ）の被写体９０１は本実施例においてピントを合わせたい主被写体とする。注目領域９０２は大きいサイズの注目領域を示す。

このように注目領域が大きい場合、評価値・信頼度情報算出部１０６は注目領域を複数の領域に分割し、各分割領域に対応する領域評価値を算出する。そして、代表評価値算出部１０７は算出された各領域の評価値を用いることにより、代表評価値を算出する。

領域評価値の算出方法は視差値、またはデフォーカス値または距離値Ｂと距離値Ａとの差分の絶対値を用いて算出する。ここでは各注目領域で評価値の平均値、または中央値、または最小値を領域評価値として算出領域評価値の絶対値が最小となる領域の評価値を用いて代表評価値を算出する。

下記に挙げる２つの方法では代表評価値を算出する際にステップＳ４０２で算出した信頼度情報を用いることにより、高信頼度の複数の評価値のみを使用して計算を行うことも可能である。これにより、代表領域や代表評価値の精度を高めることが可能である。

領域評価値の算出方法について、２つの方法について説明する。

１つ目の方法は評価値・信頼度情報算出部１０６が注目領域を複数の領域に分割して、分割した領域毎に領域評価値を算出し、領域評価値の絶対値が最小となる領域の評価値を領域評価値とする方法である。図９（ｂ）は注目領域を複数の領域に分割し、分割した領域毎に領域評価値を算出する方法について説明した図である。分割領域９０３は注目領域９０２を複数の領域に分割した領域の１つを示す。注目領域の分割サイズは自由に設定可能であるが、分割サイズを撮像装置で設定可能なＡＦフレームの最小のサイズとすることで、複数の注目領域がある場合と同じ指標で領域を評価することが可能である。このように注目領域を複数の領域に分割して分割した領域毎に領域評価値を算出することで領域評価値の絶対値が最小となる領域の領域評価値を代表評価値とすることが可能である。分割領域９０４は代表評価値算出に使用された評価値を有する領域の１例を示す。

２つ目の方法は、評価値・信頼度情報算出部１０６が注目領域を複数の領域に分割し、分割した注目領域の中で注目領域の中心部分に近い（中心付近）領域の評価値を領域評価値とする方法である。図９（ｃ）は注目領域を複数の領域に分割し、分割した注目領域の中で注目領域の中心部分に近い領域の評価値を領域評価値とする方法について説明した図である。分割領域９０５は注目領域を複数の領域に分割し、分割した注目領域の中で注目領域の中心部分に近い中心領域を示す。分割領域９０５を中心領域として中心領域の評価値から領域評価値を算出し、領域評価値を代表評価値とすることが可能である。注目領域の中心部分に近い領域はＡＦしたい被写体が存在する可能性が周辺の分割領域と比べて高いと予想され、画像認識によって生成された注目領域の場合も注目領域の中心であるほど被写体が存在する可能性が高い。したがって、注目領域の中で注目領域の中心部分に近い領域のみで領域評価値を算出することで、その他の各領域での計算コストを低減できる。なお、注目領域の中心部分だけではなく、中心領域を含む一部の領域で領域評価値の算出を行ってもよい。

以上により、注目領域が複数ある場合や注目領域のサイズが大きい場合でも適切な視差値またはデフォーカス値、または距離値を決定し、代表評価値を算出することが可能である。なお、上述した２つの方法はどちらも評価値・信頼度情報算出部１０６が注目領域を複数の領域に分割しているが、代表評価値算出部１０７が行なってもよい。

（注目領域が複数ではなく、サイズが大きくない場合の説明）
ステップＳ３０７において、注目領域の中から代表評価値を算出する。

ステップＳ３０７では注目領域は複数なく、注目領域のサイズが小さいため、注目領域で算出した領域評価値を代表評価値とすることで代表評価値を算出することが可能である。代表評価値を算出する際にステップＳ４０２で算出した信頼度情報を用いて、高信頼度領域の評価値のみを使用して計算を行うことも可能である。これにより、代表評価値の精度を高めることが可能である。また、ステップＳ３０４やステップＳ３０６で述べた方法で代表評価値を算出することも可能である。

以上により、注目領域が複数なく、サイズが小さい場合においても代表評価値を算出することが可能である。

以上でステップＳ２０３における代表評価値の算出を終える。

（被写体までの距離情報の算出方法の説明）
ステップＳ２０４において、ステップＳ２０３で算出した代表評価値を用いて、被写体までの距離情報算出部１０８が被写体までの距離情報の算出を行う。

被写体までの距離情報の算出は下記数式（８）～（１０）より算出することが可能である。
ａ１＝ＢＬ＿ｍ×（ｆ×ＢＰ＿ｍ＋（ｄｉｎ×ｆ×ｆ）／（ｄｉｎ－ｆ））・・・（８）
ａ２＝ＢＬ＿ｍ×（ＢＰ＿ｍ＋（ｆ×ｆ）／（ｄｉｎ－ｆ））・・・（９）
ｄｏｕｔ＝（ｆ×ｄｒｅ＋ａ１）／（ｆ×ｄｒｅ＋ａ２）・・・（１０）

ここで、ａ１とａ２は式（１０）を簡易に表記するための値である。ＢＬ＿ｍは代表評価値算出に使用した評価値が分布する領域に対応したＢＬ値の平均値又は中央値、ＢＰ＿ｍは代表評価値の算出に使用した評価値が分布する領域に対応したＢＰ値の平均値又は中央値又は最小値を示し、ｆは焦点距離を示す。ＢＰ値は像高によるピント距離のズレ量を補正する補正値である。ｄｉｎは撮像装置からピント位置までの距離値を示し、ｄｒｅは視差値から算出した代表評価値、ｄｏｕｔは撮像装置から被写体までの距離情報を示す。代表評価値としてｄｒｅをデフォーカス値で算出していた場合は下記の数式（１１）を用いて視差値に変換することが可能である。
ｄｒｅ＿ｘ＝（ｄｒｅ＿ｄ－ＢＰ＿ｍ）／ＢＬ＿ｍ・・・（１１）

ここで、ｄｒｅ＿ｄはデフォーカス値での代表評価値、ｄｒｅ＿ｘは視差値での代表評価値を示す。

代表評価値を距離値Ｂと距離値Ａとの差分の絶対値で算出していた場合は、代表評価値を算出時において絶対値をとらない値と距離値Ｂとの和を算出することで被写体までの距離情報を算出することが可能である。

以上により、注目領域が複数ある場合や注目領域のサイズが大きい場合でも被写体までの距離情報を高精度に取得することが可能である。

また、取得された高精度な距離情報は撮像装置１１０の撮像光学系の調整に用いることで、ピント位置の調整に活用することが可能である。

［第二の実施形態］
本発明の第二の実施形態について説明する。

本発明の第一の実施形態において、被写体までの距離情報を算出、取得する方法について述べた。本発明の第二の実施形態においては決定した代表領域を重畳表示した画像の生成方法について説明する。

（画像計測装置の説明）
以下、本発明の好適な第二の実施形態について、図面を参照して詳細に説明する。

図１０に、本発明の実施形態である画像計測装置と撮像装置を示す。

図１０と図１（ａ）を比較すると、図１０には被写体までの距離情報算出部１０８を無く、代表領域算出部１０９と代表領域重畳表示画像生成部１２０、表示部１２１が追加されている。

代表領域算出部１０９は代表評価値算出部１０７で算出した代表評価値に基づいて代表領域を算出し、メモリ１０２へ供給する。代表領域重畳表示画像生成部１２０は代表領域決算出部１０７が算出した代表領域に基づいて、画像取得部１０４で取得した画像に代表領域を重畳表示した画像を生成し、メモリ１０２へ供給する。

以上のように構成された画像計測装置１００と撮像装置１１０において、本発明の第二の形態の実施方法を図１１に示す動作フロー図を用いて詳細に説明する。

ステップＳ１１０１及びステップＳ１１０２は図２で説明したステップＳ２０１及びステップＳ２０２と同じ動作を行う。ステップＳ１１０３はステップＳ２０３で代表評価値を算出する際に、代表評価値を算出するために制限した領域を代表領域とすることで代表領域を算出する。ステップＳ１１０３の動作フローについて図１２を用いて説明する。

図１２は代表領域を算出する方法について説明した動作フロー図である。

ステップＳ１２０１、ステップＳ１２０２、は図３のステップＳ３０１、ステップＳ３０２の同様の処理となる。

ステップＳ１２０３において、評価値・信頼度情報算出部１０６が注目領域の数を評価し、注目領域が複数ある場合はステップＳ１２０４へ進み、注目領域が１つのみの場合はステップＳ１２０５へ進む。

ステップＳ１２０４において、代表領域算出部１０９はステップＳ３０４で代表評価値を算出する際に用いた注目領域を代表領域として算出する。これにより、注目領域が複数ある場合でも評価値及び信頼度情報を用いて代表領域を算出することが可能である。

ステップＳ１２０５において、評価値・信頼度情報算出部１０６が注目領域の大きさを評価する。注目領域が大きい場合はステップＳ１２０６へ進、み、注目領域が小さい場合はステップＳ１２０７へ進む。

ステップＳ１２０６において、ステップＳ３０６で代表評価値を算出する際に用いた注目領域を代表領域として算出する。これにより、注目領域が大きい場合でも評価値及び信頼度情報を用いて代表領域を算出することが可能である。

ステップＳ１２０７において、ステップＳ３０７で代表評価値を算出する際に用いた注目領域を代表領域として算出する。これにより、注目領域は複数なく、注目領域のサイズが小さい場合でも評価値及び信頼度情報を用いて代表領域を算出することが可能である。

以上により、ステップＳ１１０３における代表領域の算出を終える。

（代表領域を重畳表示した画像の生成方法の説明）
ステップＳ１１０４において、代表領域重畳表示画像生成部１２０は代表領域を重畳表示した画像（重畳画像）を生成し、撮像装置１１０に設けられた表示部１２１に表示する。なお、図１０には撮像部１１０に表示部１２１が設けられているが、画像計測装置１００側に設けても良いし、少なくともどちらか一方でユーザが重畳画像を確認可能な構成であればこれらに限定されない。

代表領域を重畳表示した画像を生成する方法については図１３を用いて説明する。図１３は表示部に表示される画像の例として考えることが可能である。

図１３（ａ）は複数の注目領域が存在するシーンについて説明する図である。図１３（ａ）の被写体１３０１は本実施例においてピントを合わせたい主被写体とする。範囲１３０２は複数の注目領域を示す。注目領域１３０３は複数の注目領域のうちの１つを示す。

ステップＳ１１０３において算出した代表領域を含む注目領域が注目領域１３０３であったとする。この場合、図１３（ｂ）で示すように複数の注目領域のうち、代表領域を含む注目領域の枠を太くして強調することで、代表領域を重畳表示することが可能である。また、代表領域を重畳表示する場合は複数の注目領域のうち代表領域を含む領域のみを表示する方法や、代表領域を含む注目領域の枠の色を変える方法、代表領域を含む注目領域の枠を実線または点線に切り替える方法がある。さらに、図１３（ｃ）で示すように代表領域を含む注目領域を塗りつぶす方法や、画像のＲＧＢ情報のうちＲの値のみを変化させるなどして、画像のテクスチャを残しつつ、代表領域を重畳表示することも可能である。

代表領域を含む注目領域において、信頼度情報を用いて注目領域内の評価領域を限定することで決定した代表領域を重畳表示させることも可能である。図１３（ｄ）は信頼度情報を用いて注目領域内の評価領域のうち、信頼度が高い領域のみに限定することで算出した代表領域を重畳表示する方法について説明した図である。代表領域１３０４は図１３（ｄ）で示すように代表領域を塗りつぶす方法や、画像のＲＧＢ情報のうちＲの値のみを変化させるなどして、画像のテクスチャを残しつつ、代表領域を重畳表示することも可能である。また、図１３（ｅ）に示すように代表領域のエッジ部分のみを表示することも可能である。

代表領域を塗りつぶす方法は代表領域が小さい場合に視認性を高めるために有効である。点線や枠のみの表示は画像と代表領域の比較がしやすくなる効果がある。また、代表領域を重畳表示した画像と重畳表示していない画像を交互に表示することで、代表領域が点滅するように代表領域をプレビューさせることで画像との比較のしやすさや、代表領域の視認性の向上を行うことができる。

図１３を用いて複数の注目領域が存在するシーンについて説明してきたが、注目領域が大きい場合や注目領域が１つしかなく注目領域が小さい場合についても図１３を用いて説明した方法で代表領域を重畳表示することが可能である。

以上により、代表領域を重畳表示した画像の生成が可能である。これによりユーザはどの領域にピントが合っていて、かつ、被写体までの距離情報が画像中のどの領域までの距離なのかを簡単に確認することが可能である。

以上により、代表領域を重畳表示した画像を生成することが可能である。

［第三の実施形態］
第一の実施形態では、画像計測装置１００と撮像装置１１０が独立した構成となっていた。ここでは、画像計測装置１００と撮像装置１１０を併せて図１４のような１つの撮像装置として構成した第三の実施形態について説明する。

図１４では、撮像部１１１で取得された画像が制御部４０１を介して画像取得部１０４に提供される。なお、図１４で示した撮像装置本体以外で撮影した画像を利用する場合を考慮し、図１４には通信インターフェース（Ｉ／Ｆ）４０２を設けており、制御部４０１の制御によって外部と情報のやり取りが可能である。

また、図１および図１１と異なる点として画像計測装置１００と撮像装置１１０を一体化しているため、図１４ではメモリ２０１の役割をメモリ１０２に統合しているほか、通信インターフェース３０１、３０２が無い。

撮像装置４００は制御部４０１の指示によって動作し、各部との情報のやり取りを行うことが可能である。図１４の各部の動作は第一の実施形態及び第二の実施形態にて説明した通りである。また、第一の実施形態、もしくは第二の実施形態を実施するかに応じて、図１４から不要な構成を取り除いてもよい。

以上により、第一の実施形態及び第二の実施形態を実施可能な撮像装置を提供することも可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像計測装置
１０１ 制御部
１０２ メモリ
１０３ パラメータ取得部
１０４ 画像取得部
１０５ 注目領域算出部
１０６ 評価値・信頼度情報算出部
１０７ 代表評価値算出部
１０８ 被写体までの距離情報算出部
１０９ 代表領域算出部
１１０ 撮像装置
１１１ 撮像部
１２０ 代表領域重畳表示画像生成部
１２１ 表示部
２００ 制御部（撮像装置）
２０１ メモリ（撮像装置）
３０１ 通信Ｉ／Ｆ（画像計測装置側）
３０２ 通信Ｉ／Ｆ（撮像装置側）
４００ 撮像装置
４０１ 通信Ｉ／Ｆ

Claims (22)

1. 撮影された画像を取得する画像取得手段と、
   前記画像を撮影した際のパラメータを取得するパラメータ取得手段と、
   前記画像に対応するパラメータを用いて前記画像における注目領域を決定する注目領域決定手段と、
   前記注目領域の数および大きさに応じて前記注目領域から１つ以上の評価値を算出する評価値算出手段と、
   前記評価値から代表評価値を算出する代表評価値算出手段と、
   前記代表評価値に基づいて、前記画像内の被写体までの距離情報を算出する距離情報算出手段を有することを特徴とする画像計測装置。
2. 前記パラメータは、撮像装置のセンサ面からピント位置までの距離、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数、焦点距離、ＡＦフレームの位置、顔認識がなされた領域の位置、撮像装置の撮像部のレンズにおける像側主点からセンサ面までの距離の少なくともいずれか１つであることを特徴とする請求項１に記載の画像計測装置。
3. 前記評価値の少なくとも１つは視差値、デフォーカス値、撮像装置のセンサ面と被写体までの距離値のであることを特徴とする請求項１または２に記載の画像計測装置。
4. 前記視差値、前記デフォーカス値、または前記距離値は、撮像装置によって撮影された撮像光学系の異なる瞳領域を通過する被写体光束に基づく測距用画像から算出することを特徴とする請求項３に記載の画像計測装置。
5. 前記被写体までの距離情報は被写体からピント位置までの距離情報と前記代表評価値と像高によるピント距離のズレ量とを用いて算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像計測装置。
6. 前記代表評価値は、前記評価値のうち信頼度が予め定めたある値よりも大きいものを用いて算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像計測装置。
7. 前記信頼度情報は前記評価値に対応する画像のコントラストを算出し、コントラストの値が予め定めた第１の値よりも高い評価値について、高信頼度とすることを特徴とする請求項６に記載の画像計測装置。
8. 前記信頼度情報は前記評価値に対応する画像の輝度を取得し、画像の輝度値が予め定めた第２の値以下、または第２の値より小さい第３の値以上のときに高信頼度とすることを特徴とする請求項６または７に記載の画像計測装置。
9. 前記信頼度情報は前記評価値に対応する前記視差値を取得し、前記視差値が予め定めた第４の値以下、または第４の値より小さい第５の値以上のときに高信頼度とすることを特徴とする請求項６乃至８のいずれか１項に記載の画像計測装置。
10. 前記信頼度情報は前記評価値に対応する前記デフォーカス値を取得し、前記デフォーカス値が予め定めた第６の値以下、または第６の値より小さい第７の値以上のときに高信頼度とすることを特徴とする請求項６乃至９のいずれか１項に記載の画像計測装置。
11. 前記信頼度情報は前記評価値に対応する前記距離値を取得し、前記距離値が予め定めた第８の値以下、または第８の値よりも小さい第９の値以上のときに高信頼度とすることを特徴とする請求項６乃至１０のいずれか１項に記載の画像計測装置。
12. 前記信頼度情報は前記評価値の標準偏差を算出し、前記標準偏差が予め定めた範囲内のときに高信頼度とすることを特徴とする請求項６乃至１１のいずれか１項に記載の画像計測装置。
13. 前記代表評価値は前記ＡＦフレーム領域に基づいて前記注目領域を決定し、前記注目領域内の前記評価値を使用して算出することを特徴とする請求項２乃至１２に記載の画像計測装置。
14. 前記代表評価値は前記画像認識情報に基づいて前記注目領域を決定し、前記注目領域内の前記評価値を使用して算出することを特徴とする請求項２乃至１３に記載の画像計測装置。
15. 前記評価値算出部は、前記注目領域が複数ある場合に各注目領域に対応する領域評価値を各領域内の前記評価値を用いて算出し、前記領域評価値の絶対値が最小となる前記注目領域の前記評価値を用いて前記代表評価値算出部が前記代表評価値を算出することを特徴とする請求項１乃至１４のいずれか１項に記載の画像計測装置。
16. 前記評価値算出部は、前記注目領域を複数の領域に分割し、各分割領域に対応する領域評価値を各領域の評価値を用いて算出し、該領域評価値の絶対値が最小となる分割領域の評価値を用いて前記代表評価値算出部が前記代表評価値を算出することを特徴とする請求項１乃至１５のいずれか１項に記載の画像計測装置。
17. 前記分割した領域の分割サイズは前記撮像装置が設定可能なＡＦフレームの最小のサイズであることを特徴とする請求項１６に記載の画像計測装置。
18. 前記代表評価値算出部は、前記代表評価値を前記分割領域のうち前記注目領域の中心を含む一部の領域の評価値のみを用いて算出することを特徴とする請求項１乃至１６のいずれか１項に記載の画像計測装置。
19. 前記代表領域を画像に重畳した重畳画像を生成する画像生成手段と、
    前記重畳画像を表示する表示手段と、を備えることを特徴とする請求項１乃至１８のいずれか１項に記載の画像計測装置。
20. 撮影された画像を取得する画像取得ステップと、
    前記画像を撮影した際のパラメータを取得するパラメータ取得ステップと、
    前記画像に対応するパラメータを用いて前記画像における注目領域を決定する注目領域決定ステップと、
    前記注目領域の数および大きさに応じて前記注目領域から１つ以上の評価値を算出する評価値算出ステップと、
    前記評価値から代表評価値を算出する代表評価値算出ステップと、
    前記代表評価値に基づいて、前記画像内の被写体までの距離情報を算出する距離情報算出ステップと、を有することを特徴とする画像計測装置の制御方法。
21. 請求項２０に記載した画像計測装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
22. 請求項２１に記載の制御方法の各工程をコンピュータに実施させるためのプログラムを記憶したコンピュータが読取り可能な記憶媒体。

Images