JP2019007826A - 測距カメラおよび測距方法 - Google Patents

Abstract

【課題】光学系の色収差を利用することにより被写体までの距離を測定することができる測距カメラおよび測距方法を提供する。【解決手段】測距カメラ１は、被写体からの光を結像する光学系３と、複数のカラーフィルターを有し、光学系３により結像された被写体像を撮像し、複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する撮像素子５と、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出するボケ検出部６と、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する距離算出部８と、を備える。【選択図】図１

Description

本発明は、一般に、被写体までの距離を測定するための測距カメラおよび測距方法に関し、より具体的には、撮像素子によって取得された複数の色画像信号のそれぞれにおける被写体像のボケ量を検出し、検出したボケ量に基づいて、被写体までの距離を測定する測距カメラおよび測距方法に関する。

近年、被写体の画像を取得することができるとともに、被写体までの距離を測定することができる測距カメラが提案されている。このような測距カメラとしては、被写体からの光を結像するための光学系と、該光学系によって結像された被写体像を画像信号に変換するための撮像素子とを２対以上備えるステレオカメラ方式の測距カメラ（例えば、特許文献１参照）や、被写体に対して一定パターン（例えば、格子パターン）の光を照射するためのプロジェクターと、一定パターンの光が照射された被写体を撮像するための撮像系とを備えるパターン照射式の測距カメラや被写体像のボケ量を解析することにより、被写体までの距離を推定するＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式の測距カメラ（例えば、特許文献２）等が知られている。

ステレオカメラ方式の測距カメラでは、光学系と撮像素子の組み合わせを２対以上用いることにより、異なる視差を有する複数の画像を取得し、取得した画像の視差に基づいて被写体までの距離を算出する。そのため、光学系と撮像素子の組み合わせを２対以上用いることが必要となる。２対以上の光学系と撮像素子の組み合わせを１つの測距カメラ内に設けることは、測距カメラの構成の複雑化、サイズの増大、コストの増加等の問題を引き起こす。また、被写体までの距離を正確に算出するためには、大きな視差を取得する必要があるため、１つの測距カメラ内において、２つ以上の光学系をそれぞれ大きく離間して配置する必要がある。このような理由によっても、測距カメラのサイズが増大してしまう。また、２つ以上の撮像素子を用いるため、測距カメラの消費電力が増大してしまう。

また、２つ以上の撮像素子が取得した画像間には視差が存在するため、算出した被写体までの距離と、２つ以上の撮像素子が取得した２次元画像とに基づいて、被写体の３次元画像を生成するためには、画像間の視差を補正するためのフィッティング処理が必要となる。このようなフィッティング処理によって、処理時間の増大、消費電力量の増加といった問題が発生する。

パターン照射方式の測距カメラでは、被写体に対して一定パターンの光を照射し、被写体に投影された一定パターンの歪みを解析することにより被写体までの距離を測定している。そのため、パターン照射方式の測距カメラでは、被写体に対して一定パターンの光を照射するためのプロジェクターが必要となり、測距カメラの構成が大規模になってしまう。また、パターン照射方式の測距カメラでは、一定パターンが照射された状態の被写体の２次元画像と一定パターンが照射されていない状態の被写体の２次元画像の双方を１度の撮影により取得することができない。

ＤＦＤ方式の測距カメラでは、被写体の１枚の画像に含まれるボケ量を解析することで被写体までの距離を算出している。このようなＤＦＤ方式による被写体までの距離の測定は、画像に含まれるノイズの影響を受けやすく、距離測定の精度の安定性が低い。また、ＤＦＤ方式による被写体までの距離の測定精度を高めるために、プリズムやハーフミラーを用いて被写体からの光の光路長を変更し、さらに、複数の撮像素子を用いて、それぞれ異なるボケ量を有する複数の画像を取得することも行われている。しかしながら、この場合、プリズム、ハーフミラー、および追加の撮像素子を測距カメラ内に設ける必要があり、測距カメラの構成の複雑化、サイズの増大、コストの増加等の問題を引き起こす。また、プリズムやハーフミラーによる分光により、１つの撮像素子に入射される光の量が減少してしまうため、ノイズの影響が大きくなり、被写体までの距離の測定精度が低下してしまう。

特開２０１３−１９０３９４号公報 特開平７−２０９５７６号公報

本発明は、上記従来の問題点を鑑みたものであり、その目的は、光学系の色収差を利用することにより被写体までの距離を測定することができる測距カメラおよび測距方法を提供することにある。

このような目的は、以下の（１）〜（８）の本発明により達成される。
（１）被写体からの光を結像する光学系と、
複数のカラーフィルターを有し、前記光学系により結像された被写体像を撮像し、前記複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する撮像素子と、
前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出するボケ検出部と、
前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する距離算出部と、を備えることを特徴とする測距カメラ。

（２）前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記光学系から前記被写体までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
前記距離算出部は、前記ボケ検出部によって算出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体までの前記距離を算出する上記（１）に記載の測距カメラ。

（３）前記複数の色画像信号は、赤色画像信号と、緑色画像信号と、青色画像信号との少なくとも２つを含み、
前記複数のカラーフィルターは、前記赤色画像信号用の赤色カラーフィルターと、前記緑色画像信号用の緑色カラーフィルターと、前記青色画像信号用の青色カラーフィルターとのうち、前記赤色画像信号、前記緑色画像信号、および前記青色画像信号の前記少なくとも２つに対応する少なくとも２つを含む上記（１）または（２）に記載の測距カメラ。

（４）前記複数のカラーフィルターは、特定の波長帯の光のみを透過させ、それ以外の波長帯の光を実質的に遮断する複数のバンドパスフィルターをさらに含み、
前記複数のバンドパスフィルターのそれぞれの前記特定の波長帯は、互いに異なっており、
前記複数の色画像信号は、前記複数のバンドパスフィルターのそれぞれを通過する光によって得られた複数のバンドパス画像信号を含む上記（３）に記載の測距カメラ。

（５） 前記複数のカラーフィルターは、赤外線用カラーフィルターまたは紫外線用カラーフィルターの少なくとも一方をさらに含み、
前記複数の色画像信号は、赤外線画像信号と紫外線画像信号の少なくとも一方をさらに含む上記（３）または（４）に記載の測距カメラ。

（６）前記ボケ検出部は、前記複数の色画像信号のそれぞれにおいて、前記被写体像のエッジ部を抽出し、さらに、前記複数の色画像信号のそれぞれにおいて抽出された前記被写体像の前記エッジ部のボケ量を検出し、
前記距離算出部は、前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記エッジ部の前記ボケ量に基づいて、前記被写体の前記エッジ部までの距離を算出する上記（１）ないし（５）のいずれかに記載の測距カメラ。

（７）前記撮像素子が取得した前記複数の色画像信号と、前記距離算出部によって測定された前記被写体までの前記距離とに基づいて、前記被写体の３次元画像を生成する３次元画像生成部をさらに備える上記（１）ないし（６）のいずれかに記載の測距カメラ。

（８）被写体までの距離を測定するための測距方法であって、
光学系を用いて、前記被写体からの光を結像する工程と、
撮像素子を用いて、結像された被写体像の複数の色画像信号を取得する工程と、
プロセッサーを用いて、前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出する工程と、
前記プロセッサーを用いて、検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する工程と、を備えることを特徴とする測距方法。

本発明の測距カメラおよび測距方法では、１対の光学系と撮像素子から取得した１枚の被写体の画像から、被写体までの距離を測定することができるため、光学系と撮像素子の組み合わせを複数対用いる必要がない。そのため、ステレオカメラ方式の測距カメラと比較して、測距カメラの小型化、低消費電力化、および低コスト化が可能である。また、本発明の測距カメラでは、ステレオカメラ方式の測距カメラとは異なり、視差のある画像を用いないので、従来のステレオカメラ方式の測距カメラにおいて３次元画像を生成する際に実行される視差を修正するためのフィッティング処理が不要である。そのため、３次元画像を生成するための処理時間の短縮、および、消費電力の削減が可能である。

また、本発明の測距カメラおよび測距方法では、パターン照射方式の測距カメラと異なり、一定パターンの光を被写体に照射するプロジェクター等の特殊な光源を用いる必要がない。そのため、測距カメラのシステム、および、測距方法を実行するための構成をシンプルにすることができる。また、パターン照射方式の測距カメラでは、１度の撮像で、一定パターンが照射された状態の被写体の画像と一定パターンが照射されていない状態の被写体の画像の双方を取得することができないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得を１度の撮像で実行することはできない。一方、本発明の測距カメラおよび測距方法では、一定パターンを被写体に照射する必要がないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得とを１度の撮像で実行することができる。

また、本発明の測距カメラおよび測距方法では、ＤＦＤ方式の測距カメラと異なり、プリズムやハーフミラー等の光の光路長を変えるための光学部品を用いる必要がない。そのため、測距カメラのシステム、および、測距方法を実行するためのシステムの構成をシンプルにすることができる。また、本発明の測距カメラおよび測距方法では、ＤＦＤ方式の測距カメラと異なり、複数のボケ量に関する情報を被写体までの距離を測定するために用いている。そのため、ＤＦＤ方式の測距カメラと比較して、本発明の測距カメラおよび測距方法は、被写体の画像のノイズの影響を受けにくい。

本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。 図１に示す測距カメラの使用例を概略的に示す図である。 図１に示す測距カメラの光学系の色収差を説明するための図である。 図１に示す測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。 図１に示す測距カメラのボケ検出部によって実行されるエッジ部抽出処理を説明するための図である。 図１に示す測距カメラの撮像素子によって取得された複数の色画像信号間の被写体のエッジ部のボケ量の差を説明するための図である。 複数の色画像信号における被写体像のボケ量と、被写体までの距離とを関連付ける関連付情報を説明するための図である。 図１に示す測距カメラの距離算出部によって算出された被写体までの距離を表す距離画像を示す図である。 図１に示す測距カメラの３次元画像生成部によって生成される３次元画像を示す図である。 本発明の第２実施形態に係る測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。 本発明の第２実施形態に係る測距カメラにおいて用いられるバンドパスフィルターの透過波長帯の調整を説明するための図である。 本発明の測距方法を示すフローチャートである。 測距システムの１例を概略的に示す図である。 測距システムの別の例を概略的に示す図である。

以下、本発明の測距カメラおよび測距方法を添付図面に示す好適な実施形態に基づいて説明する。

＜第１実施形態＞
最初に図１〜図９を参照して、本発明の第１実施形態に係る測距カメラの構成を詳述する。

図１は、本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。図２は、図１に示す測距カメラの使用例を概略的に示す図である。図３は、図１に示す測距カメラの光学系の色収差を説明するための図である。図４は、図１に示す測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。図５は、図１に示す測距カメラのボケ検出部によって実行されるエッジ部抽出処理を説明するための図である。図６は、図１に示す測距カメラの撮像素子によって取得された複数の色画像信号間の被写体のエッジ部のボケ量の差を説明するための図である。図７は、複数の色画像信号における被写体像のボケ量と、被写体までの距離とを関連付ける関連付情報を説明するための図である。図８は、図１に示す測距カメラの距離算出部によって算出された被写体までの距離を表す距離画像を示す図である。図９は、図１に示す測距カメラの３次元画像生成部によって生成される３次元画像を示す図である。

図１に示す測距カメラ１は、測距カメラ１の制御を行う制御部２と、被写体からの光を結像する光学系３と、オートフォーカス機能、ズーム機能、および／または手振れ補正機能を実現するために光学系３を駆動する光学系駆動部４と、光学系３により結像された被写体像を撮像し、複数の色画像信号を取得する撮像素子５と、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出するボケ検出部６と、複数の色画像信号のそれぞれにおける被写体像のボケ量と、光学系３から被写体までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部７と、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する距離算出部８と、撮像素子５が取得した複数の色画像信号と、距離算出部８によって算出された被写体までの距離とに基づいて、被写体の３次元画像を生成する３次元画像生成部９と、液晶パネル等の任意の情報を表示するための表示部１０と、使用者による操作を入力するための操作部１１と、外部デバイスとの通信を実行するための通信部１２と、測距カメラ１の各コンポーネント間のデータの授受を実行するためのデータバス１３とを備えている。

図２に示すように、本発明の測距カメラ１は、被写体（図２の例では、近接物体、中間物体、および遠方物体）の２次元画像を取得するとともに、測距カメラ１から各被写体までの距離を測定するために用いられる。以下、測距カメラ１の各コンポーネントについて詳述する。

制御部２は、データバス１３を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ１の制御を実行する。制御部２は、演算処理を実行するためのプロセッサーと、測距カメラ１の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部２のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ１の制御を実行する。また、制御部２のプロセッサーは、測距カメラ１の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部２のプロセッサーは、ボケ検出部６を用いることにより、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出するための処理を実行することができる。

制御部２のプロセッサーは、例えば、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、メモリーコントールユニット（ＭＣＵ）、画像処理用演算処理装置（ＧＰＵ）、状態機械、論理回路、特定用途向け集積回路（ＡＳＩＣ）、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部２のプロセッサーは、制御部２のメモリー内に保存されているコンピューター可読命令（例えば、データ、プログラム、モジュール等）をフェッチし、信号操作および制御を実行するよう構成されている。

制御部２のメモリーは、揮発性記憶媒体（例えば、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ）、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、光ディスク、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、磁気カセット、磁気テープ、磁気ディスク）、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。

光学系３は、被写体からの光を結像する機能を有する。光学系３は、１つ以上のレンズや絞り等の光学素子から構成され、被写体から入射してくる光を集光し、撮像素子５の撮像面上に被写体像を形成する。また、光学系３は、任意選択的に、オートフォーカス機能を提供するためのフォーカスレンズ、ズーム機能を提供するためのズームレンズ、および手振れ補正機能を提供するための手振れ補正レンズの少なくとも１つを含んでいてもよい。すなわち、光学系３は、被写体像を結像する機能のみを提供するよう構成されていてもよいし、該機能に加えて、追加的な機能として、オートフォーカス機能のみを提供するよう構成されていてもよく、該機能に加えて、追加的な機能として、オートフォーカス機能、ズーム機能、および手振れ補正機能の全てを提供するよう構成されていてもよい。光学系３が、オートフォーカス機能、ズーム機能、および手振れ補正機能の少なくとも１つを提供するよう構成されている場合、光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズは、光学系駆動部４によって駆動制御される。

本発明の測距カメラ１において、光学系３は、一般的な撮像用のカメラにおいて用いられる光学系と異なり、大きな色収差を有するよう構成されている。図３には、光学系３の色収差の概要が示されている。

光学系３の焦点距離は、光の波長に依存するので、波長の長い光（例えば、赤色光）に対しての焦点距離は長く、波長の短い光（例えば、青色光）に対しての焦点距離は短くなる。そのため、波長の長い光は、光学系３からより離間した位置で焦点を結び、波長の短い光は、光学系３により近い位置で焦点を結ぶ。

図３に示すように、被写体が点光源であり、かつ、撮像素子５の撮像面の位置が固定であると仮定すると、被写体が遠距離に位置する場合（図３（ａ）参照）、光学系３によって撮像素子５の撮像面上に結像される点像においては、波長の長い光のボケ量が比較的小さく、波長の短い光のボケ量が比較的大きくなる。また、被写体が中距離に位置する場合（図３（ｂ）参照）、光学系３によって撮像素子５の撮像面上に結像される点像においては、波長が中間程度の光（例えば、緑色光）のボケ量が比較的少なく、波長の長い光および波長の短い光のボケ量が比較的大きくなる。また、被写体が近距離に位置する場合（図３（ｃ）参照）、光学系３によって撮像素子５の撮像面上に結像される点像においては、波長の長い光のボケ量が比較的大きく、波長の短い光のボケ量が比較的小さくなる。

そのため、図３に示すように、光学系３から被写体までの距離に応じて、被写体の像（図３中では点像）のボケの様態が変化する。図３に示す例では、被写体が遠距離に位置する場合（図３（ａ）参照）、波長の短い光（青色光）のボケ量が最も大きく、波長が中間程度の光（緑色光）のボケ量が次に大きく、波長の長い光（赤色光）のボケ量が最も小さくなる。また、被写体が中距離に位置する場合（図３（ｂ）参照）、波長が中間程度の光（緑色光）のボケ量が最も小さく、波長が長い光（赤色光）と波長が短い光（青色光）のボケ量が、波長が中間程度の光（緑色光）のボケ量よりも大きくなっている。また、被写体が近距離に位置する場合（図３（ｃ）参照）、波長の短い光（青色光）のボケ量が最も小さく、波長が中間程度の光（緑色光）のボケ量が次に小さく、波長の長い光（赤色光）のボケ量が最も大きくなっている。

このように、比較的大きな色収差を有する光学系３を用いた場合、光学系３から被写体までの距離に応じて、結像される被写体像のボケの様態が大きく変化する。したがって、このような被写体像の各色間のボケ量の差を解析することにより、被写体までの距離を算出することが可能となる。

一般的な撮像用のカメラでは、複数のレンズの組み合わせにより色収差を極力小さくした光学系を用いることから、上述のような被写体までの距離に応じた被写体像の各色間のボケ量の差の変化は小さい。換言すれば、一般的な撮像用のカメラでは、全ての可視光領域の波長の光のボケ量の変化がほぼ同一となっており、被写体までの距離に応じた被写体像の各色間のボケ量の差の変化が小さい。

このように光学系の色収差を極力小さくすることは、撮像される被写体の画像の画質を向上させるためには必要であるが、一方、被写体までの距離に応じた被写体像の各色間のボケ量の差の変化が小さくなるため、色収差が小さい光学系を用いて取得された被写体の画像は、被写体までの距離を測定する用途には不向きである。

一方、本発明の測距カメラ１において用いられる光学系３は、上述のように、大きな色収差を有するよう構成されているので、被写体像の各色間のボケ量の差を解析することにより、被写体までの距離を正確に算出することができる。

図１に戻り、光学系駆動部４は、光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズを駆動させることにより、オートフォーカス機能、ズーム機能および／または手振れ補正機能を実現する機能を有している。光学系駆動部４は、例えば、光学系３のフォーカスレンズを光軸方向に移動させることにより光学系３のフォーカスを調整し、光学系３のズームレンズを光軸方向に移動させることにより光学系３の倍率を調整し、光学系３の手振れ補正レンズを光軸方向に対して垂直な方向に移動させることにより手振れを補正する。光学系駆動部４は、光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズを駆動させることができれば特に限定されないが、例えば、ＤＣモーター、ステッピングモーター、ボイスコイルモーター等のアクチュエーターにより構成することができる。

撮像素子５は、その撮像面にベイヤーパターンやハニカムパターン等の一定パターンで配列された複数のカラーフィルターを有しており、光学系３によって撮像面上に結像された被写体像を撮像することにより、複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する機能を有している。本実施形態では、撮像素子５が有する複数のカラーフィルターは、図４に示すような赤色画像信号用の赤色カラーフィルター、緑色画像信号用の緑色カラーフィルター、および青色画像信号用の青色カラーフィルターを含むベイヤー配列の原色系カラーフィルターであり、撮像素子５が被写体像を撮像することにより、被写体のカラー２次元画像を構成する複数の色画像信号（赤色画像信号、緑色画像信号、青色画像信号）を取得することができる。

なお、撮像素子５が有する複数のカラーフィルターは、被写体のカラー２次元画像を構成するための複数の色画像信号を取得することができれば特に限定されず、例えば、シアン画像信号用のカラーフィルター（Ｃフィルター）、マゼンダ画像信号用のカラーフィルター（Ｍフィルター）、およびイエロー画像信号用のカラーフィルター（Ｙフィルター）を含むベイヤー配列の補色系カラーフィルターであってもよい。

また、撮像素子５が有する複数のカラーフィルターは、原色系カラーフィルターを構成する複数のカラーフィルター、補色系カラーフィルターを構成する複数のカラーフィルター、およびその他任意のカラーフィルターのうちの少なくとも２つの組み合わせであってもよい。例えば、複数のカラーフィルターは、原色系カラーフィルターのうちの任意の２つであってもよいし補色系カラーフィルターのうちの任意の２つであってもよいし、原色系カラーフィルターのうちの１つ以上の任意のカラーフィルターと、補色系カラーフィルターのうちの１つ以上の任意のカラーフィルターとの組み合わせであってもよい。

また、複数のカラーフィルターは、上述の原色系カラーフィルターや補色系カラーフィルターに加えて、ホワイト（Ｗ）フィルターや、赤外線フィルター、紫外線フィルター、等の任意追加的なカラーフィルターを含んでいてもよい。この場合、複数のカラーフィルターの一定パターン（例えば、ベイヤーパターン）内に、上述の任意追加的なカラーフィルターが配置される。また、複数のカラーフィルターは、上述の原色系カラーフィルターや補色系カラーフィルターの前面または後面に配置されたＩＲ（赤外線）カットフィルターや紫外線カットフィルター等を含んでいてもよい。

前述のように、光学系３によって結像される被写体像においては、被写体から測距カメラ１（光学系３）までの距離に応じて、各色間のボケ量の差が大きく変化する。そのため、撮像素子５が被写体像を撮像することにより取得される複数の色画像信号（本実施形態では、赤色画像信号、緑色画像信号、および青色画像信号）の少なくとも２つにおける被写体像のボケ量を解析することにより、被写体から測距カメラ１（光学系３）までの距離を算出することができる。

なお、撮像素子５が光学系３によって結像された被写体像を撮像する前に、任意の色画像信号（例えば、緑色画像信号）における任意の被写体（例えば、近接物体、中間物体、および遠方物体のいずれか１つ）がベストフォーカスとなるように光学系駆動部４によるオートフォーカスが実行されてもよい。一般に、デフォーカスによる被写体像のボケ量の増加は、デフォーカス量が大きくなればなるほど緩やかになる。そのため、デフォーカス量が大きすぎると、被写体から測距カメラ１（光学系３）までの距離に応じた、被写体像の各色間のボケ量の差の変化が小さくなってしまい、被写体像の各色のボケ量に基づいて被写体までの距離を算出することが困難となってしまう。このような理由により、撮像素子５が光学系３によって結像された被写体像を撮像する前に、いずれかの色画像信号において、任意の被写体がベストフォーカスとなるように光学系駆動部４によるオートフォーカスを実行することが好ましい。これにより、被写体から測距カメラ１（光学系３）までの距離に応じた、被写体像の各色間のボケ量の差の変化を十分に大きくすることができる。

また、撮像素子５の撮像面において光学系３によって結像された被写体像が占める割合が小さく（すなわち、被写体像が小さいとき）、被写体像のボケ量を正確に検出できない場合は、光学系駆動部４による被写体に対するズームが実行されてもよい。これにより、被写体像の各色のボケ量を正確に検出することができる。

図１に戻り、ボケ検出部６は、撮像素子５が取得した複数の色画像信号（本実施形態では、赤色画像信号、緑色画像信号、および青色画像信号）のそれぞれにおける被写体像のボケ量を検出する機能を有している。

最初に、ボケ検出部６は、図５に示すように、撮像素子５が取得した複数の色画像信号のそれぞれに対して、Ｃａｎｎｙのようなフィルター処理を施し、複数の色画像信号のそれぞれにおける被写体のエッジ部を抽出する。その後、ボケ検出部６は、撮像素子５が取得した複数の色画像信号のそれぞれにおいて、互いに対応する被写体像のエッジ部、すなわち、同じ位置にある被写体像のエッジ部を検出する。さらに、ボケ検出部６は、複数の色画像信号のそれぞれにおいて、検出された同じ位置にある被写体像のエッジ部のボケ量を検出する。

前述のように、本発明の測距カメラ１において用いられる光学系３は、大きな色収差を有しているので、複数の色画像信号のそれぞれにおける被写体像のエッジ部のボケ量は、それぞれ大きく異なっている。

図６に示すように、被写体が遠方物体である場合には、被写体のエッジ部のボケ量（エッジ部のなまり度合）は、赤色画像信号で最も小さく、緑色画像信号で次に小さく、青色画像信号で最も大きい。また、被写体が中間物体である場合には、被写体のエッジ部のボケ量は、緑色画像信号で最も小さく、赤色画像信号および青色画像信号で同程度となっている。また、被写体が近接物体である場合には、被写体のエッジ部のボケ量は、青色画像信号で最も小さく、緑色画像信号で次に小さく、赤色画像信号で最も大きい。

このような複数の色画像信号のそれぞれにおける被写体像のエッジ部は、線像分布関数（ＬＳＦ：Line Spread Function）とみなすことができるので、複数の色画像信号のそれぞれにおける被写体像のエッジ部を、エッジ部が形成されている方向（エッジ部に対して垂直な方向）に微分することにより、各色画像信号における１次元の点像分布関数（ＰＳＦ：Point Spread Function）を取得することができる。この点像分布関数の半値全幅等の広がりを取得することにより、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出することができる。

なお、ボケ検出部６は、抽出した被写体像のエッジ部の全てに対してボケ量の検出を実行してもよいし、一部のエッジ部のみに対してボケ量の検出を実行してもよい。

図１に戻り、関連付情報記憶部７は、複数の色画像信号のそれぞれにおける被写体像のボケ量と、光学系３から被写体までの距離とを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体（例えば、ハードディスク、フラッシュメモリー）である。関連付情報記憶部７に保存されている関連付情報は、光学系３の色収差特性に基づいて事前に作成された、複数の色画像信号のそれぞれにおける被写体像のボケ量と、光学系３から被写体までの距離とを関連付ける情報である。

複数の色画像信号のそれぞれにおける被写体像のボケ量は、光学系３（測距カメラ１）から被写体までの距離に応じて変化する。複数の色画像信号のそれぞれにおける被写体像のボケ量は、以下のように、各カラーフィルターの主たる波長毎に算出される。

最初に、下記式（１）を用いて、基準となる光学系３のフォーカス調整時のＥＦＬ_ａが算出される。

ここで、ｆ（λ_ｒｅｆ）は、基準として用いる波長λ_ｒｅｆの光（例えば、波長５２７．０３９ｎｍの緑色の光）に対する光学系３の焦点距離であり、Ｌ_ａは、フォーカス調整時の被写体までの距離（一意の基準値）である。

なお、上記式（１）によって算出されたＥＦＬ_ａは、基準として用いた波長の光（上の例では、緑色の光）に対応する緑色画像信号用のボケ量算出のためだけでなく、赤色画像信号用のボケ量および青色画像信号用のボケ量の算出のためにも用いられる。すなわち、緑色画像信号用のボケ量、赤色画像信号用のボケ量、および青色画像信号用のボケ量の算出の全てにおいて、同じ値のＥＦＬ_ａが用いられる。

次に、下記式（２）を用いて、任意の距離に位置する被写体に対してのＥＦＬ_ｍ（λ）が算出される。

ここで、ｆ（λ）は、各カラーフィルターの最も光の透過率の高い波長λ（緑色カラーフィルターであれば、緑色の光の波長、赤色カラーフィルターであれば、赤色の光の波長、青色カラーフィルターであれば、青色の光の波長）に対する光学系３の焦点距離であり、Ｌ_ｍは、光学系３（測距カメラ１）から被写体までの距離（任意の変動値）である。なお、ここで算出されるＥＦＬ_ｍ（λ）は、各色画像信号用に算出され、互いに異なる各色用のＥＦＬ_ｍ（λ）（すなわち、赤色画像信号用のＥＦＬ_ｍ（Ｒ）、緑色画像信号用のＥＦＬ_ｍ（Ｇ）、および青色画像信号用のＥＦＬ_ｍ（Ｂ））が取得される。

算出されたＥＦＬ_ｍ（λ）とＥＦＬ_ａとの差ΔＥＦＬ＝ＥＦＬ_ｍ（λ）−ＥＦＬ_ａから、下記式（３）によって、光学系３（測距カメラ１）から被写体までの距離に応じて変化する、各色画像信号用の被写体像のボケ量Ｂｋ（λ）が算出される。

ここで、Ｆ_ＮＯは、光学系３のＦナンバーである。

このような手順により、光学系３（測距カメラ１）から被写体までの距離に応じて変化する、緑色画像信号用の被写体像のボケ量Ｂｋ（Ｇ）、赤色画像信号用の被写体像のボケ量Ｂｋ（Ｒ）、および青色画像信号用の被写体像のボケ量Ｂｋ（Ｂ）が算出される。ここで算出されるボケ量Ｂｋ（Ｒ）、Ｂｋ（Ｇ）、およびＢｋ（Ｂ）は、フォーカス調整時のＥＦＬ_ａを算出する際に用いた波長λ_ｒｅｆの光に対応する色画像信号（上の例では、緑色画像信号）におけるベストピント時の被写体のボケ量を基準とした相対的なボケ量であって、被写体までの距離に応じて変化する。

図７には、このようにして算出された赤色画像信号用の被写体像のボケ量Ｂｋ（Ｒ）、緑色画像信号用の被写体像のボケ量Ｂｋ（Ｇ）および青色画像信号用の被写体像のボケ量Ｂｋ（Ｂ）と、被写体までの距離Ｌｍの１例が示されている。

このようにして算出された赤色画像信号用の被写体像のボケ量Ｂｋ（Ｒ）、緑色画像信号用の被写体像のボケ量Ｂｋ（Ｇ）および青色画像信号用の被写体像のボケ量Ｂｋ（Ｂ）と被写体までの距離と関連付けることにより関連付情報が作成される。関連付情報の形式は特に限定されないが、例えば、被写体までの距離と、複数の色画像信号のそれぞれにおける被写体像のボケ量とを関連付けたテーブル形式で関連付情報を構成することができる。この場合、関連付情報は、任意の被写体までの距離と、複数の色画像信号のそれぞれにおける被写体像のボケ量Ｂｋ（λ）とを一意に関連付けたテーブル（例えば、被写体までの距離が１ｍのときのテーブル、１．５ｍのときのテーブル等）を複数含む。このような関連付情報は、測距カメラ１の製造時または出荷時に、関連付情報記憶部７内に記憶される。

これにより、ボケ検出部６が算出した複数の色画像信号のそれぞれにおける被写体像のボケ量と、関連付情報記憶部７内に保存されている関連付情報の複数の色画像信号のそれぞれにおける被写体像のボケ量とを照合することにより、被写体までの距離を算出することが可能となる。

図１に戻り、距離算出部８は、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する機能を有する。より具体的には、距離算出部８は、ボケ検出部６によって算出された複数の色画像信号のそれぞれにおける被写体像のエッジ部のボケ量と、関連付情報記憶部７内の関連付情報の複数の色画像信号のそれぞれにおける被写体像のボケ量とを照合することにより、被写体のエッジ部までの距離を算出（特定）する。

なお、距離算出部８は、全ての色画像信号（すなわち、赤色画像信号、緑色画像信号、および青色画像信号の３種類）の被写体像のボケ量に基づいて、被写体までの距離を算出してもよいが、複数の色画像信号のうちの少なくとも２つの色画像信号の被写体像のボケ量に基づいて、被写体までの距離を算出することができる。

少なくとも２つの色画像信号の被写体像のボケ量に基づいて被写体までの距離を算出する場合、波長差の大きい光によって取得された赤色画像信号と青色画像信号の被写体像のボケ量に基づいて、被写体までの距離を算出することが好ましい。

このような被写体までの距離の算出は、被写体のエッジ部毎に実行される。距離算出部８は、被写体の全てのエッジ部に対して距離の算出を実行してもよいし、一部のエッジ部に対してのみ距離の算出を実行してもよい。距離算出部８は、算出した被写体までの距離に基づいて、図８に示すような被写体の距離画像を生成する。

図１に戻り、３次元画像生成部９は、距離算出部８によって算出された被写体までの距離と、撮像素子５が取得した複数の色画像信号から構成される被写体の２次元画像に基づいて、図９に示すように、被写体の３次元画像を生成する機能を有している。ここで言う「被写体の３次元画像」とは、通常の被写体のカラー２次元画像のピクセルに対して、算出された被写体の距離が関連付けられているデータを意味する。

なお、被写体の３次元画像においては、被写体の２次元画像の全てのピクセルに、算出された被写体の距離が関連付けられていてもよいし、被写体の２次元画像の一部のピクセルだけに、算出された被写体の距離が関連付けられていてもよい。例えば、被写体の２次元画像のエッジ部にのみ、算出された被写体の距離が関連付けられていてもよい。

表示部１０は、液晶表示部等のパネル型表示部であり、制御部２のプロセッサーからの信号に応じて、撮像素子５によって取得された被写体の２次元画像、距離算出部８によって生成された被写体の距離画像、３次元画像生成部９によって生成された被写体の３次元画像のような画像、測距カメラ１を操作するための情報等が文字または画像の様態で表示部１０に表示される。

操作部１１は、測距カメラ１の使用者が操作を実行するために用いられる。操作部１１は、測距カメラ１の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部１１として用いることができる。操作部１１は、測距カメラ１の使用者による操作に応じた信号を制御部２のプロセッサーに送信する。

通信部１２は、測距カメラ１に対するデータの入力または測距カメラ１から外部デバイスへのデータの出力を行う機能を有している。通信部１２は、インターネットのようなネットワークに接続されていてもよい。この場合、測距カメラ１は、通信部１２を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。

なお、本実施形態においては、複数のカラーフィルターは、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターから構成される原色系カラーフィルターを含んでいるが、本発明はこれに限られない。上述のように、距離算出部８は、少なくとも２つの色画像信号（好ましくは、赤色画像信号と青色画像信号）の被写体像のボケ量に基づいて、被写体までの距離を算出することができる。そのため、本実施形態の測距カメラ１が被写体までの距離を算出するためには、撮像素子５が、複数のカラーフィルターとして、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターのうちの少なくとも２つ、好ましくは、少なくとも赤色カラーフィルターと青色カラーフィルターを有していればよい。撮像素子５が、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターのうちの２つ、好ましくは、赤色カラーフィルターと青色カラーフィルターの２種類のカラーフィルターのみを有しているような様態も、本発明の範囲内である。なお、撮像素子５が２種類のカラーフィルターのみを有している場合、複数の色画像信号は、該２種類のカラーフィルターに対応した２種類の色画像信号を含む。

＜第２実施形態＞
次に、図１０および図１１を参照して、本発明の第２実施形態に係る測距カメラ１について詳述する。図１０は、本発明の第２実施形態に係る測距カメラの撮像素子が有するカラーフィルターの特性を示す図である。図１１は、本発明の第２実施形態に係る測距カメラにおいて用いられるバンドパスフィルターの透過波長帯の調整を説明するための図である。

以下、第２実施形態の測距カメラ１について、第１実施形態の測距カメラ１との相違点を中心に説明し、同様の事項については、その説明を省略する。第２実施形態の測距カメラ１では、撮像素子５の複数のカラーフィルターが、複数のバンドパスフィルターをさらに含み、撮像素子５によって取得される複数の色画像信号が、複数のバンドパス画像信号をさらに含んでいる点を除き、第１実施形態の測距カメラ１と同様である。

図１０に示すように、本発明の第２実施形態に係る測距カメラ１の撮像素子５は、第１実施形態と同様の赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターから構成される原色系カラーフィルターに加え、赤色用、緑色用、および青色用のバンドパスフィルターをさらに含んでいる。したがって、本実施形態の撮像素子５によって取得される複数の色画像信号は、第１実施形態と同様の赤色画像信号、緑色画像信号、および青色画像信号に加えて、複数のバンドパスフィルターのそれぞれを通過する光によって得られた複数のバンドパス画像信号（赤色バンドパス画像信号、緑色バンドパス画像信号、および青色バンドパス画像信号）を含んでいる。

ここでいうバンドパスフィルターとは、特定の波長帯の光のみを透過させ、それ以外の波長帯の光を実質的に遮断するカラーフィルターを意味する。図１０に示すように、赤色用、緑色用、および青色用のバンドパスフィルターのそれぞれの特定の波長帯（透過波長帯）は互いに異なっており、重複していない。

複数のバンドパスフィルターのそれぞれは、原色系カラーフィルターのベイヤーパターン等の一定パターン内に組み込まれていてもよいし、原色系カラーフィルターの一部の前面上または後面上に設けられていてもよい。例えば、赤色用のバンドパスフィルターが赤色カラーフィルターの一部の前面上または後面上に設けられており、緑色用のバンドパスフィルターが緑色カラーフィルターの一部の前面上または後面上に設けられており、青色用のバンドパスフィルターが青色カラーフィルターの一部の前面上または後面上に設けられていてもよい。

なお、本実施形態では、撮像素子５は、原色系カラーフィルターに加え、赤色用、緑色用、および青色用の３種類のバンドパスフィルターをさらに備えているが、本発明はこれに限られず、撮像素子５は、原色系カラーフィルターに加え、少なくとも２種類のバンドパスフィルターをさらに備えていればよい。

図１０に示すように、一般的な撮像用のカメラで用いられる原色系カラーフィルターは、透過波長帯が広い。そのため、例えば、赤色画像信号用の赤色カラーフィルターを通過する光は、赤色光だけでなく、緑色光や青色光も含んだ混色光となっている。一方、関連付情報を生成する際に、各波長の光毎に理論的に算出されたボケ量は、光が単色光または実質的に単色光であることを前提として算出されている。そのため、原色系カラーフィルターを通過する混色光を撮像することによって得られた色画像信号における被写体の実際のボケ量は、各波長の光毎に算出された理論上のボケ量と異なってしまう。このような実際のボケ量と理論上のボケ量の差は、被写体までの距離の算出精度を低下させる原因となる。

そこで、本実施形態においては、原色系カラーフィルターを通過した光によって得られた複数の色画像信号（赤色画像信号、緑色画像信号、および青色画像信号）を、被写体の２次元画像信号を構成するために用い、少なくとも２種類のバンドパスフィルターを通過した光によって得られたバンドパス画像信号を、被写体までの距離を算出するために用いている。

バンドパスフィルターを通過した光は、単色光なので、バンドパスフィルターを通過する単色光を撮像することによって得られたバンドパス画像信号における被写体の実際のボケ量と、各波長の光毎に算出された理論上のボケ量との差は非常に小さい。そのため、本実施形態の測距カメラ１の距離算出部８は、少なくとも２つのバンドパス画像信号に基づいて、被写体までの距離を、より高い精度で算出することができる。

また、少なくとも２つのバンドパス画像信号の被写体像のボケ量に基づいて被写体までの距離を算出する場合、波長差の大きい赤色バンドパス画像信号と青色バンドパス画像信号の被写体像のボケ量に基づいて、被写体までの距離を算出することが好ましい。

また、図１１に示すように、各バンドパスフィルターの透過波長帯を調整し、各バンドパス画像信号間の色収差による被写体像のボケ量の差を大きくしてもよい。図１１の例では、赤色バンドパス画像信号と青色バンドパス画像信号における被写体像のボケ量の差を大きくするために、赤色用のバンドパスフィルターの透過波長帯が長波長側にシフトされ、青色用のバンドパスフィルターの透過波長帯が短波長側にシフトされている。これにより、各バンドパス画像信号間の色収差による被写体像のボケ量の差が大きくなり、測距カメラ１の距離算出部８は、少なくとも２つのバンドパス画像信号に基づいて、被写体までの距離を、より高い精度で算出することが可能となる。

また、本実施形態において用いられる複数のカラーフィルターは、可視光波長領域に対応する原色カラーフィルターおよび原色カラーフィルターの各色に対応するバンドパスフィルターを含んでいるが、本発明はこれに限られない。例えば、複数のカラーフィルターは、赤外線波長帯や紫外線波長帯等の不可視光領域に対応するカラーフィルターおよび／またはバンドパスフィルター（例えば、赤外線用カラーフィルターおよび赤外線用バンドパスフィルター、および／または、紫外線用カラーフィルターおよび紫外線用バンドパスフィルター）をさらに含んでいてもよい。また、複数のカラーフィルターが、原色系カラーフィルターと、赤外線波長帯や紫外線波長帯等の不可視光領域に対応するカラーフィルターおよび／またはバンドパスフィルターとを含むような様態もまた、本発明の範囲内である。

これにより、不可視光に対応するカラーフィルターまたはバンドパスフィルターを通過した光によって取得された色画像信号（例えば、赤外線画像信号、紫外線画像信号、赤外線バンドパス画像、紫外線バンドパス画像）を用いた、被写体までの距離の算出が可能となる。例えば、赤外線画像信号を用いて被写体までの距離を算出する場合、夜間であっても被写体までの距離を算出することが可能となる。

また、上述のように、本実施形態の測距カメラ１は、少なくとも２つのバンドパス画像信号（好ましくは、赤色バンドパス画像信号と青色バンドパス画像信号）の被写体像のボケ量に基づいて、被写体までの距離を算出することができる。そのため、本実施形態の測距カメラ１が被写体までの距離を算出するためには、撮像素子５が、複数のカラーフィルターとして、少なくとも２種類のバンドパスフィルター（好ましくは、赤色用バンドパスフィルターおよび青色用バンドパスフィルター）を有していればよい。撮像素子５が、２種類のバンドパスフィルター、好ましくは、赤色用バンドパスフィルターと青色用バンドパスフィルターの２種類のバンドパスフィルターのみを有しているような様態も、本発明の範囲内である。

また、上述の第１および第２実施形態において、複数のカラーフィルターは、赤色カラーフィルター、緑色カラーフィルター、および青色カラーフィルターから構成される原色系カラーフィルターを含んでいるが、本発明はこれに限られない。例えば、撮像素子５は、原色系カラーフィルターを有さず、複数のカラーフィルターとして、赤外線領域において互いに異なる感度を有する少なくとも２つの赤外線用カラーフィルター（または赤外線用バンドパスフィルター）を有していてもよい。この場合、撮像素子５は、その撮像面上に、赤外線領域にそれぞれ異なる感度を有する少なくとも２つのカラーフィルターを搭載したカスタム撮像素子である。

このような撮像素子５を用いた測距カメラ１は、赤外線領域において互いに異なる感度を有する少なくとも２つの赤外線用カラーフィルター（または赤外線用バンドパスフィルター）を通過した光によって取得された少なくとも２つの色画像信号（例えば、第１の赤外線画像信号および第２の赤外線画像信号）を用いて、被写体までの距離を算出する。これにより、可視光の光量が極めて少ない暗所や夜であっても、測距カメラ１を用いて、被写体までの距離を測定することができる。

ここまで詳述したように、本発明の測距カメラ１は、複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出することができる。

また、測距カメラ１は、１対の光学系３と撮像素子５から取得した１枚の被写体の画像だけで、被写体までの距離を測定することができるため、光学系と撮像素子の組み合わせを複数対用いる必要がない。そのため、ステレオカメラ方式の測距カメラと比較して、測距カメラ１の小型化、低消費電力化、および低コスト化が可能である。また、測距カメラ１では、ステレオカメラ方式の測距カメラとは異なり、視差のある画像を用いないので、従来のステレオカメラ方式の測距カメラにおいて３次元画像を生成する際に実行される視差を修正するためのフィッティング処理が不要である。そのため、３次元画像を生成するための処理時間の短縮、および、消費電力の削減が可能である。

また、測距カメラ１では、パターン照射方式の測距カメラと異なり、一定パターンを被写体に照射するプロジェクター等の特殊な光源を用いる必要がない。そのため、測距カメラ１のシステムの構成をシンプルにすることができる。また、パターン照射方式の測距カメラでは、１度の撮像で、一定パターンが照射された状態の被写体の画像と一定パターンが照射されていない状態の被写体の画像の双方を取得することができないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得を１度の撮像で実行することはできない。一方、本発明の測距カメラ１では、一定パターンを被写体に照射する必要がないため、被写体までの距離の測定と、一定パターンが照射されていない被写体の画像の取得とを１度の撮像で実行することができる。

また、測距カメラ１では、ＤＦＤ方式の測距カメラと異なり、プリズムやハーフミラー等の光の光路長を変えるための光学部品を用いる必要がない。そのため、測距カメラ１のシステムの構成をシンプルにすることができる。また、測距カメラ１では、ＤＦＤ方式の測距カメラと異なり、複数の色画像信号から得た被写体のボケ量に関する情報を被写体までの距離を測定するために用いている。そのため、１枚の画像から得た被写体のボケ量に関する情報に基づいて被写体までの距離を推定するＤＦＤ方式の測距カメラと比較して、測距カメラ１は、被写体の画像のノイズの影響を受けにくい。

＜測距方法＞
次に図１２を参照して、本発明の測距方法について説明する。図１２は、本発明の測距方法を示すフローチャートである。なお、本発明の測距方法は、上述した本発明の測距カメラ１および本発明の測距カメラ１と同等の機能を有する任意の装置を用いて実行することができるが、説明のため、測距カメラ１を用いて実行されるものとして説明する。

図１２に示す測距方法Ｓ１００は、測距カメラ１の使用者が操作部１１を用いて、被写体までの距離を測定するための操作を実行することにより開始される。工程Ｓ１１０において、任意の色画像信号（例えば、緑色画像信号）における任意の被写体がベストフォーカスとなるように光学系駆動部４によるオートフォーカスが実行される。また、撮像素子５の撮像面において光学系３によって結像された被写体像が占める割合が小さく（すなわち、被写体像が小さいとき）、被写体像のボケ量を正確に検出できない場合は、光学系駆動部４によるズームが実行される。なお、測距カメラ１の光学系３がオートフォーカス機能やズーム機能を提供するよう構成されていない場合には、工程Ｓ１１０は省略される。

次に、工程Ｓ１２０において、撮像素子５が、光学系３によって撮像面上に結像された被写体像を撮像することにより、撮像素子５が有する複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する。この際、光学系３が手振れ補正機能を提供するよう構成されている場合には、光学系駆動部４による手振れ補正が実行されてもよい。これにより、手振れに起因する被写体像のボケによって、複数の色画像信号のそれぞれにおける光学系３の色収差による被写体像のボケ量が正確に検出できなくなることを防止することができる。

工程Ｓ１２０において複数の色画像信号が取得されると、処理は、工程Ｓ１３０に移行する。工程Ｓ１３０において、ボケ検出部６は、複数の色画像信号のそれぞれにおける被写体像のボケ量を検出する。より具体的には、ボケ検出部６は、最初に、撮像素子５が取得した複数の色画像信号のそれぞれに対して、Ｃａｎｎｙのようなフィルター処理を施し、複数の色画像信号のそれぞれにおける被写体のエッジ部を抽出する。次に、ボケ検出部６は、複数の色画像信号のそれぞれにおいて、互いに対応する被写体像のエッジ部、すなわち、同じ位置にある被写体像のエッジ部を検出し、さらに、検出された同じ位置にある被写体像のエッジ部のボケ量を検出する。

なお、工程Ｓ１３０における被写体のエッジ部のボケ量の検出は、抽出された被写体のエッジ部の全てに対して実行されてもよいし、抽出された被写体のエッジ部の一部に対してのみ実行されてもよい。

工程Ｓ１３０において複数の色画像信号のそれぞれにおける被写体像のボケ量が検出されると、処理は、工程Ｓ１４０に移行する。工程Ｓ１４０において、距離算出部８は、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のボケ量に基づいて、被写体までの距離を算出する。より具体的には、距離算出部８は、ボケ検出部６によって検出された複数の色画像信号のそれぞれにおける被写体像のエッジ部のボケ量と、関連付情報記憶部７内の関連付情報の複数の色画像信号のそれぞれにおける被写体像のボケ量とを照合することにより、被写体のエッジ部までの距離を算出する。

工程Ｓ１４０において被写体までの距離が算出されると、処理は、工程Ｓ１５０に移行する。工程Ｓ１５０において、３次元画像生成部９が、距離算出部８によって算出された被写体までの距離と、撮像素子５が取得した複数の色画像信号から構成される被写体の２次元画像に基づいて、被写体の３次元画像を生成する。その後、ここまでの工程において生成された被写体の２次元画像、被写体の距離画像、および／または被写体の３次元画像が、表示部１０に表示され、または通信部１２によって外部デバイスに送信され、測距方法Ｓ１００は終了する。

以上、本発明の測距カメラおよび測距方法を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。

例えば、図１に示された測距カメラ１のコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された様態も、本発明の範囲内である。また、測距カメラ１の各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。

また、図１２に示された測距方法Ｓ１００の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される様態も、本発明の範囲内である。

＜測距システム＞
上述の説明では、本発明の測距方法Ｓ１００は、測距カメラ１によって実行されるものとして説明したが、本発明の測距方法Ｓ１００および本発明の測距方法Ｓ１００と同等の効果を奏する測距方法は、図１３および図１４に示すような測距システムによっても実行することができる。

以下、図１３および図１４を参照して、本発明の測距方法Ｓ１００を実行可能な測距システムについて説明する。図１３は、測距システムの１例を概略的に示す図である。図１４は、測距システムの別の例を概略的に示す図である。

図１３に示す測距システムは、被写体に対しそれぞれ異なる単色光を照射するための複数のプロジェクターと、複数のプロジェクターのそれぞれによって単色光が照射された状態の被写体を撮像する測距カメラとから構成されている。

図示の例では、複数のプロジェクターは、赤色の単色光を被写体に照射するための赤色光用プロジェクターと、緑色の単色光を被写体に照射するための緑色光用プロジェクターと、青色の単色光を被写体に照射するための青色光用プロジェクターとを含んでいる。

測距カメラは、本発明の測距カメラ１の光学系３と同様の大きな色収差を有する光学系と、該光学系により結像された被写体像を撮像し、被写体の２次元画像を取得するための撮像素子を備えている。この撮像素子は、カラーフィルターを有しておらず、この撮像素子によって取得される被写体の２次元画像は、白黒画像である。

複数のプロジェクターのそれぞれの照射タイミングと、測距カメラの撮像素子の撮像タイミングとを同期させ、被写体を撮像することにより、赤色画像信号、緑色画像信号、および青色画像信号のそれぞれが個別に取得される。具体的には、赤色光用プロジェクターのみを起動した状態で、被写体を撮像することにより、赤色画像信号を取得することができ、緑色光用プロジェクターのみを起動した状態で、被写体を撮像することにより、緑色画像信号を取得することができ、青色光用プロジェクターのみを起動した状態で、被写体を撮像することにより、青色画像信号を取得することができる。

本照射システムの測距カメラにおいて用いられる光学系は、上述のように大きな色収差を有しているので、被写体までの距離に応じた被写体像の各色間のボケ量の差が大きい。そのため、上述のように取得した複数の色画像信号のそれぞれにおける被写体像のボケ量を、本発明の測距カメラ１と同様の方法により解析することにより、被写体までの距離を算出することができる。

図１４に示す測距システムは、被写体からの光を分光するための分光プリズムと、分光プリズムによって分光された被写体からの光を撮像するための複数の撮像素子とから構成されている。なお、分光プリズムと複数の撮像素子は、本発明の測距カメラ１の光学系３と同様の大きな色収差を有する光学系を備える測距カメラ内に設けられている。

被写体からの光は、分光プリズムによって赤色光、緑色光、および青色光に分光され、分光された各光の光路上に、各色用の撮像素子（赤色光用撮像素子、緑色光用撮像素子、および青色光用撮像素子）が配置されている。本照射システムにおいて用いられる複数の撮像素子のそれぞれは、カラーフィルターを有しておらず、この撮像素子によって取得される被写体の２次元画像は、白黒画像である。

被写体からの光は分光プリズムによって分光されるので、各色用の撮像素子に入射する光はすべて単色光である。すなわち、赤色光用撮像素子に入射される光は赤色光であり、緑色光用撮像素子に入射される光は緑色光であり、青色光用撮像素子に入射される光は青色光である。各色用の撮像素子のそれぞれから、それぞれ異なる色画像信号（赤色画像信号、緑色画像信号、および青色画像信号）が取得される。

本照射システムの測距カメラにおいて用いられる光学系は、上述のように大きな色収差を有しているので、被写体までの距離に応じた被写体像の各色間のボケ量の差が大きい。そのため、上述のように取得した複数の色画像信号のそれぞれにおける被写体像のボケ量を、本発明の測距カメラ１と同様の方法により解析することにより、被写体までの距離を算出することができる。

＜利用例＞
本発明の測距カメラ１および測距方法Ｓ１００の利用例は特に限定されないが、例えば、被写体のポートレートを撮像するとともに、被写体の顔の３次元画像を取得するために、測距カメラ１および測距方法Ｓ１００を用いることができる。このような利用様態では、本発明の測距カメラ１をスマートフォンや携帯電話等のモバイルデバイス内に組み込むことが好ましい。

また、本発明の測距カメラ１および測距方法Ｓ１００は、精密機器の組み立てや検査のために用いられるハンドラーロボットにおいて利用することができる。測距カメラ１および測距方法Ｓ１００によれば、精密機器を組み立てる際に、ハンドラーロボット本体またはハンドラーロボットのアームから、精密機器または精密機器の部品までの距離を測定することができることから、ハンドラーロボットの把持部によって正確に部品を把持することができる。

また、本発明の測距カメラ１および測距方法Ｓ１００によれば、被写体までの距離を測定することができることから、被写体の３次元情報を取得することができる。このような被写体の３次元情報は、３Ｄプリンターによる３次元構造体の作製に用いることができる。

また、自動車内において、本発明の測距カメラ１を利用することにより、自動車から歩行者や障害物等の任意の物体までの距離を測定することができる。算出された任意の物体までの距離に関する情報は、自動車の自動ブレーキシステムや自動運転に用いることができる。

以上、本発明の測距カメラおよび測距方法の利用例について説明したが、本発明の測距カメラおよび測距方法の利用は、上述の例に限られるものではない。本分野における当業者が想到し得る様々な用途において、本発明の測距カメラおよび測距方法を利用することができる。

１…測距カメラ ２…制御部 ３…光学系 ４…光学系駆動部 ５…撮像素子 ６…ボケ検出部 ７…関連付情報記憶部 ８…距離算出部 ９…３次元画像生成部 １０…表示部 １１…操作部 １２…通信部 １３…データバス Ｓ１００…測距方法 Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０…工程

Claims (8)

1. 被写体からの光を結像する光学系と、
   複数のカラーフィルターを有し、前記光学系により結像された被写体像を撮像し、前記複数のカラーフィルターのそれぞれに対応する複数の色画像信号を取得する撮像素子と、
   前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出するボケ検出部と、
   前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する距離算出部と、を備えることを特徴とする測距カメラ。
2. 前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記光学系から前記被写体までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部をさらに備え、
   前記距離算出部は、前記ボケ検出部によって算出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量と、前記関連付情報記憶部内の前記関連付情報とに基づいて、前記被写体までの前記距離を算出する請求項１に記載の測距カメラ。
3. 前記複数の色画像信号は、赤色画像信号と、緑色画像信号と、青色画像信号との少なくとも２つを含み、
   前記複数のカラーフィルターは、前記赤色画像信号用の赤色カラーフィルターと、前記緑色画像信号用の緑色カラーフィルターと、前記青色画像信号用の青色カラーフィルターとのうち、前記赤色画像信号、前記緑色画像信号、および前記青色画像信号の前記少なくとも２つに対応する少なくとも２つを含む請求項１または２に記載の測距カメラ。
4. 前記複数のカラーフィルターは、特定の波長帯の光のみを透過させ、それ以外の波長帯の光を実質的に遮断する複数のバンドパスフィルターをさらに含み、
   前記複数のバンドパスフィルターのそれぞれの前記特定の波長帯は、互いに異なっており、
   前記複数の色画像信号は、前記複数のバンドパスフィルターのそれぞれを通過する光によって得られた複数のバンドパス画像信号を含む請求項３に記載の測距カメラ。
5. 前記複数のカラーフィルターは、赤外線用カラーフィルターまたは紫外線用カラーフィルターの少なくとも一方をさらに含み、
   前記複数の色画像信号は、赤外線画像信号と紫外線画像信号の少なくとも一方をさらに含む請求項３または４に記載の測距カメラ。
6. 前記ボケ検出部は、前記複数の色画像信号のそれぞれにおいて、前記被写体像のエッジ部を抽出し、さらに、前記複数の色画像信号のそれぞれにおいて抽出された前記被写体像の前記エッジ部のボケ量を検出し、
   前記距離算出部は、前記ボケ検出部によって検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記エッジ部の前記ボケ量に基づいて、前記被写体の前記エッジ部までの距離を算出する請求項１ないし５のいずれかに記載の測距カメラ。
7. 前記撮像素子が取得した前記複数の色画像信号と、前記距離算出部によって測定された前記被写体までの前記距離とに基づいて、前記被写体の３次元画像を生成する３次元画像生成部をさらに備える請求項１ないし６のいずれかに記載の測距カメラ。
8. 被写体までの距離を測定するための測距方法であって、
   光学系を用いて、前記被写体からの光を結像する工程と、
   撮像素子を用いて、結像された被写体像の複数の色画像信号を取得する工程と、
   プロセッサーを用いて、前記複数の色画像信号のそれぞれにおける前記被写体像のボケ量を検出する工程と、
   前記プロセッサーを用いて、検出された前記複数の色画像信号のそれぞれにおける前記被写体像の前記ボケ量に基づいて、前記被写体までの距離を算出する工程と、を備えることを特徴とする測距方法。

Images