JP2014062748A - 移動物体の位置検出装置及び方法 - Google Patents

Abstract

【課題】単一の撮像手段を有する簡便な撮像装置と画像処理だけで、撮影範囲内を移動する移動物体の時々刻々の３次元位置等を計測可能にする。
【解決手段】多焦点レンズ１２と瞳指向センサ１６とにより５つの合焦距離ｄ１〜ｄ５の画像を同時に、かつ所定の時間間隔で連続して画像（５つの動画）を取得する。移動物体は、これらの合焦距離ｄ１〜ｄ５上の合焦面上を通過することになる。したがって、同時に、かつ所定の時間間隔で連続して画像から移動物体を抽出し、移動物体が合焦している画像の合焦距離等から移動物体の多焦点レンズ１２の光軸方向の位置（ｚ位置）を検出し、この検出された移動物体の多焦点レンズ１２の光軸方向と直交する画像内の移動物体のｚ位置に基づいて移動物体の多焦点レンズ１２の光軸方向と直交する面内の２次元位置（ｘｙ位置）を検出する。
【選択図】 図３

Description

本発明は移動物体の位置検出装置及び方法に係り、特に移動物体の３次元空間上の位置を検出する技術に関する。

特許文献１には、合焦距離が異なる複数の撮像部から被写体像の像倍率は略同一で合焦距離のみが異なる複数の画像を取得し、その焦点のボケ状態の違いから被写体の距離を推定する被写体距離計測装置が記載されている。

特許文献２には、撮影範囲内に設けられた複数の測距エリアのそれぞれにおいて被写体距離、被写体距離間の差、被写体速度等を算出し、算出結果を映像上に表示する撮影システムが記載されている。この撮影システムは、レンズ装置の像面側に設けたハーフミラーにより被写体からの光束を分割し、複数対の二次結像レンズと、複数の測距エリアに対応する複数対のラインセンサ（位相差センサ）としてのＡＦセンサとを含む焦点検出部により、複数の測距エリア内の被写体像の位相差を検出し、検出した位相差に基づいて得られたデフォーカス量と現在のフォーカスレンズ位置とを用いて、各測距エリアでの被写体距離を算出するようにしている。

特許文献３には、目標物体の実際の移動距離や移動速度、例えばボールの飛んだ距離、速度等を、移動前のボールの大きさと移動後のボールの大きさ、及び移動前のボールと移動後のボールとの２点間の距離（メモリの座標）から求めるカメラ一体型ビデオテープレコーダが記載されている。

一方、特許文献４には、焦点距離が異なる領域を有する多焦点レンズを通過した光束を瞳分割し、瞳指向センサにより焦点距離が異なる複数の画像を同時に撮像する撮像装置が記載されている。

特開２０１０−２４９７９４号公報 特開２０１０−１１４５４７号公報 特開平０５−９３６１０号公報 特開２０１２−８８６９６号公報

特許文献１に記載の被写体距離計測装置は、複数の撮像部を有しており、また、被写体の速度を計測することはできない。

特許文献２に記載の撮影システムは、レンズ装置の像面側に設けたハーフミラーや複数対の二次結像レンズと複数の測距エリアに対応する複数対のラインセンサを含む焦点検出部を必要としており、装置が大型化するという問題がある。

特許文献３に記載の発明は、目標物体が移動前後で被写界深度内にあり、また、移動前後の目標物体の大きさ等により目標物体の移動距離や移動速度を求めており、目標物体が移動前後で被写界深度内に入っており、また、目標物体の形状はボールのように特定のものに限られる。

特許文献４に記載に撮像装置は、単一の撮像部により合焦距離が異なる複数の画像を同時に撮像することができるが、特許文献４には、移動物体の位置検出に関する記載はない。

本発明はこのような事情に鑑みてなされたもので、単一の撮像手段を有する簡便な撮像装置と画像処理だけで、撮影範囲内を移動する移動物体の時々刻々の３次元位置等を計測することができる移動物体の位置検出装置及び方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る移動物体の位置検出装は、複数の合焦距離の被写体に対して合焦可能な多焦点の撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサとを有する単一の撮像手段と、撮像手段により撮影された複数の合焦距離別の複数の画像をそれぞれ同時に、かつ連続して取得する画像取得手段と、画像取得手段により同時に、かつ連続して取得した画像に基づいて画像内の移動物体の３次元空間上の位置を検出する３次元位置検出手段と、を備えている。

本発明の一の態様によれば、単一の撮像手段を有する簡便な撮像手段から複数の合焦距離別の複数の画像をそれぞれ同時に、かつ連続して取得することができる。そして、単一の撮像手段から同時に、かつ連続して取得した複数の合焦距離別の複数の画像を解析することにより撮影範囲内を移動する移動物体の時々刻々の３次元位置を計測するようにしている。

本発明の他の態様に係る移動物体の位置検出装置において、３次元位置検出手段は、画像取得手段により同時に取得した合焦距離の異なる複数の画像に基づいて複数の画像における移動物体の合焦度合いを検出する合焦度合い検出手段と、検出された合焦度合いに基づいて移動物体が合焦している画像の合焦距離、又は最も合焦度合いが高くなる画像を含む近傍の合焦距離の画像から推定した合焦すべき合焦距離を、移動物体の撮影光学系の光軸方向の位置として検出する第１の位置検出手段と、第１の位置検出手段により検出された移動物体の撮影光学系の光軸方向の位置と直交する画像内の移動物体の位置に基づいて移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する第２の位置検出手段と、を有している。

即ち、連続撮影中の或る撮影時刻に同時に取得した合焦距離の異なる複数の画像に着目し、複数の画像に基づいて移動物体が合焦している画像の合焦距離、又は最も合焦度合いが高くなる画像を含む近傍の合焦距離の画像から推定した合焦すべき合焦距離を、移動物体の撮影光学系の光軸方向の位置として検出する。この検出した移動物体の撮影光学系の光軸方向の位置と直交する画像内の移動物体の位置に基づいて移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出し、これにより或る撮影時刻における移動物体の３次元位置を検出するようにしている。連続撮影中の各時刻で取得した合焦距離の異なる複数の画像毎に上記の処理を行うことにより、移動する移動物体の時々刻々の３次元位置を計測することができる。

本発明の更に他の態様に係る移動物体の位置検出装置において、３次元位置検出手段は、画像取得手段により連続して取得した合焦距離が同一の複数の画像に基づいて複数の画像における移動物体の合焦度合いを検出する合焦度合い検出手段と、検出された合焦度合いに基づいて移動物体が合焦している画像の撮影時刻、又は最も合焦度合いが高くなる画像の撮影時刻を含む近傍の撮影時刻の画像から推定した合焦すべき合焦時刻を検出する時刻検出手段と、画像取得手段により連続して取得した合焦距離が同一の複数の画像に基づいて時刻検出手段により検出された合焦時刻における画像内の移動物体の位置に基づいて移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する位置検出手段と、を有している。

即ち、複数の合焦距離別の複数の画像のうちの或る合焦距離の時系列の画像に着目し、時系列の画像に基づいて移動物体が合焦している画像の撮影時刻、又は最も合焦度合いが高くなる画像の撮影時刻を含む近傍の撮影時刻の画像から推定した合焦すべき合焦時刻を検出する。移動物体は、この検出した合焦時刻に、或る合焦距離の位置（撮影光学系の光軸方向の位置）を通過したことになる。また、検出された合焦時刻における画像内の移動物体の位置に基づいて移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出し、これにより或る合焦距離を通過する移動物体の合焦時刻とその合焦時刻における移動物体の３次元位置を検出するようにしている。複数の合焦距離別の時系列の画像毎に上記の処理を行うことにより、移動する移動物体の時々刻々の３次元位置を計測することができる。

本発明の更に他の態様に係る移動物体の位置検出装置において、３次元位置検出手段により検出された移動物体の３次元位置と当該３次元位置に対応する合焦時刻とを出力する出力手段を備えることが好ましい。

本発明の更に他の態様に係る移動物体の位置検出装置において、３次元位置検出手段により検出された移動物体の３次元位置と当該３次元位置に対応する合焦時刻とに基づいて移動物体の３次元速度を検出する速度検出手段を備えることが好ましい。

本発明の更に他の態様に係る移動物体の位置検出装置において、３次元位置検出手段により検出された移動物体の３次元位置と当該３次元位置に対応する合焦時刻とに基づいて移動物体の３次元加速度を検出する加速度検出手段を備えることが好ましい。

本発明の更に他の態様に係る移動物体の位置検出装置において、３次元位置検出手段により検出された移動物体の３次元位置に基づいて移動物体の３次元軌道を算出する軌道算出手段を備えることが好ましい。

本発明の更に他の態様に係る移動物体の位置検出方法は、複数の合焦距離の被写体に対して合焦可能な多焦点の撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサとを有する単一の撮像手段により撮影された複数の合焦距離別の複数の画像をそれぞれ同時に、かつ連続して取得する画像取得工程と、画像取得工程により同時に、かつ連続して取得した画像に基づいて画像内の移動物体の３次元空間上の位置を検出する３次元位置検出工程と、を含んでいる。

本発明の更に他の態様に係る移動物体の位置検出方法において、３次元位置検出工程は、画像取得工程により同時に取得した合焦距離の異なる複数の画像に基づいて複数の画像における移動物体の合焦度合いを検出する合焦度合い検出工程と、検出された合焦度合いに基づいて移動物体が合焦している画像の合焦距離、又は最も合焦度合いが高くなる画像を含む近傍の合焦距離の画像から推定した合焦すべき合焦距離を、移動物体の撮影光学系の光軸方向の位置として検出する第１の位置検出工程と、第１の位置検出工程により検出された移動物体の撮影光学系の光軸方向の位置と直交する画像内の移動物体の位置に基づいて移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する第２の位置検出工程と、を含んでいる。

本発明の更に他の態様に係る移動物体の位置検出方法において、３次元位置検出工程は、画像取得工程により連続して取得した合焦距離が同一の複数の画像に基づいて複数の画像における移動物体の合焦度合いを検出する合焦度合い検出工程と、検出された合焦度合いに基づいて移動物体が合焦している画像の撮影時刻、又は最も合焦度合いが高くなる画像の撮影時刻を含む近傍の撮影時刻の画像から推定した合焦すべき合焦時刻を検出する時刻検出工程と、画像取得工程により連続して取得した合焦距離が同一の複数の画像に基づいて時刻検出工程により検出された合焦時刻の画像内の移動物体の位置に基づいて移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する位置検出工程と、を含んでいる。

本発明によれば、簡便な撮像装置と画像処理だけで、撮影範囲内を移動する移動物体の時々刻々の３次元位置等を計測することができる。

本発明の係る移動物体の位置検出装置として適用された撮像装置の実施形態を示す外観図 図１に示した撮像装置の内部構成の実施形態を示すブロック図 図１に示した撮像装置の撮像部（単一の撮像手段）の一例を示す図 瞳指向センサの構成を示す要部断面図 本発明に係る移動物体の位置検出方法の第１の実施形態を示すフローチャート 移動物体の位置検出方法の第１の実施形態を説明するために用いた図 本発明に係る移動物体の位置検出方法の第１の実施形態を示すフローチャート 移動物体の位置検出方法の第１の実施形態を説明するために用いた図 他の実施形態の撮像部の概略構成を示す図

以下、添付図面に従って本発明に係る移動物体の位置検出装置及び方法の実施の形態について説明する。

＜移動物体の位置検出装置の外観＞
図１は本発明の係る移動物体の位置検出装置として適用された撮像装置（例えば、テレビカメラ）１０の実施形態を示す外観図である。この撮像装置１０は、三脚１１に固定された状態で移動物体の動画を撮像することが好ましい。

図２は撮像装置１０の内部構成の実施形態を示すブロック図である。

この撮像装置１０は、撮像した動画を記録媒体５４に記録するとともに、動画内の移動物体の３次元位置、時刻、３次元速度、３次元加速度、３次元軌道等を検出し、その検出した情報を動画に関連付けて記録媒体５４に記録し、又は図示しない外部機器に出力するものである。

図３は撮像装置１０の撮像部（単一の撮像手段）の一例を示す図であり、主として複数の合焦距離（ｄ１〜ｄ５）の被写体に対して合焦可能な多焦点の撮影光学系（多焦点レンズ）１２と、２次元状に配列された光電変換素子により構成された複数の画素を有するＣＭＯＳ型の撮像素子（瞳指向センサ）１６とから構成されている。

多焦点レンズ１２は、扇形に５分割された各領域がそれぞれ異なる焦点距離ｆ１〜ｆ５を有しており、各焦点距離ｆ１〜ｆ５に対応した５つの被写体距離（合焦距離ｄ１〜ｄ５）の被写体像を瞳指向センサ１６に結像させることができるようになっている。

図４は瞳指向センサ１６の構成を示す要部断面図である。図６（ａ）及び（ｂ）に示すように画素ｐ１のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設され、画素ｐ２のフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有し、遮光部材１６Ａ、１６Ｂは、それぞれ多焦点レンズ１２の５分割された領域のうちの１つの領域を通過する光束のみをフォトダイオードＰＤの受光面に入射させる開口を有し、他の領域を通過する光束を遮光する。図４上では、説明の便宜上、２種類の画素ｐ１,ｐ２が示されているが、多焦点レンズ１２の５分割された領域にそれぞれ対応する開口を有する遮光部材が配設された５種類の画素が、瞳指向センサ１６上に均等に配置されている。

図２に戻って、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

撮像装置１０には、録画スタート等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、録画動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（ＬＣＤ）３０の表示制御などを行う。

録画時において、５つの合焦距離ｄ１〜ｄ５（図３参照）の被写体の像が、多焦点レンズ１２を介して瞳指向センサ１６の５種類の画素上に結像され、５つの合焦距離ｄ１〜ｄ５の画像Ａ_１〜Ａ_５を同時に、かつ所定の時間間隔（動画のフレームレート）で連続して撮像することができる。

即ち、瞳指向センサ１６からは、相関二重サンプリング処理（イメージセンサの出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、イメージセンサの１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により画素毎の画像信号（電圧信号）がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２１に加えられる。Ａ／Ｄ変換器２１は、順次入力する画像信号をデジタル信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ型の瞳指向センサ１６では、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、瞳指向センサ１６から直接デジタル信号が出力される。それぞれ合焦距離の異なる、同時に撮像された５枚の画像データは、瞳指向センサ１６から画素位置を選択して画素データを読み出すことにより取得することができるが、瞳指向センサ１６から全ての画素データを読み出してメモリ（SDRAM)４８に一時的に記憶し、メモリ４８から合焦距離の異なる５つの画像データを抽出するようにしてもよい。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

また、画像処理部２５は、以下の処理を行うが、画像処理部２５が行う処理は必須ではない。

瞳指向センサ１６の各受光セルには、多焦点レンズ１２の５つの領域を通過する光束のうちのいずれかが入射するが、光束間でクロストークが生じる場合がある。画像処理部２５は、このようなクロストークの発生による画像のボケやコントラスト劣化を補正する画像処理を行う。

画像処理部２５で処理され画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。この場合、合焦距離の異なる５つの動画を、同時に表示するようにしてもよいし、いずれか１つの動画を表示するようにしてもよい。

また、ＣＰＵ４０は、操作部１８からの録画準備又は開始が指示されると、ＡＥ動作を開始させ、Ａ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。ＡＥ検出部４４では、同時に取得される５つの画像のうちの１つ、又は複数の画面全体の輝度信号を積算し、又は画面中央部と周辺部とで異なる重みづけをした輝度信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り（図示せず）の絞り値を決定し、その決定した絞り値に基づいて絞りを制御する。

また、移動物体を撮影する録画が開始されると、センサ制御部３２を介して瞳指向センサ１６から所定のインターバルで画像信号が読み出され、Ａ／Ｄ変換器２１から出力される画像データ（同時に撮像される５つの画像Ａ_１〜Ａ_５）が画像入力コントローラ２２からメモリ（SDRAM)４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４及び画像処理部２５により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。

メモリ４８に記憶されたＹＣデータは、それぞれ圧縮伸張処理部２６に出力され、ＭＰＥＧ−４等の動画圧縮フォーマットで圧縮された５つの合焦距離別の動画ファイルが、メディア・コントローラ５２を介して記録媒体５４に記録される。これにより、同時に動画撮影された合焦距離の異なる５つの動画が記録されることになる。

［移動物体の３次元位置等の計測］
次に、上記のようにして撮像された５つの動画を画像解析し、移動物体の３次元位置等を計測する移動物体の位置検出方法について説明する。

＜第１の実施形態＞
図５は本発明に係る移動物体の位置検出方法の第１の実施形態を示すフローチャートである。

図５において、ＣＰＵ４０又は画像処理部２５は、以下の処理を実行する。

まず、撮影時刻を示すパラメータｎを１とし（ステップＳ１０）、ある撮影時刻ｔ_ｎの画像Ａ_１〜Ａ_５を取得する（ステップＳ１２）。これらの画像Ａ_１〜Ａ_５は、前述した記録媒体５４に記録された５つの合焦距離別の動画ファイルを伸張処理して取得するようにしてもよいし、メモリ４８に一時的に保持された圧縮前の画像Ａ_１〜Ａ_５をメモリ４８から取得するようにしてもよい。

続いて、同時に撮像された５つの合焦距離ｄ１〜ｄ５毎の画像Ａ_１〜Ａ_５内の移動物体を検出する（ステップＳ１４）。移動物体の検出は、例えば、画像Ａ_１〜Ａ_５間の差分画像を検出することにより行うことができる。

次に、各画像Ａ_１〜Ａ_５内における移動物体のピントの良さ（合焦度合い）を検出する（ステップＳ１６）。

図６は、ある時刻ｔ_ｎの合焦距離ｄ１〜ｄ５毎の画像Ａ_１〜Ａ_５と、各画像内の移動物体と、各画像内の移動物体の合焦度合いとの関係を示している。移動物体の合焦度合いは、移動物体（図３、図６に示す例では、ボール）を示す画像内の単位面積当りの高周波成分の積算値の大きさとして検出することができる。

次に、ステップＳ１６で検出した移動物体の合焦度合いに基づいて、時刻ｔ_ｎにおける移動物体の合焦距離を算出する（ステップＳ１８）。図６に示すように合焦距離ｄ１〜ｄ５毎の画像Ａ_１〜Ａ_５内の移動物体の合焦度合いの変化から、移動物体の合焦度合いがピークとなる最大合焦時の移動物体のｚ位置（多焦点レンズ１２の中心を３次元空間の基準位置にした多焦点レンズ１２の光軸方向の位置）を推定する（真の合焦位置）。図６に示す例では、時刻ｔ_ｎにおける移動物体の新の合焦距離は、合焦距離ｄ１とｄ２の中間にある。

続いて、時刻ｔ_ｎにおける移動物体の合焦距離上の画像内の移動物体のｘｙ位置（多焦点レンズ１２の光軸方向と直交する面内の２次元位置）を検出する。実空間上のｘｙ位置は、ステップＳ１８で算出した移動物体の合焦距離と、多焦点レンズ１２と瞳指向センサ１６との距離と、瞳指向センサ１６上の移動物体の位置との関係から幾何学的に算出することができる。因みに、瞳指向センサ１６上の移動物体の位置は、合焦距離ｄ１〜ｄ５にかかわらず同一であり、ピンぼけ量が違うだけである。

上記のようにして算出した移動物体の３次元位置（ｘ，ｙ，ｚ）と時刻ｔ_ｎとを記録するために出力する（ステップＳ２２）。

次に、位置検出が終了したか否かを判別し（ステップＳ２４）、終了していない場合（「No」の場合）には、時刻のパラメータｎを１だけインクリメントし（ステップＳ２６）、ステップＳ１２に遷移させる。これにより、所定の時間間隔で撮影された次の時刻における画像Ａ_１〜Ａ_５を取得し、上記ステップＳ１２からステップＳ２４の処理を繰り返す。

一方、ステップＳ２４において、位置検出が終了したと判別されると（「Yes」の場合）、移動物体の位置計測を終了する。

上記のようにして所定の時間間隔の時々刻々の移動物体の３次元位置（ｘ，ｙ，ｚ）と時刻ｔが取得されると、これらの情報（ｘ，ｙ，ｚ，ｔ）に基づいて３次元速度を算出することができる。

即ち、計測された移動物体の隣接する２つの３次元位置間の距離と、その時間間隔から時々刻々の移動物体の３次元速度を算出することができる。また、このようにして算出した時々刻々の３次元速度の差分から移動物体の３次元加速度を算出することができる。更に、移動物体の３次元軌道を算出することもできる（図３参照）。

＜第２の実施形態＞
図７は本発明に係る移動物体の位置検出方法の第２の実施形態を示すフローチャートである。

図７において、ＣＰＵ４０又は画像処理部２５は、以下の処理を実行する。

まず、５つの合焦距離ｄ１〜ｄ５を示すパラメータｉを１とし（ステップＳ３０）、５つの動画のうちの合焦距離ｄｉの動画（時系列の画像）を取得する（ステップＳ３２）。

続いて、合焦距離ｄｉの時系列の画像内の移動物体を検出する（ステップＳ３４）。移動物体の検出は、例えば、時系列の画像間の差分画像を検出することにより行うことができる。

次に、時系列の画像内における移動物体のピントの良さ（合焦度合い）を検出する（ステップＳ３６）。

図８は、合焦距離ｄ１の時系列の画像と、各画像内の移動物体と、各画像内の移動物体の合焦度合いとの関係を示している。移動物体の合焦度合いは、移動物体（図３、図６に示す例では、ボール）を示す画像内の単位面積当りの高周波成分の積算値の大きさとして検出することができる。

次に、ステップＳ３６で検出した移動物体の合焦度合いに基づいて、移動物体の最大合焦度時刻ｔ_maxを算出する（ステップＳ３８）。図８に示すように合焦距離ｄ１の時系列の画像内の移動物体の合焦度合いの変化から、合焦度合いがピークとなる最大合焦度時刻ｔ_maxを推定する。移動物体は、推定した最大合焦度時刻ｔ_maxにz位置(＝合焦距離ｄ１)に存在していたことになる。

続いて、最大合焦度時刻ｔ_maxにおける画像内の移動物体のｘｙ位置（多焦点レンズ１２の光軸方向と直交する面内の２次元位置）を検出する。

図８に示すように最大合焦度時刻ｔ_maxの前後の撮影時刻の画像中の移動物体の位置をそれぞれ算出し、これらの算出したｘｙ位置を、前後の撮影時刻と最大合焦度時刻ｔ_maxとの時間関係で補間することにより、最大合焦度時刻ｔ_maxにおける移動物体のｘｙ位置を推定する。

上記のようにして算出した移動物体の３次元位置（ｘ，ｙ，ｚ）と、その位置に移動物体が存在した時刻ｔ（最大合焦度時刻ｔ_max）とを記録するために出力する（ステップＳ４２）。ここでｚ位置は、前述したようにｉ＝１の場合には、合焦距離ｄ１に対応する。

次に、５つの合焦距離ｄ１〜ｄ５について、それぞれ移動物体の３次元位置（ｘ，ｙ，ｚ）と時刻ｔの計測が終了したか否か（即ち、ｉ＝５か否か）を判別し（ステップＳ４４）、終了していない場合（「No」の場合）には、合焦距離ｄ１〜ｄ５を示すパラメータｉを１だけインクリメントし（ステップＳ４６）、ステップＳ３２に遷移させる。これにより、次の合焦距離ｄｉにおける時系列の画像を取得し、上記ステップＳ３２からステップＳ４４の処理を繰り返す。

一方、ステップＳ４４において、位置検出が終了したと判別されると（「Yes」の場合）、移動物体の位置計測を終了する。

上記のようにして所定の時間間隔の時々刻々の移動物体の３次元位置（ｘ，ｙ，ｚ）と時刻ｔが取得されると、これらの情報（ｘ，ｙ，ｚ，ｔ）に基づいて第１の実施形態と同様にして、移動物体の３次元速度、３次元加速度、及び３次元軌道を算出することができる。

［撮像部の他の実施形態］
次に、合焦距離の異なる複数の画像を同時に撮像する撮像部の他の実施形態について説明する。

図９は他の実施形態の撮像部の概略構成を示す図である。

図９に示す撮像部は、多焦点レンズ１２’とイメージセンサ１６’との間に多焦点マイクロレンズアレイ１４が設けられ、いわゆるプレノプティックカメラの撮影光学系を有している。

多焦点レンズ１２’は、近距離撮影用の焦点距離f2を有する領域１２ａと、遠距離撮影用の焦点距離f1を有する領域１２ｂとを有する多焦点（２焦点）レンズであり、領域１２ａ及び領域１２ｂは、それぞれ光軸を境界に上半分及び下半分の領域である。尚、領域１２ａと領域１２ｂとの間には、光束間でクロストークが生じないように遮光帯が設けられている。

多焦点マイクロレンズアレイ１４内の２組のマイクロレンズ群は、それぞれ焦点距離f'1を有するマイクロレンズ群１４ａと、焦点距離f'2を有するマイクロレンズ群１４ｂとからなり、この実施形態では、f'1＜f'2である。

次に、多焦点レンズ１２’及び多焦点マイクロレンズアレイ１４の結像関係について説明する。

多焦点レンズ１２’から合焦面1-1までの距離をb11,合焦面1-2までの距離をb21,合焦面2-1までの距離をb12,合焦面2-2までの距離をb22とし、遠距離撮影用の焦点距離f1を有する領域１２ｂを通過する合焦面1-1、2-1の、多焦点レンズ１２’から結像位置までの距離をそれぞれa1,a2とし、また、近距離撮影用の焦点距離f2を有する領域１２ａを通過する合焦面2-1、2-2の、多焦点レンズ１２’から結像位置までの距離をそれぞれa1,a2とすると、これらの関係は、レンズの公式により次式で表すことができる。

［数１］
メインレンズ焦点距離f1:
1/f1=1/a1+1/b11
1/f1=1/a2+1/b12
メインレンズ焦点距離f2:
1/f2=1/a1+1/b21
1/f2=1/a2+1/b22
一方、多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ａは、多焦点マイクロレンズアレイ１４から被写体側の距離a'1に位置する像を、多焦点マイクロレンズアレイ１４から距離b'の位置に受光面を有するイメージセンサ１６’に結像させる焦点距離f'1を有し、マイクロレンズ群１４ｂは、多焦点マイクロレンズアレイ１４から被写体側の距離a'2に位置する像を、多焦点マイクロレンズアレイ１４から距離b'の位置に受光面を有するイメージセンサ１６’に結像させる焦点距離f'2を有している。これらの関係は、レンズの公式により次式で表すことができる。

［数２］
マイクロレンズ群１４ａの焦点距離f'1:
1/f'1=1/a'1+1/b'
マイクロレンズ群１４ｂの焦点距離f'2:
1/f'2=1/a'2+1/b'
また、多焦点マイクロレンズアレイ１４から被写体側の距離a'1の位置は、多焦点レンズ１２’からイメージセンサ１６’側の距離a2の位置に対応し、多焦点マイクロレンズアレイ１４から被写体側の距離a'2の位置は、多焦点レンズ１２’からイメージセンサ１６’側の距離a1の位置に対応している。

従って、合焦面1-1の像は、多焦点レンズ１２’の遠距離撮影用の焦点距離f1を有する領域１２ｂを通過して距離a1の位置に結像し、この結像した像は、焦点距離f'2を有するマイクロレンズ群１４ｂによりイメージセンサ１６’に再結像される。同様に、合焦面1-2の像は、多焦点レンズ１２’の遠距離撮影用の焦点距離f1を有する領域１２ｂを通過して距離a2の位置に結像し、この結像した像は、焦点距離f'1を有するマイクロレンズ群１４ａによりイメージセンサ１６’に再結像され、合焦面2-1の像は、多焦点レンズ１２’の近距離撮影用の焦点距離f2を有する領域１２ａを通過して距離a1の位置に結像し、この結像した像は、焦点距離f'2を有するマイクロレンズ群１４ｂによりイメージセンサ１６’に再結像され、合焦面2-2の像は、多焦点マイクロレンズアレイ１４の近距離撮影用の焦点距離f2を有する領域１２ａを通過して距離a2の位置に結像し、この結像した像は、焦点距離f'1を有するマイクロレンズ群１４ａによりイメージセンサ１６’に再結像される。

尚、多焦点マイクロレンズアレイ１４は、イメージセンサ１６’の受光面から距離b’だけ前方に離間した位置において、イメージセンサ１６に一体的に固定されている。

ところで、多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ａの個々のレンズによりイメージセンサ１６’に結像されるレンズ毎の微小画像のうちの上部の画像は、多焦点レンズ１２’の遠距離撮影用の焦点距離f1を有する領域１２ｂ（下半分の領域）を通過してきた光束を受光した画像であり、レンズ毎の微小画像のうちの下部の画像は、多焦点レンズ１２’の近距離撮影用の焦点距離f2を有する領域１２ａ（上半分の領域）を通過してきた光束を受光した画像である。

同様に、多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ｂの個々のレンズによりイメージセンサ１６’に結像されるレンズ毎の微小画像のうちの上部の画像は、多焦点レンズ１２’の遠距離撮影用の焦点距離f1を有する領域１２ｂ（下半分の領域）を通過してきた光束を受光した画像であり、レンズ毎の微小画像のうちの下部の画像は、多焦点レンズ１２’の近距離撮影用の焦点距離f2を有する領域１２ａ（上半分の領域）を通過してきた光束を受光した画像である。

従って、マイクロレンズ群１４ｂの個々のレンズによりイメージセンサ１６’に結像されるレンズ毎の微小画像のうちの上部の画像を、マイクロレンズ群１４ｂの各レンズ位置に応じて再配置することにより、合焦面1-1に合焦する出力画像1-1を取得することができる。同様に、マイクロレンズ群１４ａの個々のレンズによりイメージセンサ１６’に結像されるレンズ毎の微小画像のうちの上部の画像を、マイクロレンズ群１４ａの各レンズ位置に応じて再配置することにより、合焦面1-2に合焦する出力画像1-2を取得することができ、マイクロレンズ群１４ｂの個々のレンズによりイメージセンサ１６’に結像されるレンズ毎の微小画像のうちの下部の画像を、マイクロレンズ群１４ｂの各レンズ位置に応じて再配置することにより、合焦面2-1に合焦する出力画像2-1を取得することができ、マイクロレンズ群１４ａの個々のレンズによりイメージセンサ１６’に結像されるレンズ毎の微小画像のうちの下部の画像を、マイクロレンズ群１４ａの各レンズ位置に応じて再配置することにより、合焦面2-2に合焦する出力画像1-2を取得することができる。即ち、多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ａ又は１４ｂによってイメージセンサ１６’上に形成される瞳面の微小画像群から、特定位置の画素だけを抽出して像として再構成することによりレンズ瞳面の通過位置毎の光信号だけを受光した画像を得ることができる。

即ち、図９に示した実施形態の撮像部によれば、多焦点レンズ１２’と多焦点マイクロレンズアレイ１４とを組み合わせることにより、同時に撮像可能な合焦距離の異なる画像の数を飛躍的に増大させることができる。また、合焦距離の異なる複数の画像に対して、多焦点メインレンズの合焦距離の数（種類）、及び多焦点メインレンズアレイの合焦距離の数（種類）を少なくすることができ、これにより多焦点レンズ及び多焦点メインレンズアレイの製造コストが上昇しないようにすることができる。

尚、同時に撮像可能な合焦距離の異なる画像の数と、各画像の解像度とはトレードオフの関係にある。

［その他］
同時に撮像可能な合焦距離の異なる画像を取得する撮像部の構造は、図３及び図９に示した実施形態に限定されず、種々のものが考えられる。

また、この実施形態の撮像装置１０は、単一の撮像手段により撮影された複数の合焦距離別の複数の画像をそれぞれ同時に、かつ所定の時間間隔で連続して取得する撮像部と、その撮像部により同時に、かつ連続して取得した画像を解析して移動物体の３次元空間上の位置等を検出する位置検出装置とが一体化されているが、これに限らず、物理的に分離したものでもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２、１２’…多焦点レンズ、１４…多焦点マイクロレンズアレイ、１６…瞳指向センサ、１６’…イメージセンサ、２４…デジタル信号処理部、２５…画像処理部、４０…中央処理装置（ＣＰＵ）

Claims (10)

1. 複数の合焦距離の被写体に対して合焦可能な多焦点の撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサとを有する単一の撮像手段と、
   前記撮像手段により撮影された複数の合焦距離別の複数の画像をそれぞれ同時に、かつ連続して取得する画像取得手段と、
   前記画像取得手段により同時に、かつ連続して取得した画像に基づいて前記画像内の移動物体の３次元空間上の位置を検出する３次元位置検出手段と、
   を備えた移動物体の位置検出装置。
2. 前記３次元位置検出手段は、
   前記画像取得手段により同時に取得した合焦距離の異なる複数の画像に基づいて前記複数の画像における前記移動物体の合焦度合いを検出する合焦度合い検出手段と、
   前記検出された合焦度合いに基づいて前記移動物体が合焦している画像の合焦距離、又は最も合焦度合いが高くなる画像を含む近傍の合焦距離の画像から推定した合焦すべき合焦距離を、前記移動物体の撮影光学系の光軸方向の位置として検出する第１の位置検出手段と、
   前記第１の位置検出手段により検出された前記移動物体の撮影光学系の光軸方向の位置と直交する画像内の前記移動物体の位置に基づいて前記移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する第２の位置検出手段と、
   を有する請求項１に記載の移動物体の位置検出装置。
3. 前記３次元位置検出手段は、
   前記画像取得手段により連続して取得した合焦距離が同一の複数の画像に基づいて前記複数の画像における前記移動物体の合焦度合いを検出する合焦度合い検出手段と、
   前記検出された合焦度合いに基づいて前記移動物体が合焦している画像の撮影時刻、又は最も合焦度合いが高くなる画像の撮影時刻を含む近傍の撮影時刻の画像から推定した合焦すべき合焦時刻を検出する時刻検出手段と、
   前記画像取得手段により連続して取得した合焦距離が同一の複数の画像に基づいて前記時刻検出手段により検出された合焦時刻における画像内の前記移動物体の位置に基づいて前記移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する位置検出手段と、
   を有する請求項１に記載の移動物体の位置検出装置。
4. 前記３次元位置検出手段により検出された前記移動物体の３次元位置と当該３次元位置に対応する合焦時刻とを出力する出力手段を備えた請求項１から３のいずれか１項に記載の移動物体の位置検出装置。
5. 前記３次元位置検出手段により検出された前記移動物体の３次元位置と当該３次元位置に対応する合焦時刻とに基づいて前記移動物体の３次元速度を検出する速度検出手段を備えた請求項１から４のいずれか１項に記載の移動物体の位置検出装置。
6. 前記３次元位置検出手段により検出された前記移動物体の３次元位置と当該３次元位置に対応する合焦時刻とに基づいて前記移動物体の３次元加速度を検出する加速度検出手段を備えた請求項１から５のいずれか１項に記載の移動物体の位置検出装置。
7. 前記３次元位置検出手段により検出された前記移動物体の３次元位置に基づいて前記移動物体の３次元軌道を算出する軌道算出手段を備えた請求項１から６のいずれか１項に記載の移動物体の位置検出装置。
8. 複数の合焦距離の被写体に対して合焦可能な多焦点の撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサとを有する単一の撮像手段により撮影された複数の合焦距離別の複数の画像をそれぞれ同時に、かつ連続して取得する画像取得工程と、
   前記画像取得工程により同時に、かつ連続して取得した画像に基づいて前記画像内の移動物体の３次元空間上の位置を検出する３次元位置検出工程と、
   を含む移動物体の位置検出方法。
9. 前記３次元位置検出工程は、
   前記画像取得工程により同時に取得した合焦距離の異なる複数の画像に基づいて前記複数の画像における前記移動物体の合焦度合いを検出する合焦度合い検出工程と、
   前記検出された合焦度合いに基づいて前記移動物体が合焦している画像の合焦距離、又は最も合焦度合いが高くなる画像を含む近傍の合焦距離の画像から推定した合焦すべき合焦距離を、前記移動物体の撮影光学系の光軸方向の位置として検出する第１の位置検出工程と、
   前記第１の位置検出工程により検出された前記移動物体の撮影光学系の光軸方向の位置と直交する画像内の前記移動物体の位置に基づいて前記移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する第２の位置検出工程と、
   を含む請求項８に記載の移動物体の位置検出方法。
10. 前記３次元位置検出工程は、
    前記画像取得工程により連続して取得した合焦距離が同一の複数の画像に基づいて前記複数の画像における前記移動物体の合焦度合いを検出する合焦度合い検出工程と、
    前記検出された合焦度合いに基づいて前記移動物体が合焦している画像の撮影時刻、又は最も合焦度合いが高くなる画像の撮影時刻を含む近傍の撮影時刻の画像から推定した合焦すべき合焦時刻を検出する時刻検出工程と、
    前記画像取得工程により連続して取得した合焦距離が同一の複数の画像に基づいて前記時刻検出工程により検出された合焦時刻の画像内の前記移動物体の位置に基づいて前記移動物体の撮影光学系の光軸方向と直交する面内の２次元位置を検出する位置検出工程と、
    を含む請求項８に記載の移動物体の位置検出方法。

Images