JP2011257402A - 飛行時間撮像装置 - Google Patents

Abstract

【課題】飛行時間測定を使用した深度図を生成するための改良された解法に関し、特に飛行時間撮像装置およびより精度良い飛行時間撮像方法を提供する。
【解決手段】飛行時間撮像装置６のセンサ５の画素アレイ内の伝播遅延を考慮した、深度修正プロファイルは測定された深度図に応用される。前記深度修正プロファイルは、２つのｎ次元多項式の重ね合わせである。
【選択図】図１

Description

本発明は、飛行時間測定を使用した深度図を生成するための改良された解法に関し、特に飛行時間撮像装置およびより精度良い飛行時間撮像方法に関する。

３Ｄビデオコンテンツを生成するために、通常のビデオデータに加えて、撮られる領域内に位置する物体の距離を測定することは重要である。この目的のために、典型的に飛行時間撮像装置（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ ｉｍａｇｅｒ）、すなわち飛行時間の法則を利用して距離データを生成する測定システムが使用される。飛行時間撮像装置は光源と光センサを含み、これらは画素配列をなす。深度図を測定するために、光源はパルスによって始動し、光センサのすべての画素は、トランスファーゲート（Ｔｒａｎｓｆｅｒ Ｇａｔｅ、ＴＧ）パルスおよびグローバルシャッターゲート（Ｇｌｏｂａｌ Ｓｈｕｔｔｅｒ Ｇａｔｅ、ＧＳＧ）パルスによって同時に始動する。詳細は非特許文献１を参照されたい。

また、特許文献１には飛行時間測定の方法とセンサが開示されている。センサは、可変バックグラウンド放射の状態のもと、バックグラウンド放射の十分な抑制が達成されるように設計されている。

世界公開第２００９／１３５９５２パンフレット

"Ａ ０．５μｍ ｐｉｘｅｌ ｆｒａｍｅ−ｔｒａｎｓｆｅｒ ＣＣＤ ｉｍａｇｅ ｓｅｎｓｏｒ ｉｎ １１０ ｎｍ ＣＭＯＳ"，２００７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅｓ Ｍｅｅｔｉｎｇ，Ｖｏｌ．３５（２００７）ｐｐ．１００３−１００６

深度図測定の精度を下げるのはバックグラウンド放射だけではない。正確な深度図を得るためには、光源と、トランスファーゲートパルスと、グローバルシャッターゲートパルスとの間の時間的な関係が一定であることが同様に重要である。

したがって、本発明の目的は、改良された精度に達した深度図を生成するための飛行時間の解法を提供することである。

本発明によると、この目的は、測定された深度図を得るための、物体を照らすための光源と、物体によって反射した光を検出する画素配列をなすセンサとを有する、物体の深度図を測定するための飛行時間撮像装置によって達せられ、飛行時間撮像装置は測定された深度図に深さを修正する形状を提供するように設計されている。

同様に、飛行時間撮像装置を用いた物体の深度図の測定の方法は、
−光源によって放射された光によって物体を照らすステップと、
−測定された深度図を得るために、画素配列をなすセンサによって、物体によって反射された光を検出するステップと、
−測定された深度図に深さを修正する形状を提供するステップと
を備える。

光源と、トランスファーゲートパルスと、グローバルシャッターゲートパルスとの間の時間的な関係を正確に制御したとしても、特に多くの画素数を有するセンサに対して、深度図は十分ではない。これは、飛行時間撮像装置のセンサ、すなわちセンサの異なる画素の電気的な経路長の差異によって生じているということがわかっている。トランスファーゲートパルスとグローバルシャッターゲートパルスは同じ経路を通過する。よってこれらのパルスの間に明らかなシフトはない。しかしこれらのパルスの時間的な関係は光源トリガーパルスに関して、センサの画素の配列にわたって変化している。すなわち、パルスは画素の配列にわたる伝搬の遅延に依存している。伝搬の遅延へのさらなる寄与は、センサの水平方向および鉛直方向のドライバに起因する。正確な伝搬の遅延は画素の配列のがその位置に依存するが、容易に１０から２０ｎｓの範囲をとりうる。以下ではこの効果を「シェーディング（ｓｈａｄｉｎｇ）」と呼ぶ。

光は３×１０⁹ｍ／ｓの速さで移動するので、１ｍの距離では光は３．３ｎｓ遅延する。この距離を飛行時間撮像装置を使用して測定するためには、光は飛行時間撮像装置に戻る必要があり、したがって１ｍの距離は光を６．６ｎｓ遅延させる。その結果、伝搬遅延の飛行時間撮像装置での２０ｎｓの差は３ｍの誤差を生じさせる。明らかに撮像装置にわたるパルスの伝搬遅延は測定の精度に大きな影響を与える。撮像装置のサイズが大きくなると、伝播遅延の問題は増大する。この問題に対処する簡単なオプションは、センサの水平および垂直のドライバを高い速度にし、伝播遅延を小さくするように最適化することである。しかしこれはセンサ、したがって飛行時間撮像装置のコストを増大させる。加えて、ドライバを最適化したにもかかわらず、余剰の遅延が残る。

本発明による解法は、深度修正プロファイルを用いて、伝播遅延の結果である、深度図内の誤差を修正することによって伝播遅延の問題を解決する。この解法は、低コストで実施でき、精度の向上した深度図を生成することを確実にすることが優位な点である。加えて、深度修正プロファイルを調整できるようにすることで、センサの劣化、または環境の変化によって生じる効果に対応することができる。

深度修正プロファイルは２つのｎ次元多項式の重ねあわせであることが優位な点である。２つの多項式のうちの１つ目は入力値として、センサの行番号を有し、２つの多項式のうちの２つ目は入力値として、センサの行の画素番号を有する。概してセンサの行方向と列方向では十分であるので、２つの２次元多項式が用いられることが望ましい。２つの多項式の重ね合わせは３次元修正プロファイルを結果として生成し、測定した深度図からこれを引くと修正された深度図が得られる。当然、２つの多項式のとしてほかの次元を用いることができる。

深度修正プロファイルは、メモリ、すなわちルックアップテーブルから、読み出されることが望ましい。これは、限定された量の処理力のみ必要とするという優位さを有する。かわりに、深度修正プロファイルは、多項式をもとにオンザフライ（ｏｎ ｔｈｅ ｆｌｙ）で計算される。この場合多項式の係数は好都合にメモリから読み出される。後者の解法はより処理力を要求するが、メモリの必要な量は減少する。環境の変化、すなわち温度や湿度の変化に対応するために、異なる環境条件での深度修正プロファイルがメモリ内で利用可能である。この場合、飛行時間撮像装置は、適切な深度修正プロファイルを選択するために、対応するセンサ、すなわち温度センサおよび湿度センサを含む。

深度修正プロファイルは、既知の物体の深度図を測定し、測定された深度図を予想される深度図と比較することで算出することが望ましい。より具体的には、深度修正プロファイルを算出するには、次のステップが実行される：
−平らな表面を、光源によって放射される光を用いて照らすステップであって、平らな表面は飛行時間撮像装置のセンサと平行であって飛行時間撮像装置から既知の距離離れている、ステップと、
−測定した深度図を得るために、平らな表面によって反射された光をセンサによって検出するステップと、
−測定した深度図から深度修正プロファイルを算出するステップ。
深度修正プロファイルは以下のステップによって、測定された深度図から算出されることが望ましい：
−センサの行上の行アベレージング（ｌｉｎｅ ａｖｅｒａｇｉｎｇ）を実行するステップと、
−２つの多項式のうちの一つ目を算出するために、ｎ次元の多項式をアベレージングされた行の値にフィッティングするステップと、
−測定された深度図からアベレージングされた行の値を引くステップと、
−センサの列上の列アベレージング（ｃｏｌｕｍｎ ａｖｅｒａｇｉｎｇ）を実行するステップと、
−２つの多項式のうちの二つ目を算出するために、ｎ次元の多項式をアベレージングされた列の値にフィッティングするステップと、
−測定された深度図からアベレージングされた列の値を引くステップ。
このようにして深度修正プロファイルは簡単に算出される。

かわりに、深度修正プロファイルは既知の物体の予測される深度図を測定された深度図から引くことによって得られる。この目的のために、優位に、複数の測定の平均が算出される。この場合いかなる関数も深度修正プロファイルにフィットさせる必要がない。しかし、深度修正プロファイルはより滑らかでなく、この場合、測定の許容誤差により生じるノイズが最終的な深度修正プロファイルにより大きな影響を与える。

加えて、たとえば平らな表面といったよく定義された物体に対する測定された深度図から深度修正プロファイルを算出するかわりに、センサの画素アレイの中のトランスファーゲートパルスおよびグローバルシャッターゲートパルスの伝播遅延を直接測定するか、少なくとも近似的に計算することが可能である。算出された遅延は、深度値に変換される。

よりよい理解のために、本発明は、添付の図を参照しながら、以下の記述でより詳細な説明を行う。本発明は、この例示の実施形態に限定されず、添付の特許請求の範囲で定義された本発明の範囲から逸脱することなく、特定の特徴は都合よく組み合わされ、および／または変更される。

本発明にかかる飛行時間撮像装置の原理を示す図である。 従来の飛行時間撮像装置を用いて得られた、平らな表面の深度図である。 飛行時間撮像装置のセンサ内の伝播遅延の原因を説明する図である。 垂直方向の変化の２次元の多項式を用いたフィットを示す図である。 水平方向の変化の２次元の多項式を用いたフィットを示す図である。 図４と５の２次元多項式を組み合わせて得られた深度補正図である。 図６の深度補正図を用いて補正した後の図３の深度図である。 異なる深さに配置された４つの物体の例の領域を示す図である。 従来の飛行時間撮像装置を用いて得られた図８の領域の深度図である。 図６の深度補正図を用いて補正した後の図９の深度図である。 図１０の修正された深度図の深度を拡大した図である。

図１は本発明にかかる飛行時間撮像装置６の原理を説明する図である。飛行時間撮像装置６は光源２、レンズ４、検出器５、および処理回路７を含む。飛行時間撮像装置６から７５ｃｍの距離ｄに位置する物体１は光源２、すなわち赤外線ＬＥＤの４×４アレイによって照らされる。物体１は、センサ５の画素アレイに面する平らな表面を有している。この平らな表面によって反射された光３は、レンズ４によって集光され、センサ５の画素アレイ上に撮像される。これにより物体１の深度図が測定可能になる。処理回路７は測定された深度図の処理を行うことができる。

飛行時間撮像装置６によって測定された物体１の深度図を図２に示す。灰色の値はｃｍの単位の測定した深さを示す。これらはｘおよびｙ方向にセンサ５の画素に対してプロットされている。物体１の平らな表面は７５ｃｍの固定された距離ｄを有しているにもかかわらず、結果の深度図は明らかに平らではない。代わりに、距離は、減少したｙピクセルおよび減少したｘピクセルに対して右下端で予想した値から増加している。

図２の平らでない深度図の解釈は、図３を参照しながら以下に説明するように、センサ５の画素アレイの内部の伝播遅延である。センサ５は複数の画素５１を含み、これらは行と列に配列されている。トランスファーゲートパルスＴＧおよびグローバルシャッターゲートパルスＧＳＧは入力部からそれぞれの画素５１へ移動する必要がある。パルスがカバーしなければならない距離は異なる画素５１に対して変わる。これは、すでに濃淡で示されているように、水平方向には伝播遅延の増加Δｔ_hを、同様に垂直方向には伝播遅延の増加Δｔ_vを引き起こす。

２次元多項式によって濃淡の効果（ｓｈａｄｉｎｇ ｅｆｆｅｃｔ）を近似することができることが知られている。図４は垂直方向の濃淡の量の測定値をｃｍの単位で行番号に対して示しており、同様に測定値に対する２次元多項式フィットも示している。垂直方向の濃淡の量は行の平均となっている。

同様に、図５で見られるように、水平方向の濃淡の効果は２次元多項式によって近似されることができる。水平方向の濃淡の量は、オリジナルのイメージから行平均イメージを引いて、列の平均化を実行することによって見出される。

水平方向の濃淡と垂直方向の濃淡それぞれに対して得られる２つの２次元多項式の組み合わせは、図６に示すように３次元多項式修正イメージを結果としてもたらす。この修正イメージは、センサ５によって得られたいかなる深度図を修正するためにも、回路７によって実際に使用される。たとえば、図７は図６の深度補正図を用いて補正した後の図３の深度図を示す。修正は、飛行時間撮像装置６によって測定された深度図から修正イメージを引くことによって実行される。修正された深度図はすべてのセンサの領域にわたって、予想された距離を示している。

以下に、修正イメージが、例の領域に対して飛行時間撮像装置６によって測定された深度図に応用する。領域は図８に示されている。４つの物体１１、１２、１３、１４は、飛行時間撮像装置６から異なる距離、すなわち４５ｃｍ、７５ｃｍ、１０５ｃｍおよび１３５ｃｍ離れて配置されている。飛行時間撮像装置６によって得られたこの領域のオリジナルの深度図を図９に示す。濃淡の効果によって、異なる物体１１、１２、１３、１４の測定された距離は一定ではない。しかし、修正イメージを引いたあと、修正された深度図、図１０が得られた。減少した深さの範囲が０ｃｍから１４０ｃｍを示す修正された深度図の拡大を図１１に示す。異なる物体１１、１２、１３、１４の距離は本質的に一定で、予想した距離と一致する。

Claims (12)

1. 物体の深度図を測定するための飛行時間撮像装置であって、前記物体を照らすための光源と、測定された深度図を得るために前記物体によって反射された光を検出するための画素アレイのセンサとを含み、前記飛行時間撮像装置は前記測定された深度図に深度修正プロファイルを適用するように適合されたことを特徴とする飛行時間撮像装置。
2. 前記深度修正プロファイルは２つのｎ次元多項式の重ね合わせであることを特徴とする請求項１に記載の飛行時間撮像装置。
3. 前記２つのｎ次元多項式のうちの１番目は入力値として前記センサの行番号を有し、前記２つのｎ次元多項式のうちの２番目は入力値として前記センサの画素番号を有することを特徴とする請求項２に記載の飛行時間撮像装置。
4. 前記深度修正プロファイルはオンザフライで計算されるか、ルックアップテーブルから読み出されることを特徴とする請求項１乃至３のいずれか１項に記載の飛行時間撮像装置。
5. 飛行時間撮像装置を用いて物体の深度図を測定する方法であって、
   光源によって放射される光で前記物体を照らすステップと、
   測定された深度図を得るために画素アレイを有するセンサを用いて前記物体によって反射された光を検出するステップと
   を備え、前記方法はさらに、
   前記測定された深度図に深度修正プロファイルを適用するステップを有することを特徴とする方法。
6. 前記深度修正プロファイルは２つのｎ次元多項式の重ね合わせであることを特徴とする請求項５に記載の方法。
7. 前記２つのｎ次元多項式のうちの１番目は入力値として前記センサの行番号を有し、前記２つのｎ次元多項式のうちの２番目は入力値として前記センサの画素番号を有することを特徴とする請求項６に記載の方法。
8. 前記深度修正プロファイルはオンザフライで計算されるか、ルックアップテーブルから読み出されることを特徴とする請求項５乃至７のいずれか１項に記載の方法。
9. 飛行時間撮像装置のための深度修正プロファイルを算出する方法であって、
   前記飛行時間撮像装置のセンサの画素アレイに平行で、前記飛行時間撮像装置から既知の距離離れて位置している、平らな表面を照らすステップと、
   測定された深度図を得るために前記センサを使用して前記平らな表面によって反射された光を検出するステップと
   を備え、前記方法はさらに、
   前記測定された深度図から前記深度修正プロファイルを算出するステップをさらに備えたことを特徴とする方法。
10. 前記深度修正プロファイルは２つのｎ次元多項式の重ね合わせであることを特徴とする請求項９に記載の方法。
11. 前記センサの行上の行のアベレージングを実行するステップと、
    ２つの多項式のうちの一番目を算出するために、前記アベレージングされた行の値をｎ次元多項式にフィッティングするステップと、
    前記測定された深度図から前記アベレージングされた行を引くステップと、
    前記センサの列上の列のアベレージングを実行するステップと、
    ２つの多項式のうちの二番目を算出するために、前記アベレージングされた列の値をｎ次元多項式にフィッティングするステップと
    をさらに備えたことを特徴とする請求項１０に記載の方法。
12. 前記深度修正プロファイルをルックアップテーブルに保存するステップをさらに備えたことを特徴とする請求項９乃至１１のいずれか１項に記載の方法。