JP2011530706A - ３ｄ−ｔｏｆカメラ装置及びそのための位置・向き較正方法 - Google Patents

Abstract

カメラ装置は、シーンのカメラ投射レンジイメージを捕捉する３Ｄ−ＴＯＦカメラと、レンジイメージを処理するイメージプロセッサを備える。イメージプロセッサは、そのハードウェア及びソフトウェアが組み込まれた位置及び向き較正ルーチンを含み、該位置及び向き較正ルーチンはイメージプロセッサにより実行されるとき、３Ｄ−ＴＯＦカメラにより捕捉されるレンジイメージ内の１つ以上の面を検出し、該１つ以上の検出面から基準面を選択し、基準面に対する３Ｄ−ＴＯＦカメラの位置及び向きパラメタ、例えば基準面上方の高さ及び／又はカメラロール角及び／又はカメラピッチ角を計算する。

Description

本発明は、概して３Ｄコンピュータバージョンの技術分野、特に３Ｄ飛行時間カメラ装置のための位置・向き較正方法に関する。

３Ｄ飛行時間カメラ（以下、「３Ｄ−ＴＯＦカメラ」又は単に「カメラ」という）は本書で使用するとき、飛行時間測定原理を用いることにより、シーンに関する距離情報を含むイメージ（以下、「レンジイメージ（距離画像）」）を捕捉するカメラを云う。斯かるカメラは一般に、変調又はパルス光を３Ｄで画像化しようとするシーン内に出射する光源と、該シーンを光学系により画像化する画素アレイを含む。カメラはそして、画素にて検出される光と出射光とを相関し、出射光と受取光間の位相差又は出射時刻と受取時刻の時間差を画素毎に特定する。これ等の量は、カメラと、斯かる画素上に画像化されるシーンの部分との間のラジアル（投射線）距離に比例する。レンジイメージを実時間で捕捉する３Ｄ−ＴＯＦカメラも、知られている。

３Ｄ−ＴＯＦカメラの応用分野は数多く、多様である。斯かる３Ｄ−ＴＯＦカメラを自動車分野に、例えば自動車における、自動車の環境を監視する搭乗者検出及び分類のために採用することが提案されている。３Ｄ−ＴＯＦカメラはまた、制限領域（例えば飛行場、銀行又は公共建築物）への近接を制御する、特に人々及び物体を検出、追跡及び計数するのに提案されている。３Ｄ−ＴＯＦカメラ装置の重要なメリットは、深さ（又は距離）情報が即入手可能であり、例えばステレオ方式におけるようなコスト集約的計算を要しないことである。

本発明者等の知る限り、３Ｄ−ＴＯＦカメラの位置及び向き較正は現在、カメラを設置する撮影者が比較的複雑な手順を踏むのを要し、これ等が斯かるカメラの市場における成功を阻んでいるようである。Beraldin等は論文”Practical Range Camera Calibration”Proc. Soc. Photo-Opt. Instrum. Eng. で、宇宙空間応用を想定したレンジカメラのための較正方法を提示している。較正を実行する、第１手順が近接距離量（０．５ｍ〜１．５ｍ）に対する特定の較正である２手順方法を提案している。この第１の手順において、正確なリニアステージを用いるレンジカメラの視野の既知位置に位置付けたターゲットのアレイを用いる。第２の手順で、正確な電子距離測定装置を使って１．５ｍより長い距離に位置付けた、より少数のターゲットを用いることを提案している。この論文が示すように、シーン中における基準点は較正方法の実行のために用いられる。論文“High Resolution Segmentation with a Time-of-Flight 3D-Camera using the Example of a Lecture Scene” by Sandra et al. (Freie Universitaet Berlin, 2006) は、３Ｄ−ＴＯＦカメラからのレンジイメージと２Ｄカメラからのイメージの組み合わせを論じている。これ等２つのカメラへのイメージをマップ化するため、セグメント化のためのカメラ組み合わせ使用前に較正手順が実行される。この目的のため、特性点が少なくとも５ｘ５である較正パターンが２つのカメラの前に、これ等の点が両カメラのシーン上にできるだけ均一に分布されるように置かれる。論文”Calibration for increased accuracy on the range imaging camera Swissranger”, ISPRES Commission V Symposium Image Engineering and Version Metrology, XXVI Part 5, Dresden 25 -27 September 2006 で、 Kalmann et al. はSwissranger SR-2 カメラの特性決定と、カメラの精度を向上できるようにするセンサ較正方法とを提示している。この場合、較正方法はＮＩＲ−ＬＥＤｓにより代表される基準点の５ｘ５マトリックスを用いる写真測量的較正に基づいていた。

"Practical Range Camera Calibration"by Beraldin et al., Proc. Soc. Photo-Opt. Instrum. Eng. "High Resolution Segmentation with a Time-of-Flight 3D-Camera using the Example of a Lecture Scene" by Sandra et al. (Freie Universitaet Berlin, 2006) "Calibration for increased accuracy on the range imaging camera Swissranger"by Kalmann et al., ISPRES Commission V Symposium Image Engineering and Version Metrology, XXVI Part 5, Dresden 25 -27 September 2006

３Ｄ（ＴＯＦ）カメラで捕捉されるイメージデータからのシーン座標の実時間又は近実時間較正は、カメラから、カメラの向き及び位置パラメタを含むワールド座標系への変換の知識を要する。交通交差点、建造物又は生産区域の監視等の実ワールド応用に対して、カメラ位置決め及び配向は設置毎に異なる場合があり、このことは目下、外部カメラ較正が個別設置毎に実行されなければならないと云うことを示唆している。上記のように、現状技術方法は既知の基準座標をもつ何らかのボードが正確に設置されることを要する。斯かる較正ツールの設置は時間がかかり、利用可能な空間によっては、不可能でないとしても複雑になるものである。

本発明の目的は、３Ｄ−ＴＯＦカメラの設置、特に位置及び向きの較正を容易にすることにある。この目的は、請求項１に記載の方法又は請求項９に記載の３Ｄ−ＴＯＦカメラ装置により達成される。
３Ｄ−ＴＯＦカメラを含むカメラ装置のための位置及び向き較正方法は
３Ｄ−ＴＯＦカメラを用いて画像化されるべきシーンのカメラ投射レンジイメージ（距離画像）を捕捉し、
レンジイメージ内の１つ以上の面（即ち平面）を検出し、且つ検出される該１つ以上の面の中から、基準面を選択し、
基準面に関する３Ｄ−ＴＯＦカメラの位置及び向きパラメタを計算することを含む。斯かる位置及び向きパラメタは好ましくは、基準面上方の高さ（即ち、カメラと基準面間の距離）、カメラロール角及びカメラピッチ角の少なくとも１つ、最も好ましくは全てを含む。

当業者は、一般に３Ｄ−ＴＯＦカメラの設置の最終手順の１つとしての実行が期待されるこの提唱方法は、規定の較正パターンも、シ−ン内の規定の基準点をマークする較正工具も何等用いるのを要しないことを理解するであろう。本方法の目的ためには、カメラの視野内の領域がワールド座標系に関する既知の向きをもつ面に対応すれば十分である。一般に、この基準面はシーン内のフロアであろう。本提唱方法には、３Ｄカメラはカメラ投射における（即ち、カメラ座標系における）シーンの３Ｄデータ点を提供すると云う利点がある。カメラにより捕捉されるこれ等３Ｄデータにモデル面を合わせることにより、ワールド座標系とカメラ座標系間の関係を規定する、少なくとも３つの方程式の系（面を規定するために少なくとも３つの点が必要である）を計算することができる。この系を解くことにより、上記のカメラ位置及び向きパラメタ：基準面に対するカメラのロール角、ピッチ角及び高さを特定することができる。本発明の目的のため、カメラは負のカメラｚ軸方向に向き、カメラｘ軸及びカメラｙ軸は互いに、且つカメラｚ軸に直角に配向されているものとする。これ等の制限の場合を除いて、カメラｘ軸及びカメラｙ軸はそうでなく、自由に選ぶこともできる。本文脈において、「ロール角」はカメラｘ軸の周りの回転を測定する角度、ピッチ角はカメラｙ軸の周りの回転を測定する角度を指す。発明者の知り得る限り、これは、提供される粗データの利点を生かし、且つシーン内の規定の基準点（即ち、実際のシーン内で、レンジイメージにおいて特定されるようにマークされなければならない点）を用いずに非実験室状態で３Ｄ−ＴＯＦカメラの向き及び位置パラメタを特定できる最良の方法である。

本方法のため、内部カメラ較正が予め、例えばカメラ工場にて実行されていなければならないと云うことに言及されるべきである。「内部較正」は本書で用いられるとき、カメラが設置される場所に無関係なカメラパラメタ、例えば焦点距離、主点位置及びレンズ歪等の光学系パラメタの較正を指す。内部カメラ較正方法は例えば、ＥＰ１６６２４４０Ａ１に開示されている。内部較正とは異なり、本方法は「外部較正」、即ち、カメラが設置される場所に依存しないパラメタの較正に取り組むものである。

３Ｄ−ＴＯＦカメラ装置の目的とする応用分野を問わず、得られるレンジイメージは好ましくは自動的に推定される。この目的のため、レンジイメージは、例えば物体又はパターン認識ソフトウェア等の適宜手段により処理されなければならない。本提唱方法では、カメラ間の位置及び／又は向きの差を補償することができる。本発明の利点の１つは従って、異なる場所に取付けられた３Ｄ−ＴＯＦカメラにより得られるレンジイメージに同一のソフトウェアを用い得ることである。

本発明の更なる側面は、位置及び向き較正方法を実施するように構成及び配置されるカメラ装置に関する。斯かる装置は、シーンのカメラ投射レンジイメージ（距離画像）を捕捉する３Ｄ−ＴＯＦカメラと、該レンジイメージを処理するイメージプロセッサとを含む。イメージプロセッサは、そのハードウェア及び／又はソフトウェアが組み込まれた位置及び向き較正ルーチンを含み、該位置及び向き較正ルーチンはイメージプロセッサにより実行されるとき、３Ｄ−ＴＯＦカメラにより捕捉されるレンジイメージ内の１つ以上の面を検出し、該少なくとも１つ以上の検出面の中から基準面を選択し、且つ該基準面に対する３Ｄ−ＴＯＦカメラの位置及び向きパラメタ、例えば基準面上方の高さ及び／又はカメラロール角及び／又はカメラピッチ角を計算する。

レンジイメージ内の１つ以上の面の検出は、ＲＡＮＳＡＣによる面検出を用いて実行することができる。ＲＡＮＳＡＣ（RANdom SAmple Consensus）はアウトライアー（異常値）に対して特に頑健な、モデルの適合アルゴリズムである。ＲＡＮＳＡＣアルゴリズムの簡潔な記述がH. Cantzler (University of Edinburg)による論文”Random Sample Consensus (RANSAC)”に与えられており、より詳細なものはM. A. Fischler及びR. C. Bollesの”Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography”, Communications of ACM, 24(6): 381 − 395, 1981に与えられている。

ＲＡＮＳＡＣアルゴリズムを用いても、用いなくても、１つ以上の面の検出は有利には、３Ｄ−ＴＯＦカメラにおける光の拡がりにより惹起されるレンジ誤差を補償し、且つ／或いは信頼できないと考えられるレンジ情報を含むイメージ画素（例えば輝度又はアウトライアーが少なすぎる画素）を棄却することを含むと良い。光の拡がりの効果を補償する好適な方法は、欧州特許出願０７０２４５０５．５に記載されている。

検出面から基準面の選択は好ましくは、フロア面を特定し、フロア面を基準面として固定することを含む。殆どの応用において、監視カメラは監視されるべき場所の上方の高さ位置に取付けられ、下方に向けられるので、フロアはカメラの視野にあることが見込まれる。最も好ましくは、基準面の選択はフロア面に対するカメラロール角及び／又はカメラピッチ角のユーザ規定限界の入力に基づき、且つそれに追従する較正ルーチンにより自律的に行われる。カメラにより画像化されるシーンが１つを超える平面（例えば、フロア及び壁等）を含むことが起こり得る。この場合、カメラを設置する人は、カメラがフロア面を自律的に特定できるようにするため、大ざっぱな向き示度（「−４５°と＋４５°間のロール角、「−９０°と０°間のピッチ角」等」を入力することができる。

基準面の選択はまた、ユーザインターフェースを用いて行う１つ以上の検出面の提示及びユーザ対話に基づく基準面の固定を含むことができる。

方法がユーザとの何らかの対話を要する場合、カメラ装置は好ましくはユーザへの出力データの提示、及び／又はユーザからの入力データの受取を含む。斯かるユーザインターフェースは例えば、ディスプレースクリーン、キーボード又はキーパッド、タッチスクリーン等を含むことができる。代替として、カメラ装置はユーザが装置の設定のためユーザインターフェースに一時的に接続できるようにするハードウェアインターフェース（例えば、ラップトップ）を含むことができる。好ましくは、ユーザインターフェースは、カメラの設置者がカメラ配景におけるシーンを映像化できるようにするディスプレースクリーンを含む。面を同設置者が選ばなければならない場合、１つ以上の検出面はこのディスプレースクリーン上に（例えば、異なる色彩で）表示することができる。

好ましくは、較正ルーチンはカメラ座標系とワールド座標系間の座標変換の座標変換パラメタを含む。斯かる座標変換はシーンのカメラ投射レンジイメージに適用されるとき、斯かるレンジイメージを、座標が基準面に関して定義されるシーンの直交座標表示に変換する。カメラ装置は好ましくは、座標変換パラメタを保存できる記憶機構を含む。

カメラ装置は以下に提示されるように、特に横断歩道における歩行者検出に、斯かる応用において画像化されるシーンは基準面として作用可能なフロア面が拡大したものであるから、適していることが理解されるであろう。

本発明の更なる詳細及び利点は、添付図面を参照する以下の非限定実施態様の詳細な説明から明らかになるであろう。図面において、
図１はワールド座標系とカメラ座標系の間の関係を示す概略図である；
図２は３Ｄ−ＴＯＦカメラ装置の概略図である；
図３は３Ｄ−ＴＯＦカメラを含む横断歩道監視システムの斜視図である；
図４は３Ｄ−ＴＯＦカメラの好適な設置方法のフロー図である。

図２は、３Ｄ−ＴＯＦカメラ装置１２と、イメージプロセッサ１４（カメラから分離された構成部品として示されているが、同一収納容器にカメラと一体に組み込んでも良い）を含む３Ｄ−ＴＯＦカメラ装置１０の概略図を示す。カメラはレンズ１６で示す光学画像化機構と、変調又はパルス光で画像化されるべきシーンを照射する、ＬＥＤアレイ１８で示す照射ユニットを含む。カメラ装置はまた、ユーザインターフェース（この場合、ラップトップコンピュータ２０）と接続できるようにするハードウェアインターフェース、例えばＵＳＢポート、ファイアワイヤ等（図示せず）を含む。

３Ｄ−ＴＯＦカメラで捕捉されるレンジイメージは、カメラから画像化表面要素への距離を表す距離値ｄのマトリックスに相当する。カメラの内部カメラパラメタ（例えば、焦点距離、カメラの主点及び歪みパラメタ）が与えられると、シーン内の可視表面要素の３Ｄ座標^c［X, Y, Z］^Tをカメラ座標系に関して決定することができる。カメラ座標系に関して表される座標の前に、ワールド座標系で表される、上付き番号“ｗ”により先行される座標で区別するため、上付き文字“ｃ”が付せられる。可能な実施態様において、これは、画素毎の捕捉距離と画素毎の内部カメラパラメタで規定される単位ベクトル^c［e_x, e_y, e_z］^Tの間で結果を計算することにより得られる。この計算は、ここに引用によりその全体に付き挿入されるＥＰ１６６２４４０Ａ１に説明されている。

ワールド座標系｛W｝とカメラ座標系｛C｝間の関係が回転マトリックス（３ｘ３）と並進（translation）ベクトルから成る（図１に示すように）限り、次の式を規定することができる：

ここで、

は最後の要素として１増大された座標ベクトル

を表し、カメラ座標系とワールド座標系の間の同形異義性表示ができるようにする。

この回転マトリックスＲは、ｚ軸、ｙ軸及びｘ軸の周りの夫々３つの要素回転の数列を定義するオイラー角α、β及びγを用いて提示される。一般に、回転が時計回り方法に、先ずｚ軸の周り、次いで既に一度回転されているｙ軸の周り、最後に、前の段階で既に二度回転されているｘ軸の周りになされるものとする。

ここで、要素回転マトリックスは[Ｒ_ｚ]、[Ｒ_ｙ]及び[Ｒ_ｘ]は次式で与えられる。

（２）に回転マトリックス（３、４、５）を代入することにより、カメラ向きを定義する、結果となる回転マトリックスは

従って、（１）から

表示を簡単にするため、回転マトリックスＲのｉ^ｔｈ行及びｊ^ｔｈ列のマトリックス要素をａ_ｉｊで表す。（７）から、

が得られる。

カメラの外部較正が行われない限り、カメラ座標系に関する３Ｄシーン点の座標、即ち^ｃ[X, Y, Z]のみが既知である。カメラ座標系とワールド座標系間の変換マトリックス[Ｒｔ]を決定するため、データに何らかの拘束を付すことが必要になろう。

次に、カメラにより画像化されるシーンがフロアを含み、これが基準面として較正ルーチンにおいて選ばれているものと仮定する。

シーン内の面を選んでいることによりワールド座標系に関して、その面内に含まれる点の座標を特定値に固定することができる。便宜上、この座標をゼロに固定しよう。従って、座標^ｗＺ＝０を考慮して、（８）から

となる。

式（９）の系の最後の方程式は興味あるものである。この方程式は４つの未知の変数[α_３１、α_３２、α_３３、ｔ_ｚ]を提示し、フロアに属する少なくとも４つの点[^CXk,^CYk, ^CZk], k=1, ..., nが以下の式の系を解くのに必要であることを示唆している。

ここで、ｎ≧４である。フロアに由来する点が多ければ多いほど、各未知変数の値は正確になるであろう。

（１０）の系を効率的に解く方法は、（１０）をマトリックス形式で書く。

そして、例えばGolub et al による”Matrix Computations”, 3^rd edition, 1996, Johns Hopkins University Press, Baltimoreに記述されている特異値分解（ＳＶＤ：singular value decomposition）を適用することによる。

ＳＶＤ計算から、その最小特異値に対応する特異ベクトルはその解に対して最小二乗近似を与えるが、これはλと呼ばれるスケールファクタまでである。従って、ＳＶＤ計算から、[α_３１、α_３２、α_３３、ｔ_ｚ]値の代わりに、結果として得られるのは[ν_１、ν_２、ν_３、ν_４]であり、

となる。

未知変数[ａ₃₁ ａ₃₂ ａ₃₃]に対する正しい値を固定するため、λ値を特定する必要がある。未知変数は最後の回転マトリックスに、且つ直交回転マトリックス特性：

（ここでＩは単位マトリックスを表す）の１つから対応するので、以下の拘束を定義することができる。

スケールファクタλを決定して、この拘束（１４）における式（１２）を次のように整理することができる。

符号の異なる２つの可能な解がある。次のものに対して、マトリックス係数α_３３（式（１２）参照）が正である、λの解を考えてみよう。この解は、フロアの法線ベクトルが、カメラ規準系の原点がワールド座標系における正のｚ成分を有するようなワールド座標系のｚ軸に対応する状態に相当する。

ＳＶＤ計算の代替として、式（１４）の拘束を伴う直接最小二乗計算を、例えばFitzgibbonによる”Direct Least Square Fitting of Ellipses”, Tern Analysis and Machine Intelligence, Vol. 21, No. 5, May 1999に提示されているように計算することができる。（１１）におけるカメラ座標系とワールド座標系の間の変換マトリックスの分散マトリックスを計算することにより、４ｘ４マトリックスが得られる。このマトリックスを（１４）の拘束マトリックスと組み合わせて、解くべき一般化固有系を得ることができる。直接最小二乗法はＳＶＤと比較して計算コストが安いので、実際のマイクロプロセッサでの実現に適している。

λの値が一旦固定されると、（１２）にλを代入することにより、未知変数を自動的に推定することができる。従って、直接決定されるのは、ｚ方向の並進ｔ_ｚ並びに回転マトリックス（６）の第３行である：

式（１６）を解いて回転角β及びγを次のように得ることができる。

β及びγには、同一解に導く２つの値があることに注目。角度γの範囲を半円、例えば間隔[−π／２、π／２]に限定すると、解は不明瞭なところが無くなる。この拘束は、カメラ座標系がワールド座標系と一致する初期向きから９０°未満でｘ軸の周りにカメラが回転されるものと仮定されることを意味するであろう。

これ等の計算から、ピッチ回転及びロール回転に対応する角度β及びγが推定されたことになる。回転を完結するための残る角度は任意の値、例えば便宜のため０°に固定できる偏揺れ（ｙａｗ）角αである。並進ベクトルｔは[0,0,t_z]^Ｔに固定でき、これはワールド座標系の原点がカメラ座標系の原点の下に垂直にあることを意味する。従って、（１）に提示の変換マトリックスは、フロアを基準面として用いて、完全に決定することができる。

この詳細な記載にこれまで提示されたような方法は、基準面の選択に続く、外部カメラ較正の部分に相当する。以下、シーン内の面の検出及び基準面の選択に付いて、より詳細に論じる。物（例えば、家具又は人々）及び／又は１つ以上の面（屋根又は壁）がシーン内にあるとき、頑健（ｒｏｂｕｓｔ）な適合ルーチンを用いてシーン内の面を検出しなければならない。面に属するレンジイメージ内の点と物に属する点とを区別するため、ＲＡＮＳＡＣベース面検出を用いるのが好ましい。ＲＡＮＳＡＣアルゴリズムはモデルの頑健な適合のための反復アルゴリズムである。実験データにおけるアウトライアー（outliers）に対して良好な耐性をもつと云う意味で、頑健である。その構造は簡単だが、次の手順に基づき力強い：第１に、このアルゴリズムはレンジイメージの３つの点を無秩序に選び、これ等３つの点で測られる面に属するインライアー(inliers)の数を計算する（ある程度の誤差許容度をもって）。アルゴリズムは次いで、３つの新たな点を選び、面に合うデータがそれ以上無くなる迄、又は繰返し所定数に達する迄、同一動作を行う。最良面（最高数のインライアーのある）を定義する、これ等３つの点がアルゴリズムにより復元されるであろう。異なる点トリプレットで定義される面は必ずしも、シーン内に実際に存在する面に対して最良のフィットではない。従って、面パラメタのより良い推定値を、例えば最小二乗法を用いて計算すると良い。シーン内の複数の物又は人に属する複数点は通常、１つの面には属さないので、棄却されるものと理解されるであろう。

シーン内に１つの面のみが存在するとは演繹的（a priori）に仮定することはできない。従って、検出面から基準面を選択するための方法が採用されなければならない。１つの面のみが検出される場合、殆どの監視応用例では、この面がフロア面であり、較正ルーチンがその面を基準面として固定できるものと、ある程度の妥当な確信を以て仮定することができる。１つ以上の面が検出される場合、カメラの設置者によって、何らかの入力が較正ルーチンに与えられるべきである。

カメラがフロアに面している場合、フロアはシーン内の他の面（例えば、天井又は壁）から次のようにして区別することができる：カメラをフロア上方に設置し、ワールド座標系のカメラの推定ｚ軸ｔ_ｚを正とする（ここで、ワールド座標系はフロアレベル上方の点のｚ座標が正となるように配向されるものとする）。カメラ上方の天井は何れも、検出面に、更なる考慮のため条件ｔ_ｚ＞０を課すことによりフロア面の座標セットから容易に棄却することができる。ｙ軸の周りのピッチ角βが間隔[−π／４、π／４]内にあるよう要求することにより、検出面に、更なる考慮のため条件|α_３１|＝|sinβ|＜２^1/2／２を課すことができる。推定回転マトリックス係数α_３１はカメラｘ軸の、較正面の法線ベクトルへの投影であるので、上記条件により側壁、即ちワールドｚ軸に平行な壁を棄却することができる。カメラをｙ軸の周りにπ／４より大きく回転させる状態にも対処することができる。これ等の場合、ユーザは、４つの可能な象限の中どの象限に、較正方法の適用前レンジイメージがそれに応じて０、π／２、π、３π／２回転可能になるようなロール角があるかをユーザインターフェースに指示しなければならないであろう。ロール角の象限の指示は、その側のどれが上側であるかをカメラに指示することに基本的に相当する。

当業者は、レンジイメージ内で検出されるどんな面も、ワールド座標系に関する検出面の相対向きが指示（直接、又は間接的に、例えばカメラの上側又は下側の表示を介して）されさえしていれば、用いることができることに気付くであろう。較正ルーチンは好ましくは、設置を通してユーザを案内するように構成され、例えばユーザに、カメラのだいたいの向き、例えばカメラが下向きか、上向きか、また円のどの象限にロール角があるかの指定を求めることができる。較正ルーチンはまた、レンジイメージ内で検出される異なる面を表示（例えば、色調、ハイライト等により）するように構成されて、そしてユーザが選ばれるべき基準面を指示するよう求められても良い。

好ましくは、ユーザは、面検出がなされる前に、だいたいのカメラ向きを指示する。較正ルーチンが基準面としてだいたいのカメラ向きに対して所定の向きを選ぶように構成されるべき場合、ＲＡＮＳＡＣアルゴリズムにおいて無秩序に選ばれた点トリプレットが含まれる何らかの仮想面は、それ等の向きは上記だいたいのカメラ向きとは相いれないので、直ちに棄却することができる。従って、ＲＡＮＳＡＣアルゴリズムは好ましくは、仮想面をだいたいのカメラ向きと一致して定義する斯かる点トリプレットのみのための費用関数（cost function：通常はインライアーの数）を推定するように最適化される。

較正ルーチンを更に良くするため、面検出のベースとして働くレンジイメージのコントラストを高めることができる。このような実施は、コントラスト損により生ずる距離測定誤差を低減する。特に、較正ルーチンは好ましくは、シーンからの反射光の変調の振幅が所定の閾値下である（カメラの明瞭距離からずっと遠いシーンの部分が取り除かれるような）レンジイメージ内の領域を、面検出実施前に棄却して、面検出アルゴリズムで考慮されるべきイメージ点のプールを減少し、それより計算時間の改良をはかるように構成される。

まとめとして次に、３Ｄ−ＴＯＦカメラ装置を設置する好適な方法を、図４を参照して説明する。第１に手順４１において、カメラ装置の設置担当者が３Ｄ−ＴＯＦカメラ１２を指定場所、例えば図３に示すような横断歩道２２の上方の高い位置に取付ける。一旦カメラが正確に位置付けられ、配向される（ディスプレースクリーンをカメラに繋いで、又は利用可能な造付けディスプレースクリーンを用いて確認されるべきである）と、ユーザはカメラ較正ルーチンを含むカメラ設定プログラムを開始する。

手順４２において、較正ルーチンがユーザにカメラのおおよその向きを指定するよう求める。これは例えば、異なる予定のカメラ位置及び／又は向きを示す１組の図像又は画像を提示し、且つユーザに実際のカメラ向きに最も良く対応する図像又は画像を選択することを要求することにより行われる。その後、カメラの向きはそれ以上変更されるべきではない。斯かる変更がそれでも必要な場合、設定プログラムは再度開始されるべきである。監視されるべきシーンのレンジイメージは次いで、手順４３にて捕捉される。カメラ向きがその間変更されていないなら、予め（カメラが設置されたとき）捕捉されたレンジイメージを較正のために用いることができ、手順４３を省略することができる。

較正ルーチンは次いで、例えばＥＰ１６６２４４０Ａ１に提案の方法を用いて、カメラ座標系におけるレンジの点の座標を計算（手順４４）し、それによりカメラの光学パラメタ（予め知られ、カメラの記憶機構に保存されている）が考慮される。ＥＰ１６６２４４０Ａ１では、カメラ光学パラメタは、各ベクトルがレンジイメージの特定画素に属する１組のベクトルとして保存される。この手順の座標計算方法は画素毎に、画素に対して特定されるレンジ値と、特定画素に対応するその保存ベクトルとの乗算：

を含む。ここで、ｄ_ｉはｉ番目の画素で測定される距離、[^ｃｅ^ｘ _ｉ，^ｃｅ^ｙ _ｉ，^ｃｅ^ｚ _ｉ]^Ｔはｉ番目画素に保存されるベクトル、左側はカメラ規準系におけるイメージ点の座標ベクトルである。この手順の結果は、カメラ規準系におけるシーンの直交座標表示である。

続く手順は、上記のように好ましくはＲＡＮＳＡＣアルゴリズムを用いて実行される面検出（参照番号４５）と、検出面からの基準面の選択（手順４６）である。上記のように、フロア面の特定は、例えば先に定義したのカメラ向きを用いて自律的に（この段階ではユーザとの対話無しに）、又はユーザ対話に基づいて（ユーザにフロア面の指定を要求して）なされる。工程のこの段階で、較正ルーチンにはカメラ位置（基準面からの垂直距離による）及び向き（基準面に対するロール及びピッチ角）を計算するための十分な情報があり、従って較正ルーチンは手順４７で実行される。上記のように、カメラ位置及び向きはカメラ座標系からワールド座標系に座標変換される。従って、手順４８で、較正ルーチンはこの座標変換（例えば、マトリックス形式の）を計算し、それを上記の座標計算方法に組み合わせることにより、１組のベクトル[^ｗｅ^ｘ _ｉ，^ｗｅ^ｙ _ｉ，^ｗｅ^ｚ _ｉ]^Ｔが手順４９で得られ、それにより画素毎に測定される距離がワールド規準系におけるその座標により表される点に直接変換：

されるようにする。ここで、Ｒは式（２）で与えられる。このルーチンの実用的実施態様では、手順４８及び４９を単一手順としても実施しても良いことに注意すべきである。レンジイメージ（即ち、距離がｄ_ｉの画素の組）から、ワールド規準系における点の座標を

により計算することができる。

一旦較正ルーチンが上手く実行されたら、カメラにより取得されたレンジイメージをワールド座標系におけるシーンの直交座標表示に変換するのに必要なデータは、ベクトル[^ｗｅ^ｘ _ｉ，^ｗｅ^ｙ _ｉ，^ｗｅ^ｚ _ｉ]^Ｔ及び[ｔ_ｘ，ｔ_ｙ，ｔ_ｚ]^Ｔである。されど、カメラは好ましくは、較正が反復（例えば、カメラの保守点検後に）を要する場合、ベクトル[^ｃｅ^ｘ _ｉ，^ｃｅ^ｙ _ｉ，^ｃｅ^ｚ _ｉ]^Ｔを記憶機構に保存する。

本発明は３Ｄ−ＴＯＦカメラの殆どの応用に適しており、実世界環境での斯かるカメラの設置を大きく促進するものと当業者は理解するであろう。

１０ ３Ｄ−ＴＯＦカメラ装置
１２ ３Ｄ−ＴＯＦカメラ
１４ イメージプロセッサ
１６ レンズ
１８ ＬＥＤアレイ
２０ ラップトップコンピュータ
２２ 横断歩道

Claims (15)

1. ３Ｄ−ＴＯＦカメラを含むカメラ装置のための位置及び向きの較正方法であって、該方法が
   前記３Ｄ−ＴＯＦカメラを用いてシーンのカメラ投射レンジイメージを捕捉し、
   前記レンジイメージ内の１つ以上の面を検出し、該１つ以上の検出面の中から基準面を選択し、
   前記基準面に対する前記３Ｄ−ＴＯＦカメラの位置及び向きパラメタを計算することを含んで成る位置及び向きの較正方法。
2. 前記３Ｄ−ＴＯＦカメラの前記位置及び向きパラメタが前記基準面上方の高さ、カメラロール角及びカメラピッチ角の少なくとも１つを含んで成る、請求項１に記載の方法。
3. 前記レンジイメージ内の１つ以上の面の検出がＲＡＮＳＡＣによる面検出から成る、請求項１又は２に記載の方法。
4. 基準面の前記選択がフロア面を識別し、該フロア面を前記基準面として固定して成る、請求項１〜３の何れかに記載の方法。
5. 前記基準面の前記選択が、前記フロア面に対するカメラロール角及び／又はカメラピッチ角のユーザ規定限界の入力に基づき、それに追従する前記カメラにより実行されて成る、請求項４に記載の方法。
6. 前記基準面の前記選択が、ユーザインターフェースを用いて前記１つ以上の検出面を提示し、且つユーザ対話に基づいて前記基準面を固定して成る、請求項１〜５の何れかに記載の方法。
7. 座標変換の座標変換パラメタを計算し、該座標変換が前記シーンのカメラ投射レンジイメージに適用されるとき、斯かるレンジイメージを、座標が前記基準面に関して定義される前記シーンの直交座標表示に変換し、且つ前記カメラの記憶機構内に座標変換パラメタを保存して成る、請求項１〜６の何れかに記載の方法。
8. １つ以上の面の前記検出が、前記３Ｄ−ＴＯＦカメラにおける光の拡がりにより惹起されるレンジ誤差を補償し、及び／又は信頼できないと考えられるレンジ情報を含むイメージ画素を棄却して成る、請求項１〜７の何れかに記載の方法。
9. シーンのカメラ投影レンジイメージを捕捉する３Ｄ−ＴＯＦカメラと、
   前記レンジイメージを処理するイメージプロセッサを含むカメラ装置において、
   前記イメージプロセッサは、そのハードウェア及びソフトウェアが組み込まれた位置及び向き較正ルーチンを含み、該位置及び向き較正ルーチンが前記イメージプロセッサにより実行されるとき、前記３Ｄ−ＴＯＦカメラにより捕捉されるレンジイメージ内の１つ以上の面を検出し、該１つ以上の検出面から基準面を選択し、且つ前記基準面に対する３Ｄ−ＴＯＦカメラの位置及び向きパラメタ、例えば前記基準面上方の高さ及び／又はカメラロール角及び／又はカメラピッチ角を計算するようにして成ることを特徴とするカメラ装置。
10. ユーザに出力データを提示し、且つ／或いはユーザから入力データを受取するユーザインターフェースを含んで成る、請求項９に記載のカメラ装置。
11. 前記位置及び向き較正ルーチンが前記イメージプロセッサにより実行されるとき、フロア面を特定し、且つ該フロア面を前記基準面として固定することにより前記基準面を選択するようにして成る、請求項９又は１０に記載のカメラ装置。
12. 前記較正ルーチンが前記イメージプロセッサにより実行されるとき、前記フロア面に対するカメラロール角及び／又はカメラピッチ角のユーザ規定限界の入力に基づき、且つそれに追従して、前記ユーザインターフェースを介して選択するようにして成る、請求項１１に記載のカメラ装置。
13. 前記基準面の前記選択が、ユーザインターフェースを用いて前記１つ以上の検出面を提示し、且つ前記基準面をユーザ対話に基づいて固定することを含んで成る、請求項１１又は１２に記載のカメラ装置。
14. 前記装置が記憶機構を含み、且つ前記較正ルーチンが前記イメージプロセッサにより実行されるとき、前記カメラ規準系から、座標が前記基準面に関して定義されるワールド規準系への座標変換の座標変換パラメタを計算し、該座標変換パラメタを前記記憶機構内に保存するようにして成る、請求項９〜１３の何れかに記載のカメラ装置。
15. 横断歩道における歩行者検出のために用いる、請求項９〜１４の何れかに記載のカメラ装置の使用。

Images