JP2009188980A

JP2009188980A - ３６０度の視野をもつステレオカメラ

Info

Publication number: JP2009188980A
Application number: JP2008287918A
Authority: JP
Inventors: Randolph G Hartman; ランドルフ・ジー・ハートマン
Original assignee: Honeywell International Inc
Current assignee: Honeywell International Inc
Priority date: 2007-11-09
Filing date: 2008-11-10
Publication date: 2009-08-20
Also published as: EP2059058A2; US8174562B2; EP2059058A3; US20090122133A1

Abstract

【課題】車両が所定の場所を横切るときに、他の測定システムを用いて車両の位置を特定するためのシステムを提供する。
【解決手段】ステレオカメラは、少なくとも１つの画像センサと、領域の第１の像を少なくとも１つの画像センサに向けるように構成された第１の面とを備え、第１の像は、ほぼ３６０度の領域の像を備える。ステレオカメラは、さらに領域の第２の像を少なくとも１つの画像センサに向けるように構成された第２の面を備え、第２の像は、ほぼ３６０度の領域の像を備え、ここで、少なくとも１つの画像センサは、１つの画像に第１の像および第２の像を取得するように構成される。
【選択図】図１

Description

本発明は、３６０度の視野をもつステレオカメラに関する。

本出願は、概ね、２００７年２月２３日に出願された表題「CORRELATION POSITION DETERMINATION」の米国特許出願第１１／６７８３１３号（以下「３１３出願」）、および２００７年８月１３日に出願された表題「RANGE MEASUREMENT DEVICE」の米国特許出願第１１／８３７８６８号に関連し、これらは参照することにより本稿に統合される。

多くのナビゲーション応用は、物体の正確な位置決めおよび追跡を提供する。たとえば、無人陸上車両（UGV; unmanned ground vehicle）のような無人車両は、所定の場所まで適切に操縦するために正確な位置情報を必要とする。これらのナビゲーション応用のほとんどは、必要なレベルの精度を達成するために、１つまたはそれ以上の全地球測位システム（GPS; global positioning system）センサを採用する。

しかし、ＧＰＳの使用はいくつかの制限がある。たとえば、人工衛星の通信が妨害されたところでは、所望の位置においてＧＰＳ信号が得られないかもしれない。さらに、ＧＰＳセンサは、車両の位置に関連する場所の局所的な特徴のための位置情報（たとえば、任意の追加的な周囲の物体またはその領域内の目印）を得ることができない。

上述のこれらの理由により、また本明細書を読んで理解することにより本技術分野の当業者に明らかになるであろう以下に述べるその他の理由のために、本業界では車両が所定の場所を横切るときに、他の測定システムを用いて車両およびその周囲の物体の位置を決定するためのシステムおよび方法へのニーズがある。

一実施形態としてステレオカメラが提供される。このステレオカメラは、少なくとも１つの画像センサと、領域の第１の像を少なくとも１つの画像センサに向けるように構成された第１の面とを備え、第１の像は、領域のほぼ３６０度の像を持ち、ステレオカメラはさらに、領域の第２の像を少なくとも１つの画像センサに向けるように構成された第２の面を備え、前記第２の像は、領域のほぼ３６０度の像を持ち、少なくとも１つの画像センサは、少なくとも１つの画像に、第１の像および第２の像を取得するように構成される。

本発明は、以下の詳細な説明および添付図面を参照することにより、より容易に理解することができ、また、さらなる利点や使用方法が明らかになる。一般の慣行に従って、説明される様々な特徴は、図面において寸法通りに描かれておらず、本願発明に関連する特定の特徴を強調して描かれている。

以下の詳細な説明において、符号は添付の図面に示されており、本発明を実施できるように特定の実施形態を示している。これらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。また、他の実施形態をとることもできることを理解されたい。また、論理的、機械的、電気的な変更は、本願発明の趣旨および範囲から逸脱することなく可能であることを理解されたい。それゆえ、以下の詳細な説明は限定する意図ではなく、本願発明の範囲は、特許請求の範囲の記載に及びその等価物によってのみ特定される。

本発明の実施形態は、単一の画像センサのみのステレオカメラで、３６０度の水平視野で物体を追跡することを可能にする。そのため、ステレオカメラを移動させるホストユニットが曲がるときに物体は視野から外れないので、物体が視野内に存在する時間間隔は増大する。同様に、本願は特定の実施形態において、３６０度の水平視野を持たない典型的なステレオカメラと比較して、ホストユニットの位置を決定するのに用いられる物体の数および物体の幾何的配置が改良される。物体の数の増加は、水平線に沿った大きな視野によるものである。

図１は、ナビゲーションシステム１００のブロック図である。図示されているように、ナビゲーションシステム１００は、約３６０度の水平視野を持つステレオカメラ１０６と通信するプロセッサ１０２を含む。いくつかの実施形態において、システム１００は、ＧＰＳセンサ１０８、慣性センサ１１０、方位センサ１１２、スピードセンサ１１４、高度センサ１１６などの少なくとも１つの追加のセンサを含む。ナビゲーションシステム１００は、ホスト車両が図２に示す領域２００のような領域を横断するのを支援するために、ホスト車両上で用いられる。たとえば、ホスト車両は、無人陸上車両（ＵＧＶ）および無人航空車両（ＵＡＶ）を含むが、これに限定されない。

ステレオカメラ１０６は、ほぼ同じ瞬間に２つの画像を取得する。取得された２つの画像の画像データはプロセッサ１０２に送られる。プロセッサ１０２は、この画像データをレンジデータ（range data）を決定するために用いる。レンジデータは、ステレオカメラ１０６の近くの物体の距離および角度を含む。前述のように、３６０度の水平視野を持つステレオカメラが用いられる。３６０度の水平視野は、ステレオカメラ１０６からどんな水平方向に位置する物体でも検出することを可能にする。ほぼ３６０度の水平視野を持つ例示的なステレオカメラが、図３−６とともに以下に説明される。ホスト車両が所定の領域を通過するとき、ステレオカメラ１０６からの画像データは、物体までの地球参照角度（たとえば、絶対距離データ）とともに、物体間の個別的なレンジ（たとえば相対距離データ）を探知するのに用いられる。

慣性センサ１１０を含む実施形態に置いて、追加的な情報がホスト車両の位置を推定するためにプロセッサ１０２に提供される。一般的に、慣性センサ１１０は、現在の位置を、時間に関する以前の情報、初期位置、初期速度、初期の向きに基づいて外部情報の援助なしに推定する。図１に示されているように、初期位置入力および初期向き入力が提供される。慣性センサ１１０により生成される情報（本実施形態においては）がプロセッサ１０２に提供される。プロセッサ１０２は、慣性センサ１１０のデータを、ステレオカメラ１０６からの距離および角度のデータと組み合わせて、ホスト車両の現在の位置を決定するために用いる。図１に示されているように、現在の位置および現在の向きが出力される。現在の向きおよび現在の位置の出力は、ナビゲーションの絶対座標および相対座標の両方で、システム１００を位置付けるために用いられる。他の実施形態において、１つまたはそれ以上のＧＰＳセンサ１０８、方位センサ１１２、スピードセンサ１１４および高度センサ１１６がプロセッサ１０２にデータを、ナビゲーションの絶対座標および相対座標を決定するのに使用するために提供する。

図２は、横断線図２００を示しており、横断する領域２００を通過するホスト車両２０７（たとえばＵＧＶ）を示している。図示されているように、横断領域２００は、物体２１０−１から２１０−Ｎを含む。一実施形態において、物体２１０−１から２１０−Ｎは、３１３出願に開示された相関位置決定方法に従って位置付けられる（たとえば予め配置される）。位置づけられた物体の配置は、メモリ１１８のようなデータベースに記憶され、プロセッサ１０２のようなプロセッサからアクセス可能であり、一方で、ホスト車両２０７は、領域２００の進路を決める。代替実施形態として、物体２１０−１から２１０−Ｎの配置は、予め分かってはおらず変更可能である。たとえば、物体２１０−１から２１０−Ｎの１つまたはそれ以上は、車両や通行人等の移動する物体である。ホスト車両２０７は、第１地点２０２から始まり第２地点２０４で終わる経路２０１を通る。ホスト車両２０７は、図１のステレオカメラ１０６に類似するステレオカメラ２０６を備える。ステレオカメラ２０６は、領域２００のほぼ３６０度の水平視野からなる画像を取得し、この画像は、ホスト車両２０７および／または物体２１０−１から２１０−Ｎの相対位置を決定するのに用いられる。この相対位置の決定に関しては、図３−６とともに以下でさらに説明される。

図３は、本発明の一実施形態によるステレオカメラ３００のブロック図である。この実施形態において、ステレオカメラ３００は、２つの反射面３０２−１および３０２−２、２つのレンズ３０４−１および３０４−２、２つの画像センサ３０６−１および３０６−２、時間調整電子機器３０８を備える。反射面３０２−１および３０２−２は、３６０度の視野をレンズ３０４−１および３０４−２にそれぞれ反射する。反射面３０２−１および３０２−２は、共通の軸上に配置され（たとえば軸３１２）、既知の距離だけ離れている（たとえば距離３１４）。特に、この例においては、反射面３０２−１および３０２−２は、垂直に離れておりかつ共通の方向を向いている。しかし、代替的な構成もまた可能である。たとえば、代替的な構成の一例として、反射面３０２−１および３０２−２は、垂直に離れておりかつ反対方向を向いている。離れた反射面３０２−１および３０２−２は、垂直方向に、各反射面に他の反射面により反射された像が現れることを防止する。

他の構成の例が図１０に示されており、レンズ１００４−１および１００４−２は、超広角レンズ（たとえば円形魚眼レンズ）である。超広角レンズは、領域のほぼ３６０度の水平視野およびほど１８０度の半球視野を写す。このような実施形態において、レンズ１００４−１および１００４−２が領域の像を画像センサ１００６−１および１００６−２に導くので、反射面３０２−１および３０２−２は必要ない。図１０に示されている他の部品（たとえば、時間調整電子機器１００８、画像センサ１００６−１および１００６−２）は、図３の実施形態について説明されたのと同様に機能する。

図３に戻って、各反射面３０２−１および３０２−２の形状は、領域の３６０度の水平視野を提供するように構成される。たとえば、この実施形態において、各反射面は３０２−１および３０２−２は、角錐形状である。しかし、他の実施形態おいて、他の形状とすることもできる。例示的な、反射面３０２−１および３０２−２の形状が図８Ａ−８Ｅに示されており、これらの図は、これに限定するわけではないが、円錐、半球、ジオデシックドーム、角錐、四面体をそれぞれ含む。また、反射面３０２−１および３０２−２は、ミラーのような、画像の鏡面反射（すなわち、単一の入射方向のための単一の出射方向）を提供するための任意の適当な材料から作られる。

この実施形態においては、レンズ３０４−１および３０４−２は、反射像の物体がそれぞれの画像センサ３０６−１および３０６−２に到達したときに結像されるように、それぞれの反射面３０２−１および３０２−２上に集められる。時間調整電子機器３０８は、各レンズ３０４−１および３０４−２、画像センサ３０６−１および３０６−２に制御信号を送る。制御信号は、各レンズ３０４のシャッターが開くタイミングおよび開き時間を示し、それにより、反射像の画像を取得する。特に、本実施形態において、時間調整電子機器３０８は、画像センサ３０６−１および３０６−２がそれぞれほぼ同じ時間に画像を取得するように制御信号を送る。それゆえ、反射像は、レンズ３０４−１および３０４−２の一方を通って、それぞれの画像センサ３０６−１および３０６−２に向かう。

本例では、画像センサ３０６−１および３０６−２は、電荷結合素子（ＣＣＤ）を用いて実装される。しかし、本発明の実施形態はこれに限定されない。とくに、画像センサ３０６−１および３０６−２は、相補性金属酸化膜半導体素子（ＣＭＯＳ）センサ（たとえば、アクティブピクセル画像センサ）のような、画像を電気信号に変換するための任意の適当な装置で実装することができる。画像センサ３０６−１および３０６−２は、電気画像データをプロセッサ１０２のようなプロセッサに送り、プロセッサは、この画像データに基づいて相対位置を計算する。

反射面３０２−１および３０２−２は共通の軸を持ち且つ離れているので、実質的に同一の注目領域（たとえば領域２００）の像を、異なった位置から反射する。特に、各反射面３０２−１および３０２−２からの反射像は、注目領域のほぼ３６０度の像を含む。図４は、反射面３０２−１および３０２−２からの反射像の取得画像の線図表現の例を示す。図から分かるように、物体４１４−１・・・４１４−Ｎは、それぞれの画像４１６および４１８において異なっている。これは、軸３１２に沿って反射面が離れているからである。

図１のプロセッサ１０２のようなプロセッサは、画像センサ３０６−１および３０６−２からのそれぞれの画像データを用いて、領域内でのホスト車両の物体に対する相対位置を決定する。特に、プロセッサは、画像センサ３０６−１からの画像データ中の物体の位置と、画像センサ３０６−２からの画像データ中の同物体の位置との相関をとる。当業者は、カメラ画像中の物体を同定し相関させる方法を知っていることを理解されたい。従って、ここでは、画像中の物体を同定するプロセスの詳細をこれ以上説明しない。この相関に基づいて、プロセッサは、反射面３０２−１と３０２−２との間の相対角度を計測する。既知の距離３１４および計測した相対角度を用いて、プロセッサは、領域内のホストユニットから物体までの距離を計算する。プロセッサは、物体までの距離（レンジ）および角度向き（たとえば、相対ピッチ、ロール、および／またはヨー）を決定できる。

図５は、反射面３０２−１および３０２−２から物体５１０までの相対角度および距離の例を示す線図であり、これは、物体までのレンジを計算するために用いられる。長さｌ_１は既知の分離距離３１４であり、角度α_１およびα_２は直角（９０度）である。上述のように、画像センサ３０６−１および３０６−２により取得した画像の相関に基づいて、プロセッサは角度θ_１およびθ_２を測定する。また、三角形の内角の和は１８０度であることから、プロセッサは角度β_１およびβ_２を計算する。長さｌ_１および全ての角度が分かったので、正弦および余弦の法則を用いて、長さｌ_２、ｌ_３およびｌ_４を計算することができる。さらに、他の実施形態で用いられる、代替公式は、映像に基づいたナビゲーションシステムに関連する分野の当業者に知られている。このような代替公式は、これに限定しないが、レンジおよび向きを推定するカルマンフィルタを含む。

物体までの距離に基づいて、プロセッサは、ホストユニットの物体に対する位置を計算する。ホストユニットの相対位置を用いて、プロセッサは、領域内の物体と適切に相互作用することができる。また、物体の絶対位置が与えられると、物体に対するホストユニットの位置に基づいて、ホストユニットの絶対位置を決定することができる。

さらに、いくつかの実施形態において、プロセッサは、第１の時間において各画像センサ３０６−１および３０６２のから得られた画像中の物体の位置と、第２の時間において各画像センサ３０６−１および３０６−２から得られた画像中の対応する物体の位置との相関をとる。画像センサ３０６−１と３０６−２との間の相関とともに、時間間の物体の位置の相関をとることにより、プロセッサは、測定された画像中の物体の動きに基づいて相関をとった物体に対するホスト車両の速度を決定する。さらに、ホスト車両の速度が分かったら、測定された画像中の物体の動きに基づいて、ホスト車両に対する物体の相対速度を決定することができる。

３６０度の水平視野により、物体の検出および距離の計算が改善される。典型的なステレオ映像システムにおいて、水平視野は限定されている。それゆえ、水平視野の外側の物体は検出されず、操縦中に、物体はカメラの視野に入りまた視野から出る。たとえば、ホスト車両の側部から近づいてくる物体または側部に位置する物体は検出されず、典型的なステレオカメラシステムでは、物体を追跡するのが困難である。また、３６０度の水平視野を持つので、限られた水平視野を備える典型的なステレオ映像システムよりも、所定時間におけるより多くの物体を検出して、ホスト車両の位置を決定することができる。より多くの物体を用いることは測定数を増加させ、それがホストユニットの位置の計算の精度を向上させる。

図６は、本発明の他の実施形態により、他のステレオカメラ６００の線図である。ステレオカメラ６００は、２つの反射面６０２−１および６０２−２、時間調整電子機器６０８および１つの画像取得装置６０５を含む。画像取得装置６０５は、レンズ６０４および画像センサ６０６を備える。反射面６０２−１および６０２−２は、図３で述べたように、共通の軸上に配置され、既知の距離６１４だけ離れている。しかし、ステレオカメラ６００において、反射面６０２−１および６０２−２はそれぞれ、同一の瞬間に、距離３１４だけ離れた位置から画像取得装置６０５に向かって３６０度の画像を反射する。画像取得装置６０５から取得された各画像は、反射面６０２−１により反射された像に対応する領域、および反射面６０２−２により反射された像に対応する領域を含む。

反射面６０２−１および６０２−２は、ミラーのような画像の鏡面反射を提供するための任意の適当な材料から作ることができる。各反射面６０２−１および６０２−２の形状は、領域の３６０度の水平視野を提供するために構成される。たとえば、本実施形態において、各反射面６０２−１および６０２−２は、角柱のように形成される。しかし、他の実施形態においては、他の形状も可能である。反射面６０２−１および６０２−２の例示的な形状は、図８に示されており、これに限定されないが、円錐、半球、角柱、四面体、およびジオデシックドームが含まれる。

さらに、反射面６０２−２は、反射面６０２−２の中心を通る空隙６１０を備えるように構成される。反射面６０２−１は反射面６０２−２よりも小さいので、反射面６０２−１から反射される像が空隙６１０を通りレンズ６０４に到達する。円筒形トンネルのような、反射面６０２−１に一致する多くの構成の空隙が可能である。画像センサ６０６により取得された画像の例が図７に示されている。同図から分かるように、画像７１６は、２つの領域７１７および７１９を備える。領域７１７は、反射面６０２−２から反射された像に対応し、領域７１９は、反射面６０２−１から反射される像に対応する。空隙６１０は画像センサ６０６が単一の画像７１６の反射像を取得できるようにする。レンズ６０４は、ほぼ共通の焦点距離を持つ両方の反射像のための、適切なフォーカスを提供するように構成される。

図９は、本発明の一実施形態による、ホスト車両に対する物体の相対位置を決定するための方法９００のフローチャートである。ステップ９０２において、第１の像は、反射面３０２−１のような第一の面からが画像センサ向けられる。一実施形態において、第１の面は、第１の像を画像センサに向かって反射する反射面である。他の実施形態において、第１の面は、第１の像を画像センサに向けて屈折させる超広角レンズ（たとえばレンズ１００４−１、１００４−２）である。第１の像は、上述のように、ほぼ３６０度の領域の水平視野を持つ。ステップ９０４において、第２の像が、反射面３０２−２のような第２の面から画像センサに向けられる。また、第２の像は、ほぼ３６０度の領域の視野を持つ。第１の面と同様に、一実施形態において、第２の面は、第２の像を画像センサに向かって反射させる反射面である。他の実施形態において、第２の面は第２の像を画像センサに向かって屈折させる超広角レンズである。

ステップ９０６において、第１の像および第２の像は、画像センサ３０６のような画像センサで少なくとも１つの画像で取得される。第１の像および第２の像は、実質的に同じ時間において取得される。特に、一実施形態において、第１の像および第２の像は、２つの像を１つの画像に取得する同一の画像センサに反射される。たとえば、このような実施形態において、上述のように、第１の反射面で反射された第１の像は、空隙６１０のような第２の反射面の空隙を通る。そして、同一の画像センサは単一の画像を取得し、この画像は、上述のように、同一の時間に第１の反射面および第２の反射面から反射した両方の像を含む。他の実施形態において、２つの分離した画像センサが用いられる。このような実施形態においては、各画像センサは、上述のような１つの像を取得する。

ステップ９０８において、ホスト車両に対する物体の相対位置を決定するために、取得画像中の物体の位置が解析される。いくつかの実施形態において、物体の絶対位置がわかっていれば、ホスト車両の絶対位置もまた決定される。特に、ホストユニットの位置を決定するために、既知の物体の位置（上述のようにメモリに記憶された位置など）および物体の相対位置が解析される。同様に、いくつかの実施形態において、ホスト車両の絶対位置が分かるので、ホストユニットに対する物体の相対位置および基地のホストユニットの位置に基づいて物体の絶対位置を決定することができる。

一実施形態において、物体の位置の解析は、第１の取得画像中の物体の位置と第２の取得画像中の同物体の位置との相関をとることを含む。従って、角度および距離のような、第１および第２の面と物体との間の相対測定は、物体位置の相関に基づいて計算される。そして、ホストユニットから物体までの距離および角度向きは、相対測定および第１の面と第２の面との間の既知の間隔に基づいて計算される。ホストユニットから物体までの距離および角度向きは、画像中の共通の物体に対するホストユニットの相対位置を決定するために用いられる。さらに、いくつかの実施形態において、所定時間経過後の少なくとも１つの画像における位置の変化に基づいて、ホストユニットの物体に対する相対速度が決定される。同様に、いくつかの実施形態において、ホストユニットに対する物体の相対速度が決定され、いくつかの実施形態では、これは、物体の位置およびホストユニットの既知の速度に基づいて行われる。

本稿で、特定の実施形態が図示および説明されたが、当業者にとって、同じ目的を達成するために考慮される任意の配置が、示された特定の実施形態に代替可能であることを理解されたい。本願は、本発明のあらゆる変更または修正を含むことを意図している。それゆえ、本発明は特許請求の範囲およびその均等物によってのみ確定されることがはっきりと意図されている。

本発明の一実施形態によるナビゲーションシステムのブロック図である。ホスト車両が横断する領域を通過するときの横断線図である。本発明の一実施形態によるステレオカメラのブロック図である。反射面からの画像を描写するブロック図の一例を示す図である。物体の反射面からの相対角度および距離の例を示すブロック図である。本発明の一実施形態による他のステレオカメラのブロック図である。反射面からの画像を描写するブロック図の他の一例を示す図である。本発明の実施形態において用いられる反射面の形状の例を示す図である。本発明の一実施形態による、ホストユニットに関する物体の相対位置を決定する方法のフローチャートである。本発明の一実施形態による他のステレオカメラのブロック図である。

Claims

ステレオカメラ（３００，６００，１０００）であって、
前記ステレオカメラは、少なくとも１つの画像センサ（３０６，６０６，１００６）と、
領域の第１の像を前記少なくとも１つの画像センサに向けるように構成された第１の面（３０２−１，６０２−１，１００４−１）とを備え、前記第１の像は、前記領域のほぼ３６０度の像を持ち、
前記ステレオカメラはさらに、前記領域の第２の像を前記少なくとも１つの画像センサに向けるように構成された第２の面（３０２−２，６０２−２，１００４−２）を備え、前記第２の像は、前記領域のほぼ３６０度の像を持ち、
前記少なくとも１つの画像センサは、少なくとも１つの画像に、前記第１の像および前記第２の像を取得するように構成される、ステレオカメラ。
請求項１に記載のステレオカメラ（３００，６００，１０００）であって、
前記第１の面（３０２−１，６０２−１，１００４−１）および前記第２の面（３０２−２，６０２−２，１００４−２）のそれぞれは、
反射面（３０２，６０２）および超広角レンズ（１００４）のいずれか一方を有する、ステレオカメラ。
請求項１に記載のステレオカメラ（３００，１０００）であって、前記少なくとも１つの画像センサ（３０６，１００６）は、
前記第１の像および前記第２の像を単一の画像に取得するように構成された単一の画像センサ（６０６）；または
第１の画像センサ（３０６−１，１００６−１）および第２の画像センサ（３０６−２，１００６−２）であって、前記第１の画像センサ（３０６−１，１００６−１）は、前記第１の像を第１の画像に取得するように構成され、前記第２の画像センサは、前記第２の像を第２の画像に取得するように構成される、第１および第２の画像センサ、
のいずれか一方を有する、ステレオカメラ。