JP2004356846A - 移動体周辺監視装置 - Google Patents
移動体周辺監視装置 Download PDFInfo
- Publication number
- JP2004356846A JP2004356846A JP2003150805A JP2003150805A JP2004356846A JP 2004356846 A JP2004356846 A JP 2004356846A JP 2003150805 A JP2003150805 A JP 2003150805A JP 2003150805 A JP2003150805 A JP 2003150805A JP 2004356846 A JP2004356846 A JP 2004356846A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- state
- opening
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】移動体の停止後、移動体の開口部外側に所定領域、例えば乗員又は貨物の出入に必要な領域を確保した状態であるか否かを適宜表示する。
【解決手段】移動体の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段SRと、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段MBを備え、これらの検出情報を情報合成手段CBで合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する。この出力情報に基づき、特定視界作成手段SVにより、移動体の特定位置周辺の環境情報から、移動体の外側に突出して開口する開閉手段DR、及び開閉手段による開口部の外側領域を含む周辺環境の特定視界を作成し、表示手段VDにより特定の視界を画像に表示する。これにより、移動体の停止後、移動体の開口部外側に所定領域(乗員又は貨物の出入に必要な領域)が存在するか否かを確認できる。
【選択図】 図1
【解決手段】移動体の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段SRと、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段MBを備え、これらの検出情報を情報合成手段CBで合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する。この出力情報に基づき、特定視界作成手段SVにより、移動体の特定位置周辺の環境情報から、移動体の外側に突出して開口する開閉手段DR、及び開閉手段による開口部の外側領域を含む周辺環境の特定視界を作成し、表示手段VDにより特定の視界を画像に表示する。これにより、移動体の停止後、移動体の開口部外側に所定領域(乗員又は貨物の出入に必要な領域)が存在するか否かを確認できる。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に係る。例えば、車両の周辺を監視し、停車あるいは駐車後に乗員又は貨物の出入に必要な領域を確保した状態であるか否かを適宜表示し、あるいは乗員又は貨物の出入に供する開閉体と障害物の位置関係に応じて開閉体を制御する装置に好適な移動体周辺監視装置に係る。
【0002】
【従来の技術】
【特許文献1】
従来から、車両後方の死角を最小化するために、例えば車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば、下記の特許文献1(特開昭62−278477)には、距離センサおよびハンドル角センサからの出力信号をもとに自動車の走行軌跡を演算するコンピュータを備え、車両周辺の障害物の位置および予想走行軌跡上にある車両と障害物とが予め設定された距離以内にあるときに警報器でアラーム音を発するようにした自動車の車庫入れ支援システムが提案されている。
【0003】
【特許文献2】
また、下記の特許文献2(特開平1−141137)には、車両の前部両側に障害物検出センサを設け、該検出センサにより車両の前部両側の障害物への接近を検出し、該検出情報をモニタ画面に後方視界と同時に表示するようにした車両の後方視界表示装置が提案されている。これにより、運転者はモニタ画面から車両の前方へ視線を移さなくとも車両の前部両側の障害物への接触を回避できる旨記載されている。
【0004】
更に、下記の特許文献3(特開2001−187553)には、車両の移動中に、単一のカメラによって、異なる第1および第2の地点での周辺画像を、時系列的に視差付けされた第1および第2の画像として撮像する撮像装置、それぞれの画像に撮像された立体物を検出し特定する立体物特定部と、第1の地点から第2の地点まで車両の移動データを算出する車両位置算出部と、立体物の第1および第2の画像上での位置と、車両の移動データとを用いて、車両から立体物までの距離を算出する立体物距離算出部と、撮像装置によって撮像された画像および立体物距離算出部で算出されたデータに基づいて、運転者に伝達するための第3の画像を生成するようにした駐車支援装置が提案されている。これにより、2つの画像に撮像された立体物に対して三角測量の原理で正確に上記立体物までの距離を算出することができる旨記載されている。
【0005】
これに関し、画像処理技術の分野においては、2台のカメラから3次元形状を復元する技術が知られている。例えば、下記の非特許文献1には、ステレオによる立体形状計測について解説されている。この非特許文献1には、その前提として、2つのカメラそれぞれの結像の特性(レンズの焦点距離、画像中心、画素サイズなど)、2つのカメラの位置、姿勢、そして2つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【0006】
同様に、下記の非特許文献2にも、2台のカメラから撮った画像間の対応関係から三角測量の原理で物体の3次元形状を計算する技術が開示されており、ロボットの制御のために画像から3次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【0007】
また、下記の非特許文献3には、上記のステレオと同じ原理に基づき、動画像から対象の3次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、2枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【0008】
一方、下記の特許文献4(特開平7−257183)には、狭い場所でドアを開けた場合にドアアウタパネルが障害物に当たって損傷することを防止することを目的として、ドアの側方に向かって進退移動するストッパ部材と、これに係合しドアアウタパネルの後端より内方に引き込む係合部材を備え、ストッパ部材の先端を障害物に当接させるようにした装置が開示されている。また、同様の目的で、下記の特許文献5(特開平7−315047)には、ドアの開閉と連動してソレノイドによってドアアウタパネルの後端側面に出没するストッパ部材を備え、ストッパ部材の先端を障害物に当接させるようにした装置が開示されている。
【0009】
これに対し、下記の特許文献6(特開2002−219937)には、自動車のドアやトランクリッドなどの開閉体をモータ駆動によって開扉させる装置に関し、全開位置まで駆動すると、降雨時に雨水が侵入し、障害物がある場合には、これに当たるおそれがあることに鑑み、開閉体の開扉時に目標開扉量まで開閉体を駆動するようにした駆動制御装置が提案され、トランクリッドの最外軌跡を残す位置に距離センサを設けた装置が開示されている。更に、これに類似する装置として、特許文献7(特開平8−91128)には、ステップを損傷させずに乗降性を向上させるため、バス等に用いられる補助ステップに非接触センサを設け、補助ステップ前方の障害物までの距離を測定することにより、補助ステップの先端が障害物に接触しない至近の位置まで突出するようにアクチュエータを制御する装置が開示されている。
【0010】
【特許文献1】
特開昭62−278477号公報
【特許文献2】
特開平1−141137号公報
【特許文献3】
特開2001−187553号公報
【特許文献4】
特開平7−257183号公報
【特許文献5】
特開平7−315047号公報
【特許文献6】
特開2002−219937号公報
【特許文献7】
特開平8−91128号公報
【非特許文献1】
「情報処理」Vol.37 No.7 (1996年7月号)における出口光一郎著「2.ステレオの仕掛けを解き明かす」
【非特許文献2】
「空間データの数理」 (金谷健一著。1995年3月10日初版第1刷。朝倉書店発行)における161頁及び162頁に記載の「ステレオ視による3次元復元」
【非特許文献3】
「情報処理」Vol.37 No.8 (1996年8月号)における出口光一郎著「3.動画像の扱い」
【0011】
【発明が解決しようとする課題】
前掲の特許文献1乃至3に記載の装置によれば、何れも、車両後方の視界をカメラで撮影しモニタに表示することができる。従って、モニタの画像情報を参照して後方の障害物を確認しながら後退し、停車あるいは駐車することができる。しかし、停車あるいは駐車後に乗員又は貨物の出入に必要な領域を確保した状態で車両が停止しているか否かは、直ちには判別できない。即ち、上記の各装置では車両側面のドア付近はカメラの視界からは外れており、その付近はモニタに表示されないので、例えばドアを外側に開けたときに他の車両や壁等の障害物に対し十分な余裕があるか否かを確認することはできない。
【0012】
これに対処するためには、例えば、自車両のドア等の開閉体部分もカメラの視界に入るように、適当な視野角を有するカメラを車体から突出するように配置すればよい。しかし、各開閉体にカメラを設けることとすればコストアップとなり、また、車種によっては、意匠面で商品性が損なわれることになるので、全ての車種に適用することはできない。
【0013】
而して、車両の意匠を損なうことなく、カメラの視界から外れた車両の開閉体付近も画像表示し得る装置が要請されているが、カメラの配置のみによって上記の問題を解決することは至難である。一方、前述の非特許文献1乃至3に記載の画像処理技術を利用すれば、例えば1個のカメラによっても障害物の3次元形状を復元し得るように構成することができる。従って、このような画像処理技術を、車両等の移動体の周辺を監視する装置に適切に組み入れることができれば、上記の問題の解決の一助となるが、これらの具体的手段については何れの文献にも言及されていない。
【0014】
尚、特許文献3においては、画像に撮像された立体物を検出し特定する立体物特定部と、車両の移動データを算出する車両位置算出部とを備えており、車両がa地点にある時に撮像された画像Aを、車両の移動データを用いてb地点から撮像されたように画像変換し、画像Cを算出すると説明されている。然し乍ら、これは、2つの画像のずれと移動データに基づき幾何学的に車両から立体物までの距離を算出することとしているものであり、前掲の非特許文献1乃至3に記載のような、画像から3次元形状を復元すること自体を特徴とするものではない。
【0015】
一方、特許文献4及び5に記載の装置においては、ドアに設けられたストッパ部材の先端が障害物や隣接車両等に当接させることを前提としており、当接させても問題がない障害物である場合は兎も角、当接する対象が隣接車両である場合には好ましくない。
【0016】
従って、非接触で障害物を検出し得ることが必須であるが、特許文献6及び7に記載の装置においては、測定対象毎に非接触センサを設ける必要があるので、前述のカメラの場合と同様、コストアップとなり、構造も複雑となる。また、その測定領域は極めて限定されたものとなり、用途も限定される。例えば、特許文献6に記載の装置においては、トランクリッドの先端に距離センサが装着されているが、その測定対象は上方の障害物に限られる。また、特許文献7に記載の装置においては、非接触センサは、直動する補助ステップの先端に装着されるものであり、乗用車のドアのように揺動するドアには適用できない。
【0017】
更に、車両の天井部分に換気装置が設けられたものがあり、ルーフの一部が上方に突出する機構を備えたものがあるが、停車あるいは駐車後に、ルーフの一部を上方に突出させ得る領域を確保した状態であるか否かは判別できない。このように、車両にはドアやトランクリッド等の開閉体をはじめ、換気用蓋体等の開閉手段が設けられているが、停車あるいは駐車後に、これらをどこまで車両の外側に突出させ得るかは車内では認識できない。従って、そのまま開閉手段を外側に駆動すると障害物に接触するおそれがある。
【0018】
そこで、本発明は、移動体周辺の環境を監視する移動体周辺監視装置おいて、移動体の停止後、移動体の開口部外側に所定領域、例えば乗員又は貨物の出入に必要な領域を確保した状態であるか否かを適宜表示し得る移動体周辺監視装置を提供することを課題とする。
【0019】
また、本発明の別の目的は、移動体周辺の環境を監視し、移動体の外側に突出して開口する開閉手段と移動体周辺の障害物との位置関係に応じて、移動体の開口部外側に所定領域を確保し得るように開閉手段を制御する移動体周辺監視装置を提供することを別の課題とする。
【0020】
【課題を解決するための手段】
上記課題を解決するため、本発明の移動体周辺監視装置は、請求項1に記載のように、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の特定位置周辺の環境情報から、前記移動体の外側に突出して開口する開閉手段、及び該開閉手段による開口部の外側領域を含む周辺環境の特定視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段とを備えることとしたものである。尚、上記の環境情報とは、移動体周辺の物体の大きさ、位置等を含む。また、上記の開閉手段には、車両の乗員又は貨物の出入に供するドアやトランクリッド等の開閉体をはじめ、車体上方に突出する換気用蓋体等を含む。
【0021】
また、請求項2に記載のように、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、前記環境情報検出手段の検出情報に基づき前記移動体周辺の障害物を検出する障害物検出手段、該障害物検出手段の検出情報及び前記情報合成手段の出力情報に基づき、前記移動体の外側に突出して開口する開閉手段と前記移動体周辺の障害物との位置関係を判定し、該位置関係に応じて少なくとも前記開閉手段の外側への突出量を規制する制御手段とを備えたものとするとよい。
【0022】
上記請求項2記載の移動体周辺監視装置において、前記制御手段は、請求項3に記載のように、前記開閉手段を少なくとも外側に駆動すると共に、前記開閉手段と前記移動体周辺の障害物との位置関係に応じて前記開閉手段の外側への駆動を停止するように駆動制御する構成とすることができる。
【0023】
上記請求項1、2又は3記載の移動体周辺監視装置において、請求項4に記載のように、前記環境情報検出手段は、前記移動体に搭載し前記移動体の周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、前記移動体が第1の状態から第2の状態に移動したときに少なくとも前記第1の状態及び第2の状態で前記撮像手段によって撮像した二つの画像に基づき、前記第1の状態で撮像した画像から特徴点の座標を検出すると共に、前記第2の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段と、少なくとも前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢を検出する移動状態検出手段と、該移動状態検出手段で検出した前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢、前記第1の状態で撮像した画像の前記特徴点の座標、及び前記第2の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の3次元座標を推定する3次元座標推定手段とを備えたものとするとよい。この場合において、前記表示手段が表示する画像は、前記運転者の指示に基づく視界に対し、拡大、縮小等の変更を加えた画像としてもよい。
【0024】
また、上記請求項4記載の移動体周辺監視装置において、前記環境情報検出手段を構成する前記移動状態検出手段は、請求項5に記載のように、前記移動体情報検出手段の検出情報から、前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢を検出するように構成することができる。
【0025】
あるいは、上記請求項1、4又は5記載の移動体周辺監視装置において、請求項6に記載のように、前記移動体の運転者による前記特定の視界に係る指示を入力する指示入力手段を備えたものとし、前記特定視界作成手段は、前記指示入力手段の入力結果に応じて前記特定の視界を前記運転者の指示に基づく視界に切り替える切替手段を具備する構成としてもよい。
【0026】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図1は本発明の一実施形態の全体構成を示すもので、例えば、図4に示す車両1に搭載されて駐車案内装置に供される。図1において、本実施形態の移動体周辺監視装置は、移動体(図示せず)の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段SRと、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段MBを備えている。この移動体情報検出手段MBは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができ、少なくとも一つのセンサ出力に基づき、車両の位置を表わすファクタとして座標、及び車両の姿勢を表わすファクタとして角度を検出することができるが、これについては後述する。
【0027】
更に、この移動体情報検出手段MBの検出情報と環境情報検出手段SRの検出情報を合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段CBを備えている。そして、この情報合成手段CBの出力情報に基づき、移動体の特定位置周辺の環境情報から、移動体の外側に突出して開口する開閉手段DR、及びこの開閉手段DRによる開口部の外側領域を含む周辺環境の特定視界を作成する特定視界作成手段SVを備え、この特定視界作成手段SVが作成した特定の視界を画像に表示する表示手段VDを備えている。開閉手段DRとしては、図4のドア1aをはじめ、貨物用のトランクリッド等の開閉体、更には車体上方に突出する換気用蓋体等があり、表示手段VDとしては、移動体に搭載するモニタ(図示せず)がある。
【0028】
本実施形態の環境情報検出手段SRは、図1に示すように、移動体に搭載し移動体の周辺を撮像し画像情報を出力する撮像手段CDと、移動体が第1の状態から第2の状態に移動したときに少なくとも第1の状態及び第2の状態で撮像手段CDによって撮像した二つの画像に基づき、第1の状態で撮像した画像から特徴点の座標を検出すると共に、第2の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段PFと、少なくとも第1の状態及び第2の状態における移動体の位置及び姿勢を検出する移動状態検出手段DSと、この移動状態検出手段DSで検出した第1の状態及び第2の状態における移動体の位置及び姿勢、第1の状態で撮像した画像の特徴点の座標、及び第2の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の3次元座標を推定する3次元座標推定手段RCを備えている。上記の移動状態検出手段DSは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができるが、移動体情報検出手段MBの検出情報を用いることとしてもよい。尚、撮像手段CDとしては、後述するccdカメラ等がある。
【0029】
図2は本発明の他の実施形態の全体構成を示すもので、これも、例えば図4に示す車両1に搭載される。本実施形態の移動体周辺監視装置は、図1の構成に加え、図2に示すように、移動体の運転者による特定の視界に係る指示を入力する指示入力手段SEを備え、特定視界作成手段SVは、指示入力手段SEの入力結果に応じて特定の視界を運転者の指示に基づく視界に切り替える切替手段CHを具備している。指示入力手段SEとしては、メカニカルスイッチ(図示せず)を用いることができ、表示手段VDとしてモニタ(図示せず)が用いられた場合には、モニタ表示画像上に構成するタッチパネルスイッチを用いることもできる。更には、音声認識装置によって指示入力手段SEを構成することもできる。また、特定視界作成手段SVに基づき表示手段VDが作成する画像は、予め設定された一つ以上の視界における画像であり、その拡大、縮小、回転、視点移動等の変換処理を行った画像を含む。
【0030】
図3は本発明の更に他の実施形態の全体構成を示すもので、これも、例えば図4に示す車両1に搭載される。本実施形態の移動体周辺監視装置は、図3に示すように、図1と同様の環境情報検出手段SR、移動体情報検出手段MB、及び情報合成手段CBを備え、環境情報検出手段SRの検出情報に基づき移動体周辺の障害物を検出する障害物検出手段UNを備えている。そして、障害物検出手段UNの検出情報及び情報合成手段CBの出力情報に基づき、前述の開閉手段DRと移動体周辺の障害物との位置関係を判定し、この位置関係に応じて少なくとも開閉手段DRの外側への突出量を規制する制御手段CTを備えたものである。上記障害物検出手段UNは、環境情報検出手段SRの検出情報から、例えば車両1に対して相対的に所定距離内に位置する障害物を検出することができる。
【0031】
制御手段CTは、図4に示す突出規制装置19を備えた車両1において、開閉手段DRたるドア1aの外側への突出量を規制する突出規制装置19を制御するように構成されている。あるいは、ドア1aを少なくとも外側に駆動すると共に、ドア1aと周辺の障害物との位置関係に応じてドア1aの外側への駆動を停止するように駆動する開閉駆動装置20(図5に破線で示す)を備えたものにおいては、この開閉駆動装置20を制御手段CTによって制御するように構成されている。
【0032】
上記の移動体周辺監視装置は図4及び図5に示す駐車案内装置に供することができる。図4は本実施形態の駐車案内装置を搭載した車両1の全体構成を示すもので、車両1の後部には、その周辺を撮像し画像を取得するカメラ2(例えばccdカメラで上記の撮像手段CDを構成する)が装着されており、画像情報が電子制御装置10に供給される。更に、例えば車両1のドアミラーの端部にサイドカメラ2xを組み込むこととしてもよく、この画像情報も電子制御装置10に供給される。
【0033】
電子制御装置10は、図4に示すように車両1に搭載された筐体中に収容され、図1乃至図3の移動状態検出手段DS、移動体情報検出手段MB、3次元座標推定手段RC、情報合成手段CB、特定視界作成手段SV、切替手段CH及び制御手段CTが構成されている。また、ステアリングホイール3の操舵角を検出する操舵角センサ4が車両1に装着されると共に、シフトレバー5がリバース位置とされたときにオンとなるシフトレバースイッチ6が装着されており、これらの検出舵角及びオン信号が電子制御装置10に供給される。
【0034】
更に、本実施形態では、各車輪の回転速度を検出する車輪速度センサ(代表して7で示す)が装着されており、検出車輪速度が電子制御装置10に供給される。これらの車輪速度センサ7の検出結果に基づき移動体の少なくとも2位置間の移動距離を測定することができる。本実施形態では、ドアハンドルセンサ16が装着されており、例えばドアハンドル(図示せず)に指を近づけると(あるいは接触すると)ドアハンドルセンサ16が作動し、ドア1aを開放する意思が検知されるように構成されている。また、着座センサ17が装着されており、乗員が着座しているときには着座センサ17が作動し、着座状態が検知されるように構成されている。而して、例えば、着座センサ17によって乗員が着座している状態が検知され、且つ、ドアハンドルセンサ16によってドア1aを開放する意思が検知されると、降車する直前の状態であることが検知される。尚、ドアハンドルセンサ16及び着座センサ17の何れか一方を設けることとしてもよい。
【0035】
そして、図4に示すように運転者から視認可能な車両1内の所定位置にモニタ8が配置されており、電子制御装置10の出力信号に応じてモニタ8に駐車案内用の視覚情報が表示される。即ち、本実施形態においては、モニタ8が図1及び図2の表示手段VDとして機能している。また、車両1内の所定位置にスピーカ9が配置されており、電子制御装置10の出力信号に応じてスピーカ9から駐車案内用の音声情報が出力される。更に、本実施形態では、ドア1a開放時の突出量(開度、突出距離等)を所定値に規制する突出規制装置19が設けられており、後述するように、ドア1aの突出量が規制される。尚、突出規制装置19は、図示は省略するが、例えばドアチェックを所望の位置で保持する機構を設け、これをアクチュエータで制御するように構成することができる。
【0036】
図5は、上記の駐車案内装置のシステム構成図であり、電子制御装置10の構成を示すものである。上記の操舵角センサ4、シフトレバースイッチ6及び車輪速度センサ7は、図示しない入力インターフェースを介して電子制御装置10内のCPU11に接続されており、図示しない出力インターフェースを介して、モニタ8が電子制御装置10内のスーパーインポーズ部14に接続され、スピーカ9が音声出力部15を介してCPU11に接続されている。カメラ2及びサイドカメラ2xは、図示しない入力インターフェースを介して、画像認識部12、グラフィックス描画部13及びスーパーインポーズ部14に接続されている。尚、CPU11、画像認識部12、グラフィックス描画部13、スーパーインポーズ部14及び音声出力部15は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【0037】
本実施形態においては、車両1周辺の環境を表示するカメラ2(及び、必要に応じてサイドカメラ2x)の画像信号が画像認識部12を介してCPU11に供給されると共に、車輪速度センサ7等の出力信号がCPU11に供給され、CPU11にて演算処理される。このCPU11の演算結果に基づき、グラフィックス描画部13において、カメラ2の画像から抽出される同期信号に応じて3次元のグラフィックスが描画される。そして、CPU11において駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部13にて描画される。また、グラフィックス描画部13にて描画されるグラフィックスとカメラ2の画像とが適宜スーパーインポーズ部14にて重畳され、モニタ8の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。而して、図1及び図2の3次元座標推定手段RC、情報合成手段CB及び特定視界作成手段SVはCPU11、画像認識部12及びグラフィックス描画部13によって構成されている。
【0038】
本実施形態においては、更にCPU11において、ドアハンドルセンサ16及び着座センサ17の検出結果に基づき、乗員が降車する直前の状態か否かが判定され、降車直前である場合には、ドア1a外側の環境が表示されるように制御される。また、ドア1a外側の環境において、障害物検出手段UNにより、例えば車両1体に対して相対的に所定距離内に位置する障害物が検出されたときには、これと開閉手段DRとの関係に応じて制御部18を介して突出規制装置19が制御される。而して、後述するように、ドア1aが開放されたときには、その突出量が所定値に規制され、障害物との接触が回避される。尚、突出規制装置19に代えて、開閉駆動装置20を設け、ドア1aを少なくとも外側に駆動すると共に、ドア1aと周辺の障害物との位置関係に応じてドア1aの外側への駆動を停止するように駆動することとしてもよい。
【0039】
上記の3次元座標推定手段RCにおいては、特徴点追跡手段PFにて、車両1が第1の状態から第2の状態に移動したときに撮像手段CDたるカメラ2によって第1の状態で撮像された画像から特徴点の座標が検出されると共に、第2の状態で撮像された画像での前記特徴点に対応する座標が検出され、移動状態検出手段DSでは、第1の状態及び第2の状態における車両1の位置及び姿勢が検出される。そして、第1の状態及び第2の状態における車両1の位置及び姿勢、第1の状態で撮像された画像の特徴点の座標、及び第2の状態で撮像された画像の前記特徴点に対応する座標に基づき、3次元再構成が行われ、前記特徴点の3次元座標が求められる。
【0040】
上記の3次元再構成は、例えば前述の非特許文献2に記載のように、画像を用いて三角測量の原理に基づいて行われるものであり、図20乃至図22を参照して以下に説明する。図20において、少なくとも2つのカメラ位置(左右のo及びo’で示す)から空間中の同一の点Mを観測しているとき、各カメラの画像で観測された点m1,m2とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Mを表す。ここで、対象視界(Scene)中の3次元の点Mは各画像間で同定される必要がある。また、単眼カメラで3次元の再構成を行う場合には、画像中から対象物体の特徴点(Point of Interest)の抽出とその追跡が必要である。更に、カメラの内部パラメータ(スケールファクタ、光軸位置座標等)と外部パラメータ(カメラの配置)は既知である(予め校正されている)ことが必要であり、これらを前提に3次元再構成が行われる。
【0041】
次に、対象視界の動きからの3次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、ステレオ対応という手段を使うことができる。但し、3次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の3次元構造を復元することができる。
【0042】
対象視界からの特徴点の検出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を検出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象である。このような特徴点の検出には下記[数1]式に示す行列Aによる自動相関(auto−correlation)を用いることができる。行列Aは画像中の点p(x,y)を含むウインドウ領域W中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点(例えば、図21の左側の図におけるコーナーの黒点)であり、この行列はこれらの特徴点を検出するものである。尚、下記[数1]式において、I(x,y)は画像の関数、Ixはx軸に沿った画像の勾配、Iyはy軸に沿った画像の勾配、(xk,yk) は(x,y)を中心としたウインドウW中の画像点を夫々表わす。
【0043】
【数1】
【0044】
次に、特徴点の追跡(Feature Tracking)に関し、u=[x,y]T が画像点の座標であるような画像列I(u,t)を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記[数2]式が成り立つ。
【0045】
【数2】
【0046】
上記の[数2]式において、δ(u)はモーションフィールド(3次元の動きベクトルの画像への投影)を表す。サンプル周期が十分に短いので、下記[数3]式に示すように、モーションは並進(translation)のみで近似することができる。尚、[数3]式のdは変移ベクトル(displacement vector)を表わす。
【0047】
【数3】
【0048】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルdを計算するため、トラッカー(Tracker)が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので[数2]式は十分に機能しない。従って、下記[数4]式に示すように、差の自乗和(Sum of Square Difference)によって変移ベクトルdを計算する。そして、この[数4]式の残渣を最小にする変移ベクトルdを求め、その方向に特徴点を追跡する(図21にこの状態を示す)。尚、下記[数4]式のWは、点uを中心とする特徴点検出のためのウインドウを表わす。
【0049】
【数4】
【0050】
図22はトラッキングの一例を説明するもので、トラック(Tracks)とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の3次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって検出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において検出された特徴点の集合から開始し、前の画像(図22のImg A)での特徴点は次の画像(図22のImg B)で追跡される。画像(Img A)のうちの一部のトラックが停止すると、画像(Img B)において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【0051】
そして、3次元構造の再構成に関しては、3次元空間中の位置Mの点の距離がZであるとき、その画像上の投影位置をmとすると下記[数5]式の関係が成り立つ。下記の[数5]式において、距離fは焦点距離と呼ばれるが、ここではf=1なる単位長さを用いて簡単化している。このようにモデル化すると、2台のカメラで空間中の(物体の頂点等の)特徴点を撮影する幾何学的な関係は図20に示すようになる。
【0052】
【数5】
【0053】
図20において、第2のカメラ座標系は第1のカメラ座標系をその原点の周りにRだけ回転してからTだけ平行移動して得られる位置にある。尚、このベクトルTは基線ベクトルと呼ばれる。パラメータ{T,R}は2つのカメラ視点の相対的な位置姿勢関係を表しているので、1台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【0054】
図20に示すように、ある3次元空間中の位置Mのそれぞれの画像面上の投影像がm1,m2にあるとする。この状態で、第2のカメラ座標系の原点0’から見た特徴点の方向は第2のカメラ座標系に関してベクトルm2で表されるが、第2のカメラ座標系は第1のカメラ座標系に対してRだけ回転しているから、第1のカメラ座標系に関してはRm2である。従って、図20より下記[数6]式の関係が成立する。
【0055】
【数6】
【0056】
上記[数6]式から、距離Z,Z’が下記[数7]式のように計算される。
【0057】
【数7】
【0058】
このようにして、2つの視点から画像面上の投影像の座標m1,m2から3次元空間上の距離Z,Z’を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記[数7]式を計算すれば、3次元的な構造を復元することができる。
【0059】
図1に戻り、車両1の移動状態を検出する移動状態検出手段DSとしては、前述のように車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによってデッドレコニングシステムを構成することができるが、本実施形態においては、車輪速度センサ7によって構成され、これは後述するように移動体情報検出手段MBとしても機能するように構成されている。このようにして特定される第1の状態及び第2の状態における車両1の位置及び姿勢と、夫々の状態でカメラ2によって撮像された画像における特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体が特定され、撮像領域の3次元座標が推定される。
【0060】
本実施形態においては、車輪速度センサ7によって検出された車輪速度信号に基づき、以下のように、車両1の状態、即ち車両1の位置及び方向(鉛直軸周りの角度)を検出するようにデッドレコニングシステムが構成されており、これによって図1乃至図3に示す移動体情報検出手段MBが構成されている。以下、本実施形態における車両1の状態を検出する方法について説明する。図7は、本実施形態における車両1のモデルを表したものであり、車両1の位置及び方向は、(x,y,θ)の3つの変数により定義される。また、車両1の速度(車速)をV、車両1の角速度をωとすると、車両の状態、車速及び角速度の間に次の等式が成立する。
即ち、dx/dt=V・cosθ、dy/dt=V・sinθ、及びdθ/dt=ωとなる。
【0061】
上記の車速V及び角速度ωは直接計測することはできないが、車輪速度センサ7によって検出された左右後輪の車輪速度を用いて、次のように求めることができる。即ち、V=(Vrr+Vrl)/2、及びω=(Vrr−Vrl)/Ltとなる。ここで、Vrrは右後輪の車輪速度、Vrlは左後輪の車輪速度で、Ltは車両1のトレッド長を表す。
【0062】
上記の式を用いると、時刻tにおける車両の状態(x,y,θ)は、t=0における初期値(x0,y0,θ0)が決まっておれば、下記[数8]式のようになる。
【0063】
【数8】
【0064】
図8は、所定の3次元座標における車両1の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す。即ち、図8は(Xo,Yo,Zo)の3次元座標において、Xo−Yo平面(Zo=0)上で車両が旋回運動する状態を示し、位置(座標(x1,y1))及び方向(角度θ1)で決まる車両1の状態から位置(座標(x2,y2))及び方向(角度θ2)で決まる車両1の状態に移動したときの位置関係を特定することができる。本実施形態では、左右後輪の車輪速度センサ7の検出車輪速度に基づき、車両1の位置(座標)及び方向(角度)が検出されるが、操舵角センサ4、ヨーレイトセンサ(図示せず)、距離センサ(図示せず)等を用いることとしてもよく、これらのセンサを組み合わせて用いることとしてもよい。図8は単純円旋回の例であるが、複数円弧や直線が組み合わされた軌跡に対し、上記のように検出された車両1の座標と方向に基づき、同様に追跡することができる。
【0065】
一方、図1乃至図3に記載の3次元座標推定手段RCにおいて推定された3次元環境が、図9に破線の格子で示すように、(X,Y,Z)の3次元座標を基準とする3次元環境マップとしてメモリに格納されている。尚、図9に破線の格子で示した3次元環境マップの中には、カメラ2で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している(以下、図10乃至図14においても、破線の格子は3次元環境マップを表す)。この3次元環境マップに対し、図8の3次元座標の対応が行われる。即ち、情報合成手段CBにおいて、車両1の周辺環境に対する相対的な位置及び姿勢の関係が補正される。具体的には、図9に破線の格子で示す3次元環境マップの中に、図8に示す車両1が配置され、3次元環境マップでの車両1の位置(座標)、及び姿勢、即ち方向(角度)が特定される。
【0066】
そして、前述の特定視界作成手段SVによって、周辺状況を含む3次元環境内における車両1の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、表示手段VDたるモニタ8に表示される。この場合において、例えば図10に示すように、車両1の後方に仮想カメラ2aが配置されているとしたときに、移動後の車両1から見た3次元環境マップ(図10の破線の格子)において、どの領域が仮想カメラ2aの視界に入っているかが分かる。換言すれば、図10にSaで示す領域が、仮想カメラ2aの視界に入り、モニタ8にバーチャル画像として表示し得る領域(以下、表示視界という)である。
【0067】
図11は、車両1の左前方コーナーに仮想カメラ2bが配置された場合、及び左後方コーナーに仮想カメラ2cが配置された場合に、移動後の車両1からみた3次元環境マップにおいて、これらの仮想カメラ2b及び2cの視界に入る領域(表示視界Sb及びSc)を示す。同様に、図12は、仮想カメラ2dが車両1の側方に配置された場合に、移動後の車両1からみた3次元環境マップにおいて、仮想カメラ2dの視界に入る領域(表示視界Sd)を示す。
【0068】
図10乃至図12の例では、実際のカメラ2の画角と類似する視界が設定されているが、図13の仮想カメラ2eように、180度の表示視界Seを設定することもできる。これにより、実際のカメラ2では視界に入らない車両1の両コーナー部分をも視界に入れたバーチャル画像を表示するように構成することができる。更に、図14に示すように車両1の上空部分に仮想カメラ2fを配置して360度の表示視界Sfを設定し、この視界のバーチャル画像を表示するように構成することもできる。
【0069】
上記のように形成されるバーチャル画像は、車両1の移動、即ち仮想カメラ2a等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜(移動後も)、表示し得るように構成されている。このバーチャル画像は、例えば、車両1の停車又は駐車後に乗員が降車する際(あるいは乗員を乗車させる際)、ドアが障害物に接触しないように開放する場合に有効である。
【0070】
例えば、図15において、障害物たる壁Wの側に車両1(自車)を停車させたが、車両1と壁Wとの間隔(L)が狭く、降車のために後席左側のドア1aを開けようとすると、ドア1aの後端が壁Wに接触し、それ以上開けることができなくなる状態を示している。尚、障害物としては壁Wに限らず、隣接する車両(図示せず)、あるいは柱等(図16乃至図19に示すOB,OL,OH)がある。後者の例としては、建物内の駐車場に駐車する際、柱側の駐車区画に駐車せざるを得ない場合があり、図16及び図17においては、後席左側のドア1aと柱OBとの間隔が狭く、降車するためにドア1aを開けようとすると、ドア1aが柱OBに接触する状態を示している。このように後席左側のドア1aが柱OBに接触する場合としては、図16のようにドア1aの先端部が接触する場合と、図17に示すように先端部以外の部分が接触する場合ある。
【0071】
而して、後席左側のドア1aの先端部が柱OBに接触する場合には、図13に示すような車両1の上方に仮想カメラ2eが配置されたときのバーチャル画像をモニタ8に表示すると、例えば図16に示すように、車両1の左側面を含む画像となる。従って、図16のモニタ8の画像に、破線で示すように、後席左側のドア1aを開けたときの軌跡を重畳すると、ドア1aの開口部の外側領域が最大となる状態を視認することができる。即ち、障害物たる柱OBはカメラ2による実際の視界から外れているにも拘わらず、運転者はこれをモニタ8で確認することができる。しかも、何れのドアによる降車が困難かを容易に視認することができる。
【0072】
以上のように、車両1の停車又は駐車後に、乗員が降車する際(あるいは乗員を乗車させる際)に、ドア1aを開けると柱OBに接触することは、例えば図16に示すモニタ8によって視認することができるが、これと共に、あるいは、これとは別に、ドア1aと障害物の関係に応じて図5の音声出力部15を駆動し、スピーカ9から音声を出力するように構成することもできる。何れの場合も、車両1のドア1aから障害物(例えば、柱OB)までの距離をL(図15)、ドア1aの開度をθ、ドア1aの開口部の幅をDとして、ドア1aと障害物(柱OB)の位置関係に基づき、ドア1aが障害物(柱OB)と接触するときの、ドア1aから障害物(柱OB)までの距離Lc、ドア1aの開度θc、ドア1aの開口部の幅Dcを基準値として比較すれば、降車可能か否かを容易に判定することができる。更に、例えば、降車(又は乗車)に必要なドア1aの最小開度θt、及び降車(又は乗車)に余裕のあるドア1aの最小開度θnを基準値として設定すれば、ドア1aが障害物(柱OB)と接触するときのドア1aの開度θcの大きさに応じて、以下のように区別して報知することができる。
【0073】
図6は、図16の状況下でドア1aを閉位置から開放するときの音声出力処理の一例を示すもので、先ず、ステップ101において、図16の画像に基づきドア1aが障害物(柱OB)と接触するときのドア1aの開度θcが読み込まれる。そして、ステップ102にて、ドア1aの開度θcが必要最小開度θt未満と判定されれば、ステップ103に進み、スピーカ9によって「このドアから降りることはできません」と報知される。ステップ104にて、ドア1aの開度θcが必要最小開度θt以上で余裕最小開度θn未満と判定されれば、ステップ105に進み、スピーカ9によって「注意して降りて下さい」と報知される。そして、ステップ106にて、ドア1aの開度θcが余裕最小開度θn以上と判定されれば、ステップ107に進み、スピーカ9によって「ドアの開けすぎに注意して降りて下さい」と報知される。
【0074】
更に、本実施形態においては、図2に示す指示入力手段SE及び切替手段CHによって、モニタ8の表示画像が実際のカメラ2で撮像された画像、あるいは図16に示すバーチャル画像から、図18の(B)に示すようなバーチャル画像に適宜切り替え可能に構成されている。具体的には、左右に「左下部」及び「右下部」というタッチパネルスイッチが表示されたモニタ8の表示画面(A)に、例えば図16と同様の上方視界の画像が表示された状態で、運転者が何れかのタッチパネルスイッチに触れると画面が切り替わり、ドア1a部分を含み車両1を背面からみたバーチャル画像が表示された切替画面(B)が表れるように構成されている。
【0075】
而して、図18の表示画面(A)では、上方から見るとドア1aが左下部の障害物(ブロックOL)に接触するような画像となっており、ブロックOLの高さがドア1aの地上高以上であれば、ドア1aの下端エッジが接触することになるが、ブロックOLの高さがドア1aの地上高未満であれば、ドア1aはブロックOLに接触することはない。そこで、このような場合には、運転者が表示画面(A)の「左下部」の表示に触れると、切替画面(B)の背面画像に切り替わるので、ドア1aは障害物(ブロックOL)に接触しないことを視認することができる。尚、この場合においても音声と共に報知することとしてもよい。
【0076】
前述のように、本実施形態では突出規制装置19(図4及び図5)が設けられており、ドアハンドルセンサ16及び着座センサ17の検出結果に基づき、乗員が降車する直前の状態か否かが判定され、降車直前である場合には、図3の環境情報検出手段SRの検出情報から、障害物検出手段UNによって、車両1に対して相対的に所定距離内の領域(あるいは、ドア1aの所定開度未満の領域、もしくはドア1aの所定の開口部幅の領域)に障害物(柱OB)が検出される。このとき、ドア1a外側の環境として例えば図16の画像が表示されるので、この画像に基づき、ドア1aが障害物(柱OB)と接触するときのドア1aの開度θcを求めることとしてもよい。而して、例えば開度θc未満の領域に障害物(柱OB)が検出されたときには、突出規制装置19が駆動され、ドア1aの開放が禁止される。
【0077】
あるいは、上記突出規制装置19に代えて、図5に破線で示す開閉駆動装置20を備えたものにおいては、制御手段CTによって、ドア1aを少なくとも外側に駆動すると共に、ドア1aと周辺の障害物との位置関係に応じてドア1aの外側への駆動を停止するように制御することができる。これを更に発展させ、例えば図19に示す、後方のリヤウインドパネル1bを開閉する開閉駆動装置21を、前述の図5の開閉駆動装置20と同様に構成すれば、図18の切替画面(B)と同様の方法で、図19に示すような側面の画像をモニタ8に表示させることができる。
【0078】
また、リヤウインドパネル1bが上方の障害物OHに接触しないように適切に開閉駆動装置21を駆動制御することができる。即ち、開閉駆動装置21によってリヤウインドパネル1bを開閉駆動すると共に、図3に示す各手段によって判定したリヤウインドパネル1bと障害物OHとの位置関係に応じて、リヤウインドパネル1bが上方の障害物OHに接触しないように、リヤウインドパネル1bの外側(特に上方)への開閉駆動装置21の駆動を停止するように制御することができる。尚、このときの開閉駆動装置21として、例えば特許文献6に記載の装置を用いることができるが、特許文献6に記載の装置に必須の距離センサ等は不要である。もちろん、特許文献6で対象とするトランクリッドに対しても上記と同様に構成することができる。
【0079】
尚、上記の各実施形態においては1台のカメラ2のみによってモニタ8にバーチャル画像で表示できることから、車両1の開閉体部分等の、技術的、意匠的に搭載が困難な部分にカメラを搭載する必要はない。しかも、カメラ2の搭載位置及び方向に依存することなく、カメラ2によって撮像された車両1の周辺の環境情報に基づき、所望のバーチャル画像をモニタ8に適宜表示することができる。
【0080】
また、本発明においては図4に示したカメラ2のほか、サイドカメラ2x、フロントカメラ等を利用することができ、特定のカメラに限定されるものではない。更に、本発明においては1台のカメラ2のみで3次元環境マップを作成し上記の実施態様を実現できるが、これに限定するものではなく、サイドカメラ2xを含む複数台のカメラを用いて3次元環境マップを作成することとしてもよい。
【0081】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項1に記載の移動体周辺監視装置においては、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段とを備え、これらの検出情報を情報合成手段で合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力し、この出力情報に基づき、特定視界作成手段により、移動体の特定位置周辺の環境情報から、移動体の外側に突出して開口する開閉手段、及びこの開閉手段による開口部の外側領域を含む周辺環境の特定視界を作成し、表示手段によりその特定の視界を画像に表示するように構成されているので、移動体の停止後、移動体の開口部外側に所定領域、例えば乗員又は貨物の出入に必要な領域を確保した状態であるか否かを適宜表示することができる。しかも、環境情報検出手段に供するカメラ等の配置及び個数に拘わらず、移動体の開口部外側の視界を確保し、適切に画像表示を行なうことができる。
【0082】
また、請求項2に記載の移動体周辺監視装置においては、障害物検出手段の検出情報及び情報合成手段の出力情報に基づき、移動体の外側に突出して開口する開閉手段と移動体周辺の障害物との位置関係を判定し、この位置関係に応じて少なくとも開閉手段の外側への突出量を規制するように構成されているので、開閉手段と移動体周辺の障害物との位置関係に応じて、確実に、移動体の開口部外側に所定領域を確保することができる。更に、請求項3に記載のように構成すれば、上記に加え、開閉手段を適切に駆動制御することができる。而して、例えば車両の駐車案内装置に適用し、停車または駐車後、乗員又は貨物の出入に必要な領域を確保した状態であるか否かを表示し、及び/又は、開口部外側に所定領域を確保し得るように開閉手段を制御することができる。
【0083】
前記環境情報検出手段は、請求項4に記載のように構成すれば、一つの撮像手段によっても環境情報を容易に検出することができ、安価な装置を提供することができる。また、前記移動状態検出手段は、請求項5に記載のように構成すれば個別に設ける必要がないので、安価な装置を提供することができる。
【0084】
あるいは、請求項6に記載のように構成すれば、運転者の指示に応じて容易に所望の視界に切り替えることができるので、一層確実に、移動体の開口部外側に所定領域を確保することができる。
【図面の簡単な説明】
【図1】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図2】本発明の移動体周辺監視装置の他の実施形態の構成を示すブロック図である。
【図3】本発明の移動体周辺監視装置の更に他の実施形態の構成を示すブロック図である。
【図4】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図5】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図6】本発明の一実施形態において、ドアを閉位置から開放するときの音声出力処理の一例を示すフローチャートである。
【図7】本発明の一実施形態における車両モデルの平面図である。
【図8】本発明の一実施形態において、所定の3次元座標における車両の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す平面図である。
【図9】本発明の一実施形態において、3次元環境マップでの車両の位置(座標)及び姿勢(方向)を特定する状態の一例を示す平面図である。
【図10】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図11】本発明の一実施形態において、車両の左前方コーナー及び左後方コーナーに仮想カメラが配置されたときの表示視界を示す平面図である。
【図12】本発明の一実施形態において、車両の側方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図13】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの180度の表示視界を示す平面図である。
【図14】本発明の一実施形態において、車両の上空部分に仮想カメラが配置されたときの360度の表示視界を示す平面図である。
【図15】本発明の一実施形態において、車両が壁面近傍に駐車した状態を示す平面図である。
【図16】本発明の一実施形態において、駐車して後席左側のドアを開けたときに柱に接触する状態の車両及び障害物が表示された画像の一例を示す平面図である。
【図17】本発明の一実施形態において、駐車して後席左側のドアを開けたときに柱に接触する状態の車両及び障害物が表示された画像の他の例を示す平面図である。
【図18】本発明の一実施形態において、タッチパネルスイッチが表示されたモニタの表示画面(A)から切替画面(B)への変化の一例を示す正面図である。
【図19】本発明の一実施形態において、後方のリヤウインドパネルを開閉する開閉駆動装置を備えた車両の一部の側面図である。
【図20】本発明の一実施形態における三次元再構成に関し、2台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図21】本発明の一実施形態における三次元再構成に関し、特徴点の追跡の一例を示す説明図である。
【図22】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【符号の説明】
SR 環境情報検出手段, CD 撮像手段, DS 移動状態検出手段,
RC 3次元座標推定手段, MB 移動体情報検出手段,
CB 情報合成手段, SV 特定視界作成手段, VD 表示手段,
1 車両, 2 カメラ, 3 ステアリングホイール, 4 操舵角センサ,
5 シフトレバー, 6 シフトレバースイッチ, 7 車輪速度センサ,
8 モニタ, 9 スピーカ, 10 電子制御装置,
16 ドアハンドルセンサ, 17 着座センサ, 19 突出規制装置,
20 開閉駆動装置
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に係る。例えば、車両の周辺を監視し、停車あるいは駐車後に乗員又は貨物の出入に必要な領域を確保した状態であるか否かを適宜表示し、あるいは乗員又は貨物の出入に供する開閉体と障害物の位置関係に応じて開閉体を制御する装置に好適な移動体周辺監視装置に係る。
【0002】
【従来の技術】
【特許文献1】
従来から、車両後方の死角を最小化するために、例えば車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば、下記の特許文献1(特開昭62−278477)には、距離センサおよびハンドル角センサからの出力信号をもとに自動車の走行軌跡を演算するコンピュータを備え、車両周辺の障害物の位置および予想走行軌跡上にある車両と障害物とが予め設定された距離以内にあるときに警報器でアラーム音を発するようにした自動車の車庫入れ支援システムが提案されている。
【0003】
【特許文献2】
また、下記の特許文献2(特開平1−141137)には、車両の前部両側に障害物検出センサを設け、該検出センサにより車両の前部両側の障害物への接近を検出し、該検出情報をモニタ画面に後方視界と同時に表示するようにした車両の後方視界表示装置が提案されている。これにより、運転者はモニタ画面から車両の前方へ視線を移さなくとも車両の前部両側の障害物への接触を回避できる旨記載されている。
【0004】
更に、下記の特許文献3(特開2001−187553)には、車両の移動中に、単一のカメラによって、異なる第1および第2の地点での周辺画像を、時系列的に視差付けされた第1および第2の画像として撮像する撮像装置、それぞれの画像に撮像された立体物を検出し特定する立体物特定部と、第1の地点から第2の地点まで車両の移動データを算出する車両位置算出部と、立体物の第1および第2の画像上での位置と、車両の移動データとを用いて、車両から立体物までの距離を算出する立体物距離算出部と、撮像装置によって撮像された画像および立体物距離算出部で算出されたデータに基づいて、運転者に伝達するための第3の画像を生成するようにした駐車支援装置が提案されている。これにより、2つの画像に撮像された立体物に対して三角測量の原理で正確に上記立体物までの距離を算出することができる旨記載されている。
【0005】
これに関し、画像処理技術の分野においては、2台のカメラから3次元形状を復元する技術が知られている。例えば、下記の非特許文献1には、ステレオによる立体形状計測について解説されている。この非特許文献1には、その前提として、2つのカメラそれぞれの結像の特性(レンズの焦点距離、画像中心、画素サイズなど)、2つのカメラの位置、姿勢、そして2つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【0006】
同様に、下記の非特許文献2にも、2台のカメラから撮った画像間の対応関係から三角測量の原理で物体の3次元形状を計算する技術が開示されており、ロボットの制御のために画像から3次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【0007】
また、下記の非特許文献3には、上記のステレオと同じ原理に基づき、動画像から対象の3次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、2枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【0008】
一方、下記の特許文献4(特開平7−257183)には、狭い場所でドアを開けた場合にドアアウタパネルが障害物に当たって損傷することを防止することを目的として、ドアの側方に向かって進退移動するストッパ部材と、これに係合しドアアウタパネルの後端より内方に引き込む係合部材を備え、ストッパ部材の先端を障害物に当接させるようにした装置が開示されている。また、同様の目的で、下記の特許文献5(特開平7−315047)には、ドアの開閉と連動してソレノイドによってドアアウタパネルの後端側面に出没するストッパ部材を備え、ストッパ部材の先端を障害物に当接させるようにした装置が開示されている。
【0009】
これに対し、下記の特許文献6(特開2002−219937)には、自動車のドアやトランクリッドなどの開閉体をモータ駆動によって開扉させる装置に関し、全開位置まで駆動すると、降雨時に雨水が侵入し、障害物がある場合には、これに当たるおそれがあることに鑑み、開閉体の開扉時に目標開扉量まで開閉体を駆動するようにした駆動制御装置が提案され、トランクリッドの最外軌跡を残す位置に距離センサを設けた装置が開示されている。更に、これに類似する装置として、特許文献7(特開平8−91128)には、ステップを損傷させずに乗降性を向上させるため、バス等に用いられる補助ステップに非接触センサを設け、補助ステップ前方の障害物までの距離を測定することにより、補助ステップの先端が障害物に接触しない至近の位置まで突出するようにアクチュエータを制御する装置が開示されている。
【0010】
【特許文献1】
特開昭62−278477号公報
【特許文献2】
特開平1−141137号公報
【特許文献3】
特開2001−187553号公報
【特許文献4】
特開平7−257183号公報
【特許文献5】
特開平7−315047号公報
【特許文献6】
特開2002−219937号公報
【特許文献7】
特開平8−91128号公報
【非特許文献1】
「情報処理」Vol.37 No.7 (1996年7月号)における出口光一郎著「2.ステレオの仕掛けを解き明かす」
【非特許文献2】
「空間データの数理」 (金谷健一著。1995年3月10日初版第1刷。朝倉書店発行)における161頁及び162頁に記載の「ステレオ視による3次元復元」
【非特許文献3】
「情報処理」Vol.37 No.8 (1996年8月号)における出口光一郎著「3.動画像の扱い」
【0011】
【発明が解決しようとする課題】
前掲の特許文献1乃至3に記載の装置によれば、何れも、車両後方の視界をカメラで撮影しモニタに表示することができる。従って、モニタの画像情報を参照して後方の障害物を確認しながら後退し、停車あるいは駐車することができる。しかし、停車あるいは駐車後に乗員又は貨物の出入に必要な領域を確保した状態で車両が停止しているか否かは、直ちには判別できない。即ち、上記の各装置では車両側面のドア付近はカメラの視界からは外れており、その付近はモニタに表示されないので、例えばドアを外側に開けたときに他の車両や壁等の障害物に対し十分な余裕があるか否かを確認することはできない。
【0012】
これに対処するためには、例えば、自車両のドア等の開閉体部分もカメラの視界に入るように、適当な視野角を有するカメラを車体から突出するように配置すればよい。しかし、各開閉体にカメラを設けることとすればコストアップとなり、また、車種によっては、意匠面で商品性が損なわれることになるので、全ての車種に適用することはできない。
【0013】
而して、車両の意匠を損なうことなく、カメラの視界から外れた車両の開閉体付近も画像表示し得る装置が要請されているが、カメラの配置のみによって上記の問題を解決することは至難である。一方、前述の非特許文献1乃至3に記載の画像処理技術を利用すれば、例えば1個のカメラによっても障害物の3次元形状を復元し得るように構成することができる。従って、このような画像処理技術を、車両等の移動体の周辺を監視する装置に適切に組み入れることができれば、上記の問題の解決の一助となるが、これらの具体的手段については何れの文献にも言及されていない。
【0014】
尚、特許文献3においては、画像に撮像された立体物を検出し特定する立体物特定部と、車両の移動データを算出する車両位置算出部とを備えており、車両がa地点にある時に撮像された画像Aを、車両の移動データを用いてb地点から撮像されたように画像変換し、画像Cを算出すると説明されている。然し乍ら、これは、2つの画像のずれと移動データに基づき幾何学的に車両から立体物までの距離を算出することとしているものであり、前掲の非特許文献1乃至3に記載のような、画像から3次元形状を復元すること自体を特徴とするものではない。
【0015】
一方、特許文献4及び5に記載の装置においては、ドアに設けられたストッパ部材の先端が障害物や隣接車両等に当接させることを前提としており、当接させても問題がない障害物である場合は兎も角、当接する対象が隣接車両である場合には好ましくない。
【0016】
従って、非接触で障害物を検出し得ることが必須であるが、特許文献6及び7に記載の装置においては、測定対象毎に非接触センサを設ける必要があるので、前述のカメラの場合と同様、コストアップとなり、構造も複雑となる。また、その測定領域は極めて限定されたものとなり、用途も限定される。例えば、特許文献6に記載の装置においては、トランクリッドの先端に距離センサが装着されているが、その測定対象は上方の障害物に限られる。また、特許文献7に記載の装置においては、非接触センサは、直動する補助ステップの先端に装着されるものであり、乗用車のドアのように揺動するドアには適用できない。
【0017】
更に、車両の天井部分に換気装置が設けられたものがあり、ルーフの一部が上方に突出する機構を備えたものがあるが、停車あるいは駐車後に、ルーフの一部を上方に突出させ得る領域を確保した状態であるか否かは判別できない。このように、車両にはドアやトランクリッド等の開閉体をはじめ、換気用蓋体等の開閉手段が設けられているが、停車あるいは駐車後に、これらをどこまで車両の外側に突出させ得るかは車内では認識できない。従って、そのまま開閉手段を外側に駆動すると障害物に接触するおそれがある。
【0018】
そこで、本発明は、移動体周辺の環境を監視する移動体周辺監視装置おいて、移動体の停止後、移動体の開口部外側に所定領域、例えば乗員又は貨物の出入に必要な領域を確保した状態であるか否かを適宜表示し得る移動体周辺監視装置を提供することを課題とする。
【0019】
また、本発明の別の目的は、移動体周辺の環境を監視し、移動体の外側に突出して開口する開閉手段と移動体周辺の障害物との位置関係に応じて、移動体の開口部外側に所定領域を確保し得るように開閉手段を制御する移動体周辺監視装置を提供することを別の課題とする。
【0020】
【課題を解決するための手段】
上記課題を解決するため、本発明の移動体周辺監視装置は、請求項1に記載のように、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の特定位置周辺の環境情報から、前記移動体の外側に突出して開口する開閉手段、及び該開閉手段による開口部の外側領域を含む周辺環境の特定視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段とを備えることとしたものである。尚、上記の環境情報とは、移動体周辺の物体の大きさ、位置等を含む。また、上記の開閉手段には、車両の乗員又は貨物の出入に供するドアやトランクリッド等の開閉体をはじめ、車体上方に突出する換気用蓋体等を含む。
【0021】
また、請求項2に記載のように、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、前記環境情報検出手段の検出情報に基づき前記移動体周辺の障害物を検出する障害物検出手段、該障害物検出手段の検出情報及び前記情報合成手段の出力情報に基づき、前記移動体の外側に突出して開口する開閉手段と前記移動体周辺の障害物との位置関係を判定し、該位置関係に応じて少なくとも前記開閉手段の外側への突出量を規制する制御手段とを備えたものとするとよい。
【0022】
上記請求項2記載の移動体周辺監視装置において、前記制御手段は、請求項3に記載のように、前記開閉手段を少なくとも外側に駆動すると共に、前記開閉手段と前記移動体周辺の障害物との位置関係に応じて前記開閉手段の外側への駆動を停止するように駆動制御する構成とすることができる。
【0023】
上記請求項1、2又は3記載の移動体周辺監視装置において、請求項4に記載のように、前記環境情報検出手段は、前記移動体に搭載し前記移動体の周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、前記移動体が第1の状態から第2の状態に移動したときに少なくとも前記第1の状態及び第2の状態で前記撮像手段によって撮像した二つの画像に基づき、前記第1の状態で撮像した画像から特徴点の座標を検出すると共に、前記第2の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段と、少なくとも前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢を検出する移動状態検出手段と、該移動状態検出手段で検出した前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢、前記第1の状態で撮像した画像の前記特徴点の座標、及び前記第2の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の3次元座標を推定する3次元座標推定手段とを備えたものとするとよい。この場合において、前記表示手段が表示する画像は、前記運転者の指示に基づく視界に対し、拡大、縮小等の変更を加えた画像としてもよい。
【0024】
また、上記請求項4記載の移動体周辺監視装置において、前記環境情報検出手段を構成する前記移動状態検出手段は、請求項5に記載のように、前記移動体情報検出手段の検出情報から、前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢を検出するように構成することができる。
【0025】
あるいは、上記請求項1、4又は5記載の移動体周辺監視装置において、請求項6に記載のように、前記移動体の運転者による前記特定の視界に係る指示を入力する指示入力手段を備えたものとし、前記特定視界作成手段は、前記指示入力手段の入力結果に応じて前記特定の視界を前記運転者の指示に基づく視界に切り替える切替手段を具備する構成としてもよい。
【0026】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図1は本発明の一実施形態の全体構成を示すもので、例えば、図4に示す車両1に搭載されて駐車案内装置に供される。図1において、本実施形態の移動体周辺監視装置は、移動体(図示せず)の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段SRと、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段MBを備えている。この移動体情報検出手段MBは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができ、少なくとも一つのセンサ出力に基づき、車両の位置を表わすファクタとして座標、及び車両の姿勢を表わすファクタとして角度を検出することができるが、これについては後述する。
【0027】
更に、この移動体情報検出手段MBの検出情報と環境情報検出手段SRの検出情報を合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段CBを備えている。そして、この情報合成手段CBの出力情報に基づき、移動体の特定位置周辺の環境情報から、移動体の外側に突出して開口する開閉手段DR、及びこの開閉手段DRによる開口部の外側領域を含む周辺環境の特定視界を作成する特定視界作成手段SVを備え、この特定視界作成手段SVが作成した特定の視界を画像に表示する表示手段VDを備えている。開閉手段DRとしては、図4のドア1aをはじめ、貨物用のトランクリッド等の開閉体、更には車体上方に突出する換気用蓋体等があり、表示手段VDとしては、移動体に搭載するモニタ(図示せず)がある。
【0028】
本実施形態の環境情報検出手段SRは、図1に示すように、移動体に搭載し移動体の周辺を撮像し画像情報を出力する撮像手段CDと、移動体が第1の状態から第2の状態に移動したときに少なくとも第1の状態及び第2の状態で撮像手段CDによって撮像した二つの画像に基づき、第1の状態で撮像した画像から特徴点の座標を検出すると共に、第2の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段PFと、少なくとも第1の状態及び第2の状態における移動体の位置及び姿勢を検出する移動状態検出手段DSと、この移動状態検出手段DSで検出した第1の状態及び第2の状態における移動体の位置及び姿勢、第1の状態で撮像した画像の特徴点の座標、及び第2の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の3次元座標を推定する3次元座標推定手段RCを備えている。上記の移動状態検出手段DSは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができるが、移動体情報検出手段MBの検出情報を用いることとしてもよい。尚、撮像手段CDとしては、後述するccdカメラ等がある。
【0029】
図2は本発明の他の実施形態の全体構成を示すもので、これも、例えば図4に示す車両1に搭載される。本実施形態の移動体周辺監視装置は、図1の構成に加え、図2に示すように、移動体の運転者による特定の視界に係る指示を入力する指示入力手段SEを備え、特定視界作成手段SVは、指示入力手段SEの入力結果に応じて特定の視界を運転者の指示に基づく視界に切り替える切替手段CHを具備している。指示入力手段SEとしては、メカニカルスイッチ(図示せず)を用いることができ、表示手段VDとしてモニタ(図示せず)が用いられた場合には、モニタ表示画像上に構成するタッチパネルスイッチを用いることもできる。更には、音声認識装置によって指示入力手段SEを構成することもできる。また、特定視界作成手段SVに基づき表示手段VDが作成する画像は、予め設定された一つ以上の視界における画像であり、その拡大、縮小、回転、視点移動等の変換処理を行った画像を含む。
【0030】
図3は本発明の更に他の実施形態の全体構成を示すもので、これも、例えば図4に示す車両1に搭載される。本実施形態の移動体周辺監視装置は、図3に示すように、図1と同様の環境情報検出手段SR、移動体情報検出手段MB、及び情報合成手段CBを備え、環境情報検出手段SRの検出情報に基づき移動体周辺の障害物を検出する障害物検出手段UNを備えている。そして、障害物検出手段UNの検出情報及び情報合成手段CBの出力情報に基づき、前述の開閉手段DRと移動体周辺の障害物との位置関係を判定し、この位置関係に応じて少なくとも開閉手段DRの外側への突出量を規制する制御手段CTを備えたものである。上記障害物検出手段UNは、環境情報検出手段SRの検出情報から、例えば車両1に対して相対的に所定距離内に位置する障害物を検出することができる。
【0031】
制御手段CTは、図4に示す突出規制装置19を備えた車両1において、開閉手段DRたるドア1aの外側への突出量を規制する突出規制装置19を制御するように構成されている。あるいは、ドア1aを少なくとも外側に駆動すると共に、ドア1aと周辺の障害物との位置関係に応じてドア1aの外側への駆動を停止するように駆動する開閉駆動装置20(図5に破線で示す)を備えたものにおいては、この開閉駆動装置20を制御手段CTによって制御するように構成されている。
【0032】
上記の移動体周辺監視装置は図4及び図5に示す駐車案内装置に供することができる。図4は本実施形態の駐車案内装置を搭載した車両1の全体構成を示すもので、車両1の後部には、その周辺を撮像し画像を取得するカメラ2(例えばccdカメラで上記の撮像手段CDを構成する)が装着されており、画像情報が電子制御装置10に供給される。更に、例えば車両1のドアミラーの端部にサイドカメラ2xを組み込むこととしてもよく、この画像情報も電子制御装置10に供給される。
【0033】
電子制御装置10は、図4に示すように車両1に搭載された筐体中に収容され、図1乃至図3の移動状態検出手段DS、移動体情報検出手段MB、3次元座標推定手段RC、情報合成手段CB、特定視界作成手段SV、切替手段CH及び制御手段CTが構成されている。また、ステアリングホイール3の操舵角を検出する操舵角センサ4が車両1に装着されると共に、シフトレバー5がリバース位置とされたときにオンとなるシフトレバースイッチ6が装着されており、これらの検出舵角及びオン信号が電子制御装置10に供給される。
【0034】
更に、本実施形態では、各車輪の回転速度を検出する車輪速度センサ(代表して7で示す)が装着されており、検出車輪速度が電子制御装置10に供給される。これらの車輪速度センサ7の検出結果に基づき移動体の少なくとも2位置間の移動距離を測定することができる。本実施形態では、ドアハンドルセンサ16が装着されており、例えばドアハンドル(図示せず)に指を近づけると(あるいは接触すると)ドアハンドルセンサ16が作動し、ドア1aを開放する意思が検知されるように構成されている。また、着座センサ17が装着されており、乗員が着座しているときには着座センサ17が作動し、着座状態が検知されるように構成されている。而して、例えば、着座センサ17によって乗員が着座している状態が検知され、且つ、ドアハンドルセンサ16によってドア1aを開放する意思が検知されると、降車する直前の状態であることが検知される。尚、ドアハンドルセンサ16及び着座センサ17の何れか一方を設けることとしてもよい。
【0035】
そして、図4に示すように運転者から視認可能な車両1内の所定位置にモニタ8が配置されており、電子制御装置10の出力信号に応じてモニタ8に駐車案内用の視覚情報が表示される。即ち、本実施形態においては、モニタ8が図1及び図2の表示手段VDとして機能している。また、車両1内の所定位置にスピーカ9が配置されており、電子制御装置10の出力信号に応じてスピーカ9から駐車案内用の音声情報が出力される。更に、本実施形態では、ドア1a開放時の突出量(開度、突出距離等)を所定値に規制する突出規制装置19が設けられており、後述するように、ドア1aの突出量が規制される。尚、突出規制装置19は、図示は省略するが、例えばドアチェックを所望の位置で保持する機構を設け、これをアクチュエータで制御するように構成することができる。
【0036】
図5は、上記の駐車案内装置のシステム構成図であり、電子制御装置10の構成を示すものである。上記の操舵角センサ4、シフトレバースイッチ6及び車輪速度センサ7は、図示しない入力インターフェースを介して電子制御装置10内のCPU11に接続されており、図示しない出力インターフェースを介して、モニタ8が電子制御装置10内のスーパーインポーズ部14に接続され、スピーカ9が音声出力部15を介してCPU11に接続されている。カメラ2及びサイドカメラ2xは、図示しない入力インターフェースを介して、画像認識部12、グラフィックス描画部13及びスーパーインポーズ部14に接続されている。尚、CPU11、画像認識部12、グラフィックス描画部13、スーパーインポーズ部14及び音声出力部15は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【0037】
本実施形態においては、車両1周辺の環境を表示するカメラ2(及び、必要に応じてサイドカメラ2x)の画像信号が画像認識部12を介してCPU11に供給されると共に、車輪速度センサ7等の出力信号がCPU11に供給され、CPU11にて演算処理される。このCPU11の演算結果に基づき、グラフィックス描画部13において、カメラ2の画像から抽出される同期信号に応じて3次元のグラフィックスが描画される。そして、CPU11において駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部13にて描画される。また、グラフィックス描画部13にて描画されるグラフィックスとカメラ2の画像とが適宜スーパーインポーズ部14にて重畳され、モニタ8の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。而して、図1及び図2の3次元座標推定手段RC、情報合成手段CB及び特定視界作成手段SVはCPU11、画像認識部12及びグラフィックス描画部13によって構成されている。
【0038】
本実施形態においては、更にCPU11において、ドアハンドルセンサ16及び着座センサ17の検出結果に基づき、乗員が降車する直前の状態か否かが判定され、降車直前である場合には、ドア1a外側の環境が表示されるように制御される。また、ドア1a外側の環境において、障害物検出手段UNにより、例えば車両1体に対して相対的に所定距離内に位置する障害物が検出されたときには、これと開閉手段DRとの関係に応じて制御部18を介して突出規制装置19が制御される。而して、後述するように、ドア1aが開放されたときには、その突出量が所定値に規制され、障害物との接触が回避される。尚、突出規制装置19に代えて、開閉駆動装置20を設け、ドア1aを少なくとも外側に駆動すると共に、ドア1aと周辺の障害物との位置関係に応じてドア1aの外側への駆動を停止するように駆動することとしてもよい。
【0039】
上記の3次元座標推定手段RCにおいては、特徴点追跡手段PFにて、車両1が第1の状態から第2の状態に移動したときに撮像手段CDたるカメラ2によって第1の状態で撮像された画像から特徴点の座標が検出されると共に、第2の状態で撮像された画像での前記特徴点に対応する座標が検出され、移動状態検出手段DSでは、第1の状態及び第2の状態における車両1の位置及び姿勢が検出される。そして、第1の状態及び第2の状態における車両1の位置及び姿勢、第1の状態で撮像された画像の特徴点の座標、及び第2の状態で撮像された画像の前記特徴点に対応する座標に基づき、3次元再構成が行われ、前記特徴点の3次元座標が求められる。
【0040】
上記の3次元再構成は、例えば前述の非特許文献2に記載のように、画像を用いて三角測量の原理に基づいて行われるものであり、図20乃至図22を参照して以下に説明する。図20において、少なくとも2つのカメラ位置(左右のo及びo’で示す)から空間中の同一の点Mを観測しているとき、各カメラの画像で観測された点m1,m2とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Mを表す。ここで、対象視界(Scene)中の3次元の点Mは各画像間で同定される必要がある。また、単眼カメラで3次元の再構成を行う場合には、画像中から対象物体の特徴点(Point of Interest)の抽出とその追跡が必要である。更に、カメラの内部パラメータ(スケールファクタ、光軸位置座標等)と外部パラメータ(カメラの配置)は既知である(予め校正されている)ことが必要であり、これらを前提に3次元再構成が行われる。
【0041】
次に、対象視界の動きからの3次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、ステレオ対応という手段を使うことができる。但し、3次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の3次元構造を復元することができる。
【0042】
対象視界からの特徴点の検出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を検出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象である。このような特徴点の検出には下記[数1]式に示す行列Aによる自動相関(auto−correlation)を用いることができる。行列Aは画像中の点p(x,y)を含むウインドウ領域W中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点(例えば、図21の左側の図におけるコーナーの黒点)であり、この行列はこれらの特徴点を検出するものである。尚、下記[数1]式において、I(x,y)は画像の関数、Ixはx軸に沿った画像の勾配、Iyはy軸に沿った画像の勾配、(xk,yk) は(x,y)を中心としたウインドウW中の画像点を夫々表わす。
【0043】
【数1】
【0044】
次に、特徴点の追跡(Feature Tracking)に関し、u=[x,y]T が画像点の座標であるような画像列I(u,t)を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記[数2]式が成り立つ。
【0045】
【数2】
【0046】
上記の[数2]式において、δ(u)はモーションフィールド(3次元の動きベクトルの画像への投影)を表す。サンプル周期が十分に短いので、下記[数3]式に示すように、モーションは並進(translation)のみで近似することができる。尚、[数3]式のdは変移ベクトル(displacement vector)を表わす。
【0047】
【数3】
【0048】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルdを計算するため、トラッカー(Tracker)が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので[数2]式は十分に機能しない。従って、下記[数4]式に示すように、差の自乗和(Sum of Square Difference)によって変移ベクトルdを計算する。そして、この[数4]式の残渣を最小にする変移ベクトルdを求め、その方向に特徴点を追跡する(図21にこの状態を示す)。尚、下記[数4]式のWは、点uを中心とする特徴点検出のためのウインドウを表わす。
【0049】
【数4】
【0050】
図22はトラッキングの一例を説明するもので、トラック(Tracks)とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の3次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって検出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において検出された特徴点の集合から開始し、前の画像(図22のImg A)での特徴点は次の画像(図22のImg B)で追跡される。画像(Img A)のうちの一部のトラックが停止すると、画像(Img B)において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【0051】
そして、3次元構造の再構成に関しては、3次元空間中の位置Mの点の距離がZであるとき、その画像上の投影位置をmとすると下記[数5]式の関係が成り立つ。下記の[数5]式において、距離fは焦点距離と呼ばれるが、ここではf=1なる単位長さを用いて簡単化している。このようにモデル化すると、2台のカメラで空間中の(物体の頂点等の)特徴点を撮影する幾何学的な関係は図20に示すようになる。
【0052】
【数5】
【0053】
図20において、第2のカメラ座標系は第1のカメラ座標系をその原点の周りにRだけ回転してからTだけ平行移動して得られる位置にある。尚、このベクトルTは基線ベクトルと呼ばれる。パラメータ{T,R}は2つのカメラ視点の相対的な位置姿勢関係を表しているので、1台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【0054】
図20に示すように、ある3次元空間中の位置Mのそれぞれの画像面上の投影像がm1,m2にあるとする。この状態で、第2のカメラ座標系の原点0’から見た特徴点の方向は第2のカメラ座標系に関してベクトルm2で表されるが、第2のカメラ座標系は第1のカメラ座標系に対してRだけ回転しているから、第1のカメラ座標系に関してはRm2である。従って、図20より下記[数6]式の関係が成立する。
【0055】
【数6】
【0056】
上記[数6]式から、距離Z,Z’が下記[数7]式のように計算される。
【0057】
【数7】
【0058】
このようにして、2つの視点から画像面上の投影像の座標m1,m2から3次元空間上の距離Z,Z’を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記[数7]式を計算すれば、3次元的な構造を復元することができる。
【0059】
図1に戻り、車両1の移動状態を検出する移動状態検出手段DSとしては、前述のように車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによってデッドレコニングシステムを構成することができるが、本実施形態においては、車輪速度センサ7によって構成され、これは後述するように移動体情報検出手段MBとしても機能するように構成されている。このようにして特定される第1の状態及び第2の状態における車両1の位置及び姿勢と、夫々の状態でカメラ2によって撮像された画像における特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体が特定され、撮像領域の3次元座標が推定される。
【0060】
本実施形態においては、車輪速度センサ7によって検出された車輪速度信号に基づき、以下のように、車両1の状態、即ち車両1の位置及び方向(鉛直軸周りの角度)を検出するようにデッドレコニングシステムが構成されており、これによって図1乃至図3に示す移動体情報検出手段MBが構成されている。以下、本実施形態における車両1の状態を検出する方法について説明する。図7は、本実施形態における車両1のモデルを表したものであり、車両1の位置及び方向は、(x,y,θ)の3つの変数により定義される。また、車両1の速度(車速)をV、車両1の角速度をωとすると、車両の状態、車速及び角速度の間に次の等式が成立する。
即ち、dx/dt=V・cosθ、dy/dt=V・sinθ、及びdθ/dt=ωとなる。
【0061】
上記の車速V及び角速度ωは直接計測することはできないが、車輪速度センサ7によって検出された左右後輪の車輪速度を用いて、次のように求めることができる。即ち、V=(Vrr+Vrl)/2、及びω=(Vrr−Vrl)/Ltとなる。ここで、Vrrは右後輪の車輪速度、Vrlは左後輪の車輪速度で、Ltは車両1のトレッド長を表す。
【0062】
上記の式を用いると、時刻tにおける車両の状態(x,y,θ)は、t=0における初期値(x0,y0,θ0)が決まっておれば、下記[数8]式のようになる。
【0063】
【数8】
【0064】
図8は、所定の3次元座標における車両1の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す。即ち、図8は(Xo,Yo,Zo)の3次元座標において、Xo−Yo平面(Zo=0)上で車両が旋回運動する状態を示し、位置(座標(x1,y1))及び方向(角度θ1)で決まる車両1の状態から位置(座標(x2,y2))及び方向(角度θ2)で決まる車両1の状態に移動したときの位置関係を特定することができる。本実施形態では、左右後輪の車輪速度センサ7の検出車輪速度に基づき、車両1の位置(座標)及び方向(角度)が検出されるが、操舵角センサ4、ヨーレイトセンサ(図示せず)、距離センサ(図示せず)等を用いることとしてもよく、これらのセンサを組み合わせて用いることとしてもよい。図8は単純円旋回の例であるが、複数円弧や直線が組み合わされた軌跡に対し、上記のように検出された車両1の座標と方向に基づき、同様に追跡することができる。
【0065】
一方、図1乃至図3に記載の3次元座標推定手段RCにおいて推定された3次元環境が、図9に破線の格子で示すように、(X,Y,Z)の3次元座標を基準とする3次元環境マップとしてメモリに格納されている。尚、図9に破線の格子で示した3次元環境マップの中には、カメラ2で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している(以下、図10乃至図14においても、破線の格子は3次元環境マップを表す)。この3次元環境マップに対し、図8の3次元座標の対応が行われる。即ち、情報合成手段CBにおいて、車両1の周辺環境に対する相対的な位置及び姿勢の関係が補正される。具体的には、図9に破線の格子で示す3次元環境マップの中に、図8に示す車両1が配置され、3次元環境マップでの車両1の位置(座標)、及び姿勢、即ち方向(角度)が特定される。
【0066】
そして、前述の特定視界作成手段SVによって、周辺状況を含む3次元環境内における車両1の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、表示手段VDたるモニタ8に表示される。この場合において、例えば図10に示すように、車両1の後方に仮想カメラ2aが配置されているとしたときに、移動後の車両1から見た3次元環境マップ(図10の破線の格子)において、どの領域が仮想カメラ2aの視界に入っているかが分かる。換言すれば、図10にSaで示す領域が、仮想カメラ2aの視界に入り、モニタ8にバーチャル画像として表示し得る領域(以下、表示視界という)である。
【0067】
図11は、車両1の左前方コーナーに仮想カメラ2bが配置された場合、及び左後方コーナーに仮想カメラ2cが配置された場合に、移動後の車両1からみた3次元環境マップにおいて、これらの仮想カメラ2b及び2cの視界に入る領域(表示視界Sb及びSc)を示す。同様に、図12は、仮想カメラ2dが車両1の側方に配置された場合に、移動後の車両1からみた3次元環境マップにおいて、仮想カメラ2dの視界に入る領域(表示視界Sd)を示す。
【0068】
図10乃至図12の例では、実際のカメラ2の画角と類似する視界が設定されているが、図13の仮想カメラ2eように、180度の表示視界Seを設定することもできる。これにより、実際のカメラ2では視界に入らない車両1の両コーナー部分をも視界に入れたバーチャル画像を表示するように構成することができる。更に、図14に示すように車両1の上空部分に仮想カメラ2fを配置して360度の表示視界Sfを設定し、この視界のバーチャル画像を表示するように構成することもできる。
【0069】
上記のように形成されるバーチャル画像は、車両1の移動、即ち仮想カメラ2a等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜(移動後も)、表示し得るように構成されている。このバーチャル画像は、例えば、車両1の停車又は駐車後に乗員が降車する際(あるいは乗員を乗車させる際)、ドアが障害物に接触しないように開放する場合に有効である。
【0070】
例えば、図15において、障害物たる壁Wの側に車両1(自車)を停車させたが、車両1と壁Wとの間隔(L)が狭く、降車のために後席左側のドア1aを開けようとすると、ドア1aの後端が壁Wに接触し、それ以上開けることができなくなる状態を示している。尚、障害物としては壁Wに限らず、隣接する車両(図示せず)、あるいは柱等(図16乃至図19に示すOB,OL,OH)がある。後者の例としては、建物内の駐車場に駐車する際、柱側の駐車区画に駐車せざるを得ない場合があり、図16及び図17においては、後席左側のドア1aと柱OBとの間隔が狭く、降車するためにドア1aを開けようとすると、ドア1aが柱OBに接触する状態を示している。このように後席左側のドア1aが柱OBに接触する場合としては、図16のようにドア1aの先端部が接触する場合と、図17に示すように先端部以外の部分が接触する場合ある。
【0071】
而して、後席左側のドア1aの先端部が柱OBに接触する場合には、図13に示すような車両1の上方に仮想カメラ2eが配置されたときのバーチャル画像をモニタ8に表示すると、例えば図16に示すように、車両1の左側面を含む画像となる。従って、図16のモニタ8の画像に、破線で示すように、後席左側のドア1aを開けたときの軌跡を重畳すると、ドア1aの開口部の外側領域が最大となる状態を視認することができる。即ち、障害物たる柱OBはカメラ2による実際の視界から外れているにも拘わらず、運転者はこれをモニタ8で確認することができる。しかも、何れのドアによる降車が困難かを容易に視認することができる。
【0072】
以上のように、車両1の停車又は駐車後に、乗員が降車する際(あるいは乗員を乗車させる際)に、ドア1aを開けると柱OBに接触することは、例えば図16に示すモニタ8によって視認することができるが、これと共に、あるいは、これとは別に、ドア1aと障害物の関係に応じて図5の音声出力部15を駆動し、スピーカ9から音声を出力するように構成することもできる。何れの場合も、車両1のドア1aから障害物(例えば、柱OB)までの距離をL(図15)、ドア1aの開度をθ、ドア1aの開口部の幅をDとして、ドア1aと障害物(柱OB)の位置関係に基づき、ドア1aが障害物(柱OB)と接触するときの、ドア1aから障害物(柱OB)までの距離Lc、ドア1aの開度θc、ドア1aの開口部の幅Dcを基準値として比較すれば、降車可能か否かを容易に判定することができる。更に、例えば、降車(又は乗車)に必要なドア1aの最小開度θt、及び降車(又は乗車)に余裕のあるドア1aの最小開度θnを基準値として設定すれば、ドア1aが障害物(柱OB)と接触するときのドア1aの開度θcの大きさに応じて、以下のように区別して報知することができる。
【0073】
図6は、図16の状況下でドア1aを閉位置から開放するときの音声出力処理の一例を示すもので、先ず、ステップ101において、図16の画像に基づきドア1aが障害物(柱OB)と接触するときのドア1aの開度θcが読み込まれる。そして、ステップ102にて、ドア1aの開度θcが必要最小開度θt未満と判定されれば、ステップ103に進み、スピーカ9によって「このドアから降りることはできません」と報知される。ステップ104にて、ドア1aの開度θcが必要最小開度θt以上で余裕最小開度θn未満と判定されれば、ステップ105に進み、スピーカ9によって「注意して降りて下さい」と報知される。そして、ステップ106にて、ドア1aの開度θcが余裕最小開度θn以上と判定されれば、ステップ107に進み、スピーカ9によって「ドアの開けすぎに注意して降りて下さい」と報知される。
【0074】
更に、本実施形態においては、図2に示す指示入力手段SE及び切替手段CHによって、モニタ8の表示画像が実際のカメラ2で撮像された画像、あるいは図16に示すバーチャル画像から、図18の(B)に示すようなバーチャル画像に適宜切り替え可能に構成されている。具体的には、左右に「左下部」及び「右下部」というタッチパネルスイッチが表示されたモニタ8の表示画面(A)に、例えば図16と同様の上方視界の画像が表示された状態で、運転者が何れかのタッチパネルスイッチに触れると画面が切り替わり、ドア1a部分を含み車両1を背面からみたバーチャル画像が表示された切替画面(B)が表れるように構成されている。
【0075】
而して、図18の表示画面(A)では、上方から見るとドア1aが左下部の障害物(ブロックOL)に接触するような画像となっており、ブロックOLの高さがドア1aの地上高以上であれば、ドア1aの下端エッジが接触することになるが、ブロックOLの高さがドア1aの地上高未満であれば、ドア1aはブロックOLに接触することはない。そこで、このような場合には、運転者が表示画面(A)の「左下部」の表示に触れると、切替画面(B)の背面画像に切り替わるので、ドア1aは障害物(ブロックOL)に接触しないことを視認することができる。尚、この場合においても音声と共に報知することとしてもよい。
【0076】
前述のように、本実施形態では突出規制装置19(図4及び図5)が設けられており、ドアハンドルセンサ16及び着座センサ17の検出結果に基づき、乗員が降車する直前の状態か否かが判定され、降車直前である場合には、図3の環境情報検出手段SRの検出情報から、障害物検出手段UNによって、車両1に対して相対的に所定距離内の領域(あるいは、ドア1aの所定開度未満の領域、もしくはドア1aの所定の開口部幅の領域)に障害物(柱OB)が検出される。このとき、ドア1a外側の環境として例えば図16の画像が表示されるので、この画像に基づき、ドア1aが障害物(柱OB)と接触するときのドア1aの開度θcを求めることとしてもよい。而して、例えば開度θc未満の領域に障害物(柱OB)が検出されたときには、突出規制装置19が駆動され、ドア1aの開放が禁止される。
【0077】
あるいは、上記突出規制装置19に代えて、図5に破線で示す開閉駆動装置20を備えたものにおいては、制御手段CTによって、ドア1aを少なくとも外側に駆動すると共に、ドア1aと周辺の障害物との位置関係に応じてドア1aの外側への駆動を停止するように制御することができる。これを更に発展させ、例えば図19に示す、後方のリヤウインドパネル1bを開閉する開閉駆動装置21を、前述の図5の開閉駆動装置20と同様に構成すれば、図18の切替画面(B)と同様の方法で、図19に示すような側面の画像をモニタ8に表示させることができる。
【0078】
また、リヤウインドパネル1bが上方の障害物OHに接触しないように適切に開閉駆動装置21を駆動制御することができる。即ち、開閉駆動装置21によってリヤウインドパネル1bを開閉駆動すると共に、図3に示す各手段によって判定したリヤウインドパネル1bと障害物OHとの位置関係に応じて、リヤウインドパネル1bが上方の障害物OHに接触しないように、リヤウインドパネル1bの外側(特に上方)への開閉駆動装置21の駆動を停止するように制御することができる。尚、このときの開閉駆動装置21として、例えば特許文献6に記載の装置を用いることができるが、特許文献6に記載の装置に必須の距離センサ等は不要である。もちろん、特許文献6で対象とするトランクリッドに対しても上記と同様に構成することができる。
【0079】
尚、上記の各実施形態においては1台のカメラ2のみによってモニタ8にバーチャル画像で表示できることから、車両1の開閉体部分等の、技術的、意匠的に搭載が困難な部分にカメラを搭載する必要はない。しかも、カメラ2の搭載位置及び方向に依存することなく、カメラ2によって撮像された車両1の周辺の環境情報に基づき、所望のバーチャル画像をモニタ8に適宜表示することができる。
【0080】
また、本発明においては図4に示したカメラ2のほか、サイドカメラ2x、フロントカメラ等を利用することができ、特定のカメラに限定されるものではない。更に、本発明においては1台のカメラ2のみで3次元環境マップを作成し上記の実施態様を実現できるが、これに限定するものではなく、サイドカメラ2xを含む複数台のカメラを用いて3次元環境マップを作成することとしてもよい。
【0081】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項1に記載の移動体周辺監視装置においては、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段とを備え、これらの検出情報を情報合成手段で合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力し、この出力情報に基づき、特定視界作成手段により、移動体の特定位置周辺の環境情報から、移動体の外側に突出して開口する開閉手段、及びこの開閉手段による開口部の外側領域を含む周辺環境の特定視界を作成し、表示手段によりその特定の視界を画像に表示するように構成されているので、移動体の停止後、移動体の開口部外側に所定領域、例えば乗員又は貨物の出入に必要な領域を確保した状態であるか否かを適宜表示することができる。しかも、環境情報検出手段に供するカメラ等の配置及び個数に拘わらず、移動体の開口部外側の視界を確保し、適切に画像表示を行なうことができる。
【0082】
また、請求項2に記載の移動体周辺監視装置においては、障害物検出手段の検出情報及び情報合成手段の出力情報に基づき、移動体の外側に突出して開口する開閉手段と移動体周辺の障害物との位置関係を判定し、この位置関係に応じて少なくとも開閉手段の外側への突出量を規制するように構成されているので、開閉手段と移動体周辺の障害物との位置関係に応じて、確実に、移動体の開口部外側に所定領域を確保することができる。更に、請求項3に記載のように構成すれば、上記に加え、開閉手段を適切に駆動制御することができる。而して、例えば車両の駐車案内装置に適用し、停車または駐車後、乗員又は貨物の出入に必要な領域を確保した状態であるか否かを表示し、及び/又は、開口部外側に所定領域を確保し得るように開閉手段を制御することができる。
【0083】
前記環境情報検出手段は、請求項4に記載のように構成すれば、一つの撮像手段によっても環境情報を容易に検出することができ、安価な装置を提供することができる。また、前記移動状態検出手段は、請求項5に記載のように構成すれば個別に設ける必要がないので、安価な装置を提供することができる。
【0084】
あるいは、請求項6に記載のように構成すれば、運転者の指示に応じて容易に所望の視界に切り替えることができるので、一層確実に、移動体の開口部外側に所定領域を確保することができる。
【図面の簡単な説明】
【図1】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図2】本発明の移動体周辺監視装置の他の実施形態の構成を示すブロック図である。
【図3】本発明の移動体周辺監視装置の更に他の実施形態の構成を示すブロック図である。
【図4】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図5】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図6】本発明の一実施形態において、ドアを閉位置から開放するときの音声出力処理の一例を示すフローチャートである。
【図7】本発明の一実施形態における車両モデルの平面図である。
【図8】本発明の一実施形態において、所定の3次元座標における車両の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す平面図である。
【図9】本発明の一実施形態において、3次元環境マップでの車両の位置(座標)及び姿勢(方向)を特定する状態の一例を示す平面図である。
【図10】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図11】本発明の一実施形態において、車両の左前方コーナー及び左後方コーナーに仮想カメラが配置されたときの表示視界を示す平面図である。
【図12】本発明の一実施形態において、車両の側方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図13】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの180度の表示視界を示す平面図である。
【図14】本発明の一実施形態において、車両の上空部分に仮想カメラが配置されたときの360度の表示視界を示す平面図である。
【図15】本発明の一実施形態において、車両が壁面近傍に駐車した状態を示す平面図である。
【図16】本発明の一実施形態において、駐車して後席左側のドアを開けたときに柱に接触する状態の車両及び障害物が表示された画像の一例を示す平面図である。
【図17】本発明の一実施形態において、駐車して後席左側のドアを開けたときに柱に接触する状態の車両及び障害物が表示された画像の他の例を示す平面図である。
【図18】本発明の一実施形態において、タッチパネルスイッチが表示されたモニタの表示画面(A)から切替画面(B)への変化の一例を示す正面図である。
【図19】本発明の一実施形態において、後方のリヤウインドパネルを開閉する開閉駆動装置を備えた車両の一部の側面図である。
【図20】本発明の一実施形態における三次元再構成に関し、2台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図21】本発明の一実施形態における三次元再構成に関し、特徴点の追跡の一例を示す説明図である。
【図22】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【符号の説明】
SR 環境情報検出手段, CD 撮像手段, DS 移動状態検出手段,
RC 3次元座標推定手段, MB 移動体情報検出手段,
CB 情報合成手段, SV 特定視界作成手段, VD 表示手段,
1 車両, 2 カメラ, 3 ステアリングホイール, 4 操舵角センサ,
5 シフトレバー, 6 シフトレバースイッチ, 7 車輪速度センサ,
8 モニタ, 9 スピーカ, 10 電子制御装置,
16 ドアハンドルセンサ, 17 着座センサ, 19 突出規制装置,
20 開閉駆動装置
Claims (6)
- 移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の特定位置周辺の環境情報から、前記移動体の外側に突出して開口する開閉手段、及び該開閉手段による開口部の外側領域を含む周辺環境の特定視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段とを備えたことを特徴とする移動体周辺監視装置。
- 移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、前記環境情報検出手段の検出情報に基づき前記移動体周辺の障害物を検出する障害物検出手段、該障害物検出手段の検出情報及び前記情報合成手段の出力情報に基づき、前記移動体の外側に突出して開口する開閉手段と前記移動体周辺の障害物との位置関係を判定し、該位置関係に応じて少なくとも前記開閉手段の外側への突出量を規制する制御手段とを備えたことを特徴とする移動体周辺監視装置。
- 前記制御手段は、前記開閉手段を少なくとも外側に駆動すると共に、前記開閉手段と前記移動体周辺の障害物との位置関係に応じて前記開閉手段の外側への駆動を停止するように駆動制御することを特徴とする請求項2記載の移動体周辺監視装置。
- 前記環境情報検出手段は、前記移動体に搭載し前記移動体の周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、前記移動体が第1の状態から第2の状態に移動したときに少なくとも前記第1の状態及び第2の状態で前記撮像手段によって撮像した二つの画像に基づき、前記第1の状態で撮像した画像から特徴点の座標を検出すると共に、前記第2の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段と、少なくとも前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢を検出する移動状態検出手段と、該移動状態検出手段で検出した前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢、前記第1の状態で撮像した画像の前記特徴点の座標、及び前記第2の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の3次元座標を推定する3次元座標推定手段とを備えたことを特徴とする請求項1、2又は3記載の移動体周辺監視装置。
- 前記環境情報検出手段を構成する前記移動状態検出手段が、前記移動体情報検出手段の検出情報から、前記第1の状態及び前記第2の状態における前記移動体の位置及び姿勢を検出するように構成したことを特徴とする請求項4記載の移動体周辺監視装置。
- 前記移動体の運転者による前記特定の視界に係る指示を入力する指示入力手段を備え、前記特定視界作成手段が、前記指示入力手段の入力結果に応じて前記特定の視界を前記運転者の指示に基づく視界に切り替える切替手段を具備したことを特徴とする請求項1、4又は5記載の移動体周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003150805A JP2004356846A (ja) | 2003-05-28 | 2003-05-28 | 移動体周辺監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003150805A JP2004356846A (ja) | 2003-05-28 | 2003-05-28 | 移動体周辺監視装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004356846A true JP2004356846A (ja) | 2004-12-16 |
Family
ID=34046510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003150805A Pending JP2004356846A (ja) | 2003-05-28 | 2003-05-28 | 移動体周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004356846A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007118762A (ja) * | 2005-10-27 | 2007-05-17 | Aisin Seiki Co Ltd | 周辺監視モニタリングシステム |
JP2008044529A (ja) * | 2006-08-16 | 2008-02-28 | Nissan Motor Co Ltd | 駐車支援装置、自動車、及び駐車支援方法 |
JP2008158578A (ja) * | 2006-12-20 | 2008-07-10 | Tokai Rika Co Ltd | 車両の降車安全装置及び車両の安全降車方法 |
JP2009020657A (ja) * | 2007-07-11 | 2009-01-29 | Denso Corp | 駐車支援装置および駐車支援装置用のプログラム |
WO2010044127A1 (ja) * | 2008-10-16 | 2010-04-22 | 三菱電機株式会社 | 車外障害物高度検出装置 |
JP2010202071A (ja) * | 2009-03-04 | 2010-09-16 | Denso Corp | 駐車支援装置 |
JP2011016484A (ja) * | 2009-07-10 | 2011-01-27 | Mitsubishi Electric Corp | 運転支援装置 |
JP2012001210A (ja) * | 2011-10-05 | 2012-01-05 | Aisin Seiki Co Ltd | 周辺監視モニタリングシステム |
JP2012051391A (ja) * | 2010-08-31 | 2012-03-15 | Fujitsu Ten Ltd | 画像処理装置、及び、画像処理方法 |
JP2015229400A (ja) * | 2014-06-04 | 2015-12-21 | 株式会社デンソー | 駐車支援装置 |
JP2021177168A (ja) * | 2020-07-20 | 2021-11-11 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム |
-
2003
- 2003-05-28 JP JP2003150805A patent/JP2004356846A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007118762A (ja) * | 2005-10-27 | 2007-05-17 | Aisin Seiki Co Ltd | 周辺監視モニタリングシステム |
JP2008044529A (ja) * | 2006-08-16 | 2008-02-28 | Nissan Motor Co Ltd | 駐車支援装置、自動車、及び駐車支援方法 |
JP2008158578A (ja) * | 2006-12-20 | 2008-07-10 | Tokai Rika Co Ltd | 車両の降車安全装置及び車両の安全降車方法 |
JP2009020657A (ja) * | 2007-07-11 | 2009-01-29 | Denso Corp | 駐車支援装置および駐車支援装置用のプログラム |
WO2010044127A1 (ja) * | 2008-10-16 | 2010-04-22 | 三菱電機株式会社 | 車外障害物高度検出装置 |
JP2010202071A (ja) * | 2009-03-04 | 2010-09-16 | Denso Corp | 駐車支援装置 |
JP2011016484A (ja) * | 2009-07-10 | 2011-01-27 | Mitsubishi Electric Corp | 運転支援装置 |
JP2012051391A (ja) * | 2010-08-31 | 2012-03-15 | Fujitsu Ten Ltd | 画像処理装置、及び、画像処理方法 |
JP2012001210A (ja) * | 2011-10-05 | 2012-01-05 | Aisin Seiki Co Ltd | 周辺監視モニタリングシステム |
JP2015229400A (ja) * | 2014-06-04 | 2015-12-21 | 株式会社デンソー | 駐車支援装置 |
JP2021177168A (ja) * | 2020-07-20 | 2021-11-11 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム |
US11435186B2 (en) | 2020-07-20 | 2022-09-06 | Beijing Baidu Netcom Science and Technology Co., Ltd | Dead reckoning method and apparatus for vehicle, device and storage medium |
JP7299261B2 (ja) | 2020-07-20 | 2023-06-27 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車両のデッドレコニング方法、装置、デバイス、記憶媒体、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4412380B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP2004114977A (ja) | 移動体周辺監視装置 | |
JP5013184B2 (ja) | 運転支援装置及びコンピュータプログラム | |
US8576285B2 (en) | In-vehicle image processing method and image processing apparatus | |
US7379564B2 (en) | Movable body circumstance monitoring apparatus | |
CN101207802B (zh) | 驾驶支援方法和驾驶支援装置 | |
JP4192680B2 (ja) | 移動体周辺監視装置 | |
JP2004198212A (ja) | 移動体周辺監視装置 | |
JP4154980B2 (ja) | 移動体周辺監視装置 | |
JP6196444B2 (ja) | 周辺車の位置追跡装置及び方法 | |
JP4374850B2 (ja) | 移動体周辺監視装置 | |
JP2004297808A (ja) | 移動体周辺監視装置 | |
JP2002354467A (ja) | 車両周囲情報表示装置 | |
JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
JP4910787B2 (ja) | 駐車支援装置および方法、駐車位置設定装置および方法、記録媒体、並びに、プログラム | |
JP2006044596A (ja) | 車両用表示装置 | |
JP2004356846A (ja) | 移動体周辺監視装置 | |
WO2018177702A1 (en) | Parking assist system and method and a vehicle equipped with the system | |
JP2021154969A (ja) | 障害物検知装置、障害物検知方法、および、プログラム | |
JP4207519B2 (ja) | 移動体周辺監視装置 | |
JP2008213647A (ja) | 駐車支援方法及び駐車支援装置 | |
JP2011003117A (ja) | 後方視認支援システム | |
JP4310987B2 (ja) | 移動体周辺監視装置 | |
JP3882517B2 (ja) | 駐車位置設定装置 | |
JP2012061989A (ja) | 画像処理装置、及び、画像処理方法 |