JP2004201223A

JP2004201223A - 車両周辺監視装置および舵角検出方法

Info

Publication number: JP2004201223A
Application number: JP2002370370A
Authority: JP
Inventors: Kazuo Nobori; 一生登; Masamichi Nakagawa; 雅通中川; Satoru Masuda; 悟増田; Masaki Sato; 政喜佐藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-12-20
Filing date: 2002-12-20
Publication date: 2004-07-15
Anticipated expiration: 2022-12-20
Also published as: JP4023311B2

Abstract

【課題】カメラで車両の周辺を撮影した画像に予測軌跡を重畳描画するためには、舵角を検出する舵角センサーが必要であるという課題を有していた。
【解決手段】車両の操舵輪が写るように設置されたカメラの画像を入力とし、画像中の車輪の形状から舵角を検出して出力する舵角検出手段と、舵角と画像を入力として画像上に車両の予測軌跡を重畳合成して出力する予測軌跡画像合成手段を有することで、舵角センサー無しに常に正しい舵角の検出と、舵角に応じた予測軌跡の描画が可能になる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者の安全な運転を支援することを目的として、車両に設置したカメラの画像を変形加工して車両周辺の映像を表示する車両周辺監視装置に関するものであり、特に、車両の舵角の検出と予測軌跡の描画をともなう車両周辺監視装置に関するものである。
【０００２】
【従来の技術】
近年、車載用のディスプレイ装置の普及やカメラなどの映像機器の低価格化に伴い、カメラによって車両周辺を監視することで安全運転を支援する装置が普及しつつある。
【０００３】
上記した従来の車両周辺監視装置の一例としては、車両の後方などの運転者から死角となる部分を映すようにカメラを設置し、舵角センサーで検出した舵角に応じた車両の予想軌跡を計算して、カメラで得られた画像に重畳合成し、車内に設置したディスプレイに表示するという装置がある。（例えば、特許文献１参照。）。
【０００４】
また、上記した従来の車両周辺監視装置における舵角検出方法の一例としては、車両の操舵機構にロータリーエンコーダ型のセンサーを設置して前輪の相対的な操舵角の変化量を検出した上で、所定の直進走行状態から操舵の中立位置を検出し、この中立位置と相対的な変化量との関係から、絶対的な舵角を検出する舵角検出装置がある。（例えば、特許文献２参照。）。
【０００５】
【特許文献１】
特開昭６４−１４７００号公報
【特許文献２】
特開昭６１−２８８１１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した車両周辺監視装置では、予想軌跡を得るために舵角センサーが必要であり、車両の操舵機構に舵角センサーを設置するのが困難であったり、舵角センサーの分だけ価格が高くなるという課題を有していた。
【０００７】
また、上記した車両周辺監視装置における舵角検出方法では、一般的に用いられているロータリーエンコーダ型のセンサーが相対的な角度を検出するセンサーであることから、電源投入直後から舵角の中点位置が検出されるまでの間、舵角が求まらないという問題を有していた。さらに、上記の課題に対応するため、電源断時に舵角を保存しておき、電源投入直後は保存された舵角を用いる舵角検出方法も知られているが、電源断時に舵角が変わった場合に誤った舵角を出力するという、別の課題を有していた。
【０００８】
本発明は上記問題点に鑑み、その第１の目的は、舵角センサーを不要にすることで、設置が簡便かつ安価な車両周辺監視装置を提供することにある。
【０００９】
また、本発明の第２の目的は、常に絶対舵角を出力することが可能な舵角検出方法を提供することにある。
【００１０】
【課題を解決するための手段】
上記課題を解決する本発明の車両周辺監視装置は、カメラで撮影された画像を入力とし、操舵輪の画像から舵角を算出して出力する舵角検出手段と、舵角と画像を入力として、画像上に車両の予測進路を重畳合成して出力する予測進路画像合成手段を備えたことを特徴とする。
【００１１】
上記した構成によって、舵角センサーが無くても舵角の検出と予想軌跡の描画が可能となり、設置が簡便かつ安価な車両周辺監視装置の提供が可能になる。
【００１２】
さらに上記課題を解決する本発明の舵角検出方法は、画像中の車輪の向きを検出するステップと検出された車輪の向きから舵角を算出するステップを有することを特徴とする。
【００１３】
上記した構成によって、電源投入直後や電源断時の操舵などの状況に関わらず、常に絶対舵角を出力することが可能になる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態における車両周辺監視装置の構成図である。図１において１０１は画像を取り込むカメラであり、１０２はカメラ１０１で撮影された画像から操舵輪の舵角を算出する舵角検出手段であり、１０３はカメラ１０１で撮影された画像と舵角検出手段１０２で検出された舵角を入力として、画像上に車両の予測軌跡を重畳描画する予測軌跡画像合成手段であり、１０４は画像を表示するディスプレイである。
【００１５】
図２は、本発明の第１の実施の形態におけるカメラ設置の例であり、図３は、本発明の第１の実施の形態におけるカメラで撮影された画像の例である。図１のカメラ１０１は、図２のように車両左側のサイドミラー部に前左下向きに設置されており、撮影される画像には、図３のように車両の操舵輪が写るように設置されているものとする。また、車両に対するカメラの位置や焦点距離、レンズ歪み係数などのカメラパラメタは、あらかじめ計測するなどによって既知であるとする。
【００１６】
図４は、舵角検出手段１０２の処理の概念図である。車両に対するカメラの位置はあらかじめ計測されているため、画像中の車両前輪が写っている前輪領域は、図４中の破線部のように一定の範囲となる。舵角検出手段１０２は、さまざまな舵角に対応する前輪領域の複数の画像を、前輪テンプレート画像としてあらかじめ記憶しておく。動作時には、入力された画像の前輪領域に対して前輪テンプレート画像とのマッチング処理を行うことで、最も近い前輪テンプレート画像を選択し、選択した前輪テンプレート画像に対応する舵角を出力することで、舵角の検出処理を実現する。
【００１７】
図５は、予測軌跡画像合成手段１０３が出力する表示画像の例である。車両の前後輪間の距離などの車両パラメタはあらかじめ与えられているものとする。予測軌跡画像合成手段１０３は、舵角検出手段１０２で検出した舵角とあらかじめ与えられた車両パラメタとカメラパラメタから、車両の予測軌跡を算出して、画像に重畳合成して出力する。
【００１８】
以上のように構成された本発明の第１の実施の形態における車両周辺監視装置について、以下図１〜５を用いてその動作を説明する。
【００１９】
カメラ１０１では画像を撮影し、図３のような画像を出力する。舵角検出手段１０２では、入力された画像の前輪領域と前輪テンプレート画像とのマッチングにより舵角を算出する。予測軌跡画像合成手段１０３は、算出された舵角に対応する予測軌跡を算出し、画像に重畳合成して図５のような画像を生成し、ディスプレイ１０４に出力表示する。図５中の車両左前方の点線は、予測軌跡画像合成手段１０３が重畳合成した予測軌跡である。カメラで撮影された画像に予測軌跡を重畳することで、車両の進行方向の予測が容易になり、結果として運転者の安全な運転を支援することができる。
【００２０】
以上のように本実施例によれば、画像に車両前輪を含むようにカメラ１０１を設置し、前輪の画像から舵角を算出する舵角検出手段１０２を設けることにより、舵角センサーなどの特別な装置無しで舵角の取得が可能になり、さらに予測軌跡画像合成手段１０３を設けることにより、予測軌跡の合成表示が可能になる。また、画像を用いた舵角の検出は、ロータリーエンコーダ型の舵角センサーなどのような相対値ではないため、電源投入直後などのさまざまな状況においても、常に絶対舵角として求めることができるという効果がある。
（第２の実施の形態）
図６は、本発明の第２の実施の形態における車両周辺監視装置の構成図である。図６において、図１の第１の実施例の構成図と異なるのは、舵角の相対的な値を出力する舵角センサー６０５と、カメラ画像を変形加工することであたかも別の視点から見た画像を合成する視点変換手段６０６を設けたことである。
【００２１】
舵角センサー６０５は、ロータリーエンコーダ型のセンサーをハンドル軸などの操舵機構に設置して、舵角の相対的な値である相対舵角を出力するセンサーであるものとする。また、舵角センサー６０５が出力する相対舵角は、舵角検出手段１０３において前輪の画像から算出した舵角よりも精度が高いものとする。
【００２２】
視点変換手段６０６は、あらかじめ得られたカメラの位置および、合成画像の仮想的な視点位置の情報から、撮影された画像を変形加工することで、仮想的な視点位置から見たような画像に変換するものである。その詳細な方法については、「画像処理装置および監視システム」（特開２０００−８６４１７５号）などに開示されているので、ここでは詳細な説明は省略する。
【００２３】
以上のように構成された本発明の第２の実施の形態における車両周辺監視装置について、以下、図６〜７を用いてその動作を説明する。
【００２４】
カメラ１０１では画像を撮影し、図３のような画像を出力する。舵角検出手段１０２では、カメラ１０１で撮影された画像を入力として、画像の前輪領域と前輪テンプレート画像とのマッチング処理を行い、最も近い前輪テンプレート画像の舵角を選択する。ここで、マッチング処理の評価値が、あらかじめ定められた閾値よりも悪い場合、すなわち入力された前輪領域画像と前輪テンプレート画像があまり一致していない場合は、画像から算出した舵角をそのまま出力する。逆に、マッチング処理の評価地が、あらかじめ定められた閾値よりも良い場合、すなわち入力された前輪領域画像と前輪テンプレート画像があらかじめ定められた基準以上に良く一致している場合、算出された舵角の精度が高いと判断し、この時舵角センサーから入力されている相対舵角を記憶しておき、以降は、舵角センサーが出力する相対舵角を、記録された舵角および相対舵角を用いて補正することで、新たに舵角を算出して出力する。例えば、「相対舵角１０．００度のときの舵角が０度」であると記録されているとし、現在の舵角センサーの入力が１２．００度であるとすると、新たに舵角を２．００度であると算出して出力する。
【００２５】
視点変換手段６０６は、カメラの画像を仮想的な視点位置から見た視点変換画像を合成して出力し、予測軌跡画像合成手段１０３は、算出された舵角に対応する予測軌跡を算出し、視点変換画像に重畳合成して図７のような画像を生成し、ディスプレイ１０４に出力表示する。
【００２６】
図７の例では、視点変換手段６０６は、車両の左前方部を上方から見たような視点変換画像に変換している。また、予測軌跡画像合成手段１０３では、予想軌跡を図５のような破線ではなく、車両前輪の向きとして合成表示している。カメラで撮影された画像に、タイヤの画像を重畳表示することで、車両の進行方向の予測が容易になり、結果として運転者の安全な運転を支援することができる。さらに、舵角検出手段１０２において、前輪画像から算出した舵角は、舵角センサーの相対舵角よりも精度が低い場合があるが、このような場合においても、画像から算出された舵角と相対舵角とを組み合わせて舵角を算出することで、常に精度の良い絶対舵角を得ることができる。
【００２７】
なお、本発明の実施例において、舵角検出手段はテンプレートマッチング法を用いて、前輪の画像から舵角を算出するとしたが、前輪の画像から舵角を算出する方法であればどのような方法を用いてもよく、例えば、前輪領域画像から輪郭抽出やハフ変換などによって車輪の楕円形状のパラメタを求めて、あらかじめ与えられた楕円形状パラメタと舵角との関係から舵角を算出するとしても、本発明の実施例と同様な効果を得ることができる。
【００２８】
なお、本発明の実施例において、カメラはサイドミラーに設置されているものとしたが、カメラの設置位置を制限するものではなく、操舵輪が写るように設置されていれば良い。
【００２９】
なお、本発明の実施例において、カメラは１台としたが、カメラを複数台用いても、そのうちの少なくとも１つのカメラに操舵輪の画像が映っていれば良く、さらに視点変換手段および予測軌跡画像合成手段では、複数のカメラからの画像を１つの画像に変形合成した上で予測軌跡を描画するものとしても良く、本発明の実施例と同様な効果を得ることができる。
【００３０】
【発明の効果】
本発明によれば、舵角センサーを用いることなく車両周辺の画像に予測軌跡を重畳して表示することができ、結果として、設置が簡便かつ安価な車両周辺監視装置を提供できる。
【００３１】
さらに本発明によれば、電源投入直後や電源断時に舵角が変わるなどの状況であっても、常に絶対舵角を出力することが可能な舵角検出方法を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における車両周辺監視装置の構成図
【図２】本発明の第１の実施の形態におけるカメラ設置の例の図
【図３】本発明の第１の実施の形態におけるカメラ画像の例の図
【図４】本発明の第１の実施の形態における舵角検出手段の処理の概念図
【図５】本発明の第１の実施の形態における表示画像の例の図
【図６】本発明の第２の実施の形態における車両周辺監視装置の構成図
【図７】本発明の第２の実施の形態における表示画像の例の図
【符号の説明】
１０１カメラ
１０２舵角検出手段
１０３予測軌跡画像合成手段
１０４ディスプレイ
６０５舵角センサー
６０６視点変換手段

Claims

車両に設置されたカメラで撮影した画像を車内に設置したディスプレイに表示する車両周辺監視装置であり、カメラで撮影された画像を入力として、操舵輪の画像から舵角を算出して出力する舵角検出手段と、舵角と画像を入力として画像上に車両の予測軌跡を重畳合成して出力する予測軌跡画像合成手段を有することを特徴とする車両周辺監視装置。
舵角検出手段は、カメラで撮影された画像を入力として操舵輪の画像から舵角を算出するとともに、舵角センサーで検出された相対舵角を入力し、画像から算出された舵角と相対舵角との関係から新たに舵角を算出して出力することを特徴とする請求項１記載の車両周辺監視装置。
車両の操舵輪を含む画像を入力とし、操舵輪の画像から舵角を算出するステップを有することを特徴とする舵角検出方法。
車両の操舵輪を含む画像を入力とし、操舵輪の画像から舵角を算出するステップと、舵角センサーからの相対舵角を入力し、画像から算出した舵角と相対舵角の関係から新たに舵角を生成するステップを有することを特徴とする、請求項３記載の舵角検出方法。