JP2007027948A - 車両周辺監視装置及び車両周辺監視方法 - Google Patents

車両周辺監視装置及び車両周辺監視方法 Download PDF

Info

Publication number
JP2007027948A
JP2007027948A JP2005204178A JP2005204178A JP2007027948A JP 2007027948 A JP2007027948 A JP 2007027948A JP 2005204178 A JP2005204178 A JP 2005204178A JP 2005204178 A JP2005204178 A JP 2005204178A JP 2007027948 A JP2007027948 A JP 2007027948A
Authority
JP
Japan
Prior art keywords
image
region
images
area
overhead
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005204178A
Other languages
English (en)
Other versions
JP4830380B2 (ja
Inventor
Hiroyoshi Yanagi
柳  拓良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2005204178A priority Critical patent/JP4830380B2/ja
Publication of JP2007027948A publication Critical patent/JP2007027948A/ja
Application granted granted Critical
Publication of JP4830380B2 publication Critical patent/JP4830380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】複数の俯瞰画像を合成したときの見にくさを解消して見やすい画像を運転者に提示し、障害物を確実に認識させることのできる車両周辺監視装置を提供する。
【解決手段】本発明の車両周辺監視装置1は、自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像部2と、撮像部2によって撮像された画像を変換して複数の俯瞰画像を生成する画像変換部3と、複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致している一致領域と一致していない不一致領域とを確定させる領域確定部4と、一致領域と不一致領域とを異なる方法で合成して出力画像を生成する画像合成部5と、出力画像を運転者に提示する表示部6とを備えることを特徴とする。
【選択図】 図1

Description

本発明は自車の周囲を監視する車両周辺監視装置に係り、特に複数の俯瞰画像を合成したときの見にくさを解消して見やすい画像を運転者に提示するための車両周辺監視装置及びその方法に関する。
従来、車両の周囲をカメラで撮影し、この画像を俯瞰画像に変換して運転者に提示し、縦列駐車を行う場合などに運転者を支援するシステムが開発されている。
しかしながら、カメラで撮影した画像を俯瞰画像に変換すると、全ての物体が基準面(通常は地面)の高さにあると仮定して変換を行っているために、立体的な障害物などはカメラから離れる方向に倒れているように歪曲して表示されてしまう現象が起きる。この結果、障害物の位置が正確に表示されないので、運転者は障害物の位置を正確に認識することが困難であった。
そこで、複数のカメラを設置し、これらのカメラで撮像した俯瞰画像を合成して運転者に提示することが行なわれている。このような車両周囲監視装置の従来例としては、複数のカメラで同じ領域を撮像し、それぞれのカメラで撮像した画像のピクセルを交互に配置して合成画像を生成するようにした車両周囲監視装置が知られている(特許文献1参照)。
特開2003−169323号公報
上述した従来例の車両周囲監視置では、複数の画像を合成したことにより情報量が増えて障害物を確認することはできるものの、障害物が二重に表示されてしまうので運転者には見にくい画像になってしまうという問題点があった。
また、2つのカメラで撮像した画像の明るさが異なると、2つの画像をブレンドしたブレンド領域と非ブレンド領域との境界線が目立ち、余計な情報として提示されてしまったり、障害物などが半透明状に表示されて見えにくくなってしまったりするので、障害物を認識することがかえって困難になってしまうという問題点もあった。
上述した課題を解決するために、本発明に係る車両周辺監視装置は、自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視装置であって、自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像手段と、前記複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換手段と、前記複数の俯瞰画像の差分を計算し、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定手段と、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成手段と、前記出力画像を運転者に提示する表示手段とを備えていることを特徴とする。
また、本発明に係る車両周辺監視方法は、自車の周囲の状況を俯瞰画像に変換して運転者に提示し、自車の周囲を監視する車両周辺監視方法であって、撮像領域がオーバーラップしている複数の撮像手段によって、自車の周囲の映像を撮像する撮像ステップと、前記撮像ステップで撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換ステップと、前記複数の俯瞰画像の差分を計算し、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定ステップと、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成ステップと、前記出力画像を運転者に提示する表示ステップとを含むことを特徴とする。
本発明に係る車両周辺監視装置及びその方法では、撮像領域がオーバーラップしている複数の撮像手段によって撮像された複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定し、この一致領域と不一致領域とを異なる方法で合成して出力画像を生成するので、オーバーラップ領域における画像の見にくさを解決して見やすい画像を運転者に提示して障害物を確実に認識させることが可能になる。
以下、本発明に係わる車両周辺監視装置及び車両周辺監視方法の実施例について説明する。
図1は、実施例1に係る車両周辺監視装置の構成を示すブロック図である。図1に示すように、本実施例の車両周辺監視装置1は、自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像部(撮像手段)2と、撮像部2によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換部(画像変換手段)3と、複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定部(領域確定手段)4と、一致領域と不一致領域とを異なる方法で合成して出力画像を生成する画像合成部(画像合成手段)5と、画像合成部5で生成された出力画像を運転者に提示する表示部(表示手段)6とから構成されている。
撮像部2は、自車の周囲を撮像する視野角180°程度の超広角カメラなどの撮像手段であって、少なくとも2台のカメラによって構成され、これらのカメラによる撮像領域には、撮像する領域が重なっているオーバーラップ領域がある。ここでは、図2に示すように車両20のフロント中央のバッジ周辺に配置されたフロントカメラ21と、左ドアミラーに配置されたサイドカメラ22によって構成され、これらのカメラ21、22の撮像領域は図2の斜線部分がオーバーラップ領域となっている。ただし、撮像領域がオーバーラップしていれば、その他のカメラ配置であってもよい。
画像変換部3は、撮像部2を構成するカメラの特性と、地面に対するカメラの取付角度及び地面との距離に基づいて画像処理を行い、撮像された画像を俯瞰画像に変換する。
領域確定部4は、複数の俯瞰画像の差分を計算して比較し、特にオーバーラップ領域において俯瞰画像が一致している領域を一致領域とし、一致していない領域を不一致領域として確定する。例えば、オーバーラップ領域において地面が写っている領域は、フロントカメラ21による俯瞰画像とサイドカメラ22による俯瞰画像が一致するので一致領域となる。これに対して立体物が写っている領域は、フロントカメラ21による俯瞰画像とサイドカメラ22による俯瞰画像が一致しないので不一致領域となる。また、この処理では、カメラのキャリブレーション誤差を考慮して、多少のずれは一致するものとみなして処理したり、一致領域に連続性の条件などを課してある程度まとまった塊にする処理を追加したりしても良い。
画像合成部5は、領域確定部4で確定した一致領域と不一致領域とを、それぞれ異なる方法で合成し、運転者に提示するための俯瞰画像を生成する。
表示部6は、自車の車室内、とくにダッシュボードなどの運転者の視野内に設置されたLCDモニターなどの表示装置であって、画像合成部5によって生成された画像を運転者に向けて提示する。
上記各部のうち、画像変換部3、領域確定部4及び画像合成部5は、CPU、ROM、RAMなどを備えたマイクロコンピュータにより構成されている。
次に、本実施例の車両周辺監視装置1による車両周辺監視処理を、図3のフローチャートに基づいて説明する。
まず、フロントカメラ21とサイドカメラ22によって車両の周囲を撮像する(S301)。ここで、フロントカメラ21によって撮像された画像の一例を図4に、サイドカメラ22によって撮像された画像の一例を図5に示す。
続いて、撮像された画像を変換して俯瞰画像を生成する(S302)。フロントカメラ21によって撮像された図4の画像を変換した俯瞰画像を図6に、サイドカメラ22によって撮像された図5の画像を変換した俯瞰画像を図7に示す。
こうして2つの俯瞰画像が生成されると、次にこれらの俯瞰画像の差分を計算(カラー画像であれば、8ビットのRGB信号値の差の絶対値を計算)し、オーバーラップ領域において俯瞰画像が一致する一致領域と、一致しない不一致領域とを確定させる(S303)。
ここで、一致領域と不一致領域とを確定させるための領域確定処理を図8のフローチャートに基づいて説明する。
まず、カメラレンズの周辺光量低下などを考慮して各俯瞰画像の明るさを補正する(S801)。そして、オーバーラップ領域の全てのピクセルに対して、2つの俯瞰画像間の差の絶対値を求め、この絶対値が閾値以下の場合にはそのピクセルを一致領域と判断し、その他の場合には不一致領域と判断する(S802)。こうして一致領域と不一致領域とを識別したら、それぞれの領域を出力して(S803)領域確定処理を終了する。
こうして判別された一致領域と不一致領域について説明する。俯瞰画像は、自車の周辺に取り付けたカメラの映像を変換して、仮想カメラで上空から自車を見たように表示するものである。ところが、この変換の際に地面の位置を基準にして、地面の位置が正しい位置になるように変換している。このため、フロントカメラ21による俯瞰画像を俯瞰画像1とし、サイドカメラ22による俯瞰画像を俯瞰画像2とすると、俯瞰画像1と俯瞰画像2のオーバーラップ領域に地面のみが写っている場合には、オーバーラップ領域の画像はそれぞれの俯瞰画像で同じ画像が表示されることになる。つまり、同じ画像が表示されて一致しているので、地面を写したオーバーラップ領域は一致領域となる。
一方、オーバーラップ領域に立体物が映っている場合には、基準位置となる地面には無い立体物を表示しているので、立体物の位置のみが俯瞰画像上で実際と異なる位置に表示されている。このため、立体物が映っている場合に俯瞰画像1と俯瞰画像2のオーバーラップ領域を表示すると、同じ立体物を違う角度から見た画像が表示される。したがって、オーバーラップ領域において立体物の画像は俯瞰画像1と俯瞰画像2で異なっており不一致領域となる。
例えば、図9に示すような自車91と立体物92との位置関係がある場合に、フロントカメラの俯瞰画像は図10になり、左カメラの俯瞰画像は図11のような画像になる。そして、これらの俯瞰画像をブレンドすると、図12のような画像となり、図12のオーバーラップ領域では、地面上の画像はそれぞれの俯瞰画像で一致しているので、一致領域となる。例えば、地面上にある白線の位置はそれぞれの俯瞰画像で一致している。
一方、立体物が表示されている部分の画像は、それぞれの俯瞰画像で異なった画像として表示されているので、不一致領域となる。
このようにしてステップS303において、一致領域と不一致領域とが確定すると、次に一致領域と不一致領域とを異なる方法で合成して出力画像を生成する(S304)。
ここで、ステップS304で実施される画像合成処理を図13のフローチャートに基づいて説明する。この画像合成処理では、俯瞰画像の全てのピクセルに対して以下に示すステップS1302,S1304,S1306,S1308,S1309のいずれかの処理を実施して出力画像を生成する。
まず、処理の対象となるピクセルを抽出し、そのピクセルが不一致領域に属する場合は(S1301:YES)、俯瞰画像1と俯瞰画像2の該当部分にあるピクセルのRGBの平均値をRGB値として使用する(S1302)。ただし、ここでは一例としてRGBの平均値を使用しているが、1ピクセル毎に俯瞰画像1と俯瞰画像2のピクセルを交互に表示するようにしてもよい。
また、処理対象として抽出したピクセルが一致領域に属する場合は(S1303:YES)、俯瞰画像1の該当部分にあるピクセルのRGB値をコピーして使用する(S1304)。
また、処理対象として抽出したピクセルがフロントカメラ21の撮像範囲であるがサイドカメラ22の撮像範囲ではない場合は(S1305:YES)、俯瞰画像1の該当部分にあるピクセルのRGB値をコピーして使用する(S1306)。
また、処理対象として抽出したピクセルがサイドカメラ22の撮像範囲であるがフロントカメラ21の撮像範囲ではない場合は(S1307:YES)、俯瞰画像2の該当部分にあるピクセルのRGB値をコピーして使用する(S1308)。
さらに、処理対象として抽出したピクセルが上述したいずれの場合にも該当しない場合には、そのピクセルを黒く表示して(S1305)、画像合成処理を終了する。この画像合成処理によってフロントカメラ21で撮像された図6の俯瞰画像とサイドカメラ22で撮像された図7の俯瞰画像とを合成すると、その合成結果は図14に示すような俯瞰画像となる。
このようにして、図3のステップS304において俯瞰画像が合成されて出力画像が生成されると、生成された出力画像を表示部6に表示して運転者に提示し(S305)、本実施例の車両周辺監視装置1による車両周辺監視処理を終了する。
ここで、本実施例の車両周辺監視装置1によって合成された出力画像と従来の方法で合成した画像とを比較する。まず、従来の方法で合成した場合の出力画像の例を示す。フロントカメラ21で撮像された図6の俯瞰画像と、サイドカメラ22で撮像された図7の俯瞰画像とをフロントカメラ21の俯瞰画像を優先して合成すると、図15に示す画像となる。この画像では障害物が境目で途切れて認識することが困難になっている。また、サイドカメラ22の俯瞰画像を優先して合成すると図16に示す画像となるが、この画像ではサイドカメラ22の画像とフロントカメラ21の画像との境目が目立ってしまっている。さらに、斜めの境目で区切って合成すると図17に示す画像となるが、この画像でも図15と同様に障害物が境目で途切れて認識することが困難になっている。また、オーバーラップ領域を全て1:1の比率でブレンドすると図18に示す画像となるが、この画像ではオーバーラップ領域と非オーバーラップ領域との境目が目立ち障害物も半透明で認識しにくくなっている。このように従来の方法で合成すると、いずれの方法でも映像の画質や障害物の認識しやすさにおいて課題を残していた。
これに対して、本実施例の車両周辺監視装置1によって合成された図14の出力画像では、一致領域となる地面の部分の画像が俯瞰画像1のみの画像によって表示されているので高画質になっており、さらにオーバーラップ領域と非オーバーラップ領域との境界線が目立たなくなっている。
このように、本実施例の車両周辺監視装置1では、撮像領域がオーバーラップしている複数の撮像部2によって撮像された複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させ、この一致領域と不一致領域とを異なる方法で合成して出力画像を生成するので、オーバーラップ領域における画像の見にくさを解決して見やすい画像を運転者に提示して障害物を確実に認識させることが可能になる(請求項1、8に対応する効果)。
また、本実施例の車両周辺監視装置1は、不一致領域では複数の俯瞰画像をブレンドし、一致領域では複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して出力画像を生成するので、一致領域の画像を高画質にすることができるとともに、オーバーラップ領域と非オーバーラップ領域との境界線を目立たなくすることができる(請求項2、9に対応する効果)。
次に、本発明の実施例2について説明する。実施例1では図13のステップS1302において、不一致領域に属するピクセルは二つの俯瞰画像のRGB値の平均値を使用してブレンドしていたのに対して、本実施例では不一致領域に属するピクセルに対してどちらか一方のカメラによる俯瞰画像のピクセルをコピーして使用するようにしている。例えば、不一致領域に対してサイドカメラ22による俯瞰画像のピクセルを使用して画像を合成すると、図19に示すような画像が出力される。これによれば、図14に示す実施例1の出力画像では障害物が透けたように表示されて見にくかったのに対して、図19の画像では不一致領域についても高画質の画像にすることができ、障害物を確実に認識することができるようになる。
ここで、不一致領域において、サイドカメラ22の俯瞰画像を使用するか、あるいはフロントカメラ21の俯瞰画像を使用するかの判断方法については、自車の進行方向に基づいて俯瞰画像を選択して使用するようにすればよい。このとき、自車が進行していくのに伴って障害物が非オーバーラップ領域からオーバーラップ領域に移動していく際に連続性が保たれるように選択する。例えば、自車が後退するときには、障害物はサイドカメラ22の領域からオーバーラップ領域へと移動するので、不一致領域ではサイドカメラ22の俯瞰画像を使用するように選択する。逆に、自車が右操舵で前進する場合には、障害物はフロントカメラ21の領域からオーバーラップ領域へと移動するので、不一致領域ではフロントカメラ21の俯瞰画像を使用するように選択する。
また、別の方法としてはオーバーラップ領域の境界線と不一致領域の境界線との重なりに基づいて俯瞰画像を選択して使用するようにしてもよい。この方法では不一致領域の境界線がオーバーラップ領域の境界線と重なっている度合いによって俯瞰画像を選択する。例えば、図19の画像において不一致領域の境界線がオーバーラップ領域の境界線と重なっているのは、サイドカメラ22の側の領域なので、不一致領域ではサイドカメラ22の俯瞰画像を選択して使用する。
このように本実施例の車両周辺監視装置では、不一致領域において画像をブレンドするのではなく、いずれかのカメラの俯瞰画像を選択して使用するようにしている。
ただし、不一致領域において、どちらか一方のカメラによる俯瞰画像を表示した場合に不一致領域全体を障害物の画像が占めないことがある。例えば、フロントカメラ側のオーバーラップ領域の境界線付近の不一致領域に地面の領域が映っている場合である。このような場合には選択されていないカメラに映っている障害物の情報は表示されないことになるが、撮影した地面の明るさが、カメラによって異なっているので、同じ地面上に一致領域と不一致領域の境界が明るさの差によって認識できるように表示される。したがって、この境界を障害物の情報として運転者に与えることが可能になる。特に、2つのカメラで撮影した地面の明るさの差を計算し、この差が少ない場合には地面の明るさの差が大きくなるように明るさを補正すると、一致領域と不一致領域の境界をより明瞭に表示することが可能になる。
このように、本実施例の車両周辺監視装置は、不一致領域では複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して出力画像を生成するので、不一致領域の画像において障害物が透けたように表示されることがなくなり、障害物を確実に認識することができて高画質な画像を運転者に提示することができる(請求項3、10に対応する効果)。
また、本実施例の車両周辺監視装置は、複数の俯瞰画像の明るさを変更して出力画像を生成するので、一致領域と不一致領域の境界が明るさの差によって認識することができ、これによって一致領域と不一致領域の境界をより明瞭に表示することが可能になる(請求項4、11に対応する効果)。
さらに、本実施例の車両周辺監視装置は、不一致領域において自車の進行方向に基づいて複数の俯瞰画像の中から俯瞰画像を選択して使用するので、複数の俯瞰画像の中から適切な俯瞰画像を選択することができ、これによって高画質な画像を運転者に提示することができる(請求項5、12に対応する効果)。
また、本実施例の車両周辺監視装置は、不一致領域においてオーバーラップ領域の境界線と不一致領域の境界線との重なりに基づいて複数の俯瞰画像の中から俯瞰画像を選択して使用するので、複数の俯瞰画像の中から適切な俯瞰画像を選択することができ、これによって高画質な画像を運転者に提示することができる(請求項6、13に対応する効果)。
次に、本発明の実施例3を図面に基づいて説明する。本実施例の車両周辺監視装置では、図3のステップS304において実施される画像合成処理が実施例1と異なる。その他の処理及び構成は実施例1と同一なので詳しい説明を省略する。
ここで、本実施例の車両周辺監視装置において、図3のステップS304で実施される画像合成処理を図20のフローチャートに基づいて説明する。この画像合成処理では、俯瞰画像の全てのピクセルに対して以下に示すステップS2001〜S2005の処理を実施して出力画像を生成する。
まず、処理の対象となるピクセルを抽出し、そのピクセルが一致領域の境界線に属する場合は(S2001:YES)、赤などのマーカー色をRGB値として使用する(S2002)。
また、処理対象として抽出したピクセルがオーバーラップ領域に属する場合は(S2003:YES)、俯瞰画像1と俯瞰画像2の該当部分にあるピクセルをピクセルの位置に応じて滑らかな比率でブレンドしてRGB値として使用する(S2004)。
また、処理対象として抽出したピクセルがフロントカメラ21の撮像範囲であるがサイドカメラ22の撮像範囲ではない場合は(S2005:YES)、俯瞰画像1の該当部分にあるピクセルのRGB値をコピーして使用する(S2006)。
また、処理対象として抽出したピクセルがサイドカメラ22の撮像範囲であるがフロントカメラ21の撮像範囲ではない場合は(S2007:YES)、俯瞰画像2の該当部分にあるピクセルのRGB値をコピーして使用する(S2008)。
さらに、上述したいずれの場合にも該当しない場合には、そのピクセルを黒く表示して(S2009)、画像合成処理を終了する。この画像合成処理によってフロントカメラ21で撮像された図6の俯瞰画像とサイドカメラ22で撮像された図7の俯瞰画像とを合成すると、その合成結果は図21に示す俯瞰画像となり、一致領域と不一致領域との境界線211が強調表示されている。
このように、本実施例の車両周辺監視装置では、一致領域と不一致領域との境界線を強調表示するので、半透明で分かりにくかった障害物を強調して表示することができ、運転者に障害物を確実に認識させることができる(請求項7、14に対応する効果)。
以上、本発明の車両周辺監視装置について、図示した実施例に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置き換えることができる。
実施例1に係る車両周辺監視装置の構成を示すブロック図である。 実施例1に係る車両周辺監視装置のカメラの配置とオーバーラップ領域を説明するための図である。 実施例1に係る車両周辺監視装置による車両周辺監視処理を示すフローチャートである。 フロントカメラによって撮像された画像の一例を示す図である。 サイドカメラによって撮像された画像の一例を示す図である。 フロントカメラによって撮像された画像を変換した俯瞰画像を示す図である。 サイドカメラによって撮像された画像を変換した俯瞰画像を示す図である。 実施例1に係る車両周辺監視装置による領域確定処理を示すフローチャートである。 自車と立体物との位置関係を説明するための平面図である。 フロントカメラによって撮像された画像を変換した俯瞰画像を示す図である。 サイドカメラによって撮像された画像を変換した俯瞰画像を示す図である。 フロントカメラによる俯瞰画像とサイドカメラによる俯瞰画像をブレンドした画像を示す図である。 実施例1に係る車両周辺監視装置による画像合成処理を示すフローチャートである。 実施例1に係る車両周辺監視装置によって合成された出力画像の一例を示す図である。 フロントカメラの俯瞰画像を優先して合成した場合の出力画像の一例を示す図である。 サイドカメラの俯瞰画像を優先して合成した場合の出力画像の一例を示す図である。 斜めの境目で区切って合成した場合の出力画像の一例を示す図である。 フロントカメラとサイドカメラを1:1の比率で合成した場合の出力画像の一例を示す図である。 実施例2に係る車両周辺監視装置によって合成された出力画像の一例を示す図である。 実施例3に係る車両周辺監視装置による画像合成処理を示すフローチャートである。 実施例3に係る車両周辺監視装置によって合成された出力画像の一例を示す図である。
符号の説明
1 車両周辺監視装置
2 撮像部(撮像手段)
3 画像変換部(画像変換手段)
4 領域確定部(領域確定手段)
5 画像合成部(画像合成手段)
6 表示部(表示手段)
20 車両
21 フロントカメラ
22 サイドカメラ
91 自車
92 立体物
211 境界線

Claims (14)

  1. 自車の周囲の状況を俯瞰画像に変換して運転者に提示する車両周辺監視装置であって、
    自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像手段と、
    前記複数の撮像手段によって撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換手段と、
    前記複数の俯瞰画像の差分を計算し、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定手段と、
    前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成手段と、
    前記出力画像を運転者に提示する表示手段と、
    を備えることを特徴とする車両周辺監視装置。
  2. 前記画像合成手段は、前記不一致領域では前記複数の俯瞰画像をブレンドし、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする請求項1に記載の車両周辺監視装置。
  3. 前記画像合成手段は、前記不一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする請求項1に記載の車両周辺監視装置。
  4. 前記画像合成手段は、前記複数の俯瞰画像の明るさを変更して出力画像を生成することを特徴とする請求項3に記載の車両周辺監視装置。
  5. 前記画像合成手段は、前記不一致領域において前記自車の進行方向に基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項3または4のいずれかに記載の車両周辺監視装置。
  6. 前記画像合成手段は、前記不一致領域において前記オーバーラップ領域の境界線と前記不一致領域の境界線との重なりに基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項3または4のいずれかに記載の車両周辺監視装置。
  7. 前記画像合成手段は、前記一致領域と前記不一致領域との境界線を強調表示することを特徴とする請求項1から請求項6のいずれか1項に記載の車両周辺監視装置。
  8. 自車の周囲の状況を俯瞰画像に変換して運転者に提示する車両周辺監視方法であって、
    撮像領域がオーバーラップしている複数の撮像手段によって、自車の周囲の映像を撮像する撮像ステップと、
    前記撮像ステップで撮像された複数の撮像画像を変換して複数の俯瞰画像を生成する画像変換ステップと、
    前記複数の俯瞰画像の差分を計算し、前記オーバーラップ領域において画像が一致する一致領域と一致しない不一致領域とを確定させる領域確定ステップと、
    前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成する画像合成ステップと、
    前記出力画像を運転者に提示する表示ステップと、
    を含むことを特徴とする車両周辺監視方法。
  9. 前記画像合成ステップは、前記不一致領域では前記複数の俯瞰画像をブレンドし、前記一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする請求項8に記載の車両周辺監視方法。
  10. 前記画像合成ステップは、前記不一致領域では前記複数の俯瞰画像のうちのいずれかの俯瞰画像を使用して前記出力画像を生成することを特徴とする請求項8に記載の車両周辺監視方法。
  11. 前記画像合成ステップは、前記複数の俯瞰画像の明るさを変更して出力画像を生成することを特徴とする請求項10に記載の車両周辺監視方法。
  12. 前記画像合成ステップは、前記不一致領域において前記自車の進行方向に基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項10または11のいずれかに記載の車両周辺監視方法。
  13. 前記画像合成ステップは、前記不一致領域において前記オーバーラップ領域の境界線と前記不一致領域の境界線との重なりに基づいて前記複数の俯瞰画像の中から俯瞰画像を選択して使用することを特徴とする請求項10または11のいずれかに記載の車両周辺監視方法。
  14. 前記画像合成ステップは、前記一致領域と前記不一致領域との境界線を強調表示することを特徴とする請求項8から13のいずれか1項に記載の車両周辺監視方法。
JP2005204178A 2005-07-13 2005-07-13 車両周辺監視装置及び車両周辺監視方法 Active JP4830380B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005204178A JP4830380B2 (ja) 2005-07-13 2005-07-13 車両周辺監視装置及び車両周辺監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005204178A JP4830380B2 (ja) 2005-07-13 2005-07-13 車両周辺監視装置及び車両周辺監視方法

Publications (2)

Publication Number Publication Date
JP2007027948A true JP2007027948A (ja) 2007-02-01
JP4830380B2 JP4830380B2 (ja) 2011-12-07

Family

ID=37788155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005204178A Active JP4830380B2 (ja) 2005-07-13 2005-07-13 車両周辺監視装置及び車両周辺監視方法

Country Status (1)

Country Link
JP (1) JP4830380B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153156A (ja) * 2009-01-21 2009-07-09 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法
WO2009119337A1 (ja) * 2008-03-27 2009-10-01 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
US7728879B2 (en) 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
WO2010119734A1 (ja) * 2009-04-17 2010-10-21 三洋電機株式会社 画像処理装置
JP2011070593A (ja) * 2009-09-28 2011-04-07 Mitsubishi Motors Corp 車両周辺監視装置
JP2011159186A (ja) * 2010-02-03 2011-08-18 Clarion Co Ltd 運転支援装置及び運転支援装置の制御方法
WO2013015130A1 (ja) 2011-07-26 2013-01-31 アイシン精機株式会社 車両周辺監視システム
KR101436445B1 (ko) 2012-12-28 2014-09-01 아진산업(주) 차량 주변 영상 표시 방법
US10417743B2 (en) 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243456A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 障害物検出装置及び障害物検出方法
JP2002027448A (ja) * 2000-04-28 2002-01-25 Matsushita Electric Ind Co Ltd 画像処理装置および監視システム
JP2002166802A (ja) * 2000-11-30 2002-06-11 Toyota Motor Corp 車両周辺モニタ装置
JP2003169323A (ja) * 2001-11-29 2003-06-13 Clarion Co Ltd 車両周囲監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243456A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 障害物検出装置及び障害物検出方法
JP2002027448A (ja) * 2000-04-28 2002-01-25 Matsushita Electric Ind Co Ltd 画像処理装置および監視システム
JP2002166802A (ja) * 2000-11-30 2002-06-11 Toyota Motor Corp 車両周辺モニタ装置
JP2003169323A (ja) * 2001-11-29 2003-06-13 Clarion Co Ltd 車両周囲監視装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728879B2 (en) 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
WO2009119337A1 (ja) * 2008-03-27 2009-10-01 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP2009239754A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP2009153156A (ja) * 2009-01-21 2009-07-09 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法
WO2010119734A1 (ja) * 2009-04-17 2010-10-21 三洋電機株式会社 画像処理装置
JP2011070593A (ja) * 2009-09-28 2011-04-07 Mitsubishi Motors Corp 車両周辺監視装置
JP2011159186A (ja) * 2010-02-03 2011-08-18 Clarion Co Ltd 運転支援装置及び運転支援装置の制御方法
WO2013015130A1 (ja) 2011-07-26 2013-01-31 アイシン精機株式会社 車両周辺監視システム
US9050931B2 (en) 2011-07-26 2015-06-09 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring system
KR101436445B1 (ko) 2012-12-28 2014-09-01 아진산업(주) 차량 주변 영상 표시 방법
US10417743B2 (en) 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium

Also Published As

Publication number Publication date
JP4830380B2 (ja) 2011-12-07

Similar Documents

Publication Publication Date Title
JP4830380B2 (ja) 車両周辺監視装置及び車両周辺監視方法
EP2739050B1 (en) Vehicle surroundings monitoring system
US8144033B2 (en) Vehicle periphery monitoring apparatus and image displaying method
US9247217B2 (en) Vehicle periphery monitoring device and vehicle periphery image display method
JP4934308B2 (ja) 運転支援システム
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP5132249B2 (ja) 車載用撮像装置
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
EP1383331A1 (en) Method and apparatus for synthesizingdisplaying images of cameras installed in vehicle
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
CN109948398A (zh) 全景泊车的图像处理方法及全景泊车装置
JP2012147149A (ja) 画像生成装置
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
JP2007274377A (ja) 周辺監視装置、プログラム
US20070273757A1 (en) Panoramic viewing system especially in combat vehicles
KR20130064169A (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP4742733B2 (ja) 画像つなぎ目処理装置および画像つなぎ目処理方法
TWI505203B (zh) 產生車用影像的影像處理方法及影像處理裝置
JP5853457B2 (ja) 車両周辺監視システム
JP7108855B2 (ja) 画像合成装置、及び、制御方法
JP6293089B2 (ja) 後方モニタ
JP7203205B2 (ja) 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
KR101709009B1 (ko) 어라운드 뷰 왜곡 보정 시스템 및 방법
CN109906602B (zh) 图像匹配方法及装置
KR101241012B1 (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

R150 Certificate of patent or registration of utility model

Ref document number: 4830380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3