JP2007315861A - 車両用画像処理装置 - Google Patents
車両用画像処理装置 Download PDFInfo
- Publication number
- JP2007315861A JP2007315861A JP2006144230A JP2006144230A JP2007315861A JP 2007315861 A JP2007315861 A JP 2007315861A JP 2006144230 A JP2006144230 A JP 2006144230A JP 2006144230 A JP2006144230 A JP 2006144230A JP 2007315861 A JP2007315861 A JP 2007315861A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image processing
- area
- route guidance
- unnecessary area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】車載カメラによって撮像された画像の視認性を向上させる。
【解決手段】車載カメラによって撮像された画像のうち、ユーザにとって不必要であると考えられる領域に対してマスキング処理を施し、マスキング処理を施した画像を表示する。
【選択図】図9
【解決手段】車載カメラによって撮像された画像のうち、ユーザにとって不必要であると考えられる領域に対してマスキング処理を施し、マスキング処理を施した画像を表示する。
【選択図】図9
Description
本発明は、車両周囲の撮像画像に対して画像処理を行う車両用画像処理装置に関する。
従来、経路案内を行う車両用案内表示装置において、右左折すべき交差点において、右左折を案内するための誘導矢印を表示する装置が知られている(特許文献1参照)。
しかしながら、従来の車両用案内表示装置において、視認性向上のために誘導矢印を大きくして表示すると、道路の左右に存在する建物と誘導矢印とが重畳してしまい、右左折すべき交差点までの距離が把握しにくくなるという問題がある。
本発明による車両用画像処理装置は、車両周囲を撮像した画像のうち、ユーザが視認する際に不必要であると考えられる領域を検出し、検出した領域に対して、マスキング処理を施すことを特徴とする。
本発明による車両用画像処理装置によれば、ユーザが視認する際に不必要であると考えられる領域に対して、マスキング処理を施すので、撮像画像の視認性を向上させることができる。
−第1の実施の形態−
図1は、第1の実施の形態における車両用画像処理装置の構成を示す図である。第1の実施の形態における車両用画像処理装置1は、自車位置取得装置2と、車載カメラ3と、入力装置4と、ディスプレイ5と、地図データベース6と、制御装置7とを備える。
図1は、第1の実施の形態における車両用画像処理装置の構成を示す図である。第1の実施の形態における車両用画像処理装置1は、自車位置取得装置2と、車載カメラ3と、入力装置4と、ディスプレイ5と、地図データベース6と、制御装置7とを備える。
自車位置取得装置2は、車両の現在地を検出する装置であり、例えば車両の進行方位を検出する方位センサや車速を検出する車速センサやGPS(Global Positioning System)衛星からのGPS信号を検出するGPSセンサ等から構成される。自車位置取得装置2によって検出された車両位置は、後述する制御装置7に入力される。
車載カメラ3は、例えば、小型CCDカメラであり、フロントウインド周辺等に設置されて、自車両の前方を映像する。車載カメラ3によって撮像された映像は、後述する制御装置7に入力される。入力装置4は、ユーザが目的地等を入力するための各種操作部材である。入力装置4によって入力された目的地等の情報は、制御装置7に入力される。ディスプレイ5には、制御装置7からの指令に基づいて、車両周辺の地図や、目的地までの経路、および、経路案内のための図形(マーク)等が表示される。
地図データベース6は、例えば、ハードディスクであり、地図データを格納している。この地図データには、地図を表示するための道路データや背景データ、経路案内を行うための誘導データ、および、目的地までの推奨経路を演算する際に用いられる経路計算用データなどが含まれる。
道路データには、車載カメラ3によって撮像された車両前方映像(以下、前景映像)における道路端を特定するために必要な位置データ、すなわち、3次元座標測定点データが含まれている。図2は、3次元座標測定点の配置例を示す図であり、道路の両端において、所定間隔おきに配置されるように、設定されている。
3次元座標測定点データには、各3次元座標測定点の3次元座標のデータが含まれている。図3は、3次元座標測定点の位置座標、および、自車位置取得装置2によって検出される自車位置に基づいて、車載カメラ3によって撮像された前景映像に、複数の3次元座標測定点31を表示した図である。前景映像では、3次元座標測定点31の集合を道路端32として認識することができる。
制御装置7は、マイクロプロセッサおよびその周辺回路から構成されており、内部で行う処理機能上、経路算出部71と、マスキング領域算出部72と、誘導矢印位置算出部73と、表示映像合成部74とを備える。経路算出部71は、自車位置取得装置2によって検出された自車位置、入力装置4によって入力された目的地、および、地図データベース6に格納されている地図データに基づいて、既知の方法により、現在地から目的地までの推奨経路を算出する。
マスキング領域算出部72は、車載カメラ3によって撮像された前景映像の中から、経路案内のための誘導矢印を大きく表示するために、マスキング処理を行う領域を求める。マスキング処理とは、撮像画像上の表示が不必要となる領域を覆い隠す処理である。マスキング処理を行う領域については、後述する。誘導矢印位置算出部73は、自車位置取得装置2によって検出された車両現在地、経路算出部71によって算出された推奨経路、および、地図データベース6に格納されている地図データに基づいて、経路案内のための誘導矢印を表示する位置を求める。誘導矢印の表示位置を求める詳細な方法については、後述する。表示映像合成部74は、後述する方法によって、車載カメラ3によって撮像された前景映像に、経路案内のための誘導矢印を重畳表示させる処理を行う。
図4は、第1の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャートである。制御装置7は、車両が起動すると、ステップS10の処理を開始する。ステップS10およびステップS20の処理は、経路算出部71によって行われる。ステップS10では、ユーザが入力装置4を用いて目的地の設定を行ったか否かを判定する。目的地の設定が行われていないと判定するとステップS10で待機し、目的地の設定が行われたと判定すると、ステップS20に進む。
ステップS20では、入力装置4によって入力された目的地情報、自車位置取得装置2によって検出される車両現在地、および、地図データベース6に格納されている地図データに基づいて、現在地から目的地までの推奨経路を算出する。目的地までの推奨経路を算出すると、ステップS30に進む。
ステップS30およびステップS40の処理は、マスキング領域算出部72によって行われる。ステップS30では、自車両が誘導分岐点に接近したか否かを判定する。誘導分岐点とは、推奨経路上において、右左折等を行うために、ユーザに誘導案内を行うべき交差点である。ここでは、自車位置取得装置2によって検出される車両現在地、および、経路算出部71によって算出された推奨経路に基づいて、自車両と誘導分岐点との距離が所定距離以内になると、自車両が誘導分岐点に接近したと判定する。自車両が誘導分岐点に接近していないと判定するとステップS30で待機し、誘導分岐点に接近したと判定すると、ステップS40に進む。
ステップS40では、誘導分岐点における誘導方向、自車位置取得装置2によって検出される車両現在地、および、地図データベース6に格納されている地図データに基づいて、車載カメラ3によって撮像された前景映像の中から、マスキング領域を求める。マスキング領域を求める詳細な方法について説明する。
ドライバは、曲折(右折または左折)する際に、曲折する方向の道路や建物に注視して曲折を行うため、曲折方向とは反対側の建物等の情報は不要であるといえる。従って、曲折方向とは反対外に存在する建物等が写っている領域をマスキング領域として無効化することで、曲折方向とは反対側の領域に誘導矢印が重畳しても、誘導矢印が表示されている位置までの距離感に影響を及ぼさないようにする。
マスキング領域算出部72は、まず始めに、車載カメラ3によって撮像された前景映像内の消失点を検出する。上述したように、地図データベース6に格納されている道路データには、3次元座標測定点データが含まれており、図3に示すように、3次元座標測定点の位置座標、および、自車位置取得装置2によって検出される自車位置に基づいて、車載カメラ3によって撮像された前景映像に、3次元座標測定点を表すことができる。上述したように、この3次元座標測定点の集合を道路端として認識する。なお、前景映像に3次元座標測定点を表す処理は、制御装置7の内部で行う処理であって、ディスプレイ5に実際表示するものではない。
3次元座標測定点の集合である道路端は、図3に示すように2本の直線32を構成しており、2本の直線32は、消失点30に向かって伸びている。従って、自車線側の道路端を構成する3次元座標測定点と、対向車線側の道路端を構成する3次元座標測定点とが一致する点を消失点として検出する。
ここで、図5に示すように、道路形状に起伏がある場合には、車載カメラ3によって撮像された前景映像中に、道路両端の直線が交差することによってできる消失点が存在しない。この場合、以下の方法により、仮の消失点を求める。
道路形状に起伏がある場合、起伏の前後に位置する3次元位置座標測定点の高さ成分(Z軸成分)は、起伏の頂上付近で最大値をとり、頂点から離れるに従い減少していく。従って、まず、自車位置と3次元位置座標測定点の高さ成分とに基づいて、前景映像中に表示可能な3次元位置座標測定点のうち、最も遠方に存在する測定点(Z座標値が最も大きい測定点)50,51を特定する。そして、特定した3次元位置座標測定点50,51の中点を消失点52とする。
また、道路形状が左右どちらかへ大きくカーブしており、道路が前景映像の左右どちらかの端へ切れてしまう場合においても、3次元位置座標測定点の3次元座標および自車位置に基づいて、前景映像に表示可能な、最遠方に存在する3次元位置座標測定点を求め、求めた2つの3次元位置座標測定点の中点を仮の消失点とする。
前景画像において消失点を検出すると、消失点から垂直上方に直線を引き、この直線と、車両が曲折する方向とは逆方向に存在する道路端とで囲まれる、車両の曲折方向とは逆方向に存在する領域をマスキング領域とする。図6は、車両が左折する場合のマスキング領域の一例を示す図である。消失点30から垂直上方に引かれた直線61と、車両が曲折する方向とは逆方向に存在する道路端62とで囲まれる領域をマスキング領域60としている。
図7は、道路形状に起伏がある場合のマスキング領域の一例を示す図である。上述したように、道路形状に起伏がある場合には、前景映像中に表示可能な3次元位置座標測定点のうち、最も遠方に存在する測定点50,51の中点を消失点30とした。この場合、消失点30の垂直上方に直線61を引くとともに、車両が曲折する方向とは逆方向に存在する道路端62に存在する最遠方の3次元位置座標測定点51と消失点30とを結ぶ線65を引く。これらの直線61、直線65、および、反対車線側の道路端を示す直線62で囲まれる右方向(車両が曲折する方向とは逆方向)に存在する領域をマスキング領域60とする。
図4に示すフローチャートのステップS40において、マスキング領域を求めると、ステップS50に進む。ステップS50の処理は、誘導矢印位置算出部73によって行われる。ステップS50では、前景映像中において、誘導矢印を表示する位置を求める。誘導矢印の表示位置を求める方法について説明する。
図8は、誘導矢印の表示位置を求める方法を説明するための図である。自車両80は左折するものとし、図8に示すように、交差点の左折側の角には、建造物81が存在するものとする。車載カメラ3が設けられている自車両中心の位置と、複数の3次元位置座標測定点の集合によって構成される自車線側の道路端85と交差点とが交差する点82とを結んだ直線を83とすると、左方向を示す誘導矢印の先端が直線83を越えると、誘導矢印の先端は、建造物81と重畳して表示されることになる。従って、誘導矢印の先端は、直線83を越えない範囲(直線83より右側)に表示する必要がある。
図8に示すように、自車両80から交差点上の誘導矢印を表示する位置までの距離をLt、自車両の直進方向を示す直線84と直線83との成す角をθとすると、誘導矢印の長さXは、次式(1)にて表される。ただし、交差点上で誘導矢印を表示する位置は、予め定めておく。また、以下では、角度θを、建造物81による遮蔽度θと呼ぶ。
X=Lt・tanθ (1)
ここで、自車両80から交差点上の誘導矢印を表示する位置までの距離Lt、および、建造物81による遮蔽度θは、自車位置取得装置2によって検出された車両現在地、および、地図データベース6に格納されている地図データに基づいて求める。また、式(1)により得られるXは、実際の路面上における曲折方向の矢印の長さであるため、前景映像中における長さおよび位置に変換することによって、前景映像中における誘導矢印の位置を算出する。
X=Lt・tanθ (1)
ここで、自車両80から交差点上の誘導矢印を表示する位置までの距離Lt、および、建造物81による遮蔽度θは、自車位置取得装置2によって検出された車両現在地、および、地図データベース6に格納されている地図データに基づいて求める。また、式(1)により得られるXは、実際の路面上における曲折方向の矢印の長さであるため、前景映像中における長さおよび位置に変換することによって、前景映像中における誘導矢印の位置を算出する。
誘導矢印の表示は、自車両の曲折が完了するまで行うので、式(1)によって誘導矢印の長さXを求める処理も、自車両の曲折が完了するまで繰り返し行う。ただし、自車両が実際に右左折を開始すると、遮蔽度θの値が大きくなるので、誘導矢印の長さXの値も大きくなり、誘導矢印が前景映像からはみ出してしまう。従って、誘導矢印の長さXは、その先端が前景映像内に収まる範囲内の長さとする。誘導矢印の長さXを算出すると、前景映像上に、誘導矢印を表示する位置が定まる。
図4に示すフローチャートのステップS50において、前景映像中における誘導矢印の表示位置を求めると、ステップS60に進む。ステップS60の処理は、表示映像合成部74によって行われる。ステップS60では、車載カメラ3によって撮像された前景映像に対して、ステップS40で求めたマスキング領域に対してマスキング処理を施すとともに、ステップS50で求めた表示位置に、誘導矢印を表示する処理を行う。マスキング処理は、例えば、単一色でマスキング領域を塗りつぶす処理を行う。
ステップS60に続くステップS70では、ステップS60で処理を行った前景映像をディスプレイ5に表示する。図9は、ディスプレイ5に表示された前景映像の一例を示す図である。図9に示すように、マスキング領域60にマスキング処理が施されて、建物などが表示されなくなっている。また、交差点で左折することを示す誘導矢印90が大きく表示されている。車両の曲折方向とは逆方向の領域にマスキング処理を施すことにより、誘導矢印90を大きく表示しても、反対側に存在する建物に誘導矢印が重畳して表示されることはない。
ステップS70に続くステップS80では、自車位置取得装置2によって検出された車両現在地、および、地図データベース6に格納されている地図データに基づいて、自車両の曲折が完了したか否かを判定する。自車両の曲折が完了していないと判定するとステップS40に戻り、ステップS40からステップS70の処理を繰り返し行う。一方、自車両の曲折が完了したと判定すると、ステップS90に進む。
ステップS90では、自車位置取得装置2によって検出された車両現在地、および、地図データベース6に格納されている地図データに基づいて、自車両が目的地に到着したか否かを判定する。自車両が目的地に到着していないと判定するとステップS30に戻り、目的地に到着したと判定すると、経路案内処理を終了する。
第1の実施の形態における車両用画像処理装置によれば、車載カメラ3によって撮像された車両周囲の画像のうち、ユーザが視認する際に不必要であると考えられる不必要領域を検出し、検出した不必要領域に対して、マスキング処理を施すので、ユーザにとって不要な部分の映像を隠すことができる。これにより、ユーザは、例えば、自車位置と交差点との位置関係を把握しやすくなる。
特に、第1の実施の形態における車両用画像処理装置によれば、車両の現在地、および、目的地までの推奨経路に基づいて、車載カメラ3によって撮像された画像に経路案内のための図形(誘導矢印)を重畳表示させる際に、経路案内のための図形を表示する位置に基づいて、不必要領域を検出する。これにより、経路案内のための図形が経路案内に不要な建物等と重畳して表示されて、ユーザが経路分岐点までの距離を把握しにくくなるのを防ぐことができる。ユーザにとって不要な領域にマスキング処理を施した上で、経路案内のための図形を表示するので、経路案内の図形を大きく表示することができる。これにより、ユーザの視認性が向上する。
また、第1の実施の形態における車両用画像処理装置によれば、車両の現在地、および、自車両が曲折する交差点の曲折する方向の角の位置に基づいて、経路案内のための図形の大きさを変更するので、車両状況に応じた適切な大きさの経路案内図形を表示することができる。
−第2の実施の形態−
図10は、第2の実施の形態における車両用画像処理装置の構成を示す図である。第2の実施の形態における車両用画像処理装置の構成が図1に示す第1の実施の形態における車両用画像処理装置の構成と異なるのは、制御装置7の構成である。すなわち、制御装置7は、障害物認識部75をさらに備える。また、第1の実施の形態における車両用画像処理装置と、異なる処理を行う誘導矢印位置算出部および映像合成部の符号をそれぞれ、73aおよび74aとする。
図10は、第2の実施の形態における車両用画像処理装置の構成を示す図である。第2の実施の形態における車両用画像処理装置の構成が図1に示す第1の実施の形態における車両用画像処理装置の構成と異なるのは、制御装置7の構成である。すなわち、制御装置7は、障害物認識部75をさらに備える。また、第1の実施の形態における車両用画像処理装置と、異なる処理を行う誘導矢印位置算出部および映像合成部の符号をそれぞれ、73aおよび74aとする。
図11は、第2の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャートである。図4に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。
ステップS10からステップS40までの処理は、図4に示すフローチャートのステップS10からステップS40までの処理と同じである。ステップS40に続くステップS200において、障害物認識部75は、車載カメラ3によって撮像された前景映像に基づいて、画像処理を行うことにより、交差点の車両曲折方向の手前角に存在する建物などの障害物を検出し、検出した障害物による遮蔽度を求める。画像処理による障害物の検出処理は、既知の方法を用いることができる。
ステップS200に続くステップS210において、誘導矢印位置算出部73aは、自車位置取得装置2によって検出された車両現在地、地図データベース6に格納されている地図データ、および、ステップS200で求めた障害物による遮蔽度に基づいて、誘導矢印を表示する位置を求める。
図12は、自車両120が左折する交差点の角に建造物121が存在する場合の誘導矢印を示す図である。図12に示すように、建造物121は、自車線の道路端127より内側に存在している。車載カメラ3が設けられている自車両中心の位置122と、交差点の角123とを結んだ直線を124、車載カメラ3が設けられている自車両中心の位置122と、建造物121の角のうち、交差点の中心から最も近い角125とを結んだ直線を126とする。また、自車両の進行方向を示す直線127と直線124との間の角をθ1、直線127と直線126との間の角をθ2とする。
誘導矢印位置算出部73aは、交差点の角による遮蔽度θ1と、障害物121による遮蔽度θ2とを比較し、値が大きい方の遮蔽度を用いて、上式(1)に基づいて、誘導矢印の長さを算出する。図12に示す例では、遮蔽度θ1より遮蔽度θ2の方が大きいので、上式(1)のθにθ2を代入することにより、誘導矢印の長さを求める。
第1の実施の形態における車両用画像処理装置では、自車線の道路端と交差点とが交わる角の位置に基づいて遮蔽度θ1を求めてから、誘導矢印の長さを求めた。これに対して、第2の実施の形態における車両用画像処理装置では、車両が曲折する方向の角に存在する障害物の角の位置に基づいて、遮蔽度θ2を求めてから、誘導矢印の長さを求めるので、誘導矢印をさらに大きい状態で表示することができる。
ただし、道路形状が車両の曲折方向側にカーブしている場合、分岐交差点の手前角に存在する建造物による遮蔽度よりも、さらにその手前に存在する建造物による遮蔽度の方が高い可能性がある。従って、自車両位置から分岐交差点の間に位置する建造物のうち、最も大きい遮蔽度に基づいて誘導矢印の長さを決定する。
図11に示すフローチャートのステップS210において、誘導矢印を表示する位置を求めると、ステップS220に進む。ステップS220において、表示映像合成部74aは、車載カメラ3によって撮像された前景映像に基づいて、ステップ40で求めたマスキング領域に対して空間周波数を低減させるマスキング処理を行うとともに、ステップS210で求めた表示位置に誘導矢印を重畳表示する処理を行う。ステップS220に続くステップS70では、ステップS220で処理を行った前景映像をディスプレイ5に表示する。
図13は、ディスプレイ5に表示された前景映像の一例を示す図である。マスキング領域に対して空間周波数を低減させる処理を行うことにより、マスキング領域に存在する建物等は完全に消えることはなく、形状等がぼんやりと映し出されている。空間周波数を低減させる度合は、予め実験等を行うことによって決めておく。第1の実施の形態における車両用画像処理装置のように、マスキング領域を単一の色等で塗りつぶすマスキング処理を施した場合には、マスキング領域に存在する建物等を視認することができないが、空間周波数を低減させるマスキング処理を行うことにより、ユーザは、車両の曲折方向とは反対側に存在する建物の形状や、道路の幅などをディスプレイ5上で確認することができる。
また、空間周波数を低減してから、誘導矢印を重畳表示するので、車両の曲折方向とは反対側に存在する建物等に誘導矢印が重畳して表示されても、自車位置から交差点までの距離が把握しにくくなることはない。さらに、図13に示すように、誘導矢印130の先端の位置を、交差点の角131ではなく、交差点の角に存在する建物132の角133に合わせることにより、誘導矢印130をより大きく表示することができ、また、曲折場所がより明確になる形で表示することができる。
ステップ70に続くステップS80およびステップS90の処理は、図4に示すフローチャートのステップS80およびステップS90の処理と同一である。
第2の実施の形態における車両用画像処理装置によれば、車載カメラ3によって撮像された車両周囲の画像に対して、ユーザにとって不必要であると考えられる不必要領域の空間周波数を低減させる処理を行う。これにより、第1の実施の形態における車両用画像処理装置と同様に、経路案内のための図形が経路案内に不要な建物等と重畳して表示されて、ユーザが経路分岐点までの距離を把握しにくくなるのを防ぐことができる。また、不必要領域を完全に覆い隠さずに、空間周波数を低減させるマスキング処理を行うので、ユーザは、マスキング領域に存在する建物の形状等を把握することができる。
また、第2の実施の形態における車両用画像処理装置によれば、自車位置、および、自車両が曲折する交差点の曲折方向の角に存在する障害物の位置に基づいて、経路案内のための図形の大きさを変更するので、自車位置と障害物の位置に基づいた適切な大きさの経路案内図形を表示することができる。
本発明は、上述した各実施の形態に限定されることはない。例えば、ユーザにとって不必要であると考えられる領域に対して、単一色で塗りつぶすマスキング処理や、空間周波数を低減するマスキング処理を行う例を挙げて説明したが、マスキング処理は、これらに限定されることはない。すなわち、経路案内の図形を重畳表示させる際に、視覚的に邪魔にならないように画像処理を施すものであればよい。
第1の実施の形態では、自車両が曲折する方向とは反対側の車線より外側の領域をマスキング領域として検出した。しかし、経路案内の図形を表示する際に重畳する領域のみをマスキング領域として検出してもよいし、重畳する領域およびその周辺領域をマスキング領域として検出してもよい。周辺領域は、例えば、経路案内の図形と重畳する領域の所定距離範囲内の領域として設定することができる。
道路形状に起伏がある場合、最も遠方に存在する3次元位置座標測定点(Z座標値が最も大きい測定点)50,51を特定し、特定した測定点50,51の中点を消失点とした。しかし、3次元位置座標測定点50,51を結ぶ線分と中央線との交点を消失点としてもよいし、他の方法によって、消失点を決定してもよい。
予め設定しておいた複数の3次元座標測定点の集合を道路端として認識したが、撮像画像に基づいて、画像認識処理を行うことにより、道路端を検出することもできる。また、マスキング領域を、自車両が曲折する方向とは反対側の道路の道路端に基づいて決定したが、中央線に基づいて決定してもよい。なお、中央線は、中央線を表す3次元座標測定点を予め定めておいて、複数の3次元座標測定点の集合として検出してもよいし、画像認識処理を行うことにより検出してもよい。
上述した第1および第2の実施の形態では、右左折すべき交差点で、右左折するための経路案内表示を行う際に、ユーザが視認する際に不必要であると考えられる領域にマスキング処理を施したが、マスキング処理を行うタイミングは、経路案内表示を行う時に限定されることはない。例えば、交通情報等の情報を重畳表示することができるシステムでは、交通情報等の情報を重畳表示させる領域およびその周辺領域にマスキング処理を施すこともできる。
特許請求の範囲の構成要素と第1および第2の実施の形態の構成要素との対応関係は次の通りである。すなわち、車載カメラ3が撮影手段を、制御装置7が不必要領域検出手段、画像処理手段、推奨経路演算手段、および、経路案内図形表示手段を、自車位置取得装置2が現在地検出手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。
1…車両用画像処理装置、2…自車位置取得装置、3…車載カメラ、4…入力装置、5…ディスプレイ、6…データベース、7…制御装置、71…経路算出部、72…マスキング領域算出部、73…誘導矢印位置算出部、74…表示映像合成部。75…障害物認識部
Claims (9)
- 車両周囲を撮像する撮像手段と、
前記撮像手段によって撮像された画像のうち、ユーザが視認する際に不必要であると考えられる領域(以下、不必要領域)を検出する不必要領域検出手段と、
前記不必要領域検出手段によって検出された不必要領域に対して、マスキング処理を施す画像処理手段とを備えることを特徴とする車両用画像処理装置。 - 請求項1に記載の車両用画像処理装置において、
前記不必要領域検出手段は、自車両が曲折する方向とは反対側の車線より外側の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。 - 請求項1に記載の車両用画像処理装置において、
自車両の現在地を検出する現在地検出手段と、
目的地までの推奨経路を演算する推奨経路演算手段と、
前記現在地検出手段によって検出される車両位置、および、前記推奨経路演算手段によって演算される推奨経路に基づいて、前記撮像手段によって撮像された画像に経路案内のための図形を重畳表示させる経路案内図形表示手段とをさらに備え、
前記不必要領域検出手段は、前記経路案内図形表示手段が前記撮像画像に前記経路案内のための図形を重畳表示させる位置に基づいて、前記不必要領域を検出することを特徴とする車両用画像処理装置。 - 請求項3に記載の車両用画像処理装置において、
前記不必要領域検出手段は、自車両が曲折する方向とは反対側の車線より外側の領域において、少なくとも前記経路案内のための図形を表示する際に重なる部分の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。 - 請求項3に記載の車両用画像処理装置において、
前記不必要領域検出手段は、前記経路案内のための図形を表示する際に重なる部分の領域から所定の距離範囲内の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。 - 請求項3から請求項5のいずれか一項に記載の車両用画像処理装置において、
前記経路案内図形表示手段は、前記現在地検出手段によって検出される車両位置、および、自車両が曲折する交差点の曲折方向の角の位置に基づいて、前記経路案内のための図形の大きさを変更することを特徴とする車両用画像処理装置。 - 請求項3から請求項5のいずれか一項に記載の車両用画像処理装置において、
前記経路案内図形表示手段は、前記現在地検出手段によって検出される車両位置、および、自車両が曲折する交差点の曲折方向の角に存在する障害物の位置に基づいて、前記経路案内のための図形の大きさを変更することを特徴とする車両用画像処理装置。 - 請求項1〜7のいずれかに記載の車両用画像処理装置において、
前記画像処理手段は、前記不必要領域を塗りつぶすマスキング処理を行うことを特徴とする車両用画像処理装置。 - 請求項1〜7のいずれかに記載の車両用画像処理装置において、
前記画像処理手段は、前記不必要領域の空間周波数を低減させるマスキング処理を行うことを特徴とする車両用画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006144230A JP2007315861A (ja) | 2006-05-24 | 2006-05-24 | 車両用画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006144230A JP2007315861A (ja) | 2006-05-24 | 2006-05-24 | 車両用画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007315861A true JP2007315861A (ja) | 2007-12-06 |
Family
ID=38849857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006144230A Pending JP2007315861A (ja) | 2006-05-24 | 2006-05-24 | 車両用画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007315861A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008076310A (ja) * | 2006-09-22 | 2008-04-03 | Nissan Motor Co Ltd | 経路案内表示装置及び経路案内方法 |
WO2009084133A1 (ja) * | 2007-12-28 | 2009-07-09 | Mitsubishi Electric Corporation | ナビゲーション装置 |
WO2009084134A1 (ja) * | 2007-12-28 | 2009-07-09 | Mitsubishi Electric Corporation | ナビゲーション装置 |
WO2013080310A1 (ja) * | 2011-11-29 | 2013-06-06 | パイオニア株式会社 | 画像制御装置 |
JP2014089137A (ja) * | 2012-10-31 | 2014-05-15 | Aisin Aw Co Ltd | 退出道路案内システム、方法およびプログラム |
JP2016532914A (ja) * | 2013-06-24 | 2016-10-20 | グーグル インコーポレイテッド | 環境情報を用いた自律走行車両の画像処理支援 |
JP2019125190A (ja) * | 2018-01-17 | 2019-07-25 | トヨタ自動車株式会社 | 車両用表示装置 |
JP2020525945A (ja) * | 2017-06-30 | 2020-08-27 | コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. | 自動車両および自動車両の環境領域の少なくとも1つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両 |
CN115131989A (zh) * | 2021-03-26 | 2022-09-30 | 丰田自动车株式会社 | 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统及记录介质 |
-
2006
- 2006-05-24 JP JP2006144230A patent/JP2007315861A/ja active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008076310A (ja) * | 2006-09-22 | 2008-04-03 | Nissan Motor Co Ltd | 経路案内表示装置及び経路案内方法 |
WO2009084133A1 (ja) * | 2007-12-28 | 2009-07-09 | Mitsubishi Electric Corporation | ナビゲーション装置 |
WO2009084134A1 (ja) * | 2007-12-28 | 2009-07-09 | Mitsubishi Electric Corporation | ナビゲーション装置 |
US20100256900A1 (en) * | 2007-12-28 | 2010-10-07 | Yoshihisa Yamaguchi | Navigation device |
JP4731627B2 (ja) * | 2007-12-28 | 2011-07-27 | 三菱電機株式会社 | ナビゲーション装置 |
US8315796B2 (en) | 2007-12-28 | 2012-11-20 | Mitsubishi Electric Corporation | Navigation device |
CN101910791B (zh) * | 2007-12-28 | 2013-09-04 | 三菱电机株式会社 | 导航装置 |
WO2013080310A1 (ja) * | 2011-11-29 | 2013-06-06 | パイオニア株式会社 | 画像制御装置 |
JP2014089137A (ja) * | 2012-10-31 | 2014-05-15 | Aisin Aw Co Ltd | 退出道路案内システム、方法およびプログラム |
JP2016532914A (ja) * | 2013-06-24 | 2016-10-20 | グーグル インコーポレイテッド | 環境情報を用いた自律走行車両の画像処理支援 |
CN107757616A (zh) * | 2013-06-24 | 2018-03-06 | 谷歌公司 | 使用环境信息辅助用于自主车辆的图像处理 |
CN107757616B (zh) * | 2013-06-24 | 2020-09-08 | 谷歌公司 | 使用环境信息辅助用于自主车辆的图像处理 |
JP2020525945A (ja) * | 2017-06-30 | 2020-08-27 | コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. | 自動車両および自動車両の環境領域の少なくとも1つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両 |
JP2019125190A (ja) * | 2018-01-17 | 2019-07-25 | トヨタ自動車株式会社 | 車両用表示装置 |
JP7024427B2 (ja) | 2018-01-17 | 2022-02-24 | トヨタ自動車株式会社 | 車両用表示装置 |
CN115131989A (zh) * | 2021-03-26 | 2022-09-30 | 丰田自动车株式会社 | 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统及记录介质 |
CN115131989B (zh) * | 2021-03-26 | 2024-04-09 | 丰田自动车株式会社 | 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统及记录介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6658905B2 (ja) | 走行支援装置及びコンピュータプログラム | |
JP2007315861A (ja) | 車両用画像処理装置 | |
CN110831819B (zh) | 泊车辅助方法以及泊车辅助装置 | |
JP7074438B2 (ja) | 自車位置推定装置 | |
JP5926645B2 (ja) | カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法 | |
JP5935636B2 (ja) | 交差点案内システム、方法およびプログラム | |
US11511627B2 (en) | Display device and computer program | |
JP6693685B2 (ja) | 電子装置、案内方法および案内システム | |
JP5760696B2 (ja) | 画像認識装置 | |
JP2009211624A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP2009205191A (ja) | 駐車スペース認識装置 | |
JP6642906B2 (ja) | 駐車位置検出システム及びそれを用いた自動駐車システム | |
JP2014119372A (ja) | ナビゲーション装置および料金所における走行ルート案内方法 | |
JP7151073B2 (ja) | 表示装置及びコンピュータプログラム | |
JP2008128827A (ja) | ナビゲーション装置およびナビゲーション方法ならびにそのプログラム | |
JP2015069289A (ja) | 車線認識装置 | |
JP2017102861A (ja) | 物体認識装置 | |
EP2988097B1 (en) | Driving support system, method, and program | |
JP2020181358A (ja) | 画像処理装置及び画像処理方法 | |
JP5203747B2 (ja) | ナビゲーション装置 | |
JP2015067030A (ja) | 運転支援装置 | |
JP2012234373A (ja) | 運転支援装置 | |
JP6631572B2 (ja) | 車両用表示制御装置及び車両用表示ユニット | |
JP6098442B2 (ja) | 進路案内表示システム、方法およびプログラム | |
JP2008262481A (ja) | 車両制御装置 |