JP2010146284A - 車両用対象物検出装置及び車両用運転支援システム - Google Patents
車両用対象物検出装置及び車両用運転支援システム Download PDFInfo
- Publication number
- JP2010146284A JP2010146284A JP2008322762A JP2008322762A JP2010146284A JP 2010146284 A JP2010146284 A JP 2010146284A JP 2008322762 A JP2008322762 A JP 2008322762A JP 2008322762 A JP2008322762 A JP 2008322762A JP 2010146284 A JP2010146284 A JP 2010146284A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- parallax
- feature point
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】撮像カメラを基準カメラと比較カメラとの一対のカメラで構成するとともに、フロントウィンドガラスへの車両固定物(ダッシュボード等)の映り込みにより生じる基準画像内の映り込み画像と比較画像内の映り込み画像との視差データを予め記憶しておき、この視差データを基に、基準画像内に含まれる映り込み画像の特徴点の対応点が存在するであろう比較画像内の予測領域を推定して(ステップS304の処理を実行して)、予測領域内にて対応点が見つかった特徴点を抽出することで(ステップS308の処理を実行する)基準画像内に含まれる非障害物画像を推定するようにした。
【選択図】図8
Description
ものとする。
ステップS303では、ウィンド視差データ記憶部106に記憶されたウィンド視差データ(図5参照)と、ステップS301で検出した特徴点の座標位置(xi,yj)とを基に、当該特徴点の座標位置(xi,yj)が属する小領域の視差データである第2視差量bijを読み込む(算出する)。例えば、特徴点の座標位置が図5のX方向に左から2番目、Y方向に下から3番目の小領域に属するものであればbij=710pixelが読み込まれる
ステップS304では、ステップS301で検出した基準画像GR中の特徴点が映り込み画像の特徴点である場合にその対応点が存在すると予測される比較画像GL内の予測領域を設定する。具体的には、比較画像GL内において、y=yjでかつxi+aij≦x≦xi+bijとなる画素範囲、換言すると、該特徴点に対応するエピポーラ線上に位置しかつxi+aij≦x≦xi+bijとなる画素範囲を予測領域として設定する。上記例であれば、比較画像GL内において、基準画像の特徴点位置から、510pixel〜710pixelの位置にある領域を予測領域として設定する。
本発明の構成は、上記実施形態に限定されるものではなく、それ以外の種々の構成を包含するものである。すなわち、上記実施形態では、検出ECU100において付着物画像と映り込み画像とを抽出するようにしているが、これに限ったものではなく、映り込み画像のみを抽出して非障害物画像としてもよいし、付着物画像のみを抽出して非障害物画像としてもよい。
F 付着物
GR 基準画像
GL 比較画像
aij 第1視差量
bij 第2視差量(ウィンド視差量)
1 障害物検出装置(車両用対象物検出装置)
2 フロントウィンドガラス
3R 右側カメラ(基準カメラ)
3L 左側カメラ(比較カメラ)
6 ダッシュボード(車両固定物)
8 スピーカ(車両固定物)
9 メータフード(車両固定物)
10 車両固定物
15 イグニッションキースイッチ(モード切換え手段)
101 モード設定部(モード切換え手段)
105 映り込み視差データ記憶部(映り込み視差データ記憶手段)
106 ウィンド視差データ記憶部(ウィンド視差データ記憶手段)
107 映り込み画像抽出部(特徴点検出手段、対応点探索手段、非対象物画像推定手段)
108 付着物画像抽出部(特徴点検出手段、対応点探索手段、非対象物画像推定手段)
110 差分画像生成部(差分画像生成手段)
111 障害物検出部(対象物検出手段)
112 付着物画像記憶部(テンプレート画像記憶手段)
113 付着物種類判別部(付着物種類判別手段)
114 除去装置駆動部(作動制御手段)
120 除去装置(付着物除去手段)
Claims (11)
- 車両外方をウィンドガラスを通して撮像する基準カメラ及び比較カメラを備え、該基準カメラにより撮像された基準画像と、該比較カメラより撮像された比較画像との比較を基に該基準画像中に含まれる対象物の画像を非対象物画像とは識別して検出することで、該車両外方に存在する該対象物を検出する車両用対象物検出装置であって、
上記非対象物画像は、上記ウィンドガラスにその周辺が映り込むことに起因して上記基準画像中に写し出された映り込み画像であり、
上記基準画像中にて特徴点を検出する特徴点検出手段と、
上記ウィンドガラスへの車両固定物の映り込みを上記両カメラにより撮像した場合に、該各カメラから該ウィンドガラスまでの距離と該ウィンドガラスから該車両固定物までの距離との合計距離に応じて生じる、上記基準画像及び上記比較画像の互いに対応する画素間の視差量である第1視差量を第1視差データとして記憶する映り込み視差データ記憶手段と、
上記特徴点検出手段により検出された上記基準画像中の特徴点が上記映り込み画像の特徴点であるとした場合に、その対応点が存在すると予測される比較画像内の予測領域を、上記第1視差データを基に推定するとともに、該推定した予測領域内において当該特徴点の対応点を探索する対応点探索手段と、
上記基準画像中に含まれる上記特徴点のうち上記対応点探索手段による対応点探索によって対応点が見つかった特徴点を基に上記映り込み画像を推定する非対象物画像推定手段と、
上記基準カメラにより撮像された上記基準画像と、上記非対象物画像推定手段により推定された該基準画像中の映り込み画像とを基に、該基準画像中に含まれる対象物画像を検出することで、上記車両外方の対象物検出を行う対象物検出手段と、を備えていることを特徴とする車両用対象物検出装置。 - 請求項1記載の車両用対象物検出装置において、
上記ウィンドガラスは、上記車両のフロントウィンドガラスであり、
上記車両固定物は、上記フロントウィンドガラスの下端縁に沿って車室内側に設けられるダッシュボードを含み、
上記特徴点検出手段は、上記基準画像内における上記映り込み画像が生じる領域に対応して予め設定された所定領域内に含まれる特徴点を検出するように構成されており、
上記第1視差データは、上記基準画像における上記所定領域内の各画素ごとに、又は該所定領域を複数に分割した小領域ごとに上記第1視差量を設定してなるデータであり、
上記対応点探索手段は、上記第1視差データを基に、上記特徴点検出手段により検出された上記基準画像中の特徴点に対応する上記第1視差量を求めるとともに、上記比較画像中において、当該特徴点に対応するエピポーラ線上に位置しかつ該特徴点との間の視差量が該求めた第1視差量以上となる画素範囲を上記予測領域として推定するように構成されていることを特徴とする車両用対象物検出装置。 - 請求項2記載の車両用対象物検出装置において、
上記ウィンドガラスを上記両カメラにより撮像した場合に、該各カメラから該ウィンドガラスまでの距離に応じて生じる、上記基準画像及び上記比較画像の互いに対応する画素間の視差量である第2視差量を第2視差データとして記憶するウィンド視差データ記憶手段をさらに備え、
上記第2視差データは、上記基準画像における少なくとも上記所定領域内の各画素ごとに、又は該所定領域を複数に分割した小領域ごとに上記第2視差量を設定してなるデータであり、
上記対応点探索手段は、上記第1視差データ及び第2視差データを基に、上記特徴点検出手段により検出された上記基準画像中の特徴点に対応する上記第1視差量及び第2視差量を求めるとともに、上記比較画像中において、当該特徴点に対応するエピポーラ線上に位置するとともに該特徴点との間の視差量が該求めた第1視差量以上でかつ第2視差量以下となる画素範囲を上記予測領域として推定するように構成されていることを特徴とする車両用対象物検出装置。 - 請求項1乃至3のいずれか一項に記載の車両用対象物検出装置において、
上記第1視差データを上記映り込み視差データ記憶手段に記憶させるための視差データ記憶モードと、上記対象物検出を行うための対象物検出モードとを切り換えて設定するモード切換え手段をさらに備え、
上記第1視差データは、上記モード切換え手段により上記視差データ記憶モードが設定されている場合において、上記ウィンドガラスに上記車両固定物が映り込む所定条件下で、上記両カメラにより当該映り込みを撮像することで得られる上記基準画像及び比較画像内の映り込み画像を基に設定されるデータであることを特徴とする車両用対象物検出装置。 - 請求項4記載の車両用対象物検出装置において、
上記モード切換え手段は、上記車両のイグニッションキースイッチを含んでいて、該キースイッチを所定操作することで上記両モードを切り換え可能に構成されていることを特徴とする車両用対象物検出装置。 - 請求項1乃至5のいずれか一項に記載の車両用対象物検出装置において、
上記基準カメラにより撮像された基準画像と、上記非対象物画像推定手段により推定された映り込み画像との差分画像を生成する差分画像生成手段をさらに備え、
上記対象物検出手段は、上記差分画像生成手段により生成された差分画像内の対象物画像を検出することで、上記車両外方の対象物検出を行うように構成されていることを特徴とする車両用対象物検出装置。 - 車両外方をウィンドガラスを通して撮像する基準カメラ及び比較カメラを備え、該基準カメラにより撮像された基準画像と、該比較カメラより撮像された比較画像との比較を基に該基準画像中に含まれる対象物の画像を非対象物画像とは識別して検出することで、該車両外方に存在する該対象物を検出する車両用対象物検出装置であって、
上記非対象物画像は、上記ウィンドガラスに付着した付着物が上記基準画像中に写し出されてなる付着物画像であり、
上記基準画像中に含まれる特徴点を検出する特徴点検出手段と、
上記ウィンドガラスを上記両カメラにより撮像した場合に、該各カメラから該ウィンドガラスまでの距離に応じて生じる、上記基準画像及び上記比較画像の互いに対応する画素間の視差量であるウィンド視差量を視差データとして記憶するウィンド視差データ記憶手段と、
上記特徴点検出手段により検出された特徴点が上記付着物画像の特徴点であるとした場合に、その対応点が存在すると予測される比較画像内の予測領域を、上記視差データを基に推定するとともに、該推定した予測領域内において当該特徴点の対応点を探索する対応点探索手段と、
上記基準画像中に含まれる上記特徴点のうち上記対応点探索手段による対応点探索によって対応点が見つかった特徴点を基に上記付着物画像を推定する非対象物画像推定手段と、
上記基準カメラにより撮像された上記基準画像と、上記非対象物画像推定手段により推定された付着物画像とを基に、該基準画像中に含まれる対象物画像を検出することで、上記車両外方の対象物検出を行う対象物検出手段と、を備えていることを特徴とする車両用対象物検出装置。 - 請求項7記載の車両用対象物検出装置において、
上記視差データは、上記基準画像内の各画素ごとに、又は該基準画像内を複数に分割した小領域ごとに上記ウィンド視差量を設定してなるデータであり、
上記対応点探索手段は、上記視差データを基に、上記特徴点検出手段により検出された上記基準画像中の特徴点に対応する上記ウィンド視差量を求めるとともに、上記比較画像中において、当該特徴点に対応するエピポーラ線上に位置するとともに該特徴点との間の視差量が該求めたウィンド視差量に一致する画素範囲を上記予測領域として推定するように構成されていることを特徴とする車両用対象物検出装置。 - 請求項7又は8記載の車両用対象物検出装置において、
上記基準カメラにより撮像された基準画像と、上記非対象物画像推定手段により推定された付着物画像との差分画像を生成する差分画像生成手段をさらに備え、
上記対象物検出手段は、上記差分画像生成手段により生成された差分画像内の対象物画像を検出することで、上記車両外方の対象物検出を行うように構成されていることを特徴とする車両用対象物検出装置。 - 請求項7乃至9のいずれか一項に記載の車両用対象物検出装置を備えた車両用運転支援システムであって、
上記付着物は、形状特性が異なる複数種類の付着物からなり、
上記付着物を除去するべく該付着物の種類に応じてそれぞれ設けられた付着物除去手段と、
上記付着物の種類に応じた形状画像をそれぞれテンプレート画像として記憶するテンプレート画像記憶手段と、
上記車両用対象物検出装置が有する非対象物画像推定手段により推定された付着物画像に対して、上記テンプレート画像を基に形状マッチング処理を実行することで、上記付着物の種類を判別する付着物種類判別手段と、
上記付着物種類判別手段により判別された付着物の種類に応じた付着物除去手段を作動させる作動制御手段と、を備えていることを特徴とする車両用運転支援システム。 - 請求項7に記載の車両用対象物検出装置において、
上記ウィンド視差量の視差データを上記ウィンド視差データ記憶手段に記憶させるための視差データ記憶モードと、上記対象物検出を行うための対象物検出モードとを切り換えて設定するモード切換え手段をさらに備え、
上記ウィンド視差データは、上記モード切換え手段により上記視差データ記憶モードが設定されている場合において、上記ウィンドガラスにテストパターンを貼り付けた状態で、上記両カメラにより当該テストパターンを撮像することで得られる上記基準画像及び比較画像内の画像を基に設定されるデータであることを特徴とする車両用対象物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008322762A JP5267101B2 (ja) | 2008-12-18 | 2008-12-18 | 車両用対象物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008322762A JP5267101B2 (ja) | 2008-12-18 | 2008-12-18 | 車両用対象物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010146284A true JP2010146284A (ja) | 2010-07-01 |
JP5267101B2 JP5267101B2 (ja) | 2013-08-21 |
Family
ID=42566664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008322762A Expired - Fee Related JP5267101B2 (ja) | 2008-12-18 | 2008-12-18 | 車両用対象物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5267101B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012201178A (ja) * | 2011-03-24 | 2012-10-22 | Fuji Heavy Ind Ltd | 車外監視装置 |
WO2014007286A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 状態認識システム及び状態認識方法 |
JP2014523716A (ja) * | 2011-07-05 | 2014-09-11 | オムロン株式会社 | 射影空間監視のための方法および装置 |
CN104590258A (zh) * | 2013-10-31 | 2015-05-06 | 富士重工业株式会社 | 车辆控制系统 |
JP2015139182A (ja) * | 2014-01-24 | 2015-07-30 | 株式会社日立国際電気 | テレビジョンカメラシステム |
JP2015190929A (ja) * | 2014-03-28 | 2015-11-02 | 富士重工業株式会社 | 車両における積雪検知システム |
US9600988B2 (en) | 2012-11-22 | 2017-03-21 | Fujitsu Limited | Image processing device and method for processing image |
US9956941B2 (en) | 2012-07-03 | 2018-05-01 | Clarion Co., Ltd. | On-board device controlling accumulation removing units |
JP2019050462A (ja) * | 2017-09-08 | 2019-03-28 | トヨタ自動車株式会社 | 映り込み判定装置及び撮影装置 |
WO2021075299A1 (ja) * | 2019-10-18 | 2021-04-22 | 株式会社小糸製作所 | 車両用灯具システム、異物判定装置および異物判定方法 |
WO2021095666A1 (ja) * | 2019-11-11 | 2021-05-20 | 株式会社小糸製作所 | 車両用灯具、車両用システム及びその車両用システムにおいて実行される方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09189533A (ja) * | 1996-01-11 | 1997-07-22 | Tokai Rika Co Ltd | 付着物センサ及び付着物感応ワイパ |
JP2000003434A (ja) * | 1998-06-15 | 2000-01-07 | Toshiba Corp | 画像処理装置及びその方法 |
JP2003296736A (ja) * | 2002-03-29 | 2003-10-17 | Toshiba Corp | 障害物検知装置及びその方法 |
WO2004106858A1 (ja) * | 2003-05-29 | 2004-12-09 | Olympus Corporation | ステレオカメラシステム及びステレオ光学モジュール |
JP2005301517A (ja) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2006259627A (ja) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置及び画像処理方法とそのプログラム |
-
2008
- 2008-12-18 JP JP2008322762A patent/JP5267101B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09189533A (ja) * | 1996-01-11 | 1997-07-22 | Tokai Rika Co Ltd | 付着物センサ及び付着物感応ワイパ |
JP2000003434A (ja) * | 1998-06-15 | 2000-01-07 | Toshiba Corp | 画像処理装置及びその方法 |
JP2003296736A (ja) * | 2002-03-29 | 2003-10-17 | Toshiba Corp | 障害物検知装置及びその方法 |
WO2004106858A1 (ja) * | 2003-05-29 | 2004-12-09 | Olympus Corporation | ステレオカメラシステム及びステレオ光学モジュール |
JP2005301517A (ja) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2006259627A (ja) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置及び画像処理方法とそのプログラム |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012201178A (ja) * | 2011-03-24 | 2012-10-22 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP2014523716A (ja) * | 2011-07-05 | 2014-09-11 | オムロン株式会社 | 射影空間監視のための方法および装置 |
US9542605B2 (en) | 2012-07-03 | 2017-01-10 | Clarion Co., Ltd. | State recognition system and state recognition method |
WO2014007286A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 状態認識システム及び状態認識方法 |
US9956941B2 (en) | 2012-07-03 | 2018-05-01 | Clarion Co., Ltd. | On-board device controlling accumulation removing units |
US9600988B2 (en) | 2012-11-22 | 2017-03-21 | Fujitsu Limited | Image processing device and method for processing image |
JP2015088048A (ja) * | 2013-10-31 | 2015-05-07 | 富士重工業株式会社 | 車両制御システム |
US9676333B2 (en) | 2013-10-31 | 2017-06-13 | Fuji Jukogyo Kabushiki Kaisha | Vehicle control system |
CN104590258A (zh) * | 2013-10-31 | 2015-05-06 | 富士重工业株式会社 | 车辆控制系统 |
JP2015139182A (ja) * | 2014-01-24 | 2015-07-30 | 株式会社日立国際電気 | テレビジョンカメラシステム |
JP2015190929A (ja) * | 2014-03-28 | 2015-11-02 | 富士重工業株式会社 | 車両における積雪検知システム |
JP2019050462A (ja) * | 2017-09-08 | 2019-03-28 | トヨタ自動車株式会社 | 映り込み判定装置及び撮影装置 |
US10559084B2 (en) | 2017-09-08 | 2020-02-11 | Toyota Jidosha Kabushiki Kaisha | Reflection determining apparatus |
WO2021075299A1 (ja) * | 2019-10-18 | 2021-04-22 | 株式会社小糸製作所 | 車両用灯具システム、異物判定装置および異物判定方法 |
JP7478747B2 (ja) | 2019-10-18 | 2024-05-07 | 株式会社小糸製作所 | 車両用灯具システム、異物判定装置および異物判定方法 |
WO2021095666A1 (ja) * | 2019-11-11 | 2021-05-20 | 株式会社小糸製作所 | 車両用灯具、車両用システム及びその車両用システムにおいて実行される方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5267101B2 (ja) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5267101B2 (ja) | 車両用対象物検出装置 | |
JP5022609B2 (ja) | 撮像環境認識装置 | |
US9902323B2 (en) | Periphery surveillance apparatus and program | |
JP5233583B2 (ja) | 車載用監視装置 | |
JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
WO2017068701A1 (ja) | 駐車スペース検出方法および装置 | |
EP1600909A2 (en) | Vehicle lane detector | |
JP6045889B2 (ja) | 車載用制御装置 | |
JP2008067086A (ja) | 車両検出装置、およびライト制御装置 | |
EP3036131B1 (en) | Imaging system and method with ego motion detection | |
JP2008250904A (ja) | 車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法 | |
EP3396938B1 (en) | Imaging device and method for determining foreign matter | |
JP2014104853A (ja) | 車載用制御装置 | |
JP5680436B2 (ja) | 車載カメラレンズ用異物付着判定装置 | |
JP5543938B2 (ja) | 車外監視装置 | |
JP5226641B2 (ja) | 車両用障害物検出装置 | |
JP2007293672A (ja) | 車両用撮影装置、車両用撮影装置の汚れ検出方法 | |
WO2016072300A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP4768499B2 (ja) | 車載周辺他車検出装置 | |
JP5723561B2 (ja) | 運転支援装置 | |
JP2019153932A (ja) | 汚れ報知装置 | |
US11100353B2 (en) | Apparatus of controlling region of interest of image and method for controlling the same | |
JP2013146029A (ja) | 車両周辺監視装置 | |
JP6875940B2 (ja) | 相互間距離算出装置 | |
WO2018074076A1 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111125 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130422 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5267101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |