JP2004173048A - 車載カメラシステム - Google Patents
車載カメラシステム Download PDFInfo
- Publication number
- JP2004173048A JP2004173048A JP2002337795A JP2002337795A JP2004173048A JP 2004173048 A JP2004173048 A JP 2004173048A JP 2002337795 A JP2002337795 A JP 2002337795A JP 2002337795 A JP2002337795 A JP 2002337795A JP 2004173048 A JP2004173048 A JP 2004173048A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- obstacle
- image
- reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】運転者に於ける表示装置に表示されたカメラ画像への注意を高めさせてカメラ画像の見忘れ・見落としを防止させることができる車載カメラシステムを提供する。
【解決手段】この車載カメラシステム1は、自車両に設置されたカメラ3a〜3cにより自車両周辺を撮像し、撮像した各カメラ画像を自車両に設置された表示装置5に表示するものであり、各カメラ3a〜3cのカメラ画像に障害物が映っているかの検出を行う画像認識部7a,7b,7cと、画像認識部7a〜7cにより障害物の映っている事が検出された際には、各カメラ3a〜3cのカメラ画像の中から、障害物の映っているカメラ画像を選択的に表示装置5に表示する表示制御部15とを備える。
【選択図】 図1
【解決手段】この車載カメラシステム1は、自車両に設置されたカメラ3a〜3cにより自車両周辺を撮像し、撮像した各カメラ画像を自車両に設置された表示装置5に表示するものであり、各カメラ3a〜3cのカメラ画像に障害物が映っているかの検出を行う画像認識部7a,7b,7cと、画像認識部7a〜7cにより障害物の映っている事が検出された際には、各カメラ3a〜3cのカメラ画像の中から、障害物の映っているカメラ画像を選択的に表示装置5に表示する表示制御部15とを備える。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、自車両に設置されたカメラにより自車両周辺を撮像し、撮像したカメラ画像を自車両に設置された表示装置に表示する車載カメラシステムに関する。
【0002】
【従来の技術】
近年、自車両に各種のカメラを設置し、それら各カメラにより自車両周辺を撮像し、撮像した各カメラ画像を自車両に設置した表示装置に表示する事で、運転者から直接見えない接近車両・障害物の確認や駐車時の後方確認を容易にする車載カメラシステムが提案されており、既に一部実用化されている。
【0003】
この種の車載カメラシステムでは、各種のカメラのカメラ画像は、車速やシフトポジション等の車両情報の組合せに応じて自動的に表示装置に表示される様になっており、自車両周辺に他車両等の障害物が無い場合でも、表示装置にカメラ画像が表示される様になっている(例えば特許文献1)。
【0004】
【特許文献1】
特開平9−83999号公報
【0005】
【発明が解決しようとする課題】
従来の車載カメラシステムでは、上述の通り、自車両周辺に障害物が無い場合でもカメラ画像が表示装置に表示されるため、運転者のカメラ画像への注意が弱まってカメラ画像の見忘れ・見落としを招く虞があるという欠点がある。
【0006】
そこで、この発明の課題は、表示装置に表示されたカメラ画像への注意を高めさせて表示装置に表示されたカメラ画像の見忘れ・見落としを防止できる車載カメラシステムを提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決するためには、請求項1に記載の発明は、自車両に設置された1つ以上のカメラにより自車両周辺の1つ以上の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示する車載カメラシステムであって、前記各カメラのカメラ画像に障害物が映っているかの検出を行う画像認識手段と、前記画像認識手段により障害物の映っている事が検出された際に、前記各カメラのカメラ画像の中から、前記障害物の映っているカメラ画像を選択的に前記表示装置に表示する表示制御手段と、を備えるものである。
【0008】
請求項2に記載の発明は、前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記1つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示するものである。
【0009】
請求項3に記載の発明は、更に自車両の走行地点を検出する自車位置検出手段を備え、前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記1つ以上のカメラの中でその際に前記自車両検出手段により検出される自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示するものである。
【0010】
請求項4に記載の発明は、更に操作部を備え、前記表示制御手段は、前記表示装置に前記障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から前記操作部の操作により選択されたカメラ画像だけを排他的に表示するものである。
【0011】
請求項5に記載の発明は、前記画像認識手段は、前記障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び/又は自車両までの距離を検出し、前記表示制御手段は、前記障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に前記画像認識手段により検出されたその障害物の自車両への接近速度及び/又は自車両までの距離に応じて前記強調の程度を変える様に画像処理を施して前記表示装置に表示するものである。
【0012】
【発明の実施の形態】
図1は本発明の実施の形態に係る車載カメラシステムの構成概略図、図2は図1の車載カメラシステムの各カメラの撮像方向の一例を示す図である。
【0013】
この実施の形態に係る車載カメラシステム1は、自車両に設置された1つ以上(ここでは3つ)のカメラにより自車両周辺の1つ以上(ここでは3つ)の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示するものであり、図1及び図2に示す如く、上記3つのカメラ3a,3b,3cと、上記表示装置5と、それぞれ各カメラ3a,3b,3cのカメラ画像に障害物が映っているかの検出を行う画像検出部(画像認識手段)7a,7b,7cと、表示装置5の表示画像を手動切換する為の操作部9と、自車両11の走行地点を検出する自車位置検出装置(ここではナビゲーション装置:自車位置検出手段)13と、各要素7a〜7b,9,13等の検出結果及び操作内容に応じて各カメラ3a,3b,3cのカメラ画像を選択的に表示装置5に表示する表示制御部(表示制御手段)15とを備える。
【0014】
ここでは、上記カメラ3a〜3cとして、例えば、右側方カメラ3a、左側方カメラ3b及び後方カメラ3cが設置される。右側方カメラ3a(左側方カメラ3b)は、自車両11の前部右側(左側)に設置されて自車両11の右側方範囲Sa(左側方範囲Sb)を撮像する。後方カメラ3cは、自車両11の後部に設置されて自車両11の後方範囲Scを撮像する。各カメラ3a,3b,3cは、車載カメラシステム1の作動中は常時その撮像方向の範囲Sa,Sb,Scを撮像する。
【0015】
画像認識部7a(7b,7c)は、カメラ3a(3b,3c)のカメラ画像に対して画像認識を行って常時そのカメラ3a(3b,3c)のカメラ画像に障害物が映っているかの検出を行うと共に、障害物が映っている事を検出した際には、その障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び/又は自車両までの距離の検出を行う。
【0016】
詳細には例えば、画像認識部7a(7b,7c)は、フレーム間差分を求めることでカメラ3a(3b,3c)のカメラ画像中の各画素の速度ベクトルを求めて、これら速度ベクトルに基づいて移動体(即ち障害物)の検出を行う所謂オプティカルフロー(Optical flow)の画像認識技術を用いる。即ち、カメラ画像中に於ける自車両の車速と異なる速度の速度ベクトルであって互いに同じ速度ベクトルを有する一塊りの画像領域を1つの障害物と見なし、カメラ画像中にその様な画像領域が有るかに応じて障害物が映っているかの検出を行い、障害物が映っている事を検出した際は更に、当該画像領域の速度ベクトルに基づき障害物の自車両への接近速度を検出すると共に、当該画像領域の大きさを所定の基準値と比較することで障害物の自車両までの距離を検出する。
【0017】
表示制御部15は、画像認識部7a〜7cにより障害物の映っている事が検出された際には、各カメラ3a〜3cのカメラ画像の中から、障害物の映っているカメラ画像を選択的に表示装置5に表示する。より詳細には例えば、表示制御部15は、画像認識部7a〜7cにより障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、上記3つのカメラ3a〜3cの中でその際に自車両11から得られる車両情報(車速、シフトポジション等)の組み合わせに応じて予め表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に表示装置5に表示する。尚、表示装置5に障害物の映っているカメラ画像を複数表示する場合は、例えばマルチウインド表示する。又、全てのカメラ3a〜3cのカメラ画像に障害物が映っている事が検出されない場合、又は、検出されても表示候補に該当せず表示されない場合は、全てのカメラ3a〜3cのカメラ画像をマルチウインドウ表示する様にしてもよく、又は全てのカメラ3a〜3cのカメラ画像を非表示にする様にしてもよく、又はナビゲーション画像やテレビ画像等のカメラ画像以外の画像を表示装置5に表示する様にしてもよい。
【0018】
ここでは例えば、車両情報の組合せが、▲1▼シフトポジションがドライブで且つ車速が低速以下の場合には、左側方カメラ3bのカメラ画像及び右側方カメラ3aのカメラ画像が表示候補として指定されており、▲2▼シフトポジションがバックの場合には、後方カメラ3cのカメラ画像が表示候補として指定されており、上記▲1▼▲2▼以外の車両情報の組合せの場合には、表示候補となるカメラは指定されていない(即ちカメラ画像は全く表示されない)。
【0019】
この表示候補の指定の下で例えば、左側方カメラ3bのカメラ画像に障害物が映っている事が検出された際に於いて、その際の車両情報の組合せが上記▲1▼の組合せであれば、その障害物の映っている左側方カメラ3bのカメラ画像は、その際の車両情報の組合せに於いて表示候補として指定されているカメラ3a,3bのカメラ画像に該当するので表示装置5に表示されるが、その際の車両情報の組合せが上記▲1▼以外の組合せであれば、その際の車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像に該当しないので表示装置5に表示されない。
【0020】
又、表示制御部15は、障害物の映っているカメラ画像を表示装置5に表示する際には、その障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に画像認識部7a〜7cにより検出されたその障害物の自車両11への接近速度及び/又は自車両11までの距離に応じて上記強調の程度を変える様に(即ち自車両11への接近速度が速い程、又、自車両11までの距離が近い程、上記強調の程度を強くする様に)画像処理を施して表示装置5に表示する。
【0021】
上記の強調の仕方としては例えば、障害物の映っている部分の周縁又はカメラ画像全体の周縁に枠画像を重畳して強調し、その枠画像の色を変えることで、その強調の程度を変える。又は、障害物の映っている部分の輝度を他の部分の輝度より高くして強調し、その輝度を高くする程度を変えることで、その強調の程度を変える。又は、障害物の映っている部分又はカメラ画像全体を点滅表示させて強調し、その点滅速度を変えることで、その強調の程度を変える。
【0022】
又、表示制御部15は、表示装置5に障害物の映っているカメラ画像であって或る車両情報の組合せに於ける表示候補に該当したカメラ画像を2つ以上表示した場合に於いて、操作部9の操作によりそれら2つ以上のカメラ画像の中から一のカメラ画像が選択された際には、選択されなかった他のカメラ画像を非表示にして、選択されたカメラ画像だけを例えば全画面表示で表示する。そして、表示制御部15は、操作部9の操作によりそれら2つ以上のカメラ画像の中から一のカメラ画像が選択される事に応じて自動的に、その選択がなされた際にナビゲーション装置13により検出された自車両11の走行地点に於ける上記或る車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像を、その選択されたカメラ画像を撮像するカメラのカメラ画像に変更する。これにより、表示候補となるカメラのカメラ画像が自車両11の走行地点に応じても指定される様になる。
【0023】
具体的には例えば、上記▲1▼の車両情報の組合せ(シフトポジションがドライブで且つ車速が低速以下)の下で、例えば左側方カメラ3b及び右側方カメラ3aの双方のカメラ画像に障害物が映っている事が検出されて、それらのカメラ画像が表示装置5に表示された際に於いて、操作部9の操作により左側方カメラ3bのカメラ画像が選択された際には、右側方カメラ3aのカメラ画像が非表示にされて左側方カメラ3bのカメラ画像だけの表示にされると共に、その左側方カメラ3bのカメラ画像が選択された際にナビゲーション装置13により検出された自車両11の走行地点Aに於ける上記▲1▼の車両情報の組合せに於いて表示候補として指定されているカメラ3a,3bのカメラ画像を、その選択されたカメラ画像を撮像する左側方カメラ3bのカメラ画像に変更する。これにより、以降は、自車両11が上記▲1▼の車両情報の組合せで走行地点Aを通過する際に於いて、例えば左側方カメラ3b及び右側方カメラ3aの双方のカメラ画像に障害物が映っている事を検出した際には、表示装置5には左側方カメラ3bのカメラ画像だけが表示される様になる。
【0024】
以上のように構成された車載カメラシステム1によれば、各カメラ3a〜3cのカメラ画像に障害物が映っているかの検出が行われ、障害物の映っている事が検出された際には、各カメラ3a〜3cのカメラ画像の中から、その障害物の映っているカメラ画像が選択的に表示装置5に表示されるため、障害物の映っている事が検出された際にはその障害物の映っているカメラ画像だけが表示される様になり、これにより表示装置5に表示されたカメラ画像への注意を高めることができて、表示装置5に表示されたカメラ画像の見忘れ・見落としを防止できる。
【0025】
又、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像がカメラ3a〜3cの中でその際に自車両11から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置5に表示されるため、各車両情報の組み合わせに応じて適切なカメラ画像だけを表示装置5に表示できる。
【0026】
又、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像がカメラ3a〜3cの中でその際の自車両11の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置5に表示されるため、自車両11の走行地点に応じて適切なカメラ画像だけを表示装置5に表示できる。
【0027】
又、表示装置5に障害物の映っているカメラ画像であって或る車両情報の組合せに於ける表示候補に該当されたカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から操作部9の操作により選択されたカメラ画像だけが排他的に表示されるため、複数のカメラ画像が表示された場合に所望のカメラ画像だけの表示にでき、所望のカメラ画像に集中できる様にできる。
【0028】
そして、操作部9の操作により表示装置5に表示されたそれら複数のカメラ画像の中から一のカメラ画像が選択される事に応じて自動的に、その選択がされた際の自車両11の走行地点に於ける上記或る車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像が、その選択されたカメラ画像を撮像するカメラのカメラ画像に変更されるため、次からは走行地点に応じて自動的に所望のカメラ画像が選択されて表示される様にできる。
【0029】
又、障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体が強調されると共にその障害物の自車両11への接近速度及び/又は自車両11までの距離に応じて上記強調の程度が変わる様に画像処理が施されて表示装置5に表示されるため、上記強調により運転者に障害物の接近状況を瞬時に把握させる事ができ、特に、障害物の映っている部分が強調された場合は、運転者に瞬時にカメラ画像の中のどこに障害物が映っているかを把握させる事ができる。
【0030】
【発明の効果】
請求項1に記載の発明によれば、各カメラのカメラ画像に障害物が映っているかの検出が行われ、障害物の映っている事が検出された際には、各カメラのカメラ画像の中から、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、障害物の映っている事が検出された際にはその障害物の映っているカメラ画像だけが表示される様になり、これにより表示装置に表示されたカメラ画像への注意を高めることができて、表示装置に表示されたカメラ画像の見忘れ・見落としを防止できる。
【0031】
請求項2に記載の発明によれば、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が前記1つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、各車両情報の組み合わせに応じて適切なカメラ画像だけを表示装置に表示できる。
【0032】
請求項3に記載の発明によれば、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が前記1つ以上のカメラの中でその際の自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、自車両の走行地点に応じて適切なカメラ画像だけを表示装置に表示できる。
【0033】
請求項4に記載の発明によれば、表示装置に障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から操作部の操作により選択されたカメラ画像だけが排他的に表示されるため、複数のカメラ画像が表示された場合に所望のカメラ画像だけの表示にでき、所望のカメラ画像に集中できる様にできる。
【0034】
請求項5に記載の発明によれば、障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体が強調されると共にその障害物の自車両への接近速度及び/又は自車両までの距離に応じて前記強調の程度が変わる様に画像処理が施されて表示装置に表示されるため、その強調により運転者に障害物の接近状況を瞬時に把握させる事ができ、特に、障害物の映っている部分が強調された場合は、運転者に瞬時にカメラ画像の中のどこに障害物が映っているかを把握させる事ができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る車載カメラシステムの構成概略図である。
【図2】図1の車載カメラシステムの各カメラの撮像方向を説明する図である。
【符号の説明】
1 車載カメラシステム
3a,3b,3c カメラ
5 表示装置
7a,7b,7c 画像認識部
9 操作部
11 自車両
13 ナビゲーション装置
15 表示制御部
【発明の属する技術分野】
本発明は、自車両に設置されたカメラにより自車両周辺を撮像し、撮像したカメラ画像を自車両に設置された表示装置に表示する車載カメラシステムに関する。
【0002】
【従来の技術】
近年、自車両に各種のカメラを設置し、それら各カメラにより自車両周辺を撮像し、撮像した各カメラ画像を自車両に設置した表示装置に表示する事で、運転者から直接見えない接近車両・障害物の確認や駐車時の後方確認を容易にする車載カメラシステムが提案されており、既に一部実用化されている。
【0003】
この種の車載カメラシステムでは、各種のカメラのカメラ画像は、車速やシフトポジション等の車両情報の組合せに応じて自動的に表示装置に表示される様になっており、自車両周辺に他車両等の障害物が無い場合でも、表示装置にカメラ画像が表示される様になっている(例えば特許文献1)。
【0004】
【特許文献1】
特開平9−83999号公報
【0005】
【発明が解決しようとする課題】
従来の車載カメラシステムでは、上述の通り、自車両周辺に障害物が無い場合でもカメラ画像が表示装置に表示されるため、運転者のカメラ画像への注意が弱まってカメラ画像の見忘れ・見落としを招く虞があるという欠点がある。
【0006】
そこで、この発明の課題は、表示装置に表示されたカメラ画像への注意を高めさせて表示装置に表示されたカメラ画像の見忘れ・見落としを防止できる車載カメラシステムを提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決するためには、請求項1に記載の発明は、自車両に設置された1つ以上のカメラにより自車両周辺の1つ以上の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示する車載カメラシステムであって、前記各カメラのカメラ画像に障害物が映っているかの検出を行う画像認識手段と、前記画像認識手段により障害物の映っている事が検出された際に、前記各カメラのカメラ画像の中から、前記障害物の映っているカメラ画像を選択的に前記表示装置に表示する表示制御手段と、を備えるものである。
【0008】
請求項2に記載の発明は、前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記1つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示するものである。
【0009】
請求項3に記載の発明は、更に自車両の走行地点を検出する自車位置検出手段を備え、前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記1つ以上のカメラの中でその際に前記自車両検出手段により検出される自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示するものである。
【0010】
請求項4に記載の発明は、更に操作部を備え、前記表示制御手段は、前記表示装置に前記障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から前記操作部の操作により選択されたカメラ画像だけを排他的に表示するものである。
【0011】
請求項5に記載の発明は、前記画像認識手段は、前記障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び/又は自車両までの距離を検出し、前記表示制御手段は、前記障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に前記画像認識手段により検出されたその障害物の自車両への接近速度及び/又は自車両までの距離に応じて前記強調の程度を変える様に画像処理を施して前記表示装置に表示するものである。
【0012】
【発明の実施の形態】
図1は本発明の実施の形態に係る車載カメラシステムの構成概略図、図2は図1の車載カメラシステムの各カメラの撮像方向の一例を示す図である。
【0013】
この実施の形態に係る車載カメラシステム1は、自車両に設置された1つ以上(ここでは3つ)のカメラにより自車両周辺の1つ以上(ここでは3つ)の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示するものであり、図1及び図2に示す如く、上記3つのカメラ3a,3b,3cと、上記表示装置5と、それぞれ各カメラ3a,3b,3cのカメラ画像に障害物が映っているかの検出を行う画像検出部(画像認識手段)7a,7b,7cと、表示装置5の表示画像を手動切換する為の操作部9と、自車両11の走行地点を検出する自車位置検出装置(ここではナビゲーション装置:自車位置検出手段)13と、各要素7a〜7b,9,13等の検出結果及び操作内容に応じて各カメラ3a,3b,3cのカメラ画像を選択的に表示装置5に表示する表示制御部(表示制御手段)15とを備える。
【0014】
ここでは、上記カメラ3a〜3cとして、例えば、右側方カメラ3a、左側方カメラ3b及び後方カメラ3cが設置される。右側方カメラ3a(左側方カメラ3b)は、自車両11の前部右側(左側)に設置されて自車両11の右側方範囲Sa(左側方範囲Sb)を撮像する。後方カメラ3cは、自車両11の後部に設置されて自車両11の後方範囲Scを撮像する。各カメラ3a,3b,3cは、車載カメラシステム1の作動中は常時その撮像方向の範囲Sa,Sb,Scを撮像する。
【0015】
画像認識部7a(7b,7c)は、カメラ3a(3b,3c)のカメラ画像に対して画像認識を行って常時そのカメラ3a(3b,3c)のカメラ画像に障害物が映っているかの検出を行うと共に、障害物が映っている事を検出した際には、その障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び/又は自車両までの距離の検出を行う。
【0016】
詳細には例えば、画像認識部7a(7b,7c)は、フレーム間差分を求めることでカメラ3a(3b,3c)のカメラ画像中の各画素の速度ベクトルを求めて、これら速度ベクトルに基づいて移動体(即ち障害物)の検出を行う所謂オプティカルフロー(Optical flow)の画像認識技術を用いる。即ち、カメラ画像中に於ける自車両の車速と異なる速度の速度ベクトルであって互いに同じ速度ベクトルを有する一塊りの画像領域を1つの障害物と見なし、カメラ画像中にその様な画像領域が有るかに応じて障害物が映っているかの検出を行い、障害物が映っている事を検出した際は更に、当該画像領域の速度ベクトルに基づき障害物の自車両への接近速度を検出すると共に、当該画像領域の大きさを所定の基準値と比較することで障害物の自車両までの距離を検出する。
【0017】
表示制御部15は、画像認識部7a〜7cにより障害物の映っている事が検出された際には、各カメラ3a〜3cのカメラ画像の中から、障害物の映っているカメラ画像を選択的に表示装置5に表示する。より詳細には例えば、表示制御部15は、画像認識部7a〜7cにより障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、上記3つのカメラ3a〜3cの中でその際に自車両11から得られる車両情報(車速、シフトポジション等)の組み合わせに応じて予め表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に表示装置5に表示する。尚、表示装置5に障害物の映っているカメラ画像を複数表示する場合は、例えばマルチウインド表示する。又、全てのカメラ3a〜3cのカメラ画像に障害物が映っている事が検出されない場合、又は、検出されても表示候補に該当せず表示されない場合は、全てのカメラ3a〜3cのカメラ画像をマルチウインドウ表示する様にしてもよく、又は全てのカメラ3a〜3cのカメラ画像を非表示にする様にしてもよく、又はナビゲーション画像やテレビ画像等のカメラ画像以外の画像を表示装置5に表示する様にしてもよい。
【0018】
ここでは例えば、車両情報の組合せが、▲1▼シフトポジションがドライブで且つ車速が低速以下の場合には、左側方カメラ3bのカメラ画像及び右側方カメラ3aのカメラ画像が表示候補として指定されており、▲2▼シフトポジションがバックの場合には、後方カメラ3cのカメラ画像が表示候補として指定されており、上記▲1▼▲2▼以外の車両情報の組合せの場合には、表示候補となるカメラは指定されていない(即ちカメラ画像は全く表示されない)。
【0019】
この表示候補の指定の下で例えば、左側方カメラ3bのカメラ画像に障害物が映っている事が検出された際に於いて、その際の車両情報の組合せが上記▲1▼の組合せであれば、その障害物の映っている左側方カメラ3bのカメラ画像は、その際の車両情報の組合せに於いて表示候補として指定されているカメラ3a,3bのカメラ画像に該当するので表示装置5に表示されるが、その際の車両情報の組合せが上記▲1▼以外の組合せであれば、その際の車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像に該当しないので表示装置5に表示されない。
【0020】
又、表示制御部15は、障害物の映っているカメラ画像を表示装置5に表示する際には、その障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に画像認識部7a〜7cにより検出されたその障害物の自車両11への接近速度及び/又は自車両11までの距離に応じて上記強調の程度を変える様に(即ち自車両11への接近速度が速い程、又、自車両11までの距離が近い程、上記強調の程度を強くする様に)画像処理を施して表示装置5に表示する。
【0021】
上記の強調の仕方としては例えば、障害物の映っている部分の周縁又はカメラ画像全体の周縁に枠画像を重畳して強調し、その枠画像の色を変えることで、その強調の程度を変える。又は、障害物の映っている部分の輝度を他の部分の輝度より高くして強調し、その輝度を高くする程度を変えることで、その強調の程度を変える。又は、障害物の映っている部分又はカメラ画像全体を点滅表示させて強調し、その点滅速度を変えることで、その強調の程度を変える。
【0022】
又、表示制御部15は、表示装置5に障害物の映っているカメラ画像であって或る車両情報の組合せに於ける表示候補に該当したカメラ画像を2つ以上表示した場合に於いて、操作部9の操作によりそれら2つ以上のカメラ画像の中から一のカメラ画像が選択された際には、選択されなかった他のカメラ画像を非表示にして、選択されたカメラ画像だけを例えば全画面表示で表示する。そして、表示制御部15は、操作部9の操作によりそれら2つ以上のカメラ画像の中から一のカメラ画像が選択される事に応じて自動的に、その選択がなされた際にナビゲーション装置13により検出された自車両11の走行地点に於ける上記或る車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像を、その選択されたカメラ画像を撮像するカメラのカメラ画像に変更する。これにより、表示候補となるカメラのカメラ画像が自車両11の走行地点に応じても指定される様になる。
【0023】
具体的には例えば、上記▲1▼の車両情報の組合せ(シフトポジションがドライブで且つ車速が低速以下)の下で、例えば左側方カメラ3b及び右側方カメラ3aの双方のカメラ画像に障害物が映っている事が検出されて、それらのカメラ画像が表示装置5に表示された際に於いて、操作部9の操作により左側方カメラ3bのカメラ画像が選択された際には、右側方カメラ3aのカメラ画像が非表示にされて左側方カメラ3bのカメラ画像だけの表示にされると共に、その左側方カメラ3bのカメラ画像が選択された際にナビゲーション装置13により検出された自車両11の走行地点Aに於ける上記▲1▼の車両情報の組合せに於いて表示候補として指定されているカメラ3a,3bのカメラ画像を、その選択されたカメラ画像を撮像する左側方カメラ3bのカメラ画像に変更する。これにより、以降は、自車両11が上記▲1▼の車両情報の組合せで走行地点Aを通過する際に於いて、例えば左側方カメラ3b及び右側方カメラ3aの双方のカメラ画像に障害物が映っている事を検出した際には、表示装置5には左側方カメラ3bのカメラ画像だけが表示される様になる。
【0024】
以上のように構成された車載カメラシステム1によれば、各カメラ3a〜3cのカメラ画像に障害物が映っているかの検出が行われ、障害物の映っている事が検出された際には、各カメラ3a〜3cのカメラ画像の中から、その障害物の映っているカメラ画像が選択的に表示装置5に表示されるため、障害物の映っている事が検出された際にはその障害物の映っているカメラ画像だけが表示される様になり、これにより表示装置5に表示されたカメラ画像への注意を高めることができて、表示装置5に表示されたカメラ画像の見忘れ・見落としを防止できる。
【0025】
又、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像がカメラ3a〜3cの中でその際に自車両11から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置5に表示されるため、各車両情報の組み合わせに応じて適切なカメラ画像だけを表示装置5に表示できる。
【0026】
又、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像がカメラ3a〜3cの中でその際の自車両11の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置5に表示されるため、自車両11の走行地点に応じて適切なカメラ画像だけを表示装置5に表示できる。
【0027】
又、表示装置5に障害物の映っているカメラ画像であって或る車両情報の組合せに於ける表示候補に該当されたカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から操作部9の操作により選択されたカメラ画像だけが排他的に表示されるため、複数のカメラ画像が表示された場合に所望のカメラ画像だけの表示にでき、所望のカメラ画像に集中できる様にできる。
【0028】
そして、操作部9の操作により表示装置5に表示されたそれら複数のカメラ画像の中から一のカメラ画像が選択される事に応じて自動的に、その選択がされた際の自車両11の走行地点に於ける上記或る車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像が、その選択されたカメラ画像を撮像するカメラのカメラ画像に変更されるため、次からは走行地点に応じて自動的に所望のカメラ画像が選択されて表示される様にできる。
【0029】
又、障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体が強調されると共にその障害物の自車両11への接近速度及び/又は自車両11までの距離に応じて上記強調の程度が変わる様に画像処理が施されて表示装置5に表示されるため、上記強調により運転者に障害物の接近状況を瞬時に把握させる事ができ、特に、障害物の映っている部分が強調された場合は、運転者に瞬時にカメラ画像の中のどこに障害物が映っているかを把握させる事ができる。
【0030】
【発明の効果】
請求項1に記載の発明によれば、各カメラのカメラ画像に障害物が映っているかの検出が行われ、障害物の映っている事が検出された際には、各カメラのカメラ画像の中から、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、障害物の映っている事が検出された際にはその障害物の映っているカメラ画像だけが表示される様になり、これにより表示装置に表示されたカメラ画像への注意を高めることができて、表示装置に表示されたカメラ画像の見忘れ・見落としを防止できる。
【0031】
請求項2に記載の発明によれば、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が前記1つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、各車両情報の組み合わせに応じて適切なカメラ画像だけを表示装置に表示できる。
【0032】
請求項3に記載の発明によれば、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が前記1つ以上のカメラの中でその際の自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、自車両の走行地点に応じて適切なカメラ画像だけを表示装置に表示できる。
【0033】
請求項4に記載の発明によれば、表示装置に障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から操作部の操作により選択されたカメラ画像だけが排他的に表示されるため、複数のカメラ画像が表示された場合に所望のカメラ画像だけの表示にでき、所望のカメラ画像に集中できる様にできる。
【0034】
請求項5に記載の発明によれば、障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体が強調されると共にその障害物の自車両への接近速度及び/又は自車両までの距離に応じて前記強調の程度が変わる様に画像処理が施されて表示装置に表示されるため、その強調により運転者に障害物の接近状況を瞬時に把握させる事ができ、特に、障害物の映っている部分が強調された場合は、運転者に瞬時にカメラ画像の中のどこに障害物が映っているかを把握させる事ができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る車載カメラシステムの構成概略図である。
【図2】図1の車載カメラシステムの各カメラの撮像方向を説明する図である。
【符号の説明】
1 車載カメラシステム
3a,3b,3c カメラ
5 表示装置
7a,7b,7c 画像認識部
9 操作部
11 自車両
13 ナビゲーション装置
15 表示制御部
Claims (5)
- 自車両に設置された1つ以上のカメラにより自車両周辺の1つ以上の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示する車載カメラシステムであって、
前記各カメラのカメラ画像に障害物が映っているかの検出を行う画像認識手段と、
前記画像認識手段により障害物の映っている事が検出された際に、前記各カメラのカメラ画像の中から、前記障害物の映っているカメラ画像を選択的に前記表示装置に表示する表示制御手段と、
を備えることを特徴とする車載カメラシステム。 - 前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記1つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示することを特徴とする請求項1に記載の車載カメラシステム。
- 更に自車両の走行地点を検出する自車位置検出手段を備え、
前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記1つ以上のカメラの中でその際に前記自車両検出手段により検出される自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示することを特徴とする請求項1又は請求項2に記載の車載カメラシステム。 - 更に操作部を備え、
前記表示制御手段は、前記表示装置に前記障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から前記操作部の操作により選択されたカメラ画像だけを排他的に表示することを特徴とする請求項1乃至請求項3の何れかに記載の車載カメラシステム。 - 前記画像認識手段は、前記障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び/又は自車両までの距離を検出し、
前記表示制御手段は、前記障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に前記画像認識手段により検出されたその障害物の自車両への接近速度及び/又は自車両までの距離に応じて前記強調の程度を変える様に画像処理を施して前記表示装置に表示することを特徴とする請求項1乃至請求項4の何れかに記載の車載カメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002337795A JP2004173048A (ja) | 2002-11-21 | 2002-11-21 | 車載カメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002337795A JP2004173048A (ja) | 2002-11-21 | 2002-11-21 | 車載カメラシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004173048A true JP2004173048A (ja) | 2004-06-17 |
Family
ID=32701201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002337795A Pending JP2004173048A (ja) | 2002-11-21 | 2002-11-21 | 車載カメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004173048A (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048451A (ja) * | 2004-08-05 | 2006-02-16 | Toshiba Corp | 周辺監視装置および俯瞰画像表示方法 |
WO2006046382A1 (ja) * | 2004-10-28 | 2006-05-04 | Aisin Seiki Kabushiki Kaisha | 移動体周辺監視装置 |
JP2007109049A (ja) * | 2005-10-14 | 2007-04-26 | Auto Network Gijutsu Kenkyusho:Kk | 車載カメラシステム |
JP2007288328A (ja) * | 2006-04-13 | 2007-11-01 | Denso Corp | 周辺画像表示装置 |
JP2007304712A (ja) * | 2006-05-09 | 2007-11-22 | Denso Corp | 運転支援装置 |
EP1870853A2 (en) | 2006-06-20 | 2007-12-26 | Nissan Motor Co., Ltd. | Vehicle surroundings display unit and a method of displaying vehicle surroundings |
JP2008068675A (ja) * | 2006-09-12 | 2008-03-27 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2008141622A (ja) * | 2006-12-04 | 2008-06-19 | Fujitsu Ten Ltd | 車両周辺情報表示装置 |
WO2008099918A1 (ja) * | 2007-02-16 | 2008-08-21 | Autonetworks Technologies, Ltd. | 車載映像通信システム及び車載撮像システム |
JP2009135663A (ja) * | 2007-11-29 | 2009-06-18 | Clarion Co Ltd | 車両周辺監視システム |
JP2009166624A (ja) * | 2008-01-15 | 2009-07-30 | Nissan Motor Co Ltd | 車両用後方監視装置および車両後方監視方法 |
WO2011058822A1 (ja) * | 2009-11-12 | 2011-05-19 | クラリオン株式会社 | 車両周囲表示装置、車両周囲表示方法 |
JP2012063918A (ja) * | 2010-09-15 | 2012-03-29 | Toyota Motor Corp | 車両用周囲画像表示装置及び方法 |
JP2012138828A (ja) * | 2010-12-27 | 2012-07-19 | Toyota Motor Corp | 画像提供装置 |
KR101316433B1 (ko) * | 2011-09-14 | 2013-10-08 | 현대자동차주식회사 | 차량 주변정보 제공 시스템 및 그 방법 |
JP2014229066A (ja) * | 2013-05-22 | 2014-12-08 | 株式会社デンソー | 車両用の映像制御装置 |
JP2015133691A (ja) * | 2013-12-13 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 撮像装置、画像処理装置、撮像方法および記録媒体 |
-
2002
- 2002-11-21 JP JP2002337795A patent/JP2004173048A/ja active Pending
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4744823B2 (ja) * | 2004-08-05 | 2011-08-10 | 株式会社東芝 | 周辺監視装置および俯瞰画像表示方法 |
JP2006048451A (ja) * | 2004-08-05 | 2006-02-16 | Toshiba Corp | 周辺監視装置および俯瞰画像表示方法 |
WO2006046382A1 (ja) * | 2004-10-28 | 2006-05-04 | Aisin Seiki Kabushiki Kaisha | 移動体周辺監視装置 |
JP2006123670A (ja) * | 2004-10-28 | 2006-05-18 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
EP1810882A1 (en) * | 2004-10-28 | 2007-07-25 | Aisin Seiki Kabushiki Kaisha | Device for monitoring a space around a mobile body |
EP1810882A4 (en) * | 2004-10-28 | 2007-10-17 | Aisin Seiki | DEVICE FOR MONITORING A ROUGH AROUND A MOVABLE BODY |
JP2007109049A (ja) * | 2005-10-14 | 2007-04-26 | Auto Network Gijutsu Kenkyusho:Kk | 車載カメラシステム |
JP2007288328A (ja) * | 2006-04-13 | 2007-11-01 | Denso Corp | 周辺画像表示装置 |
JP4715604B2 (ja) * | 2006-04-13 | 2011-07-06 | 株式会社デンソー | 周辺画像表示装置 |
JP2007304712A (ja) * | 2006-05-09 | 2007-11-22 | Denso Corp | 運転支援装置 |
JP2008004989A (ja) * | 2006-06-20 | 2008-01-10 | Nissan Motor Co Ltd | 車両周囲表示装置 |
US7652559B2 (en) | 2006-06-20 | 2010-01-26 | Nissan Motor Co., Ltd. | Vehicle surroundings display unit and a method of displaying vehicle surroundings |
EP1870853A2 (en) | 2006-06-20 | 2007-12-26 | Nissan Motor Co., Ltd. | Vehicle surroundings display unit and a method of displaying vehicle surroundings |
JP2008068675A (ja) * | 2006-09-12 | 2008-03-27 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2008141622A (ja) * | 2006-12-04 | 2008-06-19 | Fujitsu Ten Ltd | 車両周辺情報表示装置 |
US8350886B2 (en) | 2007-02-16 | 2013-01-08 | Autonetworks Technologies, Ltd. | Vehicle-mounted video communication system and vehicle-mounted image pickup system |
WO2008099918A1 (ja) * | 2007-02-16 | 2008-08-21 | Autonetworks Technologies, Ltd. | 車載映像通信システム及び車載撮像システム |
JP2009135663A (ja) * | 2007-11-29 | 2009-06-18 | Clarion Co Ltd | 車両周辺監視システム |
JP2009166624A (ja) * | 2008-01-15 | 2009-07-30 | Nissan Motor Co Ltd | 車両用後方監視装置および車両後方監視方法 |
WO2011058822A1 (ja) * | 2009-11-12 | 2011-05-19 | クラリオン株式会社 | 車両周囲表示装置、車両周囲表示方法 |
JP2012063918A (ja) * | 2010-09-15 | 2012-03-29 | Toyota Motor Corp | 車両用周囲画像表示装置及び方法 |
US9123179B2 (en) | 2010-09-15 | 2015-09-01 | Toyota Jidosha Kabushiki Kaisha | Surrounding image display system and surrounding image display method for vehicle |
JP2012138828A (ja) * | 2010-12-27 | 2012-07-19 | Toyota Motor Corp | 画像提供装置 |
KR101316433B1 (ko) * | 2011-09-14 | 2013-10-08 | 현대자동차주식회사 | 차량 주변정보 제공 시스템 및 그 방법 |
US8836781B2 (en) | 2011-09-14 | 2014-09-16 | Hyundai Motor Company | System and method of providing surrounding information of vehicle |
JP2014229066A (ja) * | 2013-05-22 | 2014-12-08 | 株式会社デンソー | 車両用の映像制御装置 |
JP2015133691A (ja) * | 2013-12-13 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 撮像装置、画像処理装置、撮像方法および記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10528825B2 (en) | Information processing device, approaching object notification method, and program | |
JP2004173048A (ja) | 車載カメラシステム | |
US20110228980A1 (en) | Control apparatus and vehicle surrounding monitoring apparatus | |
US20070206835A1 (en) | Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same | |
US11532233B2 (en) | Vehicle vision system with cross traffic detection | |
CN109415018B (zh) | 用于数字后视镜的方法和控制单元 | |
JP2010130646A (ja) | 車両周辺確認装置 | |
JP2006341641A (ja) | 映像表示装置及び映像表示方法 | |
US10974649B2 (en) | Vehicular parking assist system using backup camera | |
JP2002019556A (ja) | 監視システム | |
JP5136071B2 (ja) | 車両用後方監視装置および車両後方監視方法 | |
JP2004254219A (ja) | 車両周辺画像処理装置及びプログラム並びに記録媒体 | |
JP4228212B2 (ja) | ノーズビューモニタ装置 | |
JP2005136561A (ja) | 車両周辺画像表示装置 | |
JP6081247B2 (ja) | 車両後方画像の表示切替装置および表示切替方法 | |
JPWO2018042976A1 (ja) | 画像生成装置、画像生成方法、記録媒体、および画像表示システム | |
US20170072855A1 (en) | Rearview video full windshield projector | |
JP4228246B2 (ja) | ノーズビューモニタ装置 | |
JP5787168B2 (ja) | 障害物警報装置 | |
JP2004051063A (ja) | 車両周辺視認装置 | |
JP2016136326A (ja) | 情報表示装置および情報表示方法 | |
US10688929B2 (en) | Driving assistance system and method of enhancing a driver's vision | |
KR101543119B1 (ko) | 합성된 주행 영상 제공방법 | |
JP4585191B2 (ja) | ノーズビューシステム | |
JP2003187228A (ja) | 車両認識装置及び認識方法 |