JP4364471B2 - Image processing apparatus for vehicle - Google Patents

Image processing apparatus for vehicle Download PDF

Info

Publication number
JP4364471B2
JP4364471B2 JP2001400962A JP2001400962A JP4364471B2 JP 4364471 B2 JP4364471 B2 JP 4364471B2 JP 2001400962 A JP2001400962 A JP 2001400962A JP 2001400962 A JP2001400962 A JP 2001400962A JP 4364471 B2 JP4364471 B2 JP 4364471B2
Authority
JP
Japan
Prior art keywords
image
vehicle
viewpoint
driver
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001400962A
Other languages
Japanese (ja)
Other versions
JP2003196645A (en
JP2003196645A5 (en
Inventor
敦 佐藤
俊宏 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP2001400962A priority Critical patent/JP4364471B2/en
Priority to US10/314,230 priority patent/US7212653B2/en
Publication of JP2003196645A publication Critical patent/JP2003196645A/en
Publication of JP2003196645A5 publication Critical patent/JP2003196645A5/ja
Application granted granted Critical
Publication of JP4364471B2 publication Critical patent/JP4364471B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、車両の画像処理装置にかかり、詳しくは、運転者の死角を表示する画像を生成する画像処理装置に関するものである。
【0002】
【従来の技術】
運転者が車両を運転操作する場合、運転席に座っている運転者の視点から認識できる視界には、車のボディ等に遮られて見えない死角が存在する。このような死角は、ルームミラーやサイドミラーなどによって、ある程度は、認識できるように構成されている。また、最近では、車両の外部を映し出すカメラが搭載され、そのカメラによって取得された画像を車内のモニターに映し出す構成の車両も提案されている。例えば、車両の後方を映し出すカメラが搭載され、後退時には後方の死角となった部分が車内モニターに映し出され、車庫入れ等をする際の後方確認の補助がなされる。
また、特開平10−264723号には、運転者の視覚に即した向きの画像を表示するものが記載されている。
【0003】
【発明が解決しようとする課題】
一方、従来カメラ画像などによって車両周辺の認識ができない車両を運転者が操作する場合には、視界に入ってくる外部の障害物と、同時に視界に入っている車内風景(窓枠やトランクの輪郭など)とから、外部障害物と車両との相対位置や距離がどの程度であるのかを、運転者は、感覚的に把握するものである。
しかしながら、従来のようにカメラ画像を表示するものは、カメラに映し出された画像をそのままモニターに表示するため、モニターに表示される画像は、運転者の肉眼に映る画像とはかけはなれている。これは、カメラ視点の位置が、運転者の操作する際の視点位置とは異なっていることや、肉眼で把握できる障害物の大きさとモニターに表示される障害物の大きさとが異なることなどの理由が挙げられる。また、従来では、運転者は、視界に入る車外の風景と車体の一部(窓枠やボンネット等)とを同時に認識して、それらの相対位置を感覚的に把握していたものが、画像には、外部景色のみが映し出されてしまうことも原因である。
つまり、従来のモニター画像では、従来感覚的に距離感を把握していた運転者は、従来身に付けていた感覚に基づいて、車両のアウトラインと周囲の物体との位置関係が把握しづらいという問題があった。
【0004】
この発明は、車両周辺の死角領域に対して合成された画像を提供し、死角への不安感を軽減するとともに、運転者の視点に近付けた位置からの撮像画像を生成することにより、画像を通じて車両と周囲の障害物との位置関係を、運転者に把握し易くすることを目的とするものである。
【0005】
【課題を解決するための手段】
以上のような目的は、以下の本発明により達成される。
(1) 車両の外部に配置され、車両の進行方向の画像を取得する第1の撮像手段と、
前記第1の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段と、
車内に配置され、運転者の視点から見た車両の進行方向の画像を取得する第2の撮像手段と、
前記第2の撮像手段によって取得された画像から、車両の外部が映されている部分を抽出し、又は車内が映されている部分を消去することにより死角領域を切り出した画像を生成する視認領域画像生成手段と、
前記撮像位置変換手段によって得られた画像と、前記視認領域画像生成手段によって得られた画像を重ね合わせた合成画像を得る画像合成手段と、
前記画像合成手段によって得られた合成画像を表示する表示手段と
を備えた車両の画像処理装置。
【0008】
2)車体形状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線検出手段により検出された輪郭線を、前記撮像位置変換手段によって視点変換された画像上に表示するように合成する輪郭線画像合成手段とを備えた上記(1)に記載の車両の画像処理装置。
【0010】
【発明の実施の形態】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。
図1は本発明の画像処理装置1の構成を示すブロック図である。画像処理装置1は、画像処理を行う演算処理装置12と、第1の撮像手段としての死角カメラ13aと、第2の撮像手段としての運転者視点カメラ13bと、画像を表示する表示手段としての画像表示装置14と、現在位置検出装置15と、画像記憶手段としての記憶装置16とを備え、これらの装置は、システムバス17を介して相互に接続されている。
【0011】
死角カメラ13aは、広角レンズを使用したものであり、本実施形態では魚眼レンズを使用する。死角カメラ13aは、例えば自動車の車外に設けられ、車の進行方向に向けて取り付けられている。後進する際の車両後部の画像を取得するカメラの場合には、例えば、後部トランクの中央部や、ハッチバック式の車両では、後部ウインドーに、外側へ向けて取り付けることもできる。この実施形態では、後部トランクの中央位置に配置されている。また、運転者視点カメラ13bは、例えば自動車の車内に設けられ、運転者の視点位置に取り付けられる。この実施形態では、バックミラーの取付け位置に配置されている。
【0012】
死角カメラ13a、運転者視点カメラ13bは、それぞれA/D変換器131a、131bを介してシステムバス17に接続される。死角カメラ13a、13bから出力された画像信号は、A/D変換器131a、131bによってデジタル信号にそれぞれ変換される。また、接続された死角カメラ13a、運転者視点カメラ13bが、デジタル信号出力が可能なものである場合には、A/D変換器131a、131bは不要である。死角カメラ13a、運転者視点カメラ13bは、車両の前方に向けて配置されたものと、車両の後方へ向けて配置されたものがある。以下の説明では、最も視界が制限される後方へ移動する場合に使用される後方設置の死角カメラ13a、運転者視点カメラ13bを例に挙げて説明する。
【0013】
現在位置検出装置15は、舵角センサ151、車速センサ152、GPS受信装置153、方位センサ154、距離センサ155とを備えている。舵角センサ151は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速センサ152は、車両の走行速度を検出する。走行速度は、車両を後退させた場合にも検出される。GPS受信装置153は、車両の絶対位置を検出する。方位センサ154は、車両の向きを検出する。距離センサ155は、車両の移動距離を検出する。以上説明した各種センサにより車両の移動距離を得ることができる。即ち、距離センサ155により移動距離が検出できる。また、車速センサ152から検出される車速と時間により移動距離が検出できる。また、GPS受信装置153で検出された位置の軌跡により移動距離が検出できる。また、車両の向きが変わった場合には、舵角センサ151と方位センサ154と距離センサ155又は車速センサ152によって、移動距離や車両の向きを、より正確に検出することができる。
【0014】
記憶装置16は、死角カメラ13a、運転者視点カメラ13bが映した画像を記憶する装置で、死角カメラ13a、運転者視点カメラ13bから出力される画像が連続して記憶され、第1の撮像手段である死角カメラ13aの取得した画像が記憶される外部画像データメモリ162と、運転者視点カメラ13bの取得した視点画像が記憶される視点画像データメモリ161と、視点画像と画像データメモリ162より生成される変換外部画像を合成した画像が記憶される合成画像データメモリ163とを備えている。
【0015】
画像表示装置14は、例えば液晶ディスプレイ等で構成され、合成画像データメモリ163に格納された合成画像が表示される。画像表示装置14へ送られるデータは、D/A変換器141を介してアナログ信号に変換される。また、画像表示装置14がデジタル信号入力可能な場合には、D/A変換器は不要となる。
【0016】
演算処理装置12は、中央処理装置[CPU(Central Processing Unit)]121と、リードオンリーメモリ[ROM]122と、ランダムアクセスメモリ[RAM]123とを備えている。中央演算処理装置121は、現在位置検出装置15から得られた移動距離や車両の向きについての情報を取得し、また、記憶装置16から視点画像データ、外部画像データを取得し、これらのデータから、合成画像データを生成する等、様々な演算処理を行うものである。
ROM122には、例えば、中央演算処理装置121が画像処理を行うためのソフトウエアや、車体の輪郭線の画像データ等が格納されており、RAM123は、例えば、ワーキングエリアとして使用される。
【0017】
本発明の画像処理装置は、次のような作用をする。図2は、本発明の画像処理装置を搭載した車両21の側面全体図である。車両の後方を映し出す第2の撮像手段としての運転者視点カメラ13bは、車内に配置されており、その画面の一部には、例えば、バックウインドーを介して車両の後方の景色が映し出される(視認可能領域a)。そして、画面上のその他の領域には、車内が映し出され、バックシートやその他の内装が画面に映し出される。この車内が映し出されている部分が、死角となり、例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等は、車体によって隠された死角領域となる。
【0018】
一方、第1の撮像手段である死角カメラ13aには、車両21の後方の画像が映し出される。この画像には、運転者視点カメラ13bの映す画像(視点画像)において死角領域にあるものも含めて、車両後方の景色が映し出される(領域b)。例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等であり、さらに、視点画像に映し出された視認可能領域の物も画像に捉えられている(つまり、領域bは領域aを含んでいる)。但し、死角カメラ13aは運転者の視点位置に設けられていないので、外部画像は、運転者の視点位置から認識できる画像とは異なっている。
【0019】
その外部画像を、撮像位置を視点位置(運転者視点カメラ13bの位置)とした場合の画像に画像処理し、この処理された画像を運転者視点カメラ13bの画像(視点画像)に合成し、死角領域を外部画像で埋める。これにより、死角領域のない、運転者の視点位置での画像が得られる。
運転者視点カメラ13bの設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口の位置などか挙げられる。また視点位置にカメラが設置されていない場合には、予め記憶してある車体データを基に、視点変換処理をし、画像を視点位置よりみた画像に処理してもよい。
【0020】
以上のように構成された本発明の画像処理装置1の作用について説明する。図3、図4及び図5は、演算処理装置12の動作を示すフローチャートである。
イグニッションスイッチのオン操作により電源スイッチがオンされる(ステップS100)。スイッチオンのきっかけは、この他、シフトチェンジレバーをD位置、後退時の後方の画像を表示するときは、R位置にセットしたときとしてもよい。
【0021】
次に初期化処理を行う(ステップS101)。具体的には、画像データなどを記憶領域に書き込みができるように、記憶装置16に記憶されているデータを検索し、記憶可能領域がない場合は、次に取得するデータを上書き可能にする準備をし、また画像データと共に記憶された距離や時間などを参照して、今後使用しないデータを消去する等の、データを書き込む準備をする。例えば、視点画像データメモリ161や外部画像データメモリ162等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【0022】
次に、車速が予め定められた設定速度を越えているか判断する(ステップS102)。この実施形態では車両周辺を認識するために用いられるので、使用目的が幅寄せや車庫入れなどに使用するものであり、速度が速い場合には、必要がなくなると判断する。従って、設定速度を越えている場合には、再度ステップS102が繰り返される。この設定速度は、必要に応じて変更できるようにしても良い。越えていない場合には、画像処理が必要であると判断し、画像処理を行うために、次のステップへ進み、車内画像処理ルーチン(ステップS103)が開始される。
【0023】
図4は、車内画像処理ルーチンを示すフローチャートである。また、図6は、画像処理の手順を示す流れ図であり、以下、この図に基づいて、画像処理内容を説明する。
車内画像処理ルーチン(ステップS103)では、運転者視点カメラ13bによって視点位置から映した視点画像を取得する(ステップS201)。
取得された画像は、一旦視点画像データメモリ161に記憶される(ステップS204)。視点画像データメモリ161から視点画像B0を読み出し、死角領域、つまり車内が映っている部分を、画像から切り出し視認領域画像B1を生成する(ステップS205)。このステップS205により画像抽出手段が構成される。この切り出し処理は、まず、最初に取得された原視点画像から、映っている車内の部分の輪郭を抽出する処理(輪郭抽出ステップ)をする。輪郭線の検出方法は、公知の画像処理方法を用いることができ、例えば、Sobelフィルタ処理やラプラシアンフィルタ処理などにより輪郭を強調する処理を行い、輪郭線のみを抽出する処理をすることができる。そして、抽出された輪郭線を境界線として、車両の外部が映されている部分を抽出するか、又は車内が映されている部分を消去することにより、死角領域の切り出し処理ができる。この輪郭抽出ステップにより、輪郭線検出手段が構成される。
【0024】
車内画像処理ルーチン(ステップS103)の次に、車外画像処理ルーチン(ステップS104)を開始する。図5は、車外画像処理ルーチンを示すフローチャートである。
車外画像処理ルーチン(ステップS104)では、死角カメラ13aによって映し出された外部画像を取得する(ステップS301)。
取得された画像は、一旦外部画像データメモリ162に記憶される(ステップS304)。外部画像データメモリ162から画像A0を読み出し、画像処理を行う。死角カメラ13aは、魚眼レンズを使用している場合には、画像A0は、魚眼画像であるから、この画像A0より、後に使用する画像個所a0を切り出し、その切り出した画像a0に正像変換処理を行い(ステップS305)、画像A1を得る。次に、死角カメラ13aは、運転者の視点位置で撮像していないので、撮像位置を運転者の視点位置に変換する処理をおこなう(ステップS306)。まず、第1に、撮像位置の高さを合わせるために、アフィン変換処理をする。
【0025】
第2に、運転者視点カメラ13bによる画像に大きさに合わせるように、画像A1を所定の倍率で画像の大きさを調整し、変換外部画像A2を得る。具体的には、画像B1と画像A1のそれぞれに対して、それぞれ特徴エリアを設定する。このエリアは、画像中の明暗や色彩等の変化が顕著で、その対象が特定しやすい領域を選択する。特徴エリアに設定される画像は、画像A1と画像B1がそれぞれ同じ対象物を捕らえていることが必要である。そして、この特徴エリアに映し出された対象物の大きさが同じになるように画像変換(画像A1を拡大又は縮小)をする。以上説明したステップS104により撮像位置変換手段が構成される。
【0026】
内部画像と外部画像についての処理(ステップS103、S104)が終了すると、次に、画像合成処理(ステップS105)が行われる。これは、ステップS103で生成された画像B1と、ステップS104で生成された画像A2とを重ね合わせて、合成画像B1+A2を生成する。これにより、視点画像B1の死角領域に、外部画像A2が加わり、あたかも、車体を透視して外側を映しているような画像が生成される。このステップS105により画像合成手段が構成される。
【0027】
さらに、生成された合成画像B1+A2に、輪郭線6が加えられ、表示される最終合成画像ABが生成される(ステップS106)。生成された合成画像ABは、合成画像データメモリ163に記憶される。このステップS106により、輪郭線画像合成手段が構成される。
【0028】
この輪郭線6は車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状の少なくとも一つを含む輪郭線である。
特に、車体の最も外側に位置する部位の輪郭線、あるいは、運転者が車体の外側を見たときに常に外部景色と同時に視覚に認識される部位の輪郭線であるとよい。車体の最も外側に位置する部位としては、車体、バンパー、ライト、タイヤ、サイドミラー等があり、視界に同時に認識される部位としては、ワイパー、インストゥルメントパネル、ハンドル、バックミラー、座席、窓の形状等が挙げられる。車体の最も外側に位置する部位の輪郭線を合成すると、車体と外部障害物との距離の把握か容易となるという効果がある。また、視界に認識される部位の輪郭線を合成すると、肉眼で認識して操作する際の視界に近似した画像が得られるので、運転者は、従来習得した感覚と同じ感覚で外部障害物と車両との位置関係を把握することができる。
【0029】
この輪郭線データは、本発明装置を設置する車体データをもとに作成されて、予め記憶装置16やROM122などに格納されている。或いは、ステップS205で抽出した輪郭線を合成してもよい。この場合には、実際の車体の状態が画像に映し出されるので、一層リアルに画像中の外部状況と車体との関係を把握することができる。例えば、後進する場合に、リアウィンドウのダッシュボードに置かれている置物などが、画像に映し出され、実際に肉眼で見ているイメージに近付けることができる。また、輪郭線のみを合成する構成に限らず、車体や車内を映されている影像部分(死角を生成する部分の画像)を半透明にして合成してもよい。
【0030】
次に、画像表示装置へ最終合成画像ABを出力する(ステップS109)。
システムを終了するきっかけがあるか判断する(ステップS110)。例えば、本発明の画像処理装置のスイッチオフや画像装置14の表示切替えがあった場合は、システムは停止される。従って、ステップS110で、YeSの場合には、この画像処理のフローチャートは終了する(ステップS113)。
【0031】
システムを終了するきっかけがなかった場合(ステップS110:No)には、ステップS101で初期化された変数が、設定値を越えたか判断する(ステップS111)。この変数とは、距離、時間、メモリ残量などを表すもので、これらの値が予め定められた設定値に達した場合には、データの書き込みが開始された位置に戻って、古いデータを新しい画像データに書き換える(ステップS112)。ここで、ステップS101にリターンされ、設定値を監視する変数は、初期化される。ステップS111で、変数が設定値を超えていなかった場合には、ステップS102にリターンされる。
【0032】
以上説明した本実施形態によれば、視点位置から車両の外側を見た場合に、視覚に映る画像に近い画像が得られるので、従来の運転者の感覚に沿った画像が提供でき、車両の操舵が容易となる。また、車両の陰となって認識できない領域についても、画像に表示されるので、車両周囲の認識が一層容易となる。さらに、車両の位置や大きさを象徴する輪郭線が画面に同時に表示されるので、車両周囲の障害物と車両との距離や位置関係を把握しやすく、一層運転操作が容易となる。
【0033】
以上説明した構成の他、表示画像として外部画像を視点変換した画像A2を用い、これに輪郭線6を合成する構成としてもよい。つまり、撮像位置変換手段によって、視点位置に視点変換された外部画像を、そのまま表示手段に表示する構成とすることもできる。この場合には、ステップS103とステップS105は省略される。また、画像の合成処理が不要となるので、演算処理装置12の演算処理が軽減される。以上説明した作用は、後進する場合の例であるが、前進する場合でも、同様の作用となる。
【0034】
次に、運転者視点カメラ13bも広角レンズを用いたものとしてもよい。広角レンズを用いることにより、車両が曲がる際にも、単に前方、後方といったように、設定された単一の固定された方向のみの画像を取得するものに限られず、ハンドル操作角度や前輪の舵角を検出して、操舵方向の角度に応じた画像領域を抽出し、画像処理を行えば、さらに運転者の視覚画像に合致した画像を表示することが可能となる。また、図7に示されているように、車両の側面にも死角カメラ18c、18dを設け、前部に設けられた死角カメラ18bと後部の設けられた死角カメラ18aとともに、車両を中心とした全周囲の画像を取得する構成とすることもできる。その場合には、運転者視点カメラ13bも全周囲の画像を取得する魚眼レンズが使用され、例えば車内中央の天井部分や、運転者の乗車する座席の真上に位置する天井部分に取り付けられる。
【0035】
なお、超音波等によって外部障害物と車体との間の距離を計測する測距センサなどのような距離検出手段を車体に設け、合成画像の表示とともに、外部障害物との距離を測る構成とすれば、一層距離感を把握し易くなり、好ましい。例えば、超音波センサによって検出される障害物との距離が、所定の距離以下となった場合には、聴覚信号として警報を発するか、視覚信号として画面を赤のシルエットに表示するなどの構成とすることができる。
【0036】
上記のような、距離検出手段の一例を示す。図8は、距離検出手段の構成を示す模式図である。距離検出手段は、死角カメラ13aの向けられている方向の障害物との距離を検出するものであり、死角カメラ13aの近傍に設けられている。距離検出手段3は、2つの投光手段31、32を備えている。投光手段は、それぞれ異なる色の光を、特定の方向へ向けて照射するもので、照射される光は所定の方向に指向性を有するもの(光線)である。この実施形態では、投光手段の光源として発光ダイオードが用いられており、光源の色は、それぞれ青と赤である。2つの投光手段31、32から照射される光線は、光源から所定の距離Lで交差するように、相互に相手方が位置する向きへ傾斜して取りけ付けられている。光線が傾斜する方向は、上下方向に傾斜し、図8に示されているように、障害物に光線が当たると、光線が当たった部分が障害物の表面に光点として映し出され、画面内に表示される。この実施形態では、赤の光源を有する投光手段32は下側に、青の光源を有する投光手段31は上側に配置され、投光手段32は斜め上方へ向けて光線を照射し、投光手段31は斜め下方へ向けて光線を照射している。
【0037】
図9から図11は、光点30a、30bが現れた画面の図である。図9に示されているように、車両から障害物までの距離Xが、Lより大きい場合(X>L)には、赤の光点30aが上側、青の光点30bが下側に位置している。図10に示されているように、障害物までの距離がLとなった時(X=L)には、光点は、1つに重なり、赤と青の混ざった紫色の光点が表れる。図11に示されているように、車両から障害物までの距離Xが、Lより小さい場合(X<L)には、赤の光点30aが下側、青の光点30bが上側に位置している。このような表示が、画面内に同時に映し出されるので、画面を見ながら、光点30a、30bの間の距離によって、距離Xの長さを感覚的に把握することが容易となる。
【0038】
このような距離検出手段3は、図12に示されているように、車両の前部と後部において、車両左右の角部にそれぞれ設けられていてもよい。例えば、前部と後部の中央部に距離検出手段3F、3Rを設け、前部の左右角部に、距離検出手段3FL、3FRを、後部の左右角部に、距離検出手段3RL、3RRを設ける。このようにすると、例えば、図13に示されているように、車両の左側(画面右側)に位置する障害物と、右側(画面左側)に位置する障害物の距離は、光点30a、30bの距離が短いので、車両の左側(画面右側)に位置する障害物の方が近いことが解る。このように、左右方向に位置する障害物との距離感も、画像に現れる光点の距離によって把握することができる。
【0039】
【発明の効果】
請求項1に記載の発明によれば、視点の位置に撮像位置を移動させた場合の画像が得られるので、運転者の視界に入る景色に近似した画像が得られ、車両操作の際の車両と外部障害物との位置関係の把握が容易となる。また、死角領域のない外部画像が得られるので、死角への不安感が軽減される。さらに、車体内部の画像を合成するので、運転者の視界画像に、極めて近い画像が得られる。
【0040】
請求項に記載の発明によれば、輪郭線を取得した画像から検出する構成とすると、実際の車体の状態を輪郭線で映し出すことになり、現実感が増し、画像から受ける車体の感覚が一層把握し易くなる。また、車体各部の形状の輪郭線を画像に合成することにより、画面に映し出された外部環境と、車体との位置関係を一層把握し易くなる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の構成を示すブロック図である。
【図2】本発明の画像処理装置を搭載した車両の側面図である。
【図3】本発明の画像処理装置の作用を示すフローチャートである。
【図4】本発明の画像処理装置の作用を示すフローチャートである。
【図5】本発明の画像処理装置の作用を示すフローチャートである。
【図6】画像処理の手順を示す流れ図である。
【図7】広角レンズカメラを用いたカメラの視野を示す平面図である。
【図8】距離検出手段の構成を示す模式図である。
【図9】2つの光点が現れた画面を示す図である。
【図10】2つの光点が現れた画面を示す図である。
【図11】2つの光点が現れた画面を示す図である。
【図12】距離検出手段の配置位置を示す、車両の全体平面図である。
【図13】2つの光点が現れた画面を示す図である。
【符号の説明】
1 画像処理装置
12 処理装置
13a カメラ
13b カメラ
14 画像表示装置
15 現在位置検出装置
16 記憶装置
21 車両
3 距離検出手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus for a vehicle, and more particularly to an image processing apparatus that generates an image that displays a blind spot of a driver.
[0002]
[Prior art]
When the driver operates the vehicle, there is a blind spot that is obstructed by the body of the car and the like that can be recognized from the viewpoint of the driver sitting in the driver's seat. Such a blind spot can be recognized to some extent by a room mirror, a side mirror, or the like. Recently, there has also been proposed a vehicle that is equipped with a camera that displays the outside of the vehicle and displays an image acquired by the camera on a monitor in the vehicle. For example, a camera that projects the rear of the vehicle is mounted, and when the vehicle moves backward, the rear blind spot is displayed on the in-car monitor, and assists in confirming the rear when entering a garage or the like.
Japanese Patent Application Laid-Open No. 10-264723 describes an apparatus that displays an image oriented in accordance with the driver's vision.
[0003]
[Problems to be solved by the invention]
On the other hand, when a driver operates a vehicle in which the surroundings of the vehicle cannot be recognized by a conventional camera image or the like, an external obstacle entering the field of view and the interior scenery (window frame or trunk contours) entering the field of view simultaneously. From the above, the driver senses how much the relative position and distance between the external obstacle and the vehicle are.
However, since the conventional camera image display displays the image displayed on the camera as it is on the monitor, the image displayed on the monitor is different from the image shown to the naked eye of the driver. This is because the position of the camera viewpoint is different from the viewpoint position when the driver operates, and the size of the obstacle that can be grasped by the naked eye and the size of the obstacle displayed on the monitor are different. The reason is given. Also, in the past, the driver recognized the scenery outside the vehicle entering the field of view and a part of the vehicle body (window frame, bonnet, etc.) at the same time, and grasped their relative positions sensuously. Another reason is that only the external scenery is projected.
In other words, in a conventional monitor image, it is difficult for a driver who has conventionally sensed a sense of distance to grasp the positional relationship between the outline of the vehicle and surrounding objects based on the sense that he has conventionally worn. There was a problem.
[0004]
The present invention provides an image synthesized for a blind spot area around a vehicle, reduces anxiety about the blind spot, and generates a captured image from a position close to the driver's viewpoint, thereby allowing the image to pass through the image. It is intended to make it easier for the driver to grasp the positional relationship between the vehicle and surrounding obstacles.
[0005]
[Means for Solving the Problems]
The above object is achieved by the present invention described below.
(1) a first imaging unit that is arranged outside the vehicle and acquires an image of the traveling direction of the vehicle;
Imaging position conversion means for converting the image acquired by the first imaging means into an image obtained by converting the imaging position outside the vehicle body to the viewpoint position of the driver;
A second imaging means arranged in the vehicle for obtaining an image of the traveling direction of the vehicle as viewed from the driver's viewpoint;
A viewing area for generating an image in which a blind spot area is cut out by extracting a part showing the exterior of the vehicle from the image acquired by the second imaging means or deleting a part showing the interior of the vehicle Image generating means ;
Image combining means for obtaining a combined image obtained by superimposing the image obtained by the imaging position converting means and the image obtained by the visual recognition area image generating means ;
An image processing apparatus for a vehicle, comprising: display means for displaying a composite image obtained by the image composition means .
[0008]
(2) has a contour detecting unit for detecting a contour line of the vehicle body shape, the contour detected by the contour detecting unit, to display on the viewpoint transformed image by the image pickup position converting means The image processing apparatus for a vehicle according to (1 ), further comprising contour image synthesis means for synthesizing.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration of an image processing apparatus 1 according to the present invention. The image processing apparatus 1 includes an arithmetic processing unit 12 that performs image processing, a blind spot camera 13a as a first imaging unit, a driver viewpoint camera 13b as a second imaging unit, and a display unit that displays an image. An image display device 14, a current position detection device 15, and a storage device 16 as image storage means are provided, and these devices are connected to each other via a system bus 17.
[0011]
The blind spot camera 13a uses a wide-angle lens, and a fisheye lens is used in this embodiment. The blind spot camera 13a is provided outside the vehicle, for example, and is attached toward the traveling direction of the vehicle. In the case of a camera that acquires an image of the rear part of the vehicle when going backward, for example, in the center part of the rear trunk or a hatchback type vehicle, it can be attached to the rear window toward the outside. In this embodiment, it is arranged at the center position of the rear trunk. In addition, the driver viewpoint camera 13b is provided, for example, in a car, and is attached to the driver's viewpoint position. In this embodiment, it is arrange | positioned in the attachment position of a rearview mirror.
[0012]
The blind spot camera 13a and the driver viewpoint camera 13b are connected to the system bus 17 via A / D converters 131a and 131b, respectively. The image signals output from the blind spot cameras 13a and 13b are converted into digital signals by the A / D converters 131a and 131b, respectively. Further, when the connected blind spot camera 13a and driver viewpoint camera 13b can output digital signals, the A / D converters 131a and 131b are not necessary. The blind spot camera 13a and the driver viewpoint camera 13b include those arranged toward the front of the vehicle and those arranged toward the rear of the vehicle. In the following description, a blind spot camera 13a and a driver viewpoint camera 13b that are used when moving to the rear where the field of view is most limited will be described as an example.
[0013]
The current position detection device 15 includes a steering angle sensor 151, a vehicle speed sensor 152, a GPS reception device 153, an orientation sensor 154, and a distance sensor 155. The steering angle sensor 151 detects the steering angle of the vehicle. The steering angle is obtained by detecting the rotation angle of the steering wheel or the angle of the front wheel. The vehicle speed sensor 152 detects the traveling speed of the vehicle. The traveling speed is also detected when the vehicle is moved backward. The GPS receiver 153 detects the absolute position of the vehicle. The direction sensor 154 detects the direction of the vehicle. The distance sensor 155 detects the moving distance of the vehicle. The travel distance of the vehicle can be obtained by the various sensors described above. That is, the moving distance can be detected by the distance sensor 155. Further, the travel distance can be detected based on the vehicle speed and time detected by the vehicle speed sensor 152. Further, the moving distance can be detected from the locus of the position detected by the GPS receiver 153. Further, when the direction of the vehicle changes, the travel distance and the direction of the vehicle can be detected more accurately by the steering angle sensor 151, the direction sensor 154, the distance sensor 155, or the vehicle speed sensor 152.
[0014]
The storage device 16 is a device for storing images captured by the blind spot camera 13a and the driver viewpoint camera 13b. Images output from the blind spot camera 13a and the driver viewpoint camera 13b are continuously stored, and the first imaging unit is used. Are generated from the external image data memory 162 in which the image acquired by the blind spot camera 13a is stored, the viewpoint image data memory 161 in which the viewpoint image acquired by the driver viewpoint camera 13b is stored, and the viewpoint image and image data memory 162. And a synthesized image data memory 163 in which an image obtained by synthesizing the converted external image is stored.
[0015]
The image display device 14 is composed of a liquid crystal display, for example, and displays a composite image stored in the composite image data memory 163. Data sent to the image display device 14 is converted into an analog signal via the D / A converter 141. Further, when the image display device 14 can input a digital signal, the D / A converter is not necessary.
[0016]
The arithmetic processing unit 12 includes a central processing unit [CPU (Central Processing Unit)] 121, a read-only memory [ROM] 122, and a random access memory [RAM] 123. The central processing unit 121 acquires information on the moving distance and the vehicle direction obtained from the current position detection device 15, acquires viewpoint image data and external image data from the storage device 16, and uses these data. Various arithmetic processes such as generation of composite image data are performed.
The ROM 122 stores, for example, software for the central processing unit 121 to perform image processing, image data of the outline of the vehicle body, and the like, and the RAM 123 is used as a working area, for example.
[0017]
The image processing apparatus of the present invention operates as follows. FIG. 2 is an overall side view of a vehicle 21 equipped with the image processing apparatus of the present invention. The driver viewpoint camera 13b as the second image pickup means for projecting the rear of the vehicle is disposed in the vehicle, and a scene behind the vehicle is projected on a part of the screen through, for example, a back window. (Visible region a). In the other area on the screen, the interior of the vehicle is displayed, and the back seat and other interiors are displayed on the screen. The portion in which the interior of the vehicle is projected becomes a blind spot. For example, a region close to the vehicle behind the vehicle, a region close to the left and right side surfaces of the rear of the vehicle, and the like are blind spots hidden by the vehicle body.
[0018]
On the other hand, an image behind the vehicle 21 is displayed on the blind spot camera 13a which is the first imaging means. In this image, the scenery behind the vehicle is displayed (area b), including the image in the blind spot area in the image (viewpoint image) projected by the driver viewpoint camera 13b. For example, a region close to the vehicle behind the vehicle, a region close to the left and right side surfaces of the rear of the vehicle, and the like, and an object in the viewable region displayed in the viewpoint image is captured in the image (that is, the region b is Region a). However, since the blind spot camera 13a is not provided at the viewpoint position of the driver, the external image is different from an image that can be recognized from the viewpoint position of the driver.
[0019]
The external image is image-processed into an image when the imaging position is the viewpoint position (position of the driver viewpoint camera 13b), and the processed image is combined with the image (viewpoint image) of the driver viewpoint camera 13b. Fill the blind spot area with external images. Thereby, an image at the viewpoint position of the driver without a blind spot area is obtained.
The installation position of the driver viewpoint camera 13b is most preferably the position of the driver's viewpoint, but may be a position close to the position of this viewpoint. For example, in addition to the position of the rearview mirror, the vicinity of the center of the dashboard, the position of the shoulder of the seat, and the like can be mentioned. When no camera is installed at the viewpoint position, viewpoint conversion processing may be performed based on vehicle body data stored in advance to process the image as viewed from the viewpoint position.
[0020]
The operation of the image processing apparatus 1 of the present invention configured as described above will be described. 3, 4, and 5 are flowcharts showing the operation of the arithmetic processing unit 12.
The power switch is turned on by turning on the ignition switch (step S100). In addition, the switch-on may be triggered when the shift change lever is set to the D position and to the rear position when the rearward image is displayed.
[0021]
Next, initialization processing is performed (step S101). Specifically, the data stored in the storage device 16 is searched so that image data or the like can be written to the storage area, and if there is no storable area, the next acquired data can be overwritten. In addition, referring to the distance and time stored together with the image data, it prepares to write data such as deleting data that will not be used in the future. For example, a variable for monitoring a set value for determining whether to update the stored data of the image stored in the viewpoint image data memory 161, the external image data memory 162, or the like is initialized.
[0022]
Next, it is determined whether or not the vehicle speed exceeds a predetermined set speed (step S102). Since this embodiment is used for recognizing the periphery of the vehicle, it is used for the purpose of width adjustment, garage storage, and the like. Therefore, if the set speed is exceeded, step S102 is repeated again. This set speed may be changed as necessary. If not, it is determined that image processing is necessary, and in order to perform image processing, the process proceeds to the next step, and an in-vehicle image processing routine (step S103) is started.
[0023]
FIG. 4 is a flowchart showing an in-vehicle image processing routine. FIG. 6 is a flowchart showing the procedure of image processing. Hereinafter, the contents of image processing will be described based on this diagram.
In the in-vehicle image processing routine (step S103), a viewpoint image projected from the viewpoint position is acquired by the driver viewpoint camera 13b (step S201).
The acquired image is temporarily stored in the viewpoint image data memory 161 (step S204). The viewpoint image B0 is read out from the viewpoint image data memory 161, and the blind spot area, that is, the part in which the inside of the vehicle is reflected is cut out from the image to generate the visual recognition area image B1 (step S205). This step S205 constitutes an image extraction means. In this cut-out process, first, a process (contour extraction step) is performed to extract the contour of the part in the car that is shown from the original viewpoint image acquired first. A known image processing method can be used as the contour detection method. For example, a contour enhancement process can be performed by a Sobel filter process or a Laplacian filter process to extract only the contour line. Then, by using the extracted outline as a boundary line, a portion where the outside of the vehicle is shown is extracted, or a portion where the inside of the vehicle is shown is deleted, so that the blind spot area can be cut out. This contour extraction step constitutes a contour line detecting means.
[0024]
Following the vehicle interior image processing routine (step S103), the vehicle exterior image processing routine (step S104) is started. FIG. 5 is a flowchart showing a vehicle exterior image processing routine.
In the outside image processing routine (step S104), an external image projected by the blind spot camera 13a is acquired (step S301).
The acquired image is temporarily stored in the external image data memory 162 (step S304). The image A0 is read from the external image data memory 162 and image processing is performed. When the blind spot camera 13a uses a fisheye lens, the image A0 is a fisheye image. Therefore, an image location a0 to be used later is cut out from the image A0, and a normal image conversion process is performed on the cut out image a0. (Step S305) to obtain an image A1. Next, since the blind spot camera 13a is not capturing an image at the driver's viewpoint position, the blind spot camera 13a performs a process of converting the imaging position to the driver's viewpoint position (step S306). First, affine transformation processing is performed to match the height of the imaging position.
[0025]
Second, the size of the image A1 is adjusted by a predetermined magnification so as to match the size of the image obtained by the driver viewpoint camera 13b to obtain a converted external image A2. Specifically, a feature area is set for each of the image B1 and the image A1. In this area, a region in which changes in brightness, color, etc. in the image are remarkable and the target is easy to specify is selected. The image set in the feature area requires that the image A1 and the image B1 each capture the same object. Then, the image conversion (the image A1 is enlarged or reduced) is performed so that the size of the object displayed in the feature area becomes the same. The imaging position converting means is configured by step S104 described above.
[0026]
When the processing for the internal image and the external image (steps S103 and S104) is completed, an image composition process (step S105) is performed. This superimposes the image B1 generated in step S103 and the image A2 generated in step S104 to generate a composite image B1 + A2. As a result, the external image A2 is added to the blind spot area of the viewpoint image B1, and an image as if the outside is seen through the vehicle body is generated. This step S105 constitutes an image composition means.
[0027]
Further, the contour 6 is added to the generated composite image B1 + A2, and the final composite image AB to be displayed is generated (step S106). The generated composite image AB is stored in the composite image data memory 163. By this step S106, an outline image composition means is configured.
[0028]
The contour line 6 may be any contour line symbolizing the vehicle body. For example, at least one of the shape of the vehicle body, bumper, light, wiper, instrument panel, handle, mirror, tire, seat, and window may be used. Contour line to include.
In particular, it may be an outline of a part located on the outermost side of the vehicle body, or an outline of a part that is always visually recognized simultaneously with the external scenery when the driver looks at the outside of the vehicle body. The parts located on the outermost side of the car body include the car body, bumpers, lights, tires, side mirrors, etc. The parts that are recognized simultaneously in the field of view are the wiper, instrument panel, handle, rearview mirror, seat, window And the like. By synthesizing the contour line of the part located on the outermost side of the vehicle body, there is an effect that it becomes easy to grasp the distance between the vehicle body and the external obstacle. Also, by synthesizing the contour line of the part recognized by the field of view, an image that approximates the field of view when operating by recognizing with the naked eye can be obtained, so the driver can recognize the external obstacle with the same sensation as previously learned It is possible to grasp the positional relationship with the vehicle.
[0029]
The contour line data is created based on the vehicle body data on which the device of the present invention is installed, and is stored in advance in the storage device 16 or the ROM 122. Alternatively, the contour line extracted in step S205 may be synthesized. In this case, since the actual state of the vehicle body is displayed in the image, the relationship between the external situation in the image and the vehicle body can be grasped more realistically. For example, when moving backward, a figurine placed on the dashboard of the rear window is displayed on the image and can be brought close to the image actually seen with the naked eye. In addition, the configuration is not limited to the configuration in which only the contour line is combined, and the image portion (the image of the portion that generates the blind spot) reflected in the vehicle body or the interior of the vehicle may be combined to be translucent.
[0030]
Next, the final composite image AB is output to the image display device (step S109).
It is determined whether there is a chance to end the system (step S110). For example, when the image processing apparatus of the present invention is switched off or the display of the image apparatus 14 is switched, the system is stopped. Therefore, in the case of Yes in step S110, this image processing flowchart ends (step S113).
[0031]
If there is no opportunity to end the system (step S110: No), it is determined whether the variable initialized in step S101 exceeds the set value (step S111). This variable represents the distance, time, remaining memory, etc.When these values reach a preset value, it returns to the position where data writing was started and old data is deleted. It is rewritten with new image data (step S112). Here, the process returns to step S101, and the variable for monitoring the set value is initialized. If the variable does not exceed the set value in step S111, the process returns to step S102.
[0032]
According to the present embodiment described above, when the outside of the vehicle is viewed from the viewpoint position, an image that is close to the image that appears visually can be obtained. Steering is easy. In addition, since the area that cannot be recognized behind the vehicle is also displayed in the image, it is easier to recognize the surroundings of the vehicle. Furthermore, since the contour line symbolizing the position and size of the vehicle is simultaneously displayed on the screen, it is easy to grasp the distance and positional relationship between the obstacles around the vehicle and the vehicle, and the driving operation is further facilitated.
[0033]
In addition to the configuration described above, an image A2 obtained by viewpoint-converting an external image may be used as a display image, and a contour line 6 may be combined with the image A2. In other words, the external image converted to the viewpoint position by the imaging position converting unit can be displayed as it is on the display unit. In this case, step S103 and step S105 are omitted. Further, since the image synthesizing process becomes unnecessary, the arithmetic processing of the arithmetic processing unit 12 is reduced. The operation described above is an example in the case where the vehicle moves backward, but the same operation is performed even when the vehicle moves forward.
[0034]
Next, the driver viewpoint camera 13b may also use a wide-angle lens. By using a wide-angle lens, even when the vehicle turns, it is not limited to acquiring images only in a single fixed direction such as forward and rearward, but the steering angle and front wheel steering If an angle is detected, an image region corresponding to the angle in the steering direction is extracted, and image processing is performed, an image that matches the visual image of the driver can be displayed. Further, as shown in FIG. 7, blind spots cameras 18c and 18d are also provided on the side of the vehicle, with the blind spot camera 18b provided at the front and the blind spot camera 18a provided at the rear, centering on the vehicle. It can also be set as the structure which acquires the image of all the circumferences. In this case, the driver's viewpoint camera 13b also uses a fish-eye lens that acquires an image of the entire periphery, and is attached to, for example, a ceiling portion in the center of the vehicle or a ceiling portion located directly above the seat on which the driver gets.
[0035]
The vehicle body is provided with a distance detection means such as a distance measuring sensor that measures the distance between the external obstacle and the vehicle body using ultrasonic waves, and the composite image is displayed and the distance to the external obstacle is measured. This is preferable because it makes it easier to grasp the sense of distance. For example, when the distance from the obstacle detected by the ultrasonic sensor is equal to or less than a predetermined distance, an alarm is issued as an auditory signal or the screen is displayed in a red silhouette as a visual signal. can do.
[0036]
An example of the distance detection means as described above will be shown. FIG. 8 is a schematic diagram showing the configuration of the distance detection means. The distance detection means detects the distance from the obstacle in the direction in which the blind spot camera 13a is directed, and is provided in the vicinity of the blind spot camera 13a. The distance detecting unit 3 includes two light projecting units 31 and 32. The light projecting means irradiates light of different colors in a specific direction, and the irradiated light has directivity (light rays) in a predetermined direction. In this embodiment, a light emitting diode is used as the light source of the light projecting means, and the colors of the light source are blue and red, respectively. The light beams emitted from the two light projecting means 31 and 32 are attached so as to incline in the direction in which the other party is located so as to intersect at a predetermined distance L from the light source. The direction in which the light beam is tilted is tilted up and down, and as shown in FIG. 8, when the light beam hits the obstacle, the portion hit by the light beam is projected as a light spot on the surface of the obstacle, Is displayed. In this embodiment, the light projecting means 32 having a red light source is disposed on the lower side, the light projecting means 31 having a blue light source is disposed on the upper side, and the light projecting means 32 emits light rays obliquely upward. The light means 31 irradiates light rays obliquely downward.
[0037]
9 to 11 are diagrams of screens on which the light spots 30a and 30b appear. As shown in FIG. 9, when the distance X from the vehicle to the obstacle is larger than L (X> L), the red light spot 30a is located on the upper side, and the blue light spot 30b is located on the lower side. is doing. As shown in FIG. 10, when the distance to the obstacle becomes L (X = L), the light spots overlap with each other, and a purple light spot in which red and blue are mixed appears. . As shown in FIG. 11, when the distance X from the vehicle to the obstacle is smaller than L (X <L), the red light spot 30a is located on the lower side, and the blue light spot 30b is located on the upper side. is doing. Since such a display is simultaneously displayed on the screen, it is easy to sensibly grasp the length of the distance X based on the distance between the light spots 30a and 30b while looking at the screen.
[0038]
Such distance detecting means 3 may be provided at the left and right corners of the vehicle at the front and rear of the vehicle, as shown in FIG. For example, distance detection means 3F and 3R are provided at the center of the front and rear, distance detection means 3FL and 3FR are provided at the left and right corners of the front, and distance detection means 3RL and 3RR are provided at the left and right corners of the rear. . In this way, for example, as shown in FIG. 13, the distance between the obstacle located on the left side (right side of the screen) and the obstacle located on the right side (left side of the screen) is the light spots 30a, 30b. It is understood that the obstacle located on the left side of the vehicle (the right side of the screen) is closer because the distance is shorter. Thus, the sense of distance from the obstacle located in the left-right direction can also be grasped by the distance of the light spot appearing in the image.
[0039]
【The invention's effect】
According to the first aspect of the present invention, since an image when the imaging position is moved to the position of the viewpoint is obtained, an image approximating the scenery entering the driver's field of view can be obtained, and the vehicle during vehicle operation It becomes easy to grasp the positional relationship between the object and the external obstacle. In addition, since an external image without a blind spot area is obtained, anxiety about the blind spot is reduced. Furthermore, since the image inside the vehicle body is synthesized, an image very close to the driver's view image can be obtained.
[0040]
According to the second aspect of the present invention, when the contour is detected from the acquired image, the actual state of the vehicle body is projected with the contour line, and the sense of reality of the vehicle body received from the image is increased. It becomes easier to grasp. In addition, by synthesizing the contour lines of the shape of each part of the vehicle body with the image, it becomes easier to grasp the positional relationship between the external environment displayed on the screen and the vehicle body.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to the present invention.
FIG. 2 is a side view of a vehicle equipped with the image processing apparatus of the present invention.
FIG. 3 is a flowchart showing the operation of the image processing apparatus of the present invention.
FIG. 4 is a flowchart showing the operation of the image processing apparatus of the present invention.
FIG. 5 is a flowchart showing the operation of the image processing apparatus of the present invention.
FIG. 6 is a flowchart showing a procedure of image processing.
FIG. 7 is a plan view showing a field of view of a camera using a wide-angle lens camera.
FIG. 8 is a schematic diagram illustrating a configuration of a distance detection unit.
FIG. 9 is a diagram showing a screen on which two light spots appear.
FIG. 10 is a diagram showing a screen on which two light spots appear.
FIG. 11 is a diagram showing a screen on which two light spots appear.
FIG. 12 is an overall plan view of the vehicle showing the arrangement position of the distance detection means.
FIG. 13 is a diagram showing a screen on which two light spots appear.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 12 Processing apparatus 13a Camera 13b Camera 14 Image display apparatus 15 Current position detection apparatus 16 Storage apparatus 21 Vehicle 3 Distance detection means

Claims (2)

車両の外部に配置され、車両の進行方向の画像を取得する第1の撮像手段と、
前記第1の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段と、
車内に配置され、運転者の視点から見た車両の進行方向の画像を取得する第2の撮像手段と、
前記第2の撮像手段によって取得された画像から、車両の外部が映されている部分を抽出し、又は車内が映されている部分を消去することにより死角領域を切り出した画像を生成する視認領域画像生成手段と、
前記撮像位置変換手段によって得られた画像と、前記視認領域画像生成手段によって得られた画像を重ね合わせた合成画像を得る画像合成手段と、
前記画像合成手段によって得られた合成画像を表示する表示手段と
を備えた車両の画像処理装置。
A first imaging means arranged outside the vehicle for acquiring an image of the traveling direction of the vehicle;
Imaging position conversion means for converting the image acquired by the first imaging means into an image obtained by performing viewpoint conversion from the imaging position outside the vehicle body to the viewpoint position of the driver;
A second imaging means disposed in the vehicle for obtaining an image of the traveling direction of the vehicle as viewed from the driver's viewpoint;
A viewing area for generating an image in which a blind spot area is cut out by extracting a part showing the exterior of the vehicle from the image acquired by the second imaging means or deleting a part showing the interior of the vehicle Image generating means ;
Image combining means for obtaining a combined image obtained by superimposing the image obtained by the imaging position converting means and the image obtained by the visual recognition area image generating means ;
An image processing apparatus for a vehicle, comprising: display means for displaying a composite image obtained by the image composition means .
体形状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線検出手段により検出された輪郭線を、前記撮像位置変換手段によって視点変換された画像上に表示するように合成する輪郭線画像合成手段とを備えた請求項1に記載の車両の画像処理装置。Has a contour detecting unit for detecting a contour line of the vehicle body shape, the contour detected by the contour detecting unit, synthesized to display on the viewpoint transformed image by the imaging position conversion means contour The vehicle image processing apparatus according to claim 1, further comprising a line image synthesis unit.
JP2001400962A 2001-12-12 2001-12-28 Image processing apparatus for vehicle Expired - Fee Related JP4364471B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001400962A JP4364471B2 (en) 2001-12-28 2001-12-28 Image processing apparatus for vehicle
US10/314,230 US7212653B2 (en) 2001-12-12 2002-12-09 Image processing system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001400962A JP4364471B2 (en) 2001-12-28 2001-12-28 Image processing apparatus for vehicle

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2004174330A Division JP4552525B2 (en) 2004-06-11 2004-06-11 Image processing apparatus for vehicle
JP2007142644A Division JP2007302238A (en) 2007-05-29 2007-05-29 Vehicular image processing device

Publications (3)

Publication Number Publication Date
JP2003196645A JP2003196645A (en) 2003-07-11
JP2003196645A5 JP2003196645A5 (en) 2005-04-28
JP4364471B2 true JP4364471B2 (en) 2009-11-18

Family

ID=27605228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001400962A Expired - Fee Related JP4364471B2 (en) 2001-12-12 2001-12-28 Image processing apparatus for vehicle

Country Status (1)

Country Link
JP (1) JP4364471B2 (en)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479183B2 (en) * 2003-08-05 2010-06-09 日産自動車株式会社 Video presentation device
JP2005125828A (en) * 2003-10-21 2005-05-19 Fujitsu Ten Ltd Vehicle surrounding visually confirming system provided with vehicle surrounding visually confirming device
JP4379148B2 (en) * 2004-02-23 2009-12-09 株式会社エクォス・リサーチ Rear confirmation device
JP4744823B2 (en) 2004-08-05 2011-08-10 株式会社東芝 Perimeter monitoring apparatus and overhead image display method
JP4877447B2 (en) * 2004-08-31 2012-02-15 株式会社エクォス・リサーチ Vehicle peripheral image display device
JP4583883B2 (en) * 2004-11-08 2010-11-17 パナソニック株式会社 Ambient condition display device for vehicles
JP2006240383A (en) * 2005-03-01 2006-09-14 National Univ Corp Shizuoka Univ Cruising assist on-vehicle information system
JP4556742B2 (en) * 2005-03-30 2010-10-06 株式会社デンソー Vehicle direct image display control apparatus and vehicle direct image display control program
JP4683272B2 (en) * 2005-04-14 2011-05-18 アイシン・エィ・ダブリュ株式会社 Vehicle external display method and display device
JP4832878B2 (en) * 2005-12-09 2011-12-07 倉敷紡績株式会社 Image composition processing apparatus and method
JP4676373B2 (en) * 2006-04-27 2011-04-27 株式会社デンソー Peripheral recognition device, peripheral recognition method, and program
JP5159070B2 (en) * 2006-08-31 2013-03-06 アルパイン株式会社 Vehicle periphery image display device and display method
JP2011155651A (en) * 2011-02-10 2011-08-11 Toshiba Corp Apparatus and method for displaying vehicle perimeter image
JP6080387B2 (en) * 2012-05-25 2017-02-15 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6205640B2 (en) 2012-07-30 2017-10-04 市光工業株式会社 Warning device for vehicle
JP6148887B2 (en) * 2013-03-29 2017-06-14 富士通テン株式会社 Image processing apparatus, image processing method, and image processing system
JP6056612B2 (en) * 2013-03-29 2017-01-11 アイシン精機株式会社 Image display control device and image display system
JP2015074436A (en) 2013-10-11 2015-04-20 富士通株式会社 Image processing device, image processing method, and program
WO2015104860A1 (en) 2014-01-10 2015-07-16 アイシン精機株式会社 Image display control device and image display system
US10293752B2 (en) 2014-08-28 2019-05-21 The University Of Tokyo Display system for work vehicle, display control device, work vehicle, and display control method
JP6446925B2 (en) 2014-09-05 2019-01-09 アイシン精機株式会社 Image display control device and image display system
JP2017111739A (en) * 2015-12-18 2017-06-22 株式会社デンソー Driving support apparatus and driving support method
JP6707007B2 (en) * 2016-09-27 2020-06-10 株式会社東海理化電機製作所 Vehicle visibility device and vehicle visual image display method
JP6878109B2 (en) * 2017-04-20 2021-05-26 株式会社Subaru Image display device
JP2018177133A (en) * 2017-04-20 2018-11-15 株式会社Subaru Image display device
JP6890288B2 (en) * 2018-03-28 2021-06-18 パナソニックIpマネジメント株式会社 Image processing equipment, image display system and image processing method
JP2019217970A (en) * 2018-06-21 2019-12-26 日本電産コパル株式会社 Electronic mirror device and image display method
JP7073237B2 (en) * 2018-09-25 2022-05-23 アルパイン株式会社 Image display device, image display method
JP7469083B2 (en) 2020-03-10 2024-04-16 住友重機械工業株式会社 Image processing device, image processing method, and image processing system
CN111918035B (en) * 2020-07-31 2022-04-15 上海励驰半导体有限公司 Vehicle-mounted looking-around method and device, storage medium and vehicle-mounted terminal

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05139210A (en) * 1991-11-25 1993-06-08 Nippon Steel Corp Rear view display device for vehicle
JPH07229961A (en) * 1994-02-22 1995-08-29 Hitachi Ltd Apparatus and method of detecting object about vehicle
JP3351984B2 (en) * 1997-04-22 2002-12-03 国土交通省関東地方整備局長 Apparatus and method for improving visibility of working vehicle
JPH11115546A (en) * 1997-10-17 1999-04-27 Harness Syst Tech Res Ltd Display device for vehicle
JP3834967B2 (en) * 1997-11-25 2006-10-18 日産自動車株式会社 Blind spot range display device
JP2000071877A (en) * 1998-08-26 2000-03-07 Nissan Motor Co Ltd Vehicular display device
JP4207298B2 (en) * 1999-03-19 2009-01-14 アイシン・エィ・ダブリュ株式会社 Driving assistance image synthesizer
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP3624769B2 (en) * 1999-09-30 2005-03-02 株式会社豊田自動織機 Image conversion device for vehicle rear monitoring device
JP4537537B2 (en) * 2000-05-25 2010-09-01 パナソニック株式会社 Driving assistance device
JP2001339716A (en) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd Device for monitoring around vehicle and its method

Also Published As

Publication number Publication date
JP2003196645A (en) 2003-07-11

Similar Documents

Publication Publication Date Title
JP4364471B2 (en) Image processing apparatus for vehicle
JP4593070B2 (en) Image processing apparatus for vehicle
US7212653B2 (en) Image processing system for vehicle
JP4914458B2 (en) Vehicle periphery display device
JP6766557B2 (en) Peripheral monitoring device
JP4782963B2 (en) Device for monitoring the surroundings of a parked vehicle
JP5035284B2 (en) Vehicle periphery display device
JP4907883B2 (en) Vehicle periphery image display device and vehicle periphery image display method
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
EP1355285B1 (en) Image display apparatus and method for automotive vehicle
JP4766841B2 (en) Camera device and vehicle periphery monitoring device mounted on vehicle
WO2005084027A1 (en) Image generation device, image generation program, and image generation method
KR20040000303A (en) Method and apparatus for displaying pickup image of camera installed in vehicle
JP4552525B2 (en) Image processing apparatus for vehicle
JP2004026144A (en) Method for monitoring inside and outside of vehicle and vehicle provided with monitoring camera
JP2005110202A (en) Camera apparatus and apparatus for monitoring vehicle periphery
JP5516998B2 (en) Image generation device
JP3876761B2 (en) Vehicle periphery monitoring device
JP5036891B2 (en) Camera device and vehicle periphery monitoring device mounted on vehicle
JP5516988B2 (en) Parking assistance device
JP2003319383A (en) On-vehicle image processing apparatus
JP2007302238A (en) Vehicular image processing device
JP4600999B2 (en) Vehicle perimeter monitoring device
JPH0717328A (en) Circumference recognition auxiliary device for vehicle
JP3807330B2 (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4364471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees