JP2005167309A - 運転支援装置 - Google Patents

Abstract

【課題】 簡易で安価な方法により、路面上の物体を３次元的に表示する。
【解決手段】 運転支援装置は、路面上の物体を平面物として見なし、カメラにより撮影された撮影画像が鳥瞰変換されて統合された統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成する。簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる。
【選択図】 図１

Description

本発明は、車両周辺を撮影して画像を表示することにより、運転手の運転を支援するように構成された運転支援装置に関する。

運転手に車両周辺の状況を確認させることを目的として、複数のカメラにより撮影された複数の撮影画像間の視差に基づいて路面上の物体を３次元情報として検出し、路面上の物体を運転手からの視点に基づいた３次元の画像で表示することにより、車両周辺の状況を運転手に確認させるものがある（例えば特許文献１参照）。
特開２００２−３５９８３８号公報

しかしながら、上記した特許文献１に記載されているものは、路面上の物体を３次元情報として検出する構成であるので、実用レベルで考えると、路面上の物体を３次元情報として検出するために複雑で高価な装置を必要とするという問題や、物体を３次元情報として安定的に検出することが困難であるという問題がある。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる運転支援装置を提供することにある。

請求項１に記載した発明によれば、車両周辺が撮影手段により撮影されると、鳥瞰変換手段は、その撮影画像を鳥瞰変換して鳥瞰画像を作成し、視点変換手段は、その鳥瞰画像を仮想視点で視点変換して視点変換画像を作成し、そして、制御手段は、その視点変換画像を表示手段に表示させる。すなわち、本発明によれば、従来のものとは異なって、路面上の物体を３次元情報として検出するのではなく、路面上の物体を平面物として見なし、撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成し、次いで、その鳥瞰画像を仮想視点で視点変換して視点変換画像を作成して表示するように構成したので、簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる。尚、この場合、鳥瞰画像を仮想視点で視点変換して視点変換画像を作成する際に多少の歪が発生すると考えられるが、路面上の物体を３次元的に表示するという目的が十分に達成することができるので、多少の歪は一般的に許容範囲として受入れられる。

請求項２に記載した発明によれば、統合鳥瞰変換手段は、鳥瞰変換手段により作成された複数の鳥瞰画像を統合して統合鳥瞰画像を作成し、視点変換手段は、その統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成するように構成したので、例えば車両の右側方、左側方および後方の撮影画像が鳥瞰変換された鳥瞰画像を統合して統合鳥瞰画像を作成することにより、車両の右側方、左側方および後方の路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、広範囲な車両周辺の状況を運転手に適切に確認させることができる。

請求項３に記載した発明によれば、収差補正手段は、撮影手段により撮影された撮影画像を収差補正して収差補正画像を作成し、鳥瞰変換手段は、その収差補正画像を鳥瞰変換して鳥瞰画像を作成するように構成したので、撮影手段の撮影範囲が広角な場合であれば、撮影画像にレンズ収差による歪みが発生するが、収差補正することにより、その撮影画像の歪みを除去することができ、これ以降、撮影画像の歪みによる悪影響が視点変換画像に及ぼされることを未然に回避することができ、視点変換画像を適切に作成することができ、違和感の無い視点変換画像を運転手に提供することができる。

請求項４に記載した発明によれば、制御手段は、統合鳥瞰変換手段により作成された統合鳥瞰画像が視点変換手段により仮想視点で視点変換されて作成された視点変換画像を表示手段に表示させる場合に、統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて表示手段に表示させるように構成したので、視点変換画像上で元々の撮影画像同士の境界を運転手に確認させることができる。

請求項５に記載した発明によれば、視点変換手段は、鳥瞰変換手段により作成された鳥瞰画像または統合鳥瞰変換手段により作成された統合鳥瞰画像を任意に設定された仮想視点で視点変換して視点変換画像を作成するように構成したので、例えば車両に近い箇所が視野となるように仮想視点を設定することにより、車両に近い箇所の路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、これに対して、車両から遠い箇所が視野となるように仮想視点を設定すれば、車両から遠い箇所の路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができる。

請求項６に記載した発明によれば、車両状態が車両状態入力手段に入力されると、視点変換手段は、その車両状態に基づいて仮想視点を設定し、鳥瞰変換手段により作成された鳥瞰画像または統合鳥瞰変換手段により作成された統合鳥瞰画像を当該設定された仮想視点で視点変換して視点変換画像を作成するように構成したので、車両状態として例えば車速を入力する場合では、車速が小さい（遅い）場合に車両に近い箇所が視野となるように仮想視点を設定することにより、車両に近い箇所の路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、これに対して、車速が大きい（速い）場合に車両から遠い箇所が視野となるように仮想視点を設定することにより、車両から遠い箇所の路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができる。

請求項７に記載した発明によれば、ユーザ操作が操作受付手段に受付けられると、視点変換手段は、そのユーザ操作に基づいて仮想視点を設定し、鳥瞰変換手段により作成された鳥瞰画像または統合鳥瞰変換手段により作成された統合鳥瞰画像を当該設定された仮想視点で視点変換して視点変換画像を作成するように構成したので、運転手が所望の箇所を設定することにより、運転手の所望の箇所の路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができる。

以下、本発明の一実施形態について、図面を参照して説明する。図２は、運転支援装置の全体構成を機能ブロック図として示している。運転支援装置１は、ＣＰＵ２（本発明でいう収差補正手段、鳥瞰変換手段、統合鳥瞰変換手段、視点変換手段、制御手段）、ワークメモリ３、第１のカメラ４ａ〜第３のカメラ４ｃ（本発明でいう撮影手段）、第１のフレームメモリ５ａ〜第３のフレームメモリ５ｃ、第１の収差補正用マップメモリ６ａ〜第３の収差補正用マップメモリ６ｃ、第１の収差補正画像保存用メモリ７ａ〜第３の収差補正画像保存用メモリ７ｃ、第１の鳥瞰変換用マップメモリ８ａ〜第３の鳥瞰変換用マップメモリ８ｃ、第１の鳥瞰画像保存用メモリ９ａ〜第３の鳥瞰画像保存用メモリ９ｃ、統合鳥瞰変換用マップメモリ１０、統合鳥瞰画像保存用メモリ１１、視点変換用マップメモリ１２、視点変換画像保存用メモリ１３、表示装置１４（本発明でいう表示手段）、車両状態入力インタフェース１５（本発明でいう車両状態入力手段）および操作受付インタフェース１６（本発明でいう操作受付手段）を備えて構成されている。

ＣＰＵ２は、制御プログラムを実行して運転支援装置１の動作全般を制御する。ワークメモリ３は、ＣＰＵ２が制御プログラムを実行する場合にデータを一時的に記憶するなどの作業用記憶領域として機能する。第１のカメラ４ａ〜第３のカメラ４ｃは、車両周囲を撮影し、その撮影画像（カメラ画像）を第１のフレームメモリ５ａ〜第３のフレームメモリ５ｃに出力する。第１のフレームメモリ５ａ〜第３のフレームメモリ５ｃは、第１のカメラ４ａ〜第３のカメラ４ｃから入力された撮影画像を一時的に保存する。

第１の収差補正用マップメモリ６ａ〜第３の収差補正用マップメモリ６ｃは、第１のカメラ４ａ〜第３のカメラ４ｃにより撮影された撮影画像のレンズ収差に起因する歪みを収差補正するのに必要なパラメータを記憶している。第１の収差補正画像保存用メモリ７ａ〜第３の収差補正画像保存用メモリ７ｃは、収差補正画像を保存可能に構成されており、ＣＰＵ２により第１の収差補正用マップメモリ６ａ〜第３の収差補正用マップメモリ６ｃのパラメータが用いられて収差補正画像が作成され、ＣＰＵ２から保存指令信号が入力されると、その作成された収差補正画像を一時的に保存する。

第１の鳥瞰変換用マップメモリ８ａ〜第３の鳥瞰変換用マップメモリ８ｃは、第１の収差補正画像保存用メモリ７ａ〜第３の収差補正画像保存用メモリ７ｃに保存されている収差補正画像を鳥瞰変換するのに必要なパラメータを記憶している。第１の鳥瞰画像保存用メモリ９ａ〜第３の鳥瞰画像保存用メモリ９ｃは、鳥瞰画像を保存可能に構成されており、ＣＰＵ２により第１の鳥瞰変換用マップメモリ８ａ〜第３の鳥瞰変換用マップメモリ８ｃのパラメータが用いられて鳥瞰画像が作成され、ＣＰＵ２から保存指令信号が入力されると、その作成された鳥瞰画像を一時的に保存する。

統合鳥瞰変換用マップメモリ１０は、第１の鳥瞰画像保存用メモリ９ａ〜第３の鳥瞰画像保存用メモリ９ｃに保存されている鳥瞰画像を統合するのに必要なパラメータを記憶している。統合鳥瞰画像保存用メモリ１１は、統合鳥瞰画像を保存可能に構成されており、ＣＰＵ２により統合鳥瞰変換用マップメモリ１０のパラメータが用いられて統合鳥瞰画像が作成され、ＣＰＵ２から保存指令信号が入力されると、その作成された統合鳥瞰画像を一時的に保存する。

視点変換用マップメモリ１２は、統合鳥瞰画像保存用メモリ１１に保存されている統合鳥瞰画像を視点変換するのに必要なパラメータを記憶している。視点変換画像保存用メモリ１３は、視点変換画像を保存可能に構成されており、ＣＰＵ２により視点変換用マップメモリ１２のパラメータが用いられて視点変換画像が作成され、ＣＰＵ２から保存指令信号が入力されると、その作成された視点変換画像を一時的に保存する。

表示装置１４は、例えば液晶ディスプレイから構成されており、ＣＰＵ２から表示指令信号が入力されると、視点変換画像保存用メモリ１３に保存されている視点変換画像を表示する。車両状態入力インタフェース１５は、車速や旋回方向などの車両状態を入力し、その車両状態の内容を示す車両状態信号をＣＰＵ２に出力する。操作受付インタフェース１６は、ユーザ操作を受付け、そのユーザ操作の内容を示すユーザ操作信号ＣＰＵ２に出力する。

尚、上記した構成において、第１のカメラ４ａは、車両の右側方を撮影するように車体の右側に取付けられており、第２のカメラ４ｂは、車両の後方を撮影するように車体の後側に取付けられており、第３のカメラ４ｃは、車両の左側方を撮影するように車体の左側に取付けられている。また、運転支援装置１は、その機能ブロックの一部または全体が車両に搭載可能なナビゲーション装置から構成されていても良い。

次に、上記した構成の作用について、図２ないし図１０を参照して説明する。ここで、図２は、ＣＰＵ２が行う処理をフローチャートとして示している。

ＣＰＵ２は、第１のカメラ４ａ〜第３のカメラ４ｃから第１のフレームメモリ５ａ〜第３のフレームメモリ５ｃを通じて撮影画像を入力すると（ステップＳ１）、第１の収差補正用マップメモリ６ａ〜第３の収差補正用マップメモリ６ｃからパラメータを読出し、第１のカメラ４ａ〜第３のカメラ４ｃから第１のフレームメモリ５ａ〜第３のフレームメモリ５ｃを通じて入力された撮影画像を第１の収差補正用マップメモリ６ａ〜第３の収差補正用マップメモリ６ｃから読出されたパラメータを用いて収差補正し、収差補正画像を作成する（ステップＳ２）。

ここで、ＣＰＵ２は、撮影画像の収差補正を以下の式に準じて行う。すなわち、
（ｘ１，ｙ１）：撮影画像の座標（収差補正前の座標）（画像中心が原点）
（ｘ２，ｙ２）：収差補正画像の座標（収差補正後の座標）（画像中心が原点）
とすると、（ｘ１，ｙ１）は、以下の（１）〜（４）式で表現される収差式により計算される。

ｒｄ²＝ｘ２²＋ｙ２² …（１）
β１＝１＋ｋ₁×ｒｄ＋ｋ₂×ｒｄ²＋ｋ₃×ｒｄ³＋ｋ₄×ｒｄ⁴ …（２）
ｘ１＝ｘ２×β１ …（３）
ｙ１＝ｙ２×β１ …（４）
したがって、ＣＰＵ２は、（ｘ２，ｙ２）を、上記した収差式を逆変換した以下の（５）〜（８）式で表現される収差補正式により計算する。

ｒｄ²＝ｘ１²＋ｙ１² …（５）
β２＝１＋ｋ₁×ｒｄ＋ｋ₂×ｒｄ²＋ｋ₃×ｒｄ³＋ｋ₄×ｒｄ⁴ …（６）
ｘ２＝ｘ１×β２ …（７）
ｙ２＝ｙ１×β２ …（８）
ＣＰＵ２は、計算された（ｘ２，ｙ２）を座標上にマッピングし、収差補正画像を作成する。この場合、ＣＰＵ２は、第１のカメラ４ａから入力された撮影画像を収差補正する処理、第２のカメラ４ｂから入力された撮影画像を収差補正する処理および第３のカメラ４ｃから入力された撮影画像を収差補正する処理を、その処理能力に応じて、シリアルに（連続的に）行っても良いし、パラレルに（並列的に）行っても良い。そして、ＣＰＵ２は、このようにして作成された収差補正画像を第１の収差補正画像保存用メモリ７ａ〜第３の収差補正画像保存用メモリ７ｃに一時的に保存させる。尚、図３は、上記した収差補正の原理を概略的に示している。

次いで、ＣＰＵ２は、第１の鳥瞰変換用マップメモリ８ａ〜第３の鳥瞰変換用マップメモリ８ｃからパラメータを読出し、第１の収差補正画像保存用メモリ７ａ〜第３の収差補正画像保存用メモリ７ｃに保存されている収差補正画像を鳥瞰変換用マップメモリ８ａ〜第３の鳥瞰変換用マップメモリ８ｃから読出されたパラメータを用いて鳥瞰変換し、図４〜図６に示すように、鳥瞰画像を作成する（ステップＳ３）。

ここで、ＣＰＵ２は、収差補正画像の鳥瞰変換を以下の式に準じて行う。すなわち、
（ｘ２，ｙ２）：収差補正画像の座標（鳥瞰変換前の座標）
（ｘ３，ｙ３）：鳥瞰画像の座標（鳥瞰変換後の座標）
Ｈ₁：第１のカメラ４ａ〜第３のカメラ４ｃの高さ
ｆ₁：第１のカメラ４ａ〜第３のカメラ４ｃの焦点距離
θ₁：第１のカメラ４ａ〜第３のカメラ４ｃのアングル
とすると、ＣＰＵ２は、（ｘ３，ｙ３）を、以下の（９），（１０）式で表現される鳥瞰変換式により計算する。

ｙ３＝（Ｈ₁×ｆ₁×sinθ₁−ｙ２×Ｈ₁×cosθ₁）
／（ｆ₁×cosθ₁＋ｙ２×sinθ₁） …（９）
ｘ３＝（Ｈ₁×ｘ２）／（ｆ₁×cosθ₁＋ｙ２×sinθ₁） …（１０）
この場合も、ＣＰＵ２は、第１の収差補正画像保存用メモリ７ａに保存されている収差補正画像を鳥瞰変換する処理、第２の収差補正画像保存用メモリ７ｂに保存されている収差補正画像を鳥瞰変換する処理、第３の収差補正画像保存用メモリ７ｃに保存されている収差補正画像を鳥瞰変換する処理を、その処理能力に応じて、シリアルに行っても良いし、パラレルに行っても良い。そして、ＣＰＵ２は、このようにして作成された鳥瞰画像を第１の鳥瞰画像保存用メモリ９ａ〜第３の鳥瞰画像保存用メモリ９ｃに保存させる。

尚、図４は、車体の右側に取付けられている第１のカメラ４ａにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像を示しており、図５は、車体の後側に取付けられている第２のカメラ４ｂにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像を示しており、図６は、車体の左側に取付けられている第３のカメラ４ｃにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像を示している。

次いで、ＣＰＵ２は、統合鳥瞰変換用マップメモリ１０からパラメータを読出し、第１の鳥瞰画像保存用メモリ９ａ〜第３の鳥瞰画像保存用メモリ９ｃに保存されている鳥瞰画像を統合鳥瞰変換用マップメモリ１０から読出されたパラメータを用いて統合し、図７に示すように、統合鳥瞰画像を作成する（ステップＳ４）。
ここで、ＣＰＵ２は、鳥瞰画像の統合を以下の式に準じて行う。すなわち、
（ｘ３，ｙ３）：鳥瞰画像の座標（統合前の座標）
（ｘ４，ｙ４）：統合鳥瞰画像の座標（統合後の座標）
（ｘ０₁，ｙ０₁）：第１のカメラ４ａ〜第３のカメラ４ｃの取付位置の座標
Φ₁：第１のカメラ４ａ〜第３のカメラ４ｃの取付方向
とすると、ＣＰＵ２は、（ｘ４，ｙ４）を、以下の（１１），（１２）式で表現される統合鳥瞰変換式により計算する。

ｘ４＝（ｘ３×cosΦ₁）−（ｙ３×sinΦ₁）−ｘ０₁ …（１１）
ｙ４＝（ｘ３×sinΦ₁）＋（ｙ３×cosΦ₁）−ｙ０₁ …（１２）
尚、第１のカメラ４ａ〜第３のカメラ４ｃの「（ｘ０₁，ｙ０₁）」および「Φ₁」は、具体的には、本実施形態では、図８に示すように、車体の前端中央部を原点としてｘｙ座標を設定することにより、以下のように示される。

第１のカメラ４ａ：（ｘ０₁，ｙ０₁）＝（７４０，１８６０）ｍｍ、
Φ₁＝９０度（図８中「Ａ」参照）
第２のカメラ４ｂ：（ｘ０₁，ｙ０₁）＝（０，２１４０）ｍｍ、
Φ₁＝１８０度（図８中「Ｂ」参照）
第３のカメラ４ｃ：（ｘ０₁，ｙ０₁）＝（−７４０，１８００）ｍｍ、
Φ₁＝−９０度（図８中「Ｃ」参照）
そして、ＣＰＵ２は、このようにして作成された統合鳥瞰画像を統合鳥瞰画像保存用メモリ１１に保存させる。尚、図７中「Ｍ１」は、車両図形を示しており、「Ｌ１１」は、第１のカメラ４ａにより撮影された撮影画像に相当する部分を示しており、「Ｌ２１」は、第２のカメラ４ｂにより撮影された撮影画像に相当する部分を示しており、「Ｌ３１」は、第３のカメラ４ｃにより撮影された撮影画像に相当する部分を示している。

次いで、ＣＰＵ２は、仮想カメラの視点（本発明でいう仮想視点）を設定する（ステップＳ５）。ここで、ＣＰＵ２は、予め設定されている初期位置を仮想視点として設定しても良いし、車両状態入力インタフェース１５から入力されている車両状態信号を解析し、車速や旋回方向などを抽出することにより、それら車速や旋回方向などに応じた位置を仮想視点として設定しても良いし、操作受付インタフェース１６から入力されているユーザ操作信号を解析し、ユーザ操作を抽出することにより、そのユーザ操作に応じた位置を仮想視点として設定しても良い。

次いで、ＣＰＵ２は、視点変換用マップメモリ１２からパラメータを読出し、統合鳥瞰画像保存用メモリ１１に保存されている統合鳥瞰画像を視点変換用マップメモリ１２から読出されたパラメータを用いて、図１０に示すように、仮想視点で視点変換して視点変換画像を作成する（ステップＳ６）。

ここで、ＣＰＵ２は、統合鳥瞰画像の視点変換を以下の式に準じて行う。すなわち、
（ｘ４，ｙ４）：統合鳥瞰画像の座標（視点変換前の座標）
（ｘ５，ｙ５）：視点変換画像の座標（視点変換後の座標）
Ｈ₂：仮想カメラの高さ
ｆ₂：仮想カメラの焦点距離
θ₂：仮想カメラのアングル
（ｘ０₂，ｙ０₂）：仮想カメラの取付位置の座標
Φ₂：仮想カメラの取付方向
とすると、ＣＰＵ２は、（ｘ５，ｙ５）を、以下の（１３）〜（１５）式で表現される視点変換式により計算する。尚、ここでは、Φ₂＝「１８０度」に固定されていることを前提とする。

（ｘ４´，ｙ４´）＝（ｘ４−ｘ０₂，ｙ４−ｙ０₂） …（１３）
ｙ５＝（Ｈ₂×ｆ₂×sinθ₂−ｙ４´×ｆ₂×cosθ₂）
／（Ｈ₂×cosθ₂＋ｙ４´×sinθ₂） …（１４）
ｘ５＝（ｆ₂×ｘ４´）／（Ｈ₂×cosθ₂＋ｙ４´×sinθ₂） …（１５）
尚、仮想カメラの「（ｘ０₂，ｙ０₂）」は、具体的には、本実施形態では、図９に示すように、車体の後端中央部を原点としてｘｙ座標を設定することにより、以下のように示される。

（ｘ０₂，ｙ０₂）＝（０，−２０００）ｍｍ（図９中「Ｄ」参照）
また、仮想カメラは、取付高さが「２０００ｍｍ」、カメラアングルが「５０度」の設定で取付けられており、例えば焦点距離が「１．８ｍｍ」、画素サイズが「７．４μｍ」、画素数が「６４０×４８０ドット」の性能の有している。

そして、ＣＰＵ２は、このようにして作成された視点変換画像を視点変換画像保存用メモリ１３に保存させ、視点変換画像を表示装置１４に表示させる（ステップＳ７）。尚、図１０中「Ｍ２」は、車両図形を示しており、「Ｌ１２」は、第１のカメラ４ａにより撮影された撮影画像に相当する部分を示しており、「Ｌ２２」は、第２のカメラ４ｂにより撮影された撮影画像に相当する部分を示しており、「Ｌ３２」は、第３のカメラ４ｃにより撮影された撮影画像に相当する部分を示している。

また、この場合、ＣＰＵ２は、第１のカメラ４ａにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像、第２のカメラ４ｂにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像および第３のカメラ４ｃにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像が統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて表示装置１４に表示させる（図１０中「Ｐ」，「Ｑ」参照）。

ところで、以上は、第１のカメラ４ａ〜第３のカメラ４ｃにより撮影された撮影画像が収差補正されて鳥瞰変換される場合を説明したものであるが、レンズ収差による歪みの程度が小さい場合や、レンズ収差による歪みが許容される場合などであれば、第１のカメラ４ａ〜第３のカメラ４ｃにより撮影された撮影画像が収差補正されることなく鳥瞰変換される構成であっても良い。また、以上は、３枚の鳥瞰画像が統合された統合鳥瞰画像が仮想視点で視点変換される場合を説明したものであるが、単純に１枚の鳥瞰画像が仮想視点で視点変換される構成であっても良い。また、鳥瞰画像が統合される以前の鳥瞰画像同士の境界が表示されない構成であっても良い。

以上に説明したように本実施形態によれば、運転支援装置１において、路面上の物体を３次元情報として検出するのではなく、路面上の物体を平面物として見なし、第１のカメラ４ａ〜第３のカメラ４ｃにより撮影された撮影画像が鳥瞰変換されて統合された統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成して表示するように構成したので、複雑で高価な装置を必要とすることなく、簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる。

また、この場合は、第１のカメラ４ａ〜第３のカメラ４ｃにより撮影された撮影画像が鳥瞰変換された３枚の鳥瞰画像を統合して統合鳥瞰画像を作成し、その統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成して表示するように構成したので、車両の右側方、左側方および後方の路面上の物体を運転手からの視点に基づいた３次元の画像で表示することができ、広範囲な車両周辺の状況を運転手に適切に確認させることができる。

また、この場合は、撮影画像を収差補正して収差補正画像を作成し、その収差補正画像を鳥瞰変換して鳥瞰画像を作成するように構成したので、第１のカメラ４ａ〜第３のカメラ４ｃの撮影範囲が広角な場合であっても、レンズ収差による撮影画像の歪みを除去することができ、これ以降、撮影画像の歪みによる悪影響が視点変換画像に及ぼされることを未然に回避することができ、違和感の無い視点変換画像を運転手に提供することができる。

さらに、この場合は、鳥瞰画像が統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて表示するように構成したので、視点変換画像上で元々の撮影画像同士の境界を運転手に確認させることができる。

本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
カメラの台数が３台以外の台数であっても良く、また、カメラの取付位置が車体の右側、左側および後側以外であっても良い。
各マップメモリおよび各画像保存用メモリが一体に構成されていても良い。
仮想カメラの取付位置の座標、取付方向、取付高さおよびカメラアングルなどが任意に設定される構成であっても良く、各パラメータが考慮された視点変換式により視点変換画像の座標が計算される構成であっても良い。

本発明の一実施形態の処理の手順を示すフローチャート 機能ブロック図 撮影画像および収差補正画像を示す図 収差補正画像および鳥瞰画像を示す図 図４相当図 図４相当図 統合鳥瞰画像を示す図 第１のカメラ〜第３のカメラの取付位置を概略的に示す図 仮想カメラの取付位置を概略的に示す図 視点変換画像を示す図

符号の説明

図面中、１は運転支援装置、２はＣＰＵ（収差補正手段、鳥瞰変換手段、統合鳥瞰変換手段、視点変換手段、制御手段）、４ａ〜４ｃは第１のカメラ〜第３のカメラ（撮影手段）、１４は表示装置（表示手段）、１５は車両状態入力インタフェース（車両状態入力手段）、１６は操作受付インタフェース（操作受付手段）である。

Claims (7)

1. 車両周辺を撮影する撮影手段と、
   前記撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰変換手段と、
   前記鳥瞰変換手段により作成された鳥瞰画像を仮想視点で視点変換して視点変換画像を作成する視点変換手段と、
   前記視点変換手段により作成された視点変換画像を表示手段に表示させる制御手段とを備えたことを特徴とする運転支援装置。
2. 請求項１に記載した運転支援装置において、
   前記鳥瞰変換手段により作成された複数の鳥瞰画像を統合して統合鳥瞰画像を作成する統合鳥瞰変換手段を備え、
   前記視点変換手段は、前記統合鳥瞰変換手段により作成された統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。
3. 請求項１または２に記載した運転支援装置において、
   前記撮影手段により撮影された撮影画像を収差補正して収差補正画像を作成する収差補正手段を備え、
   前記鳥瞰変換手段は、前記収差補正手段により作成された収差補正画像を鳥瞰変換して鳥瞰画像を作成することを特徴とする運転支援装置。
4. 請求項２または３に記載した運転支援装置において、
   前記制御手段は、前記統合鳥瞰変換手段により作成された統合鳥瞰画像が前記視点変換手段により仮想視点で視点変換されて作成された視点変換画像を前記表示手段に表示させる場合に、統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて前記表示手段に表示させることを特徴とする運転支援装置。
5. 請求項１ないし４のいずれかに記載した運転支援装置において、
   前記視点変換手段は、前記鳥瞰変換手段により作成された鳥瞰画像または前記統合鳥瞰変換手段により作成された統合鳥瞰画像を任意に設定された仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。
6. 請求項５に記載した運転支援装置において、
   車両状態を入力する車両状態入力手段を備え、
   前記視点変換手段は、前記車両状態入力手段に入力された車両状態に基づいて仮想視点を設定し、前記鳥瞰変換手段により作成された鳥瞰画像または前記統合鳥瞰変換手段により作成された統合鳥瞰画像を当該車両状態に基づいて設定された仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。
7. 請求項５に記載した運転支援装置において、
   ユーザ操作を受付ける操作受付手段を備え、
   前記視点変換手段は、前記操作受付手段に受付けられたユーザ操作に基づいて仮想視点を設定し、前記鳥瞰変換手段により作成された鳥瞰画像または前記統合鳥瞰変換手段により作成された統合鳥瞰画像を当該ユーザ操作に基づいて設定された仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。
   
   

Images