JP2007251880A - 車両用画像表示装置および画像合成方法 - Google Patents

Abstract

【課題】 車両に設置された複数の撮像カメラの撮像画像を合成表示する車載用画像表示装置において、障害物を表示する際、表示画像上で違和感が生じないようにする。
【解決手段】 出力制御部８はハンドル舵角検出部６より検出されるハンドル舵角と車両情報記憶部７に記憶される車両情報とに基づいて車両の進行予測軌跡を算出し、この進行予測軌跡に基づき画像境界線を設定し、撮像カメラ画像の撮像画像を合成し、ディスプレイ９で表示する。
【選択図】図１１

Description

本発明は、車両の複数の個所にそれぞれ設置された撮像カメラにより撮像された画像を基に、所定の視点から見た合成画像を生成して表示する車両用画像表示装置に関し、特に、車両の真上方向から見下ろすように車両の全周囲を表示する技術に関する。

車両は構造上、車体自体が運転者の視線を遮蔽し、死角を生ずることは避けられない。しかし、障害物の回避や歩行者、他車との接触を避けるためには、こうした死角を可能な限り低減することが好ましい。

死角を低減する方法として、車の前後左右に複数の撮像カメラ（例えば魚眼カメラ）を取り付け、撮影した画像信号を視点変換（座標変換）し、あたかも自車を真上方向から見たように、自車周囲の画像をモニタに映し出す表示（トップビュー表示）が知られている。トップビュー表示は、例えば図１５に示すように、車両の前方の撮像カメラ１で撮像された画像信号Ａ、車両の左方の撮像カメラ２で撮像された画像信号Ｂ、車両の右方の撮像カメラ３で撮像された画像信号Ｃ、および車両の後方の撮像カメラ４で撮像された画像信号Ｄにおいて基準点をOとして視点変換し、画像信号Ａおよび画像信号Ｂの合成境界線を３５、画像信号Ａおよび画像信号Ｃの合成境界線を３６、画像信号Ｂおよび画像信号Ｄの合成境界線を３７、画像信号Ｃおよび画像信号Ｄの合成境界線を３８として車両の真上方向から見下ろすように合成された画像である。

トップビュー表示により真上方向から見下ろした合成画像を生成する際、撮像カメラ間の画像を合成する境界線の位置により障害物の表示に違和感が生じるという問題がある。例えば図１６に示すように、車両の側部に沿ってガードレール３９などが存在するとき、画像信号Ａと画像信号Ｂの合成境界線３５や、画像信号Bと画像信号Ｄの合成境界線３７において、ガードレール３９の大きさにズレが生じてしまい、表示に違和感を与えてしまう。これは、画像信号Ａや画像信号Ｄを生成する撮像カメラ１、４と画像信号Ｂを生成する撮像カメラ２の取り付け位置や撮像方向が異なるためである。

また、車両４０の左後方に障害物４１が存在し、車両が後進しながら左折する場合において、車両４０が進行予測軌跡４２に沿って走行するならば、合成画像は時間変化に伴い、図１７（ａ）〜（ｃ）の順で表示される。図１７（ａ）において車両４０の左後方に障害物４１があると、障害物４１が撮像カメラ４の画像信号Ｄを用いて視点変換するため、左後方に引きのばされたように表示される。その後、図１７（ｂ）に示すように、障害物４１が画像境界線３７上に到達すると、障害物４１は視点変換の際に生じる誤差の影響により、画像合成の際にボケて表示されたり、消失したりする。そして、障害物４１が合成境界線３７上を通過すると、図１７（ｃ）に示すように、障害物４１が撮像カメラ２の画像信号Ｂを用いて視点変換するため、後方に引きのばされたように再表示される。

したがって、トップビュー表示により真上方向から見下ろした合成画像を生成する際に、障害物が合成境界線をまたがるように合成境界線を設定すると、障害物が合成境界線上に存在した場合に、ボケて表示されたり、消失したりするため、表示に違和感を与えてしまう。

この課題を解決するために、従来、ハンドル舵角に基づいて撮像カメラ間の画像の合成境界線を設定し、車両周辺の状況を運転者に確実に認知させることが可能な車両用画像表示装置が提案されている。

特許文献１では、複数のカメラで取得した画像を基にして視点変換と画像合成を行う車両周辺モニタ装置に関し、ハンドル舵角に基づいて車両の進行予測軌跡を算出し、算出された進行予測軌跡側では進行予測軌跡から離れた位置に画像合成時の合成境界線を設定するものである。
特開２００２−１６６８０２号公報

特許文献２では、画像処理装置に関し、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたマッピングテーブルを用いて、ハンドル舵角やウインカーなどの車両の状態に応じて自動的にマッピングテーブルを選択し、表示態様を切り替えるものである。
特開２００３−２６４８２７号公報

ここで、特許文献１の車両周辺モニタ装置の画像合成方法を説明する。

図１８（ａ）に示すように、車両４３の左後方に障害物４４が存在し、車両が後進しながら左折する場合において、車両４３の左後部が障害物４４に最も接近し、接触するおそれがある。まず、ハンドル舵角に基づいて車両４３の左後部の進行予測軌跡４５を算出する。運転者に対してこの車両４３の左後部の進行予測軌跡４５上の障害物４４を正確に表示することが望ましいため、進路上の画像信号を取得している撮像カメラ４の画像信号Ｄを表示するよう合成境界線を設定する。すなわち合成境界線４６をこの進行予測軌跡から最も離れた位置（撮像カメラ４側）に設定する。
しかしながら、特許文献１の車両周辺モニタ装置では、車両４３が地点１８に到達した際、図１８（ｂ）に示すように、合成境界線４６上に障害物４４が存在することから、障害物４４はボケて表示されたり、消失したりしてしまう。

特許文献２では、ハンドル舵角やウインカーなどの車両の状態に応じて自動的にマッピングテーブルを選択し、表示態様を切り替えるものであるが、ハンドル舵角やウインカーの車両状態を利用したマッピングテーブルの自動選択に関する具体的手法については記載されていない。

本発明は、画像合成時に障害物のボケて表示されたり、消失したりすることを防止し、車両周囲に存在する障害物等の物体をより正確に見易く表示することができる車両用画像表示装置および画像合成方法の提供を目的とする。

上記課題は本発明によれば、車両の複数の個所にそれぞれ設置されたカメラにより撮像された画像を基に、所定の視点から見た合成画像を生成して表示する車両用画像表示装置において、車両の進行予測軌跡を算出する予測軌跡算出手段と該予測軌跡算出手段により算出された進行予測軌跡が直進であるか否かを判定する直進判定手段と、該予測軌跡算出手段により算出された予測軌跡と前記直進判定手段の判定結果とに基づいて、前記複数のカメラで撮像された画像を合成する際の画像の合成境界線を設定する合成境界線設定手段と、該合成境界線設定手段により設定された合成境界線に基づいて前記複数のカメラで撮像した画像を合成する画像合成手段と、前記画像合成手段により合成された車両周辺の画像を表示する表示手段とを備えることにより達成される。

前記直進判定手段により進行予測軌跡が直進であると判定された場合、前記合成境界線設定手段は、前記進行予測軌跡を前記合成境界線として設定するとよい。

前記直進判定手段により進行予測軌跡が直進以外であると判定された場合、前記合成境界線設定手段は、前記進行予測軌跡における車両内輪側のニ隅の進行予測軌跡を前記合成境界線として設定すると共に、前記進行予測軌跡における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を前記合成境界線として設定するとよい。

前記合成境界線設定手段は、前記進行予測軌跡における車両内輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線を前記合成境界線として設定すると共に、前記進行予測線における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を前記合成境界線として設定するとよい。

車両のハンドル舵角を検出するハンドル舵角検出手段と、車両情報を記憶する車両情報記憶手段とを更に備え、前記予測軌跡算出手段は、前記ハンドル舵角検出手段の検出結果と、前記車両情報記憶手段の車両情報とに基づいて、前記進行予測軌跡を算出するとよい。

車両の複数の個所にそれぞれ設置された撮像カメラにより撮像された画像を基に、所定の視点から見た合成画像を生成して表示する車両用画像表示装置の画像表示方法において、車両の進行予測軌跡を算出し、該進行予測軌跡が直進であるか否かを判定し、該進行予測軌跡と該進行予測軌跡が直進であるか否かの判定結果とに基づいて、前記複数の撮像カメラで撮像された画像を合成する際の画像の合成境界線を設定し、該合成境界線に基づいて前記複数の撮像カメラで撮像した画像を合成する画像合成方法により達成される。

本発明によれば、複数のカメラで撮像された画像を合成する際の画像の合成境界線を車両の進行予測軌跡と進行予測軌跡が直進であるか否かの判定結果とに基づいて設定し、その合成境界線に基づいて合成処理を行うため、障害物が消失したりボケたりすることを防ぐことができる。

本発明によれば、進行予測軌跡が直進であると判定された場合、進行予測軌跡を合成境界線として設定するため、障害物が消失したりボケたりすることを防ぐことができる。

本発明によれば、進行予測軌跡が直進以外であると判定された場合、進行予測軌跡における車両内輪側のニ隅の進行予測軌跡を合成境界線として設定すると共に、進行予測軌跡における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を合成境界線として設定するため、車両内輪側は障害物が合成画像の合成境界線上を通過することを避けることができると共に、車両外輪側は障害物のボケて表示されたり、消失したりする時間を最小限に抑えることができる。

本発明によれば、進行予測軌跡が直進以外であると判定された場合、進行予測軌跡における車両内輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線を合成境界線として設定すると共に、進行予測線における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を前記合成境界線として設定するため、画像合成時において車両内輪側の合成処理の演算量を、車両内輪側のニ隅の進行予測軌跡を合成境界線として設定する場合と比較して削減することができる。

本発明の最良の実施の形態について図面を参照して詳細に説明する。

図１は、本発明における車両用画像表示装置の構成を示すブロック図である。本実施例の車両用画像表示装置の制御装置は、全体の制御を行う出力制御部８と、画像信号を処理する画像処理部５を備えている。画像処理部５には、車両の複数の箇所、例えば後述する４箇所、に設置された撮像カメラ１〜４それぞれの画像信号が入力される。一方、出力制御部８には、運転席に設置されているディスプレイ９が接続されるとともに、ハンドル舵角検出部６により検出されたハンドル舵角信号と車両情報記憶部７に記憶された車両情報が入力される。

図２は本発明における撮像カメラの設置例と撮像領域を示す図である。ここでは４台の撮像カメラが設置されているものとする。
撮像カメラ１〜４は、ＣＣＤやＣＭＯＳイメージセンサを用いて構成される。撮像カメラ１は、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ１で撮像する。撮像カメラ２、３は、車両の側部を視野角θ２、θ３で撮像する。撮像カメラ４は、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ４で撮像する。撮像カメラの視野角θ１、θ２、θ３、θ４は、隣接する撮像カメラの視野角と端部がオーバーラップし、撮像カメラ１〜４により車両の全周囲を撮像できるようになっている。また、本実施例では全ての撮像カメラの視野角は１８０度に設定しているものとする。

画像処理部５は、図２に示す撮像カメラ１〜４の画像信号を入力し、入力した画像信号をディジタル信号に変換するとともに、トップビュー表示を行うため、画像信号を視点変換（座標変換）し、あたかも自車を真上から見たように画像を生成する。視点変換の処理は、ソフトウェアにより実行するものでも、ハードウェア回路により実行するものであってもよい。

ハンドル舵角検出部６は、車内用通信バス等に接続された舵角センサーを用いて、バス通信を介してハンドル舵角信号を検出する。このハンドル舵角信号は出力制御部８に出力される。

車両情報記憶部７はホイールベース情報、車両の全長、車両の全幅等の車両情報を記憶している。これらの情報は車両の進行予測軌跡を算出するために使用され、出力制御部８に出力される。

出力制御部８は、例えばマイクロコンピュータを用いて構成され、画像の合成方法を制御するためのプログラムをＲＯＭやＲＡＭ等を含んでいる。出力制御部８は、ハンドル舵角検出部６により検出されたハンドル舵角と車両情報記憶部７に記憶されたホイールベース情報、車両の全長、車両の全幅等の車両情報とに基づいて車両の進行予測軌跡を算出する。そして、車両の進行予測軌跡に基づいて合成境界線を設定し、その合成境界線に基づいて、画像処理部５で視点変換された画像の合成を行い、ディスプレイ９に表示する。

図３は、アッカーマン理論曲線に基づき車両の進行予測軌跡を算出する例を示す図である。１０は車両、θはハンドル舵角検出部により検出されたハンドル舵角、Lは車両情報記憶部７に記憶されたホイールベース情報、１１は車両１０の進行予測軌跡の回転中心、Xは車両１０の進行予測軌跡の回転中心１１から内輪側の前輪までの距離である。
また、車両１０の内輪側の前輪と車両１０の進行予測軌跡の回転中心１１と車両１０の内輪側の後輪がなす角度は、ハンドル舵角検出部により検出されたハンドル舵角θとなる。
したがって、車両の進行予測軌跡の回転中心１１から車両内輪側の前輪までの距離Xは、ハンドル舵角検出部により検出されたハンドル舵角θ、車両情報記憶部７に記憶されたホイールベース情報Lを用いると、数１により算出することができる。

輪までの距離Xおよび車両情報記憶部７に記憶された車両の全長や車両の全幅等の車両情報とに基づいて、車両１０の進行予測軌跡の回転中心１１を中心とした車両１０の隅を通る円弧１２〜１５を算出する。この円弧１２〜１５を車両１０が進行すると予測される進行予測軌跡とする。

図４は、本発明における車両用画像表示装置の画像合成処理のフローチャートを示すものであり、この制御は主として出力制御部８によって実行されるものであり、この制御は車両のイグニッションキーがオンにされてからオフにされるまで繰り返し実行される。

車両の動作開始に伴い、撮像カメラ１〜４は車両周囲を撮像し、その画像信号が画像処理部５に出力される。画像処理部５は、それぞれの画像信号を車両の真上方向から見下ろした視点に変換し、その変換された画像信号を出力制御部８へ供給する（ステップ１０１）。出力制御部８は、舵角センサーの出力値を読み取り、ハンドル舵角を読み込む（ステップ１０２）。出力制御部８は、車両情報記憶部７からホイールベース情報、車両の全長、車両の全幅等の車両情報を読み出す（ステップ１０３）。

ステップ１０２で読み込んだハンドル舵角とステップ１０３で読み出したホイールベース情報、車両の全長、車両の全幅等の車両情報に基づき車両の進行予測軌跡を算出する（ステップ１０４）。

出力制御部８は、ステップ１０４で算出した進行予測軌跡に基づき合成境界線の設定を行う（ステップ１０５）。出力制御部８はステップ１０５で設定した合成境界線とステップ１０１により入力された視点変換画像を合成し、得られた合成画像をディスプレイ９に表示する（ステップ１０６）。

次に、ステップ１０５による合成境界線の設定の詳細について説明する。図５は合成境界線設定において出力制御部８が実行する具体的動作を示すフローチャートである。

まず、出力制御部８は、ステップ１０２で読み込んだハンドル舵角情報から車両の進行予測軌跡１２〜１５が直進であるか否かを判定する（ステップ１０７）。

ステップ１０７により、車両の進行予測軌跡１２〜１５が直進であると判定された場合、出力制御部８は、ステップ１０４において算出された車両の進行予測軌跡１２〜１５を合成境界線として設定する（ステップ１０８）。したがって、図６に示すように、車両の前方となる領域を、撮像カメラ１により撮像された画像信号Ａで表示し、車両の側方となる領域を、撮像カメラ２、３により撮像された画像信号Ｂ、Ｃでそれぞれ表示し、車両の後方となる領域を、撮像カメラ４により撮像された画像信号Ｄで表示する。すなわち、ステップ１０６により、画像信号Ａと画像信号Ｂは合成境界線１２で合成され、画像信号Ａと画像信号Ｃは合成境界線１３で合成され、画像信号Ｂと画像信号Ｄは合成境界線１４で合成され、画像信号Ｃと画像信号Ｄは合成境界線１５で合成され、ディスプレイ９により表示される。

例えば、車両が前進しながら直進するとき場合、車両の前方を遮るような障害物は少なく、主に車両の側部に縁石、ガードレール、隣の車などが存在する。従来では図１６に示すように、車両の側部に沿ってガードレール３９などが存在するとき、画像信号Ａと画像信号Ｂの合成境界線３５や、画像信号Ｂと画像信号Ｄの合成境界線３７において、ガードレール３９の大きさにズレが生じてしまい、表示に違和感を与えてしまっていた。本発明では、図７に示すように、画像合成の際の合成境界線を車両の進行予測軌跡１２〜１５に設定するため、車両の側部の全域が撮像カメラ２により撮像された画像信号Ｂで表示される。したがって、ガードレール１６が画像の境界にまたがることが解消もしくは減少され、合成境界線１２〜１５においてガードレールの形状が不連続となるような違和感を抑制することができる。

ステップ１０７により、車両の進行予測軌跡１２〜１５が直進以外であると判定された場合、車両内輪側の合成境界線の設定について、出力制御部８は、ステップ１０４により算出された車両内輪側のニ隅の進行予測軌跡を合成境界線として設定する（ステップ１０９）。

例えば、車両の左後方に障害物１７が存在し、車両が後進しながら左折する場合において、車両内輪側のニ隅の進行予測軌跡１２および１４を合成境界線として設定することにより、車両内輪側の合成画像は時間変化に伴い、図８（ａ）〜（ｃ）の順で表示される。よって、特許文献１の車両周辺モニタ装置では、図１８（ｂ）に示されるように、車両が地点１８に到達した際、合成境界線４６上に障害物４４が存在することから、障害物４４はボケて表示されたり、消失したりしてしまうことがあるが、本発明では、図８（ｂ）に示されるように、車両が地点１８に到達した際、障害物１７が合成境界線１４上を通過することがない。そのため、トップビュー表示において立体的な障害物を違和感なく、正確に表示することができる。

また、車両外輪側の合成境界線の設定について、出力制御部８は、ステップ１０４により算出された車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な直線を算出し（ステップ１１０）、その直線を合成境界線として設定する（ステップ１１１）。
例えば、ステップ１０７により車両の進行予測軌跡１２〜１５が左方向であると判定された場合、図９に示すように、出力制御部８は、ステップ１０４により算出された車両外輪側のニ隅の進行予測軌跡１３および１５において車両の隅を接点とした接線１９および２０を算出し、その接線に垂直な直線２１および２２を合成境界線として設定する。これにより、合成画像を表示する際にボケて表示されたり、消失したりする時間を最小に抑えることができる。

ここで、合成境界線を車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な直線と設定した場合に合成画像を表示する際にボケて表示されたり、消失したりする時間を最小に抑えることができる原理について説明する。

図１０（ａ）〜（ｃ）は車両が一定速度で微小時間、後進しながら左折している図であり、図１０（ａ）は合成境界線を車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線を算出し、その接線に垂直な直線と設定した場合、図１０（ｂ）は合成境界線を車両の後部バンパーに対して垂直な直線で設定した場合、図１０（ｃ）は合成境界線を車両の後部バンパーに対して平行な直線で設定した場合である。
２３は車両、２４は障害物、２５はステップ１０４で算出した車両右後部の隅の進行予測軌跡である。但し、進行予測軌跡２５は実際には曲線となるが、微小時間の進行予測軌跡であるため、車両右後部の隅を接点とした接線で近似している。

図１０（ａ）に示すように合成境界線を車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な直線２６と設定した場合、合成境界線が障害物２４上に存在するのは車両２３がＥＦ区間を走行している時である。一方、合成境界線を車両２３の後部バンパーに対して垂直な直線２７で設定した場合、合成境界線が障害物２４上に存在するのは、図１０（ｂ）に示すように、車両２３がＧＨ区間を走行している時となる。また、合成境界線を車両２３の後部バンパーに対して平行な直線２８で設定した場合、合成境界線が障害物２４上に存在するのは、図１０（ｃ）に示すように、車両２３がＩＪ区間を走行している時となる。以上より、障害物２４が合成境界線上に存在する区間の長さが最小となる場合は、合成境界線を車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な直線２６と設定した場合である。したがって、合成境界線を車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な直線２６と設定することにより、障害物２４が合成画像を表示する際にボケて表示されたり、消失したりする時間を最小にすることができる。

以上、上記フローチャートにより、ハンドルを左に回した場合は、図１１に示すように、画像信号Ａと画像信号Ｂは車両内輪側の進行予測軌跡１２を合成境界線として合成され、画像信号Ａと画像信号Ｃは車両外輪側の進行予測軌跡において車両の隅を接点とした接線に垂直な直線２１を合成境界線として合成され、画像信号Ｂと画像信号Ｄは車両内輪側の進行予測軌跡１４を合成境界線として合成され、画像信号Ｃと画像信号Ｄは車両外輪側の進行予測軌跡において車両の隅を接点とした接線に垂直な直線２２を合成境界線として合成され、ディスプレイ９により表示される。

また、ハンドルを右に回した場合は、図１２に示すように、画像信号Ａと画像信号Ｂは車両外輪側の進行予測軌跡１２において車両の隅を接点とした接線に垂直な直線２９を合成境界線として合成され、画像信号Ａと画像信号Ｃは車両内輪側の進行予測軌跡１３を合成境界線として合成され、画像信号Ｂと画像信号Ｄは車両外輪側の進行予測軌跡において車両の隅を接点とした接線に垂直な直線３０を合成境界線として合成され、画像信号Ｃと画像信号Ｄは車両内輪側の進行予測軌跡１５を合成境界線として合成され、ディスプレイ９により表示される。

本実施例では、車両内輪側の合成境界線の設定において、車両内輪側の隅の進行予測軌跡を合成境界線として設定としたが、車両の進行予測軌跡のような曲線を合成境界線として設定すると、ステップ１０６による画像合成処理の演算量が増大してしまい、車両用画像表示装置の性能により、リアルタイムでディスプレイ９に表示することが困難となる可能性がある。その際には、ハンドルを左に回した場合は、図１３に示すように、車両内輪側の合成境界線を、ステップ１０４により算出される車両内輪側のニ隅の進行予測軌跡１２および１４において車両の隅を接点とした接線３１および３２に設定し、ハンドルを右に回した場合は、図１４に示すように、車両内輪側の合成境界線を、ステップ１０４により算出される車両内輪側のニ隅の進行予測軌跡１３および１５において車両の隅を接点とした接線３３および３４に設定する。これにより、画像合成時において合成境界線を直線とすることができ、車両内輪側の合成処理の演算量を、車両内輪側のニ隅の進行予測軌跡を合成境界線として設定する場合と比較して削減することができると共に、トップビュー表示において立体的な障害物を違和感なく、正確に表示することができる。

上記実施例では、４台の撮像カメラ１〜４を用いてトップビュー表示を行う例を示したが、撮像カメラの数はこれに限定されるものではない。

上記実施例では、車両の全周囲の合成画像を生成する例を示したが、これに限らず、車両の前方、後方または側部など車両周辺の一部の画像を生成するシステムであってもよい。

以上、本発明の実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本実施例の車両用画像表示装置によれば、車両の進行予測軌跡に応じて画像の合成境界線を変更するようにしたので、トップビュー表示において立体的な障害物を違和感なく、正確に表示することができ、事前に危険を報知することができる。

本発明に係る車両用画像表示装置は、車両等の安全運転支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。

本発明に係る車両用画像表示装置の構成図である。 本発明における撮像カメラの設置例と撮像領域を示す図である。 車両の進行予測軌跡を算出する例を示す図である。 本発明における車両用画像表示装置の画像合成処理のフローチャートである。 合成境界線設定の動作を示すフローチャートである。 車両の進行予測軌跡が直進である場合の合成境界線の設定方法を示す図である。 車両の進行予測軌跡が直進である場合の表示結果の一例を示す図である。 車両内輪側のニ隅の進行予測軌跡を合成境界線した場合の車両内輪側における合成画像の表示結果の一例を示す図である。 車両の進行予測軌跡が直進以外であると判定された場合の車両内輪側の合成境界線の設定方法を示す図である。 合成境界線を車両外輪側の進行予測軌跡において車両の隅を接点とした接線に垂直な直線と設定した場合に障害物がボケて表示されたり、消失したりする時間を最小に抑えることができる原理を説明する図である。 ハンドルを左に回した場合の合成境界線の設定方法を示す図である。 ハンドルを右に回した場合の合成境界線の設定方法を示す図である。 ハンドルを左に回し、車両内輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に設定した場合の合成境界線の設定方法を示す図である。 ハンドルを右に回し、車両内輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に設定した場合の合成境界線の設定方法を示す図である。 従来の合成境界線の設定方法を示す図である。 従来の画像合成方法において合成境界線上でガードレールが消失して表示される図である。 従来の画像合成方法において車両が後進しながら左折する場合に障害物が消失して表示される図である。 特許文献１の車両周辺モニタ装置の画像合成方法を説明する図である。

符号の説明

１０、２３、４０、４３・・車両
１１・・進行予測軌跡の回転中心
１２、１３、１４、１５、２５、４２、４５・・進行予測軌跡
１６、３９・・ガードレール
１７、２４、４１、４４・・障害物
１８・・進行予測軌跡上の地点
１９、２０、２６・・車両外輪側の進行予測軌跡における車両の隅を接点とした接線
２１、２２、２９、３０・・車両外輪側の合成境界線
２７・・後部バンパーに対して垂直な直線
２８・・後部バンパーに対して平行な直線
３１、３２、３３、３４・・車両内輪側の進行予測軌跡における車両の隅を接点とした接線
３５、３６、３７、３８・・従来の画像合成方法における合成境界線
４６・・特許文献１の車両用モニタ装置の合成境界線

Claims (10)

1. 車両の複数の個所にそれぞれ設置された撮像カメラにより撮像された画像を基に、所定の視点から見た合成画像を生成して表示する車両用画像表示装置において、
   車両の進行予測軌跡を算出する予測軌跡算出手段と、
   該予測軌跡算出手段により算出された進行予測軌跡が直進であるか否かを判定する直進判定手段と、
   該予測軌跡算出手段により算出された予測軌跡と前記直進判定手段の判定結果とに基づいて、前記複数の撮像カメラで撮像された画像を合成する際の画像の合成境界線を設定する合成境界線設定手段と、
   該合成境界線設定手段により設定された合成境界線に基づいて前記複数の撮像カメラで撮像した画像を合成する画像合成手段と、
   前記画像合成手段により合成された車両周辺の画像を表示する表示手段と、
   を備えたことを特徴とする車両用画像表示装置。
2. 前記直進判定手段により進行予測軌跡が直進であると判定された場合、前記合成境界線設定手段は、前記進行予測軌跡を前記合成境界線として設定することを特徴とする請求項１記載の車両用画像表示装置。
3. 前記直進判定手段により進行予測軌跡が直進以外であると判定された場合、前記合成境界線設定手段は、前記進行予測軌跡における車両内輪側のニ隅の進行予測軌跡を前記合成境界線として設定すると共に、前記進行予測軌跡における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を前記合成境界線として設定することを特徴とする請求項１記載の車両用画像表示装置。
4. 前記合成境界線設定手段は、前記進行予測軌跡における車両内輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線を前記合成境界線として設定すると共に、前記進行予測線における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を前記合成境界線として設定することを特徴とする請求項１記載の車両用画像表示装置。
5. 車両のハンドル舵角を検出するハンドル舵角検出手段と、車両情報を記憶する車両情報記憶手段とを更に備え、
   前記予測軌跡算出手段は、前記ハンドル舵角検出手段の検出結果と、前記車両情報記憶手段の車両情報に基づいて、前記進行予測軌跡を算出することを特徴とする請求項１〜４のいずれか一項に記載の車両用画像表示装置。
6. 車両の複数の個所にそれぞれ設置された撮像カメラにより撮像された画像を基に、所定の視点から見た合成画像を生成して表示する車両用画像表示装置の画像表示方法において、
   車両の進行予測軌跡を算出し、
   該進行予測軌跡が直進であるか否かを判定し、
   該進行予測軌跡と該進行予測軌跡が直進であるか否かの判定結果とに基づいて、前記複数の撮像カメラで撮像された画像を合成する際の画像の合成境界線を設定し、
   該合成境界線に基づいて前記複数の撮像カメラで撮像した画像を合成することを特徴とした車両用画像表示装置の画像合成方法。
7. 該進行予測軌跡が直進であると判定された場合、該進行予測軌跡を前記合成境界線に設定することを特徴とする請求項６記載の車両用画像表示装置の画像合成方法。
8. 該進行予測軌跡が直進以外であると判定された場合、前記進行予測軌跡における車両内輪側のニ隅の進行予測軌跡を前記合成境界線として設定すると共に、前記進行予測軌跡における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を前記合成境界線として設定することを特徴とする請求項６記載の車両用画像表示装置の画像合成方法。
9. 該進行予測軌跡が直進以外であると判定された場合、前記進行予測軌跡における車両内輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線を前記合成境界線として設定すると共に、前記進行予測線における車両外輪側のニ隅の進行予測軌跡において車両の隅を接点とした接線に垂直な線を前記合成境界線として設定することを特徴とする請求項６記載の車両用画像表示装置の画像合成方法。
10. 車両のハンドル舵角を検出し、
    車両情報記憶データから車両情報を取得し、
    前記進行予測軌跡は、前記ハンドル舵角の検出結果と、前記車両情報に基づいて算出することを特徴とする請求項６〜９のいずれか一項に記載の車両用画像表示装置の画像合成方法。
    

Images