JP2007265202A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】Ｕターンのような大きな旋回を行う場合や、その場で転回が可能な特殊な車両がその場で転回を行うような場合であっても、どの程度転回したかを容易に把握することができる画像処理装置等を提供する。
【解決手段】自車両画像のみが自車両の移動に伴って移動し、周辺画像の構図は変化しない画像を出力する。このようになっていれば、ユーザは、従来のように周辺画像中の特徴点を抽出して覚えておく必要はなく、この特徴点よりも覚えやすい自車両の初期位置だけを覚えておき、転回後（又は転回中）に自車両の初期位置と現在位置とを比較することによって自車両の転回具合を把握することができる。
【選択図】図９

Description

本発明は、自車両の周辺画像を処理して出力することにより、運転者を支援することが可能な画像処理装置等に関する。

従来、車両後退時の運転操作を支援するために、車両の後部にカメラを取り付け、そのカメラにて撮影された画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す画像に変換し、その画像の中に自車両を表す画像を合成してモニタに表示する装置が知られている（例えば特許文献１参照）。

このような従来の装置は、車両に取り付けられたカメラの画像を用いているため、車両の移動に伴い撮影位置も移動する。したがって、モニタに表示される画像は、車両の移動に伴い車両以外の画像が動くことになる。これは、運転者にとってみれば、自分を基準にした画像が提供されるため、自車両に必要な運転操作量等を把握する際には都合がよい場合も多い。
特開２００２−２６２２８１号公報

しかしながら、車両が移動したとしても周辺画像は動かない方が良い場合も考えられる。例えば、Ｕターンのような大きな旋回を行う場合や、その場で転回の可能な特殊な車両がその場で転回を行うような場合である。このような場合は、どの程度転回したかがわかりづらい。なぜなら、従来の装置で表示される画像は、画像中における自車両画像の位置は固定されたまま周辺画像だけが車両の移動に伴い変化するようになっているからである。つまり、ユーザが自車両の転回具合を把握するためには、周辺画像中の特徴点を転回前に抽出して覚えておき、転回後にその特徴点について、転回前の位置と現在の位置とを比較することによって自車両の転回具合を把握しなければならないからである。なお、より多くの周辺情報を得るため、自車両の画像に比べて周辺画像の方が広い面積を占めるように表示画像を構成することが一般的であることも、どの程度転回したか把握することを難しくしている原因となっている。

本発明はこのような問題にかんがみなされたものであり、Ｕターンのような大きな旋回を行う場合や、その場で転回が可能な特殊な車両がその場で転回を行うような場合であっても、どの程度転回したかを容易に把握することができる画像処理装置等を提供することを目的とする。

上記課題を解決するためになされた請求項１に記載の画像処理装置は、画像取得手段と、画像出力手段と、情報取得手段と、画像処理手段とを備える。画像取得手段は自車両周辺の様子が撮影された画像を撮影画像として取得し、画像出力手段は画像を外部に出力し、情報取得手段は自車両の状態に関する情報又は運転操作に関する情報の少なくとも何れか一方を取得する。また、画像取得手段は、３つのステップを実行することができ、それは、画像取得手段により取得された撮影画像から俯瞰画像を生成する第１のステップ、その生成した俯瞰画像に対し、情報取得手段により取得された情報から推定される自車両の位置及び向きに合わせた自車両画像を合成する第２のステップ、及び、その合成した画像を画像出力手段に出力させる第３のステップである。そして、第１のステップを実行後、第２のステップ及び第３のステップの２つのステップを繰り返し実行する。

なお、本願で言う「撮影画像」「俯瞰画像」等における「画像」というのは、１フレームの画像を意味する。また、本願で言う「自車両画像」というのは、実画像（つまり、写真のようなもの）であってもよいし、人為的に描かれたもの（つまり、ＣＧのようなもの）であってもよい。また、本願で言う「自車両の状態に関する情報」というのは、例えば、走行速度や、加減速度合いや、トラクション状態や、操舵角情報等である。また、本願で言う「運転操作に関する情報」というのは、例えば、ハンドル操作、アクセル操作、ブレーキ操作、シフト操作等の運転に必要な操作を意味する。これらの用語の定義は、請求項２に記載の画像処理装置においても同様である。

また、上記課題を解決するためになされた請求項２に記載の画像処理装置は、画像取得手段と、画像出力手段と、画像処理手段とを備える。画像取得手段は自車両及び自車両周辺の様子が撮影された画像を撮影画像として連続して取得し、画像取得手段は画像を外部に出力する。また、画像処理手段は、３つのステップを実行することができ、それは、画像取得手段より取得される撮影画像から俯瞰画像を生成する第１のステップ、生成した俯瞰画像における自車両周辺部分の構図が、時間的に前後する俯瞰画像同士で一致するように、生成した俯瞰画像を補正する第２のステップ、及び、その補正した画像を画像出力手段に出力させる第３のステップである。そして、第１のステップ〜第３のステップを順に実行する。

したがって、請求項１及び請求項２に記載の画像処理装置によれば、自車両周辺の画像が画像内で固定された画像が出力される。ゆえに、例えば、Ｕターンのような大きな旋回を行う場合や、その場で転回の可能な特殊な自車両がその場で転回を行うような場合において、ユーザはどの程度転回したかがわかりやすい。なぜなら、ユーザは、従来のように周辺画像中の特徴点を抽出して覚えておく必要はなく、この特徴点よりも覚えやすい自車両の初期位置だけを覚えておき、転回後（又は転回中）に自車両の初期位置と現在位置とを比較することによって自車両の転回具合を把握することができるからである。

ところで、請求項１に記載の画像処理装置においては、画像処理手段が、自車両画像を合成する際、先に自車両画像を合成した位置に自車両画像の残像画像を合成するようになっていてもよい（請求項３）。ここで言う「先に」というのは、直前であってもよいし、直前より前であってもよい。また、合成する残像画像の数は、１つであってもよいし、複数であってもよい。例えば、直前に合成したもの、その前に合成したもの、さらにその前に合成したものの３つを合成してもよい。

このようになっていれば、あるタイミングの合成画像を見るだけで、自車両がどのような動きを経て現在の位置にあるのかを容易に知ることができる。
また、さらに、合成する残像画像が複数である場合には、その数は新しいものから所定数だけであるとよい（請求項４）。

このようになっていれば、残像画像が多すぎてかえってわかりづらくなることを防止できる。
ところで、画像処理手段は、画像の中央が自車両の存在位置になるよう、且つ、少なくとも画像中央の所定領域は歪みがないように前記第１のステップにて俯瞰画像を生成するようになっているとよい（請求項５）。ここで言う所定領域というのは画像処理装置の設計者又はユーザが設定できる領域であり、円形でも方形でもよい。

このようになっていれば、ユーザは上記所定領域に対応する自車両の付近を、より正確に認識することができる。
また、画像処理手段は、第１のステップにおいて、画像の中央が自車両の存在位置になるよう、且つ、少なくとも画像の周辺領域を歪ませて俯瞰画像を生成するようになっているとよい（請求項６）。ここで言う画像の周辺領域というのは、画像における中央領域に対する周辺領域を意味する。

一般的に周辺領域を歪ませることにより、歪ませない場合に比べて広い撮影範囲を一画面に表すことが可能になる（例えば魚眼画像等）。したがって、少なくとも画像の周辺領域を歪ませて俯瞰画像を生成するようになっていれば、画像を歪ませない場合と比較して広い撮影範囲をユーザに提示できる。

また、さらに、ユーザからの指示を受け付ける受付手段を備えるように画像処理装置を構成し、画像処理手段は、受付手段が受け付けた指示に基づいて画像出力手段に出力させる画像の中央を決定し、一連のステップ（第１のステップ〜）を実行するようになっていてもよい（請求項７）。

このようになっていれば、ユーザの一番確認したい位置と、画像の中央とを一致させることができ、ユーザにとってより有益な画像を提供できる。
また、受付手段に加え、自車両の現在位置を特定するための情報を現在位置情報として取得する現在位置情報取得手段を備えるように画像処理装置を構成し、画像処理手段は、受付手段が受け付けた指示に基づいて特定される位置と、現在位置情報取得手段により取得された現在位置情報に基づいて特定される位置との中間地点を、画像出力手段に出力させる合成画像の中央とし、一連のステップを実行するようになっていてもよい（請求項８）。

このようになっていれば、自車両の移動前にユーザが移動先を受付手段を介して入力することにより、移動中の自車両画像が常に出力画像の中央付近に表示される。したがって、ユーザが、移動中の自車両の様子を画面内で常に確認することが可能になり、ユーザに対してより有効な運転支援情報を提供することができる。

ところで、従来の画像処理装置が出力していた画像と同等のものを出力できるように構成し、従来の画像と上述した新規の画像とをユーザが選択できるようになっていてもよい。具体的には、さらに、ユーザからの指示を受け付ける受付手段を備えるように画像処理装置を構成する。そして、画像処理手段は、更に、第１のステップ〜第３のステップを順に実行することもでき、第１のステップを実行後、第２のステップ及び第３のステップを繰り返し実行するか、第１のステップ〜第３のステップを順に実行するかを、受付手段が受け付けた指示に基づいて選択するようになっているとよい（請求項９）。また、画像処理手段は、更に、第１のステップを実行した後、その第１のステップで生成した俯瞰画像を用いて第３のステップを実行することもでき、第１のステップ〜第３のステップを順に実行するか、第１のステップを実行した後、第３のステップを実行するかを、受付手段が受け付けた指示に基づいて選択するようになっていてもよい（請求項１０）。

このようになっていれば、ユーザの意志によって把握しやすい方の画像を表示させることができるため、画像処理装置の使い勝手が向上する。
なお、上述した画像処理手段としての機能をプログラムによって実現してもよい（請求項１１）。このようなプログラムを、画像処理装置が内蔵するコンピュータに実行させれば、上述した画像処理装置と同様の作用及び効果が得られる。また、プログラムはネットワーク等を用いて流通させることも可能である上、画像処理装置におけるプログラムの入れ替えは、部品の入れ替えに比較して容易である。したがって、画像処理装置の機能向上を容易に行うことができる。

以下、本発明が適用された実施形態について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［構成の説明］
図１は、本発明が適用された実施形態の画像処理装置１１及びそれに接続された機器類の概略構成を示すブロック図である。

画像処理装置１１は、メモリ１２と、ＣＰＵ１３と、車両Ｉ／Ｆ１４と、カメラＩ／Ｆ１５と、表示Ｉ／Ｆ１６と、操作部１７と、これらを結ぶバス１８とを備える。
メモリ１２は、画像データの一時記憶領域として用いるＲＡＭ（図示せず）及び、ＣＰＵ１３が実行するプログラムの記憶領域として用いるＲＯＭ（図示せず）とから構成されている。

ＣＰＵ１３は、メモリ１２のＲＯＭに記憶されたプログラムに基づいて後述する画像出力処理を実行する。
車両Ｉ／Ｆ１４は、ＣＰＵ１３からの指令に基づき、車両内の各種の装置、ＥＣＵ、センサ等と通信を行うインターフェースである。なお、本実施形態では、図示しないナビゲーション装置が車両Ｉ／Ｆ１４に接続されており、自車両の位置や向きの情報をナビゲーション装置から得られるようになっている。

表示Ｉ／Ｆ１６は、ＣＰＵ１３からの指令に基づき、表示装置３１へ画像データを出力するインターフェースである。この表示装置３１は、運転者が運転時に視認できる位置に設置され、液晶ディスプレイや有機ＥＬディスプレイやプロジェクタ等から構成されている。表示装置３１は、各種の情報や画像を表示させることができる。

操作部１７は、ユーザからの操作指令を受け付けることができる部位であり、メカニカルなキースイッチや表示装置３１と一体的に形成されたタッチパネル等からなる。
カメラＩ／Ｆ１５は、前方カメラ２１、右前方カメラ２２、左前方カメラ２３、後方カメラ２４、右後方カメラ２５及び左後方カメラ２６から画像データを入力するインターフェースである。ここで各カメラの設置位置と撮影方向について、図２の説明図を用いて説明する。図２に示すように、前方カメラ２１は自車両の前端に設置されて前方を撮影することができ（撮影範囲２１ａを参照）、右前方カメラ２２は自車両の右側面に設置され自車両の右前方を撮影することができ（撮影範囲２２ａを参照）、左前方カメラ２３は自車両の左側面に設置され自車両の左前方を撮影することができるようになっている（撮影範囲２３ａを参照）。また、後方カメラ２４は自車両の後端に設置され自車両の後方を撮影することができ（撮影範囲２４ａを参照）、右後方カメラ２５は自車両の右側面に設置され自車両の右後方を撮影することができ（撮影範囲２５ａを参照）、左後方カメラ２６は自車両の左側面に設置され自車両の左後方を撮影することができるようになっている（撮影範囲２６ａを参照）。なお、図２における各カメラの撮影範囲は、図面の都合上、自車両のごく近辺だけになっているが、実際は無限遠まで撮影することができるようになっていてもよい。

ところで、本実施形態の画像処理装置１１は、車両に搭載されているが、この車両は電気を動力源とする車両（例えば、電気自動車や燃料電池車）である。そして、車輪にモーターが組み込まれているため、駆動力を伝えるための車軸を必要とせず、車輪を大きく転舵することが可能である。そのため、「その場で転回する」という従来の車両にはない動きが可能である。この動きについて図３に示す説明図を用いて説明する。

図３（ａ）は、従来の車両の転回について説明する説明図であるが、図３（ａ）に示すように、前輪は左右とも必ず略平行状態で回転軸が変わるため、車両の転回中心Ｃ１は車両の外に位置する。

図３（ｂ）は、本実施形態の画像処理装置１１が搭載された車両の転回の一例について説明する説明図であるが、図３（ｂ）に示すように、各車輪の回転軸の交点が両後輪の中央にある場合、その交点（転回中心Ｃ２）を転回中心として車両は転回することができる。

図３（ｃ）は、本実施形態の画像処理装置１１が搭載された車両の転回の別例について説明する説明図であるが、図３（ｃ）に示すように、各車輪の回転軸の交点が車両の中心にある場合、車両中心（転回中心Ｃ３）を転回中心として車両は転回することができる。

このように、本実施形態の画像処理装置１１が搭載された車両は、従来の車両に比較して狭い場所で方向転換をすることができる。車両がこのような動きをすると運転者は今まで以上に車両の周辺、特に側方の安全を従来以上に確認する必要が生じる。

［動作の説明］
次に、画像処理装置１１のＣＰＵ１３が実行する画像出力処理について説明する。
（１）画像出力処理１（実施例１）
画像出力処理の一実施例である画像出力処理１について図４のフローチャートを用いて説明する。この画像出力処理１は、画像出力処理１を実行させる旨の入力が、操作部１７を介してユーザから入力された際に実行が開始される。

ＣＰＵ１３は、画像出力処理１の実行を開始すると、まず撮影画像から一次画像を生成する（Ｓ１０５）。これは、カメラＩ／Ｆ１５を介して、前方カメラ２１、右前方カメラ２２、左前方カメラ２３、後方カメラ２４、右後方カメラ２５及び左後方カメラ２６から画像を入力し、これらの画像を合成すると共に、メッシュ化して画像変形等を行い、車両を上空から俯瞰した画像を生成することである。なお、各カメラの画像に自車両が映り込んでいる場合は、それをできるだけ取り除くようにするとよい。一次画像の実例については後述する。

撮影画像から一次画像を生成すると、生成した一次画像をメモリ１２内の一時記憶領域に保存する（Ｓ１１０）。
続いて、自車両の位置及び向きを特定する（Ｓ１１５）。これは、車両Ｉ／Ｆ１４を介し、自車両の現在の位置及び向きの情報（以下、単に「自車両位置情報」とも称す）を取得することである。

続いて、メモリ１２内の一時記憶領域から、Ｓ１１０で保存しておいた一次画像を読み出し、その一次画像に対し、Ｓ１１５で取得した自車両位置情報に基づく位置に自車両画像を合成して二次画像を生成する（Ｓ１２０）。この自車両画像は、予め登録しておいた自車両の写真画像であってもよいし、人為的に描かれた画像（例えば、ＣＧ等）であってもよい。

続いて、Ｓ１２０で生成した二次画像を表示Ｉ／Ｆ１６を介して表示装置３１へ出力する（Ｓ１２５）。
続いて、操作部１７がユーザによって操作され、画像出力を停止する旨の指令があったか否かを判定する（Ｓ１３０）。画像出力を停止する旨の指令があったと判定した場合は（Ｓ１３０：Ｙｅｓ）、本処理（画像出力処理１）を終了し、画像出力を停止する旨の指令がなかったと判定した場合は（Ｓ１３０：Ｎｏ）、Ｓ１１５へ処理を戻す。

（２）画像出力処理２（実施例２）
次に、画像出力処理の別実施例である画像出力処理２について図５のフローチャートを用いて説明する。この画像出力処理２も、画像出力処理２を実行させる旨の入力が、操作部１７を介してユーザから入力された際に実行が開始される。

ＣＰＵ１３は、画像出力処理２の実行を開始すると、まず撮影画像から一次画像を生成する（Ｓ２０５）。これは、カメラＩ／Ｆ１５を介して、前方カメラ２１、右前方カメラ２２、左前方カメラ２３、後方カメラ２４、右後方カメラ２５及び左後方カメラ２６から画像データを入力し、これらの画像を合成すると共に、メッシュ化して画像変形等を行い、車両を上空から俯瞰した画像を生成することである。なお、各カメラの画像に自車両が映り込んでいる場合は、それらを元にしてできるだけ自車両の俯瞰画像を生成するようになっているとよい。自車両の俯瞰画像を完全に生成できない場合は予め登録しておいた自車両の写真画像等を合成するとよい。一次画像の実例については後述する。

一次画像を生成すると、生成した一次画像をメモリ１２内の一時記憶領域に保存する（Ｓ２１０）。
続いて、Ｓ２０５と同様の方法で、新たに撮影画像から一次画像を生成する（Ｓ２１５）。そして、メモリ１２の一時記憶領域に記憶しておいた一次画像（以下、「Ａ画像」と言う）の構図と新たに生成した一次画像（以下、「Ｂ画像」と言う）の構図とが一致するように新たに生成した一次画像（Ｂ画像）を補正する（Ｓ２２０）。これは、Ａ画像中に含まれる自車両周辺の構造物と、Ｂ画像中に含まれる自車両周辺の構造物とを比較し、同一の構造物を割り出し、Ｂ画像に含まれる構造物がＡ画像に含まれる対応した構造物と同位置になるようにＢ画像を補正（移動、回転、拡大、縮小等）することである。そして、補正を終えると、その補正した画像（Ｂ’画像＝二次画像）を表示Ｉ／Ｆ１６を介して表示装置３１へ出力する（Ｓ２２５）。

続いて、メモリ１２の一時記憶領域に記憶しておいた一次画像（Ａ画像）を、二次次画像（Ｂ’画像）によって更新する（Ｓ２３０）。つまり、Ｂ’画像が以降はＡ画像になるわけである。

続いて、操作部１７がユーザによって操作され、画像出力を停止する旨の指令があったか否かを判定する（Ｓ２３５）。画像出力を停止する旨の指令があったと判定した場合は（Ｓ２３５：Ｙｅｓ）、本処理（画像出力処理２）を終了し、画像出力を停止する旨の指令がなかったと判定した場合は（Ｓ２３５：Ｎｏ）、Ｓ２１５へ処理を戻す。

（３）一次画像の生成について
次に、一次画像の生成について説明する。図６は、生成された一次画像の空間イメージ図である。これは、車両５０１の真上から地表面を見下ろした際に得られる視界を、図にしめすような円形に変形したものと言える。したがって、上述したＳ１０５やＳ２０５では、図２に示した各撮影範囲が、図６に示す空間イメージ図に対応するように、撮影画像を合成・変形等を行う。なお、領域５０３を構成する各メッシュは略正方形になっており、領域５０３から外側方向に行くにつれて、各メッシュが変形していることが確認できる。つまり、自車両の極近傍は歪みがなく、自車両からある程度以上離れた画像は歪みが大きい画像になっている。なお、最初に生成される一次画像は、自車両の前方が画像の上方となっている。

具体例について示す。図７（ａ）に示す画像は、上記画像出力処理１が実行された際に生成される画像であって、一次画像の生成途中のものである。図７（ａ）に示す画像からは、画面全体に歪みがあり、いわゆる魚眼画像となっていることが確認できる。図７（ｂ）に示す画像は、一次画像の生成が完了したものである。図７（ｂ）に示す画像は、図７（ａ）に示す画像を元にして画面の中央部分の歪みがなくなるように処理されていることが確認できる。

なお、上記画像出力処理２が実行された際に生成される一次画像も基本的に上記画像出力処理２で生成されるものと同じであるが、図８に示すように、自車両画像５５１が含まれている点で、上記画像出力処理１の一次画像とは異なる。

（４）二次画像の生成について（画像出力処理１の場合）
次に、上述した画像出力処理１が実行された際に生成される二次画像について説明する。画像出力処理１が実行された際に最初に生成される二次画像の具体例は、画像出力処理２が実行された際に生成される一次画像と結果的に同様なものになる（図８参照）。つまり、画像出力処理１で生成される二次画像は、一次画像に自車両の画像が合成されたものである。なお、上述したように、二次画像は繰り返し生成されるため、自車両が移動すれば、合成する自車両の画像の位置と向きが、二次画像生成時の自車両の位置と向きに応じて変化する。このため、自車両の周辺画像は画像内で固定されたまま、自車両の画像のみが移動していくことになる。この様子を図（自車両以外の画像を空間イメージで表した図）で表すと、図９（ａ）〜（ｃ）のようになる。図９（ａ）は、０秒時（画像出力処理１の開始直後）の二次画像である。移動しない構造物を表す点６０１が車両前方に存在することが確認できる。図９（ｂ）は、処理開始後１秒の二次画像である。車両は右方向に進んでいるが、移動しない構造物を表す点６０１は、画像中で移動していないことが確認できる。図９（ｃ）は、処理開始後２秒後の二次画像である。車両はさらに右方向に進んでいるが、移動しない構造物を表す点６０１は、画像中で移動していないことが確認できる。

（５）二次画像の生成について（画像出力処理２の場合）
次に、上述した画像出力処理２が実行された際に生成される二次画像について、図１０（自車両以外の画像を空間イメージで表した図）を用いて説明する。

図１０（ａ）に示す画像は、０秒時（画像出力処理２の開始直後）の一次画像と二次画像である。最初に生成される二次画像は、一次画像と同じものとなる（上述したＡ画像がないため）。図１０（ａ）からは、移動しない構造物を表す点６５１が車両前方に存在することが確認できる。

図１０（ｂ）は、処理開始後３秒の一次画像である。車両はその場で右方向に４５度、転回しており、移動しない構造物を表す点６５１は画像内で左方向に４５度程移動していることが確認できる（当該構造物は現実には移動していない）。

図１０（ｃ）は、処理開始後３秒の二次画像である。図１０（ｃ）は、図１０（ｂ）の周辺画像と自車両画像とを右方向に４５度、回転させたものである。つまり、図１０（ｂ）における点６５１と、図１０（ａ）における点６５１とが画像内で同一位置になるように周辺画像と自車両画像とを右方向に４５度、回転させている（図５のＳ２２０に対応）。したがって、画像出力処理２においても、周辺画像の構図は変わらず、自車両の画像の位置や方向のみが変化することになる。

［実施形態の効果］
上記実施形態によれば、表示装置３１に表示される画像は、自車両画像のみが自車両の移動に伴って移動し、周辺画像の構図は変化しない。ゆえに、例えば、Ｕターンのような大きな旋回を行う場合や、その場で転回を行うような場合において、ユーザはどの程度転回したかがわかりやすい。なぜなら、ユーザは、従来のように周辺画像中の特徴点を抽出して覚えておく必要はなく、この特徴点よりも覚えやすい自車両の初期位置（含む「方向」）だけを覚えておき、転回後（又は転回中）に自車両の初期位置と現在位置とを比較することによって自車両の転回具合を把握することができるからである。

また、表示装置３１に表示される画像は、中央部分は歪みがなく、周辺部分は歪みが大きいが撮影範囲の広い画像となっている。このためユーザは、自車両の極近傍については状況を正確に把握でき、車両から比較的離れた地点についても状況の概要は把握できるようになっている。

［他の実施形態］
（１）上記実施形態では、最新の自車両の位置に対応した自車両画像が表示されるようになっていたが、残像を表示させるようになっていてもよい。例えば、図１１に示すように、現在の自車両の位置及び向きを示す自車両画像７０１ａと、それより少し前（例えば１秒前）の位置及び向きを示す自車両画像７０１ｂと、さらにそれより前（例えば２秒前）の位置及び向きを示す自車両画像７０１ｃとを表示させるようになっていてもよい。なお、その際、時間的に前の自車両画像ほど薄い色で表示させたり、透過度の高くして表示させるようになっているとよい。また、残像は所定数（例えば３つや５つ等）にするとよい。

このようになっていればユーザは、表示装置３１に表示されたある一時点の画像を見るだけで、自車両の直前の動きを容易に知ることができる、また、移動予測も行いやすい。
（２）表示装置３１に表示される画像の中心をユーザが指定できるようになっていてもよい。

具体的には、画像出力処理１，２の実行前に、周辺地図又は周辺画像を表示部２６に表示させ、ユーザが出力画像において中心にしたい位置を、操作部１７を介してユーザから受け付ける。そして、画像出力処理１のＳ１０５、画像出力処理２のＳ２０５において、ユーザに指示された位置が画像の中心になるように一次画像を生成する。

このように、出力画像の中心をユーザが任意に決定できるようになっていれば、ユーザが最も確認したい位置をユーザが指定することができ、結果として、出力画像がよりユーザにとってより有益なものとなる。

（３）また、ユーザによって移動予定位置を指定してもらい、その移動予定位置と現在位置との中間地点を、出力画像の中心にしてもよい。
具体的には、画像出力処理１，２の実行前に、周辺地図又は周辺画像を表示部２６に表示させ、移動予定位置を、操作部１７を介して受け付ける。そして、ユーザから受け付けた移動予定位置と、自車両の現在位置（車両Ｉ／Ｆ１４を介してナビゲーション装置から得られる現在位置情報に基づいて特定される位置）との中間地点を算出する。そして、画像出力処理１のＳ１０５、画像出力処理２のＳ２０５において、上記中間地点が画像中心になるように一次画像を生成す。これを図１２を用いて説明すると、自車両の現在位置が点８１０ａとし、移動予定位置が点８１０ｂとした場合に、これらの中間地点である点８０３が、画像の中心となるように一次画像を生成する。

このようになっていれば、例えば、駐車枠への入庫時に、入庫先をユーザが指定することにより、その入庫過程全てを出力画像中に含めることが可能になる。したがって、より有益な画像をユーザに提供できる。

なお、図１１に示すように、自車両画像に矢印を重ね、車両の前方方向を示すようになっていると、車両の前方はどちらなのかがユーザによってわかりやすい。
（４）従来の画像処理装置が出力していたような画像、つまり、自車両の位置が画像内で固定され、周辺画像が変化するような画像も出力できるように画像処理装置１１を構成し、操作部１７を介して受け付けるユーザの操作指示に基づいて、従来の画像処理装置が出力していたような画像を出力するか、上述したような本発明の画像を出力するかを決定するようになっているとよい。

このようになっていれば、ユーザの把握しやすい方の画像をユーザが選択できるため、画像処理装置１１の使い勝手が向上する。
（５）上記実施形態では、前方カメラ２１、右前方カメラ２２、左前方カメラ２３、後方カメラ２４、右後方カメラ２５及び左後方カメラ２６の各カメラから得られた画像を用いて俯瞰画像を生成するようになっていたが、車両周辺の俯瞰画像が得られるのであれば、例えば、前方カメラ、後方カメラ、右方カメラ及び左方カメラという４台構成のカメラであってもよい。また、カメラは自車両が備えていなくても、路側や駐車場等に設置されたカメラから得られる画像を用いてもよい。

［特許請求の範囲との対応］
上記実施形態と特許請求の範囲で用いた用語との対応を示す。
カメラＩ／Ｆ１５が画像取得手段に相当し、表示Ｉ／Ｆ１６が画像出力手段に相当し、車両Ｉ／Ｆ１４が情報取得手段に相当し、ＣＰＵ１３が画像処理手段に相当する。

また、画像出力処理１のＳ１０５が、請求項１に記載の画像出力装置の第１のステップに相当し、画像出力処理１のＳ１２０が、請求項１に記載の画像出力装置の第２のステップに相当し、画像出力処理１のＳ１２５が、請求項１に記載の画像出力装置の第３のステップに相当する。

また、画像出力処理２のＳ２０５が、請求項２に記載の画像出力装置の第１のステップに相当し、画像出力処理２のＳ２２０が、請求項２に記載の画像出力装置の第２のステップに相当し、画像出力処理２のＳ２３０が、請求項２に記載の画像出力装置の第３のステップに相当する。

画像処理装置の構成を説明するためのブロック図である。 カメラの設置位置及び撮影方向を説明するための説明図である。 画像処理装置が搭載された車両の動きを説明するための説明図である。 画像出力処理１を説明するためのフローチャートである。 画像出力処理２を説明するためのフローチャートである。 生成された一次画像の空間イメージ図である。 実際の生成画像の一例である。 実際の生成画像の一例である。 出力画像の変化を説明するための説明図である。 出力画像の変化を説明するための説明図である。 自車両の残像を表示させた場合を説明するための説明図である。 移動予定先と現在位置との中点を画像中心とする場合の説明図である。

符号の説明

１１…画像処理装置、１２…メモリ、１３…ＣＰＵ、１４…車両Ｉ／Ｆ、１５…カメラＩ／Ｆ、１６…表示Ｉ／Ｆ、１７…操作部、１８…バス、２１…前方カメラ、２２…右前方カメラ、２３…左前方カメラ、２４…後方カメラ、２５…右後方カメラ、２６…左後方カメラ、３１…表示装置。

Claims (11)

1. 車両に搭載されて利用される画像処理装置であって、
   自車両周辺の様子が撮影された画像を撮影画像として取得する画像取得手段と、
   画像を外部に出力する画像出力手段と、
   自車両の状態に関する情報又は運転操作に関する情報の少なくとも何れか一方を取得する情報取得手段と、
   前記画像取得手段により取得された前記撮影画像から俯瞰画像を生成する第１のステップ、その生成した俯瞰画像に対し、前記情報取得手段により取得された前記情報から推定される自車両の位置及び向きに合わせた自車両画像を合成する第２のステップ、及び、その合成した画像を前記画像出力手段に出力させる第３のステップを実行することができ、前記第１のステップを実行後、前記第２のステップ及び前記第３のステップを繰り返し実行する画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 車両に搭載されて利用される画像処理装置であって、
   自車両及び自車両周辺の様子が撮影された画像を撮影画像として連続して取得する画像取得手段と、
   画像を外部に出力する画像出力手段と、
   前記画像取得手段より取得される前記撮影画像から俯瞰画像を生成する第１のステップ、前記生成した俯瞰画像における自車両周辺部分の構図が、時間的に前後する前記俯瞰画像同士で一致するように、前記生成した俯瞰画像を補正する第２のステップ、及び、その補正した画像を前記画像出力手段に出力させる第３のステップを実行することができ、前記第１のステップ〜前記第３のステップを順に実行する画像処理手段と、
   を備えることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記画像処理手段は、前記自車両画像を合成する際、先に前記自車両画像を合成した位置に前記自車両画像の残像画像を合成すること、
   を特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像処理手段は、前記合成する残像画像は複数であって新しいものから所定数だけであること、
   を特徴とする画像処理装置。
5. 請求項１〜請求項４の何れかに記載の画像処理装置において、
   前記画像処理手段は、画像の中央が自車両の存在位置になるよう、且つ、少なくとも画像中央の所定領域は歪みがないように前記第１のステップにて前記俯瞰画像を生成すること、
   を特徴とする画像処理装置。
6. 請求項１〜請求項５の何れかに記載の画像処理装置において、
   前記画像処理手段は、前記第１のステップにおいて、画像の中央が自車両の存在位置になるよう、且つ、少なくとも画像の周辺領域を歪ませて前記俯瞰画像を生成すること、
   を特徴とする画像処理装置。
7. 請求項１〜請求項４の何れかに記載の画像処理装置において、
   さらに、ユーザからの指示を受け付ける受付手段を備え、
   前記画像処理手段は、前記受付手段が受け付けた指示に基づいて前記画像出力手段に出力させる前記画像の中央を決定し、前記一連のステップを実行すること、
   を特徴とする画像処理装置。
8. 請求項１〜請求項４の何れかに記載の画像処理装置において、
   さらに、
   ユーザからの指示を受け付ける受付手段と、
   自車両の現在位置を特定するための情報を現在位置情報として取得する現在位置情報取得手段と、
   を備え、
   前記画像処理手段は、前記受付手段が受け付けた指示に基づいて特定される位置と、前記現在位置情報取得手段により取得された前記現在位置情報に基づいて特定される位置との中間地点を、前記画像出力手段に出力させる前記合成画像の中央とし、前記一連のステップを実行すること、
   を特徴とする画像処理装置。
9. 請求項１を引用する請求項３〜請求項６の何れかに記載の画像処理装置において、
   さらに、
   ユーザからの指示を受け付ける受付手段を備え、
   前記画像処理手段は、
   更に、前記第１のステップ〜前記第３のステップを順に実行することもでき、
   前記第１のステップを実行後、前記第２のステップ及び前記第３のステップを繰り返し実行するか、前記第１のステップ〜前記第３のステップを順に実行するかを、前記受付手段が受け付けた指示に基づいて選択すること、
   を特徴とする画像処理装置。
10. 請求項２を引用する請求項３〜請求項６の何れかに記載の画像処理装置において、
    さらに、
    ユーザからの指示を受け付ける受付手段を備え、
    前記画像処理手段は、
    更に、前記第１のステップを実行した後、その第１のステップで生成した前記俯瞰画像を用いて前記第３のステップを実行することもでき、
    前記第１のステップ〜前記第３のステップを順に実行するか、前記第１のステップを実行した後、前記第３のステップを実行するかを、前記受付手段が受け付けた指示に基づいて選択すること、
    を特徴とする画像処理装置。
11. コンピュータを、請求項１〜請求項１０の何れかに記載の画像処理装置における前記画像処理手段として機能させるためのプログラム。