JP2000229547A - 運転操作補助装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 運転者が縦列駐車などの運転操作を行おうと
する場合、周囲状況等との関係で、運転者の負担が大き
い。 【解決手段】 車両の周囲状況をカメラを用いて画像化
して、周囲状況画像を生成し、生成した前記周囲状況画
像を格納する周囲状況画像化手段１０５、１０６と、予
め前記車両に対して所定の一連の運転操作を行うとした
場合の車両の運動を表す画像データである想定運動パタ
ーンを、周囲状況画像上に重ね合わせて、合成画像を生
成する合成画像生成手段１０２と、合成画像を表示する
表示手段１０７とを備える運転操作補助装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転操作を
支援する運転操作補助装置、および、前記運転操作補助
装置の各手段の機能の全部または一部をコンピュータに
実行させるプログラムを格納する記録媒体に関するもの
である。

【０００２】

【従来の技術】従来の一般的な運転操作補助装置は、ハ
ンドルの舵角を検出するステアリングセンサによって、
後退時のハンドルの舵角に対応する車両の移動軌跡を予
測するものである。車両の後退時には、カメラで撮影さ
れた後方又は側後方視界の映像が表示されると共に、ハ
ンドルを操作すると、そのハンドル舵角に対応して予測
された車両の移動軌跡が、後方又は側後方視界の映像上
にス−パ−インポ−ズされる。本装置によれば、運転者
の運転操作は以下のようになる。すなわち、まず、ハン
ドルを固定した状態で駐車できそうな場所に車両を移動
させる。次に該場所において、ハンドル操作によって予
測される車両移動軌跡を確認しながら、ハンドル操作を
することなしに駐車しようとするスペースに車両を移動
できる舵角を見つける。そして、該舵角を保持したま
ま、車両をバックさせ駐車スペースに移動させれば、原
理的には駐車が完了するというものである。

【０００３】なお、このような運転操作補助装置の従来
例が特開平１−１４７００号公報に開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら上記の装
置を用いて駐車を行うためには、車両を駐車スペースに
移動させることのできる場所を見つけ、続いて、どの舵
角でハンドルを固定すればよいかを決める必要がある
が、これらの操作を習熟するには、熟練を要する。しか
も運転する車両の大きさ等が変わると感覚が違ったもの
になるため、熟練の段階で積み重ねられた運転のノウハ
ウがそれほど活かされなくなる。

【０００５】ところで、車両を駐車させる場合、周囲に
全く障害物がない場合を除いて、駐車操作開始から、一
般的にハンドル舵角を一定に保ったまま、駐車操作を完
了させることは一般に困難である。例えば縦列駐車を行
う場合、運転者は駐車操作開始場所から駐車しようとす
る場所に車両を移動させる間に、最初はしかるべき方向
にハンドルを回して車両を後退させ、適当に後退したと
ころで、次に逆方向にハンドルを回して、目標場所に車
両を移動させる。すなわち、縦列駐車を例に取った場
合、ハンドル舵角を一定に保ったままでは駐車は困難で
あると言える。

【０００６】さらに、従来の装置では、運転者が少しで
もハンドルを動かすと、その少しの舵角変化によって予
測し直された車両の移動経路が表示されるため、運転者
の混乱をまねく恐れがある。

【０００７】すなわち、従来の運転操作補助装置におい
ては、運転者が、駐車スペースと該スペースの周囲の状
況と車両を駐車スペースに誘導する経路とを合成表示し
た画像を確認しながら、駐車スペースに容易に車両を移
動できる場所をひとめで直感的に見つけることが出来な
かった。

【０００８】本発明は、このような従来の運転操作補助
装置が有する課題を考慮し、運転者が所定の一連の運転
操作を行おうとする場合、前記所定の一連の運転操作を
行ったときの車両の運動を、周囲状況とともに表示する
ことによって、運転者が前記所定の一連の運転操作によ
る車両の運動と周囲状況との関係を直接的に確認でき、
運転者の負担を軽減することができる運転操作補助装置
を提供することを目的とするものである。

【０００９】また、前記運転操作補助装置の各手段の機
能の全部または一部をコンピュータに実行させるプログ
ラムを格納する記録媒体を提供することを目的とするも
のである。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、車両の周囲状況をカメラを用いて画像化
して、周囲状況画像を生成する、および／または、生成
した前記周囲状況画像を格納する周囲状況画像化手段
と、予め前記車両に対して所定の一連の運転操作を行う
とした場合の前記車両の運動を表す画像データである想
定運動パターンを、前記周囲状況画像上に重ね合わせ
て、合成画像を生成する合成画像生成手段と、前記合成
画像を表示する表示手段とを備えることを特徴とする運
転操作補助装置である。

【００１１】また、第２の本発明（請求項２６に記載の
本発明に対応）は、本発明の運転操作補助装置の各手段
の機能の全部または一部をコンピュータに実行させるプ
ログラムを格納することを特徴とする記録媒体である。

【００１２】

【発明の実施の形態】以下に、本発明の実施の形態を図
面を参照して説明する。

【００１３】（第１の実施の形態）まず、本発明の第１
の実施の形態を図面を参照して説明する。

【００１４】図１は、本発明の第１の実施の形態におけ
る運転操作補助装置の構成を示すブロック図である。本
実施の形態における運転操作補助装置は、主として、車
庫入れ時および縦列駐車時等の運転操作の補助を目的と
するものである。

【００１５】図１に示すように、本実施の形態における
運転操作補助装置は、Ｎ個のカメラ（カメラ１〜カメラ
Ｎ）からなる撮像部１０１と、各カメラの特性であるカ
メラパラメータを格納するカメラパラメータテーブル１
０３と、カメラパラメータに基づいて、各カメラからの
出力画像を構成する各々の画素を３次元空間の点に対応
づけた空間データを作成する空間再構成手段１０４と、
空間データを参照して、所定の視点から見た画像を周囲
状況画像として生成する視点変換手段１０６と、空間デ
ータを一時的に格納する空間データバッファ１０５と、
想定運動パターンを含む想定運動データを保持する想定
運動パターン格納手段１０８と、想定運動パターンを、
周囲状況画像上に重ね合わせて、合成画像を生成するス
ーパーインポーズ手段１０２と、合成画像を表示する表
示手段１０７とで構成されている。

【００１６】なお、撮像部１０１、カメラパラメータテ
ーブル１０３、空間再構成手段１０４および視点変換手
段１０６を合わせたものは、本発明の周囲状況画像化手
段に対応するものであり、スーパーインポーズ手段１０
２は、本発明の合成画像生成手段に対応するものであ
る。

【００１７】まず、撮像部１０１の詳細構成および撮像
部１０１によって撮像された画像データから本発明の周
囲状況画像が生成されるまでの手順を説明する。

【００１８】図２は、撮像部１０１の各カメラを車両に
取り付けた一例を示す車両の平面図および立面図であ
る。この例では、Ｎ＝６として、６個のカメラ２０１〜
２０６を車両のルーフ部に配置したものである。６個の
カメラ２０１〜２０６の個々の撮像範囲の一部は、他の
カメラの撮像範囲の一部と重なり合うように、かつ、平
面的に死角が生じないように、配置されている。

【００１９】カメラパラメータテーブル１０３には、前
記各カメラのカメラパラメータ（カメラの取り付け位
置、カメラの取り付け角度、カメラのレンズ歪み補正
値、カメラのレンズの焦点距離などといった、カメラ特
性を表すパラメータ）が記憶されている。空間再構成手
段１０４は、このカメラパラメータに基づいて、各カメ
ラからの出力画像を構成する各々の画素を、車両を基準
とする３次元空間の点に対応づけた空間データを作成す
る。空間バッファ１０５には、前記空間データが一時的
に格納され、視点変換手段１０６は、任意の視点、たと
えば図３に示す仮想カメラ３０１の視点、から見た画像
を、空間データを参照して各画素を合成することによっ
て、周囲状況画像として生成する。

【００２０】図４に、図３に示した仮想カメラ３０１の
視点からの周囲状況画像の一例を示す。この例は、縦列
駐車を行う場合のものであり、駐車中の２台の車両が、
障害物４０１および障害物４０２として、周囲状況画像
上に表されている。

【００２１】次に、スーパーインポーズ手段１０２が本
発明の合成画像を生成して、それを表示手段１０７が表
示するまでの手順を説明する。

【００２２】想定運動パターン格納手段１０８は、車両
の典型的な運転操作をその車両に対して行うとした場合
の、車両の運動を表す画像データである想定運動パター
ンと、車両の移動距離（タイヤ回転移動量）とハンドル
の舵角（ハンドルの切れ角）との関係を表す時系列デー
タとを、本発明の想定運動データとして格納している。

【００２３】格納されている想定運動データのうち、図
５に、左側への縦列駐車の運転操作を行う場合の想定運
動データを、図６に、右側への車庫入れの運転操作を行
う場合の想定運動データを、それぞれ示す。想定運動パ
ターンは、各図の（ａ）に示されており、各図の（ｂ）
に示す時系列データにしたがった運転操作を行った場合
に対応する、操作開始位置５０１、６０１（本発明の想
定運動開始領域に対応）、操作終了位置５０２、６０２
（本発明の想定運動終了領域に対応）およびタイヤ軌跡
５０３、６０３（本発明の車両のタイヤの軌跡を表す画
像データに対応）を示す画像データである。

【００２４】まず、運転者は、パターン選択手段（図示
せず）により、想定運動パターン格納手段１０８に格納
されている想定運動パターンのうちの一つを選択する。
スーパーインポーズ手段１０２は、選択された想定運動
パターン（例えば、図５（ａ））を、視点変換手段１０
６が生成した周囲状況画像（例えば、図４）に重ね合わ
せて合成し、本発明の合成画像を生成し、表示手段１０
７は、この合成画像を表示する。このとき、例えば、図
５（ａ）の操作開始位置５０１を当該車両の現在位置と
一致させることによって、操作終了位置５０２は、その
想定運動パターンに対応する運転操作を、現在位置から
開始した場合の操作終了位置すなわち駐車位置となる。

【００２５】図７に、図５で示した想定運動パターンを
合成した合成画像の一例を、図８に、図６で示した想定
運動パターンを合成した合成画像の一例を、それぞれ示
す。

【００２６】すなわち、運転者は、図７（図８）におい
て、障害物４０１、４０２（８０３、８０４）が、駐車
位置７０２（８０２）、タイヤ軌跡５０３（６０３）お
よび開始位置７０１（８０１）と干渉しないような、開
始位置７０１（８０１）に当該車両を移動して、そこか
ら時系列データにしたがった一連の運転操作を開始する
ことによって、駐車位置７０２（８０２）に駐車する左
側への縦列駐車（右側への車庫入れ）を行うことができ
る。

【００２７】開始位置７０１（８０１）に車両を移動す
る際の詳細な手順について、左側への縦列駐車を行う場
合を例として、図９、図１０を用いて説明する。

【００２８】図９は、左側への縦列駐車を行う場合の車
両の運動を示す図である。図９に示すように、車両の運
転者は、目標駐車位置９０２の位置に車両を駐車するた
めには、まず、左側への縦列駐車を行う想定運動パター
ン（図５（ａ））の操作終了位置５０２をこの目標駐車
位置９０２と一致させたときの操作開始位置５０１を目
標開始位置９０３として、この目標開始位置９０３に、
現在位置９０１に位置する車両を移動させる必要があ
る。

【００２９】図５（ａ）の操作終了位置５０２と操作開
始位置５０１の相対的な位置関係は、図５（ｂ）の時系
列データにしたがって運転操作を行った場合に対応する
ものであり、実際の運転操作においては、操作中のハン
ドル操作等の微調整などによって、微調整が可能であ
る。

【００３０】本実施の形態における運転操作補助装置の
ような装置を用いない場合、運転者は、車の内部から直
視やミラーなどから確認できる情景から、障害物４０
１、４０２や、目標駐車位置９０２を想定して、目標開
始位置９０３へ車両を移動させる必要がある。この場合
において、運転者が、車の内部から直視やミラーなどか
ら確認できる情景から、障害物４０１、４０２や、目標
駐車位置９０２を想定する作業は、習熟を要するという
問題がある。また、車両の大きさやミラーの位置が変わ
った場合でも、運転者はその変化にすぐには対応しづら
いという問題がある。

【００３１】これに対して、本実施の形態における運転
操作補助装置を用いる場合、車両に取り付けられたカメ
ラが撮像した画像を用いて、図４に示すような、車両の
真上から撮像したような仮想カメラの視点からの周囲状
況画像画像に、図５（ａ）に示すような、想定運動パタ
ーンを重ね合わせて、図７に示すような、合成画像が生
成され、運転者に表示される。

【００３２】したがって、図９の目標開始位置９０３に
車両を移動させる運転操作を行う際、図１０（ａ）〜
（ｃ）に示すように、車両の現在位置９０１と、図５
（ａ）の操作開始位置５０１とを一致させて表示すれ
ば、現在位置９０１を操作開始位置５０１としたときの
操作終了位置５０２が、タイヤ軌跡とともに、現在位置
に対応した駐車位置１００１として表示されることにな
る。この駐車位置１００１が目標駐車位置９０２と一致
するような現在位置９０１に車両が位置したときに、目
標開始位置９０３への移動が完了したことになる。

【００３３】すなわち、図１０（ａ）の合成画像１が表
示手段１０７に表示された時点では、この位置から駐車
操作を開始した場合、駐車位置１００１が障害物４０２
と重なるため、さらに車両を前方（図１０（ａ）の上側
方向）に進めた位置から駐車操作を開始しなければなら
ないことが、運転者は一目で把握できる。

【００３４】また、図１０（ｂ）の合成画像２が表示手
段１０７に表示された時点では、この位置から駐車操作
を開始した場合、タイヤ軌跡が障害物４０１と重なるた
め、さらに車両を後方（図１０（ａ）の下側方向）に移
動した位置から駐車操作を開始しなければならないこと
が、運転者は一目で把握できる。

【００３５】また、図１０（ｃ）の合成画像３が表示手
段１０７に表示された時点の位置から駐車操作を開始し
た場合、タイヤ軌跡が障害物４０１および４０２に重な
らず、また駐車位置１００１が駐車に適した場所である
ことが一目で把握できるので、この位置から駐車操作を
開始すれば良いことが確認できる。

【００３６】このように、真上から見たときの車両と、
周りの障害物、駐車終了位置、タイヤ軌跡の位置関係を
示す画像を仮想的に合成し、運転者に示すことによっ
て、運転者はそれらの位置関係を、直接的に一目で把握
できる。その結果、運転者は、駐車操作開始に適した場
所を一目で把握し、その場所に車両を容易に移動させて
から、駐車操作を開始できるので、より安全かつ正確
に、目的の位置に駐車操作することができる。

【００３７】なお、想定運動パターンの操作開始位置、
操作終了位置およびタイヤ軌跡は、車両毎に固有であっ
て、たとえば小型車両と大型車両では大きくことなる。
これについては、図１の想定運動パターン格納手段１０
８に、車両毎に、想定運動パターンを格納することによ
って対応できる。したがって、運転者は車両が変わって
も、その車両に対応した想定運動パターンと、周りの障
害物等の関係を見ながら運転操作をすることができる。

【００３８】また、車両が変わることによって、図２で
示した車載カメラの位置、数も変化することが考えられ
るが、これも図１のカメラパラメータテーブル１０３
が、各カメラのカメラパラメータを、車両毎に格納する
ことによって対応され、運転者に表示される表示画像に
直接影響変化はない。したがって、運転者は車両が変わ
ってカメラ位置が変化しても、車両が変わる前とほぼ同
様に合成画像に表示される、その車両に対応した想定運
動パターンと、周りの障害物等の関係を見ながら運転操
作をすることができる。

【００３９】以上のように、本実施の形態によれば、従
来、運転者に相当の熟練を要する縦列駐車等の運転操作
において、運転車両と障害物および目的位置等の把握
が、直接的に一目で可能となり、より安全かつ正確な運
転操作が可能で、また運転者の操作負担を大幅に軽減す
る。

【００４０】また、車両等が変わった場合でも、運転者
は車両が変わる前とほぼ同様に、その車両に対応した想
定運動パターンと、周りの障害物等の関係を見ながら運
転操作をすることができるので、車両の変更に対する運
転者の習熟の負担を大幅に軽減することができる。

【００４１】ここで、図１の想定運動パターン格納手段
１０８に格納されている想定運動パターンのバリエーシ
ョンの一例を、図１１に示す。左右の縦列駐車の想定運
動パターン１１０１、１１０２と、左右の車庫入れ駐車
の想定運動パターン１１０３、１１０４である。前述し
たように、運転者は、パターン選択手段（図示せず）に
より、これらのいずれかを選択する。この４つの想定運
動パターンの選択に対応して、合成画像として表示する
領域も、図１１の各想定運動パターン１１０１〜１１０
４の外枠のように決定される。つまり、操作開始位置
を、現時点の車両位置とし、そこからタイヤ軌跡および
操作終了位置を含む矩形領域を合成画像領域とするもの
である。

【００４２】なお、車載カメラからは、車両本体は一般
に撮像されていないが、ここでは、車両のＣＧデータ、
実車データなどを保持し、軌跡データ同様に、合成画像
中に、重ね合わせて表示しても良い。

【００４３】なお、本実施の形態において、本発明の想
定運動パターンは、操作開始位置（本発明の想定運動開
始領域）、操作終了位置（本発明の想定運動終了領域）
およびタイヤ軌跡（本発明の車両のタイヤの軌跡を表す
画像データ）を示す画像データであるとして説明した
が、これに限るものではなく、例えば、タイヤ軌跡の替
わりに／タイヤ軌跡とともに、車両自身の平面投影が動
く軌跡（本発明の車両の移動領域を表す画像データ）を
含むとしてもよい。要するに、本発明の想定運動パター
ンは、予め車両に対して所定の一連の運転操作を行うと
した場合の前記車両の運動を表す画像データでありさえ
すればよい。

【００４４】また、上述したように、タイヤ軌跡および
／または車両の移動領域をそのまま表示すると、車両と
障害物等との接触に対する余裕がないので、図１２に示
すように、タイヤ軌跡または車両の移動領域の外縁か
ら、所定の量（例えば、５０ｃｍ）だけ外側に配置した
余裕線１２０１を表示するとしてもよい。

【００４５】また、本実施の形態において、本発明の周
囲状況画像は、撮像部１０１がリアルタイムで撮像した
画像データが合成されたものであるとして説明したが、
これに限るものではなく、例えば、頻繁に同一の運転操
作を行う場所であり、周囲状況の変動がほとんどないよ
うな場所において、運転操作を行う場合は、既に撮像さ
れた画像データから作成したデータを空間データバッフ
ァ１０５に格納しておき、これを用いるとしてもよい。

【００４６】（第２の実施の形態）次に、本発明の第２
の実施の形態を図面を参照して説明する。

【００４７】図１３は、本発明の第２の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置も、主として、
車庫入れ時および縦列駐車時等の運転操作の補助を目的
とするものである。したがって、本実施の形態におい
て、特に説明のないものについては、第１の実施の形態
と同じとし、第１の実施の形態と同一符号を付与してい
る構成部材については、特に説明のない限り、第１の実
施の形態と同様の機能を持つものとする。また、第１の
実施の形態において説明した各変形例についても、特に
ことわらない限り、同様の変形を行うことによって、本
実施の形態に適用されるものとする。

【００４８】図１３に示すように、本実施の形態におけ
る運転操作補助装置の構成が、第１の実施の形態におけ
る運転操作補助装置の構成と異なるのは、開始検出手段
１３０１と、積分手段１３０２と、空間変換手段１３０
３とを備える点である。

【００４９】進行か後退かを示すギア信号と、前輪の操
舵角を示すハンドル切れ角信号とが入力されている、開
始検出手段１３０１は、ギア信号が後退の状態でかつハ
ンドル切れ角信号が前輪の操舵角が一定以上大きくなっ
たとき、想定運動パターン格納手段１０８に格納されて
いる想定運動パターンに対応する運転操作（駐車操作）
が開始されたと判断するものであり、本発明の操作開始
検出手段に対応するものである。

【００５０】積分手段１３０２は、前記ハンドル切れ角
と、前記後輪回転数とを積分して、運転操作（駐車操
作）を開始してから現時点までの車両の空間移動変化を
算出するものであり、本発明の移動位置算出手段に対応
するものである。

【００５１】空間変換手段１３０３は、前記空間移動変
化にしたがって、想定運動パターンを移動させるもので
あり、スーパーインポーズ手段１０２および空間変換手
段１３０３を合わせたものは、本発明の合成画像生成手
段に対応するものである。

【００５２】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターンに対
応する実際の運転操作が開始されるまでの手順は、第１
の実施の形態で説明したものと同じである。

【００５３】想定運動パターンに対応する実際の運転操
作が開始された時点以降の、スーパーインポーズ手段１
０２が本発明の合成画像を生成して、それを表示手段１
０７が表示するまでの手順を、左側への縦列駐車を行う
場合を例として、以下に説明する。

【００５４】運転者が左側への縦列駐車に対応する運転
操作を開始すると、ギア信号が後退の状態でかつハンド
ル切れ角信号が前輪の操舵角が一定以上大きくなるの
で、開始検出手段１３０１が、左側への縦列駐車に対応
する運転操作（駐車操作）が開始されたと判断し、積分
手段１３０２へ運転操作（駐車操作）が開始されたこと
を伝えるとともに、それ以降、ハンドル切れ角信号およ
び後輪回転数信号を積分手段１３０２へ入力する。

【００５５】積分手段１３０２は、入力されてくる、運
転操作開始以降のハンドル切れ角信号と、後輪回転数信
号とを積分して、図１４（ａ）に示すように、車両現在
位置１４０２に対する駐車操作開始位置１４０１の位置
関係を算出する。

【００５６】算出された位置関係にしたがって、空間変
換手段１３０３は、図１４（ｂ）に示すように、左側へ
の縦列駐車に対応する想定運動パターン１４０３をその
操作開始位置（図５の５０１）と駐車操作開始位置１４
０１が一致するように、移動させる。換言すれば、空間
変換手段１３０３は、運転操作開始以降、想定運動パタ
ーン１４０３を、駐車操作開始時の位置に空間固定す
る。

【００５７】スーパーインポーズ手段１０２は、運転操
作開始以降においては、駐車操作開始時の位置に空間固
定された想定運動パターン１４０３と、車両現在位置１
４０２とを、周囲状況画像に重ね合わせて合成して、図
１４（ｃ）に示すように、本発明の合成画像を生成す
る。表示手段１０７は、この合成画像を表示する。障害
物４０１、４０２等の周囲状況画像は、もちろん空間に
固定されているものなので、この合成画像において、周
囲状況画像と想定運動パターン１４０３との位置関係は
固定されている。また、合成画像は、車両上に固定され
た視点から見た画像であるため、図１４（ｃ）において
は、車両が動くと、車両現在位置１４０２のみ画面上に
固定され、周囲状況画像および想定運動パターン１４０
３は、相対的に動いて表示される。

【００５８】すなわち、本実施の形態によれば、仮想カ
メラの視点からの周囲状況画像は、実際の車両の動きに
したがって移動し、また重ね合わせて合成される想定運
動パターン１４０３も同様に、積分手段１３０２で算出
される車両の動きにしたがって移動するため、両者は一
致した動きとなる。運転者は、その各時点で、表示され
る想定運動パターンのタイヤ軌跡に沿ったハンドル操作
をすればよいので、より簡単で安全な車両操作が可能と
なる。

【００５９】（第３の実施の形態）次に、本発明の第３
の実施の形態を図面を参照して説明する。

【００６０】図１５は、本発明の第３の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置も、主として、
車庫入れ時および縦列駐車時等の運転操作の補助を目的
とするものである。したがって、本実施の形態におい
て、特に説明のないものについては、第１の実施の形態
と同じとし、第１の実施の形態と同一符号を付与してい
る構成部材については、特に説明のない限り、第１の実
施の形態と同様の機能を持つものとする。また、第１の
実施の形態において説明した各変形例についても、特に
ことわらない限り、同様の変形を行うことによって、本
実施の形態に適用されるものとする。

【００６１】図１５に示すように、本実施の形態におけ
る運転操作補助装置の構成が、第１の実施の形態におけ
る運転操作補助装置の構成と異なるのは、開始検出手段
１５０１と、画像追跡手段１５０２と、空間変換手段１
５０３とを備える点である。

【００６２】開始検出手段１５０１は、ハンドル切れ角
信号および後輪回転数信号を他へ出力しないことを除け
ば、第２の実施の形態で説明した、図１３の開始検出手
段１３０１と同じ機能を有するものである。

【００６３】画像追跡手段１５０２は、運転操作（駐車
操作）が開始された時点での、合成画像上における、周
囲状況画像の画像データの全部または一部（例えば、障
害物）を基準とする、想定運動パターンの画像データの
全部または一部（例えば、操作終了位置）の位置情報を
記憶するものであり、本発明の位置情報記憶手段に対応
するものである。

【００６４】空間変換手段１５０３は、前記位置情報に
したがって、想定運動パターンを移動させるものであ
り、スーパーインポーズ手段１０２および空間変換手段
１５０３を合わせたものは、本発明の合成画像生成手段
に対応するものである。

【００６５】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターンに対
応する実際の運転操作が開始されるまでの手順は、第１
の実施の形態で説明したものと同じである。

【００６６】想定運動パターンに対応する実際の運転操
作が開始された時点以降の、スーパーインポーズ手段１
０２が本発明の合成画像を生成して、それを表示手段１
０７が表示するまでの手順を、左側への縦列駐車を行う
場合を例として、以下に説明する。

【００６７】運転者が左側への縦列駐車に対応する運転
操作を開始すると、ギア信号が後退の状態でかつハンド
ル切れ角信号が前輪の操舵角が一定以上大きくなるの
で、開始検出手段１５０１が、左側への縦列駐車に対応
する運転操作（駐車操作）が開始されたと判断し、画像
追跡手段１５０２へ運転操作（駐車操作）が開始された
ことを伝える。

【００６８】画像追跡手段１５０２は、運転操作（駐車
操作）が開始されたことを伝えられると、このときの合
成画像（図１６（ａ））上における、周囲状況画像の画
像データの一部である障害物４０２の一部と、駐車操作
終了位置１６０２とを含む終了位置周辺画像１６０３の
画像データを、空間データバッファ１０５経由で入手し
て記憶する。運転操作開始以降は、各時点での周囲状況
画像（空間データバッファ１０５経由で入手）から、障
害物４０２の当該部分を見つけ出し、終了位置周辺画像
１６０３内での障害物４０２の当該部分を周囲状況画像
の障害物４０２の当該部分と一致させることによって、
その時点での駐車操作終了位置１６０２と周囲状況画像
との位置関係を決定する。つまり、画像追跡手段１５０
２は、各時点での駐車操作終了位置１６０２と周囲状況
画像との位置関係を追跡している。

【００６９】この位置関係にしたがって、空間変換手段
１５０３は、左側への縦列駐車に対応する想定運動パタ
ーンをその操作終了位置（図５の５０２）と駐車操作終
了位置１６０２が一致するように、移動させる。換言す
れば、空間変換手段１５０３は、運転操作開始以降、当
該想定運動パターンを、駐車操作開始時の位置に空間固
定する。

【００７０】スーパーインポーズ手段１０２は、運転操
作開始以降においては、図１６（ｃ）に示すように、駐
車操作開始時の位置に空間固定された想定運動パターン
１６０５、車両の現在位置１６０４とを、周囲状況画像
に重ね合わせて合成して、本発明の合成画像を生成す
る。表示手段１０７は、この合成画像を表示する。障害
物４０１、４０２等の周囲状況画像は、もちろん空間に
固定されているものなので、この合成画像において、周
囲状況画像と想定運動パターン１４０３との位置関係は
固定されている。

【００７１】また、合成画像は、車両上に固定された視
点から見た画像であるため、図１６（ｃ）においては、
車両が動くと、車両の現在位置１６０４のみ画面上に固
定され、周囲状況画像および想定運動パターン１６０５
は、相対的に動いて表示される。すなわち、本実施の形
態における運転操作補助装置において、第２の実施の形
態における運転操作補助装置と同じ条件で手順を踏む
と、図１６（ｃ）に示した合成画像は、図１４（ｃ）で
示した合成画像と同じものとなる。

【００７２】本実施の形態によれば、仮想カメラの視点
からの周囲状況画像は、実際の車両の動きにしたがって
移動し、また重ね合わせて合成される想定運動パターン
１６０５も同様に、車両の動きにしたがって移動するた
め、両者は一致した動きとなる。運転者は、その各時点
で、表示される想定運動パターンの軌跡データに、沿っ
たハンドル操作をすればよいので、より簡単で安全な車
両操作が可能となる。

【００７３】（第４の実施の形態）次に、本発明の第４
の実施の形態を図面を参照して説明する。

【００７４】図１７は、本発明の第４の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置も、主として、
車庫入れ時および縦列駐車時等の運転操作の補助を目的
とするものである。したがって、本実施の形態におい
て、特に説明のないものについては、第１の実施の形態
と同じとし、第１の実施の形態と同一符号を付与してい
る構成部材については、特に説明のない限り、第１の実
施の形態と同様の機能を持つものとする。また、第１の
実施の形態において説明した各変形例についても、特に
ことわらない限り、同様の変形を行うことによって、本
実施の形態に適用されるものとする。

【００７５】図１７に示すように、本実施の形態におけ
る運転操作補助装置の構成が、第１の実施の形態におけ
る運転操作補助装置の構成と異なるのは、開始入力手段
１７０１と、運転制御手段１７０２と、積分手段１７０
３と、空間変換手段１７０４とを備える点である。

【００７６】開始入力手段１７０１は、想定運動パター
ンに対応する実際の運転操作（駐車操作）を開始するこ
とを、運転者が入力指示するものであり、本発明の操作
開始検出手段に対応するものである。

【００７７】運転制御手段１７０２は、運転操作開始指
示が入力されると、想定運動パターンに対応する時系列
データ（例えば、図５（ｂ））にしたがって、ハンドル
切れ角および後輪回転数を制御することによって、車両
の運転を自動制御するものであり、本発明の運転制御手
段に対応するものである。

【００７８】積分手段１７０３は、ハンドル切れ角と、
後輪回転数とを積分して、運転操作（駐車操作）を開始
してから現時点までの車両の空間移動変化を算出するも
のであり、本発明の移動位置算出手段に対応するもので
ある。すなわち、第２の実施の形態で説明した、図１３
の積分手段１３０２と同じ機能を有するものである。

【００７９】空間変換手段１７０４は、前記空間移動変
化にしたがって、想定運動パターンを移動させるもので
あり、スーパーインポーズ手段１０２および空間変換手
段１７０４を合わせたものは、本発明の合成画像生成手
段に対応するものである。すなわち、空間変換手段１７
０４は、第２の実施の形態で説明した、図１３の空間変
換手段１３０３と同じ機能を有するものである。

【００８０】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターンに対
応する実際の運転操作が開始されるまでの手順は、第１
の実施の形態で説明したものと同じである。

【００８１】想定運動パターンに対応する実際の運転操
作が開始された時点以降の、スーパーインポーズ手段１
０２が本発明の合成画像を生成して、それを表示手段１
０７が表示するまでの手順を、左側への縦列駐車を行う
場合を例として、以下に説明する。

【００８２】運転者は、駐車操作開始前に、前記表示手
段１０７に表示される合成画像を見ながら、駐車操作開
始に適した位置に車両を位置させた後、開始入力手段１
７０１に、駐車操作開始を指示する入力を行う。開始入
力手段１７０１は、運転操作開始指示が入力されたこと
を、運転制御手段１７０２および積分手段１７０３へ、
想定運動パターン格納手段１０８を介して伝える。

【００８３】運転制御手段１７０２は、駐車操作開始指
示が入力されると、想定運動パターンに対応する時系列
データ（図５（ｂ））にしたがって、ハンドル切れ角制
御信号および後輪回転数制御信号を発生させ、ハンドル
制御系および後輪駆動系を制御することによって、車両
の運転を自動制御する。

【００８４】積分手段１７０３は、駐車操作開始指示が
入力されると、ハンドル切れ角信号および後輪回転数信
号を積分して、図１４（ａ）に示すように、車両現在位
置１４０２に対する駐車操作開始位置１４０１の位置関
係を算出する。

【００８５】算出された位置関係にしたがって、空間変
換手段１７０４は、図１４（ｂ）に示すように、左側へ
の縦列駐車に対応する想定運動パターン１４０３をその
操作開始位置（図５の５０１）と駐車操作開始位置１４
０１が一致するように、移動させる。換言すれば、空間
変換手段１７０４は、運転操作開始以降、想定運動パタ
ーン１４０３を、駐車操作開始時の位置に空間固定す
る。

【００８６】これ以降のスーパーインポーズ手段１０２
が合成画像を生成し、表示手段１０７がこの合成画像を
表示する手順は、第２の実施の形態で説明したものと同
じである。車両が所定の駐車位置に到達すると、運転制
御手段１７０２は、時系列データにしたがって、車両を
停止させ、駐車操作が終了する。

【００８７】本実施の形態によれば、第２の実施の形態
で説明した効果に加え、運転操作の開始を指示した以降
は、ハンドル操作等が自動に行われるという効果が得ら
れる。運転者は、その各時点で、表示される想定運動パ
ターンの軌跡データに、沿ったハンドル操作が自動的に
発生されるのを確認し、また新たな障害物が現れるのを
監視すればよいだけなので、より簡単で安全な車両操作
が可能となる。

【００８８】（第５の実施の形態）次に、本発明の第５
の実施の形態を図面を参照して説明する。

【００８９】図１８は、本発明の第５の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置も、主として、
車庫入れ時および縦列駐車時等の運転操作の補助を目的
とするものである。したがって、本実施の形態におい
て、特に説明のないものについては、第１の実施の形態
と同じとし、第１の実施の形態と同一符号を付与してい
る構成部材については、特に説明のない限り、第１の実
施の形態と同様の機能を持つものとする。また、第１の
実施の形態において説明した各変形例についても、特に
ことわらない限り、同様の変形を行うことによって、本
実施の形態に適用されるものとする。

【００９０】図１８に示すように、本実施の形態におけ
る運転操作補助装置の構成が、第１の実施の形態におけ
る運転操作補助装置の構成と異なるのは、軌跡修正手段
１８０１を備える点である。

【００９１】軌跡修正手段１８０１は、運転者から入力
された、運動操作の操作開始位置および操作終了位置に
基づいて、想定運動パターンおよび時系列データを修正
するものであり、本発明のパターン修正手段に対応する
ものである。

【００９２】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターン格納
手段１０８に格納されている想定運動パターンがその操
作開始位置と車両の現在位置とを一致させて合成画像上
に表示されるまでの手順は、第１の実施の形態で説明し
たものと同じである。

【００９３】想定運動パターンが合成画像上に表示され
た時点以降の、運転者が軌跡修正手段１８０１を用いて
想定運動パターンおよび時系列データを修正し、それが
合成画像上に表示されるまでの手順を、左側への車庫入
れを行う場合を例として、以下に説明する。

【００９４】図１９（ａ）に示すように、運転者が、障
害物１９０４、１９０５に接触しないように目標駐車位
置１９０２を操作終了位置とする車庫入れ操作を行おう
として、目標駐車位置１９０２に想定運動パターンの操
作終了位置が一致するような現在位置１９０１に車両を
移動させたところ、想定運動パターンのタイヤ軌跡１９
０３が障害物１９０５と干渉することが判明した場合を
想定する。

【００９５】想定運動パターン格納手段１０８が、別の
左側への車庫入れ操作に対する想定運動パターンを格納
している場合は、パターン選択手段（図示せず）によ
り、これを選択して、うまく駐車操作できるかを検討し
てもよいが、そうでない場合、もしくは、別の想定運動
パターンも障害物等と干渉してしまう場合は、運転者
は、想定運動パターンの修正を行う。

【００９６】まず、運転者は、表示手段１０７に表示さ
れている合成画像（図１９（ａ））の現在位置１９０１
にある車両を示す図形を、図１９（ｂ）に示すように、
新しい操作開始位置１９０６へ、数値入力、ポインタ
ー、その他の手段によって移動させる。

【００９７】新しい操作開始位置１９０６が決まると、
軌跡修正手段１８０１は、新しい操作開始位置１９０６
から目標駐車位置１９０２へ車両が移動するような新し
いタイヤ軌跡１９０７（図１９（ｃ）参照）を求め、新
しい想定運動パターンおよびそれらに対応する時系列デ
ータを生成する。

【００９８】スーパーインポーズ手段１０２は、図１９
（ｄ）に示すように、新しい想定運動パターンを、その
操作開始位置が車両の現在位置１９０１とを一致させて
合成画像を生成し、表示手段１０７は、これを表示す
る。

【００９９】したがって、運転者は、新しい想定運動パ
ターンの操作終了位置１９０８を、目標駐車位置１９０
２と一致させるように、車両を移動させた後に、新しい
想定運動パターンにしたがった運転操作（駐車操作）を
開始すれば、目標駐車位置１９０２に当該車両を駐車さ
せることができる。

【０１００】なお、生成された新しい想定運動パターン
および時系列データは、元の想定運動パターンを更新し
て、想定運動パターン格納手段１０８に格納するとして
もよいし、元の想定運動パターンはそのままとして、想
定運動パターン格納手段１０８に追加格納するとしても
よい。また、その場限りのものとして格納しなくてもよ
い。さらに、更新格納、追加格納、格納しない、を運転
者がその都度選択するとしてもよい。

【０１０１】また、本実施の形態においては、想定運動
パターン格納手段１０８に更新格納または追加格納する
想定運動パターンは、運転者から入力された運動の開始
時および終了時の車両の位置に基づいて、自動的に求め
られるとして説明したが、実際の運転操作を行って、こ
のときのハンドル舵角、車輪回転数等の時系列データを
採取して、これに基づいて想定運動パターンを生成して
格納するとしてもよい。

【０１０２】本実施の形態によれば、第１の実施の形態
における運転操作補助装置に比して、拡張性のある運転
操作補助装置を実現することができる。

【０１０３】（第６の実施の形態）次に、本発明の第６
の実施の形態を図面を参照して説明する。

【０１０４】図２０は、本発明の第６の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置も、主として、
車庫入れ時および縦列駐車時等の運転操作の補助を目的
とするものである。したがって、本実施の形態におい
て、特に説明のないものについては、第１の実施の形態
と同じとし、第１の実施の形態と同一符号を付与してい
る構成部材については、特に説明のない限り、第１の実
施の形態と同様の機能を持つものとする。また、第１の
実施の形態において説明した各変形例についても、特に
ことわらない限り、同様の変形を行うことによって、本
実施の形態に適用されるものとする。

【０１０５】図２０に示すように、本実施の形態におけ
る運転操作補助装置の構成が、第１の実施の形態におけ
る運転操作補助装置の構成と異なるのは、ＣＧ画像合成
手段２００１を備える点である。

【０１０６】ＣＧ画像合成手段２００１は、想定運動パ
ターン格納手段１０８に格納されている各想定運動パタ
ーンに対応する３次元データが格納されており、周囲状
況画像の視点に合わせた３次元（または２次元）画像を
生成するものであり、本発明の想定運動パターン格納手
段の機能の一部、および、本発明の合成画像生成手段の
機能の一部に対応するものである。

【０１０７】また、視点変換手段１０６は、自動的に、
または、運転者からの入力により、視点の位置を切り替
えることができるものとする。

【０１０８】また、想定運動パターン格納手段１０８
は、図２１（ａ）に示すように、格納されている想定運
動パターン（操作開始位置５０１、操作終了位置５０２
およびタイヤ軌跡５０３）とともに、タイヤ軌跡５０３
上に配置された複数の仮想ポール２００１の位置が記憶
されている。この想定運動パターンおよび仮想ポール２
００１のデータを基づいて、ＣＧ画像合成手段２００１
は、予め、この想定運動パターンに対応する３次元デー
タ（図２１（ｂ）参照）を生成して格納している。

【０１０９】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターンに対
応する実際の運転操作が開始されるまでの手順は、第１
の実施の形態で説明したものと同じである。

【０１１０】想定運動パターンに対応する実際の運転操
作が開始された時点以降の、スーパーインポーズ手段１
０２が本発明の合成画像を生成して、それを表示手段１
０７が表示するまでの手順を、左側への縦列駐車を行う
場合を例として、以下に説明する。

【０１１１】運転者は、実際の運転操作を開始する前
に、視点変換手段１０６が使用している周辺状況画像の
視点を、当該車両の直上から、当該車両の後部から後方
を望む視点に切り替える。または、視点変換手段１０６
が想定運動パターンに対応する実際の運転操作が開始さ
れたことを検出することによって、自動的に当該視点に
切り替える。なお、実際の運転操作が開始されたことを
検出する具体的な手段としては、例えば、第２の実施の
形態で説明した開始検出手段１３０１と同様のものが挙
げられる。

【０１１２】視点が切り替えられることによって、視点
変換手段１０６からの出力である周辺状況画像は、図２
１（ｃ）に示すようになる。ＣＧ画像合成手段２００１
は、当該車両の現在位置を操作開始位置５０１と一致さ
せて、視点変換手段１０６が用いている視点と同じ視点
から見たＣＧ画像を生成する。このときのＣＧ画像は、
図２１（ｄ）に示すようになる。

【０１１３】スーパーインポーズ手段１０２は、このＣ
Ｇ画像を、周囲状況画像に重ね合わせて合成して、図２
１（ｅ）に示すように、本発明の合成画像を生成する。
表示手段１０７は、この合成画像を表示する。合成画像
は、車両上に固定された視点から見た画像であるため、
図２１（ｅ）においては、車両が動くと、画像全体が、
相対的に動いて表示される。

【０１１４】本実施の形態においては、運転者は、この
表示画像を見ながら、仮想ポールや、操作終了位置と、
実際の障害物との関係を一目で把握しながら、駐車開始
位置を決定できるので、安全で確実な運転操作を行うこ
とができる。

【０１１５】なお、上記説明では、ＣＧ画像合成手段２
００１がリアルタイムで視点変換手段１０６が用いてい
る視点と同じ視点から見たＣＧ画像を生成するとして説
明したが、所定の視点位置から見たＣＧ画像を予め想定
運動パターン毎に生成しておき、これらを格納しておく
という構成でもよい。

【０１１６】また、本実施の形態においては、第１の実
施の形態と同様に、仮想カメラから見た周辺状況画像を
生成するとして説明したが、視点を切り替えることな
く、車両の後部から後方を望むような画像のみを対象と
する場合には、当該視点位置に据え付けたカメラが撮像
した画像を、そのまま、周辺状況画像としてもよい。こ
の場合の運転操作補助装置の構成は、図２２に示すブロ
ック図のようになる。すなわち、ＣＧ画像合成手段２０
０１は、１台の車載のカメラ２２０１の視点に関するデ
ータをカメラパラメータテーブル１０３より入手してＣ
Ｇ画像を生成するものである。

【０１１７】（第７の実施の形態）次に、本発明の第７
の実施の形態を図面を参照して説明する。

【０１１８】図２３は、本発明の第７の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置も、主として、
車庫入れ時および縦列駐車時等の運転操作の補助を目的
とするものである。したがって、本実施の形態におい
て、特に説明のないものについては、第１の実施の形態
と同じとし、第１の実施の形態と同一符号を付与してい
る構成部材については、特に説明のない限り、第１の実
施の形態と同様の機能を持つものとする。また、第１の
実施の形態において説明した各変形例についても、特に
ことわらない限り、同様の変形を行うことによって、本
実施の形態に適用されるものとする。

【０１１９】図２３に示すように、本実施の形態におけ
る運転操作補助装置の構成が、第１の実施の形態におけ
る運転操作補助装置の構成と異なるのは、マッピング手
段２３０１と、マッピングテーブル２３０２とを備える
点である。

【０１２０】マッピング手段２３０１は、撮像部１０１
の各カメラからの入力画像を任意の視点から見た画像に
変換する処理を高速に行うものである。

【０１２１】また、マッピングテーブル２３０２は、マ
ッピング手段２３０１が変換を行う際に使用するデータ
を格納するものである。

【０１２２】図２４は、マッピングテーブル２３０２に
格納されているマッピングテーブルの一例を示す概念図
である。マッピングテーブルは、表示手段１０７にて表
示する画面（すなわち、スーパーインポーズ手段１０２
が生成する合成画像）の画素数分のセルから構成されて
いる。すなわち、表示画面の横画素数がテーブルの列数
となり、表示画面の縦画素数がテーブルの行数となるよ
うに、テーブルが構成されている。そして、それぞれの
セルは、カメラ番号と、各カメラで撮影された画像の画
素座標と、をデータとして持っている。

【０１２３】例えば、図２４の左上のセル（（１、１
０、１０）のデータが記入されているセル）は、表示画
面での左上すなわち（０、０）の部分を示しており、マ
ッピング手段２３０１は、前記セルに格納されているデ
ータ内容（１、１０、１０）から、「１番カメラで撮影
された画像の画素（１０、１０）のデータを、表示画面
（０、０）に表示する」という処理を行う。該テーブル
を用いることにより、表示画面の各画素をどのカメラの
どの画素のデータで置き換えるかの計算を行う必要がな
くなるため、処理の高速化が実現できるものである。

【０１２４】なお、視点切替手段１０６が複数の視点を
切り替えて使用する場合、マッピングテーブル２３０２
は、視点毎に図２４のようなテーブルが格納されている
必要がある。

【０１２５】（第８の実施の形態）次に、本発明の第８
の実施の形態を図面を参照して説明する。

【０１２６】図２５は、本発明の第８の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置も、主として、
車庫入れ時および縦列駐車時等の運転操作の補助を目的
とするものである。したがって、本実施の形態におい
て、特に説明のないものについては、第１の実施の形態
と同じとし、第１の実施の形態と同一符号を付与してい
る構成部材については、特に説明のない限り、第１の実
施の形態と同様の機能を持つものとする。また、第１の
実施の形態において説明した各変形例についても、特に
ことわらない限り、同様の変形を行うことによって、本
実施の形態に適用されるものとする。

【０１２７】図２５に示すように、本実施の形態におけ
る運転操作補助装置の構成が、第１の実施の形態におけ
る運転操作補助装置の構成と異なるのは、最終位置入力
手段２５０１と、開始位置決定手段２５０２と、空間固
定手段２５０３とを備える点である。

【０１２８】最終位置入力手段２５０１は、ポインター
によって、運転操作の目標終了位置を入力するものであ
る。なお、目標終了位置の入力については、数値入力ま
たはその他の手段によって、入力されるとしてもよい。

【０１２９】開始位置決定手段２５０２は、最終位置入
力手段２５０１によって入力された目標終了位置に対応
する運転操作の開始位置を、当該運転操作に対応する想
定運動パターンにしたがって求めるものである。

【０１３０】空間固定手段２５０３は、当該運転操作に
対応する想定運動パターンを、前記目標終了位置と操作
終了位置とが一致させ、以降は、空間固定させるもので
あり、図１３の積分手段１３０２および空間変換手段１
３０３の機能を併せ持ったものである（図２５において
は、後輪回転信号入力およびハンドル切れ角信号入力の
図示省略）。

【０１３１】なお、図１５の画像追跡手段１５０２およ
び空間変換手段１５０３の機能を併せ持ったものとして
もよいが、この場合は、図１５の画像追跡手段１５０２
のように、空間バッファ１０５より、空間データの入力
を貰い受ける必要がある。なお、スーパーインポーズ手
段１０２および空間固定手段２５０３を合わせたもの
は、本発明の合成画像生成手段に対応するものである。

【０１３２】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターン格納
手段１０８に格納されている想定運動パターンがその操
作開始位置と車両の現在位置とを一致させて合成画像上
に表示されるまでの手順は、第１の実施の形態で説明し
たものと同じである。

【０１３３】想定運動パターンが合成画像上に表示され
た時点以降の、運転者が最終位置入力手段２５０１を用
いて運転操作の目標終了位置を入力し、それに対応する
運転操作の開始位置を含む想定運動パターンが合成画像
上に表示されるまでの手順を、左側への車庫入れを行う
場合を例として、以下に説明する。

【０１３４】図２６（ａ）に示すように、運転者が、障
害物４０１、４０２に接触しないように、この間に駐車
しようとして、本発明の合成画像を表示手段１０７に表
示させたところ、車両の現在位置９０１を操作開始位置
とする想定運動パターン１４０３の操作終了位置である
駐車位置１００１が、障害物４０２と重なった場合を想
定する。

【０１３５】運転者は、表示手段１０７の画面上に表示
されているポインタ２６０１を用いて、駐車位置１００
１を目標位置２６０２に移動させる。このとき、図２６
（ｂ）に示すように、想定運動パターン１４０３は、駐
車位置１００１とともに移動するので、想定運動パター
ン１４０３の操作開始位置は、駐車操作を開始する開始
位置２６０３として表示されることになる。

【０１３６】上記移動作業が終了した後も、車両の現在
位置９０１は、図２６（ｃ）に示すように、表示手段１
０７が表示する画面上に表示されている。運転者は、こ
の画面を見ながら、車両を開始位置２６０３へ移動させ
ればよい。このとき、想定運動パターン１４０３は、空
間固定手段２５０３によって、空間に固定されているの
で、想定運動パターン１４０３と障害物４０１、４０２
との相対的な位置関係は変わらない。

【０１３７】本実施の形態によれば、第１の実施の形態
で説明した効果に加え、運転操作の開始位置を効率よく
求められるので、操作開始までに要する時間の短縮が図
れる。

【０１３８】なお、本実施の形態における運転操作補助
装置に、開始位置２６０３が決定されると、現在位置９
０１との相対的な位置関係を計算し、車両を現在位置９
０１から開始位置２６０３まで誘導するのに必要なハン
ドル切れ角および後輪回転数に関する時系列データを求
めて、これにしたがって、ハンドル切れ角制御信号およ
び後輪回転数制御信号を発生させ、ハンドル制御系およ
び後輪駆動系を制御することによって、車両の運転を自
動制御して、車両を現在位置９０１から開始位置２６０
３まで自動誘導する開始位置誘導手段を付加するとして
もよい。これによって、運転者が操作をすること無し
に、車両が開始位置まで誘導されるので、より簡単で安
全な車両操作が可能となる。

【０１３９】（第９の実施の形態）次に、本発明の第９
の実施の形態を図面を参照して説明する。

【０１４０】図２７は、本発明の第９の実施の形態にお
ける運転操作補助装置の構成を示すブロック図である。
本実施の形態における運転操作補助装置が、第２の実施
の形態における運転操作補助装置と異なるのは、開始検
出手段１３０１および積分手段１３０２の出力が、視点
変換手段１０６に入力され、視点変換手段１０６はこれ
にしたがって、仮想カメラの視点を切り替えることに関
する点のみである。

【０１４１】したがって、本実施の形態において、特に
説明のないものについては、第２の実施の形態と同じと
し、第２の実施の形態と同一符号を付与している構成部
材については、特に説明のない限り、第２の実施の形態
と同様の機能を持つものとする。また、第２の実施の形
態において説明した各変形例についても、特にことわら
ない限り、同様の変形を行うことによって、本実施の形
態に適用されるものとする。

【０１４２】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターンに対
応する実際の運転操作が開始されるまでの手順は、第１
の実施の形態で説明したものと同じである。

【０１４３】想定運動パターンに対応する実際の運転操
作が開始された時点以降の、スーパーインポーズ手段１
０２が本発明の合成画像を生成して、それを表示手段１
０７が表示するまでの手順を、左側への縦列駐車を行う
場合を例として、以下に説明する。

【０１４４】実際の運転操作が開始されるまでは、第１
の実施の形態において、図１０を用いて説明したよう
に、仮想カメラの視点位置は車両の真上に固定されてお
り、図２８（ａ）に示すように、車両の現在位置９０１
およびこの位置を操作開始位置とする想定運動パターン
１４０３は、画面上に固定されており、障害物４０１、
４０２等の周辺状況画像が、車両の移動に合わせて相対
的に画面上を移動して表示されている。

【０１４５】図２８（ｂ）に示すように、車両の現在位
置９０１が、目標駐車位置９０２に対応する位置に来る
と、運転者は、左側への縦列駐車に対応する運転操作を
開始する。運転操作が開始されると、ギア信号が後退の
状態でかつハンドル切れ角信号が前輪の操舵角が一定以
上大きくなるので、開始検出手段１３０１が、左側への
縦列駐車に対応する運転操作（駐車操作）が開始された
と判断し、積分手段１３０２および視点変換手段１０６
へ運転操作（駐車操作）が開始されたことを伝える。

【０１４６】積分手段１３０２は、入力されてくる、運
転操作開始以降のハンドル切れ角信号と、後輪回転数信
号とを積分して、図１４（ａ）に示すように、車両現在
位置１４０２に対する駐車操作開始位置１４０１の位置
関係を算出する。

【０１４７】算出された位置関係にしたがって、空間変
換手段１３０３は、図１４（ｂ）に示すように、左側へ
の縦列駐車に対応する想定運動パターン１４０３をその
操作開始位置（図５の５０１）と駐車操作開始位置１４
０１が一致するように、移動させる。換言すれば、空間
変換手段１３０３は、運転操作開始以降、想定運動パタ
ーン１４０３を、駐車操作開始時の位置に空間固定す
る。

【０１４８】視点変換手段１０６は、運転操作（駐車操
作）が開始されたことを伝えられると、このときの仮想
カメラの視点位置を空間（地面）に対して固定にする。
すなわち、運転操作開始以降は、周辺状況画像（障害物
４０１、４０２等）は画面上に固定される。

【０１４９】スーパーインポーズ手段１０２は、運転操
作開始以降においては、駐車操作開始時の位置に空間固
定された想定運動パターン１４０３と、車両現在位置１
４０２とを、周囲状況画像に重ね合わせて合成して、図
２８（ｃ）に示すように、本発明の合成画像を生成す
る。この合成画像の視点は、周囲状況画像の視点と同じ
く、駐車操作開始時の仮想カメラの視点位置を空間固定
したものであるから、スーパーインポーズ手段１０２
は、積分手段１３０２によって算出された位置関係を視
点に対して逆算することによって、前記合成画像を生成
する。すなわち、この合成画像（図２８（ｃ））におい
て、周辺状況画像（障害物４０１、４０２等）および想
定運動パターン１４０３が画面上に固定され、車両現在
位置１４０２が、車両の実際の移動に合わせて相対的に
画面上を移動して表示される。

【０１５０】本実施の形態によれば、駐車操作開始五の
視点が空間に固定されるので、運転者が、駐車スペース
周囲の状況に対する自車の移動状態がひとめで把握でき
るようになる。

【０１５１】なお、想定運動パターンで想定する運動が
広範囲または複雑なものであり、運転操作を開始した後
に、撮像部１０１のカメラの視野に入らない範囲が生じ
る場合は、空間データバッファ１０５に蓄積されている
データを用いて当該範囲の表示を行うとしてもよい。

【０１５２】（第１０の実施の形態）次に、本発明の第
１０の実施の形態を図面を参照して説明する。

【０１５３】図２９は、本発明の第１０の実施の形態に
おける運転操作補助装置の構成を示すブロック図であ
る。本実施の形態における運転操作補助装置が、第１の
実施の形態における運転操作補助装置と異なるのは、想
定運動パターン格納手段１０８にデフォルトの運送パタ
ーンとして、図３０（ｂ）に示すようにタイヤ回転に対
してハンドル角を、左右最大にきった場合のバックする
２つの場合を想定して、さらに前記２つの場合の想定運
動から生じる、図３０（ａ）に示すようにタイヤ軌跡６
０３ではなく、車両全体が通過する空間の外接領域軌跡
６０４を、２つ同時にスーパーインポーズ手段１０２で
合成し、表示手段１０７に表示する点のみである。

【０１５４】したがって、本実施の形態において、特に
説明のないものについては、第１の実施の形態と同じと
し、第１の実施の形態と同一符号を付与している構成部
材については、特に説明のない限り、第１の実施の形態
と同様の機能を持つものとする。また、第１の実施の形
態において説明した各変形例についても、特にことわら
ない限り、同様の変形を行うことによって、本実施の形
態に適用されるものとする。

【０１５５】本実施の形態によれば、まず想定運動格納
パターン１０８のデフォルトとして、もっとも単純な図
３０（ｂ）に示すようにハンドルを、左右最大にきった
場合のバックする２つの場合を想定しているので、この
想定運動格納パターン１０８のデフォルトで、駐車でき
る場合には、複数の想定運動格納パターンの切り替え選
択操作が、不要となり、運転者の操作負担を軽減すると
いう効果がある。

【０１５６】また、さらに前記２つの場合の想定運動か
ら生じる外接領域軌跡６０４を、２つ同時にスーパーイ
ンポーズ手段１０２で合成し、表示手段１０７に表示す
ることにより、左右の２つの想定運動格納パターンの切
り替え選択操作が不要となり、運転者の操作負担を軽減
するという効果がある。

【０１５７】また、図３０（ａ）に示すようにタイヤ軌
跡６０３ではなく、車両全体が通過する空間の外接領域
軌跡６０を、スーパーインポーズ手段１０２で合成し、
表示手段１０７に表示することにより、タイヤ軌跡より
大きく膨らむ車両部分、たとえば、左後方に曲がりなが
ら駐車する場合の、右前方部分等が障害物に接触するか
どうかなどを、より正確に運転者が把握しやすくなると
いう効果がある。

【０１５８】（第１１の実施の形態）次に、本発明の第
１１の実施の形態を図面を参照して説明する。

【０１５９】図３１は、本発明の第１１の実施の形態に
おける運転操作補助装置の構成を示すブロック図であ
る。本実施の形態における運転操作補助装置も、主とし
て、車庫入れ時および縦列駐車時等の運転操作の補助を
目的とするものである。したがって、本実施の形態にお
いて、特に説明のないものについては、第１および第５
の実施の形態と同じとし、第１および第５の実施の形態
と同一符号を付与している構成部材については、特に説
明のない限り、第１および第５の実施の形態と同様の機
能を持つものとする。また、第１および第５の実施の形
態において説明した各変形例についても、特にことわら
ない限り、同様の変形を行うことによって、本実施の形
態に適用されるものとする。

【０１６０】本実施の形態における運転操作補助装置の
構成が、第１および第５の実施の形態における運転操作
補助装置の構成と異なるのは、図３１に示す障害物入力
手段３１０１と想定パターン修正手段３１０２を有して
いる点と、想定運動パターン格納手段１０８において、
図３２（ａ）に示す様に切り替えし、つまり運動途中で
後退と前進を切り替える運動パターンを含む点である。

【０１６１】このとき、想定運動パターンの時系列デー
タとして図３２（ｂ）に示すようにタイヤ回転に対応し
たハンドル角が、図３１の想定運動パターン格納手段１
０８に格納されている。図３２（ｂ）に示すように、タ
イヤ回転が、０〜０．８までは車両の後退を示し、そこ
から後退から前進へ切り替わる。このとき車両の位置は
図３２（ａ）に示す後退前進切り替え位置３２０１にあ
る。つぎにタイヤ角０．８〜０．６へ車両の前進し、図
３２（ａ）に示す前進後退切り替え位置３２０２に来た
時点で、再びタイヤ角０．６〜１．４へと後退に切り替
わる。

【０１６２】このように運動途中で後退と前進を切り替
える運動パターンを含むことにより、図３２（ａ）に示
すように、障害物に対して小さな空間的余裕しかない場
合でも車両の位置方向を制御できる。

【０１６３】本実施の形態において、撮像部１０１によ
って撮像された画像データから本発明の周囲状況画像が
生成されるまでの手順は、第１の実施の形態で説明した
ものと同じである。また、スーパーインポーズ手段１０
２が本発明の合成画像を生成して、それを表示手段１０
７が表示するまでの手順のうち、想定運動パターン格納
手段１０８に格納されている想定運動パターンがその操
作開始位置と車両の現在位置とを一致させて合成画像上
に表示されるまでの手順は、第１の実施の形態で説明し
たものと同じである。

【０１６４】想定運動パターンが合成画像上に表示され
た時点以降の、運転者が軌跡修正手段１８０１と障害物
入力手段３１０１を用いて想定運動パターンおよび時系
列データを修正し、それが合成画像上に表示されるまで
の手順を、右側への車庫入れを行う場合を例として、以
下に説明する。

【０１６５】図３３に示すように、運転者が、障害物：
（ａ、ｂ、ｃ３２０４、３２０５、３２０６）に接触し
ないように、目標駐車位置１９０２を操作終了位置とす
る車庫入れ操作を行おうとし、目標駐車位置１９０２に
想定運動パターンの操作終了位置が一致するような現在
位置１９０１に車両を移動させたところ、想定運動パタ
ーンの外接領域６０４が障害物：ａ，ｂ，ｃと接触する
危険があることが判明した場合を想定する。

【０１６６】想定運動パターン格納手段１０８が、別の
右側への車庫入れ操作に対する想定運動パターンを格納
している場合は、パターン選択手段（図示せず）によ
り、これを選択して、うまく駐車操作できるかを検討し
てもよいが、そうでない場合、もしくは、別の想定運動
パターンも障害物等と干渉してしまう場合は、運転者
は、想定運動パターンの修正を行う。

【０１６７】まず、運転者は、図３１に示す表示手段１
０７に表示されている合成画像（図３３）の現在位置３
２００にある車両を示す図形を駐車操作開始位置１９０
１とし、図３１に示す障害物入力手段３１０１を用い
て、図３４に示すように、画像中の障害物ａ，ｂ，ｃの
ある領域を障害物指示矩形：ａ３２０７、または障害物
指示円形：ｂ３２０８を用いて障害物指示領域：３２１
０（図３６参照）として、数値入力、ポインター、その
他の手段によって設定入力する。また、目標駐車位置に
修正が必要な場合は、同様に数値入力、ポインター、そ
の他の手段によって移動入力する。

【０１６８】障害物領域が入力されると、軌跡修正手段
１８０１は、図３５に示すように障害物指示領域：３２
１０を含んだ周囲６０ｃｍの領域に、接触危険領域３２
０９を設定する。そして領域について、図３６に示すよ
うな接触危険評価関数Ｈ３２１０を与える。この関数
は、障害物指示領域：３２１０から１０ｃｍ以下では接
近するにつれて急峻に増加し、１０ｃｍ以上から離れる
にしたがって緩やかに減少し、６０ｃｍ以上で０とな
る、３つの２次関数の合成から構成される。

【０１６９】また、図３７に示すように所領の周囲６点
に、評価点３２１１(xi，yi)：(i=1〜6)が設定され、図
３２（ｂ）に示した表のＮ個の項目（タイヤ回転ｔｍ、
タイヤ角ｋｍ）:(m=１〜N)についての軌跡評価点３２１
２（xi,yi)ｎ:((n=1〜N)が算出される。

【０１７０】図３８の式に示すように、この軌跡評価点
３２１２の位置の接触危険評価関数Ｈ３２１０の総和か
ら、軌跡接触危険評価関数 H”３２１３が求められる。

【０１７１】この軌跡接触危険評価関数 H”３２１３
は、図３７に示すように図３２（ｂ）に示した表のＮ個
の項目（タイヤ回転ｔｍ、タイヤ角ｋｍ）の関数とな
る。したがって偏微分法をつかって、順次図（タイヤ回
転ｔｍ、タイヤ角ｋｍ）を、修正することによって、こ
の軌跡接触危険評価関数 H”３２１３を最小化する（タ
イヤ回転ｔｍ、タイヤ角ｋｍ）を求めることができる。

【０１７２】これにより、図３９に示すように、最初の
図３２（ｂ）に示した（タイヤ回転ｔｍ、タイヤ角ｋ
ｍ）から、軌跡接触危険評価関数 H”３２１３を最小化
する（タイヤ回転ｔｍ、タイヤ角ｋｍ）へ想定運動パタ
ーンを修正することができる。

【０１７３】なお、軌跡接触危険評価関数 H”３２１３
を最小化するタイヤ回転ｔｍ、タイヤ角ｋｍ）での、軌
跡評価点３２１２（xi,yi)ｎの各点についての接触危険
評価関数Hから、1点でも障害物指示領域：３２１０から
１０ｃｍ以下のものがある場合、「要注意」の警告を運
転者に出し、また1点でも障害物指示領域：３２１０に
０ｃｍ以下のものがある場合、「駐車不能」の警告を運
転者に出す。

【０１７４】この修正された想定運動パターンは、軌跡
接触危険評価関数 H”３２１３を最小化する運動パター
ンであるので、図４０に示すように、より障害物から余
裕をもった軌跡を発生し、より安全に駐車することが可
能となる。

【０１７５】スーパーインポーズ手段１０２は、図４１
に示すように、修正想定運動パターン３２１４を、その
操作開始位置１９０１と車両の現在位置３２００とを一
致させて合成画像を生成し、表示手段１０７は、これを
表示する。

【０１７６】したがって、運転者は、新しい修正想定運
動パターン３２１４にしたがった運転操作（駐車操作）
を開始すれば、目標駐車位置１９０２に、より障害物か
ら余裕をもった運動パターンで当該車両を駐車させるこ
とができる。

【０１７７】なお、生成された新しい想定運動パターン
および時系列データは、元の想定運動パターンを更新し
て、想定運動パターン格納手段１０８に格納するとして
もよいし、元の想定運動パターンはそのままとして、想
定運動パターン格納手段１０８に追加格納するとしても
よい。また、その場限りのものとして格納しなくてもよ
い。さらに、更新格納、追加格納、格納しない、を運転
者がその都度選択するとしてもよい。

【０１７８】また、本実施の形態においては、想定運動
パターン格納手段１０８に更新格納または追加格納する
想定運動パターンは、運転者から入力された運動の開始
時および終了時の車両の位置に基づいて、自動的に求め
られるとして説明したが、実際の運転操作を行って、こ
のときのハンドル舵角、車輪回転数等の時系列データを
採取して、これに基づいて想定運動パターンを生成して
格納するとしてもよい。 （第１２の実施の形態）次に、本発明の第１２形態を図
４２〜図４６を参照して説明する。

【０１７９】第１１の実施例の形態においては、図３２
（ａ）に示した一つの想定運動パターンについて、運転
者から入力された障害物領域に基づいて修正を行うもの
としたが、2つ以上の想定運動パターンについて修正を
行い、好ましいものを選択するものとしても良い。図３
１に比べて異なるのは、軌跡修正手段３１０１の代わり
に、運動パターン選択軌跡修正手段３３０１を利用する
点である。

【０１８０】まずその動作を簡単に説明する。運転者
は、図４３に示すように車両の現在位置を駐車操作開始
位置とし、表示装置に表示される画像上において、目標
駐車位置１９０２を指定入力する。運動パターン選択軌
跡修正手段３３０１では、まず想定運動パターン格納手
段１０８に複数格納されている想定運動パターンのう
ち、この駐車操作開始位置に対して、目標駐車位置１９
０２の大まかな位置関係から、図４４に示すような右後
方に駐車する２つのする想定運動パターンを抽出する。

【０１８１】さらに、図４５，図４６に示すように、運
転者が表示装置に表示される画像上における障害物領域
を入力すると、前記２つの想定運動パターンについて前
記第１１実施例と同様にして、それぞれ軌跡接触危険評
価関数 H”３２１３を最小化するように想定運動パター
ンを修正する。このとき２つの最小化された軌跡接触危
険評価関数 H”３２１３を比べ、小さい方を選択するこ
とによって、より安全な想定運動パターンを選択するこ
とができる。また２つの軌跡接触危険評価関数H”３２
１３が同じ値の場合、運転操作の単純な方の優先度を予
め高くすることによって、より単純な想定運動パターン
が選択される。

【０１８２】したがって、図４５に示すように障害物か
らの空間的余裕が少ない場合には、切り返しのあるより
安全な運動パターンが自動的に選択され、図４４６に示
すように障害物からの空間的余裕が大きい場合には、切
り返しのないより単純な運動パターンが自動的に選択さ
れる。

【０１８３】このような構成によって、運転者は、目標
駐車位置や障害物領域を入力するだけで、最適な想定運
動パターンが自動的に選択され、安全でより簡単な運転
操作で最適な駐車を実現できる。

【０１８４】本実施の形態によれば、第１の実施の形態
における運転操作補助装置に比して、拡張性のある運転
操作補助装置を実現することができる。

【０１８５】上述した第１〜第１２の実施の形態におい
ては、本発明の周囲状況画像化手段は、主として、複数
の車載カメラを用いて仮想カメラの視点からの画像を生
成するものであるとして説明したが、これに限るもので
はなく、例えば、屋根付駐車場の天井に設置されている
１台のカメラであるとしてもよい。要するに、本発明の
周囲状況画像化手段は、車両の周囲状況をカメラを用い
て画像化して、周囲状況画像を生成する、および／また
は、生成した前記周囲状況画像を格納するものでありさ
えすればよい。

【０１８６】また、上述した第１〜第１２の実施の形態
における運転操作補助装置は、本発明の想定運動パター
ン格納手段を備えるとして説明したが、これに限るもの
ではなく、例えば、その都度、想定運動パターンが入力
されるものであってもよい。要するに、本発明の運転操
作補助装置は、車両の周囲状況をカメラを用いて画像化
して、周囲状況画像を生成する、および／または、生成
した前記周囲状況画像を格納する周囲状況画像化手段
と、予め前記車両に対して所定の一連の運転操作を行う
とした場合の前記車両の運動を表す画像データである想
定運動パターンを、前記周囲状況画像上に重ね合わせ
て、合成画像を生成する合成画像生成手段と、前記合成
画像を表示する表示手段とを備えるものでありさえすれ
ばよい。これによって、少なくとも、合成画面上に、周
囲状況画像と想定運動パターンとが重ね合わされて表示
されるので、運転者は、両者の関係を一目で把握できる
ことになる。

【０１８７】

【発明の効果】以上説明したところから明らかなよう
に、本発明は、運転者が所定の一連の運転操作を行おう
とする場合、前記所定の一連の運転操作を行ったときの
車両の運動を、周囲状況とともに表示することによっ
て、運転者が前記所定の一連の運転操作による車両の運
動と周囲状況との関係を直接的に確認でき、運転者の負
担を軽減することができる運転操作補助装置を提供する
ことができる。

【０１８８】すなわち、運転者は、本発明の運転操作補
助装置を用いることにより、車庫入れ、縦列駐車の運転
操作を開始するべき地点や、最終的に停めたい場所、他
の車などの障害物の位置関係を、前記表示画像からひと
めで把握できるため、運転者の操作負担の軽減、安全性
の向上が期待できる。さらに自動運転の技術を追加導入
することにより、運転者は、前記移動軌跡データを見な
がら、駐車処理開始地点まで車両を移動しさえすれば、
その後の車庫入れなどの処理をすべて自動で行うことも
可能となる。

【０１８９】また、本発明は、本発明の運転操作補助装
置の各手段の機能の全部または一部をコンピュータに実
行させるプログラムを格納する記録媒体を提供すること
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における運転操作補
助装置の構成を示すブロック図である。

【図２】本発明の第１の実施の形態における運転操作補
助装置の撮像部１０１の各カメラを車両に取り付けた一
例を示す車両の平面図および立面図である。

【図３】本発明の第１の実施の形態における運転操作補
助装置の仮想カメラの視点の一例を示す立面図である。

【図４】本発明の第１の実施の形態における運転操作補
助装置の仮想カメラからの周囲状況画像の一例を示す図
である。

【図５】本発明の第１の実施の形態における運転操作補
助装置の想定運動データの一例を示す図である。

【図６】本発明の第１の実施の形態における運転操作補
助装置の想定運動データの一例を示す図である。

【図７】本発明の第１の実施の形態における運転操作補
助装置の合成画像の一例を示す図である。

【図８】本発明の第１の実施の形態における運転操作補
助装置の合成画像の一例を示す図である。

【図９】左側への縦列駐車を行う場合の車両の運動を示
す図である。

【図１０】本発明の第１の実施の形態における運転操作
補助装置の合成画像の一例を示す図である。

【図１１】本発明の第１の実施の形態における運転操作
補助装置の想定運動パターン格納手段１０８に格納され
ている想定運動パターンのバリエーションの一例を示す
図である。

【図１２】本発明の第１の実施の形態における運転操作
補助装置の合成画像の変形例を示す図である。

【図１３】本発明の第２の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図１４】本発明の第２の実施の形態における運転操作
補助装置の合成画像の一例を示す図である。

【図１５】本発明の第３の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図１６】本発明の第３の実施の形態における運転操作
補助装置の合成画像の一例を示す図である。

【図１７】本発明の第４の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図１８】本発明の第５の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図１９】本発明の第５の実施の形態における運転操作
補助装置の合成画像の一例を示す図である。

【図２０】本発明の第６の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図２１】本発明の第６の実施の形態における運転操作
補助装置の合成画像の一例を示す図である。

【図２２】本発明の第６の実施の形態における運転操作
補助装置の変形例の構成を示すブロック図である。

【図２３】本発明の第７の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図２４】本発明の第７の実施の形態における運転操作
補助装置のマッピングテーブル２３０２に格納されてい
るマッピングテーブルの一例を示す概念図である。

【図２５】本発明の第８の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図２６】本発明の第８の実施の形態における運転操作
補助装置の合成画像の一例を示す図である。

【図２７】本発明の第９の実施の形態における運転操作
補助装置の構成を示すブロック図である。

【図２８】本発明の第９の実施の形態における運転操作
補助装置の合成画像の一例を示す図である。

【図２９】本発明の第１０の実施の形態における運転操
作補助装置の構成を示すブロック図である。

【図３０】本発明の第１０の実施の形態における運転操
作補助装置の合成画像の一例等を示す図である。

【図３１】本発明の第１１の実施の形態における運転操
作補助装置の構成を示すブロック図である。

【図３２】本発明の第１１の実施の形態における運転操
作補助装置の合成画像の一例等を示す図である。

【図３３】本発明の第１１の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図３４】本発明の第１１の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図３５】本発明の第１１の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図３６】本発明の第１１の実施の形態における運転操
作補助装置の接触危険評価関数を説明するためのグラフ
である。

【図３７】本発明の第１１の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図３８】本発明の第１１の実施の形態における運転操
作補助装置の接触危険評価関数の一例を示す図である。

【図３９】本発明の第１１の実施の形態における運転操
作補助装置における想定運動データの一例を示す図であ
る。

【図４０】本発明の第１１の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図４１】本発明の第１１の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図４２】本発明の第１２の実施の形態における運転操
作補助装置の構成を示すブロック図である。

【図４３】本発明の第１２の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図４４】本発明の第１２の実施の形態における運転操
作補助装置の構成を示すブロック図である。

【図４５】本発明の第１２の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【図４６】本発明の第１２の実施の形態における運転操
作補助装置の合成画像の一例を示す図である。

【符号の説明】 １０１ 撮像部 １０２ スーパーインポーズ手段 １０３ カメラパラメータテーブル １０４ 空間再構成手段 １０５ 空間データバッファ １０６ 視点変換手段 １０７ 表示手段 １０８ 想定運動パターン格納手段 １３０１、１５０１ 開始検出手段 １３０２、１７０３ 積分手段 １３０３、１５０３、１７０４ 空間変換手段 １５０２ 画像追跡手段 １７０１ 開始入力手段 １７０２ 運転制御手段 １８０１ 軌跡修正手段 ２００１ ＣＧ画像合成手段 ２２０１ カメラ ２３０１ マッピング手段 ２３０２ マッピングテーブル ２５０１ 最終位置入力手段 ２５０２ 開始位置決定手段 ２５０３ 空間固定手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２６Ｇ ６２８Ｚ (72)発明者 中川 雅通 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 登 一生 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (33)

【特許請求の範囲】
1. 【請求項１】 車両の周囲状況をカメラを用いて画像化
   して、周囲状況画像を生成する、および／または、生成
   した前記周囲状況画像を格納する周囲状況画像化手段
   と、 予め前記車両に対して所定の一連の運転操作を行うとし
   た場合の前記車両の運動を表す画像データである想定運
   動パターンを、前記周囲状況画像上に重ね合わせて、合
   成画像を生成する合成画像生成手段と、 前記合成画像を表示する表示手段とを備えることを特徴
   とする運転操作補助装置。
2. 【請求項２】 前記周囲状況画像化手段は、一台もしく
   は複数台のカメラと、前記各カメラの特性であるカメラ
   パラメータを格納するカメラパラメータテーブルとを有
   し、前記各カメラの出力から、前記カメラパラメータに
   基づいて、前記周囲状況画像を生成することを特徴とす
   る請求項１に記載の運転操作補助装置。
3. 【請求項３】 前記周囲状況画像化手段は、前記カメラ
   パラメータに基づいて、前記各カメラからの出力画像を
   構成する各々の画素を３次元空間の点に対応づけた空間
   データを作成する空間再構成手段と、前記空間データを
   参照して、所定の視点から見た画像を前記周囲状況画像
   として生成する視点変換手段とを有し、前記合成画像生
   成手段は、前記空間データを参照して、前記合成画像を
   生成することを特徴とする請求項２に記載の運転操作補
   助装置。
4. 【請求項４】 前記空間データを一時的に格納する空間
   データバッファを備えることを特徴とする請求項３に記
   載の運転操作補助装置。
5. 【請求項５】 前記所定の視点は、前記３次元空間また
   は前記車両に対して固定された点であり、 前記視点変換手段は、前記所定の視点を、自動的に、ま
   たは、運転者からの入力により、切り替えることを特徴
   とする請求項３または４に記載の運転操作補助装置。
6. 【請求項６】 前記想定運動パターンは、前記所定の一
   連の運転操作を行った場合の前記車両の前記運動の開始
   時の前記車両が存在する領域である想定運動開始領域と
   前記運動の終了時の前記車両が存在する領域である想定
   運動終了領域との関係を表す画像データを含むことを特
   徴とする請求項１〜５のいずれかに記載の運転操作補助
   装置。
7. 【請求項７】 前記想定運動パターンは、前記車両のタ
   イヤの軌跡を表す画像データ、および／または、前記車
   両の移動領域を表す画像データを含むことを特徴とする
   請求項６に記載の運転操作補助装置。
8. 【請求項８】 前記想定運動パターンは、前記車両の移
   動領域の外縁に配置された仮想ポールを表す画像データ
   を含むことを特徴とする請求項６または７に記載の運転
   操作補助装置。
9. 【請求項９】 前記合成画像生成手段は、前記車両が現
   在存在する領域を表す画像データである現在位置データ
   も、前記周囲状況画像上に重ね合わせて、前記合成画像
   を生成することを特徴とする請求項６〜８のいずれかに
   記載の運転操作補助装置。
10. 【請求項１０】 前記合成画像生成手段は、前記想定運
    動開始領域を、前記現在位置データと同一の位置に重ね
    合わせることを特徴とする請求項９に記載の運転操作補
    助装置。
11. 【請求項１１】 前記所定の一連の運転操作に対応する
    実際の運転操作が開始されると、 前記合成画像生成手段は、それ以降、前記実際の運転操
    作が開始された時点での、前記想定運動パターンの前記
    周囲状況画像に対する位置関係を固定して、前記合成画
    像生成することを特徴とする請求項６〜１０のいずれか
    に記載の運転操作補助装置。
12. 【請求項１２】 前記実際の運転操作が開始された時点
    での、前記合成画像上における、前記周囲状況画像の画
    像データの全部または一部を基準とする、前記想定運動
    パターンの画像データの全部または一部の位置情報を記
    憶する位置情報記憶手段を備え、 前記合成画像生成手段は、前記位置情報にしたがって、
    前記位置関係を固定することを特徴とする請求項１１に
    記載の運転操作補助装置。
13. 【請求項１３】 前記実際の運転操作に関する信号に基
    づいて、前記実際の運転操作が開始された時点からの前
    記車両の移動位置を算出する移動位置算出手段を備え、 前記合成画像生成手段は、前記移動位置にしたがって、
    前記位置関係を固定することを特徴とする請求項１１に
    記載の運転操作補助装置。
14. 【請求項１４】 前記運動の終了時の前記車両の位置で
    ある最終位置を入力する最終位置入力手段と、 前記入力された最終位置に対応する前記運動の開始時の
    位置である開始位置を、前記想定運動パターンにしたが
    って求める開始位置決定手段とを備え、 前記合成画像生成手段は、前記入力された最終位置、お
    よび、それに対応する前記開始位置も、前記周囲状況画
    像上に重ね合わせて、前記合成画像を生成することを特
    徴とする請求項６〜１３のいずれかに記載の運転操作補
    助装置。
15. 【請求項１５】 前記車両の運転を自動制御して、前記
    車両を前記開始位置に誘導する開始位置誘導手段を備え
    ることを特徴とする請求項１４に記載の運転操作補助装
    置。
16. 【請求項１６】 前記所定の一連の運転操作に関するデ
    ータであって、少なくとも前記想定運動パターンを含む
    想定運動データを保持する想定運動パターン格納手段を
    備えることを特徴とする請求項１〜１５のいずれかに記
    載の運転操作補助装置。
17. 【請求項１７】 前記想定運動パターン格納手段は、前
    記想定運動パターンを複数保持しており、 前記想定運動パターンを、運転者からの入力により、ま
    たは、所定の運転操作から自動的に、選択するパターン
    選択手段を備えることを特徴とする請求項１６に記載の
    運転操作補助装置。
18. 【請求項１８】 前記想定運動パターン格納手段に保持
    されている前記想定運動パターンの内容を更新修正でき
    るパターン修正手段を備えることを特徴とする請求項１
    ６または１７に記載の運転操作補助装置。
19. 【請求項１９】 前記パターン修正手段は、運転者から
    入力された、修正後の前記運動の開始時および終了時の
    前記車両の位置に基づいて、前記想定運動パターンおよ
    び／または前記前記想定運動データを更新修正すること
    を特徴とする請求項１８に記載の運転操作補助装置。
20. 【請求項２０】 前記パターン修正手段は、実際の運転
    操作に基づいて、前記想定運動パターンおよび／または
    前記前記想定運動データを更新修正することを特徴とす
    る請求項１８に記載の運転操作補助装置。
21. 【請求項２１】 前記想定運動データは、前記車両の移
    動距離とハンドルの舵角との関係を表す時系列データを
    含むことを特徴とする請求項１６〜２０のいずれかに記
    載の運転操作補助装置。
22. 【請求項２２】 前記所定の一連の運転操作に対応する
    実際の運転操作が開始されると、前記時系列データにし
    たがって前記車両の運転を自動制御する運転制御手段と
    を備えることを特徴とする請求項２１に記載の運転操作
    補助装置。
23. 【請求項２３】 前記所定の一連の運転操作に対応する
    実際の運転操作が開始されたことを、運転者からの入力
    により、または、所定の運転操作から自動的に、検出す
    る操作開始検出手段を備えることを特徴とする請求項１
    １〜１３のいずれか、又は２２に記載の運転操作補助装
    置。
24. 【請求項２４】 前記視点変換手段が前記所定の視点を
    切り替える場合、 前記視点変換手段は、前記所定の一連の運転操作に対応
    する実際の運転操作が開始される迄は、前記所定の視点
    を前記車両に対して固定された点とし、前記所定の一連
    の運転操作に対応する実際の運転操作が開始された後
    は、前記所定の視点を、前記所定の視点を前記３次元空
    間に対して固定された点に切り替えることを特徴とする
    請求項５〜２３のいずれかに記載の運転操作補助装置。
25. 【請求項２５】 前記３次元空間に対して固定された点
    は、前記実際の運転操作が開始された時点における、前
    記想定運動パターンが示す前記車両の前記運動の終了時
    の位置の直上の点であることを特徴とする請求項２４に
    記載の運転操作補助装置。
26. 【請求項２６】 前記想定運動パターンは、前記所定の
    一連の運転操作を行った場合の前記車両の通過する空間
    上の外接領域を示す画像データを含むことを特徴とする
    請求項１〜５のいずれかの運転操作補助装置。
27. 【請求項２７】 前記想定運動パターンは、前記車両の
    タイヤの操舵角を左右いずれか最大にした場合の軌跡を
    表す画像データ、および／または、前記車両の移動領域
    を表す画像データを含むことを特徴とする請求項６に記
    載の運転操作補助装置。
28. 【請求項２８】 前記想定運動パターン格納手段は、前
    記想定運動パターンを複数保持しており、前記想定運動
    パターンを、２つ以上同時に前記周囲状況画像上に重ね
    合わせて、合成画像を生成する合成画像生成手段と、
    前記合成画像を表示する表示手段とを備えることを特徴
    とする請求項１６に記載の運転操作補助装置。
29. 【請求項２９】 前記想定運動パターンは、前記所定の
    一連の運転操作において後退から前進、または前進から
    後退の切り替えを含むことを特徴とする請求項１〜５の
    いずれかの運転操作補助装置。
30. 【請求項３０】 前記合成画像を表示する表示手段に対
    して、運転者から、画像中の障害物領域の位置を入力で
    きる障害物入力手段を備えたことを特徴とする請求項１
    〜５のいずれかの運転操作補助装置。
31. 【請求項３１】 前記パターン選択手段は、運転者から
    入力された、障害物領域の位置に基づいて、前記想定運
    動パターンを選択するものであり、 前記合成画像を表示する表示手段に対して、運転者か
    ら、画像中の障害物領域の位置を入力できる障害物入力
    手段を備えたことを特徴とする請求項１７に記載の運転
    操作補助装置。
32. 【請求項３２】 前記パターン修正手段は、運転者から
    入力された、障害物領域の位置に基づいて、前記想定運
    動パターンおよび／または前記前記想定運動データを更
    新修正するものであり、 前記合成画像を表示する表示手段に対して、運転者か
    ら、画像中の障害物領域の位置を入力できる障害物入力
    手段を備えたことを特徴とする請求項１８に記載の運転
    操作補助装置。
33. 【請求項３３】 請求項１〜３２のいずれかに記載の、
    各手段の機能の全部または一部をコンピュータに実行さ
    せるプログラムを格納することを特徴とする記録媒体。