JP2004099015A - 運転操作補助方法および装置 - Google Patents

Abstract

【課題】運転操作補助技術において、ユーザの負担をより軽減する。
【解決手段】車両の周囲状況を表す画像上で、所定の運転操作の終了時における終了位置ＥＮ３を、例えばポインタＰＯによって、ユーザに指定させる。運転操作補助装置は、その運転操作における車両の動きを表す想定運動パターンＭＰ３に従って、その運転操作の開始位置ＳＴ３を求め、表示画像に重ね合わせて表示する。
【選択図】　図１３

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の運転操作を支援する運転操作補助に関する技術に属する。
【０００２】
【従来の技術】
従来の一般的な運転操作補助装置としては、ハンドルの舵角を検出するステアリングセンサによって、後退時のハンドルの舵角に対応する車両のタイヤ（移動）軌跡を予測するものがある（特開平１−１４７００号公報参照）。この装置では、車両の後退時に、カメラで撮影された後方または側後方視界の映像が表示されるとともに、操作したハンドルの舵角に対応して予測された車両のタイヤ軌跡が、その映像上にスーパーインポーズされる。
【０００３】
この装置を用いた場合、運転操作は次のようになる。すなわち、まず、ハンドルを固定した状態で駐車スペースに移動できそうな場所に、車両を移動させる。次にこの場所において、ハンドル操作によって予測される車両タイヤ軌跡を確認しながら、ハンドル操作を行うことなく車両を駐車スペースに移動できるような舵角を見つける。そして、この舵角を保持したまま車両を後退させ、駐車スペースに移動させる。このような運転操作によって、原理的には駐車が完了する。
【０００４】
【発明が解決しようとする課題】
上述の装置を用いて駐車を行う場合、車両を駐車スペースに移動させることができる場所を見つけ、続いて、どの舵角でハンドルを固定すればよいかを決める必要がある。ところが、これらの操作に習熟するためには相当の熟練を必要とする。しかも、運転する車両の大きさ等が変わると車両感覚も変わるので、熟練の段階で積み重ねられた運転のノウハウが、さほど活かされなくなる。
【０００５】
ところで、駐車操作の場合、周囲に全く障害物がない場合を除いて、操作開始からハンドル舵角を一定に保ったまま運転操作を完了させることは、一般に困難である。例えば縦列駐車を行う場合、運転者は操作開始位置から駐車すべき位置に車両を移動させる間に、最初はしかるべき方向にハンドルを回して車両を後退させ、適当に後退したところで、次に逆方向にハンドルを回して、目標場所に車両を移動させる。すなわち、縦列駐車を例に取った場合、ハンドル舵角を一定に保ったままでは駐車は困難であるといえる。
【０００６】
また、従来の装置では、運転者が少しでもハンドルを動かすと、その少しの舵角変化によって予測し直された車両の移動経路が表示されるため、運転者の混乱を招くおそれがある。
【０００７】
さらに、実際の車両の車体は、タイヤからオーバーハングしている部分があるため、タイヤ軌跡が障害物と干渉していなくても、車体が障害物と接触する可能性があり得る。すなわち、従来では、タイヤよりも膨らむ車両部分が障害物に接触するか否かを正確に把握することが困難であった。
【０００８】
前記の問題に鑑み、本発明は、運転操作補助技術において、ユーザの利便性をさらに向上させ、ユーザの負担を軽減することを課題とする。
【０００９】
【課題を解決するための手段】
前記の課題を解決するために、本発明は、車両の運転操作の補助を前記車両の周囲状況を表す画像を表示装置に表示して行う方法として、所定の運転操作の終了時における前記車両の位置である終了位置を前記表示装置の画像上でユーザに指定させる第１のステップと、前記所定の運転操作における車種毎に固有の前記車両の動きを表す想定運動パターンに従って、前記終了位置に対して前記所定の運転操作の開始時における前記車両の位置である開始位置を求める第２のステップとを備えたものである。
【００１０】
この発明によると、所定の一連の運転操作を行おうとする場合、その終了位置を指定するだけで、運転操作の開始位置が求められるので、運転操作開始までに要する時間の短縮が図られる。
【００１１】
そして、前記本発明に係る運転操作補助方法は、前記開始位置、終了位置および想定運動パターンを前記表示装置の画像に重ね合わせて表示するステップを備えるのが好ましい。これにより、画面上で、開始位置や想定運動パターンが、障害物と干渉するか否かを容易に確認することができる。
【００１２】
そして、前記第１のステップは、前記車両が指定された終了位置近傍に位置しているとき、この終了位置を入力とするのが好ましい。これにより、目標となる終了位置をより正確に指定することができる。
【００１３】
また、前記本発明に係る運転操作補助方法は、前記車両の現在位置から前記開始位置までの運転、および前記開始位置から前記終了位置までの前記想定運動パターンに従った運転のうち少なくともいずれか一方を、全自動または半自動で行うステップを備えたものとするのが好ましい。
【００１４】
また、本発明は、車両の運転操作の補助を行う装置として、前記車両の周囲状況を表す画像を生成する周囲状況画像化手段と、所定の運転操作における車種毎に固有の前記車両の動きを表す想定運動パターンを格納する想定運動パターン格納手段と、前記想定運動パターンを前記周囲状況画像に重ね合わせて合成画像を生成する合成画像生成手段と、前記合成画像を表示する表示装置と、前記表示装置の画面上におけるポインタ入力に基づいて、前記想定運動パターンを選択するパターン選択手段とを備えたものである。
【００１５】
この発明によると、表示装置の画面上におけるポインタ入力に基づいて、車両の想定軌跡を入力することができるので、想定運動パターンの選択が格段に容易になる。
【００１６】
また、本発明は、車両の運転操作の補助を行う装置として、車両の周囲状況を表す画像を生成する画像処理部を備え、前記画像処理部は、所定の運転操作によって前記車両が動く際に、車種毎に固有の前記車両が通過する空間の外接領域の軌跡を、前記周囲状況画像上に重ね合わせて合成画像を生成するものである。
【００１７】
この発明によると、車両が通過する空間の外接領域の軌跡が画像表示されるので、例えばバンパーのような、タイヤよりも膨らむ車両部分が、障害物に接触するか否かを、ユーザがより正確に把握することができる。
【００１８】
そして、前記画像処理部は、前記車両に設けられた複数のカメラの出力から、画像合成により、前記周囲状況画像を生成するものであるのが好ましい。
【００１９】
【発明の実施の形態】
以下、本発明の各実施形態について、図面を参照して説明する。
【００２０】
（第１の実施形態）
図１は本発明の第１の実施形態に係る運転操作補助装置の構成を示すブロック図である。本実施形態に係る運転操作補助装置は、主として、車庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。
【００２１】
図１に示すように、本実施形態に係る運転操作補助装置は、Ｎ個のカメラ（カメラＣ１〜ＣＮ）からなる撮像部１０１と、各カメラＣ１〜ＣＮの特性であるカメラパラメータを格納するカメラパラメータテーブル１０３と、カメラパラメータに基づいて、各カメラＣ１〜ＣＮからの出力画像を構成する各々の画素を３次元空間の点に対応づけた空間データを作成する空間再構成手段１０４と、空間データを参照して、所定の視点から見た画像を周囲状況画像として生成する視点変換手段１０６と、空間データを一時的に格納する空間データバッファ１０５と、想定運動パターンを含む想定運動データを保持する想定運動パターン格納手段１０８と、想定運動パターンを周囲状況画像上に重ね合わせて、合成画像を生成するスーパーインポーズ手段１０２と、合成画像を表示する表示装置１０７とを備えている。さらに、終了位置入力手段２０１、開始位置決定手段２０２および空間固定手段２０３を備えている。
【００２２】
終了位置入力手段２０１は、ポインタによって、運転操作の目標位置すなわち終了位置を入力する。なお、終了位置の入力については、数値入力またはその他の手段によって、行われるものとしてもよい。
【００２３】
開始位置決定手段２０２は、終了位置入力手段２０１によって入力された終了位置に対応する運転操作の開始位置を、当該運転操作に対応する想定運動パターンに従って求める。
【００２４】
空間固定手段２０３は、終了位置入力手段２０１によって終了位置が入力指定された以降、当該運転操作に対応する想定運動パターンを、合成画像の周囲空間に固定させる。固定させる方法としては、カメラ画像での特徴点を追跡する方法であっても良いし、また実際の車両のハンドル角やタイヤ回転などから車両の運動を算出し、その運動による画像の周囲空間の動きを補正する方法であってもかまわない。
【００２５】
まず、撮像部１０１の詳細構成、および撮像部１０１によって撮像された画像データから周囲状況画像が生成されるまでの手順を説明する。
【００２６】
図２は撮像部１０１の各カメラＣ１〜ＣＮを車両１に設置した一例を示す図である。この例では、Ｎ＝６とし、６個のカメラＣ１〜Ｃ６が車両１のルーフ部に配置されている。各カメラＣ１〜Ｃ６は、それぞれの撮像範囲の一部が他のカメラの撮像範囲の一部と重なり合うように、かつ、撮像範囲全体として平面的に死角が生じないように、配置されている。
【００２７】
カメラパラメータテーブル１０３には、各カメラＣ１〜ＣＮのカメラ特性を表すカメラパラメータ（取り付け位置、取り付け角度、レンズ歪み補正値、レンズの焦点距離等）が記憶されている。空間再構成手段１０４はこのカメラパラメータに基づいて、各カメラＣ１〜ＣＮからの出力画像を構成する各々の画素が車両を基準とする３次元空間の点に対応づけられた空間データを作成する。この空間データは空間データバッファ１０５に一時的に格納され、視点変換手段１０６は、任意の視点、例えば図３に示す仮想カメラＶＣの視点から見た画像を、空間データを参照して各画素を合成することによって、周囲状況画像として生成する。
【００２８】
図４は図３に示す仮想カメラＶＣの視点からの周囲状況画像の一例を示す。図４の例は縦列駐車を行う場合のものであり、駐車中の２台の車両が、障害物ＯＢ１，ＯＢ２として、周囲状況画像上に表されている。
【００２９】
次に、スーパーインポーズ手段１０２が合成画像を生成し、この合成画像を表示装置１０７が表示するまでの手順を説明する。
【００３０】
想定運動パターン格納手段１０８は、典型的な運転操作を行う場合における車両の動きを表す画像データである想定運動パターンと、この場合における車両の移動距離（タイヤ回転移動量）とハンドルの舵角（ハンドルの切れ角）との関係を表す時系列データとを、想定運動データとして格納している。
【００３１】
図５は左側への縦列駐車の運転操作を行う場合の想定運動データの一例、図６は右側への車庫入れの運転操作を行う場合の想定運動データの一例をそれぞれ示す図である。各図の（ａ）は想定運動パターンを示し、各図の（ｂ）に示す時系列データに従った運転操作を行った場合に対応する。ＳＴ１，ＳＴ２は操作開始位置、ＥＮ１，ＥＮ２は操作終了位置、ＴＲ１，ＴＲ２はタイヤ軌跡である。
【００３２】
まず運転者等のユーザは、想定運動パターン格納手段１０８に格納された想定運動パターンのうちの１つをパターン選択手段（図示せず）によって選択する。スーパーインポーズ手段１０２は、選択された想定運動パターン（例えば図５（ａ））を、視点変換手段１０６によって生成された周囲状況画像（例えば図４）に重ね合わせて合成画像を生成し、表示装置１０７はこの合成画像を表示する。このとき、例えば図５（ａ）の操作開始位置ＳＴ１を当該車両の現在位置と一致させることによって、操作終了位置ＥＮ１は、この想定運動パターンに対応する運転操作を現在位置から開始した場合の操作終了位置すなわち駐車位置となる。
【００３３】
図７は図５に示す想定運動パターンを合成した合成画像の一例、図８は図６に示す想定運動パターンを合成した合成画像の一例を、それぞれ示す図である。
【００３４】
すなわち運転者は、図７において、車両を、駐車位置ＰＡＡ（ＥＮ１）、タイヤ軌跡ＴＲ１および開始位置ＳＴＡ（ＳＴ１）が障害物ＯＢ１，ＯＢ２と干渉しないような開始位置ＳＴＡに移動する。そして、この開始位置ＳＴＡから図５（ｂ）に示す時系列データに従った一連の運転操作を開始することによって、駐車位置ＰＡＡに駐車する左側への縦列駐車を行うことができる。同様に、運転者は、図８において、車両を、駐車位置ＰＡＢ（ＥＮ２）、タイヤ軌跡ＴＲ２および開始位置ＳＴＢ（ＳＴ２）が障害物ＯＢ３，ＯＢ４と干渉しないような開始位置ＳＴＢに移動する。そして、この開始位置ＳＴＢから図６（ｂ）に示す時系列データに従った一連の運転操作を開始することによって、駐車位置ＰＡＢに駐車する右側への車庫入れを行うことができる。
【００３５】
左側への縦列駐車を行う場合を例として、開始位置ＳＴＡに車両を移動する際の詳細な手順について、図９および図１０を用いて説明する。
【００３６】
図９は左側への縦列駐車を行う場合の車両の動きを示す図である。図９に示すように、車両の運転者は、目標駐車位置ＰＡＡの位置に車両を駐車するためには、まず、図５（ａ）に示すような左側への縦列駐車を行う想定運動パターンの操作終了位置ＥＮ１をこの目標駐車位置ＰＡＡと一致させたときの操作開始位置ＳＴ１を目標開始位置ＳＴＡとし、現在位置ＣＰに位置する車両をこの目標開始位置ＳＴＡに移動させる必要がある。
【００３７】
図５（ａ）に示す想定運動パターンにおける操作終了位置ＥＮ１と操作開始位置ＳＴ１との相対的な位置関係は、図５（ｂ）に示す時系列データに従って運転操作を行う場合に対応するものであり、実際の運転操作では、ハンドル操作等の微調整等によって、微調整が可能である。
【００３８】
本実施形態に係る運転操作補助装置を用いない場合、運転者は、車の内部から直視やミラー等を介した確認を行い、障害物ＯＢ１，ＯＢ２を認識するとともに目標駐車位置ＰＡＡを想定して、目標開始位置ＳＴＡへ車両を移動させる必要がある。このような作業には、相当の習熟を要する。また、例えば車両のサイズやミラー位置が変わったとき、運転者はその変化にすぐには対応しづらいという問題がある。
【００３９】
これに対して、本実施形態に係る運転操作補助装置では、図４に示すようなあたかも車両上方から撮影したような周囲状況画像が、車両に設置されたカメラによる撮像画像を用いて生成され、かつ、図５（ａ）に示すような想定運動パターンが重ね合わされて、図７に示すような合成画像が運転者に表示される。
【００４０】
したがって、図９の目標開始位置ＳＴＡに車両を移動させる運転操作を行う際、図１０（ａ）〜（ｃ）に示すように、図５（ａ）に示すような想定運動パターンを、車両の現在位置ＣＰと操作開始位置ＳＴ１とを一致させて表示する。これにより、現在位置ＣＰを操作開始位置ＳＴ１としたときの操作終了位置ＥＮ１が、タイヤ軌跡ＴＲ１とともに、現在位置ＣＰに対応した駐車位置ＰＡ１として表示される。この駐車位置ＰＡ１が目標駐車位置ＰＡＡと一致するような現在位置ＣＰに車両が位置したとき、目標開始位置ＳＴＡへの移動が完了したことになる。
【００４１】
すなわち、図１０（ａ）の合成画像１では、駐車位置ＰＡ１が障害物ＯＢ２と重なるため、運転者は、現在位置ＣＰから駐車操作を開始すると、車両が障害物ＯＢ２と接触するおそれがあることを一目で把握できる。すなわち、運転者は、車両をさらに前方（図１０における上方）に進めた位置から駐車操作を開始しなければならないことを容易に認識することができる。
【００４２】
また、図１０（ｂ）の合成画像２では、タイヤ軌跡ＴＲ１が障害物ＯＢ１と重なるため、運転者は、現在位置ＣＰから駐車操作を開始すると、車両が障害物ＯＢ１と接触するおそれがあることを一目で把握できる。すなわち、運転者は、車両をさらに後方（図１０における下方）に移動した位置から駐車操作を開始しなければならないことを容易に認識することができる。
【００４３】
一方、図１０（ｃ）の合成画像３では、タイヤ軌跡ＴＲ１が障害物ＯＢ１，ＯＢ２に重ならず、かつ、駐車位置ＰＡ１が駐車に適した場所であることが分かる。すなわち、運転者は、このときの現在位置ＣＰから駐車操作を開始すれば良いことが確認できる。
【００４４】
このように、上方から見たときの車両の画像と、周囲の障害物、駐車終了位置、タイヤ軌跡の位置関係を示す画像とを仮想的に合成し、運転者に示すことによって、運転者はこれらの位置関係を、直接的に一目で把握できる。この結果、運転者は、駐車操作開始に適した位置を一目で把握でき、この位置に車両を移動させてから駐車操作を開始できるので、より安全かつ正確に、目的の位置に駐車することができる。
【００４５】
なお、想定運動パターンを表す操作開始位置、操作終了位置およびタイヤ軌跡は、車両毎に固有であって、例えば小型車両と大型車両とでは大きく異なる。これについては、図１の想定運動パターン格納手段１０８に、車両毎に想定運動パターンを格納することによって、すなわち車種毎に固有の想定運動パターンを格納することによって、対応できる。したがって運転者は、車両が変わっても、その車種に対応した想定運動パターンと周りの障害物等との関係を見ながら、運転操作を行うことができる。
【００４６】
また、車両が変わることによって、図２に示すような車載カメラの位置や個数も変化することが考えられる。ところがこの点についても、図１のカメラパラメータテーブル１０３が各カメラのカメラパラメータを車両毎に格納することによって対応でき、運転者に表示される表示画像に直接には影響は生じない。したがって運転者は、車両が変わってカメラ位置が変化したとしても、それまでとほぼ同様に表示される、その車種に対応した想定運動パターンと周りの障害物等との関係を見ながら、運転操作を行うことができる。
【００４７】
以上のように、本実施形態によると、従来、運転者に相当の熟練を必要とする縦列駐車等の運転操作において、車両と障害物の位置関係および目的位置等の把握が、直接的に一目で可能となる。したがって、より安全かつ正確な運転操作が可能となり、また運転者の操作負担が大幅に軽減される。
【００４８】
また、車両等が変わった場合でも、運転者はそれまでと同様に、その車種に対応した想定運動パターンと周りの障害物等の関係を見ながら運転操作できるので、車両の変更に対する運転者の習熟の負担を大幅に軽減することができる。
【００４９】
図１１は図１の想定運動パターン格納手段１０８に格納された想定運動パターンのバリエーションの一例を示す図である。図１１では、左右の縦列駐車の想定運動パターンＰＴ１，ＰＴ２と、左右の車庫入れ駐車の想定運動パターンＰＴ３，ＰＴ４とが示されている。上述したように、運転者は、これらの想定運動パターンＰＴ１〜ＰＴ４のうちのいずれかをパターン選択手段（図示せず）によって選択する。そして、合成画像として表示する領域も、選択した想定運動パターンに応じて、図１１に示す各外枠のように決定される。すなわち、操作開始位置、タイヤ軌跡および操作終了位置を含む矩形領域を、合成画像領域とする。
【００５０】
なお、車両本体の画像は、一般には車載カメラからは撮像されないが、ここでは、車両のＣＧデータまたは実写データ等を保持し、軌跡データと同様に、合成画像中に重ね合わせて表示するのが好ましい。
【００５１】
なお、本実施形態において、想定運動パターンは、操作開始位置、操作終了位置およびタイヤ軌跡を示す画像データであるものとして説明したが、これに限られるものではなく、例えば、タイヤ軌跡の代わりにまたはタイヤ軌跡とともに、車両自身の平面投影が動く軌跡を含めてもよい。要するに、本発明に係る想定運動パターンは、車両に対して所定の一連の運転操作を行うとした場合の当該車両の動きを表す画像データであればよい。
【００５２】
また、タイヤ軌跡および／または車両の移動領域をそのまま表示すると、車両と障害物等との接触に対する余裕がないので、図１２に示すように、タイヤ軌跡または車両の移動領域の外縁から所定の量（例えば５０ｃｍ）だけ外側に配置した余裕線ＲＬを表示するようにしてもよい。
【００５３】
また本実施形態では、周囲状況画像は、撮像部１０１がリアルタイムで撮像した画像データを合成して生成するものとしたが、これに限るものではなく、例えば、周囲状況がほとんど変化しないような場所において頻繁に同一の運転操作を行う場合は、すでに撮像された画像データから生成したデータを空間データバッファ１０５に格納しておき、これを用いるようにしてもよい。
【００５４】
以降は、運転者等のユーザが、運転操作例えば縦列駐車の終了時における車両の位置すなわち終了位置を指定すると、自動的に、この運転操作の開始時における車両の位置すなわち開始位置を表示する実施態様について、説明する。この実施態様では、これまでの説明では特に言及しなかった、終了位置入力手段２０１、開始位置決定手段２０２および空間固定手段２０３が用いられる。
【００５５】
ここでは、車両が、終了位置近傍に位置しているとき、この終了位置を入力とするものとする。終了位置の近傍とは、自車両が終了位置に近いことを意味しており、一般的には、終了位置と開始位置との間の距離よりも、自車両と終了位置との間の距離の方が近いことと定義されるが、ここでは、そうでなくても、終了位置と自車両との間に障害物が無く、見通しの良い状態をも含むものとする。
【００５６】
以下、図１３を用いて、左側への縦列駐車を行う場合を例にとって説明する。撮像部１０１によって撮像された画像データから周囲状況画像が生成される手順は、上述したものと同様である。また、スーパーインポーズ手段１０２によって、想定運動パターン格納手段１０８に格納された想定運動パターンが合成画像上に表示される手順は、上述したものと同様である。
【００５７】
図１３（ａ）に示すように、運転者はまず、障害物ＯＢ１，ＯＢ２の間に駐車するために、自車両を目標駐車位置付近に障害物ＯＢ１，ＯＢ２と接触しないように近づけて（現在位置ＣＰ３）、表示装置１０７に自車両とその周囲の画像を表示させる。そして、表示装置１０７の画面上に表示されているポインタＰＯを用いて、駐車の目標位置すなわち終了位置ＥＮ３を指定する。このとき、図１３（ａ）に示すように、指定した終了位置ＥＮ３に対応して、運転者が予め決めた想定運動パターンＭＰ３に従って、駐車操作を開始する開始位置ＳＴ３が決定され、想定運動パターンＭＰ３とともに画面に表示される。
【００５８】
運転者は、開始位置ＳＴ３と想定運動パターンＭＰ３が障害物ＯＢ１，ＯＢ２と接触するか否かを画面上で把握できる。接触している場合は、ポインタＰＯを用いて、再度、終了位置ＥＮ３を、開始位置ＳＴ３および想定運動パターンＭＰ３が障害物ＯＢ１，ＯＢ２と接触しないように、変更する。
【００５９】
接触がなければ、運転者は次に、この画面を見ながら（図１３（ｂ））、車両を開始位置ＳＴ３へ移動させればよい。このとき、想定運動パターンＭＰ３は空間固定手段２０３によって空間に固定されているので、想定運動パターンＭＰ３と障害物ＯＢ１，ＯＢ２との相対的な位置関係は変わらない。
【００６０】
このような運転操作補助方法によると、上述した効果に加え、運転操作の開始位置を効率よく求めらることができるので、操作開始までに要する時間の短縮が図れる。また、目標位置に自車両が近づいた時点で、目標位置を入力指定できるので、目標位置をより正確に指定できる。例えば先に説明した例では、想定運動パターンの開始位置を自車両の現在位置に一致させた状態で、目標位置を決定するので、目標位置と自車両の現在位置とが比較的離れてしまう。このため、目標位置と障害物の関係等が、カメラや視点等に起因する歪みの影響を受けて正確に把握しづらい場合があるが、この方法ではこれが改善される。
【００６１】
なお、図１３（ｃ）に示すように、開始位置ＳＴ３が決定されると、車両の現在位置ＣＰ３から開始位置ＳＴ３までを、自動運転させるようにしてもよい。すなわち、開始位置ＳＴ３と現在位置ＣＰ３との相対的な位置関係を計算し、車両を現在位置ＣＰ３から開始位置ＳＴ３まで誘導するために必要なハンドル切れ角および車輪回転数に関する時系列データを求める。駐車動作は低速で行われるため、タイヤの横滑りが生じないと近似し、いわゆるアッカーマンモデル（２輪モデル）を用いて、車両を誘導するための平行移動量と回転量から、ハンドル切れ角および車輪回転数は計算される。そして、この時系列データに従って、ハンドル切れ角制御信号および駆動輪回転数制御信号を生成し、ハンドル制御系および車輪駆動系を制御することによって、車両の運転を自動制御する。
【００６２】
さらに、開始位置ＳＴ３から終了位置ＥＮ３までの想定運動パターンＭＰ３に従った運転についても、自動化してもよい。すなわち、例えば図５（ｂ）に示すようなタイヤ回転に対応したハンドル操舵角の発生を自動的に行い、自動運転する。このような自動運転によって、運転者が操作をすること無しに、車両が開始位置ＳＴ３または終了位置ＥＮ３まで誘導されるので、より簡単で安全な車両操作が可能となる。
【００６３】
なお、ここでの自動運転は、タイヤ回転に対応したハンドル操舵角の発生（ハンドル操作）に加えてブレーキとアクセル操作も行う完全自動運転でもよいし、ハンドル操作を自動的に行い、運転者が、周囲状況を確認しながら「止まれ」「行け」を指示するブレーキとアクセル操作のみを行う半自動運転であってもかまわない。
【００６４】
（第２の実施形態）
図１４は本発明の第２の実施形態に係る運転操作補助装置の構成を示すブロック図である。本実施形態に係る運転操作補助装置も、主として、車庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。したがって、本実施形態において、特に説明のないものについては第１の実施形態と同様とし、図１と同一の符号が付された構成要素については、特に説明のない限り、図１と同様の機能を持つものとする。また、第１の実施形態で説明した各変形例についても、特にことわりのない限り、同様の変形を行うことによって、本実施形態に適用されるものとする。
【００６５】
撮像部１０１、カメラパラメータテーブル１０３、空間再構成手段１０４、空間データバッファ１０５および視点変換手段１０６によって、周囲状況画像化手段が構成されている。また、スーパーインポーズ手段１０２によって合成画像生成手段が構成されている。
【００６６】
図１４の構成が第１の実施形態に係る運転操作補助装置と異なるのは、軌跡修正手段３０１、障害物入力手段３０２、想定パターン修正手段３０３およびパターン選択手段としてのストローク入力選択手段３０４を有している点と、想定運動パターン格納手段１０８が、図１５（ａ）に示すような、切り返しを含む想定運動パターン、すなわち運動途中で後退と前進を切り替えるような想定運動パターンを含む点である。
【００６７】
このとき、図１５（ｂ）に示すようなタイヤ回転数に対応したハンドル舵角のデータが、想定運動パターンの時系列データとして想定運動パターン格納手段１０８に格納されている。図１５（ｂ）に示すように、タイヤ回転数が０〜０．８の範囲は車両の後退を示し、その後、後退から前進に切り替わる。このとき車両の位置は図１５（ａ）に示す後退前進切替位置ＣＰ１にある。次のタイヤ回転数０．８〜０．６の範囲は車両の前進を示し、図１５（ａ）に示す前進後退切替位置ＣＰ２に来たとき前進から後退に再び切り替わり、その後タイヤ回転数０．６〜１．４の範囲で車両は後退する。
【００６８】
このような切り返しを含む想定運動パターンを含むことによって、図１５（ａ）に示すように、障害物に対して小さな空間的余裕しかない場合であっても、車両の位置方向を制御できる。
【００６９】
本実施形態において、撮像部１０１によって撮像された画像データから周囲状況画像が生成される手順は、第１の実施形態で説明したものと同様である。また、スーパーインポーズ手段１０２によって、想定運動パターン格納手段１０８に格納された想定運動パターンが、その開始位置と車両の現在位置とが一致するように合成画像上に表示される手順は、第１の実施形態で説明したものと同様である。
【００７０】
想定運動パターンが合成画像上に表示された以降の、運転者が、軌跡修正手段３０１および障害物入力手段３０２を用いて想定運動パターンおよび時系列データを修正し、これが合成画像上に表示されるまでの手順を、右側への車庫入れを行う場合を例として、以下に説明する。
【００７１】
図１６に示すように、運転者が、障害物ＯＢａ，ＯＢｂ，ＯＢｃに接触しないように、目標駐車位置ＰＡＣを操作終了位置とする車庫入れ操作を行おうとし、目標駐車位置ＰＡＣに想定運動パターンの操作終了位置が一致するような現在位置ＣＰに車両を移動させたものとする。そして、想定運動パターンの外接領域ＣＡが障害物ＯＢａ，ＯＢｂ，ＯＢｃと接触する可能性があることが判明した場合を想定する。
【００７２】
想定運動パターン格納手段１０８には、上述したように多くの想定運動パターンが格納されているが、その中から運転者が適切な想定運動パターンをスイッチ等で選択するにはかなりの労力を要する。
【００７３】
そこで本実施形態では、ストローク入力選択手段３０４を用いて、運転者等のユーザが、適切な想定パターンを選択する。ストローク入力選択手段３０４は、車両の想定軌跡を表示画面上にペン（ポインタ）入力できるように構成されたものである。図１７に示すように、ユーザは、自車両位置ＣＰから目標位置ＰＡＣに駐車するまでの切り返しを含む運動の概要を、障害物ＯＢａ，ＯＢｂ，ＯＢｃを避けながら、ストローク入力選択手段３０４を介して、画面を見ながらペン入力することができる。ストローク入力選択手段３０４は、想定運動パターン格納手段１０８に格納された複数の想定運動パターンの中から、ペン入力に最も近い想定運動パターンを選択する。
【００７４】
なお、ストローク入力選択手段３０４は、図１７に示すように、ペン入力に対応するストローク軌跡ＰＥＮとこのときの外接領域ＣＡを逐次画面上に表示しながら、運転者に入力を促す。このとき、ストローク入力選択手段３０４は、運転者のペン入力に対し、実際の車両の最小回転半径等の制約を反映した入力受け入れを行う。したがって例えば運転者が、実際の車両の最小回転半径よりも小さい半径の回転運動をペン入力した場合であっても、ストローク入力選択手段３０４は、これを実際の車両の最小回転半径の回転運動として入力する。そして、画面表示されるストローク軌跡ＰＥＮも車両の回転半径等の制約を反映したものとなるので、運転者はストローク軌跡ＰＥＮを見ながらペン入力することによって、障害物との関係から実際に切り返しが必要か否かを確認しながら、ペン入力を行うことができる。よって、より適切な想定運動パターンを簡易に選択入力することができる。
【００７５】
なお、選択された想定運動パターンがなお障害物等と干渉してしまう場合は、運転者は以下のようにして、想定運動パターンの修正を行う。
【００７６】
まず、運転者は、表示装置１０７に表示された合成画像（図１６）の現在位置ＣＰを駐車操作開始位置ＳＴＣとする。そして図１８に示すように、障害物入力手段３０２を用いて、画像中の障害物ＯＢａ，ＯＢｂ，ＯＢｃのある領域を、矩形や円形を用いて、障害物領域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃとして、数値入力、ポインタその他の手段によって設定入力する。また目標駐車位置ＰＡＣに修正が必要な場合は、同様に数値入力、ポインタその他の手段によって移動入力する。
【００７７】
障害物領域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃが入力されると、図１９に示すように、軌跡修正手段３０１は、各障害物領域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃを含む周囲６０ｃｍの領域を接触危険領域ＣＤａ，ＣＤｂ，ＣＤｃとしてそれぞれ設定する。そして各障害物領域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃについて、図２０に示すような接触危険評価関数Ｈを与える。この関数Ｈは、障害物領域ＯＢＩから１０ｃｍ以下の範囲では障害物に接近するにつれて急峻に増加し、１０ｃｍ以上の領域では離れるに従って緩やかに減少し、６０ｃｍ以上で値が０になる。すなわち、３つの２次関数の合成から構成される。
【００７８】
また、図２１に示すように、車両の周囲に６個の評価点ＥＰ（ｘｉ，ｙｉ）（ｉ＝１〜６）を設定し、各評価点ＥＰ（ｘｉ，ｙｉ）について、図１５（ｂ）に示すＮ個の項目（タイヤ回転ｔｍ、タイヤ角ｋｍ）（ｍ＝１〜Ｎ）における軌跡が、軌跡評価点ＴＥＰ（ｘｉ，ｙｉ）ｎ（ｎ＝１〜Ｎ）として算出される。
【数１】

【００７９】
上式に示すように、各軌跡評価点ＴＥＰの位置における接触危険評価関数Ｈの総和から、軌跡接触危険評価関数ＨＳが求められる。
【００８０】
上式から分かるように、この軌跡接触危険評価関数ＨＳは、図１５（ｂ）に示すＮ個の項目（タイヤ回転ｔｍ、タイヤ角ｋｍ）の関数となる。したがって偏微分法を用いて、順次（タイヤ回転ｔｍ、タイヤ角ｋｍ）を修正することによって、この軌跡接触危険評価関数ＨＳを最小化する時系列データを求めることができる。これにより、図２２に示すように、最初の図１５（ｂ）に示す時系列データから、軌跡接触危険評価関数ＨＳを最小化する時系列データに、想定運動パターンを修正することができる。
【００８１】
なお、軌跡接触危険評価関数ＨＳを最小化する時系列データにおいて、軌跡評価点ＴＥＰ（ｘｉ，ｙｉ）ｎの各点における接触危険評価関数Ｈから、１点でも障害物領域ＯＢＩから１０ｃｍ以下のものがある場合、「要注意」の警告を運転者に出し、また１点でも障害物領域ＯＢＩから０ｃｍ以下のものがある場合、「駐車不能」の警告を運転者に出す。
【００８２】
この修正された想定運動パターンは、軌跡接触危険評価関数ＨＳを最小化する運動パターンであるので、図２３に示すように、障害物からより余裕をもった軌跡が生成され、より安全に駐車することが可能となる。
【００８３】
スーパーインポーズ手段１０２は、図２４に示すように、修正想定運動パターンＭＰＣをその操作開始位置ＳＴＣと車両の現在位置ＣＰとを一致させて合成画像を生成し、表示装置１０７はこれを表示する。
【００８４】
したがって、運転者は、新たな修正想定運動パターンＭＰＣに従った運転操作（駐車操作）を開始すれば、目標駐車位置ＰＡＣに、障害物からより余裕を持った動きで当該車両を駐車させることができる。
【００８５】
なお、生成された新たな想定運動パターンおよび時系列データは、元の想定運動パターンに代えて、想定運動パターン格納手段１０８に格納してもよいし、元の想定運動パターンはそのままにして、想定運動パターン格納手段１０８に新たに追加格納してもよい。また、その場限りのものとし、格納しなくてもよい。さらに、更新格納、追加格納または格納せず、を運転者がその都度選択するものとしてもよい。
【００８６】
また、本実施形態では、想定運動パターン格納手段１０８に更新格納または追加格納する想定運動パターンは、運転者から入力された運動の開始時および終了時の車両の位置に基づいて、自動的に求められるものとして説明したが、この代わりに、例えば実際の運転操作を行い、このときのハンドル舵角や車輪回転数等の時系列データを採取して、これに基づいて想定運動パターンを生成するようにしてもよい。
【００８７】
また、本実施形態では、障害物入力手段３０２を用いて、運転者が画像上で障害物の位置を入力するものとしたが、赤外線または超音波センサ等や、ステレオ画像を用いた３次元障害物検出手段を備えることによって、これを自動化してもよい。
【００８８】
以上のように本実施形態によると、運転者が目標駐車位置や障害物領域を入力するだけで、最適な想定運動パターンが自動的に選択され、安全でより簡単な運転操作で最適な駐車を実現できる。すなわち、第１の実施形態に比べて、拡張性のある運転操作補助装置を実現することができる。
【００８９】
（第３の実施形態）
図２５は本発明の第３の実施形態に係る運転操作補助装置の構成を示すブロック図である。本実施形態において、特に説明のないものについては第１の実施形態と同様とし、図１と同一の符号が付された構成要素については、特に説明のない限り、図１と同様の機能を持つものとする。また、第１の実施形態で説明した各変形例についても、特にことわりのない限り、同様の変形を行うことによって、本実施形態に適用されるものとする。スーパーインポーズ手段１０２および外接領域軌跡合成手段４０３によって、画像処理部が構成されている。
【００９０】
本実施形態に係る運転操作補助装置は、図２６に示すように、ハンドル操舵角センサ４０２からの入力に従って、ハンドルを左右切った状態で後退する運動について、タイヤ軌跡ＴＴ（破線で図示）のみではなく、車種毎に固有の、車両全体が通過する空間の外接領域軌跡ＣＡＴ（実線で図示）を、外接領域軌跡合成手段４０３において合成する。そして、図２７に示すように、車両後方に取り付けられたカメラ１０１からの画像に、２つの軌跡ＴＴ，ＣＡＴを地面上に投射した画像をスーパーインポーズ手段１０２によって合成して、表示装置１０７に表示する。
【００９１】
すなわち、本実施形態によると、タイヤ軌跡ＴＴのみではなく、車両全体が通過する空間の外接領域軌跡ＣＡＴがハンドル角に合わせて表示されるので、タイヤよりも大きく膨らむ車両部分、例えば左後方に曲がりながら駐車する場合における右前方部分等が、障害物に接触するか否か等を、運転者がより正確に把握できるという効果が得られる。
【００９２】
図２８は本実施形態に係る運転操作補助装置の他の構成を示すブロック図である。図２８において、図１と共通の構成要素には、図１と同一の符号を付しており、ここではその詳細な説明を省略する。スーパーインポーズ手段１０２、カメラパラメータテーブル１０３、空間再構成手段１０４、空間データバッファ１０５、視点変換手段１０６および外接領域軌跡合成手段４０３によって、画像処理部が構成されている。
【００９３】
図２８の構成において、第１の実施形態に係る運転操作補助装置と異なるのは、図２５の構成例と同様に、ハンドル操舵角センサ４０２からの入力に従って、ハンドルを左右切った状態で後退する運動について、タイヤ軌跡だけではなく、車両全体が通過する空間の外接領域軌跡が、外接領域軌跡合成手段４０３において合成される点である。すなわち、図２９に示すように、複数のカメラＣ１〜ＣＮの撮像画像を基に合成された，車両上方からみた画像に、タイヤ軌跡ＴＴとともに、車両全体が通過する空間の外接領域軌跡ＣＡＴが表示される。
【００９４】
このとき、図２９の外接領域軌跡ＣＡＴは、図２６に示す外接領域軌跡ＣＡＴと同一形状になる。一般に、自車両の外接領域軌跡ＣＡＴがタイヤ軌跡ＴＴよりも膨らむ部分は、バンパー等の地面から浮いた部分であるので、図２７に示す地面に投射された外接領域軌跡ＣＡＴよりも、図２９に示す上方からみた外接領域軌跡ＣＡＴの方が、ユーザにとっては認識しやすい。したがって図２８に示す構成によると、図２５に示す構成に比べて、ユーザが、自車両と障害物の関係をより正確に把握できるという効果が得られる。
【００９５】
なお、上述した各実施形態において、周囲状況画像の生成は、主として、複数の車載カメラを用いて仮想カメラの視点からの画像を合成するものとして説明したが、これに限るものではなく、例えば、屋根付駐車場の天井に設置された１台のカメラの画像を周囲状況画像として用いてもよい。
【００９６】
なお、上述した各実施形態に係る運転操作補助装置の機能の一部または全部を、コンピュータに実行させるプログラムによって実現してもかまわない。
【００９７】
【発明の効果】
以上のように本発明によると、所定の一連の運転操作の終了位置を指定するだけで、運転操作の開始位置が求められる。このため、運転操作開始までに要する時間の短縮が図られる。また、表示画面上におけるポインタ入力によって、車両の想定軌跡を入力することができるので、想定運動パターンの選択が格段に容易になる。さらに、車両が通過する空間の外接領域の軌跡が画像表示されるので、タイヤよりも膨らむ車両部分が障害物に接触するか否かを、ユーザがより正確に把握することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る運転操作補助装置の構成を示すブロック図である。
【図２】車両にカメラを設置した一例である。
【図３】仮想カメラの視点の一例である。
【図４】周囲状況画像の一例を示す図である。
【図５】左側への縦列駐車における想定運動データの一例を示す図である。
【図６】右側への車庫入れにおける想定運動データの一例を示す図である。
【図７】図５の想定運動パターンを含む合成画像を示す図である。
【図８】図６の想定運動パターンを含む合成画像を示す図である。
【図９】左側への縦列駐車を行う場合の車両の動きを示す図である。
【図１０】開始位置に車両を移動させる場合の画像表示の例を示す図である。
【図１１】想定運動パターンのバリエーションの一例を示す図である。
【図１２】余裕線を表示した合成画像の例を示す図である。
【図１３】本発明の第１の実施形態に係る，ユーザに終了位置を指定入力させる運転操作補助方法を説明するための図である。
【図１４】本発明の第２の実施形態に係る運転操作補助装置の構成を示すブロック図である。
【図１５】切り返しを含む想定運動データの一例を示す図である。
【図１６】図１５に示す想定運動パターンを含む合成画像の一例を示す図である。
【図１７】ペン入力による想定運動パターンの選択入力を示す図である。
【図１８】障害物領域の入力を示す図である。
【図１９】障害物領域に接触危険領域が表示された合成画像を示す図である。
【図２０】接触危険評価関数を示す図である。
【図２１】軌跡評価点の算出を示す図である。
【図２２】想定運動パターンの修正の一例を示す図である。
【図２３】修正後の想定運動パターンを含む合成画像を示す図である。
【図２４】修正後の想定運動パターンを含む合成画像を示す図である。
【図２５】本発明の第３の実施形態に係る運転操作補助装置の構成を示すブロック図である。
【図２６】外接領域軌跡を示す図である。
【図２７】図２５の構成によって表示された車両周囲状況画像の一例を示す図である。
【図２８】本発明の第３の実施形態に係る運転操作補助装置の他の構成を示すブロック図である。
【図２９】図２８の構成によって表示された合成画像の一例を示す図である。
【符号の説明】
ＥＮ３　終了位置
ＭＰ３　想定運動パターン
ＳＴ３　開始位置
ＰＯ　ポインタ
１０１　撮像部
１０２　スーパーインポーズ手段（合成画像生成手段）
１０３　カメラパラメータテーブル
１０４　空間再構成手段
１０５　空間データバッファ
１０６　視点変換手段
１０７　表示装置
１０８　想定運動パターン格納手段
３０４　ストローク入力選択手段（パターン選択手段）
ＣＡＴ　外接領域軌跡
４０３　外接領域軌跡合成手段

Claims (7)

1. 車両の運転操作の補助を、前記車両の周囲状況を表す画像を表示装置に表示して行う方法であって、
   所定の運転操作の終了時における前記車両の位置である終了位置を、前記表示装置の画像上で、ユーザに指定させる第１のステップと、
   前記所定の運転操作における車種毎に固有の前記車両の動きを表す想定運動パターンに従って、前記終了位置に対して、前記所定の運転操作の開始時における前記車両の位置である開始位置を求める第２のステップとを備えた
   ことを特徴とする運転操作補助方法。
2. 請求項１記載の運転操作補助方法において、
   前記開始位置、終了位置および想定運動パターンを、前記表示装置の画像に重ね合わせて表示するステップを備えた
   ことを特徴とする運転操作補助方法。
3. 請求項１記載の運転操作補助方法において、
   前記第１のステップは、
   前記車両が、指定された終了位置近傍に位置しているとき、この終了位置を入力とするものである
   ことを特徴とする運転操作補助方法。
4. 請求項１記載の運転操作補助方法において、
   前記車両の現在位置から前記開始位置までの運転、および前記開始位置から前記終了位置までの前記想定運動パターンに従った運転のうち少なくともいずれか一方を、全自動または半自動で、行うステップを備えた
   ことを特徴とする運転操作補助方法。
5. 車両の運転操作の補助を行う装置であって、
   前記車両の周囲状況を表す画像を生成する周囲状況画像化手段と、
   所定の運転操作における車種毎に固有の前記車両の動きを表す想定運動パターンを格納する想定運動パターン格納手段と、
   前記想定運動パターンを、前記周囲状況画像に重ね合わせて、合成画像を生成する合成画像生成手段と、
   前記合成画像を表示する表示装置と、
   前記表示装置の画面上におけるポインタ入力に基づいて、前記想定運動パターンを選択するパターン選択手段とを備えた
   ことを特徴とする運転操作補助装置。
6. 車両の運転操作の補助を行う装置であって、
   前記車両の周囲状況を表す画像を生成する画像処理部を備え、
   前記画像処理部は、
   所定の運転操作によって前記車両が動く際に、車種毎に固有の前記車両が通過する空間の外接領域の軌跡を、前記周囲状況画像上に重ね合わせて、合成画像を生成する
   ことを特徴とする運転操作補助装置。
7. 請求項６記載の運転操作補助装置において、
   前記画像処理部は、前記車両に設けられた複数のカメラの出力から、画像合成により、前記周囲状況画像を生成するものである
   ことを特徴とする運転操作補助装置。

Images