JP2001347909A

JP2001347909A - 運転操作補助方法および装置

Info

Publication number: JP2001347909A
Application number: JP2001092380A
Authority: JP
Inventors: Hiroshi Ishii; 浩史石井; Shusaku Okamoto; 修作岡本; Kazuo Nobori; 一生登; Masamichi Nakagawa; 雅通中川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-04-05
Filing date: 2001-03-28
Publication date: 2001-12-18
Anticipated expiration: 2021-03-28
Also published as: JP3606816B2

Abstract

(57)【要約】【課題】運転操作補助技術において、ユーザの負担を
より軽減する。【解決手段】車両の周囲状況を表す画像上で、所定の
運転操作の終了時における終了位置ＥＮ３を、例えばポ
インタＰＯによって、ユーザに指定させる。運転操作補
助装置は、その運転操作における車両の動きを表す想定
運動パターンＭＰ３に従って、その運転操作の開始位置
ＳＴ３を求め、表示画像に重ね合わせて表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転操作を
支援する運転操作補助に関する技術に属する。

【０００２】

【従来の技術】従来の一般的な運転操作補助装置として
は、ハンドルの舵角を検出するステアリングセンサによ
って、後退時のハンドルの舵角に対応する車両のタイヤ
（移動）軌跡を予測するものがある（特開平１−１４７
００号公報参照）。この装置では、車両の後退時に、カ
メラで撮影された後方または側後方視界の映像が表示さ
れるとともに、操作したハンドルの舵角に対応して予測
された車両のタイヤ軌跡が、その映像上にスーパーイン
ポーズされる。

【０００３】この装置を用いた場合、運転操作は次のよ
うになる。すなわち、まず、ハンドルを固定した状態で
駐車スペースに移動できそうな場所に、車両を移動させ
る。次にこの場所において、ハンドル操作によって予測
される車両タイヤ軌跡を確認しながら、ハンドル操作を
行うことなく車両を駐車スペースに移動できるような舵
角を見つける。そして、この舵角を保持したまま車両を
後退させ、駐車スペースに移動させる。このような運転
操作によって、原理的には駐車が完了する。

【０００４】

【発明が解決しようとする課題】上述の装置を用いて駐
車を行う場合、車両を駐車スペースに移動させることが
できる場所を見つけ、続いて、どの舵角でハンドルを固
定すればよいかを決める必要がある。ところが、これら
の操作に習熟するためには相当の熟練を必要とする。し
かも、運転する車両の大きさ等が変わると車両感覚も変
わるので、熟練の段階で積み重ねられた運転のノウハウ
が、さほど活かされなくなる。

【０００５】ところで、駐車操作の場合、周囲に全く障
害物がない場合を除いて、操作開始からハンドル舵角を
一定に保ったまま運転操作を完了させることは、一般に
困難である。例えば縦列駐車を行う場合、運転者は操作
開始位置から駐車すべき位置に車両を移動させる間に、
最初はしかるべき方向にハンドルを回して車両を後退さ
せ、適当に後退したところで、次に逆方向にハンドルを
回して、目標場所に車両を移動させる。すなわち、縦列
駐車を例に取った場合、ハンドル舵角を一定に保ったま
までは駐車は困難であるといえる。

【０００６】また、従来の装置では、運転者が少しでも
ハンドルを動かすと、その少しの舵角変化によって予測
し直された車両の移動経路が表示されるため、運転者の
混乱を招くおそれがある。

【０００７】さらに、実際の車両の車体は、タイヤから
オーバーハングしている部分があるため、タイヤ軌跡が
障害物と干渉していなくても、車体が障害物と接触する
可能性があり得る。すなわち、従来では、タイヤよりも
膨らむ車両部分が障害物に接触するか否かを正確に把握
することが困難であった。

【０００８】前記の問題に鑑み、本発明は、運転操作補
助技術において、ユーザの利便性をさらに向上させ、ユ
ーザの負担を軽減することを課題とする。

【０００９】

【課題を解決するための手段】前記の課題を解決するた
めに、本発明は、車両の運転操作の補助を前記車両の周
囲状況を表す画像を表示装置に表示して行う方法とし
て、所定の運転操作の終了時における前記車両の位置で
ある終了位置を前記表示装置の画像上でユーザに指定さ
せる第１のステップと、前記所定の運転操作における前
記車両の動きを表す想定運動パターンに従って、前記終
了位置に対して前記所定の運転操作の開始時における前
記車両の位置である開始位置を求める第２のステップと
を備えたものである。

【００１０】この発明によると、所定の一連の運転操作
を行おうとする場合、その終了位置を指定するだけで、
運転操作の開始位置が求められるので、運転操作開始ま
でに要する時間の短縮が図られる。

【００１１】そして、前記本発明に係る運転操作補助方
法は、前記開始位置、終了位置および想定運動パターン
を前記表示装置の画像に重ね合わせて表示するステップ
を備えるのが好ましい。これにより、画面上で、開始位
置や想定運動パターンが、障害物と干渉するか否かを容
易に確認することができる。

【００１２】そして、前記第１のステップは、前記車両
が指定された終了位置近傍に位置しているとき、この終
了位置を入力とするのが好ましい。これにより、目標と
なる終了位置をより正確に指定することができる。

【００１３】また、前記本発明に係る運転操作補助方法
は、前記車両の現在位置から前記開始位置までの運転、
および前記開始位置から前記終了位置までの前記想定運
動パターンに従った運転のうち少なくともいずれか一方
を、全自動または半自動で行うステップを備えたものと
するのが好ましい。

【００１４】また、本発明は、車両の運転操作の補助を
行う装置として、前記車両の周囲状況を表す画像を生成
する周囲状況画像化手段と、所定の運転操作における前
記車両の動きを表す想定運動パターンを格納する想定運
動パターン格納手段と、前記想定運動パターンを前記周
囲状況画像に重ね合わせて合成画像を生成する合成画像
生成手段と、前記合成画像を表示する表示装置と、前記
表示装置の画面上におけるポインタ入力に基づいて、前
記想定運動パターンを選択するパターン選択手段とを備
えたものである。

【００１５】この発明によると、表示装置の画面上にお
けるポインタ入力に基づいて、車両の想定軌跡を入力す
ることができるので、想定運動パターンの選択が格段に
容易になる。

【００１６】また、本発明は、車両の運転操作の補助を
行う装置として、車両の周囲状況を表す画像を生成する
画像処理部を備え、前記画像処理部は、所定の運転操作
によって前記車両が動く際に前記車両が通過する空間の
外接領域の軌跡を、前記周囲状況画像上に重ね合わせて
合成画像を生成するものである。

【００１７】この発明によると、車両が通過する空間の
外接領域の軌跡が画像表示されるので、例えばバンパー
のような、タイヤよりも膨らむ車両部分が、障害物に接
触するか否かを、ユーザがより正確に把握することがで
きる。

【００１８】そして、前記画像処理部は、前記車両に設
けられた複数のカメラの出力から、画像合成により、前
記周囲状況画像を生成するものであるのが好ましい。

【００１９】

【発明の実施の形態】以下、本発明の各実施形態につい
て、図面を参照して説明する。

【００２０】（第１の実施形態）図１は本発明の第１の
実施形態に係る運転操作補助装置の構成を示すブロック
図である。本実施形態に係る運転操作補助装置は、主と
して、車庫入れ時および縦列駐車時等の運転操作の補助
を目的とするものである。

【００２１】図１に示すように、本実施形態に係る運転
操作補助装置は、Ｎ個のカメラ（カメラＣ１〜ＣＮ）か
らなる撮像部１０１と、各カメラＣ１〜ＣＮの特性であ
るカメラパラメータを格納するカメラパラメータテーブ
ル１０３と、カメラパラメータに基づいて、各カメラＣ
１〜ＣＮからの出力画像を構成する各々の画素を３次元
空間の点に対応づけた空間データを作成する空間再構成
手段１０４と、空間データを参照して、所定の視点から
見た画像を周囲状況画像として生成する視点変換手段１
０６と、空間データを一時的に格納する空間データバッ
ファ１０５と、想定運動パターンを含む想定運動データ
を保持する想定運動パターン格納手段１０８と、想定運
動パターンを周囲状況画像上に重ね合わせて、合成画像
を生成するスーパーインポーズ手段１０２と、合成画像
を表示する表示装置１０７とを備えている。さらに、終
了位置入力手段２０１、開始位置決定手段２０２および
空間固定手段２０３を備えている。

【００２２】終了位置入力手段２０１は、ポインタによ
って、運転操作の目標位置すなわち終了位置を入力す
る。なお、終了位置の入力については、数値入力または
その他の手段によって、行われるものとしてもよい。

【００２３】開始位置決定手段２０２は、終了位置入力
手段２０１によって入力された終了位置に対応する運転
操作の開始位置を、当該運転操作に対応する想定運動パ
ターンに従って求める。

【００２４】空間固定手段２０３は、終了位置入力手段
２０１によって終了位置が入力指定された以降、当該運
転操作に対応する想定運動パターンを、合成画像の周囲
空間に固定させる。固定させる方法としては、カメラ画
像での特徴点を追跡する方法であっても良いし、また実
際の車両のハンドル角やタイヤ回転などから車両の運動
を算出し、その運動による画像の周囲空間の動きを補正
する方法であってもかまわない。

【００２５】まず、撮像部１０１の詳細構成、および撮
像部１０１によって撮像された画像データから周囲状況
画像が生成されるまでの手順を説明する。

【００２６】図２は撮像部１０１の各カメラＣ１〜ＣＮ
を車両１に設置した一例を示す図である。この例では、
Ｎ＝６とし、６個のカメラＣ１〜Ｃ６が車両１のルーフ
部に配置されている。各カメラＣ１〜Ｃ６は、それぞれ
の撮像範囲の一部が他のカメラの撮像範囲の一部と重な
り合うように、かつ、撮像範囲全体として平面的に死角
が生じないように、配置されている。

【００２７】カメラパラメータテーブル１０３には、各
カメラＣ１〜ＣＮのカメラ特性を表すカメラパラメータ
（取り付け位置、取り付け角度、レンズ歪み補正値、レ
ンズの焦点距離等）が記憶されている。空間再構成手段
１０４はこのカメラパラメータに基づいて、各カメラＣ
１〜ＣＮからの出力画像を構成する各々の画素が車両を
基準とする３次元空間の点に対応づけられた空間データ
を作成する。この空間データは空間データバッファ１０
５に一時的に格納され、視点変換手段１０６は、任意の
視点、例えば図３に示す仮想カメラＶＣの視点から見た
画像を、空間データを参照して各画素を合成することに
よって、周囲状況画像として生成する。

【００２８】図４は図３に示す仮想カメラＶＣの視点か
らの周囲状況画像の一例を示す。図４の例は縦列駐車を
行う場合のものであり、駐車中の２台の車両が、障害物
ＯＢ１，ＯＢ２として、周囲状況画像上に表されてい
る。

【００２９】次に、スーパーインポーズ手段１０２が合
成画像を生成し、この合成画像を表示装置１０７が表示
するまでの手順を説明する。

【００３０】想定運動パターン格納手段１０８は、典型
的な運転操作を行う場合における車両の動きを表す画像
データである想定運動パターンと、この場合における車
両の移動距離（タイヤ回転移動量）とハンドルの舵角
（ハンドルの切れ角）との関係を表す時系列データと
を、想定運動データとして格納している。

【００３１】図５は左側への縦列駐車の運転操作を行う
場合の想定運動データの一例、図６は右側への車庫入れ
の運転操作を行う場合の想定運動データの一例をそれぞ
れ示す図である。各図の（ａ）は想定運動パターンを示
し、各図の（ｂ）に示す時系列データに従った運転操作
を行った場合に対応する。ＳＴ１，ＳＴ２は操作開始位
置、ＥＮ１，ＥＮ２は操作終了位置、ＴＲ１，ＴＲ２は
タイヤ軌跡である。

【００３２】まず運転者等のユーザは、想定運動パター
ン格納手段１０８に格納された想定運動パターンのうち
の１つをパターン選択手段（図示せず）によって選択す
る。スーパーインポーズ手段１０２は、選択された想定
運動パターン（例えば図５（ａ））を、視点変換手段１
０６によって生成された周囲状況画像（例えば図４）に
重ね合わせて合成画像を生成し、表示装置１０７はこの
合成画像を表示する。このとき、例えば図５（ａ）の操
作開始位置ＳＴ１を当該車両の現在位置と一致させるこ
とによって、操作終了位置ＥＮ１は、この想定運動パタ
ーンに対応する運転操作を現在位置から開始した場合の
操作終了位置すなわち駐車位置となる。

【００３３】図７は図５に示す想定運動パターンを合成
した合成画像の一例、図８は図６に示す想定運動パター
ンを合成した合成画像の一例を、それぞれ示す図であ
る。

【００３４】すなわち運転者は、図７において、車両
を、駐車位置ＰＡＡ（ＥＮ１）、タイヤ軌跡ＴＲ１およ
び開始位置ＳＴＡ（ＳＴ１）が障害物ＯＢ１，ＯＢ２と
干渉しないような開始位置ＳＴＡに移動する。そして、
この開始位置ＳＴＡから図５（ｂ）に示す時系列データ
に従った一連の運転操作を開始することによって、駐車
位置ＰＡＡに駐車する左側への縦列駐車を行うことがで
きる。同様に、運転者は、図８において、車両を、駐車
位置ＰＡＢ（ＥＮ２）、タイヤ軌跡ＴＲ２および開始位
置ＳＴＢ（ＳＴ２）が障害物ＯＢ３，ＯＢ４と干渉しな
いような開始位置ＳＴＢに移動する。そして、この開始
位置ＳＴＢから図６（ｂ）に示す時系列データに従った
一連の運転操作を開始することによって、駐車位置ＰＡ
Ｂに駐車する右側への車庫入れを行うことができる。

【００３５】左側への縦列駐車を行う場合を例として、
開始位置ＳＴＡに車両を移動する際の詳細な手順につい
て、図９および図１０を用いて説明する。

【００３６】図９は左側への縦列駐車を行う場合の車両
の動きを示す図である。図９に示すように、車両の運転
者は、目標駐車位置ＰＡＡの位置に車両を駐車するため
には、まず、図５（ａ）に示すような左側への縦列駐車
を行う想定運動パターンの操作終了位置ＥＮ１をこの目
標駐車位置ＰＡＡと一致させたときの操作開始位置ＳＴ
１を目標開始位置ＳＴＡとし、現在位置ＣＰに位置する
車両をこの目標開始位置ＳＴＡに移動させる必要があ
る。

【００３７】図５（ａ）に示す想定運動パターンにおけ
る操作終了位置ＥＮ１と操作開始位置ＳＴ１との相対的
な位置関係は、図５（ｂ）に示す時系列データに従って
運転操作を行う場合に対応するものであり、実際の運転
操作では、ハンドル操作等の微調整等によって、微調整
が可能である。

【００３８】本実施形態に係る運転操作補助装置を用い
ない場合、運転者は、車の内部から直視やミラー等を介
した確認を行い、障害物ＯＢ１，ＯＢ２を認識するとと
もに目標駐車位置ＰＡＡを想定して、目標開始位置ＳＴ
Ａへ車両を移動させる必要がある。このような作業に
は、相当の習熟を要する。また、例えば車両のサイズや
ミラー位置が変わったとき、運転者はその変化にすぐに
は対応しづらいという問題がある。

【００３９】これに対して、本実施形態に係る運転操作
補助装置では、図４に示すようなあたかも車両上方から
撮影したような周囲状況画像が、車両に設置されたカメ
ラによる撮像画像を用いて生成され、かつ、図５（ａ）
に示すような想定運動パターンが重ね合わされて、図７
に示すような合成画像が運転者に表示される。

【００４０】したがって、図９の目標開始位置ＳＴＡに
車両を移動させる運転操作を行う際、図１０（ａ）〜
（ｃ）に示すように、図５（ａ）に示すような想定運動
パターンを、車両の現在位置ＣＰと操作開始位置ＳＴ１
とを一致させて表示する。これにより、現在位置ＣＰを
操作開始位置ＳＴ１としたときの操作終了位置ＥＮ１
が、タイヤ軌跡ＴＲ１とともに、現在位置ＣＰに対応し
た駐車位置ＰＡ１として表示される。この駐車位置ＰＡ
１が目標駐車位置ＰＡＡと一致するような現在位置ＣＰ
に車両が位置したとき、目標開始位置ＳＴＡへの移動が
完了したことになる。

【００４１】すなわち、図１０（ａ）の合成画像１で
は、駐車位置ＰＡ１が障害物ＯＢ２と重なるため、運転
者は、現在位置ＣＰから駐車操作を開始すると、車両が
障害物ＯＢ２と接触するおそれがあることを一目で把握
できる。すなわち、運転者は、車両をさらに前方（図１
０における上方）に進めた位置から駐車操作を開始しな
ければならないことを容易に認識することができる。

【００４２】また、図１０（ｂ）の合成画像２では、タ
イヤ軌跡ＴＲ１が障害物ＯＢ１と重なるため、運転者
は、現在位置ＣＰから駐車操作を開始すると、車両が障
害物ＯＢ１と接触するおそれがあることを一目で把握で
きる。すなわち、運転者は、車両をさらに後方（図１０
における下方）に移動した位置から駐車操作を開始しな
ければならないことを容易に認識することができる。

【００４３】一方、図１０（ｃ）の合成画像３では、タ
イヤ軌跡ＴＲ１が障害物ＯＢ１，ＯＢ２に重ならず、か
つ、駐車位置ＰＡ１が駐車に適した場所であることが分
かる。すなわち、運転者は、このときの現在位置ＣＰか
ら駐車操作を開始すれば良いことが確認できる。

【００４４】このように、上方から見たときの車両の画
像と、周囲の障害物、駐車終了位置、タイヤ軌跡の位置
関係を示す画像とを仮想的に合成し、運転者に示すこと
によって、運転者はこれらの位置関係を、直接的に一目
で把握できる。この結果、運転者は、駐車操作開始に適
した位置を一目で把握でき、この位置に車両を移動させ
てから駐車操作を開始できるので、より安全かつ正確
に、目的の位置に駐車することができる。

【００４５】なお、想定運動パターンを表す操作開始位
置、操作終了位置およびタイヤ軌跡は、車両毎に固有で
あって、例えば小型車両と大型車両とでは大きく異な
る。これについては、図１の想定運動パターン格納手段
１０８に、車両毎に想定運動パターンを格納することに
よって対応できる。したがって運転者は、車両が変わっ
ても、その車両に対応した想定運動パターンと周りの障
害物等との関係を見ながら、運転操作を行うことができ
る。

【００４６】また、車両が変わることによって、図２に
示すような車載カメラの位置や個数も変化することが考
えられる。ところがこの点についても、図１のカメラパ
ラメータテーブル１０３が各カメラのカメラパラメータ
を車両毎に格納することによって対応でき、運転者に表
示される表示画像に直接には影響は生じない。したがっ
て運転者は、車両が変わってカメラ位置が変化したとし
ても、それまでとほぼ同様に表示される、その車両に対
応した想定運動パターンと周りの障害物等との関係を見
ながら、運転操作を行うことができる。

【００４７】以上のように、本実施形態によると、従
来、運転者に相当の熟練を必要とする縦列駐車等の運転
操作において、車両と障害物の位置関係および目的位置
等の把握が、直接的に一目で可能となる。したがって、
より安全かつ正確な運転操作が可能となり、また運転者
の操作負担が大幅に軽減される。

【００４８】また、車両等が変わった場合でも、運転者
はそれまでと同様に、その車両に対応した想定運動パタ
ーンと周りの障害物等の関係を見ながら運転操作できる
ので、車両の変更に対する運転者の習熟の負担を大幅に
軽減することができる。

【００４９】図１１は図１の想定運動パターン格納手段
１０８に格納された想定運動パターンのバリエーション
の一例を示す図である。図１１では、左右の縦列駐車の
想定運動パターンＰＴ１，ＰＴ２と、左右の車庫入れ駐
車の想定運動パターンＰＴ３，ＰＴ４とが示されてい
る。上述したように、運転者は、これらの想定運動パタ
ーンＰＴ１〜ＰＴ４のうちのいずれかをパターン選択手
段（図示せず）によって選択する。そして、合成画像と
して表示する領域も、選択した想定運動パターンに応じ
て、図１１に示す各外枠のように決定される。すなわ
ち、操作開始位置、タイヤ軌跡および操作終了位置を含
む矩形領域を、合成画像領域とする。

【００５０】なお、車両本体の画像は、一般には車載カ
メラからは撮像されないが、ここでは、車両のＣＧデー
タまたは実写データ等を保持し、軌跡データと同様に、
合成画像中に重ね合わせて表示するのが好ましい。

【００５１】なお、本実施形態において、想定運動パタ
ーンは、操作開始位置、操作終了位置およびタイヤ軌跡
を示す画像データであるものとして説明したが、これに
限られるものではなく、例えば、タイヤ軌跡の代わりに
またはタイヤ軌跡とともに、車両自身の平面投影が動く
軌跡を含めてもよい。要するに、本発明に係る想定運動
パターンは、車両に対して所定の一連の運転操作を行う
とした場合の当該車両の動きを表す画像データであれば
よい。

【００５２】また、タイヤ軌跡および／または車両の移
動領域をそのまま表示すると、車両と障害物等との接触
に対する余裕がないので、図１２に示すように、タイヤ
軌跡または車両の移動領域の外縁から所定の量（例えば
５０ｃｍ）だけ外側に配置した余裕線ＲＬを表示するよ
うにしてもよい。

【００５３】また本実施形態では、周囲状況画像は、撮
像部１０１がリアルタイムで撮像した画像データを合成
して生成するものとしたが、これに限るものではなく、
例えば、周囲状況がほとんど変化しないような場所にお
いて頻繁に同一の運転操作を行う場合は、すでに撮像さ
れた画像データから生成したデータを空間データバッフ
ァ１０５に格納しておき、これを用いるようにしてもよ
い。

【００５４】以降は、運転者等のユーザが、運転操作例
えば縦列駐車の終了時における車両の位置すなわち終了
位置を指定すると、自動的に、この運転操作の開始時に
おける車両の位置すなわち開始位置を表示する実施態様
について、説明する。この実施態様では、これまでの説
明では特に言及しなかった、終了位置入力手段２０１、
開始位置決定手段２０２および空間固定手段２０３が用
いられる。

【００５５】ここでは、車両が、終了位置近傍に位置し
ているとき、この終了位置を入力とするものとする。終
了位置の近傍とは、自車両が終了位置に近いことを意味
しており、一般的には、終了位置と開始位置との間の距
離よりも、自車両と終了位置との間の距離の方が近いこ
とと定義されるが、ここでは、そうでなくても、終了位
置と自車両との間に障害物が無く、見通しの良い状態を
も含むものとする。

【００５６】以下、図１３を用いて、左側への縦列駐車
を行う場合を例にとって説明する。撮像部１０１によっ
て撮像された画像データから周囲状況画像が生成される
手順は、上述したものと同様である。また、スーパーイ
ンポーズ手段１０２によって、想定運動パターン格納手
段１０８に格納された想定運動パターンが合成画像上に
表示される手順は、上述したものと同様である。

【００５７】図１３（ａ）に示すように、運転者はま
ず、障害物ＯＢ１，ＯＢ２の間に駐車するために、自車
両を目標駐車位置付近に障害物ＯＢ１，ＯＢ２と接触し
ないように近づけて（現在位置ＣＰ３）、表示装置１０
７に自車両とその周囲の画像を表示させる。そして、表
示装置１０７の画面上に表示されているポインタＰＯを
用いて、駐車の目標位置すなわち終了位置ＥＮ３を指定
する。このとき、図１３（ａ）に示すように、指定した
終了位置ＥＮ３に対応して、運転者が予め決めた想定運
動パターンＭＰ３に従って、駐車操作を開始する開始位
置ＳＴ３が決定され、想定運動パターンＭＰ３とともに
画面に表示される。

【００５８】運転者は、開始位置ＳＴ３と想定運動パタ
ーンＭＰ３が障害物ＯＢ１，ＯＢ２と接触するか否かを
画面上で把握できる。接触している場合は、ポインタＰ
Ｏを用いて、再度、終了位置ＥＮ３を、開始位置ＳＴ３
および想定運動パターンＭＰ３が障害物ＯＢ１，ＯＢ２
と接触しないように、変更する。

【００５９】接触がなければ、運転者は次に、この画面
を見ながら（図１３（ｂ））、車両を開始位置ＳＴ３へ
移動させればよい。このとき、想定運動パターンＭＰ３
は空間固定手段２０３によって空間に固定されているの
で、想定運動パターンＭＰ３と障害物ＯＢ１，ＯＢ２と
の相対的な位置関係は変わらない。

【００６０】このような運転操作補助方法によると、上
述した効果に加え、運転操作の開始位置を効率よく求め
らることができるので、操作開始までに要する時間の短
縮が図れる。また、目標位置に自車両が近づいた時点
で、目標位置を入力指定できるので、目標位置をより正
確に指定できる。例えば先に説明した例では、想定運動
パターンの開始位置を自車両の現在位置に一致させた状
態で、目標位置を決定するので、目標位置と自車両の現
在位置とが比較的離れてしまう。このため、目標位置と
障害物の関係等が、カメラや視点等に起因する歪みの影
響を受けて正確に把握しづらい場合があるが、この方法
ではこれが改善される。

【００６１】なお、図１３（ｃ）に示すように、開始位
置ＳＴ３が決定されると、車両の現在位置ＣＰ３から開
始位置ＳＴ３までを、自動運転させるようにしてもよ
い。すなわち、開始位置ＳＴ３と現在位置ＣＰ３との相
対的な位置関係を計算し、車両を現在位置ＣＰ３から開
始位置ＳＴ３まで誘導するために必要なハンドル切れ角
および車輪回転数に関する時系列データを求める。駐車
動作は低速で行われるため、タイヤの横滑りが生じない
と近似し、いわゆるアッカーマンモデル（２輪モデル）
を用いて、車両を誘導するための平行移動量と回転量か
ら、ハンドル切れ角および車輪回転数は計算される。そ
して、この時系列データに従って、ハンドル切れ角制御
信号および駆動輪回転数制御信号を生成し、ハンドル制
御系および車輪駆動系を制御することによって、車両の
運転を自動制御する。

【００６２】さらに、開始位置ＳＴ３から終了位置ＥＮ
３までの想定運動パターンＭＰ３に従った運転について
も、自動化してもよい。すなわち、例えば図５（ｂ）に
示すようなタイヤ回転に対応したハンドル操舵角の発生
を自動的に行い、自動運転する。このような自動運転に
よって、運転者が操作をすること無しに、車両が開始位
置ＳＴ３または終了位置ＥＮ３まで誘導されるので、よ
り簡単で安全な車両操作が可能となる。

【００６３】なお、ここでの自動運転は、タイヤ回転に
対応したハンドル操舵角の発生（ハンドル操作）に加え
てブレーキとアクセル操作も行う完全自動運転でもよい
し、ハンドル操作を自動的に行い、運転者が、周囲状況
を確認しながら「止まれ」「行け」を指示するブレーキ
とアクセル操作のみを行う半自動運転であってもかまわ
ない。

【００６４】（第２の実施形態）図１４は本発明の第２
の実施形態に係る運転操作補助装置の構成を示すブロッ
ク図である。本実施形態に係る運転操作補助装置も、主
として、車庫入れ時および縦列駐車時等の運転操作の補
助を目的とするものである。したがって、本実施形態に
おいて、特に説明のないものについては第１の実施形態
と同様とし、図１と同一の符号が付された構成要素につ
いては、特に説明のない限り、図１と同様の機能を持つ
ものとする。また、第１の実施形態で説明した各変形例
についても、特にことわりのない限り、同様の変形を行
うことによって、本実施形態に適用されるものとする。

【００６５】撮像部１０１、カメラパラメータテーブル
１０３、空間再構成手段１０４、空間データバッファ１
０５および視点変換手段１０６によって、周囲状況画像
化手段が構成されている。また、スーパーインポーズ手
段１０２によって合成画像生成手段が構成されている。

【００６６】図１４の構成が第１の実施形態に係る運転
操作補助装置と異なるのは、軌跡修正手段３０１、障害
物入力手段３０２、想定パターン修正手段３０３および
パターン選択手段としてのストローク入力選択手段３０
４を有している点と、想定運動パターン格納手段１０８
が、図１５（ａ）に示すような、切り返しを含む想定運
動パターン、すなわち運動途中で後退と前進を切り替え
るような想定運動パターンを含む点である。

【００６７】このとき、図１５（ｂ）に示すようなタイ
ヤ回転数に対応したハンドル舵角のデータが、想定運動
パターンの時系列データとして想定運動パターン格納手
段１０８に格納されている。図１５（ｂ）に示すよう
に、タイヤ回転数が０〜０．８の範囲は車両の後退を示
し、その後、後退から前進に切り替わる。このとき車両
の位置は図１５（ａ）に示す後退前進切替位置ＣＰ１に
ある。次のタイヤ回転数０．８〜０．６の範囲は車両の
前進を示し、図１５（ａ）に示す前進後退切替位置ＣＰ
２に来たとき前進から後退に再び切り替わり、その後タ
イヤ回転数０．６〜１．４の範囲で車両は後退する。

【００６８】このような切り返しを含む想定運動パター
ンを含むことによって、図１５（ａ）に示すように、障
害物に対して小さな空間的余裕しかない場合であって
も、車両の位置方向を制御できる。

【００６９】本実施形態において、撮像部１０１によっ
て撮像された画像データから周囲状況画像が生成される
手順は、第１の実施形態で説明したものと同様である。
また、スーパーインポーズ手段１０２によって、想定運
動パターン格納手段１０８に格納された想定運動パター
ンが、その開始位置と車両の現在位置とが一致するよう
に合成画像上に表示される手順は、第１の実施形態で説
明したものと同様である。

【００７０】想定運動パターンが合成画像上に表示され
た以降の、運転者が、軌跡修正手段３０１および障害物
入力手段３０２を用いて想定運動パターンおよび時系列
データを修正し、これが合成画像上に表示されるまでの
手順を、右側への車庫入れを行う場合を例として、以下
に説明する。

【００７１】図１６に示すように、運転者が、障害物Ｏ
Ｂａ，ＯＢｂ，ＯＢｃに接触しないように、目標駐車位
置ＰＡＣを操作終了位置とする車庫入れ操作を行おうと
し、目標駐車位置ＰＡＣに想定運動パターンの操作終了
位置が一致するような現在位置ＣＰに車両を移動させた
ものとする。そして、想定運動パターンの外接領域ＣＡ
が障害物ＯＢａ，ＯＢｂ，ＯＢｃと接触する可能性があ
ることが判明した場合を想定する。

【００７２】想定運動パターン格納手段１０８には、上
述したように多くの想定運動パターンが格納されている
が、その中から運転者が適切な想定運動パターンをスイ
ッチ等で選択するにはかなりの労力を要する。

【００７３】そこで本実施形態では、ストローク入力選
択手段３０４を用いて、運転者等のユーザが、適切な想
定パターンを選択する。ストローク入力選択手段３０４
は、車両の想定軌跡を表示画面上にペン（ポインタ）入
力できるように構成されたものである。図１７に示すよ
うに、ユーザは、自車両位置ＣＰから目標位置ＰＡＣに
駐車するまでの切り返しを含む運動の概要を、障害物Ｏ
Ｂａ，ＯＢｂ，ＯＢｃを避けながら、ストローク入力選
択手段３０４を介して、画面を見ながらペン入力するこ
とができる。ストローク入力選択手段３０４は、想定運
動パターン格納手段１０８に格納された複数の想定運動
パターンの中から、ペン入力に最も近い想定運動パター
ンを選択する。

【００７４】なお、ストローク入力選択手段３０４は、
図１７に示すように、ペン入力に対応するストローク軌
跡ＰＥＮとこのときの外接領域ＣＡを逐次画面上に表示
しながら、運転者に入力を促す。このとき、ストローク
入力選択手段３０４は、運転者のペン入力に対し、実際
の車両の最小回転半径等の制約を反映した入力受け入れ
を行う。したがって例えば運転者が、実際の車両の最小
回転半径よりも小さい半径の回転運動をペン入力した場
合であっても、ストローク入力選択手段３０４は、これ
を実際の車両の最小回転半径の回転運動として入力す
る。そして、画面表示されるストローク軌跡ＰＥＮも車
両の回転半径等の制約を反映したものとなるので、運転
者はストローク軌跡ＰＥＮを見ながらペン入力すること
によって、障害物との関係から実際に切り返しが必要か
否かを確認しながら、ペン入力を行うことができる。よ
って、より適切な想定運動パターンを簡易に選択入力す
ることができる。

【００７５】なお、選択された想定運動パターンがなお
障害物等と干渉してしまう場合は、運転者は以下のよう
にして、想定運動パターンの修正を行う。

【００７６】まず、運転者は、表示装置１０７に表示さ
れた合成画像（図１６）の現在位置ＣＰを駐車操作開始
位置ＳＴＣとする。そして図１８に示すように、障害物
入力手段３０２を用いて、画像中の障害物ＯＢａ，ＯＢ
ｂ，ＯＢｃのある領域を、矩形や円形を用いて、障害物
領域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃとして、数値入力、
ポインタその他の手段によって設定入力する。また目標
駐車位置ＰＡＣに修正が必要な場合は、同様に数値入
力、ポインタその他の手段によって移動入力する。

【００７７】障害物領域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃ
が入力されると、図１９に示すように、軌跡修正手段３
０１は、各障害物領域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃを
含む周囲６０ｃｍの領域を接触危険領域ＣＤａ，ＣＤ
ｂ，ＣＤｃとしてそれぞれ設定する。そして各障害物領
域ＲＯＢａ，ＣＯＢｂ，ＲＯＢｃについて、図２０に示
すような接触危険評価関数Ｈを与える。この関数Ｈは、
障害物領域ＯＢＩから１０ｃｍ以下の範囲では障害物に
接近するにつれて急峻に増加し、１０ｃｍ以上の領域で
は離れるに従って緩やかに減少し、６０ｃｍ以上で値が
０になる。すなわち、３つの２次関数の合成から構成さ
れる。

【００７８】また、図２１に示すように、車両の周囲に
６個の評価点ＥＰ（ｘｉ，ｙｉ）（ｉ＝１〜６）を設定
し、各評価点ＥＰ（ｘｉ，ｙｉ）について、図１５
（ｂ）に示すＮ個の項目（タイヤ回転ｔｍ、タイヤ角ｋ
ｍ）（ｍ＝１〜Ｎ）における軌跡が、軌跡評価点ＴＥＰ
（ｘｉ，ｙｉ）ｎ（ｎ＝１〜Ｎ）として算出される。

【数１】

【００７９】上式に示すように、各軌跡評価点ＴＥＰの
位置における接触危険評価関数Ｈの総和から、軌跡接触
危険評価関数ＨＳが求められる。

【００８０】上式から分かるように、この軌跡接触危険
評価関数ＨＳは、図１５（ｂ）に示すＮ個の項目（タイ
ヤ回転ｔｍ、タイヤ角ｋｍ）の関数となる。したがって
偏微分法を用いて、順次（タイヤ回転ｔｍ、タイヤ角ｋ
ｍ）を修正することによって、この軌跡接触危険評価関
数ＨＳを最小化する時系列データを求めることができ
る。これにより、図２２に示すように、最初の図１５
（ｂ）に示す時系列データから、軌跡接触危険評価関数
ＨＳを最小化する時系列データに、想定運動パターンを
修正することができる。

【００８１】なお、軌跡接触危険評価関数ＨＳを最小化
する時系列データにおいて、軌跡評価点ＴＥＰ（ｘｉ，
ｙｉ）ｎの各点における接触危険評価関数Ｈから、１点
でも障害物領域ＯＢＩから１０ｃｍ以下のものがある場
合、「要注意」の警告を運転者に出し、また１点でも障
害物領域ＯＢＩから０ｃｍ以下のものがある場合、「駐
車不能」の警告を運転者に出す。

【００８２】この修正された想定運動パターンは、軌跡
接触危険評価関数ＨＳを最小化する運動パターンである
ので、図２３に示すように、障害物からより余裕をもっ
た軌跡が生成され、より安全に駐車することが可能とな
る。

【００８３】スーパーインポーズ手段１０２は、図２４
に示すように、修正想定運動パターンＭＰＣをその操作
開始位置ＳＴＣと車両の現在位置ＣＰとを一致させて合
成画像を生成し、表示装置１０７はこれを表示する。

【００８４】したがって、運転者は、新たな修正想定運
動パターンＭＰＣに従った運転操作（駐車操作）を開始
すれば、目標駐車位置ＰＡＣに、障害物からより余裕を
持った動きで当該車両を駐車させることができる。

【００８５】なお、生成された新たな想定運動パターン
および時系列データは、元の想定運動パターンに代え
て、想定運動パターン格納手段１０８に格納してもよい
し、元の想定運動パターンはそのままにして、想定運動
パターン格納手段１０８に新たに追加格納してもよい。
また、その場限りのものとし、格納しなくてもよい。さ
らに、更新格納、追加格納または格納せず、を運転者が
その都度選択するものとしてもよい。

【００８６】また、本実施形態では、想定運動パターン
格納手段１０８に更新格納または追加格納する想定運動
パターンは、運転者から入力された運動の開始時および
終了時の車両の位置に基づいて、自動的に求められるも
のとして説明したが、この代わりに、例えば実際の運転
操作を行い、このときのハンドル舵角や車輪回転数等の
時系列データを採取して、これに基づいて想定運動パタ
ーンを生成するようにしてもよい。

【００８７】また、本実施形態では、障害物入力手段３
０２を用いて、運転者が画像上で障害物の位置を入力す
るものとしたが、赤外線または超音波センサ等や、ステ
レオ画像を用いた３次元障害物検出手段を備えることに
よって、これを自動化してもよい。

【００８８】以上のように本実施形態によると、運転者
が目標駐車位置や障害物領域を入力するだけで、最適な
想定運動パターンが自動的に選択され、安全でより簡単
な運転操作で最適な駐車を実現できる。すなわち、第１
の実施形態に比べて、拡張性のある運転操作補助装置を
実現することができる。

【００８９】（第３の実施形態）図２５は本発明の第３
の実施形態に係る運転操作補助装置の構成を示すブロッ
ク図である。本実施形態において、特に説明のないもの
については第１の実施形態と同様とし、図１と同一の符
号が付された構成要素については、特に説明のない限
り、図１と同様の機能を持つものとする。また、第１の
実施形態で説明した各変形例についても、特にことわり
のない限り、同様の変形を行うことによって、本実施形
態に適用されるものとする。スーパーインポーズ手段１
０２および外接領域軌跡合成手段４０３によって、画像
処理部が構成されている。

【００９０】本実施形態に係る運転操作補助装置は、図
２６に示すように、ハンドル操舵角センサ４０２からの
入力に従って、ハンドルを左右切った状態で後退する運
動について、タイヤ軌跡ＴＴ（破線で図示）のみではな
く、車両全体が通過する空間の外接領域軌跡ＣＡＴ（実
線で図示）を、外接領域軌跡合成手段４０３において合
成する。そして、図２７に示すように、車両後方に取り
付けられたカメラ１０１からの画像に、２つの軌跡Ｔ
Ｔ，ＣＡＴを地面上に投射した画像をスーパーインポー
ズ手段１０２によって合成して、表示装置１０７に表示
する。

【００９１】すなわち、本実施形態によると、タイヤ軌
跡ＴＴのみではなく、車両全体が通過する空間の外接領
域軌跡ＣＡＴがハンドル角に合わせて表示されるので、
タイヤよりも大きく膨らむ車両部分、例えば左後方に曲
がりながら駐車する場合における右前方部分等が、障害
物に接触するか否か等を、運転者がより正確に把握でき
るという効果が得られる。

【００９２】図２８は本実施形態に係る運転操作補助装
置の他の構成を示すブロック図である。図２８におい
て、図１と共通の構成要素には、図１と同一の符号を付
しており、ここではその詳細な説明を省略する。スーパ
ーインポーズ手段１０２、カメラパラメータテーブル１
０３、空間再構成手段１０４、空間データバッファ１０
５、視点変換手段１０６および外接領域軌跡合成手段４
０３によって、画像処理部が構成されている。

【００９３】図２８の構成において、第１の実施形態に
係る運転操作補助装置と異なるのは、図２５の構成例と
同様に、ハンドル操舵角センサ４０２からの入力に従っ
て、ハンドルを左右切った状態で後退する運動につい
て、タイヤ軌跡だけではなく、車両全体が通過する空間
の外接領域軌跡が、外接領域軌跡合成手段４０３におい
て合成される点である。すなわち、図２９に示すよう
に、複数のカメラＣ１〜ＣＮの撮像画像を基に合成され
た，車両上方からみた画像に、タイヤ軌跡ＴＴととも
に、車両全体が通過する空間の外接領域軌跡ＣＡＴが表
示される。

【００９４】このとき、図２９の外接領域軌跡ＣＡＴ
は、図２６に示す外接領域軌跡ＣＡＴと同一形状にな
る。一般に、自車両の外接領域軌跡ＣＡＴがタイヤ軌跡
ＴＴよりも膨らむ部分は、バンパー等の地面から浮いた
部分であるので、図２７に示す地面に投射された外接領
域軌跡ＣＡＴよりも、図２９に示す上方からみた外接領
域軌跡ＣＡＴの方が、ユーザにとっては認識しやすい。
したがって図２８に示す構成によると、図２５に示す構
成に比べて、ユーザが、自車両と障害物の関係をより正
確に把握できるという効果が得られる。

【００９５】なお、上述した各実施形態において、周囲
状況画像の生成は、主として、複数の車載カメラを用い
て仮想カメラの視点からの画像を合成するものとして説
明したが、これに限るものではなく、例えば、屋根付駐
車場の天井に設置された１台のカメラの画像を周囲状況
画像として用いてもよい。

【００９６】なお、上述した各実施形態に係る運転操作
補助装置の機能の一部または全部を、コンピュータに実
行させるプログラムによって実現してもかまわない。

【００９７】

【発明の効果】以上のように本発明によると、所定の一
連の運転操作の終了位置を指定するだけで、運転操作の
開始位置が求められる。このため、運転操作開始までに
要する時間の短縮が図られる。また、表示画面上におけ
るポインタ入力によって、車両の想定軌跡を入力するこ
とができるので、想定運動パターンの選択が格段に容易
になる。さらに、車両が通過する空間の外接領域の軌跡
が画像表示されるので、タイヤよりも膨らむ車両部分が
障害物に接触するか否かを、ユーザがより正確に把握す
ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る運転操作補助装
置の構成を示すブロック図である。

【図２】車両にカメラを設置した一例である。

【図３】仮想カメラの視点の一例である。

【図４】周囲状況画像の一例を示す図である。

【図５】左側への縦列駐車における想定運動データの一
例を示す図である。

【図６】右側への車庫入れにおける想定運動データの一
例を示す図である。

【図７】図５の想定運動パターンを含む合成画像を示す
図である。

【図８】図６の想定運動パターンを含む合成画像を示す
図である。

【図９】左側への縦列駐車を行う場合の車両の動きを示
す図である。

【図１０】開始位置に車両を移動させる場合の画像表示
の例を示す図である。

【図１１】想定運動パターンのバリエーションの一例を
示す図である。

【図１２】余裕線を表示した合成画像の例を示す図であ
る。

【図１３】本発明の第１の実施形態に係る，ユーザに終
了位置を指定入力させる運転操作補助方法を説明するた
めの図である。

【図１４】本発明の第２の実施形態に係る運転操作補助
装置の構成を示すブロック図である。

【図１５】切り返しを含む想定運動データの一例を示す
図である。

【図１６】図１５に示す想定運動パターンを含む合成画
像の一例を示す図である。

【図１７】ペン入力による想定運動パターンの選択入力
を示す図である。

【図１８】障害物領域の入力を示す図である。

【図１９】障害物領域に接触危険領域が表示された合成
画像を示す図である。

【図２０】接触危険評価関数を示す図である。

【図２１】軌跡評価点の算出を示す図である。

【図２２】想定運動パターンの修正の一例を示す図であ
る。

【図２３】修正後の想定運動パターンを含む合成画像を
示す図である。

【図２４】修正後の想定運動パターンを含む合成画像を
示す図である。

【図２５】本発明の第３の実施形態に係る運転操作補助
装置の構成を示すブロック図である。

【図２６】外接領域軌跡を示す図である。

【図２７】図２５の構成によって表示された車両周囲状
況画像の一例を示す図である。

【図２８】本発明の第３の実施形態に係る運転操作補助
装置の他の構成を示すブロック図である。

【図２９】図２８の構成によって表示された合成画像の
一例を示す図である。

【符号の説明】

ＥＮ３終了位置ＭＰ３想定運動パターンＳＴ３開始位置ＰＯポインタ１０１撮像部１０２スーパーインポーズ手段（合成画像生成手段）１０３カメラパラメータテーブル１０４空間再構成手段１０５空間データバッファ１０６視点変換手段１０７表示装置１０８想定運動パターン格納手段３０４ストローク入力選択手段（パターン選択手段）ＣＡＴ外接領域軌跡４０３外接領域軌跡合成手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｂ６０Ｒ 21/00 ６２４Ｂ６０Ｒ 21/00 ６２４Ｃ６２６６２６ＧＢ６２Ｄ 6/00 Ｂ６２Ｄ 6/00 Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ (72)発明者登一生大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者中川雅通大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】車両の運転操作の補助を、前記車両の周
囲状況を表す画像を表示装置に表示して行う方法であっ
て、所定の運転操作の終了時における前記車両の位置である
終了位置を、前記表示装置の画像上で、ユーザに指定さ
せる第１のステップと、前記所定の運転操作における前記車両の動きを表す想定
運動パターンに従って、前記終了位置に対して、前記所
定の運転操作の開始時における前記車両の位置である開
始位置を求める第２のステップとを備えたことを特徴と
する運転操作補助方法。
【請求項２】請求項１記載の運転操作補助方法におい
て、前記開始位置、終了位置および想定運動パターンを、前
記表示装置の画像に重ね合わせて表示するステップを備
えたことを特徴とする運転操作補助方法。
【請求項３】請求項１記載の運転操作補助方法におい
て、前記第１のステップは、前記車両が、指定された終了位置近傍に位置していると
き、この終了位置を入力とするものであることを特徴と
する運転操作補助方法。
【請求項４】請求項１記載の運転操作補助方法におい
て、前記車両の現在位置から前記開始位置までの運転、およ
び前記開始位置から前記終了位置までの前記想定運動パ
ターンに従った運転のうち少なくともいずれか一方を、
全自動または半自動で、行うステップを備えたことを特
徴とする運転操作補助方法。
【請求項５】車両の運転操作の補助を行う装置であっ
て、前記車両の周囲状況を表す画像を生成する周囲状況画像
化手段と、所定の運転操作における前記車両の動きを表す想定運動
パターンを格納する想定運動パターン格納手段と、前記想定運動パターンを、前記周囲状況画像に重ね合わ
せて、合成画像を生成する合成画像生成手段と、前記合成画像を表示する表示装置と、前記表示装置の画面上におけるポインタ入力に基づい
て、前記想定運動パターンを選択するパターン選択手段
とを備えたことを特徴とする運転操作補助装置。
【請求項６】車両の運転操作の補助を行う装置であっ
て、前記車両の周囲状況を表す画像を生成する画像処理部を
備え、前記画像処理部は、所定の運転操作によって前記車両が動く際に、前記車両
が通過する空間の外接領域の軌跡を、前記周囲状況画像
上に重ね合わせて、合成画像を生成することを特徴とす
る運転操作補助装置。
【請求項７】請求項６記載の運転操作補助装置におい
て、前記画像処理部は、前記車両に設けられた複数のカメラ
の出力から、画像合成により、前記周囲状況画像を生成
するものであることを特徴とする運転操作補助装置。