JP2003063338A - 運転支援装置および運転ガイドデータ作成方法 - Google Patents

運転支援装置および運転ガイドデータ作成方法

Info

Publication number
JP2003063338A
JP2003063338A JP2001254713A JP2001254713A JP2003063338A JP 2003063338 A JP2003063338 A JP 2003063338A JP 2001254713 A JP2001254713 A JP 2001254713A JP 2001254713 A JP2001254713 A JP 2001254713A JP 2003063338 A JP2003063338 A JP 2003063338A
Authority
JP
Japan
Prior art keywords
driving
guide
guide data
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001254713A
Other languages
English (en)
Other versions
JP4499319B2 (ja
Inventor
Shusaku Okamoto
修作 岡本
Masamichi Nakagawa
雅通 中川
Atsushi Morimura
森村  淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001254713A priority Critical patent/JP4499319B2/ja
Publication of JP2003063338A publication Critical patent/JP2003063338A/ja
Application granted granted Critical
Publication of JP4499319B2 publication Critical patent/JP4499319B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 車両の運転を支援する装置として、それぞれ
の運転操作環境の違いを考慮して、適切なガイドパター
ンを提示可能にする。 【解決手段】 所定の運転操作を支援するための運転ガ
イドデータが、ガイドデータ記憶部41に記憶されてい
る。画像処理部20は、ガイドデータ選択部42によっ
て選択された運転ガイドデータに従って、所定の運転操
作の終了時または中途時における当該車両の位置を表す
ガイドパターンを、車両の周囲を映す画像に合成し、表
示装置30に出力する。この運転ガイドデータは、特定
の運転操作場所に対応しており、かつ、所定の運転操作
の開始位置とガイドパターンが表す位置との間の高低差
が加味されている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両の周囲の画像
を表示装置に表示して、運転を支援する装置に関するも
のであり、特に、駐車動作等の複雑な運転操作の助けと
なるガイドパターンを、画像に重畳して表示する技術に
属する。
【0002】
【従来の技術】従来の車両用の運転支援装置としては、
例えば、車両の周囲を撮影するカメラを設置し、カメラ
で撮影した画像を運転席近くに設置したモニタに表示さ
せるものが一般的である。この装置により、運転者は、
車両後方のような、目視やミラーでは安全確認が困難な
場所を、モニタで確認することができる。
【0003】しかしながら、運転操作の中でも難しい操
作の一つといわれる駐車は、ハンドル操作にかなりの熟
練を要するため、モニタ確認だけでは必ずしも不十分で
ある。このため、駐車動作を対象として、誰もが駐車時
のハンドル操作を容易にできるようなガイドを画像に加
える工夫を行った運転支援装置が、特開2000−16
8475号公報に開示されている。
【0004】この従来技術では、駐車は、その開始位置
さえ見つけられれば、あとはハンドル舵角を固定して
(例えば左への末切り状態)後退するだけで完了できる
場合が多々あり、駐車において難しいのは、スムーズな
駐車ができるような開始位置を見つけることにある点に
着目している。そして、駐車開始位置を容易に見つける
ことができるように、ハンドルを所定の舵角に固定して
後進したとき到達する予定のスペースを、カメラ画像に
ガイドとして重ね合わせて示すようにしている。
【0005】図23は従来技術における画面表示の具体
例を示した模式図である。上述の公報の記載内容とは若
干異なるが、技術的ポイントは同様である。同図中、
(a)は自車両のおおよその大きさを示す矩形RGを含
む斜線領域からなるガイドGDである。
【0006】運転者は、画像にガイドGDが表示される
と、(b)に示すように、ガイドGDの線分L1が駐車
スペースを示す2本の白線の入り口側の端を結ぶ直線に
合い、かつ、線分L2が2本の白線のうち自車両に近い
方に合うように、車両を移動させる。このときの位置
が、適切な駐車開始位置となる。そして次に、ハンドル
を左にいっぱい切ってから後退することによって、矩形
RGで示された領域に自車を誘導させることができる。
すなわち、運転者は、表示されたガイドGDが駐車スペ
ースと一致するように車を移動させれば、後は、ハンド
ルを末切りして後退するだけで、駐車が可能となる。
【0007】
【発明が解決しようとする課題】しかしながら、上述し
た従来技術には、次のような問題がある。
【0008】実際の駐車場では、様々な環境がある。例
えば、駐車スペースの前に段差があったり、駐車スペー
ス前の道に大きな勾配があったりする。このため、いつ
も同一のガイドを表示するだけでは、運転操作に支障を
きたすおそれがある。
【0009】いま、図23(a)のガイドGDは、運転
操作の開始位置と駐車スペースとが同一平面上にあると
いう前提条件において、作成されているものとする。こ
の場合に、例えば図23(c)に示すように、路面に対
して縁石分の段差がある駐車スペースに車を停める場合
を考える。
【0010】この場合、表示されたガイドGDが駐車ス
ペースと一致するように車を移動させた後に、ハンドル
を末切りして後退したとすると、駐車スペースの入り口
にあるポールPLに当たる可能性がある。なぜなら、ガ
イドGDでは、駐車スペースが路面に対して縁石分だけ
高くなっていることが考慮されていないため、ガイドG
Dが駐車スペースと一致する位置は、正しい駐車開始位
置よりも幾分(縁石の高さに応じて)駐車スペースに近
くなってしまうからである。
【0011】しかしながら、従来技術では、このような
運転操作環境の違いによる問題については、全く考慮さ
れていない。
【0012】前記の問題に鑑み、本発明は、運転支援装
置として、それぞれの運転操作環境の違いを考慮して、
適切なガイドパターンを提示可能にすることを課題とす
る。
【0013】
【課題を解決するための手段】前記の課題を解決するた
めに、請求項1の発明が講じた解決手段は、車両の運転
を支援する装置として、所定の運転操作を支援するため
の運転ガイドデータを、指定するガイド指定部と、前記
ガイド指定部によって指定された運転ガイドデータに従
って、前記所定の運転操作の終了時または中途時におけ
る当該車両の位置を表すガイドパターンを車両の周囲を
映す画像に合成し、表示装置に出力する画像処理部とを
備え、前記運転ガイドデータは、特定の運転操作場所に
対応しており、かつ、前記所定の運転操作の開始位置と
前記ガイドパターンが表す位置との間の高低差が、加味
されたものである。
【0014】請求項1の発明によると、特定の運転操作
場所に対応した運転ガイドデータが準備されており、か
つ、この運転ガイドデータでは、所定の運転操作の開始
位置とガイドパターンが表す位置との高低差が加味され
ている。このため、運転操作環境の違いが反映された、
適切なガイドパターンを提示することができる。
【0015】そして、請求項2の発明では、前記請求項
1の運転支援装置における所定の運転操作は、駐車動作
であり、前記運転操作場所は、駐車場であるものとす
る。
【0016】さらに、請求項3の発明では、前記請求項
2の運転支援装置における高低差は、駐車場と駐車場前
の路面との間の段差を含むものとする。
【0017】また、請求項4の発明では、前記請求項1
の運転支援装置におけるガイド指定部は、複数の運転ガ
イドデータを記憶するガイドデータ記憶部と、前記ガイ
ドデータ記憶部に記憶された複数の運転ガイドデータの
中からいずれかを選択するガイドデータ選択部とを備
え、前記ガイドデータ選択部によって選択された運転ガ
イドデータを前記画像処理部に指定するものとする。
【0018】請求項4の発明によると、ガイドデータ選
択部が、例えば車の位置や、または位置と速度の組合せ
によって、表示すべきガイドパターンに係る運転ガイド
データを選択する。このため、利用者は、様々な運転操
作場所についてそれぞれの環境に応じた運転ガイドデー
タを登録しておけば、場所に応じて選択する手間を省く
こともでき、また誤って選択することも回避することが
できる。
【0019】そして、請求項5の発明では、前記請求項
4の運転支援装置におけるガイドデータ選択部は、当該
車両の位置、または、当該車両の利用者からの指示に応
じて、運転ガイドデータの選択を行うものとする。
【0020】また、請求項6の発明では、前記請求項4
の運転支援装置におけるガイド指定部は、運転ガイドデ
ータを、当該車両の利用者からの指示に応じて、新たに
作成する運転ガイド作成手段を備えたものとする。
【0021】請求項6の発明によると、例えば、頻繁に
利用する運転操作場所に係る運転ガイドデータがまだ登
録されていない場合、運転ガイド作成手段によって、運
転ガイドデータを新たに作成することができる。すなわ
ち、利用者の車両の利用形態に応じて、自由に運転ガイ
ドデータを構築し利用することが可能となる。
【0022】そして、請求項7の発明では、前記請求項
6の運転支援装置における運転ガイド作成手段は、当該
車両が所定の位置にあるときの車両周囲の画像に対し
て、エッジ抽出処理を施し、得られたエッジ画像を基に
して、ガイドパターンを作成するものとする。
【0023】また、請求項8の発明では、前記請求項4
の運転支援装置におけるガイド指定部は、前記ガイドデ
ータ記憶部に記憶された運転ガイドデータを、当該車両
の利用者からの指示に従って修正し、新たな運転ガイド
データとして作成する運転ガイド修正手段を備えたもの
とする。
【0024】また、請求項9の発明が講じた解決手段
は、車両の運転を支援する装置において用いられる,所
定の運転操作を支援するための運転ガイドデータを作成
する方法として、当該車両を、前記所定の運転操作にお
ける所定の位置に配置し、前記所定の位置において当該
車両の周囲を映す画像を生成し、生成した画像から、前
記所定の運転操作の中途時または終了時における当該車
両の位置を表すガイドパターンを作成するものである。
【0025】請求項9の発明によると、車両が所定の運
転操作における所定の位置に配置された状態で、当該車
両の周囲を映す画像を生成し、この画像からガイドパタ
ーンを生成する。すなわち、実際の位置に配置された車
両の周囲画像からガイドパターンが生成されるので、ガ
イドパターンが表す位置との高低差が必然的に加味され
ることになり、したがって、運転操作環境の違いが反映
された適切なガイドパターンを、複雑な処理を施すこと
なく、容易に作成することができる。
【0026】そして、請求項10の発明では、前記請求
項9の運転ガイドデータ作成方法は、前記所定の運転操
作を複数のプロセスに分解し、各プロセス毎にガイドパ
ターンを作成するものとする。
【0027】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。
【0028】本発明に係る運転支援装置は、車両の運転
者が運転支援を望んだ場合に、所定の運転操作を支援す
るための最適な運転ガイドデータを、例えば当該車両の
位置や速度から、指定する。そして、指定された運転ガ
イドデータに従って、所定の運転操作の終了時または中
途時における当該車両の位置を表すガイドパターンを、
車両の周囲を映すカメラ画像または合成画像に合わせて
表示する。
【0029】図1は本発明に係るガイドパターンの表示
の一例であり、駐車動作の場合を例にとったものであ
る。同図中、(a)はオリジナルのガイドパターンであ
り、段差があり、路面と同一平面上にない構造の自宅駐
車場に向けて車両を誘導するためのものである。また、
(b)は典型的なガイドパターンであり、通常の駐車場
において並列駐車(左用)を行うためのものである。
【0030】例えば、運転者が、自宅駐車場に近づいた
ので車両の速度を落とした場合、その現在位置や速度か
ら、図1(a)に示すガイドパターンが優先して選択さ
れ、自動的に画面に表示される。一方、適切なガイドデ
ータがない場合は、図1(b)に示すような典型的なガ
イドパターンを表示したり、または、運転ガイドデータ
のリストを表示して、運転者が特定の運転ガイドデータ
を選択できるようにする。
【0031】そして、運転者は、画面上でガイドパター
ンが駐車場の位置に合うように、車両を移動させる。そ
の後は、例えばハンドルを左いっぱいに切った状態で後
退する、といった単純な運転操作によって、容易に駐車
動作を完了することができる。
【0032】このように、本発明に係る運転支援装置に
よると、利用者は、様々な駐車場についてそれぞれの構
造に合った運転ガイドデータを予め登録しておくことに
よって、どこの駐車場に駐車する際でも、最適なガイド
パターンが画面に表示されるので、駐車動作を容易に行
うことができる。
【0033】なお、本発明に係る運転支援装置は、典型
的には駐車動作を支援するものであるが、例えば狭い駐
車場からの車出し動作など、駐車動作以外の様々な運転
操作にももちろん応用可能である。
【0034】さて、駐車をはじめとした一見複雑そうに
見える運転操作は、実はそのほとんどは、いくつかの単
純なプロセスに分解することができる。そして、各プロ
セスは、ハンドルを所定角度に固定した状態で前進また
は後退を行うという非常に単純な運転操作によって、実
行できる。
【0035】例えば左に曲がりながら後退する平行駐車
の場合、駐車動作の開始位置を適切にとることによっ
て、1回または2回のプロセスで駐車を完了することが
できる。すなわち、1プロセスの場合は、左いっぱいに
ハンドルを切って後退するだけでよい。また、2プロセ
スの場合は、(1)駐車開始位置から駐車スペースの延
長線上までハンドルを切った状態で後退し、(2)次に
ハンドルを真っ直ぐにもどして後退する、という運転操
作になる。
【0036】したがって、本発明に係る「ガイドパター
ン」とは、駐車動作のような運転操作の終了時における
車両の位置を表すものだけでなく、その中途時、例えば
分解した各プロセスの終了時における車両の位置を表す
ものも含む。
【0037】(第1の実施形態)−運転ガイドデータの
選択− 図2は本発明の第1の実施形態に係る運転支援装置の構
成を示すブロック図である。図2に示す運転支援装置に
おいて、画像処理部20は、撮影手段10から出力され
た複数のカメラ画像を入力とし、これらを変形・合成し
て新たな画像を生成する。この合成画像は表示装置30
によって表示される。表示装置30は、典型的には液晶
ディスプレイであるが、プラズマディスプレイ等の他の
表示デバイスを用いることもできる。また、このディス
プレイは、車両搭載型のGPS端末ディスプレイ(いわ
ゆるカーナビゲーションシステムのディスプレイ)と共
用であってもよいし、これとは別に設けられたものでも
よい。
【0038】撮影手段10は複数のカメラ11を含む。
カメラ11は典型的にはCCD,CMOSデバイス等の
固体撮像素子を持つカラーまたはモノクロのデジタルカ
メラである。また撮影手段10は、例えばレンズと、プ
リズムまたはミラーとの組み合わせを備え、レンズおよ
びプリズムまたはミラーへの入射光が、所定光路を通っ
て撮影手段10から離れた位置にある撮像素子に伝達さ
れるように構成されていてもよい。
【0039】図3は本実施形態におけるカメラの車両へ
の設置例を示す概念図である。図3の例では、2台のペ
アカメラ11L,11Rが車両1のリアトランク2の中
央部に、左右後外向きに配置されている。図3に示すカ
メラ配置は、車両1の後方に180度視野の画像を得る
ためであり、現状のカメラでは、単体で、解像度を保ち
つつ180度の視野を確保することが難しいため、便宜
的に2台のカメラ11L,11Rをペアにして実質的に
180度の視野を得るようにしたものである。もちろ
ん、十分な解像度が得られる場合には、魚眼レンズを利
用してもかまわないし、そもそも後方180度の視野角
が不要であれば、図3のようなカメラ配置でなくてもか
まわない。カメラ台数も、2台に限らず、必要に応じて
増やしてもかまわない。
【0040】画像処理部20は、撮影手段10から出力
された各カメラ画像を切り出し・変形し、合成画像を作
成する。合成画像とは、カメラ画像に何らかの加工が行
われている画像のことを指し、例えば、2台のカメラの
画像から運転支援に必要な部分をそれぞれ矩形に切り出
して左右に並べた画像や、車両後方を180度見渡した
画像のことをいう。画素合成手段22は、撮影手段10
から出力された各カメラ画像を入力し、合成画像を生成
する。合成画像の生成のためには、画像変形処理や、変
形された画像の必要部分を切り取った部分画像の合成処
理、または境界部分のスムージングなどの処理(境界処
理)が必要になる。図2の構成では、そのためにマッピ
ングテーブル参照手段21を備えており、マッピングテ
ーブルMPTを利用して合成画像の生成を一工程で行
う。
【0041】マッピングテーブルMPTは、カメラ画像
の画素座標を、合成画像の画素座標に変換する処理を高
速に行うためのテーブルである。カメラ画像の画素座標
と合成画像の画素座標とは、1対1に対応するときもあ
るし、複数対1に対応するときもある。カメラ画像の画
素座標と合成画像の画素座標とが、1対1に対応する
か、または複数対1に対応するかは、カメラ11の設置
位置や生成する合成画像の種類などに依存する。例え
ば、カメラ画像の境界部分において境界処理が行われる
場合には、カメラ画像の画素座標と合成画像の画素座標
とは1対1に対応しないことがある。
【0042】図4はマッピングテーブルの一例を示す図
である。図4において、第1のマッピングデータMD1
は、合成画像の座標(i1,j1)が、カメラ1の画像
における座標(12,45)の画素に対応することを表
している。また、必要度は、画像合成の際におけるカメ
ラ画像の重み付けを表す値であり、必要度「1」はカメ
ラ画像をそのまま合成画像に用いることを表す。すなわ
ち、合成画像の座標(i1,j1)には、カメラ1の画
像の座標(12,45)の画素データが、そのままコピ
ーされて用いられる。
【0043】一方、第2のマッピングデータMD2は、
合成画像の座標(i2,j2)が、カメラ1の画像にお
ける座標(10,10)の画素と、カメラ2の画像にお
ける座標(56,80)の画素とに対応することを表し
ている。すなわち、合成画像の座標(i2,j2)は、
カメラ1の画像とカメラ2の画像とが重なっている部分
に相当する画素である。そして、必要度として、「0.
3」と「0.5」とがそれぞれ設定されている。この場
合、合成画像の座標(i2,j2)の画素値は、例え
ば、 画素値={(カメラ1の座標(10,10)の画素値)
×0.3+(カメラ2の座標(56,80)の画素値)
×0.5}/(0.3+0.5) のように決めることができる。
【0044】このような画素の対応関係を表したマッピ
ングテーブルを予め準備しておくことによって、合成画
像を高速に生成することができる。マッピングテーブル
は、計算や手作業によって作成することができる。そし
て、利用するマッピングテーブルによって、運転支援装
置の表示モードが決定される。この表示モードは、手動
によりまたは自動的に切り替えることができる。
【0045】マッピングテーブルは、具体的には、例え
ばROM(EEPROM等の書き込み・消去可能なRO
Mを含む)またはRAMに書き込まれている。マッピン
グテーブルは、画像処理部20内のプロセッサが、マッ
ピングテーブル・データを計算してRAMまたはROM
に書き込むこともできるし、例えば、ファームウェアと
して提供されるマッピングテーブル・データを、通信回
線やディスクドライブ等のデータ転送手段を用いて、R
AMまたはROMに書き込むこともできる。
【0046】そして、本実施形態の特徴として、図2の
構成では、複数の運転ガイドデータを記憶するガイドデ
ータ記憶部41、ガイドデータ選択部42およびガイド
メッセージ参照手段43が設けられている。また、画像
処理部20はガイドパターン参照手段44をさらに有し
ている。ガイドデータ記憶部41およびガイドデータ選
択部42によって、所定の運転操作を支援するための運
転ガイドデータを画像処理部20に指定するガイド指定
部40が構成されている。
【0047】図5は運転ガイドデータの例を一覧形式で
示す図である。図5では、4種類の運転ガイドデータが
示されている。図5において、項目「場所」は、他の運
転ガイドデータと区別するための名称である。例えば運
転ガイドデータNO.1の「会社」は、会社の駐車場に
用いるものであり、運転ガイドデータNO.4の「平行
駐車(左)」は、左後方への平行駐車に用いるものであ
る。
【0048】これらの運転ガイドデータは、当該車両の
利用者の指示により選択され、選択された運転ガイドデ
ータに応じたガイドがなされる。ただし、日常的に利用
するような場所での運転操作、例えば自宅の駐車場への
車庫入れなどで、車両の位置、または位置と速度の組合
せによって、運転操作を行う場所が特定できる場合は、
運転ガイドデータの選択を自動化することも可能であ
る。
【0049】以下では、運転ガイドデータの記述内容の
詳細と、これらの記述内容を用いて自動で運転ガイドデ
ータを選択し、これに基づいて運転操作を支援する仕組
みを説明する。
【0050】項目「位置」および「速度」は、運転ガイ
ドデータの選択のための条件である。「位置」は緯度
(lat#A),経度(lnt#A)によって規定され、「速度」
は車両の時速によって規定されている。4種類の運転ガ
イドデータのうち、運転ガイドデータNO.1,2は車
両の位置および速度の条件が示されており、この条件に
従って、ガイドデータ選択部42が当該運転ガイドデー
タを優先的に表示すべきか否かを判断する。このような
運転ガイドデータを「特殊運転ガイドデータ」と称す
る。「特殊運転ガイドデータ」は、会社の駐車場などの
ような特定の運転操作場所に対応している。これに対し
て、運転ガイドデータNO.3,4は、車両の位置およ
び速度の条件が示されておらず、利用者の操作によって
のみ選択され表示される。このような運転ガイドデータ
を「一般運転ガイドデータ」と称する。
【0051】また、項目「基本ガイドデータ」は、各プ
ロセスについて利用者に表示すべきガイドを表すデータ
である。図6は基本ガイドデータの具体内容を示す図で
ある。図6から分かるように、1個の基本ガイドデータ
は、 ・車両周囲の画像を合成するためのマッピングテーブル ・画像に重畳して表示するガイドパターン ・運転操作を文字や音声などで指示するガイドメッセー
ジ の3つの要素からなる。マッピングテーブルmap1,
map2などはマッピング参照手段21に格納されてお
り、ガイドパターンpat_A1,pat_A2などは
ガイドパターン参照手段44に格納されており、ガイド
メッセージmes_0,mes_Lなどはガイドメッセ
ージ参照手段43に格納されている。図7はガイドメッ
セージの一例を一覧形式で示す図である。図7におい
て、例えばmes_Bは「ハンドルを真っ直ぐにしてバ
ックして下さい。」というガイドメッセージを表す。
【0052】一種類の運転ガイドデータに含まれる基本
ガイドデータの個数は、運転操作を分解したプロセスの
数に相当し、運転操作が1つのプロセスですむ場合は1
個、複数のプロセスからなる場合はこれに相当する個数
となる。基本ガイドデータが複数の場合、各基本ガイド
データはプロセスの順番に従って列挙される。
【0053】「特殊運転ガイドデータ」では、駐車など
の運転操作の開始位置と、ガイドパターンが表す位置と
の高低差が、加味されている。
【0054】ガイドデータ選択部42は、ガイドデータ
記憶部41に格納された運転ガイドデータの中から、適
切な運転ガイドデータを、例えば当該車両の現在位置や
速度等に応じて、自動で選択する。もし、表示すべき運
転ガイドデータが現在の走行位置や速度から得られなか
った場合は、例えば、運転ガイドデータのリストを提示
し、運転者に表示すべき運転ガイドデータを選択させ
る。
【0055】もちろん、現在位置や速度に応じて自動で
選択することはせずに、最初から車両の利用者によって
手動で選択させてもよいし、また、現在位置の条件のみ
で運転ガイドデータを選択してもかまわない。
【0056】図8は本実施形態に係る運転ガイドデータ
の選択とガイドパターン表示の処理の流れを示すフロー
チャートであり、運転ガイドデータを車両の位置および
速度の組合せによって自動で選択するものである。図8
では、第1の工程S10において運転ガイドデータの選
択が行われ、第2の工程S20においてガイドパターン
表示が行われる。
【0057】まず、利用者の表示モード切替操作によっ
て、画面表示モードを運転支援モードにする(SS
1)。
【0058】次に、第1の工程S10において、ガイド
データ選択部42が、ガイドデータ記憶部41に格納さ
れた特殊運転ガイドデータのうち、自車の位置や速度の
条件を満たすものがあるか否かを調べる(S11)。
【0059】まず、車両の現在位置が、項目「位置」に
規定された条件を満たすような特殊運転ガイドデータ
が、ガイドデータ記憶部41に準備されているか否かを
調べる。車両の現在位置の検知は、例えば、GPS(グ
ローバル・ポジショニング・システム)を位置センサと
して用いてもよいし、路面に埋め込まれた磁気ネイルを
利用してもよい。なお、位置条件を満たすか否かは、例
えばGPSを利用する場合、現在位置と規定された条件
値との差がGPSの誤差の所定倍の範囲内にあるときは
一致した、とする判断基準を用いればよい。もちろん、
他の位置情報のデータを併せて用いる場合には、判断基
準をそれに合わせて変えてもよい。
【0060】位置条件を満たす特殊運転ガイドデータが
見つかったとき、ガイドデータ選択部42は、次に、車
両の走行速度が、この特殊運転ガイドデータの項目「速
度」に規定された条件を満たすか否かを判断する。具体
的には、車両の現在速度が規定された条件値よりも小さ
いとき、速度条件を満たしたと判断する。
【0061】ここで、速度条件を設けた理由は、特殊運
転ガイドデータが登録されているような場所(図5の例
では「会社」や「○×スーパー」)の近辺を車両が高速
で通過する場合には、たとえ位置条件を満たしたとして
も、この特殊運転ガイドデータを選択しないようにする
ためである。
【0062】このようにして、位置および速度の条件を
満たす特殊運転ガイドデータが見つかり(S11でYe
s)、かつ1個であるとき(S12でNo)は、第2の
工程S20に進む。もし複数個見つかったときは(S1
2でYes)、特殊運転ガイドデータのリストを利用者
に提示し、いずれか1つを選択させる(S13)。もし
所定時間待っても選択操作がないときは、選択がなされ
なかったものとして(S15でNo)、再度第1の工程
S10の当初にもどって処理を繰り返す。
【0063】一方、位置および速度の条件を満たす特殊
運転ガイドデータが見つからなかったときは(S11で
No)、すでに登録されている運転ガイドデータのうち
一般運転ガイドデータのリストを利用者に提示し、いず
れか1つを選択させる(S14)。もし所定時間待って
も選択操作がないときは、選択がなされなかったものと
して(S15でNo)、再度第1の工程S10の当初に
もどって処理を繰り返す。
【0064】次に、第2の工程S20において、ガイド
データ選択部42が、第1の工程S10で選択された運
転ガイドデータを読み込み(S21)、続いて最初の基
本ガイドデータを読み込む(S22)。そして、ステッ
プS23において、読み込んだ基本ガイドデータの内容
に従って、マッピングテーブル、ガイドパターンおよび
ガイドメッセージの指示を行う。
【0065】まず、ガイドデータ選択部42は、マッピ
ングテーブル参照手段21にマッピングテーブルの指示
を行う。これを受けて、マッピングテーブル参照手段2
1は、指示されたマッピングテーブルを参照してマッピ
ングデータを画素合成手段22に送る。
【0066】また、ガイドデータ選択部42は、用いる
ガイドパターンをガイドパターン参照手段44に指示
し、これを受けてガイドパターン参照手段44は指示さ
れたガイドパターンを映像信号生成手段23に送る。さ
らに、提示するガイドメッセージをガイドメッセージ参
照手段43に指示し、これを受けてガイドメッセージ参
照手段43は、ガイドメッセージを映像信号生成手段2
3に送る。
【0067】次にステップS24において、映像信号生
成手段23は、ガイドパターン参照手段44から送られ
たガイドパターンを合成画像に重ね合わせて表示すると
ともに、ガイドメッセージ参照手段43から送られたガ
イドメッセージを併せて提示する。ガイドメッセージの
提示の方法としては、表示装置30の画面の画像表示エ
リア外に表示してもよいし、音声合成によって提示して
もかまわない。
【0068】上述した処理によって、1個の基本ガイド
データによるガイド表示は完了する。しかしながら、す
でに述べたように、運転操作の内容や駐車スペースの周
囲の状況によっては、運転操作に必要なプロセスが複数
あり、基本ガイドデータが複数個準備されている場合が
ある。このため、複数のプロセスを経て完了する運転操
作の場合、一つのプロセスのガイド表示を終えると、そ
の次のプロセスに係る基本ガイドデータを読み込んで
(S26)、同様の処理によってガイド表示を行う。
【0069】全てのプロセスについてガイド表示がなさ
れ、一連の運転操作が完了すると、利用者が運転ガイド
データ表示終了を指示し(S27)、運転支援モードを
終了する(SE1)。
【0070】図8に示す処理の流れを、画面表示例を示
しながら具体的に説明する。ここでは、図5に示す運転
ガイドデータが、ガイドデータ記憶部41に登録されて
いるものとする。ここで、基本ガイドデータの各データ
は次のようなものとする。 ・マッピングテーブル map1…図3のカメラ11Lの画像をそのまま提示す
るマッピングテーブル map2…図3のカメラ11Lとカメラ11Rの画像に
ついて、車両1の長手方向の中心線に近い側の半分の画
像を切り出し、左右に並べて表示するマッピングテーブ
ル map3…図3のカメラ11Rの画像をそのまま提示す
るマッピングテーブル・ガイドパターン pat_A1…図9(a)に示すガイドパターン pat_A2…図9(b)に示すガイドパターン ・ガイドメッセージ mes_0,mes_L,mes_R…図7に示すガイ
ドメッセージ また、利用者が運転する車両は、自分の会社の駐車場に
十分近い所を時速5kmで走行中であるものとする。
【0071】利用者の操作によって運転支援モードにな
ると(SS1)、第1の工程S10において、ガイドデ
ータ選択部42が、図5に示す運転ガイドデータの中
で、位置条件を満たすものがあるか否かを調べる。い
ま、車両は会社の駐車場に十分近い所を走行しているの
で、特殊運転ガイドデータNO.1が位置条件を満たす
ことが分かる。他に位置条件を満たす特殊運転ガイドデ
ータはない。
【0072】次に、特殊運転ガイドデータNO.1が速
度条件を満たすか否かを調べる。項目「速度」には10
kmと規定されており、現在速度は5kmであるので、
速度条件を満たすことが分かる。これにより、第1の工
程S10は終了する。
【0073】次に第2の工程S20において、ガイドデ
ータ選択部42は、第1の工程S10で選択された運転
ガイドデータNO.1の最初の基本ガイドデータ(ma
p1,pat_A1,mes_0)を読み込む。そし
て、その内容に従って、まず、マッピングテーブルをm
ap1に切り替える旨をマッピングテーブル参照手段2
1に伝え、これを受けてマッピングテーブル参照手段2
1は、画像合成を行うマッピングテーブルをmap1に
切り替えて画素合成手段22にマッピングデータを送
る。
【0074】また、ガイドデータ選択部42は、ガイド
パターンをpat_A1にする旨をガイドパターン参照
手段44に指示し、これを受けてガイドパターン参照手
段44は、図9(a)に示すガイドパターンpat_A
1を映像信号生成手段23に送る。さらに、ガイドデー
タ選択部42は、ガイドメッセージをmes_0にする
旨をガイドメッセージ参照手段43に指示し、これを受
けてガイドメッセージ参照手段43は、mes_0すな
わち「ガイドと駐車位置が合うように車を移動して下さ
い。」というガイドメッセージを映像信号生成手段23
に送る。
【0075】映像信号生成手段23は、ガイドパターン
pat_A1を合成画像に重ね合わせて表示するととも
に、ガイドメッセージmes_0を表示する。
【0076】図10はこのとき利用者に提示されたモニ
タ画面とこれに対応する運転操作を示す図である。同図
中、(a)はガイドパターンpat_A1を提示した当
初の画面であり、自車を駐車開始位置まで誘導しはじめ
た段階である。また(b)は画面に表示されたガイドパ
ターンpat_A1を見ながら、自車の駐車開始位置へ
の誘導を完了した画面である。図10(b)では、ガイ
ドパターンpat_A1が駐車場の位置にぴったり一致
していることが分かる。
【0077】駐車開始位置への誘導を完了したので、利
用者は、スイッチ操作などによって、次のプロセスに移
るための指示を行う。この指示を受けて、ガイドデータ
選択部42は次の基本ガイドデータ(map2,pat
_A2,mes_L)を読み込む。そして先と同様の処
理によって、その内容に従って、まず、マッピングテー
ブルをmap2に切り替える旨をマッピングテーブル参
照手段21に伝え、これを受けてマッピングテーブル参
照手段21は、画像合成を行うマッピングテーブルをm
ap2に切り替えて画素合成手段22にマッピングデー
タを送る。
【0078】また、ガイドデータ選択部42は、ガイド
パターンをpat_A2にする旨をガイドパターン参照
手段44に伝え、これを受けてガイドパターン参照手段
44は図9(b)に示すガイドパターンpat_A2を
映像信号生成手段23に送る。さらに、ガイドデータ選
択部42は、ガイドメッセージをmes_Lにする旨を
ガイドメッセージ参照手段43に伝え、これを受けてガ
イドメッセージ参照手段43は、mes_Lすなわち
「ハンドルを左にいっぱいきってバックして下さい。」
というガイドメッセージを映像信号生成手段23に送
る。
【0079】映像信号生成手段23は、ガイドパターン
pat_A2を合成画像に重ね合わせて表示するととも
に、ガイドメッセージmes_Lを表示する。。
【0080】図11はこのとき利用者に提示されたモニ
タ画面とこれに対応する運転操作を示す図である。同図
中、(a)はガイドパターンpat_A2を提示した当
初の画面であり、車両が駐車開始位置にある段階であ
る。また(b)は(a)の状態からガイドメッセージに
従って、ハンドルを左一杯にきってバックした結果、自
車の駐車位置への誘導を完了した画面である。図11
(b)では、ガイドパターンpat_A2が駐車場の枠
にぴったり一致していることが分かる。
【0081】このようにして、2プロセスで、会社の駐
車場への駐車操作が完了したので、利用者の指示によっ
て運転支援モードが終了する(SE1)。
【0082】なお、ここでは、運転操作が2プロセスで
完了するものとしたが、プロセスが1つまたは3つ以上
の場合であっても同様の処理で運転操作を支援すること
が可能になる。また、一般運転ガイドデータを用いた場
合でも、運転操作を支援することは可能である。
【0083】以上のように本実施形態によると、日常的
に利用するような駐車場について、これに適した運転ガ
イドデータを予め登録しておけば、駐車時にその運転ガ
イドデータが優先して選択されるので、運転ガイドデー
タの選択の間違いや煩わしさを省くことができ、駐車動
作が簡単に行えるようになる。また、位置を計測できな
い等の場合でも運転ガイドデータが利用できるように、
これら運転ガイドデータは、当該車両の利用者によって
選択されるようにしてもかまわない。もちろん、駐車に
限らず他の運転操作についても同様の効果が期待でき
る。
【0084】(第2の実施形態)−運転ガイドデータの
作成 上述の第1の実施形態では、運転ガイドデータはすでに
準備されているものとして説明を行った。本発明の第2
の実施形態では、運転ガイドデータの新規作成について
説明を行う。
【0085】図12は本発明の第2の実施形態に係る運
転支援装置の構成を示すブロック図であり、図2と共通
の構成要素には、図2と同一の符号を付している。図2
と対比すると、図12の構成では、運転ガイドデータを
当該車両の利用者からの指示に応じて新たに作成する運
転ガイド作成手段50が、ガイド指定部40Aに設けら
れている点が異なる。そして、基本的には図2の構成と
同様に動作するが、運転ガイドデータを新たに作成する
際に、運転ガイド作成手段50からマッピングテーブル
参照手段21にマッピングテーブルMPTの切り替えが
伝えられる点、また運転ガイドデータが新たに作成され
たとき、新たな運転ガイドデータに関するデータが、ガ
イドデータ記憶部41、ガイドメッセージ参照手段43
およびガイドパターン参照手段44にそれぞれに付加さ
れる点が異なる。なお、新たに運転ガイドデータが作成
された場合に、これに用いるガイドメッセージとしてす
でに登録済みのものがあれば、それを再利用することも
可能である。
【0086】図13は本実施形態に係る運転ガイドデー
タの作成処理の流れを示すフローチャートである。運転
ガイドデータの作成手法としては、様々なものが考えら
れるが、ここでは、所定の運転操作と逆の操作を行うこ
と、例えば駐車の場合は駐車場から車両を道路に出す操
作を行うことによって、運転ガイドデータを作成する方
法について説明する。
【0087】図13において、運転ガイドデータの作成
を開始すると(SS2)、まず準備工程S30におい
て、運転ガイドデータを作成する対象となる所定の運転
操作を、単純なプロセスに分解し、各プロセスの順番を
入れ替える(S31)。そして、最初のプロセスの完了
時点(すなわち運転操作完了時)の状態まで車両を移動
させる(S32)。
【0088】ここで、プロセスへの分解を考える際のポ
イントは、各プロセスの運転操作において、ハンドルの
位置決めが誰でも行えるようにすることである。なぜな
ら、ハンドルは自由に動くので、決められた切り角にハ
ンドルを正確に合わせることは通常の運転者にとって困
難だからである。誰でも容易に固定できる切り角とは、
具体的には例えば、ハンドルを真っ直ぐにした位置、左
いっぱいに切った位置、右いっぱいに切った位置などで
ある。これに対して、例えば真っ直ぐと左いっぱいの中
間の切り角などは正確に位置決めするのはきわめて難し
い。ただし、車両に舵角センサが設置されている場合
は、ハンドルの位置決めは舵角センサを参照して容易に
できるので、各プロセスにおけるハンドルの切り角は自
由に設定してかまわない。
【0089】次に、ガイド作成工程S40において、ス
テップS31で分解され並び替えられた各プロセス毎
に、次の4つのステップS41〜S44を行う。
【0090】S41:マッピングテーブル切り替えをマ
ッピングテーブル参照手段21に伝え、合成画像を見な
がら、当該プロセスの終了時点の最適な画像を表示する
ためのマッピングテーブルを選択する。
【0091】S42:ステップS41で選択したマッピ
ングテーブルによる合成画像を参照して、自動的に、ま
たは、手作業によって当該プロセスに係るガイドパター
ンを作成する。そして、作成したガイドパターンを、名
前を付けた上でガイドパターン参照手段44に登録す
る。ここで、ガイドパターンの自動作成は、例えば、合
成画像にエッジ抽出処理を施し、さらに2値化閾値処理
を行うなどの方法を用いればよい(後の例で詳述す
る)。また手作業で作成する場合は、例えば、表示装置
30としてタッチパネル式のモニタを採用し、ガイドパ
ターンになる部分を手でトレースして作成するなどの方
法を用いればよい。さらには、実写画像(またはその一
部を切り出した画像)を半透明処理したものを、ガイド
データとして用いてももちろんかまわない。この処理に
よって、駐車開始位置と、ガイドパターンが表す位置と
の間の高低差が、運転ガイドデータに加味されることに
なる。
【0092】S43:当該プロセスに係るガイドメッセ
ージを、新たに作成するか、または既存のガイドメッセ
ージの中から選択する。新たに作成した場合は、そのガ
イドメッセージをガイドメッセージ参照手段43に登録
する。
【0093】S44:このようにして得られた、マッピ
ングテーブル、ガイドパターンおよびガイドメッセージ
からなる基本ガイドデータを、一時的に保存する。
【0094】そして、あるプロセスについて上述の4つ
のステップS41〜S44が終了したとき、ガイドメッ
セージに示された所定のハンドル状態を保ちながら車両
を逆方向に移動させ(S46)、次のプロセスについ
て、ステップS41〜S44を引き続き行う。全てのプ
ロセスについて処理が終了したとき、ガイド登録工程S
50に進む(S45)。
【0095】次に、登録工程S50において、ステップ
S51では、必要であれば、運転ガイドデータの名称お
よび位置・速度条件を入力し、またステップS44で保
存された基本ガイドデータを順序を逆にして保存する。
そして、ステップS51で作成された運転ガイドデータ
をガイドデータ記憶部41に登録して(S52)、運転
ガイドデータ作成処理を完了する(SE2)。
【0096】図13に示す運転ガイドデータ作成処理の
流れを、画面表示例を示しながら具体的に説明する。こ
こでは、自宅の駐車場に、左側から進入して駐車する場
合の運転ガイドデータを作成するものとする。また、基
本ガイドデータの各データは、第1の実施形態と同様で
ある。ここで初めて用いるものを以下に示す。 ・ガイドパターン pat_C1…図16に示すガイドパターン pat_C2…図15に示すガイドパターン pat_C3…図14に示すガイドパターン ・ガイドメッセージ mes_B…図7に示すガイドメッセージ まず準備工程S30において、自宅駐車場へ車両を誘導
する運転操作を、次の3つのプロセスに分解する(S3
1)。 PR1:駐車開始位置への誘導 PR2:駐車開始位置からハンドルを切った状態で駐車
スペースに平行になる状態まで移動 PR3:ハンドルを真っ直ぐにもどして後退し駐車を完
了 次にこれらのプロセスPR1,PR2,PR3の順序を
入れ替える。その後、入れ替えた後の最初のプロセスす
なわち第3のプロセスPR3の完了時、すなわち駐車完
了時の状態に車両を移動させる(S32)。
【0097】次にガイド作成工程S40において、第3
のプロセスPR3に関し、図14に示すように、次の4
つの処理S41〜S44を行う。 S41…プロセスPR3の表示画像に対応するマッピン
グテーブルmap2に切り替えるよう、マッピングテー
ブル参照手段21に伝え、その合成画像IM31を表示
する。 S42…合成画像IM31に対してエッジ抽出処理を行
い、エッジ強調画像IM32を作成する。そして所定の
値よりも黒いか白いかの2値化閾値処理を行ってガイド
パターンIM33を作成し、作成したガイドパターンI
M33を名前「pat_C3」を付けてガイドパターン
参照手段44に登録する。 S43…図7に示す既存のガイドメッセージの中から、
mes_B「ハンドルを真っ直ぐにしてバックして下さ
い。」を選択する。 S44…このようにして作成された基本ガイドデータ
(map2,pat_C3,mes_B)を一時的に保
存する。
【0098】第3のプロセスPR3に係る処理を終了し
たので、ガイドメッセージmes_Bが指示するハンド
ル状態で逆方向の移動、すなわちハンドルを真っ直ぐに
して車両を前進させる。この移動は、次の第2のプロセ
スPR2の終了地点まで行う。
【0099】続いて第2のプロセスPR2に関し、図1
5に示すように、次の4つの処理S41〜S44を行
う。 S41…第2のプロセスPR2の表示画像は第3のプロ
セスPR3と同一のマッピングテーブルを用いるので、
そのままマッピングテーブルmap2を用いて、合成画
像IM21を表示する。 S42…合成画像IM21に対してエッジ抽出処理を行
い、エッジ強調画像IM22を作成する。そして所定の
値よりも黒いか白いかの2値化閾値処理を行ってガイド
パターンIM23を作成し、作成したガイドパターンI
M23を名前「pat_C2」を付けてガイドパターン
参照手段44に登録する。 S43…図7に示す既存のガイドメッセージの中から、
mes_L「ハンドルを左にいっぱいにきってバックし
て下さい。」を選択する。 S44…このようにして作成された基本ガイドデータ
(map2,pat_C2,mes_L)を、作成済み
の基本ガイドデータと合わせて一時的に保存する。
【0100】第2のプロセスPR2の処理を終了したの
で、ガイドメッセージmes_Lが指示するハンドル状
態で逆方向の移動、すなわちハンドルを左にいっぱいき
って車両を前進させる。この移動は、次の第1のプロセ
スPR1の終了地点まで行う。
【0101】続いて第1のプロセスPR1に関し、図1
6に示すように、次の4つの処理S41〜S44を行
う。 S41…第1のプロセスPR1の表示画像に対応するマ
ッピングテーブルmap1に切り替えるよう、マッピン
グテーブル参照手段21に伝え、その合成画像IM11
を表示する。 S42…合成画像IM11に対してエッジ抽出処理を行
い、エッジ強調画像IM12を作成する。そして所定の
値よりも黒いか白いかの2値化閾値処理を行ってガイド
パターンIM13を作成し、作成したガイドパターンI
M13を名前「pat_C1」を付けてガイドパターン
参照手段44に登録する。 S43…図7に示す既存のガイドメッセージの中から、
mes_0「ガイドと駐車位置が合うように車を移動し
て下さい」を選択する。 S44…このようにして作成された基本ガイドデータ
(map1,pat_C1,mes_0)を、作成済み
の基本データと合わせて一時的に保存する。
【0102】第1のプロセスPR1の処理を終了し、残
りのプロセスはないので、運転操作の全てのプロセスに
ついての基本ガイドパターンの作成が完了する(S45
でYes)。
【0103】そしてガイド登録工程S50において、次
のような運転ガイドデータを作成する(S51)。 名称:自宅(駐車) 位置:(lat_C,lnt_C) 速度:10km 基本ガイドデータ:(map1,pat_C1,mes
_0),(map2,pat_C2,mes_L),
(map2,pat_C3,mes_B)
【0104】なお、位置情報は、自車の位置センサ(G
PSなど)から緯度経度情報を取得して用いるなどすれ
ばよい。また、ガイド作成工程S40で保存された各基
本ガイドデータは、再度順序を逆にして保存する。これ
は、運転ガイドデータ作成時と運転ガイドデータ利用時
とで、車の動きがおおむね逆になることからも明らかで
ある。
【0105】以上説明した運転ガイドデータ作成処理に
おいては、ハンドルを真っ直ぐ以外の状態で固定したま
ま、ある場所から後退して停止し、ハンドルはそのまま
で、後退した距離だけ前進した場合に、車両のタイヤが
前進時と後退時とで全く同じ軌跡上を通ることを前提と
している。しかしながら、実際には、前進時と後退時と
で、軌跡に、車種やハンドル切り角に応じたずれが生じ
る場合がある。このような場合には、このずれの影響を
微調整して吸収しながら、運転ガイドデータを作成すれ
ばよい。
【0106】そして、作成された運転ガイドデータをガ
イドデータ記憶部41に登録して(S52)、運転ガイ
ドデータ作成処理を完了する(SE2)。この結果、ガ
イドデータ記憶部41の内容は図17のようになる。図
17において、運転ガイドデータNO.3が、今回新た
に生成された運転ガイドデータに当たる。
【0107】以上のように本実施形態によると、例え
ば、頻繁に利用する運転操作場所に係る運転ガイドデー
タがまだ登録されていない場合、運転ガイドデータ作成
手段によって、運転ガイドデータを新たに作成すること
ができる。そして、運転操作の開始位置と、ガイドパタ
ーンが表す位置との間の高低差が、運転ガイドデータに
加味される。すなわち、利用者の車両の利用形態に応じ
て、自由に運転ガイドデータを構築し利用することが可
能となる。
【0108】(第3の実施形態)−運転ガイドデータの
修正 上述の第2の実施形態に従うと、どのような運転状況に
対しても、原理的には運転ガイドデータを作成すること
ができる。しかしながら、登録された運転ガイドデータ
の個数が多すぎると、運転ガイドデータの選択に時間が
かかったり、誤って選択する頻度が増える、といった問
題も生じる。したがって、運転ガイドデータの個数が過
度に増えないように、すでに登録されたものに類似する
運転ガイドデータについては、新たに作成せずに、既存
のものを少し修正して利用するのが好ましい。本発明の
第3の実施形態は、運転ガイドデータの修正を行うもの
である。
【0109】図18は本発明の第3の実施形態に係る運
転支援装置の構成を示すブロック図である。図18で
は、図2と共通の構成要素には、図2と同一の符号を付
しており、ここではその詳細な説明を省略する。図2と
対比すると、図18の構成では、ガイドデータ記憶部4
1に記憶された運転ガイドデータを、当該車両の利用者
からの指示に従って修正する運転ガイド修正手段60
が、ガイド指定部40Bに設けられている点が異なる。
そして、基本的には図2の構成と同様に動作するが、運
転ガイドデータを修正する際に、ガイドデータ記憶部4
1に対して登録済みの運転ガイドデータを参照する点
と、修正されたガイドパターンをガイドパターン参照手
段44に蓄える点が異なる。
【0110】運転ガイド修正手段60は、ある運転操作
について、これに対応した運転ガイドデータは登録され
ていないが、登録済みの運転ガイドデータを少し修正す
るだけで良い場合に、修正によって必要な運転ガイドデ
ータを一時的に作成するというものである。
【0111】例をあげると、駐車動作の支援において、
駐車開始位置と駐車スペースとの間に段差がない場合の
運転ガイドデータと、駐車開始位置と駐車スペースは平
行で途中の段差が20cmある場合の運転ガイドデータ
が登録されているものとする。このような場合に、例え
ば駐車開始位置と駐車スペースは平行で途中の段差が1
0cmある場合の駐車を支援するために、登録済みの運
転ガイドデータを修正して利用する。
【0112】図19を用いて、本実施形態に係る運転ガ
イドデータの修正処理を具体的に説明する。同図中、
(a)は段差がない場合の駐車支援のための第1のガイ
ドパターンGP_0(P1−P2−P3−P4)と、駐
車開始位置と駐車スペースが平行で段差が20cmある
場合の第2のガイドパターンGP_20(P1’−P
2’−P3’−P4’)とを示す図である。P1とP
1’,P2とP2’,P3とP3’,そしてP4とP
4’がそれぞれ対応している。また(b)は(a)に示
す各点P1,P2,P3,P4およびP1’,P2’,
P3’,P4’の画面上の座標値を示す図である。
【0113】このような場合に、Ncmの段差(0≦N
≦20)がある場合の第3のガイドパターンGP_N
は、第1のガイドパターンGP_0と第2のガイドパタ
ーンGP_20との補間によって擬似的に作成すること
が可能である。
【0114】この補間のために、まず、第1および第2
のガイドパターンGP_0,GP_20の相互の関係
を、次式に示す2次元射影変換で近似的に表すことにす
る。
【数1】 上式において、(x,y)は第1のガイドパターンGP
_0を構成する点、(x’,y’)は第2のガイドパタ
ーンGP_20を構成する点であり、係数ak(k=1
…8)は変換パラメータである。この変換パラメータa
kを求めるためには、未知数が8つであるから、第1の
ガイドパターンGP_0と第2のガイドパターンGP_
20との間で4つの点の対応関係(本例では図19
(b)の座標値)を式(1)に代入して8つの連立方程
式を立て、これを解けばよい。
【0115】式(1)の変換パラメータakが求まる
と、第3のガイドパターンGP_Nは、第1のガイドパ
ターンGP_0の全ての点について、次の3つのステッ
プを行うことによって、作成できる。 ・第1のガイドパターンGP_0の点(x,y)につい
て、これに対応する第2のガイドパターンGP_20の
点(x’,y’)を式(1)を用いて求める。 ・(x,y)と(x’,y’)とから、次式を用いて、
第1のガイドパターンGP_0の点(x,y)に対応す
る第3のガイドパターンGP_Nの点(u,v)を得
る。
【数2】 ・第3のガイドパターンGP_Nの点(u,v)に、第
1のガイドパターンGP_0の点(x,y)の値をコピ
ーする。
【0116】図19(c)はこのようにして作成された
第3のガイドパターンGP_Nの一例である。
【0117】図20は運転ガイドデータの修正を行う際
の画面表示の一例を示す図である。図8のフローチャー
トにおける運転ガイド選択時(S15)において、まず
図20(a)のような画面が表示され、の平行駐車
(左)を選択したとする。続いて、図20(b)のよう
に段差修正の要否を問い合わせてきたとき、「はい」を
選択する。最後に、図20(c)のように段差の指定を
要求されたとき、その値を例えば「10」cmのように
入力する。これにより、先に説明した処理によって10
cmの段差のガイドパターンが作成され、利用者に提示
される。なお、段差の値については、利用者が手入力す
る代わりに、超音波やレーザー等による距離センサを用
いて自動的に計測することも可能である。
【0118】また、このようにして修正により作成した
運転ガイドデータが、用いられる頻度が高い場合には、
新たな運転ガイドデータとしてガイドデータ記憶部41
に登録しておいてもよい。
【0119】(サービスへの応用)本発明に係る運転支
援装置が、将来、広く普及すると、運転ガイドデータの
作成をサービスビジネスとして展開することが可能とな
る。例えば、新車の納車時に、自宅駐車場用の運転ガイ
ドデータをその場で作成するサービスを行い、顧客から
その対価を受け取ったり、または、サービスを無料で行
うことによって他社との差別化を図り、多くの顧客を集
めることができるという効果が期待できる。
【0120】なお、本発明は例示の実施形態のみに限定
されるものではなく、特許請求の範囲の個々の請求項に
記載の事項の範囲内で、具体的な構成を変更して実施可
能である。
【0121】なお、本発明において、車両とは、普通自
動車、軽自動車、貨物自動車またはバス等を含む。ま
た、本発明の技術思想が適用されうるものであれば、ク
レーン車、シャベルカー等の特殊車両も本発明の車両と
することができる。
【0122】また、高低差のある場所での駐車以外で
も、例えば、大型のトレーラーにおける連結操作の補助
など、様々な運転操作の支援として本技術は利用可能で
ある。連結操作の補助の場合には、連結部は通常見えな
いので、連結した状態においてトレーラー部の様子を駆
動車から撮影した画像を、運転ガイドデータとして用い
ればよい。
【0123】<補足説明>従来の運転支援装置では、駐
車開始から終了まで全て同一平面上を動くことを前提に
してガイドを提示している。このため、すでに課題の項
で述べたように、路面と駐車スペースとの間に段差があ
る場合、ガイドと駐車スペースとが合うような場所から
駐車を開始すると、車両が駐車スペースから大きくはず
れてしまうという問題が生じる。
【0124】このような段差の影響について、図21お
よび図22を参照して、補足説明を行う。
【0125】図21は段差の影響を説明するための概念
図であり、同図中、(a)はガイドパターンの一例、
(b)は段差のない駐車スペースにガイドを合わせた画
面、(c)は段差のある駐車スペースにガイドを合わせ
た画面、(d)は(b)と(c)における自車位置と駐
車スペースとの位置関係を上方から見下ろして表した図
である。(d)では自車位置を基準にして、自車位置と
駐車スペースとの位置関係を表している。また、WL
1,WL2はそれぞれの駐車スペースを区切るための白
線である。
【0126】図21(d)から明らかなように、画面上
でガイドを駐車スペースに合わせたとき、自車と駐車ス
ペースとの位置関係は、段差の有無によって大きくずれ
る。すなわち、この場合のガイドは、段差のない駐車ス
ペースを前提に作成されているので、もしこれを段差の
ある駐車スペースに用いると、本来の駐車スペースは白
線WL2の位置にあるにもかかわらず、白線WL1の位
置に車両が誘導されてしまう。すなわち、所望の駐車ス
ペースから大きく離れた場所に車両が誘導されてしまう
ことが直感的に理解できる。
【0127】そこで図22を用いて、段差がどの程度の
位置ずれを実際に引き起こすかを定量的に説明する。図
22では、車両後部の高さchの位置にカメラが設置さ
れている。そして、路面上で車の進行方向後向きにY
軸、路面上でY軸に直交する方向にX軸を設定する。
【0128】いま、カメラの所定の画素が、段差のない
路面上の(x1,y1)の位置を映しているものとす
る。そして、路面に対して段差dhを持つ駐車スペース
において、その画素は(x2,y2)を映すものとす
る。ただし、ここで、X軸方向のずれdx、Y軸方向の
ずれdyは、次式でそれぞれ求められる。
【数3】
【0129】例えば、カメラ位置の高さchが1m、X
軸方向の距離x2が4m、段差dhが20cmとする
と、車が駐車開始から完了にいたるまでの実際のX方向
移動距離x1は、上式から5mとなり、ずれdxは1m
となる。このことは、20cmの段差がある駐車スペー
スにガイドを合わせて駐車をさせると、実際の駐車スペ
ースよりも1mも後ろに車両が停まることを意味する。
Y軸方向のずれに関しても全く同様である。
【0130】以上のことから、従来の運転支援装置で提
供される駐車ガイドを用いて、段差のある駐車スペース
に自車を誘導しようとすると、上述したような位置ずれ
が生じるために、場合によって事故につながりかねな
い。したがって、本発明は、確実に車両を誘導できると
いう点で、きわめて有効である。
【0131】
【発明の効果】以上のように本発明によると、車両の運
転を支援する装置において、特定の運転操作場所に対応
した運転ガイドデータが準備されており、かつ、この運
転ガイドデータでは、所定の運転操作の開始位置とガイ
ドパターンが表す位置との高低差が加味されている。こ
のため、運転操作環境の違いが反映された、適切なガイ
ドパターンを提示することができ、利用者の運転操作を
より的確に、きめ細かく支援することが可能になる。
【図面の簡単な説明】
【図1】本発明に係るガイドデータ表示の一例を示す図
である。
【図2】本発明の第1の実施形態に係る運転支援装置の
構成を示すブロック図である。
【図3】車両におけるカメラの配置例を示す図である。
【図4】マッピングテーブルを概念的に示す図である。
【図5】運転ガイドデータの一例を一覧形式で示した図
である。
【図6】基本ガイドデータの具体内容を示す図である。
【図7】ガイドメッセージの一例を一覧形式で示した図
である。
【図8】本発明の第1の実施形態に係る運転ガイドデー
タの選択とガイドパターン表示の処理の流れを示すフロ
ーチャートである。
【図9】ガイドパターンの一例を示す図である。
【図10】ガイドパターンの表示画面とこれに対応する
運転操作を示す図である。
【図11】ガイドパターンの表示画面とこれに対応する
運転操作を示す図である。
【図12】本発明の第2の実施形態に係る運転支援装置
の構成を示すブロック図である。
【図13】運転操作ガイドの作成を行う処理の流れを示
すフローチャートである。
【図14】運転ガイドデータの作成処理を説明するため
の図である。
【図15】運転ガイドデータの作成処理を説明するため
の図である。
【図16】運転ガイドデータの作成処理を説明するため
の図である。
【図17】運転ガイドデータの一例であって、新たな運
転ガードデータが追加された結果を示す図である。
【図18】本発明の第3の実施形態に係る運転支援装置
の構成を示すブロック図である。
【図19】第3の実施形態に係る運転操作ガイドの修正
処理を説明するための図である。
【図20】運転ガイドデータの修正を行う際の画面表示
の一例を示す図である。
【図21】段差の影響について補足説明するための図で
ある。
【図22】段差の影響について補足説明するための図で
ある。
【図23】従来の運転支援装置と、その問題点を説明す
るための図である。
【符号の説明】
20 画像処理部 40,40A,40B ガイド指定部 41 ガイドデータ記憶部 42 ガイドデータ選択部 50 運転ガイド作成手段 60 運転ガイド修正手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/225 H04N 5/225 C 7/18 7/18 J (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Fターム(参考) 5C022 AA04 AB61 AC01 AC69 5C054 AA01 AA05 CA04 CC02 CE15 CG02 CH01 EA01 EA05 FC14 FE09 FE16 HA30

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 車両の運転を支援する装置であって、 所定の運転操作を支援するための運転ガイドデータを、
    指定するガイド指定部と、 前記ガイド指定部によって指定された運転ガイドデータ
    に従って、前記所定の運転操作の終了時または中途時に
    おける当該車両の位置を表すガイドパターンを、車両の
    周囲を映す画像に合成し、表示装置に出力する画像処理
    部とを備え、 前記運転ガイドデータは、 特定の運転操作場所に対応しており、かつ、前記所定の
    運転操作の開始位置と、前記ガイドパターンが表す位置
    との間の高低差が、加味されたものであることを特徴と
    する運転支援装置。
  2. 【請求項2】 請求項1記載の運転支援装置において、 前記所定の運転操作は、駐車動作であり、 前記運転操作場所は、駐車場であることを特徴とする運
    転支援装置。
  3. 【請求項3】 請求項2記載の運転支援装置において、 前記高低差は、駐車場と、駐車場前の路面との間の段差
    を含むものであることを特徴とする運転支援装置。
  4. 【請求項4】 請求項1記載の運転支援装置において、 前記ガイド指定部は、 複数の運転ガイドデータを記憶するガイドデータ記憶部
    と、 前記ガイドデータ記憶部に記憶された複数の運転ガイド
    データの中から、いずれかを選択するガイドデータ選択
    部とを備え、 前記ガイドデータ選択部によって選択された運転ガイド
    データを、前記画像処理部に指定するものであることを
    特徴とする運転支援装置。
  5. 【請求項5】 請求項4記載の運転支援装置において、 前記ガイドデータ選択部は、 当該車両の位置、または、当該車両の利用者からの指示
    に応じて、運転ガイドデータの選択を行うものであるこ
    とを特徴とする運転支援装置。
  6. 【請求項6】 請求項4記載の運転支援装置において、 前記ガイド指定部は、 運転ガイドデータを、当該車両の利用者からの指示に応
    じて、新たに作成する運転ガイド作成手段を備えたもの
    であることを特徴とする運転支援装置。
  7. 【請求項7】 請求項6記載の運転支援装置において、 前記運転ガイド作成手段は、 当該車両が所定の位置にあるときの車両周囲の画像に対
    して、エッジ抽出処理を施し、 得られたエッジ画像を基にして、ガイドパターンを作成
    するものであることを特徴とする運転支援装置。
  8. 【請求項8】 請求項4記載の運転支援装置において、 前記ガイド指定部は、 前記ガイドデータ記憶部に記憶された運転ガイドデータ
    を、当該車両の利用者からの指示に従って修正し、新た
    な運転ガイドデータとして作成する運転ガイド修正手段
    を備えたものであることを特徴とする運転支援装置。
  9. 【請求項9】 車両の運転を支援する装置において用い
    られる,所定の運転操作を支援するための運転ガイドデ
    ータを作成する方法であって、 当該車両を、前記所定の運転操作における所定の位置に
    配置し、 前記所定の位置において、当該車両の周囲を映す画像を
    生成し、 生成した画像から、前記所定の運転操作の中途時または
    終了時における当該車両の位置を表すガイドパターンを
    作成することを特徴とする運転ガイドデータ作成方法。
  10. 【請求項10】 請求項9記載の運転ガイドデータ作成
    方法において、 前記所定の運転操作を、複数のプロセスに分解し、 各プロセス毎に、ガイドパターンを作成することを特徴
    とする運転ガイドデータ作成方法。
JP2001254713A 2001-08-24 2001-08-24 運転支援装置、運転支援方法および運転ガイドデータ作成方法 Expired - Lifetime JP4499319B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001254713A JP4499319B2 (ja) 2001-08-24 2001-08-24 運転支援装置、運転支援方法および運転ガイドデータ作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001254713A JP4499319B2 (ja) 2001-08-24 2001-08-24 運転支援装置、運転支援方法および運転ガイドデータ作成方法

Publications (2)

Publication Number Publication Date
JP2003063338A true JP2003063338A (ja) 2003-03-05
JP4499319B2 JP4499319B2 (ja) 2010-07-07

Family

ID=19082832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001254713A Expired - Lifetime JP4499319B2 (ja) 2001-08-24 2001-08-24 運転支援装置、運転支援方法および運転ガイドデータ作成方法

Country Status (1)

Country Link
JP (1) JP4499319B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219716A (ja) * 2007-03-07 2008-09-18 Matsushita Electric Ind Co Ltd 表示制御装置
JP2008544673A (ja) * 2005-06-23 2008-12-04 ノキア コーポレイション デジタル画像処理
JP2009184426A (ja) * 2008-02-04 2009-08-20 Aisin Seiki Co Ltd 駐車支援装置
JP2010072702A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両運転支援装置
JP2011051403A (ja) * 2009-08-31 2011-03-17 Fujitsu Ltd 駐車支援装置
JP2011178272A (ja) * 2010-03-01 2011-09-15 Aisin Seiki Co Ltd 駐車支援装置
US8340870B2 (en) 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
US8615351B2 (en) 2010-12-01 2013-12-24 Nippon Soken, Inc. Driving assistance apparatus and vehicle driving assistance system for determining entry into or exit from a parking lot
JP2016503618A (ja) * 2012-11-15 2016-02-04 ジロプティック パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
JP2018118593A (ja) * 2017-01-24 2018-08-02 クラリオン株式会社 駐車支援装置
JP2020131964A (ja) * 2019-02-20 2020-08-31 クラリオン株式会社 車載処理装置、及び車載処理装置の制御方法
JP2022137030A (ja) * 2018-10-29 2022-09-21 京セラ株式会社 画像処理装置、カメラ、移動体および画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102466310B1 (ko) 2018-01-09 2022-11-15 삼성전자주식회사 차량에 부착된 전자 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10167104A (ja) * 1996-12-17 1998-06-23 Honda Motor Co Ltd 車両の自動操舵装置
JPH11208431A (ja) * 1998-01-22 1999-08-03 Toyota Motor Corp 車輌の自動駐停車装置
JP2000182027A (ja) * 1998-12-16 2000-06-30 Toyota Autom Loom Works Ltd 物体検出装置、車両における障害物検出装置及び車両
JP2000229547A (ja) * 1998-10-08 2000-08-22 Matsushita Electric Ind Co Ltd 運転操作補助装置および記録媒体
JP2001180402A (ja) * 1999-12-24 2001-07-03 Toyota Autom Loom Works Ltd 駐車時の操舵支援装置
JP2001180405A (ja) * 1999-12-28 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
JP2002120678A (ja) * 2000-10-13 2002-04-23 Toyota Industries Corp 車両駐車支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10167104A (ja) * 1996-12-17 1998-06-23 Honda Motor Co Ltd 車両の自動操舵装置
JPH11208431A (ja) * 1998-01-22 1999-08-03 Toyota Motor Corp 車輌の自動駐停車装置
JP2000229547A (ja) * 1998-10-08 2000-08-22 Matsushita Electric Ind Co Ltd 運転操作補助装置および記録媒体
JP2000182027A (ja) * 1998-12-16 2000-06-30 Toyota Autom Loom Works Ltd 物体検出装置、車両における障害物検出装置及び車両
JP2001180402A (ja) * 1999-12-24 2001-07-03 Toyota Autom Loom Works Ltd 駐車時の操舵支援装置
JP2001180405A (ja) * 1999-12-28 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
JP2002120678A (ja) * 2000-10-13 2002-04-23 Toyota Industries Corp 車両駐車支援装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008544673A (ja) * 2005-06-23 2008-12-04 ノキア コーポレイション デジタル画像処理
US8045047B2 (en) 2005-06-23 2011-10-25 Nokia Corporation Method and apparatus for digital image processing of an image having different scaling rates
JP2008219716A (ja) * 2007-03-07 2008-09-18 Matsushita Electric Ind Co Ltd 表示制御装置
JP2009184426A (ja) * 2008-02-04 2009-08-20 Aisin Seiki Co Ltd 駐車支援装置
JP2010072702A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両運転支援装置
US8340870B2 (en) 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP2011051403A (ja) * 2009-08-31 2011-03-17 Fujitsu Ltd 駐車支援装置
JP2011178272A (ja) * 2010-03-01 2011-09-15 Aisin Seiki Co Ltd 駐車支援装置
US8615351B2 (en) 2010-12-01 2013-12-24 Nippon Soken, Inc. Driving assistance apparatus and vehicle driving assistance system for determining entry into or exit from a parking lot
JP2016503618A (ja) * 2012-11-15 2016-02-04 ジロプティック パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
JP2019041389A (ja) * 2012-11-15 2019-03-14 ジロプティック パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
JP2018118593A (ja) * 2017-01-24 2018-08-02 クラリオン株式会社 駐車支援装置
JP2022137030A (ja) * 2018-10-29 2022-09-21 京セラ株式会社 画像処理装置、カメラ、移動体および画像処理方法
JP7345601B2 (ja) 2018-10-29 2023-09-15 京セラ株式会社 画像処理装置、カメラ、移動体および画像処理方法
JP2020131964A (ja) * 2019-02-20 2020-08-31 クラリオン株式会社 車載処理装置、及び車載処理装置の制御方法
JP7389555B2 (ja) 2019-02-20 2023-11-30 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置、及び車載処理装置の制御方法

Also Published As

Publication number Publication date
JP4499319B2 (ja) 2010-07-07

Similar Documents

Publication Publication Date Title
US7006127B2 (en) Driving aiding system
US7012549B2 (en) Parking assistance apparatus
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5654269B2 (ja) 車両用ディスプレイ装置及び車両用ディスプレイの表示方法
JP4670463B2 (ja) 駐車区画監視装置
EP1383332A1 (en) Method and apparatus for displaying pickup image of camera installed in vehicle
JP2003063338A (ja) 運転支援装置および運転ガイドデータ作成方法
US20080055407A1 (en) Apparatus And Method For Displaying An Image Of Vehicle Surroundings
JP4792948B2 (ja) 車車間通信システム
JP2006298115A (ja) 運転支援方法及び運転支援装置
JP2008269139A (ja) 運転支援システム並びに車両
CN101252679B (zh) 驾驶辅助方法及驾驶辅助装置
JP2011051403A (ja) 駐車支援装置
US20110001819A1 (en) Image Processing Apparatus
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP5654284B2 (ja) 車両用ディスプレイ装置
JP2013054720A (ja) 運転支援装置
JP2008279875A (ja) 駐車支援装置
JP2012175314A (ja) 車両の運転支援装置
JP2011193485A (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2007028445A (ja) 画像表示システム
JPH10176928A (ja) 視点位置測定方法、視点位置測定装置、ヘッドアップディスプレイ装置およびミラー調整装置
JP4802686B2 (ja) 車車間通信システム
JP2011182059A (ja) 車両周辺監視装置
WO2013111302A1 (ja) 表示装置、制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100415

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4499319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

EXPY Cancellation because of completion of term