JP2000079860A - 駐車補助装置 - Google Patents

駐車補助装置

Info

Publication number
JP2000079860A
JP2000079860A JP10216219A JP21621998A JP2000079860A JP 2000079860 A JP2000079860 A JP 2000079860A JP 10216219 A JP10216219 A JP 10216219A JP 21621998 A JP21621998 A JP 21621998A JP 2000079860 A JP2000079860 A JP 2000079860A
Authority
JP
Japan
Prior art keywords
parking
white line
window
detected
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10216219A
Other languages
English (en)
Other versions
JP3951465B2 (ja
Inventor
Toshiaki Kakinami
俊明 柿並
Akira Inoue
亮 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP21621998A priority Critical patent/JP3951465B2/ja
Publication of JP2000079860A publication Critical patent/JP2000079860A/ja
Application granted granted Critical
Publication of JP3951465B2 publication Critical patent/JP3951465B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ドライバーの駐車する意図を的確に読み取
り、画像処理の負担を小さくし、簡単な構成によりドラ
イバーの駐車補助を行う。 【解決手段】 駐車操作時に、ステアリング舵角を基に
走行予想軌跡20をディスプレィ13に表示させ、表示
された走行予想軌跡20の表示位置を基準として走行予
想軌跡周辺の駐車区画30の白線31を検出するため所
定領域のウインドウ26を設定し、白線31をウインド
ウ26で検出し、ウインドウ領域内に白線が存在する場
合に白線の位置と方向を検出して、その検出結果より白
線の特徴や幾何学的配置によって駐車区画30を検証
し、駐車操作状況に応じて運転者に適切な報知を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は車両の縦列駐車や車
庫入れ等の駐車を補助する駐車補助装置に関するもので
あり、特に、後方画像をカメラにより撮影し、駐車区画
を認識して車内のモニタディスプレィに後方画像と共に
走行予想軌跡(誘導路ともいう)を表示させたり、音声
出力により駐車時の操作を補助する駐車補助装置に係わ
る。
【0002】
【従来の技術】従来、縦列駐車や車庫入れ等の駐車に不
慣れなドライバーを対象として、駐車操作時に駐車を補
助する方法が知られている。例えば、特開平7−173
28号公報では車体の周囲にCCDカメラや距離測定を
行う距離センサを設け、車両の周辺の様子を探知し、車
両の室内に設けられたディスプレィ上に車両周辺の周辺
画像を鳥瞰図的に表示してドライバーに周囲の状況を提
供している。
【0003】また、特開昭59−201082号公報に
おいては、ステアリング舵角をステアリングセンサによ
り検出し、検出した自車の位置と予め入力された駐車に
関する所定のデータに基づき、駐車操作時のステアリン
グ操舵角を計算して簡易なディスプレィに操舵角と操舵
に必要な指示角を表示するものや、特開平8−2357
号公報に示されるものでは車両の後方に設けられた物体
検知用の測距センサにより、障害物(特に、駐車しよう
とする駐車スペースの隣りに駐車している車等)との距
離をはかり、その距離に応じて最大舵角による転舵開始
位置を検出し、転舵開始位置をドライバーに報知する方
法、および、特開平6−234341号公報においては
CCDエリアセンサやステアリングセンサを用いて自車
を誘導する誘導路を算出し、求められた誘導路と現在位
置に基づき、ドライバーに舵角指示を音声メッセージに
より与えるものが知られている。
【0004】更に、駐車場において車両を的確に駐車区
画に誘導する場合、車両と駐車区画との相対的な位置関
係を認識する必要があり、駐車区画の認識のために画像
認識装置を使う方法がある。従来では車両側に設けられ
たCCDカメラで後方画像を撮像し、得られた画像を処
理してて駐車区画を検出し、車両と駐車区画の相対的位
置関係を計測してバック開始位置と適性ステア量を演算
する方法が取られている。
【0005】例えば、特開平6−111198号公報に
おいては、車両に搭載されたCCDカメラを使って、車
両周囲の駐車空間を含む所定領域を撮影し、方位ごとに
物体までの距離データを算出し、その中で最もカメラに
近い距離データを有する成分を駐車場入り口と判断す
る。
【0006】また、特開平6−187597号公報にお
いては、駐車空間(駐車場入り口)が複数存在する時、
接触の可能性と操舵回数をシミュレートして接触がな
く、最も操舵回数が少ない駐車空間を選択してドライバ
ーに教示している。
【0007】
【本発明が解決しようとする課題】しかしながら、特開
平6−111198号公報に示されるものでは、カメラ
の視野に存在する全ての駐車区画を検出し、その中か
ら、駐車に最適な駐車区画を選択する方法を取ると、画
像処理の負担が増大するため、高速に処理しようとする
と構成が大掛かりとなってしまう。
【0008】また、特開平6−187597号公報に示
されるものでは、シーンの中に複数の駐車区画があると
き、どの駐車区画を特定して駐車の可能/不可能の判断
をすればよいのか、また、どの駐車区画に駐車したいの
かはドライバーがなんらかの意図をもって判断すること
であり(例えば、建物の入り口に近い方を選ぶ、隣の車
との間隔が広いなど)、ドライバーの意図する駐車区画
を一義的に決定できない。また、あるひとつの駐車区画
が写っていてもドライバーはその駐車区画に駐車する意
図があるのかわからないという問題が残ってしまう。
【0009】そこで、本発明は上記の問題点に鑑みてな
されたものであり、ドライバーの駐車する意図を的確に
読み取り、画像処理の負担を小さくし、簡単な構成によ
りドライバーの駐車補助を適切に行うことを技術的課題
とする。
【0010】
【課題を解決するための手段】上記の課題を解決するた
めに講じた技術的手段は、車両の後方を撮像するカメラ
と、車内に設けられカメラからの映像を表示する表示器
と、車両の操舵状態を検出する操舵状態検出手段と、カ
メラからの映像を基に画像認識により駐車区画を識別す
る駐車区画検出手段と、操舵状態検出手段からの情報に
より車両の走行予想軌跡を算出する走行予想軌跡算出手
段と、走行予想軌跡と駐車区画からの情報により駐車を
補助する情報をドライバーに提供する報知手段とを備え
た駐車補助装置において、走行予想軌跡を表示器に表示
させ、走行予想軌跡の表示位置を基準として走行予想軌
跡周辺の駐車区画白線を所定領域のウインドウで検出す
るウインドウ手段と、ウインドウ領域内に白線が存在す
る場合に白線の位置と方向を検出する白線検出手段、白
線検出手段の検出結果より白線の特徴や幾何学的配置に
よって駐車区画を検証する駐車区画検証手段とを備えた
ものとした。
【0011】上記の構成により、走行予想軌跡を表示器
に表示させ、走行予想軌跡の表示位置を基準として走行
予想軌跡周辺の駐車区画白線を所定領域のウインドウで
検出し、ウインドウ領域内に白線が存在する場合に白線
の位置と方向を検出して、その検出結果より白線の特徴
や幾何学的配置によって駐車区画を検証するため、従来
のようにカメラ視野の全領域に対して白線を検出しなく
てもよくなるため、画像処理の負担が大きく低減され
る。このため、画像認識装置の処理能力は従来に比べ高
性能なものは必要なく、画像処理におけるコストを低減
することが可能となる。
【0012】また、駐車操作時の走行予想軌跡に近い駐
車区画の白線を認識するため、ドライバーがどこの駐車
区画に駐車しようとしているかの意図を反映した駐車区
画の検出を行い、ドライバーに対して適切な駐車補助が
行える。
【0013】ウインドウは走行予想軌跡の左右に設けら
れ、左右一定間隔になるよう設けられるようにすれば、
ドライバーがどこの駐車区画に駐車したいかといったド
ライバーの意志が反映され、走行予想軌跡に対応した領
域でウインドウの設定が可能となる。
【0014】尚、ウインドウは走行予想軌跡の左右のみ
ならず、走行予想軌跡の先端、左右上下方向に設けるこ
ともできる。
【0015】また、走行予想軌跡が湾曲し、予想軌跡の
端線上に設定したウインドウが白線から外れた場合に一
部の白線が検出できると、検出された白線の延長線上に
ウインドウを設けるようにすれば、駐車区画の白線が存
在する位置に確実にウインドウを設けることが可能とな
り、画像処理の負担をより低減することが可能となる。
【0016】一旦、駐車区画が検出された場合には、駐
車区画の白線を包含する追跡ウインドウを設定し、追跡
ウインドウ内において走査することにより白線検出を行
うようにすれば、駐車時の運転操作により駐車区画の白
線からずれた場合でも追跡ウインドウにより白線を検出
し続けることが可能となる。
【0017】この場合、追跡ウインドウは白線の位置に
追従させるようにすれば、白線を確実にとらえて検出す
ることが可能となる。
【0018】更に、報知手段は表示器および特に音声に
より操舵タイミング、操舵方向、操舵量の少なくとも1
つが報知されるようにすれば、ドライバーに対して駐車
に関する情報を、後方を目視確認しながらでも提供する
ことが可能になる。
【0019】
【発明の実施の形態】以下、本発明の実施形態を図面を
参照して説明する。
【0020】図1は、駐車補助装置1のシステム構成図
である。この図において駐車補助装置1を制御するコン
トローラ16には車両の後方を撮影するCCDカメラ
(以下、カメラと称す)17、ステアリングホイール
(以下、ステアリングと称す)21の操舵角を検出する
ステアリングセンサ2、トランスミッションのシフトレ
バーのリバース(後退)状態を検出するシフトレバーリ
バーススイッチ3、駐車操作時に駐車アシスト機能を動
作させる駐車スイッチ4、および、従動輪の左右の車輪
速度を検出する車輪速センサ5,6からの信号が入力さ
れ、これらの信号を基にコントローラ16はディスプレ
ィ13上に車両の後方画像と後述する走行予想軌跡20
を重ねて表示できるようになっている。また、この装置
1では音声合成回路7により音声合成出力がスピーカ8
からドライバーに対して、音声が発せられ駐車操作時の
補助を行えるようになっている。
【0021】コントローラ16の内部には制御を司るC
PU11、ディスプレィ13にグラフィックスを描画す
るグラフィックス描画回路12、グラフィックス信号と
カメラ17からの後方画像を重ね合わせるスーパーイン
ポーズ回路9、カメラ画像から同期信号を抽出してグラ
フィックス描画回路12へ供給する同期分離回路10、
カメラ17からの画像信号を受けて駐車区画30(特
に、白線31)の画像認識を行う駐車区画検出用画像認
識装置15等が具備されている。
【0022】ディスプレィ13上にはステアリング21
の舵角状態により点灯状態が変化する舵角状態表示(表
示マーカー)14が左右対称に設けられ、ステアリング
舵角が大きいときに表示マーカー14は転舵している方
向に多く点灯したり、中立点では中央のマーカー14の
みが点灯するようになっており、ステアリング21がど
れだけ転舵されているかが後方画像と共ににわかるよう
になっている。つまり、表示マーカー14は駐車操作時
の操舵タイミング、操舵方向、操舵量が表示され、ドラ
イバーに対して知らせることができる。
【0023】図2は、駐車補助装置1を車両に取り付け
た場合の取付図を示す。後方を撮像するカメラ17は車
両後方のナンバープレートの上中央付近に取り付けら
れ、光軸を下方に向けて設置される。具体的には、図3
および図14に示されるように、車両後方の中央に下方
(約30度)に向けて取り付けられ、カメラ自体は広角
レンズにより左右140度の視野を確保し、後方8m程
度までの領域を撮影できるようになっている。
【0024】また、車両の室内のセンターコンソールに
はパネル面にディスプレィ13が備え付けられ、グロー
ブボックス上方にはコントローラ16が内部に取り付け
られている。更に、駐車を補助する要求を出す駐車スイ
ッチ4は、ドライバーが操作し易いセンターコンソール
近傍に設けられる。
【0025】ここで、ステアリングセンサ2について図
4を参照して説明する。ステアリングセンサ2はステア
リング21を転舵した場合の舵角(ステアリング舵角)
を検出するものである。これはステアリングコラムシャ
フト23と一体回転するようにスリット板2aが取付け
られており、90°の位相差がついた2組のフォトイン
タラプタ2c,2bが取付けられている。この構成にお
いて、ディスク板2aに円周状に設けられた複数のスリ
ットの回転により、光を通過または遮断してフォトトラ
ンジスタをオン/オフさせることにより、A相、B相の
2つの信号パルス(図4の(c)参照)を出力してい
る。これは、ステアリング21の回転方向によりA相に
対し、B相は90°位相が遅れるか、または、進んで出
力されるようになっており、ここでは、ステアリング角
度が1°/パルスのものを用いている。
【0026】次に、図5を参照してコントローラ16の
処理について説明する。コントローラ16は電源オン
(アクセサリスイッチがオン)により図5に示すプログ
ラムはスタートする。
【0027】ステップS101ではこの処理に必要なメ
モリに各種初期値を設定する。その後、ステップS10
2でシフトリバーススイッチ3の状態をチャックし、リ
バースでないならば、ディスプレィ13の表示をステッ
プS115でやめ、ステップS102に戻る。一方、シ
フトリバーススイッチ3がオン(リバースレバーの状
態)になるとステップS103を行う。ステップS10
3ではディスプレィ13をカメラ画像モードに切り換え
て、車両後方の画像を生画像で表示できるモードにす
る。つまり、後方の状態を生画像により正確に表示でき
るため、後方を横切る人や物等を確認できる。
【0028】次に、ステップS104において駐車操作
時に駐車を補助する駐車スイッチ4をチェックする。こ
こで、駐車スイッチ4の状態がオフ(駐車補助要求がな
い状態)であれば、ディスプレィ13のグラフィック画
面をステップS112でクリヤしてディスプレィ13に
は後方の生画像表示のみ(図1において後述する走行予
想軌跡20が表示されない状態)とし、ステップS10
2に戻る。
【0029】一方、ステップS104において駐車スイ
ッチ4がオン(駐車補助要求がある状態)であるなら
ば、ステップS105に進み、ステップS105では音
声合成回路7に予め決められた音声信号出力をし、スピ
ーカ8より音声出力を行う。即ち、駐車操作を開始した
ことを状況に応じて、「駐車アシストします。軌跡を希
望の位置に合わせて、周囲に注意しながらバックして下
さい。」、「ただいまより、駐車ガイドを開始いたしま
す。画面の緑(走行予想軌跡)の表示の先端が、駐車区
画に向かうように、ハンドルを回して下さい。」、「右
(左)にご注意下さい。」等の予め決められた音声メッ
セージで、ドライバーに対して音声合成により案内を行
う。この音声メッセージを聞いて、ドライバーは駐車操
作時の補助が開始されたことを知ることができる。
【0030】次に、ステップS106においてステアリ
ングセンサ2からステアリングセンサ値Nを読み込み、
その値を基に駐車操作時の旋回半径Rの算出を行う。具
体的には、ステアリングセンサ2の読み込みをA相信号
の立ち上がりエッジ検出時にメインプログラムに割り込
みを発生させ、図6に示す割り込み処理を実行する。つ
まり、図6のステップS201においてB相信号の状態
をチェックし、B相信号がハイ(H:高電位)なら、ス
テップS202においてステアリングカウント値Nをイ
ンクリメントし、ロー(L:低電位)ならデクリメント
してその値をメモリに記憶する。この場合、ステアリン
グカウント値Nは、1パルスが1°のため、θ=Nとな
る。しかし、上記に示すステアリング値Nのカウントの
みではステアリング21の絶対舵角が不定となってしま
うため、図7に示す方法によりステアリング舵角の中立
点を検出し、N=0として中立点を決める。
【0031】そこで、図7を参照して中立点決定につい
て説明する。この処理では1秒周期のタイマ割り込みで
実行される。ここでは、通常、車輪に備えつけられてい
る公知の左右の車輪速センサ5,6からの信号により車
体速度も算出する。ステップS301,ステップS30
2では左右の車輪速センサ5,6からの信号(パルス)
はコントローラ内部のCPU11に内蔵されたハードウ
ェアカウンタによりカウントされ、このタイマ割り込み
ルーチンで左右の車輪速が読み出され、車輪速センサ値
が記憶されるメモリのNR,NLに記憶される。読み出し
の後、カウンタ自体はクリアされ、NR,NLは1秒毎の
パルス数を示すものとなる。
【0032】次のステップS303においてNR,NLか
らその平均値(NR+NL)/2を演算し、この値にタイ
ヤの周長を乗算し、公知の方法により容易に車速Vが求
められる。次に、ステアリングセンサ2の基準設定であ
るが、ステップS304からステップS306では車速
V、所定速度(10Km/h)以上の時に左右の車輪速
センサ5,6のパルス差がほとんどない状態をもって車
両が直進状態であるとみなし、ステップS306でステ
アリングカウンタNを零にしてリセットすることで、ス
テアリング舵角の中立点が求められる。
【0033】ステアリング処理が終了すると、図5のメ
インルーチンに戻り、ステップS107において走行予
想軌跡20のパラメータ演算を行う。走行軌跡パラメー
タ演算は図11に示される幾何学的な関係から旋回半径
Rをステアリング角度θとホイールベースLとから求め
るものである。
【0034】その後、ステップS108においてカメラ
17の画像を画像認識装置15に取り込み、ステップS
109において区画線検出処理を行う。
【0035】この区画線検出処理は図8に示される方法
によりなされる。カメラ17より入力された画像は、例
えば、白黒画像(640×480ドットサイズ)であ
り、各点は0〜255のグレースケールをもつものとす
る。
【0036】ステップS401において公知の技術より
駐車区画30の特徴点となる白線31のエッジ検出を行
う。具体的には公知のソーベルフィルタにより白線31
のエッジを検出し、適当なしきい値を上回っている部分
のピークを検出して境界を構成するエッジ点を抽出する
方法をとる。この場合、白線の認識が画像認識により駐
車区画の特徴点を容易に検出できる。次に、ステップS
402においては、これらエッジ点に対し図15に示さ
れる路面座標への変換を行なう。この座標系にてステッ
プS403で直線検出を行っている。この直線を求める
方法には、公知のHough変換を用いれば検出が可能
となる。
【0037】このHough変換による直線検出は、カ
メラ17により撮像された駐車区画30の白線31のエ
ッジを検出した後、(X,Z)平面に逆変換されたエッ
ジ点の集合から直線を検出する場合に使用する。つま
り、これは公知の技術であり、簡単に説明するとその変
換は、各エッジ点を(x,y)とすると、次のようにな
る。
【0038】 X=x・Hc/(fsinθ−ycosθ)・・・(1) Z=Hc・(ycosθ+fcosθ)/(fsinθ−ycosθ)・・・( 2) u=X・・・(3) v=−Z・・・(4) p=ucosθ+vsinθ・・・(5) による。即ち、この変換を行うために、先ず各エッジ点
を(X,Z)座標で記述するために(1),(2)式の
変換を行う。
【0039】次に、Hough空間として、(ρ,θ)
を使用し、各エッジ(X,Z)に対して(3)〜(5)
式を使用してρを計算する。この時、(ρ,θ)空間上
にθ=−π/2〜π/2の間でHough曲線データを
投票する。これは実際にはρ,θ空間を格子状に分割
し、2次元マトリックスに対応付けて、θを変化させて
対応する各マトリックス値ρをインクリメントする操作
に対応する。
【0040】このようにして、全ての候補エッジ点に対
して、マトリックスへの投票を行わせると候補となる線
分に対しては曲線の交点が集中する結果、マトリックス
値が大きな値をもつようになり、あるしきい値等により
適当なマトリックス位置(ρ,θ)が選定され、これに
対応して各々1本の直線を抽出することができる。
【0041】そこで、直線検出後、図8に戻りステップ
S404においてHough変換により検出された直線
から駐車区画30を構成する候補となる線分を抽出す
る。具体的には図17に示されるように、Lm:車体長
さ、Wm:車幅、lm:後輪車軸とカメラとの距離、R
min:車両の最小回転半径とした場合、図10に示され
るように車両後端部中心(カメラ位置)から駐車区画3
0の入口までの距離D、車両後端部中心(カメラ位置)
の駐車場中心に対する横ずれ距離(センターずれ)L、
車両と駐車区画との角度(車体角度)θmを幾何学的な
関係から求めることができる。
【0042】ここでは、図17のC,D、E、Fの線分
を角度および並びの順序、そして駐車区画幅W1と白線
幅W2との比較で、許容範囲内のものを抽出する。
【0043】次に、ステップS405においては、側線
候補(白線)が見つかったか否かをチェックし、側線候
補がない場合にはこの処理を終了するが、側線候補有り
の場合にはステップS406において、側線に直交する
直交成分の検出処理を行う。つまり、これは図17にお
いては、A,Bの仮想線分の探索に対応する。
【0044】次にステップS407において直交線分候
補がない場合には、この処理を終了するが、直交成分候
補が有りの場合は、ステップS408においてL,θ
m,Dを計算して求める。尚、このL,θm,Dを求め
る具体的な計算方法は図17から幾何学的な関係により
算出することができるため、その求め方は省略する。
【0045】この場合、図8に示されるHough変換
を用いて駐車区画30の区画線を検出する以外に、以下
に示すように画像処理の負担を減らした方法によって
も、駐車区画線の検出が可能である。
【0046】そこで、画像処理の負担を減らした別の区
画線検出処理について説明する。
【0047】図21において、まず最初にステップS6
01で駐車区画30が検出されたかが判定される。ここ
で、駐車区画30が未検出の場合には、ステップS60
2の駐車区画探索処理を行って駐車区画30の検出を試
みるが、既に駐車区画30が検出されている場合には、
ステップS603において検出された駐車区画30か
ら、駐車区画追跡処理を実行する。
【0048】そこで、図24を参照しながら、駐車区画
探索処理について説明する。ステップS701では走行
予想軌跡パラメータの設定を行う。このパラメータ設定
においては、駐車操作時にステアリング舵角を用いて算
出を行う走行予想軌跡20は、旋回半径Rを中心として
一定の幅を持たせたものであり、駐車区画30の白線3
1の間隔が通常では2.2m〜2.4m程度であること
から、走行予想軌跡20の幅は2.0m〜2.2mに設
定する。
【0049】ステップS702では既に走行予想軌跡2
0の座標系がわかっていることから走行予想軌跡20の
側線座標の演算を行う。次のステップS703では、駐
車区画30の白線を検出するウインドウ(探索ウインド
ウともいう)26の位置と方向を設定し、設定された条
件の基でウインドウ26をディスプレィ13の画面上に
設定する。尚、ウインドウ26はスイッチ等の外部操作
により、ディスプレィ上に直接表示されても、画像処理
の中の検出枠のためにディスプレィ上に表示されなくて
も良い。具体的に、駐車区画30の白線31を検出する
ウインドウ26の設定は、図22に示される。
【0050】ウインドウの数は走行予想軌跡20の左右
の線20a,20bの上で、2次元または3次元路面上
で一定距離間隔となるように左右にウインドウ(右ウイ
ンドウ群、左ウインドウ群)26を配置する。ここで
は、3次元的にウインドウ26の設定を行っている。
【0051】また、左右のウインドウ26の長さは3次
元路面で走行予想軌跡20の端面から駐車区画30の白
線31までの距離(ここでは、50cm)に相当する長
さのウインドウ30を画面内に設定する。更に、ウイン
ドウ26の幅はウインドウ26の数にも依存するが、所
定以上のサンプル数(例えば、左右それぞれ30個)が
確保できる幅とする。
【0052】次にステップS704では走行予想軌跡2
0の側線20a,20bの側線勾配が所定角度(例え
ば、45°)と比較がなされる。ここで、走査方向は走
行予想軌跡20の境界線の傾きに応じて決まるものであ
り、側線勾配の傾きが45°よりも小さければ、ステッ
プS405aにおいて走査方向を垂直方向とし、傾きが
45°以上であればステップS706において水平方向
に走査する。またこの場合、境界線の傾きに係わりな
く、水平/垂直走査の両方を行ない、それぞれの結果を
加算してもよい。
【0053】ステップS709ではエッジ検出、ステッ
プS710では白線検出がなされ、ステップS711に
おいて白線を検出した後、ステップS712ではウイン
ドウ26から白線31が外れてしまったかが判定され
る。つまり、ここでの処理は走行予想軌跡20が湾曲
し、走行予想軌跡20の端線上に設定したウインドウ2
6が白線31から外れてしまった場合、一部の白線31
が検出できると、図22の(c)に示めされるように、
ステップS713において白線31の延長線上にウイン
ドウ26を設け、ステップS709からの同じ処理で、
この新たに設定されたウインドウ内で白線エッジを検出
する方法をとる。
【0054】これは、ウインドウ群(ウインドウA)W
n, Wn-1, Wn-2, Wn-3, ・・・, Wn-iで、白線エッジが検出
でき、ウインドウ群Wn-j、・・・・・Wn-kの範囲では白線エ
ッジが検出できなかったことを検出し、ウインドウ群W
n, Wn-1, Wn-2, Wn-3, ・・・Wn-iで検出した白線エッジ点
列に直線を当てはめて、直線の方程式を求める。
【0055】ここで、ウインドウ位置での走行予想軌跡
20と、当てはめた直線までの間隔dがWn-j、・・・,Wn-k
に向かうほど大きくなっていくときは、走行予想軌跡2
0の曲率半径が小さいために、ウインドウ26が白線3
1の存在する位置から外れてしまったと判断し、当ては
めた直線上に新たなる Sm、・・・・・Sm-iなるウインドウ2
6を設定する。ただし、Sm-iは、Wnからの相対距離が最
大検出距離(例えば、駐車区画30の白線31の長さ5
m)を超えない範囲とする。
【0056】つまり、画像処理の技術を用いて最初に白
線31のエッジ検出を行うのであるが、このエッジ検出
は、左ウインドウ群の中の1つのウインドウ内で後述す
るエッジ検出オペレータを走査させ、プラスとマイナス
のエッジペアを検出する。その後、1つのウインドウ内
で走査を繰返し、複数のエッジペアを検出し(ウインド
ウが幅を持っている場合、幅に比例した回数だけ走査す
る)、左ウインドウ群の他のウインドウにおいても同様
に走査し複数のエッジペアを検出し、右ウインドウ群に
ついても同様の走査を行う。この場合、エッジ検出オペ
レータは、図23の(a)に示されるような1次元のエ
ッジ検出オペレータ、あるいは、(b)に示されるよう
な2次元のエッジ検出オペレータ(プレビッツオペレー
タ)を用いて検出することが可能である。このエッジオ
ペレータは画像処理の分野においては公知のもので、近
傍領域内の濃度の和を求めるため、上下左右の画素に対
角線上のものより大きな重みを与えている。また、最適
あてはめによるエッジ検出があり、これは検出したエッ
ジの理想的なモデルを想定し、与えられた画像の局所領
域内の濃度変化パターンに最もよく合致するようなエッ
ジモデルのパラメータを求め、出力の値は最適なエッジ
モデルにおける濃度差から計算する方法もある。
【0057】その後、ステップS712においてウイン
ドウ26から白線31は外れていない場合にはステップ
S714において駐車区画30の検証を行う。ここでの
駐車区画30の検証は、例えば、ウインドウ群で取得し
たエッジペア群の中で、プラスエッジ群とマイナスエッ
ジ群に対してそれぞれ直線を当てはめる直線あてはめを
左右のウインドウ群に対して行う方法をとっており、幾
何学的な形状認識も同時に行う。これは、検出された直
線を3次元路面上の直線として逆投影変換し、プラスエ
ッジ群に当てはめた直線とマイナスエッジ群に当てはめ
た直線の間隔を測定する。通常、駐車区画30の白線3
1は白線間の幅が10cm、または15cmで描かれて
いるため、測定した結果がこの値に一致していれば、白
線31であると認める。更に、ここでは、左ウインドウ
群から検出した白線31と右ウインドウ群から検出した
白線31との間隔が2.2m〜2.4mであれば、それ
らの2つの白線31が駐車区画30を構成する左右の白
線31であると認めるものであるその後、ステップS7
14では駐車区画30が検出された場合には、ステップ
S716において、図8のステップS408に示したの
と同様の演算を行って、L,θm,Dの算出を行い、駐
車区画30に対する車両の位置と姿勢を求める。
【0058】このように、走行予想軌跡20の表示位置
を基準として走行予想軌跡周辺の駐車区画30の白線3
1を所定領域のウインドウ26で検出する方法をとれ
ば、従来のようにカメラ視野の全領域に対して白線を検
出しなくてもよくなるため、画像処理の負担が大きく低
減でき、画像認識装置の処理能力は従来に比べ高性能な
ものは必要なく、画像処理におけるコストを低減でき
る。また、駐車操作時の走行予想軌跡20に近い駐車区
画30の白線31を認識するため、ドライバーがどこの
駐車区画30に駐車したかの意図を反映した駐車区画3
0の検出が行えるものとなる。
【0059】しかしながら、上記の方法による駐車区画
30の白線検出のみでは、駐車操作時のステアリング操
作により予想軌跡20を駐車区画30に合わせたときに
は白線31を検出できるが、予想軌跡20が駐車区画3
0から外れるようなステアリング操作をした場合には、
駐車区画30の白線31が検出途中で急に検出できなく
なってしまうことから、図25に示す駐車区画線追跡処
理を行う。
【0060】そこで、次に駐車区画追跡処理について説
明する。ここでは、駐車区画30の白線の直線パラメー
タに基づく追跡ウインドウ27の設定を行うものであ
る。駐車区画探索処理の段階で、既に白線31に対して
直線を当てはめており、画面上での直線のパラメータ
(位置と勾配)がわかっている。
【0061】この駐車区画線追跡処理で白線31を検出
するために、駐車区画30の1つの白線全体を包含する
大きさの追跡ウインドウ27を図26の(a)に示すよ
うに設け、この追跡ウインドウ27内で走査することに
より白線エッジを検出する方法をとる。この場合、追跡
ウインドウ27の勾配と当てはめた直線の勾配とは基本
的に一致し、エッジ検出のための走査線の走査方向は、
直線勾配が45度以上の場合は水平走査、45度よりも
小さい場合は垂直走査とする。
【0062】追跡ウインドウ27の設定は、具体的には
以下の手順で実行するが、ここでは例えば、直線勾配が
45度以上の水平走査を行う場合について説明する。
【0063】図26において前回のサンプリングで測定
した白線の始点座標を(Xs,Ys)、終点座標を(X
e,Ye)とすると、追跡ウインドウ27のy方向の上
端YwuはYs−α、下端YwlはYe+αとして表わ
せる。この場合、αは、例えばディスプレィの画面座標
値で10〜50の範囲内の固定値、若しくは、3次元路
面上で50cm相当等に設定することができ、白線31
に対して画面上のどれくらいの範囲で追跡ウインドウ2
7を表示させたいかは、パラメータにより任意に設定で
きる。ここでは白線31の長さに着目し、例えば、α=
(Ye−Ys)/10とする。一方、追跡ウインドウ2
7の幅は3次元路面上で所定値(約50cm)、若しく
は、2次元画面上で所定値(画面上の白線の幅以上の
値)とし、走査線の中央が白線の中央位置にくるように
設定する。
【0064】追跡ウインドウ27が設定されたら、画面
上の上から下に向かって順に走査して白線31を検出す
るのであるが、この場合には、図26の(a)に示すよ
うに、追跡ウインドウ内で白線31の両端(白線31の
長手方向の端)を始点・終点として検出し、駐車操作時
には常に新しい始点・終点を更新し、始点・終点間で検
出したエッジ点列に直線を当てはめ、直線パラメータも
更新する。
【0065】得られた新しい始点・終点と直線パラメー
タ(直線の方程式)は、次の画面でのウインドウ設定時
に用いられるが、この操作を繰り返して処理を行なうこ
とにより、追跡ウインドウ27を白線31の位置に常に
合わせて移動させ、駐車操作状態に応じて、追跡しなが
ら白線31を検出するため、途中で白線検出が急に途切
れることが防止される。
【0066】尚、この処理において直線の勾配が45度
より小さく、垂直走査する場合には、縦横の走査関係を
変えれば、同様な処理が可能であることは言うまでもな
い。また、上記の如く駐車区画30の1本の白線全体を
包含する追跡ウインドウ27を設定する。この場合、左
右両側に白線31が見えているときには、両側の白線3
1に追跡ウインドウ27を設定する。追跡ウインドウ内
を走査して白線エッジを検出するものに限定されず、図
26の(b)に示す如く駐車区画30の1本の白線31
に対して探索時に設定するウインドウ26の如く、複数
の追跡ウインドウ27を設定して、各追跡ウインドウ2
7毎に白線エッジの有無を検出する様にしても、図26
の(a)と同様の効果を奏する。
【0067】次に、白線31の端点検出方法を簡単に説
明する。白線31のエッジ検出は図27の(a)に示す
ように、前回の画面で白線31に当てはめた直線を交差
する方向(縦方向)に走査し、その直線の両側で白線の
エッジ点が検出されたときは、その位置は白線上にあ
る。具体的には、白線が存在しない位置から白線上の位
置まで走査線が移動する場合、現走査線位置が白線上に
なく、順次、走査位置をずらしていったときに白線エッ
ジが検出されたとき、その位置を白線の端点(始点)と
みなし、白線上の位置から白線31が存在しない位置ま
で走査線が移動する場合、現走査線の位置が白線上にあ
って、順次、走査位置をずらしていったときに白線エッ
ジが検出できなくなったとき、その直前に白線エッジが
検出できた位置を白線の端点(終点)とみなす。
【0068】ここで、白線エッジとは3次元的な換算を
行ったときに、実際の白線幅が10cm、または15c
mであることから、エッジ間隔が10cm、または15
cmであるエッジの組をいう。また、走査して得られた
濃度信号の微分により、エッジペアの一方がプラス
(+)エッジ、他方がマイナス(−)エッジである組合
せから白線を検出しても良い。更に、白線31の検出精
度を増すために、白線31の端点(始点/終点)を検出
すると、今度がその直交方向に走査して、直行方向の線
分を検出し、白線31の端点の境界を検出して、その境
界が端点であることを検証する方法も取られる。
【0069】また、図6の(b)に示すように、それぞ
れのエッジ点列に当てはめた直線A〜Cの3次元的な配
置を測定した後、直線Cが3次元座標において、直線A
および直線Bと直交することを検証すれば、より白線認
識の精度が向上する。更には、図7の(c)に示すよう
に濃度パターンによる検出方法もとることができる。こ
の方法は、白線31が存在しない場所における走査線1
では濃度があまり変化せず、白線31が走査途中に存在
する(白線31にかかる)走査線2の位置では、路面
(白線に対して暗い)−白線(明るい)−路面(白線に
対して暗い)に対応した濃度パターンの変化が表れるこ
とで、白線検出をことが可能となる。この場合におい
て、画面の左から右へ走査する場合、まず、白線の左端
に差し掛かるまで(+エッジが出現するまで)のa領域
の濃度aを測定し、+エッジが出現して次に−エッジが
出現するまでのb領域の濃度bを測定する。また、−エ
ッジ以降のc領域の濃度cも測定する。そこで、|濃度a
−濃度c|<設定値であり、濃度a<濃度bかつ濃度c<濃
度bであることが検証できれば、その濃度分布が生じた
走査線上には白線が存在しているとみなすことができ
る。
【0070】以上、説明したことをフローチャートに基
づいて説明すると、駐車区画線追跡処理のフローチャー
トは図25のようになる。
【0071】このフローチャートにおいてステップS8
01では、直線パラメータに基づく追跡ウインドウ27
の設定がなされ、白線31を包含する追跡ウインドウ2
7が図26に示すような形で設定される。この追跡ウイ
ンドウ27はディスプレィ面上にスイッチ操作により表
示したり、表示を消したりするように切り替えられるよ
うになっている。次のステップS802において走査線
番号にy方向の走査を開始する先頭座標を設定すること
で、走査開始位置の設定がなされる。その後、ステップ
S803において走査線番号をインクリメントしてゆ
き、y方向において上から下への走査がなされる。ステ
ップS804において図27に示す方法により駐車区画
30の追跡ウインドウ内における白線エッジの検出がな
され、ステップS805において始点が検出されたかが
判定される。この始点検出は、走査線を順に走査してゆ
き、濃度信号を微分して+エッジおよび−エッジが初め
て検出された点を始点Ysとしている。ここで、始点が
まだ検出されない場合にはステップS803に戻り、始
点Ysが検出されるまでステップS803からの処理を
繰り返す。一方、ステップS805において白線31の
始点Ysが検出された場合には、ステップS806にお
いて新始点位置として白線31の始点位置の走査線番号
を設定し、始点位置がメモリに記憶される。この新始点
位置の設定により、走査時における白線31の始点位置
の設定がなされる。
【0072】その後、ステップS807において走査線
番号をインクリメントし、白線31が存在する位置で走
査線を順にy方向に走査してゆき、ステップS808に
おいてステップS804と同様の白線エッジの検出を行
う。次に、ステップS809において始点Ysから走査
し続けた後、白線31の終点Yeが検出されたかが判定
される。ここで、白線31の終点がまだ検出されない場
合(白線31を検出し続けている場合)にはステップS
807に戻り、白線31の終わりを継続して検出し、終
点Yeが検出されるまで白線エッジの検出を行う。一
方、終点Yeが検出された場合には、ステップS810
において今度は新終点位置として白線31の終点の走査
線番号が設定され、終点位置がメモリに記憶される。
【0073】その後、ステップS811において走査に
より検出された走査線毎にエッジ点列に対して直線を当
てはめ、+エッジから求めた直線と−エッジから求めた
直線を算出し、その中間線を求めそれを駐車区画30の
白線31の中心線とする。この中心線を駐車操作時にお
いて駐車補助を行う場合の基準線とするが、−エッジか
らの直線を白線31の基準線とすることも可能である。
【0074】その後、ステップS812において常に最
新の追跡ウインドウ27の設定を行うために、直線パラ
メータの位置方向、長さ、端点位置の更新がなされ、ス
テップS813においてL,θm,Dが算出され、駐車
区画30に対する車両の位置と姿勢を求める。
【0075】次に、図9を参照して車両の状態判断につ
いて説明する。
【0076】ステップS501において、駐車区画が検
出されたか否かをチェックし、区画検出がされていない
場合にはステップS512において不明と判断し、不明
フラグをセットする。一方、区画検出がされた場合には
ステップS502に進み、センターずれL,車体角度θ
mから、基準となる旋回半径R0を求める。これは図1
7に示した(条件1)式で示されるもので、駐車区画3
0の中心軸と車両中心軸とに共に接する円の半径を求め
ることになる。この場合には、車両の進行方向に向かっ
て右側に旋回中心がある場合には、半径R0は正とな
る。
【0077】次に、ステップS503において旋回半径
R0を車両の最小回転半径であるRminと比較し、これ
より小さければ車両は駐車区画30に進入不能となるた
め、ステップS511において不能と判断し、駐車不能
フラグをセットする。ここで、旋回半径R0がRmin以
上で駐車可能であれば、ステップS504に進み、図1
7に図示したdを(条件2)式により計算する。これは
旋回のための半径R0の軌跡より駐車区画30内の適切
な位置で車両が平行になれるかを判断するものであり、
ステップS505においてd<Lm−lmの条件下にお
いて駐車が可能であるかを判断する。尚、このステップ
S505に示す条件が成立しない場合には、車両は駐車
区画30に入っても平行にはならないものとなる。
【0078】次に、ステップS506に進み、条件3を
チェックする。つまり、図17の条件3に示す関係式で
Rxを求める。これは車両が駐車区画30に進入する際
に旋回の内側が駐車区画コーナー部と干渉しないかをチ
ェックするものであり、ステップS507においてRx
<|R0|−Wm/2の条件が成立すれば、車両の旋回
の内側が隣りの車両等と接触する可能性が少なくなると
みなすことができる。しかし、これはあくまで計算上の
基準であり、実際には隣接車両のはみ出し等も考えら
れ、目視での確認が必要となる。よって、以上の条件式
(条件1から条件3)が成立すれば、ステップS508
に進む。
【0079】ステップS508においては現在のステア
リング舵角に基づく旋回半径Rと基準半径R0とを比較
して略一致していれば、ステップS509においてこの
ままのステアリング舵角で駐車可能とし、駐車可能フラ
グをセットする。一方、旋回半径Rと基準半径R0が略
一致しない場合には、ステップS510においてステア
リング修正は必要とみなし、ステアリング修正フラグを
セットとする。但し、図20に示すようにR0>Rmin
の場合には自由度があり、状況によってはステアリング
修正は不要となる。
【0080】この結果を基に、図5のステップS111
では音声出力2を行う。ここでの音声出力2は、ステッ
プS110の状態判断によりセットされたフラグによ
り、予め定められた文章を発してドライバーに対して報
知するものである。具体的には、図19に示されるよう
に状態判断により「不明」の場合には、「駐車区画を検
出していません」、「不能」の場合には「前に進んでも
う一度やり直して下さい」、このままの舵角で駐車が可
能な場合には「周囲に注意してそのままバックして下さ
い」等の音声メッセージを、音声合成回路7からスピー
カ8に対して出力する。この場合、走行予想軌跡20を
ディスプレィ13に表示する場合の場合の色の指定も図
19に示される表示色に設定される。
【0081】次に、ステップS112においてグラフィ
ックス再描画処理を行う。ここでの処理は後方画像に走
行予想軌跡20をディスプレィ上に重ねて表示させるも
のであり、この表示を行うためには路面座標をカメラ座
標に変換しなければならないことから、以下に示す座標
変換を行う。
【0082】そこで、この座標変換は図16に示すよう
に、(X,Y,Z):路面座標、(x,y):カメラ座
標(CCD素子面)、f:レンズ焦点距離、(x’,
y’,z’):レンズ座標(z’は光軸に一致)、θ
c:カメラ取り付け角度、Hc:路面からの取り付け高
さとすると、以下のような関係式が成立する。つまり、 x=f・x’/z’・・・(1’) y=f・y’/z’・・・(2’) x’=X・・・(3’) y’=Zsinθc+(Y−Hc)cosθc・・・(4’) z’=Zcosθc−(Y−Hc)sinθc・・・(5’) より、路面上の座標のみに限定すればY=0となり、x,yを求めれば、 x=f・X/(Zcosθc+Hcsinθc)・・(6’) y=f・(Zsinθc−Hccosθc)/(Zcosθc+Hcsinθc ) ・・・(7’ ) となる。よって、路面座標上の点(X,Z)をカメラで
撮影した場合、グラフィックス画面上(カメラ座標)で
の座標(x,y)を(6’),(7’)式より求め、後
方画像に重ね合せることができる。
【0083】この場合、上記の方法により求めたx,y
の走行予想軌跡20をディスプレィ上に表示するのであ
るが、その表示方法は図12に示されるように各種の方
法が考えられる。つまり、図12の(a)では車両の左
右輪が通過する予想轍による表示する方法、(b)では
駐車時に車両が走行する走行エリアをベクトル表示する
方法、(3)は一定距離間隔(はしご間隔:50cm)
がわかるようにしたはしご状に表示する方法等があり、
ここでは(c)を用いて、駐車操作時に距離感や各位置
での車体の角度が分かり易い方法を採用している。尚、
この場合、車両予想軌跡20の長さlは固定長(例え
ば、3m)にしたり、一定の角度分とし、旋回状態(緑
色とする)と直進状態(青色とする)で色を変化させた
り、更には、予想軌跡先端部のみを区別し易い表示にし
たりする方法をとることもできる。
【0084】図18はディスプレィ13上での走行予想
軌跡20とステアリング舵角の状態を示した表示画面の
一例であり、ステアリング舵角に応答して走行予想軌跡
20が変化する状態を示したものである。これは車両の
後方の生画像をモニタし、駐車スイッチ4がオンしてい
る(駐車補助要求ありの状態)場合にのみ、ステアリン
グ舵角に応じてはしご状になった走行予定軌跡20を重
なり合って表示させるようにしている。この場合、後方
画像に走行予想軌跡20を表示させることで、ステアリ
ング21をどれだけ転舵しているかわかるようにディス
プレィ13の一部に舵角状態を表示する表示マーカー1
4を一緒に表示させているので、実際にどれだけ転舵し
ているかがわかる。
【0085】次のステップS113においては駐車スイ
ッチ4がオン(駐車補助要求あり)されているかが判断
される。ここで、駐車スイッチ4がオンされていない
(駐車補助要求がない)場合にはステップS102に戻
り、ステップS102からの処理を繰り返す。一方、駐
車補助要求がありの場合には、ステップS114におい
てリバース状態であるかをシフトレバーリバーススイッ
チ3をチェックする。ここでリバース状態でない場合に
はステップS102に戻るが、リバース状態の場合には
ステップS106からステップS114までの同じ処理
を繰り返す。
【0086】つまり、リバース状態で駐車補助要求があ
る場合にはディスプレィ上に後方画像と一緒に走行予想
軌跡も一緒に表示されるようになるため、ドライバーは
これを見てステアリング21を回し、適切な位置に保持
しバックすれば良い。駐車区画内に水平に入った段階で
ステアリングをまっすぐにし、最終端までバックすれば
正しく駐車区画30に入ることができる。これらは音声
により指示されるため、後方を見て安全確認しながらの
操作が可能となる。
【0087】
【効果】本発明によれば、車両の後方を撮像するカメラ
と、車内に設けられカメラからの映像を表示する表示器
と、車両の操舵状態を検出する操舵状態検出手段と、カ
メラからの映像を基に画像認識により駐車区画を識別す
る駐車区画検出手段と、操舵状態検出手段からの情報に
より車両の走行予想軌跡を算出する走行予想軌跡算出手
段と、走行予想軌跡と駐車区画からの情報により駐車を
補助する情報をドライバーに提供する報知手段とを備え
た駐車補助装置において、走行予想軌跡を表示器に表示
させ、走行予想軌跡の表示位置を基準として走行予想軌
跡周辺の駐車区画白線を所定領域のウインドウで検出す
るウインドウ手段と、ウインドウ領域内に白線が存在す
る場合に白線の位置と方向を検出する白線検出手段、白
線検出手段の検出結果より白線の特徴や幾何学的配置に
よって駐車区画を検証する駐車区画検証手段とを備えた
ものとしたことにより、走行予想軌跡を表示器に表示さ
せ、走行予想軌跡の表示位置を基準として走行予想軌跡
周辺の駐車区画白線を所定領域のウインドウで検出し、
ウインドウ領域内に白線が存在する場合に白線の位置と
方向を検出して、その検出結果より白線の特徴や幾何学
的配置によって駐車区画を検証するため、従来のように
カメラ視野の全領域に対して白線を検出しなくてもよく
なるため、画像処理の負担が大きく低減できる。このた
め、画像認識装置の処理能力は従来に比べ高性能なもの
は必要なく、画像処理におけるコストを低減できる。
【0088】また、駐車操作時の走行予想軌跡に近い駐
車区画の白線を認識するため、ドライバーがどこの駐車
区画に駐車したかの意図を反映した駐車区画の検出を行
い、ドライバーに対して適切な駐車補助が行える。
【0089】ウインドウは走行予想軌跡の左右に設けら
れ、左右一定間隔になるよう設けられるようにすれば、
ドライバーがどこの駐車区画に駐車したいかといったド
ライバーの意志が反映され、走行予想軌跡に対応した領
域でウインドウの設定ができる。
【0090】また、走行予想軌跡が湾曲し、予想軌跡の
端線上に設定したウインドウが白線から外れた場合に一
部の白線が検出できると、検出された白線の延長線上に
ウインドウを設けるようにすれば、駐車区画の白線が存
在する位置に確実にウインドウを設けることが可能とな
り、画像処理の負担をより低減することができる。
【0091】一旦、駐車区画が検出された場合には、駐
車区画の白線を包含する追跡ウインドウを設定し、追跡
ウインドウ内を走査することにより白線検出を行うよう
にすれば、駐車時の運転操作により駐車区画の白線から
ずれた場合でも追跡ウインドウにより白線を検出し続け
ることができ、白線を急に検出できなくなることが防止
できる。
【0092】この場合、追跡ウインドウは白線の位置に
追従させるようにすれば、白線を確実にとらえて検出す
ることができる。
【0093】更に、報知手段は表示器および特に音声に
より操舵タイミング、操舵方向、操舵量の少なくとも1
つが報知されるようにすれば、ドライバーに対して駐車
に関する情報を、後方を目視確認しながらでも提供する
ことができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態における駐車補助装置の
システム構成図である。
【図2】 本発明の一実施形態における駐車補助装置を
車両へ取付けた場合の取付図である。
【図3】 本発明の一実施形態における駐車補助装置の
カメラの検出範囲を示した図である。
【図4】 本発明の一実施形態におけるステアリングセ
ンサを示し、(a)はステアリングコラムシャフトへ取
り付けた場合のステアリングセンサの平面図、(b)は
ステアリングセンサのスリット板とフォトインタラプタ
の概要を示した斜視図、(c)はステアリングセンサの
A相とB相の出力を示す図である。
【図5】 本発明の一実施形態におけるコントローラの
処理を示すフローチャートである。
【図6】 本発明の一実施形態におけるコントローラの
ステアリングセンサ信号処理を示すフローチャートであ
る。
【図7】 本発明の一実施形態におけるコントローラの
ステアリングセンサの中立点処理を示すフローチャート
である。
【図8】 図5に示す区画線検出処理のフローチャート
である。
【図9】 図5に示す状態判断のフローチャートであ
る。
【図10】 本発明の一実施形態における駐車区画と車
両との位置関係を示す説明図である。
【図11】 本発明の一実施形態における走行予想軌跡
の算出に用いる説明図である。
【図12】 本発明の一実施形態における走行予想軌跡
の表示例を示した図であり、(a)は予想轍による表
示、(b)は車幅分の走行エリアベルト表示、(c)は
はしご状表示を示す図である。
【図13】 本発明の一実施形態におけるカメラおよび
ディスプレィのグラフィックス表示座標である。
【図14】 本発明の一実施形態における駐車補助装置
のカメラを車両へ取り付けた場合の取り付け状態を示し
た図である。
【図15】 本発明の一実施形態におけるHough変
換による直線検出法を示す説明図である。
【図16】 本発明の一実施形態における駐車補助装置
の座標変換方法を説明する説明図である。
【図17】 本発明の一実施形態における駐車補助装置
の駐車区画の検出と車両位置の関係を示す説明図であ
る。
【図18】 本発明の一実施形態における駐車補助装置
のディスプレィ上での表示画面である。
【図19】 本発明の一実施形態における駐車補助装置
の音声出力における案内メッセージおよびディスプレィ
上での走行予想軌跡の表示色を示す図である。
【図20】 本発明の一実施形態における駐車補助装置
の駐車区画への入り方を示した図である。
【図21】 図5に示す区画線検出処理の別のフローチ
ャートである。
【図22】 本発明の一実施形態における駐車補助装置
の走行予想軌跡に対してウインドウ群が設けられた状態
を示しており、(a)は車両がまっすぐバックしている
状態、(b)はステアリングを切りながらバックしてい
る状態、(c)はウインドウ内に白線が存在しなくなっ
た場合にウインドウが設定される状態を示した図であ
る。
【図23】 本発明の一実施形態における駐車補助装置
の画像処理におけるエッジ検出オペレータを示し、
(a)は1次元、(b)は2次元のエッジオペレータを
示す説明図である。
【図24】 図21に示す駐車区画線探索処理のフロー
チャートである。
【図25】 図21に示す駐車区画線追跡処理のフロー
チャートである。
【図26】 図25に示す追跡ウインドウの白線に対す
る設定状態を示し、(a)は1本の白線全体を包含する
追跡ウインドウ、(b)は1本に白線に対し複数の追跡
ウインドウを設定した図である。
【図27】 本発明の一実施形態における白線認識の認
識方法であり、(a)は水平走査を行った後の垂直走査
による端点検出、(b)は直線からの角度検出、(c)
は白線に対しての走査線の濃度変化に基づく認識方法を
示した図である。
【符号の説明】
1 駐車補助装置 2 ステアリングセンサ(操舵状態検出手段) 3 シフトレバーリバーススイッチ 4 駐車スイッチ 5 右車輪速センサ 6 左車輪速センサ 8 スピーカ(報知手段) 11 CPU(走行予想算出手段) 13 ディスプレィ(表示器) 14 舵角状態表示(マーカー表示) 15 駐車区画検出用画像認識装置(駐車区画検出手
段,白線検出手段,駐車区画検証手段) 17 CCDカメラ(カメラ) 20 走行予想軌跡 26 ウインドウ(探索ウインドウ) 27 追跡ウインドウ 30 駐車区画 31 白線

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 車両の後方を撮像するカメラと、車内に
    設けられ前記カメラからの映像を表示する表示器と、車
    両の操舵状態を検出する操舵状態検出手段と、前記カメ
    ラからの映像を基に画像認識により駐車区画を識別する
    駐車区画検出手段と、前記操舵状態検出手段からの情報
    により車両の走行予想軌跡を算出する走行予想軌跡算出
    手段と、該走行予想軌跡と前記駐車区画からの情報によ
    り駐車を補助する情報をドライバーに提供する報知手段
    とを備えた駐車補助装置において、 前記走行予想軌跡を前記表示器に表示させ、前記走行予
    想軌跡の表示位置を基準として前記走行予想軌跡周辺の
    駐車区画白線を所定領域のウインドウで検出するウイン
    ドウ手段と、該ウインドウ領域内に白線が存在する場合
    に白線の位置と方向を検出する白線検出手段、該白線検
    出手段の検出結果より白線の特徴や幾何学的配置によっ
    て駐車区画を検証する駐車区画検証手段とを備えたこと
    を特徴とする駐車補助装置。
  2. 【請求項2】 前記ウインドウは、前記走行予想軌跡の
    左右に設けられ、左右一定間隔になるよう設けられる請
    求項1に記載の駐車補助装置。
  3. 【請求項3】 前記走行予想軌跡が湾曲し、予想軌跡の
    端線上に設定した前記ウインドウが白線から外れた場合
    に一部の白線が検出できると、検出された白線の延長線
    上に前記ウインドウを設ける請求項2に記載の駐車補助
    装置。
  4. 【請求項4】 前記駐車区画が検出された場合には、前
    記駐車区画の白線を包含する追跡ウインドウを設定し、
    該追跡ウインドウ内を走査することにより白線検出を行
    う請求項1に記載の駐車補助装置。
  5. 【請求項5】 前記追跡ウインドウは白線の位置に追従
    させる請求項4に記載の駐車補助装置。
  6. 【請求項6】 前記報知手段は表示器および音声により
    操舵タイミング、操舵方向、操舵量の少なくとも1つが
    報知される請求項1に記載の駐車補助装置。
JP21621998A 1998-06-26 1998-07-30 駐車補助装置 Expired - Fee Related JP3951465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21621998A JP3951465B2 (ja) 1998-06-26 1998-07-30 駐車補助装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP18099198 1998-06-26
JP10-180991 1998-06-26
JP21621998A JP3951465B2 (ja) 1998-06-26 1998-07-30 駐車補助装置

Publications (2)

Publication Number Publication Date
JP2000079860A true JP2000079860A (ja) 2000-03-21
JP3951465B2 JP3951465B2 (ja) 2007-08-01

Family

ID=26500334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21621998A Expired - Fee Related JP3951465B2 (ja) 1998-06-26 1998-07-30 駐車補助装置

Country Status (1)

Country Link
JP (1) JP3951465B2 (ja)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001010427A (ja) * 1999-06-29 2001-01-16 Fujitsu Ten Ltd 車両の駐車支援装置
JP2001180403A (ja) * 1999-12-24 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
WO2001085496A1 (fr) * 2000-05-12 2001-11-15 Kabushiki Kaisha Toyota Jidoshokki Appareil d'aide a la marche arriere d'un vehicule
JP2001347907A (ja) * 2000-06-07 2001-12-18 Aisin Seiki Co Ltd 駐車補助装置
JP2002092598A (ja) * 2000-09-14 2002-03-29 Nissan Motor Co Ltd 駐車時の自車位置検出装置
JP2002240662A (ja) * 2000-12-15 2002-08-28 Honda Motor Co Ltd 駐車支援装置
US6476730B2 (en) 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
JP2003063339A (ja) * 2001-08-24 2003-03-05 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2003063337A (ja) * 2001-08-24 2003-03-05 Nissan Motor Co Ltd 駐車支援装置
US6587760B2 (en) 2001-09-06 2003-07-01 Yazaki Corporation Motor vehicle parking support unit and method thereof
EP1327571A1 (en) * 2002-01-10 2003-07-16 Toyota Jidosha Kabushiki Kaisha Parking assist device and method for assisting parking
JP2003300443A (ja) * 2002-04-08 2003-10-21 Aisin Seiki Co Ltd 駐車補助装置
EP1396748A2 (de) * 2002-09-04 2004-03-10 Adam Opel Ag Head-Up-Display für ein Kraftfahrzeug
US7012548B2 (en) 2000-04-05 2006-03-14 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
JP2006117165A (ja) * 2004-10-22 2006-05-11 Nissan Motor Co Ltd 駐車支援装置
JP2006175918A (ja) * 2004-12-21 2006-07-06 Aisin Seiki Co Ltd 駐車補助装置
JP2006272999A (ja) * 2005-03-28 2006-10-12 Casio Comput Co Ltd 撮影装置及びプログラム
JP2007161193A (ja) * 2005-12-16 2007-06-28 Denso Corp 駐車支援装置
EP1803631A1 (en) * 2005-12-27 2007-07-04 Aisin Seiki Kabushiki Kaisha Parking assistance system
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
US7295227B1 (en) 1999-01-19 2007-11-13 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Apparatus for assisting steering of vehicle when backing
WO2008020516A1 (fr) * 2006-08-18 2008-02-21 Panasonic Corporation dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue
JP2008049889A (ja) * 2006-08-25 2008-03-06 Denso Corp 駐車支援装置
JP2008055958A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008080959A (ja) * 2006-09-27 2008-04-10 Aisin Aw Co Ltd 駐車支援装置および駐車支援方法
JP2008114628A (ja) * 2006-11-01 2008-05-22 Suzuki Motor Corp 駐車支援システム
WO2008102726A1 (ja) * 2007-02-22 2008-08-28 Aisin Seiki Kabushiki Kaisha 駐車支援装置
JP2009206615A (ja) * 2008-02-26 2009-09-10 Honda Motor Co Ltd 駐車支援装置
EP2228276A2 (en) 2009-03-11 2010-09-15 Aisin Seiki Kabushiki Kaisha Parking assist apparatus
CN102189959A (zh) * 2010-03-16 2011-09-21 通用汽车环球科技运作有限责任公司 选择性地显示摄像系统信息的方法和带有摄像系统的车辆
US8044964B2 (en) 2006-07-14 2011-10-25 Renesas Electronics Corporation Data processor
KR101125385B1 (ko) 2005-01-18 2012-04-02 현대자동차주식회사 차량의 주차 보조 시스템
JP2013018406A (ja) * 2011-07-12 2013-01-31 Fujitsu Ten Ltd 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
US8374749B2 (en) 2007-05-16 2013-02-12 Aisin Seiki Kabushiki Kaisha Parking assist system
US8441536B2 (en) 2009-02-12 2013-05-14 Denso Corporation Vehicle periphery displaying apparatus
JP2014106734A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 画像処理装置、画像処理方法、および画像処理プログラム
WO2019151109A1 (ja) * 2018-01-31 2019-08-08 パイオニア株式会社 路面情報取得方法
KR20200068045A (ko) * 2018-11-26 2020-06-15 (주)캠시스 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
CN112016381A (zh) * 2019-05-30 2020-12-01 歌乐株式会社 图像处理装置以及图像处理方法
JP7296768B2 (ja) 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176775B1 (ko) * 2014-07-02 2020-11-09 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303625A (ja) * 1992-04-27 1993-11-16 Omron Corp 道路上の白線抽出装置
JPH05347000A (ja) * 1992-06-16 1993-12-27 Matsushita Electric Ind Co Ltd 走行レーン検出装置
JPH06225308A (ja) * 1993-01-27 1994-08-12 Mazda Motor Corp 走行路検出装置
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置
JPH1083500A (ja) * 1996-09-06 1998-03-31 Fujitsu Ten Ltd 路面上に描かれた線を認識する装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303625A (ja) * 1992-04-27 1993-11-16 Omron Corp 道路上の白線抽出装置
JPH05347000A (ja) * 1992-06-16 1993-12-27 Matsushita Electric Ind Co Ltd 走行レーン検出装置
JPH06225308A (ja) * 1993-01-27 1994-08-12 Mazda Motor Corp 走行路検出装置
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置
JPH1083500A (ja) * 1996-09-06 1998-03-31 Fujitsu Ten Ltd 路面上に描かれた線を認識する装置

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295227B1 (en) 1999-01-19 2007-11-13 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Apparatus for assisting steering of vehicle when backing
JP2001010427A (ja) * 1999-06-29 2001-01-16 Fujitsu Ten Ltd 車両の駐車支援装置
JP2001180403A (ja) * 1999-12-24 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
US6476730B2 (en) 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
US7012548B2 (en) 2000-04-05 2006-03-14 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
US6704653B2 (en) 2000-05-12 2004-03-09 Kabushiki Kaisha Toyota Jidoshokki Vehicle backing support apparatus
WO2001085496A1 (fr) * 2000-05-12 2001-11-15 Kabushiki Kaisha Toyota Jidoshokki Appareil d'aide a la marche arriere d'un vehicule
JP2001347907A (ja) * 2000-06-07 2001-12-18 Aisin Seiki Co Ltd 駐車補助装置
JP2002092598A (ja) * 2000-09-14 2002-03-29 Nissan Motor Co Ltd 駐車時の自車位置検出装置
JP4615766B2 (ja) * 2000-12-15 2011-01-19 本田技研工業株式会社 駐車支援装置
JP2002240662A (ja) * 2000-12-15 2002-08-28 Honda Motor Co Ltd 駐車支援装置
JP2003063337A (ja) * 2001-08-24 2003-03-05 Nissan Motor Co Ltd 駐車支援装置
JP2003063339A (ja) * 2001-08-24 2003-03-05 Matsushita Electric Ind Co Ltd 駐車支援装置
JP4576772B2 (ja) * 2001-08-24 2010-11-10 日産自動車株式会社 駐車支援装置
US6587760B2 (en) 2001-09-06 2003-07-01 Yazaki Corporation Motor vehicle parking support unit and method thereof
EP1327571A1 (en) * 2002-01-10 2003-07-16 Toyota Jidosha Kabushiki Kaisha Parking assist device and method for assisting parking
JP2003300443A (ja) * 2002-04-08 2003-10-21 Aisin Seiki Co Ltd 駐車補助装置
EP1396748A2 (de) * 2002-09-04 2004-03-10 Adam Opel Ag Head-Up-Display für ein Kraftfahrzeug
EP1396748A3 (de) * 2002-09-04 2004-03-24 Adam Opel Ag Head-Up-Display für ein Kraftfahrzeug
JP2006117165A (ja) * 2004-10-22 2006-05-11 Nissan Motor Co Ltd 駐車支援装置
JP4604703B2 (ja) * 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
US7706944B2 (en) 2004-12-21 2010-04-27 Aisin Seiki Kabushiki Kaisha Parking assist device
JP2006175918A (ja) * 2004-12-21 2006-07-06 Aisin Seiki Co Ltd 駐車補助装置
KR101125385B1 (ko) 2005-01-18 2012-04-02 현대자동차주식회사 차량의 주차 보조 시스템
JP2006272999A (ja) * 2005-03-28 2006-10-12 Casio Comput Co Ltd 撮影装置及びプログラム
JP4507939B2 (ja) * 2005-03-28 2010-07-21 カシオ計算機株式会社 撮影装置及びプログラム
JP4650252B2 (ja) * 2005-12-16 2011-03-16 株式会社デンソー 駐車支援装置
JP2007161193A (ja) * 2005-12-16 2007-06-28 Denso Corp 駐車支援装置
EP1803631A1 (en) * 2005-12-27 2007-07-04 Aisin Seiki Kabushiki Kaisha Parking assistance system
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
US8044964B2 (en) 2006-07-14 2011-10-25 Renesas Electronics Corporation Data processor
JP2008048266A (ja) * 2006-08-18 2008-02-28 Matsushita Electric Ind Co Ltd 車載画像処理装置及びその視点変換情報生成方法
WO2008020516A1 (fr) * 2006-08-18 2008-02-21 Panasonic Corporation dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue
JP2008049889A (ja) * 2006-08-25 2008-03-06 Denso Corp 駐車支援装置
JP2008055958A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008080959A (ja) * 2006-09-27 2008-04-10 Aisin Aw Co Ltd 駐車支援装置および駐車支援方法
JP2008114628A (ja) * 2006-11-01 2008-05-22 Suzuki Motor Corp 駐車支援システム
WO2008102726A1 (ja) * 2007-02-22 2008-08-28 Aisin Seiki Kabushiki Kaisha 駐車支援装置
US8275518B2 (en) 2007-02-22 2012-09-25 Aisin Seiki Kabushiki Kaisha Parking assist apparatus
US8374749B2 (en) 2007-05-16 2013-02-12 Aisin Seiki Kabushiki Kaisha Parking assist system
JP2009206615A (ja) * 2008-02-26 2009-09-10 Honda Motor Co Ltd 駐車支援装置
US8441536B2 (en) 2009-02-12 2013-05-14 Denso Corporation Vehicle periphery displaying apparatus
EP2228276A2 (en) 2009-03-11 2010-09-15 Aisin Seiki Kabushiki Kaisha Parking assist apparatus
GB2479433B (en) * 2010-03-16 2016-07-27 Gm Global Tech Operations Llc Method for the selective display of information from a camera system in a display device of a vehicle and vehicle with a camera system
GB2479433A (en) * 2010-03-16 2011-10-12 Gm Global Tech Operations Inc Method for the selective display of a vehicle camera and vehicle
CN102189959A (zh) * 2010-03-16 2011-09-21 通用汽车环球科技运作有限责任公司 选择性地显示摄像系统信息的方法和带有摄像系统的车辆
JP2013018406A (ja) * 2011-07-12 2013-01-31 Fujitsu Ten Ltd 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
JP2014106734A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 画像処理装置、画像処理方法、および画像処理プログラム
WO2019151109A1 (ja) * 2018-01-31 2019-08-08 パイオニア株式会社 路面情報取得方法
KR20200068045A (ko) * 2018-11-26 2020-06-15 (주)캠시스 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
KR102133020B1 (ko) * 2018-11-26 2020-07-10 (주)캠시스 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
JP7296768B2 (ja) 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN112016381A (zh) * 2019-05-30 2020-12-01 歌乐株式会社 图像处理装置以及图像处理方法
CN112016381B (zh) * 2019-05-30 2024-04-02 歌乐株式会社 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
JP3951465B2 (ja) 2007-08-01

Similar Documents

Publication Publication Date Title
JP3951465B2 (ja) 駐車補助装置
JP4096445B2 (ja) 駐車補助装置
JP3575279B2 (ja) 駐車補助装置
JP3866328B2 (ja) 車両周辺立体物認識装置
US6611744B1 (en) Steering assist apparatus for traveling in reverse
US7366595B1 (en) Vehicle drive assist system
JP3562335B2 (ja) 駐車補助装置
JP3123303B2 (ja) 車両用画像処理装置
JP3726175B2 (ja) 駐車補助装置
JPH09166452A (ja) 運転支援装置
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP6928907B2 (ja) 車両制御装置、車両制御方法、プログラム及びそれを記録した記録媒体
KR100766596B1 (ko) 차량의 차선유지 조향제어방법
JP3362569B2 (ja) 車両誘導装置
JP2010105502A (ja) 前方監視装置
JP5012669B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP2001315600A (ja) 車両の後退支援装置および後退支援方法
JP5041983B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
US8681219B2 (en) System and method for driving assistance at road intersections
JP2011003117A (ja) 後方視認支援システム
JP3767610B2 (ja) 駐車補助装置
JPH04160608A (ja) 自動駐車装置
JP2009286376A (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP3767600B2 (ja) 駐車補助装置
US11380120B2 (en) Driving assistance device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees