JP2004194071A - 運転支援画像生成装置 - Google Patents
運転支援画像生成装置 Download PDFInfo
- Publication number
- JP2004194071A JP2004194071A JP2002360846A JP2002360846A JP2004194071A JP 2004194071 A JP2004194071 A JP 2004194071A JP 2002360846 A JP2002360846 A JP 2002360846A JP 2002360846 A JP2002360846 A JP 2002360846A JP 2004194071 A JP2004194071 A JP 2004194071A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- side mirror
- state
- monitor screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像するカメラ3と、前記サイドミラーの開閉状態を検出する状態センサ8と、カメラ3から取り込んだ撮影映像の画像データを状態センサ8の検出信号に基づいて加工処理する画像変換手段4と、画像変換手段4によって加工処理された後の画像データを室内に設置されたモニタ画面に表示する表示手段5とを備える。これにより、サイドミラーの閉状態時にカメラ3によって撮影された画像を、撮影映像中に映っている自車両の側面画像がモニタ画面上で縦方向に表示される様に回転処理することができ、運転者にとって把握しやすい画像をモニタ画面に表示可能となる。
【選択図】 図4
Description
【発明の属する技術分野】
本発明は車両周囲をカメラで撮影しその映像を車両内のモニタ画面に表示して運転支援を行う運転支援画像生成装置に係り、特に、車両のサイドミラーに取り付けたカメラによる映像を運転者に提示にする運転支援画像生成装置に関する。
【0002】
【従来の技術】
近年、RVとよばれるレクレーションを主用途とした大型車両の普及に伴い、サイドミラー、バックミラーなど従来から車両に取り付けられているミラーだけでは、運転者に十分な視野を提供することが難しくなってきている。そこで、カメラを車両の各所に搭載し、これらの車載カメラによる映像を車室内のモニタ画面に表示して運転者に提示する運転支援装置が普及し始めている。
【0003】
例えば、下記の特許文献1に記載された従来技術では、カメラをサイドミラーの下部に路面方向に向けて設置し、運転者がサイドミラーを介し直視で確認できない死角位置の映像をモニタ画面に表示することで、運転者の視覚を補助する様になっている。
【0004】
【特許文献1】
特開2000−240629号公報(図7−図9)
【0005】
【発明が解決しようとする課題】
しかしながら、サイドミラーにカメラを取り付けた従来の運転支援装置では、開閉式のサイドミラーが開いている状態でカメラが撮影した画像を使用することを前提としており、サイドミラーが閉じた状態での使用を前提としていない。
【0006】
現在、多くの車両においてサイドミラーは開閉式となっており、通常の運転時にはサイドミラーを開いて後側方の安全確認を行い、駐車時や小路走行時などにおいては、サイドミラーの出っ張りが周囲や走行の邪魔になることがあるため、サイドミラーを閉じるのが普通である。
【0007】
従って、サイドミラーが開いた状態でモニタ画面内に自車両の側面を映り込ませ、この自車両画像がモニタ画面上で縦方向に表示されるように設定してあると、サイドミラーを閉じた状態では、例えばサイドミラーが開状態から90°回転した閉状態では、モニタ画面内の自車両画像はモニタ画面上でも90°回転して水平方向に表示されることになってしまう。
【0008】
また、サイドミラーを開閉するための回転軸は、カメラのレンズ中心と異なるのが普通であるため、サイドミラーが開いた状態と閉じた状態では、自車両とカメラの相対位置が異なってしまい、サイドミラーが開状態のカメラ撮影範囲とサイドミラーが閉状態のカメラ撮影範囲は異なってしまう。
【0009】
このため、サイドミラーが開状態のときのモニタ画面に見慣れていると、サイドミラーが閉状態となったときのモニタ画面内の映像は、方向や範囲がサイドミラー開状態時に撮影された映像と異なり、直感的に把握しにくい映像になってしまうという問題がある。
【0010】
本発明の目的は、サイドミラーが開いた状態でも閉じた状態でも、常に運転者にとって分かり易く直感的に把握可能な映像をモニタ画面に表示する運転支援画像生成装置を提供することにある。
【0011】
【課題を解決するための手段】
上記目的を達成する本発明の運転支援画像生成装置は、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【0012】
この構成により、車両運転時点におけるサイドミラーの開閉状態に応じて、モニタ画面への出力画像を加工し変換することが可能となり、サイドミラーの開閉状態によらず運転者へ自車両の側方の映像を分かり易く提示可能となる。
【0013】
上記目的を達成する本発明の運転支援画像生成装置は、また、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【0014】
この構成により、車両運転時点の車速から想定される運転状況に応じて、モニタ画面への出力画像を加工し変換することが可能となり、例えば、車両の幅寄せ操作時にはズーム映像を、始動時や左折時には広い範囲の映像を、それぞれ自動的にモニタ画面に表示するなど、運転状況に適した映像を運転者に提示可能となる。
【0015】
上記目的を達成する本発明の運転支援画像生成装置は、また、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号及び前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【0016】
この構成により、サイドミラーの状態や車速から車両運転時点における運転状況を運転支援画像生成装置がより正しく決定でき、かつ、現時点の運転状況に応じて、モニタ画面への出力画像を加工し変換することが可能となり、現時点の運転状況に適した自車両の側方映像を運転者に分かり易く提示することができる。また、例えば、サイドミラーが閉じられた状態にも関わらず車速が30km/hで運転者がサイドミラーを開き忘れたと判断できるときは、警報を出力したり自動的にサイドミラーを開動作させることが可能となる。
【0017】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中に映っている前記車両の側面の画像が前記車両内に設置されるモニタ画面上で縦方向に表示される様に前記加工処理を行うことを特徴とする。
【0018】
この構成により、運転者はモニタ画面で常に自車両の向く方向を固定して判断することができ、モニタ画面に表示されている画像を直感的に把握可能となる。
【0019】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中の特定位置画像が前記車両内に設置されるモニタ画面上の所定位置に表示される様に前記加工処理を行うことを特徴とする。
【0020】
この構成により、運転者はモニタ画面で常に自車両と周囲状況との相対位置関係を容易且つ直感的に把握可能となる。
【0021】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記撮像手段による撮影映像を仮想視点から見た画像データに変換して前記車両内に設置されるモニタ画面に表示させることを特徴とする。
【0022】
この構成により、撮像手段(カメラ)の実設置位置等の物理的制約を受けずに仮想的なカメラの位置、画角等を選択して運転者に運転操作に役に立つ見やすい画像を提示可能となる。
【0023】
上記目的を達成する運転支援画像生成装置は、車両に搭載され前記車両の周囲を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【0024】
この構成により、同一撮像手段による撮影映像を運転状況に応じて加工処理し運転者に提示できる。例えば、始動時や通常走行時には安全確認のために運転者に広い視野範囲の映像が必要であるが、幅寄せ時には周囲と自車両との位置関係の確認のために限られた領域のズーム映像が必要となるが、本発明の構成により、夫々の運転状況に応じた映像が運転者に提示される。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【0026】
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る運転支援画像生成装置を有する運転支援装置を車両に取り付けた状態を示す模式図である。この運転支援画像生成装置は、車両1のサイドミラー2の下部にレンズ光軸が下向きになるように設置されたCCDやCMOS等のイメージセンサでなる撮像手段(以下、カメラという。)3と、車両内の適宜箇所に設置されカメラ3の撮像画像を処理する画像変換手段4とを備えて成り、この運転支援画像生成装置と、車室内の運転席近傍に設置され画像変換手段4による画像変換後の画像をモニタ画面に表示する表示手段5とにより運転支援装置が構成される。
【0027】
カメラ3は、運転者の位置に対して反対側、例えば右ハンドル車であれば左側のサイドミラー(サイドミラー本体やその筐体を含む概念として「サイドミラー」という。)に取り付けられ、広角レンズによって車体左側近傍の車体側方を自車両が一部映り込むように設置されている。図1の例では、画角θがカメラ3の撮影範囲となる。
【0028】
図2は、左側のサイドミラーを上方から見た模式図である。車両1の左側部1aに軸6を中心として開閉可能に設けられたサイドミラー2は、点線で示す開位置から実線で示す閉位置まで任意角度で開閉され、サイドミラー2の開閉角度をサイドミラー2近傍に設置した状態センサによって検出する様になっている。
【0029】
図3(a)(b)(c)は、状態センサによるサイドミラー開閉状態の検出説明図である。軸6には図3(a)に示す様に断面が楕円形のロータ部6aが設けられており、サイドミラー2の開閉に伴って回転するロータ部6aの回転状態を状態センサが検出する。この例では、状態センサは、軸6の半径方向からロータ部6aに向かって突出する押杆7を有し、押杆7の一端部がロータ部6a表面に摺接する様になっている。
【0030】
これにより、サイドミラーが「開」状態のとき、図3(a)に示す様に押杆7は最も軸6内に入り込み、「開」状態から「閉」状態に移る途中では、押杆7は図3(b)に示す途中状態となり、「開」状態から90°回転したサイドミラー「閉」状態で、図3(c)に示す様に押杆7は軸6から最も排除される。
【0031】
状態センサは、押杆7の位置に応じて位置信号を出力する。この例では、サイドミラー2の「開」状態位置で開信号を出力し、「閉」状態位置で閉信号を出力する。状態センサは、サイドミラーの開状態と閉状態の2位置の状態を検出する構成でもよく、また、押杆7の位置に応じてサイドミラーの回転角度を検出し、回転角度に応じた位置信号を出力する構成でもよい。
【0032】
図4は、本発明の第1の実施の形態に係る運転支援装置のブロック構成図である。この運転支援画像生成装置は、図1に示すサイドミラー2の開状態と閉状態とを検出し開状態のとき開信号を閉状態のとき閉信号を出力する上述した状態センサ8と、サイドミラー2の下部に取り付けられサイドミラー2の下方路面状態を撮像し撮像画像データを出力するカメラ3と、状態センサ8の出力信号とカメラ3の撮像画像データを取り込みこの撮像画像データを加工処理して出力する画像変換手段4と、この画像変換手段4から出力される画像データをモニタ画面に表示する表示手段5とを備えてなる。
【0033】
画像変換手段4は、この実施の形態では、状態センサ8の出力信号を取り込む位置調整手段41と、カメラ3の撮像画像データを取り込み位置調整手段41からの指示信号に基づいて前記の撮像画像データを加工処理して変換し表示手段5に出力するアフィン変換手段42とを備える。
【0034】
位置調整手段41は、状態センサ8から入力されるサイドミラーの開閉状態に従って、予め設定されているパラメータの値をアフィン変換手段42へ出力する。パラメータとしては、例えば、撮像画像データからモニタ表示する範囲を切り出す「切り出し範囲」、サイドミラーの「回転角」、「移動量」、モニタ表示するときの「拡大率」等が挙げられる。
【0035】
アフィン変換手段42は、位置調整手段41から入力されるパラメータの値に基づいて、カメラ3から入力される映像を後述のように変換し、アフィン変換手段42によって変換された画像データが表示手段5に表示される。
【0036】
次に、本実施の形態に係る運転支援装置の動作を詳細に説明する。尚、以下では、説明を簡単にするために、状態センサ8はサイドミラーの開状態、閉状態の2位置を検出し、サイドミラーの開状態時の表示画像と閉状態時の表示画像を例示して説明する。
【0037】
サイドミラー2が開状態の場合は、状態センサ8から位置調整手段41に開信号が出力される。位置調整手段41には、サイドミラー2が開状態のときにアフィン変換手段42に対して出力する上述したパラメータの値が予め用意されており、位置調整手段41は、状態センサ8からの開信号の入力によってこれらのパラメータ値をアフィン変換手段42に出力する。
【0038】
図5は、サイドミラー2が開状態のときにカメラ3が撮影した映像である。この映像自体、運転者にとって見やすい映像であるため、本実施形態では、この映像をそのまま表示手段5のモニタ画面に表示する様に設定されている。
【0039】
即ち、自車両の側面画像1bがモニタ画面上で縦方向に表示され、モニタ画面に映っている範囲も適当であるため、位置調整手段41は、サイドミラー開状態用のパラメータの各値として、切り出し範囲を「画面全体」、回転角0度、移動量0、拡大率1を示す値をアフィン変換手段42に出力する。これにより、アフィン変換手段42は事実上何の加工処理も施さずに、入力画像データを表示手段5に出力する。
【0040】
図6は、サイドミラー2が閉状態のときにカメラ3が撮影した映像であり、位置調整手段41がサイドミラー開状態時と同じパラメータ値でアファン変換手段42を動作させたときのモニタ画面を示す図である。この図6の映像は、図5の映像に比べてサイドミラー2が50°回転した映像であり、このため、モニタ画面上で、自車両の側面画像1bは、モニタ画面の縦方向に対して斜め50°に傾いた画像となっている。
【0041】
この図6の映像がそのまま運転者に提示されても、運転者は図5の映像を見慣れているため、自車両の向く方向と整合性を持たせてモニタ画面の映像を直感的に把握することが困難である。そこで、本実施の形態では、運転支援画像生成装置の状態センサ8の検出位置に応じたパラメータの値が位置調整手段41からアフィン変換手段42に出力される。
【0042】
即ち、位置調整手段41には、サイドミラー閉状態用のパラメータの値として切り出し範囲「画面全体」、回転角50度、移動量0、拡大率1という値が予め設定されており、状態センサ8から閉信号が入力されたときこれらの値をアフィン変換手段42に出力する。
【0043】
アフィン変換手段42は、パラメータの値によって構成された画像加工指令に基づき、カメラ3から入力された画像データを50°回転変換し、表示手段5に出力する。この結果、図6の映像に対して50°回転した映像が図7に示されるようにモニタ画面に表示される。このモニタ画面では、自車両の側面画像1bはモニタ画面の縦方向となっており、運転者にとって直感的に把握しやすい画像となっている。
【0044】
本実施の形態では、図7の画像を更に加工してモニタ画面に表示する。上述した〔発明が解決しようとする課題〕の欄で述べた様に、サイドミラー2の開閉位置によって、カメラ3と自車両1との間の相対位置が変化してしまい、カメラ3の撮影範囲はずれてしまう。
【0045】
即ち、図3に示すサイドミラー2の閉状態におけるカメラ3の位置と、サイドミラー2の開状態におけるカメラ位置3aとがずれるため、各撮影範囲がずれ、この結果、例えば自車両の側面画像1b上の図5に示す任意の固定点Aの位置が、図7のモニタ画面上ではズレた位置Bに表示されてしまう。
【0046】
そこで、本実施の形態では、このズレを無くすように、上記パラメータの「移動量」の値を設定しておき、図7に示す画像を移動量設定値に基づいてモニタ画面上で縦方向、横方向にずらし、図8に示す様に表示する。これにより、固定点Aのモニタ画面上の位置(x,y)が図5と図8で同じ位置となり、運転者はこの図8のモニタ画面の映像を見ながら、図5のモニタ画面と同様に、周囲状況の相対位置関係を判断することが可能となる。
【0047】
このように、本実施の形態によれば、サイドミラーの開閉状態を検知してその状態に合わせて画像変換することにより、サイドミラーの状態によらず常に運転者が把握しやすい映像を提供可能となる。
【0048】
また、図5と図7に例示するように、サイドミラーの状態に関わらず車両がモニタ画面上で常に所定方向を向くように表示されるため、運転者がサイドミラーの状態を意識することなく車両側方の状況を同じ様に監視することが可能となる。
【0049】
更に、図5と図8に例示するように、サイドミラーの状態に関わらず、車両上、あるいは、路面上の特定の位置が常にモニタ画面上で同じ位置に表示されるため、サイドミラーの状態が変化した場合でも、運転者はモニタ画面と周囲状況との位置関係を容易に把握することが可能となる。
【0050】
尚、アフィン変換手段42による変換によって、画面の一部に映像が映らない領域が発生する場合がある。図7や図8でハッチングを示した領域である。この領域は予め予測できるため、この領域にはカメラの撮像画像を表示せずにグラフィック等で表示する。例えば、赤色や黒色でベタ塗りしたグラフィック画像とする。
【0051】
(第2の実施の形態)
図9は、本発明の第2の実施の形態に係る運転支援装置のブロック構成図である。この運転支援装置は、車両周りを撮影するカメラ3と、車両の速度を検出する車速センサ9と、カメラ3の撮影画像データと車速センサ9の検出した車速検出値とを取り込んで前記撮影画像データを加工する画像変換手段4と、画像変換手段4によって変換された後の画像データをモニタ画面に表示する表示手段5とを備えて構成される。尚、この運転支援装置は、図1と同様に車両に取り付けられる。
【0052】
カメラ3は、車両の左側方(右ハンドル車の場合)の運転者から死角になる領域を撮像するように設置され、車速センサ9は、例えば、ドライブシャフト近傍に設置され、タイヤが回転するたびにパルス信号を発生するなどして車速を測定し、車速検出値を画像変換手段4に出力する。
【0053】
画像変換手段3は、車速センサ9の検出信号を受信する視点調整手段43と、視点調整手段43からの指示に基づいてカメラ3の撮影画像データを加工するアフィン変換手段42とを備える。
【0054】
視点調整手段43は、予め設定されているパラメータの値のうち車速センサ9から入力される車速検出値に基づくパラメータ値をアフィン変換手段42に出力する。パラメータとしては、例えば、切り出し範囲、拡大率等が挙げられる。アフィン変換手段42は、視点調整手段43から入力されるパラメータの値に基づいて、カメラ3から入力される映像を加工処理して変換する。
【0055】
次に、本実施の形態に係る運転支援装置の動作をより詳細に説明する。
【0056】
仮に10秒間以上、車速センサ9の出力が速度0km/hを示した場合、視点調整手段43は車両が停車状態にあると判断する。車両停車時には、運転者は車両側方の広い範囲をモニタ画面上で視認し安全確認を行うのが望ましく、このため、モニタ画面上に広い範囲の映像を表示する必要がある。
【0057】
そこで、車両停車と判断されるときには、視点調整手段42は、パラメータの値として、例えば、切り出し範囲を「画面全体」、拡大率を“1”と設定してアフィン変換手段42に出力する。このときのカメラ3による撮影映像を表示したモニタ画面の画像を図10に示す。図10は、サイドミラーが開状態でカメラ3により撮像された映像がそのままはモニタ画面に表示された図である。
【0058】
一方、移動中の車両の車速が5Km/h以下の場合、停車や駐車への移行状態にあると判断できる。この場合には、運転者から死角位置となる左側方のズーム映像がモニタ画面に表示されると、駐車運転に役に立つ。
【0059】
そこで、視点調整手段43は、運転者に対し車両側方位置の確認が容易となるようにズームした映像を提供するためのパラメータの値として、例えば、切り出し範囲を「画面中央領域(図10中に示す切り取り枠45)」、拡大率を“2”と設定し、アフィン変換手段42に出力する。この結果、アフィン変換手段42は、図10中の枠45内の映像をカメラ3の撮影画像データから切り出し、2倍に拡大した画像データを生成し、表示手段5に出力する。これにより、モニタ画面には図11に示される映像が表示され、運転者は死角位置の状況を容易に把握可能となる。
【0060】
このように、本実施の形態では、車速を検知し車速から判断される運転状況に合わせて画像変換が行われるため、例えば、幅寄せ時にはズーム映像が、エンジン始動時や左折時には広い範囲の映像が、それぞれ自動的に運転者に提供されることになる。
【0061】
(第3の実施の形態)
図12は、本発明の第3の実施の形態に係る運転支援装置のブロック構成図である。この運転支援装置は、車両周りを撮影するカメラ3と、サイドミラーの開閉状態を検出する状態センサ8と、車両の速度を検出する車速センサ9と、カメラ3の撮影画像データと状態センサ8の検出値と車速センサ9の検出値とを取り込んで前記撮影画像データを加工する画像変換手段4と、画像変換手段4によって変換された後の画像データをモニタ画面に表示する表示手段5とを備えて構成される。尚、この運転支援装置は、図1と同様に車両に取り付けられる。
【0062】
カメラ3は、車両の左側方(右ハンドル車の場合)の運転者から死角になる領域を撮像するように設置され、状態センサ8は左側のサイドミラー近傍に設置され、車速センサ9は、例えば、ドライブシャフト近傍に設置される。
【0063】
本実施の形態に係る画像変換手段4は、状態センサ8及び車速センサ9の各検出信号を受信する視点調整手段43と、視点調整手段43からの指示に基づいてカメラ3の撮影画像データをカメラ3の実際の設置位置とは異なる仮想視点から見た画像データに変換する視点変換手段44とを備える。
【0064】
図13は、視点変換の説明図である。視点変換手段44は、実際のカメラ3で撮影された映像を、路面投影変換を施してあたかも仮想視点に設置された仮想カメラ11で撮像したかのような映像へと変換するものである。
【0065】
路面上の点12が、仮想カメラ11の画素位置(X,Y)に撮影され、カメラ3では画素位置(x,y)に撮影されるとする。このとき、画素(X,Y)には画素(x,y)が対応する。これを仮想カメラ11の全画素に対して実施することで、仮想カメラ11による映像がカメラ3の撮像画像データから生成できる。
【0066】
この様な視点変換の演算処理を全画素について演算処理手段が一々計算することも可能であるが、本実施の形態では、画素(X,Y)と画素(x,y)との対応関係を全画素について予めマッピングテーブルとして用意しておき、実カメラ3の撮影映像をリアルタイムに視点変換することにしている。このマッピングテーブルは、カメラ3と仮想カメラ11の夫々のカメラパラメータが決定されることで、予め計算して求めておくことができる。
【0067】
このマッピングテーブルは仮想カメラ11を設ける位置毎に予め用意しておき、各マッピングテーブルに番号を付けておく。そして、視点調整手段43は、状態センサ8から入力されるサイドミラーの開閉状態と、車速センサ9から入力される車速検出値とに基づいて、使用するマッピングテーブルの番号を視点変換手段44に指示する構成となっている。
【0068】
図14は、視点変換手段44の詳細構成図である。この視点変換手段44は、実カメラ3から入力される撮影画像データを一時的に記録するフレームメモリ21と、複数のマッピングテーブルを記録したメモリ22と、メモリ22に記録されているマッピングテーブルに基づいてフレームメモリ21から該当画素の値を読み出す画素読み出し手段23と、読み出した画素値から出力画像信号を生成する映像信号生成手段24とを備える。
【0069】
画素読み出し手段23は、視点変換手段43から指示されるテーブル番号に基づいて、メモリ22内に記録されている複数のマッピングテーブルの中から、例えば、マッピングテーブル♯2を選択する。これにより、以後の視点変換処理はマッピングテーブル♯2を参照して行われ、適当なタイミングでフレームメモリ21内に記録されている画素値を読み出して映像信号生成手段24へと出力する。映像信号生成手段24は、入力される画素値から出力画像信号を生成して表示手段5に出力する。
【0070】
次に、本実施の形態に係る運転支援装置の動作を説明する。
【0071】
例えば、状態センサ8からはサイドミラー2が閉じられている信号が出力されており、車速センサ9からは3km/hの低速で走行している信号が出力されているとする。
【0072】
この場合、視点調整手段43は、狭い道を走行中、あるいは、幅寄せ中であると判断して、あたかもサイドミラー2の上空2mの仮想位置に設置した仮想カメラからの映像へと変換するマッピングテーブルの番号「♯1」を視点変換手段44に出力する。視点変換手段44は、カメラ3から取り込んだ映像を、メモリ22内の番号「♯1」のマッピングテーブルに従って変換して、表示手段5へ出力する。
【0073】
図15は、このときの実際のカメラ3によって撮影された画像を示す図である。車両の左側には車両に隣接する駐車スペースが格子模様で示してある。カメラ3は広角カメラであるため、遠近感の大きな画像となっており、遠方ほど歪んだ画像となっている。
【0074】
上記の車両運転状況は「幅寄せ中」であるため、遠方の画像は運転者に不要であり、運転者から死角となる左前輪近傍のズーム画像が必要となっている。このとき使用されるマッピングテーブル♯1は、この図15の映像中に示す矩形枠45内を図16に示す様にズームし、且つ、この矩形枠45内のズームした映像を上視点2mから見た画像に変換して表示手段5のモニタ画面に表示するテーブルである。この様に変換されモニタ画面に表示された画像を図17に示す。運転者は、この図17の映像をモニタ画面で確認することで、幅寄せ運転を安心して行うことができる。
【0075】
尚、上述した実施の形態では、幅寄せ運転中の場合に図17の映像をモニタ画面に表示したが、運転者の指示入力に従って、図15の映像、図16の映像、図17の映像を切り替える構成とすることでもよい。また、図18に示す様に、モニタ画面を2分割し、左側領域X1には、例えば、カメラ3の撮影映像からレンズ歪みを除去し直線が直線として表示される様に補正した映像を表示し、右側領域X2には、あたかもサイドミラーの上空に設置した仮想カメラからの映像に変換した映像をそれぞれ表示することでもよい。
【0076】
上述した実施の形態では、モニタ画面に表示する映像について説明したが、例えば、サイドミラーが閉状態にあること検出した信号が状態センサ8から出力され、且つ、20km/hの中速で走行している信号が車速センサ9から出力されていた場合、視点調整手段43は、運転者が誤ってサイドミラーを閉じたまま運転していると判断して警告信号を出力する様にしてもよい。例えば、「サイドミラーを開いて下さい」とモニタ画面に表示したり、音声出力したりする。あるいは、警告信号とあわせて或いは警告信号に代えて自動的にサイドミラーを開動作させることでもよい。
【0077】
このように、本実施の形態に係る運転支援装置は、サイドミラーの開閉状態と車速とを検知することで運転状況をより正しく決定でき、かつ、現在の運転状況に応じて、出力画像を加工し変換することが可能となり、現在の運転状況に適した自車両の側方近辺の映像をわかりやすく提供することが可能となる。なお、上記実施の形態に加え、運転支援装置に舵角センサや測距センサ等を付加することで、より詳細な運転状況を判断することも可能となる。
【0078】
また、上述した各実施の形態では、サイドミラーの開状態、閉状態の2位置について映像を切り替える例について述べたが、サイドミラーの開閉角度によらず、常に同じような視線の映像で、かつ、自車両の側面画像を常にモニタ画面上で縦に表示することも可能である。これにより、運転者はサイドミラーの開閉状態や開閉角度を気にすることなくモニタ画面で自車両の側方映像を確認できる。
【0079】
さらに、サイドミラーの開閉状態によらず、常に、自車両、あるいは、路面上の特定位置を常にモニタ上の同じ位置に表示するため、運転者が映像に映るものと自車両との相対位置関係を容易に把握可能となる。
【0080】
【発明の効果】
本発明によれば、サイドミラーの開閉状態にかかわらず、常に自車両の側方近辺の映像を運転者に分かり易く提示できる優れた運転支援画像生成装置を提供でき、また、同一カメラで撮影した映像を運転状況に適した映像に適宜加工し変換して運転者に提示することができる運転支援画像生成装置を提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る運転支援装置を車両に取り付けた状態を示す模式図
【図2】本発明の第1の実施の形態に係る運転支援装置を搭載した車両の左側サイドミラーを上方から見た模式図
【図3】本発明の第1の実施の形態に係る運転支援装置におけるサイドミラー開閉状態の検出説明図であり、
(a)はサイドミラー開位置を示す図
(b)はサイドミラー開閉の途中状態を示す図
(c)はサイドミラー閉位置を示す図
【図4】本発明の第1の実施の形態に係る運転支援装置のブロック構成図
【図5】本発明の第1の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図6】本発明の第1の実施の形態に係る運転支援装置のカメラがサイドミラー閉状態時に撮影した映像を示す図
【図7】本発明の第1の実施の形態に係る運転支援装置のアファン変換手段が図6に示す映像をアフィン変換した映像を示す図
【図8】本発明の第1の実施の形態に係る運転支援装置のアファン変換手段が図7に示す映像を位置調整した映像を示す図
【図9】本発明の第2の実施の形態に係る運転支援装置のブロック構成図
【図10】本発明の第2の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図11】本発明の第2の実施の形態に係る運転支援装置のアファン変換手段が図10に示す映像から切り出した範囲をズームした映像を示す図
【図12】本発明の第3の実施の形態に係る運転支援装置のブロック構成図
【図13】本発明の第3の実施の形態に係る運転支援装置の視点変換手段が行う視点変換の説明図
【図14】本発明の第3の実施の形態に係る運転支援装置の視点変換手段の詳細構成図
【図15】本発明の第3の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図16】本発明の第3の実施の形態に係る運転支援装置が図15中の矩形枠内を拡大した映像を示す図
【図17】本発明の第3の実施の形態に係る運転支援装置が図16の映像を視点変換した映像を示す図
【図18】本発明の第3の実施の形態に係る運転支援装置のモニタ画面の表示例を示す図
【符号の説明】
1 車両
2 サイドミラー
3 カメラ
4 画像変換手段
5 表示手段
6 軸
7 押杆
8 状態センサ
9 車速センサ
11 仮想カメラ
21 フレームメモリ
22 マッピングテーブル格納用のメモリ
23 画素読み出し手段
24 映像信号生成手段
41 位置調整手段
42 アフィン変換手段
43 視点調整手段
44 視点変換手段
Claims (7)
- 車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする運転支援画像生成装置。
- 車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする運転支援画像生成装置。
- 車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号及び前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする運転支援画像生成装置。
- 前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中に映っている前記車両の側面の画像が前記車両内に設置されるモニタ画面上で縦方向に表示される様に前記加工処理を行うことを特徴とする請求項1乃至請求項3のいずれか1項に記載の運転支援画像生成装置。
- 前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中の特定位置画像が前記車両内に設置されるモニタ画面上の所定位置に表示される様に前記加工処理を行うことを特徴とする請求項1乃至請求項4のいずれか1項に記載の運転支援画像生成装置。
- 前記画像変換手段は、前記撮像手段による撮影映像を仮想視点から見た画像データに変換して前記車両内に設置されるモニタ画面に表示させることを特徴とする請求項1乃至請求項5のいずれかに記載の運転支援画像生成装置。
- 車両に搭載され前記車両の周囲を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする運転支援画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002360846A JP4274785B2 (ja) | 2002-12-12 | 2002-12-12 | 運転支援画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002360846A JP4274785B2 (ja) | 2002-12-12 | 2002-12-12 | 運転支援画像生成装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008156975A Division JP2008278526A (ja) | 2008-06-16 | 2008-06-16 | 運転支援画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004194071A true JP2004194071A (ja) | 2004-07-08 |
JP4274785B2 JP4274785B2 (ja) | 2009-06-10 |
Family
ID=32759802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002360846A Expired - Lifetime JP4274785B2 (ja) | 2002-12-12 | 2002-12-12 | 運転支援画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4274785B2 (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006127383A (ja) * | 2004-11-01 | 2006-05-18 | Auto Network Gijutsu Kenkyusho:Kk | 白線認識方法及び白線認識装置並びに白線認識システム |
JP2007149011A (ja) * | 2005-11-30 | 2007-06-14 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2007282060A (ja) * | 2006-04-10 | 2007-10-25 | Nissan Motor Co Ltd | 車両周囲映像作成装置及び車両周囲映像作成方法 |
JP2008247239A (ja) * | 2007-03-30 | 2008-10-16 | Aisin Seiki Co Ltd | 車両用の死角画像表示装置 |
JP2008278526A (ja) * | 2008-06-16 | 2008-11-13 | Panasonic Corp | 運転支援画像生成装置 |
WO2008146660A1 (ja) | 2007-05-30 | 2008-12-04 | Aisin Seiki Kabushiki Kaisha | 車両用周辺監視装置 |
WO2009004907A1 (ja) | 2007-07-05 | 2009-01-08 | Aisin Seiki Kabushiki Kaisha | 車両の周辺監視装置 |
WO2009066521A1 (ja) * | 2007-11-21 | 2009-05-28 | Sanyo Electric Co., Ltd. | 画像処理装置及び方法、運転支援システム、車両 |
WO2009116327A1 (ja) * | 2008-03-19 | 2009-09-24 | 三洋電機株式会社 | 画像処理装置及び方法、運転支援システム、車両 |
US7948517B2 (en) | 2003-04-02 | 2011-05-24 | Toyota Jidosha Kabushiki Kaisha | Vehicular image display apparatus and vehicular image display method |
WO2011132344A1 (ja) * | 2010-04-20 | 2011-10-27 | 富士通テン株式会社 | カメラユニット取付方法及びカメラユニット |
JP2012214083A (ja) * | 2011-03-31 | 2012-11-08 | Fujitsu Ten Ltd | 画像生成装置、画像表示システム及び画像生成方法 |
KR20150130723A (ko) * | 2014-05-14 | 2015-11-24 | 엘지이노텍 주식회사 | 차량용 영상 제공 시스템 및 이의 동작 방법 |
WO2016004946A1 (de) * | 2014-07-09 | 2016-01-14 | Conti Temic Microelectronic Gmbh | System zum erfassen einer fahrzeugumgebung eines kraftfahrzeuges |
WO2018154857A1 (ja) * | 2017-02-27 | 2018-08-30 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム |
CN109070806A (zh) * | 2016-04-15 | 2018-12-21 | 沃尔沃卡车集团 | 用作车辆尺寸参考的摄像头和配备有该摄像头的车辆 |
CN110884430A (zh) * | 2018-09-11 | 2020-03-17 | 本田技研工业株式会社 | 车辆控制装置和车辆控制方法 |
JP2023076996A (ja) * | 2021-11-24 | 2023-06-05 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9449390B1 (en) | 2015-05-19 | 2016-09-20 | Ford Global Technologies, Llc | Detecting an extended side view mirror |
-
2002
- 2002-12-12 JP JP2002360846A patent/JP4274785B2/ja not_active Expired - Lifetime
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7948517B2 (en) | 2003-04-02 | 2011-05-24 | Toyota Jidosha Kabushiki Kaisha | Vehicular image display apparatus and vehicular image display method |
JP2006127383A (ja) * | 2004-11-01 | 2006-05-18 | Auto Network Gijutsu Kenkyusho:Kk | 白線認識方法及び白線認識装置並びに白線認識システム |
JP2007149011A (ja) * | 2005-11-30 | 2007-06-14 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP4640238B2 (ja) * | 2006-04-10 | 2011-03-02 | 日産自動車株式会社 | 車両周囲映像作成装置及び車両周囲映像作成方法 |
JP2007282060A (ja) * | 2006-04-10 | 2007-10-25 | Nissan Motor Co Ltd | 車両周囲映像作成装置及び車両周囲映像作成方法 |
JP2008247239A (ja) * | 2007-03-30 | 2008-10-16 | Aisin Seiki Co Ltd | 車両用の死角画像表示装置 |
WO2008146660A1 (ja) | 2007-05-30 | 2008-12-04 | Aisin Seiki Kabushiki Kaisha | 車両用周辺監視装置 |
WO2009004907A1 (ja) | 2007-07-05 | 2009-01-08 | Aisin Seiki Kabushiki Kaisha | 車両の周辺監視装置 |
US8675041B2 (en) | 2007-07-05 | 2014-03-18 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
JP2009126270A (ja) * | 2007-11-21 | 2009-06-11 | Sanyo Electric Co Ltd | 画像処理装置及び方法、運転支援システム、車両 |
WO2009066521A1 (ja) * | 2007-11-21 | 2009-05-28 | Sanyo Electric Co., Ltd. | 画像処理装置及び方法、運転支援システム、車両 |
WO2009116327A1 (ja) * | 2008-03-19 | 2009-09-24 | 三洋電機株式会社 | 画像処理装置及び方法、運転支援システム、車両 |
JP2009231936A (ja) * | 2008-03-19 | 2009-10-08 | Sanyo Electric Co Ltd | 画像処理装置及び方法、運転支援システム、車両 |
JP2008278526A (ja) * | 2008-06-16 | 2008-11-13 | Panasonic Corp | 運転支援画像生成装置 |
JP2011228957A (ja) * | 2010-04-20 | 2011-11-10 | Fujitsu Ten Ltd | カメラユニット取付方法及びカメラユニット |
WO2011132344A1 (ja) * | 2010-04-20 | 2011-10-27 | 富士通テン株式会社 | カメラユニット取付方法及びカメラユニット |
JP2012214083A (ja) * | 2011-03-31 | 2012-11-08 | Fujitsu Ten Ltd | 画像生成装置、画像表示システム及び画像生成方法 |
KR20150130723A (ko) * | 2014-05-14 | 2015-11-24 | 엘지이노텍 주식회사 | 차량용 영상 제공 시스템 및 이의 동작 방법 |
KR102193526B1 (ko) * | 2014-05-14 | 2020-12-21 | 엘지이노텍 주식회사 | 차량용 영상 제공 시스템 및 이의 동작 방법 |
WO2016004946A1 (de) * | 2014-07-09 | 2016-01-14 | Conti Temic Microelectronic Gmbh | System zum erfassen einer fahrzeugumgebung eines kraftfahrzeuges |
JP2017521305A (ja) * | 2014-07-09 | 2017-08-03 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 車両の車両周辺部を捕捉するためのシステム |
CN109070806A (zh) * | 2016-04-15 | 2018-12-21 | 沃尔沃卡车集团 | 用作车辆尺寸参考的摄像头和配备有该摄像头的车辆 |
JP2018142829A (ja) * | 2017-02-27 | 2018-09-13 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム |
EP3547676A4 (en) * | 2017-02-27 | 2020-01-08 | JVC Kenwood Corporation | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY CONTROL SYSTEM, VEHICLE DISPLAY CONTROL METHOD AND PROGRAM |
WO2018154857A1 (ja) * | 2017-02-27 | 2018-08-30 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム |
CN110884430A (zh) * | 2018-09-11 | 2020-03-17 | 本田技研工业株式会社 | 车辆控制装置和车辆控制方法 |
JP2020040517A (ja) * | 2018-09-11 | 2020-03-19 | 本田技研工業株式会社 | 車両制御装置および車両制御方法 |
CN110884430B (zh) * | 2018-09-11 | 2023-03-07 | 本田技研工业株式会社 | 车辆控制装置和车辆控制方法 |
JP2023076996A (ja) * | 2021-11-24 | 2023-06-05 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4274785B2 (ja) | 2009-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004194071A (ja) | 運転支援画像生成装置 | |
JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
JP5099451B2 (ja) | 車両周辺確認装置 | |
JP4766841B2 (ja) | 車両に搭載されるカメラ装置及び車両周辺監視装置 | |
JP5500369B2 (ja) | 車両周辺画像生成装置 | |
JP4807104B2 (ja) | 車両周囲監視システム及び画像表示方法 | |
US7190259B2 (en) | Surrounding surveillance apparatus and mobile body | |
JP2005110202A (ja) | カメラ装置及び車両周辺監視装置 | |
JP4718347B2 (ja) | 車両運転支援装置 | |
JP2008033901A (ja) | 車両用画像表示システム | |
JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
JP5036891B2 (ja) | 車両に搭載されるカメラ装置及び車両周辺監視装置 | |
CN108698542A (zh) | 车辆监控系统 | |
JP2016168877A (ja) | 車両用視認装置 | |
JP2010268343A (ja) | 撮影装置および撮影方法 | |
JP2003339044A (ja) | 車両用周辺監視装置 | |
JP3943363B2 (ja) | 駐車支援装置 | |
JP2011189775A (ja) | 車両の後側方確認装置 | |
KR20060029255A (ko) | 자동 카메라가 장착된 차량 및 그 카메라 제어방법 | |
JP2004182121A (ja) | 運転支援装置 | |
JP2018107573A (ja) | 車両用視認装置 | |
JP5584561B2 (ja) | 画像処理装置、画像表示システム及び画像表示方法 | |
JP2004159186A (ja) | 監視用車載撮像システム | |
JPWO2012066867A1 (ja) | 車両周辺撮影装置 | |
JPH0858470A (ja) | 後方確認装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20080723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081120 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4274785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
EXPY | Cancellation because of completion of term |