JP4364471B2 - Image processing apparatus for vehicle - Google Patents
Image processing apparatus for vehicle Download PDFInfo
- Publication number
- JP4364471B2 JP4364471B2 JP2001400962A JP2001400962A JP4364471B2 JP 4364471 B2 JP4364471 B2 JP 4364471B2 JP 2001400962 A JP2001400962 A JP 2001400962A JP 2001400962 A JP2001400962 A JP 2001400962A JP 4364471 B2 JP4364471 B2 JP 4364471B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- viewpoint
- driver
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、車両の画像処理装置にかかり、詳しくは、運転者の死角を表示する画像を生成する画像処理装置に関するものである。
【0002】
【従来の技術】
運転者が車両を運転操作する場合、運転席に座っている運転者の視点から認識できる視界には、車のボディ等に遮られて見えない死角が存在する。このような死角は、ルームミラーやサイドミラーなどによって、ある程度は、認識できるように構成されている。また、最近では、車両の外部を映し出すカメラが搭載され、そのカメラによって取得された画像を車内のモニターに映し出す構成の車両も提案されている。例えば、車両の後方を映し出すカメラが搭載され、後退時には後方の死角となった部分が車内モニターに映し出され、車庫入れ等をする際の後方確認の補助がなされる。
また、特開平10−264723号には、運転者の視覚に即した向きの画像を表示するものが記載されている。
【0003】
【発明が解決しようとする課題】
一方、従来カメラ画像などによって車両周辺の認識ができない車両を運転者が操作する場合には、視界に入ってくる外部の障害物と、同時に視界に入っている車内風景(窓枠やトランクの輪郭など)とから、外部障害物と車両との相対位置や距離がどの程度であるのかを、運転者は、感覚的に把握するものである。
しかしながら、従来のようにカメラ画像を表示するものは、カメラに映し出された画像をそのままモニターに表示するため、モニターに表示される画像は、運転者の肉眼に映る画像とはかけはなれている。これは、カメラ視点の位置が、運転者の操作する際の視点位置とは異なっていることや、肉眼で把握できる障害物の大きさとモニターに表示される障害物の大きさとが異なることなどの理由が挙げられる。また、従来では、運転者は、視界に入る車外の風景と車体の一部(窓枠やボンネット等)とを同時に認識して、それらの相対位置を感覚的に把握していたものが、画像には、外部景色のみが映し出されてしまうことも原因である。
つまり、従来のモニター画像では、従来感覚的に距離感を把握していた運転者は、従来身に付けていた感覚に基づいて、車両のアウトラインと周囲の物体との位置関係が把握しづらいという問題があった。
【0004】
この発明は、車両周辺の死角領域に対して合成された画像を提供し、死角への不安感を軽減するとともに、運転者の視点に近付けた位置からの撮像画像を生成することにより、画像を通じて車両と周囲の障害物との位置関係を、運転者に把握し易くすることを目的とするものである。
【0005】
【課題を解決するための手段】
以上のような目的は、以下の本発明により達成される。
(1) 車両の外部に配置され、車両の進行方向の画像を取得する第1の撮像手段と、
前記第1の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段と、
車内に配置され、運転者の視点から見た車両の進行方向の画像を取得する第2の撮像手段と、
前記第2の撮像手段によって取得された画像から、車両の外部が映されている部分を抽出し、又は車内が映されている部分を消去することにより死角領域を切り出した画像を生成する視認領域画像生成手段と、
前記撮像位置変換手段によって得られた画像と、前記視認領域画像生成手段によって得られた画像を重ね合わせた合成画像を得る画像合成手段と、
前記画像合成手段によって得られた合成画像を表示する表示手段と
を備えた車両の画像処理装置。
【0008】
(2)車体形状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線検出手段により検出された輪郭線を、前記撮像位置変換手段によって視点変換された画像上に表示するように合成する輪郭線画像合成手段とを備えた上記(1)に記載の車両の画像処理装置。
【0010】
【発明の実施の形態】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。
図1は本発明の画像処理装置1の構成を示すブロック図である。画像処理装置1は、画像処理を行う演算処理装置12と、第1の撮像手段としての死角カメラ13aと、第2の撮像手段としての運転者視点カメラ13bと、画像を表示する表示手段としての画像表示装置14と、現在位置検出装置15と、画像記憶手段としての記憶装置16とを備え、これらの装置は、システムバス17を介して相互に接続されている。
【0011】
死角カメラ13aは、広角レンズを使用したものであり、本実施形態では魚眼レンズを使用する。死角カメラ13aは、例えば自動車の車外に設けられ、車の進行方向に向けて取り付けられている。後進する際の車両後部の画像を取得するカメラの場合には、例えば、後部トランクの中央部や、ハッチバック式の車両では、後部ウインドーに、外側へ向けて取り付けることもできる。この実施形態では、後部トランクの中央位置に配置されている。また、運転者視点カメラ13bは、例えば自動車の車内に設けられ、運転者の視点位置に取り付けられる。この実施形態では、バックミラーの取付け位置に配置されている。
【0012】
死角カメラ13a、運転者視点カメラ13bは、それぞれA/D変換器131a、131bを介してシステムバス17に接続される。死角カメラ13a、13bから出力された画像信号は、A/D変換器131a、131bによってデジタル信号にそれぞれ変換される。また、接続された死角カメラ13a、運転者視点カメラ13bが、デジタル信号出力が可能なものである場合には、A/D変換器131a、131bは不要である。死角カメラ13a、運転者視点カメラ13bは、車両の前方に向けて配置されたものと、車両の後方へ向けて配置されたものがある。以下の説明では、最も視界が制限される後方へ移動する場合に使用される後方設置の死角カメラ13a、運転者視点カメラ13bを例に挙げて説明する。
【0013】
現在位置検出装置15は、舵角センサ151、車速センサ152、GPS受信装置153、方位センサ154、距離センサ155とを備えている。舵角センサ151は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速センサ152は、車両の走行速度を検出する。走行速度は、車両を後退させた場合にも検出される。GPS受信装置153は、車両の絶対位置を検出する。方位センサ154は、車両の向きを検出する。距離センサ155は、車両の移動距離を検出する。以上説明した各種センサにより車両の移動距離を得ることができる。即ち、距離センサ155により移動距離が検出できる。また、車速センサ152から検出される車速と時間により移動距離が検出できる。また、GPS受信装置153で検出された位置の軌跡により移動距離が検出できる。また、車両の向きが変わった場合には、舵角センサ151と方位センサ154と距離センサ155又は車速センサ152によって、移動距離や車両の向きを、より正確に検出することができる。
【0014】
記憶装置16は、死角カメラ13a、運転者視点カメラ13bが映した画像を記憶する装置で、死角カメラ13a、運転者視点カメラ13bから出力される画像が連続して記憶され、第1の撮像手段である死角カメラ13aの取得した画像が記憶される外部画像データメモリ162と、運転者視点カメラ13bの取得した視点画像が記憶される視点画像データメモリ161と、視点画像と画像データメモリ162より生成される変換外部画像を合成した画像が記憶される合成画像データメモリ163とを備えている。
【0015】
画像表示装置14は、例えば液晶ディスプレイ等で構成され、合成画像データメモリ163に格納された合成画像が表示される。画像表示装置14へ送られるデータは、D/A変換器141を介してアナログ信号に変換される。また、画像表示装置14がデジタル信号入力可能な場合には、D/A変換器は不要となる。
【0016】
演算処理装置12は、中央処理装置[CPU(Central Processing Unit)]121と、リードオンリーメモリ[ROM]122と、ランダムアクセスメモリ[RAM]123とを備えている。中央演算処理装置121は、現在位置検出装置15から得られた移動距離や車両の向きについての情報を取得し、また、記憶装置16から視点画像データ、外部画像データを取得し、これらのデータから、合成画像データを生成する等、様々な演算処理を行うものである。
ROM122には、例えば、中央演算処理装置121が画像処理を行うためのソフトウエアや、車体の輪郭線の画像データ等が格納されており、RAM123は、例えば、ワーキングエリアとして使用される。
【0017】
本発明の画像処理装置は、次のような作用をする。図2は、本発明の画像処理装置を搭載した車両21の側面全体図である。車両の後方を映し出す第2の撮像手段としての運転者視点カメラ13bは、車内に配置されており、その画面の一部には、例えば、バックウインドーを介して車両の後方の景色が映し出される(視認可能領域a)。そして、画面上のその他の領域には、車内が映し出され、バックシートやその他の内装が画面に映し出される。この車内が映し出されている部分が、死角となり、例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等は、車体によって隠された死角領域となる。
【0018】
一方、第1の撮像手段である死角カメラ13aには、車両21の後方の画像が映し出される。この画像には、運転者視点カメラ13bの映す画像(視点画像)において死角領域にあるものも含めて、車両後方の景色が映し出される(領域b)。例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等であり、さらに、視点画像に映し出された視認可能領域の物も画像に捉えられている(つまり、領域bは領域aを含んでいる)。但し、死角カメラ13aは運転者の視点位置に設けられていないので、外部画像は、運転者の視点位置から認識できる画像とは異なっている。
【0019】
その外部画像を、撮像位置を視点位置(運転者視点カメラ13bの位置)とした場合の画像に画像処理し、この処理された画像を運転者視点カメラ13bの画像(視点画像)に合成し、死角領域を外部画像で埋める。これにより、死角領域のない、運転者の視点位置での画像が得られる。
運転者視点カメラ13bの設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口の位置などか挙げられる。また視点位置にカメラが設置されていない場合には、予め記憶してある車体データを基に、視点変換処理をし、画像を視点位置よりみた画像に処理してもよい。
【0020】
以上のように構成された本発明の画像処理装置1の作用について説明する。図3、図4及び図5は、演算処理装置12の動作を示すフローチャートである。
イグニッションスイッチのオン操作により電源スイッチがオンされる(ステップS100)。スイッチオンのきっかけは、この他、シフトチェンジレバーをD位置、後退時の後方の画像を表示するときは、R位置にセットしたときとしてもよい。
【0021】
次に初期化処理を行う(ステップS101)。具体的には、画像データなどを記憶領域に書き込みができるように、記憶装置16に記憶されているデータを検索し、記憶可能領域がない場合は、次に取得するデータを上書き可能にする準備をし、また画像データと共に記憶された距離や時間などを参照して、今後使用しないデータを消去する等の、データを書き込む準備をする。例えば、視点画像データメモリ161や外部画像データメモリ162等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【0022】
次に、車速が予め定められた設定速度を越えているか判断する(ステップS102)。この実施形態では車両周辺を認識するために用いられるので、使用目的が幅寄せや車庫入れなどに使用するものであり、速度が速い場合には、必要がなくなると判断する。従って、設定速度を越えている場合には、再度ステップS102が繰り返される。この設定速度は、必要に応じて変更できるようにしても良い。越えていない場合には、画像処理が必要であると判断し、画像処理を行うために、次のステップへ進み、車内画像処理ルーチン(ステップS103)が開始される。
【0023】
図4は、車内画像処理ルーチンを示すフローチャートである。また、図6は、画像処理の手順を示す流れ図であり、以下、この図に基づいて、画像処理内容を説明する。
車内画像処理ルーチン(ステップS103)では、運転者視点カメラ13bによって視点位置から映した視点画像を取得する(ステップS201)。
取得された画像は、一旦視点画像データメモリ161に記憶される(ステップS204)。視点画像データメモリ161から視点画像B0を読み出し、死角領域、つまり車内が映っている部分を、画像から切り出し視認領域画像B1を生成する(ステップS205)。このステップS205により画像抽出手段が構成される。この切り出し処理は、まず、最初に取得された原視点画像から、映っている車内の部分の輪郭を抽出する処理(輪郭抽出ステップ)をする。輪郭線の検出方法は、公知の画像処理方法を用いることができ、例えば、Sobelフィルタ処理やラプラシアンフィルタ処理などにより輪郭を強調する処理を行い、輪郭線のみを抽出する処理をすることができる。そして、抽出された輪郭線を境界線として、車両の外部が映されている部分を抽出するか、又は車内が映されている部分を消去することにより、死角領域の切り出し処理ができる。この輪郭抽出ステップにより、輪郭線検出手段が構成される。
【0024】
車内画像処理ルーチン(ステップS103)の次に、車外画像処理ルーチン(ステップS104)を開始する。図5は、車外画像処理ルーチンを示すフローチャートである。
車外画像処理ルーチン(ステップS104)では、死角カメラ13aによって映し出された外部画像を取得する(ステップS301)。
取得された画像は、一旦外部画像データメモリ162に記憶される(ステップS304)。外部画像データメモリ162から画像A0を読み出し、画像処理を行う。死角カメラ13aは、魚眼レンズを使用している場合には、画像A0は、魚眼画像であるから、この画像A0より、後に使用する画像個所a0を切り出し、その切り出した画像a0に正像変換処理を行い(ステップS305)、画像A1を得る。次に、死角カメラ13aは、運転者の視点位置で撮像していないので、撮像位置を運転者の視点位置に変換する処理をおこなう(ステップS306)。まず、第1に、撮像位置の高さを合わせるために、アフィン変換処理をする。
【0025】
第2に、運転者視点カメラ13bによる画像に大きさに合わせるように、画像A1を所定の倍率で画像の大きさを調整し、変換外部画像A2を得る。具体的には、画像B1と画像A1のそれぞれに対して、それぞれ特徴エリアを設定する。このエリアは、画像中の明暗や色彩等の変化が顕著で、その対象が特定しやすい領域を選択する。特徴エリアに設定される画像は、画像A1と画像B1がそれぞれ同じ対象物を捕らえていることが必要である。そして、この特徴エリアに映し出された対象物の大きさが同じになるように画像変換(画像A1を拡大又は縮小)をする。以上説明したステップS104により撮像位置変換手段が構成される。
【0026】
内部画像と外部画像についての処理(ステップS103、S104)が終了すると、次に、画像合成処理(ステップS105)が行われる。これは、ステップS103で生成された画像B1と、ステップS104で生成された画像A2とを重ね合わせて、合成画像B1+A2を生成する。これにより、視点画像B1の死角領域に、外部画像A2が加わり、あたかも、車体を透視して外側を映しているような画像が生成される。このステップS105により画像合成手段が構成される。
【0027】
さらに、生成された合成画像B1+A2に、輪郭線6が加えられ、表示される最終合成画像ABが生成される(ステップS106)。生成された合成画像ABは、合成画像データメモリ163に記憶される。このステップS106により、輪郭線画像合成手段が構成される。
【0028】
この輪郭線6は車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状の少なくとも一つを含む輪郭線である。
特に、車体の最も外側に位置する部位の輪郭線、あるいは、運転者が車体の外側を見たときに常に外部景色と同時に視覚に認識される部位の輪郭線であるとよい。車体の最も外側に位置する部位としては、車体、バンパー、ライト、タイヤ、サイドミラー等があり、視界に同時に認識される部位としては、ワイパー、インストゥルメントパネル、ハンドル、バックミラー、座席、窓の形状等が挙げられる。車体の最も外側に位置する部位の輪郭線を合成すると、車体と外部障害物との距離の把握か容易となるという効果がある。また、視界に認識される部位の輪郭線を合成すると、肉眼で認識して操作する際の視界に近似した画像が得られるので、運転者は、従来習得した感覚と同じ感覚で外部障害物と車両との位置関係を把握することができる。
【0029】
この輪郭線データは、本発明装置を設置する車体データをもとに作成されて、予め記憶装置16やROM122などに格納されている。或いは、ステップS205で抽出した輪郭線を合成してもよい。この場合には、実際の車体の状態が画像に映し出されるので、一層リアルに画像中の外部状況と車体との関係を把握することができる。例えば、後進する場合に、リアウィンドウのダッシュボードに置かれている置物などが、画像に映し出され、実際に肉眼で見ているイメージに近付けることができる。また、輪郭線のみを合成する構成に限らず、車体や車内を映されている影像部分(死角を生成する部分の画像)を半透明にして合成してもよい。
【0030】
次に、画像表示装置へ最終合成画像ABを出力する(ステップS109)。
システムを終了するきっかけがあるか判断する(ステップS110)。例えば、本発明の画像処理装置のスイッチオフや画像装置14の表示切替えがあった場合は、システムは停止される。従って、ステップS110で、YeSの場合には、この画像処理のフローチャートは終了する(ステップS113)。
【0031】
システムを終了するきっかけがなかった場合(ステップS110:No)には、ステップS101で初期化された変数が、設定値を越えたか判断する(ステップS111)。この変数とは、距離、時間、メモリ残量などを表すもので、これらの値が予め定められた設定値に達した場合には、データの書き込みが開始された位置に戻って、古いデータを新しい画像データに書き換える(ステップS112)。ここで、ステップS101にリターンされ、設定値を監視する変数は、初期化される。ステップS111で、変数が設定値を超えていなかった場合には、ステップS102にリターンされる。
【0032】
以上説明した本実施形態によれば、視点位置から車両の外側を見た場合に、視覚に映る画像に近い画像が得られるので、従来の運転者の感覚に沿った画像が提供でき、車両の操舵が容易となる。また、車両の陰となって認識できない領域についても、画像に表示されるので、車両周囲の認識が一層容易となる。さらに、車両の位置や大きさを象徴する輪郭線が画面に同時に表示されるので、車両周囲の障害物と車両との距離や位置関係を把握しやすく、一層運転操作が容易となる。
【0033】
以上説明した構成の他、表示画像として外部画像を視点変換した画像A2を用い、これに輪郭線6を合成する構成としてもよい。つまり、撮像位置変換手段によって、視点位置に視点変換された外部画像を、そのまま表示手段に表示する構成とすることもできる。この場合には、ステップS103とステップS105は省略される。また、画像の合成処理が不要となるので、演算処理装置12の演算処理が軽減される。以上説明した作用は、後進する場合の例であるが、前進する場合でも、同様の作用となる。
【0034】
次に、運転者視点カメラ13bも広角レンズを用いたものとしてもよい。広角レンズを用いることにより、車両が曲がる際にも、単に前方、後方といったように、設定された単一の固定された方向のみの画像を取得するものに限られず、ハンドル操作角度や前輪の舵角を検出して、操舵方向の角度に応じた画像領域を抽出し、画像処理を行えば、さらに運転者の視覚画像に合致した画像を表示することが可能となる。また、図7に示されているように、車両の側面にも死角カメラ18c、18dを設け、前部に設けられた死角カメラ18bと後部の設けられた死角カメラ18aとともに、車両を中心とした全周囲の画像を取得する構成とすることもできる。その場合には、運転者視点カメラ13bも全周囲の画像を取得する魚眼レンズが使用され、例えば車内中央の天井部分や、運転者の乗車する座席の真上に位置する天井部分に取り付けられる。
【0035】
なお、超音波等によって外部障害物と車体との間の距離を計測する測距センサなどのような距離検出手段を車体に設け、合成画像の表示とともに、外部障害物との距離を測る構成とすれば、一層距離感を把握し易くなり、好ましい。例えば、超音波センサによって検出される障害物との距離が、所定の距離以下となった場合には、聴覚信号として警報を発するか、視覚信号として画面を赤のシルエットに表示するなどの構成とすることができる。
【0036】
上記のような、距離検出手段の一例を示す。図8は、距離検出手段の構成を示す模式図である。距離検出手段は、死角カメラ13aの向けられている方向の障害物との距離を検出するものであり、死角カメラ13aの近傍に設けられている。距離検出手段3は、2つの投光手段31、32を備えている。投光手段は、それぞれ異なる色の光を、特定の方向へ向けて照射するもので、照射される光は所定の方向に指向性を有するもの(光線)である。この実施形態では、投光手段の光源として発光ダイオードが用いられており、光源の色は、それぞれ青と赤である。2つの投光手段31、32から照射される光線は、光源から所定の距離Lで交差するように、相互に相手方が位置する向きへ傾斜して取りけ付けられている。光線が傾斜する方向は、上下方向に傾斜し、図8に示されているように、障害物に光線が当たると、光線が当たった部分が障害物の表面に光点として映し出され、画面内に表示される。この実施形態では、赤の光源を有する投光手段32は下側に、青の光源を有する投光手段31は上側に配置され、投光手段32は斜め上方へ向けて光線を照射し、投光手段31は斜め下方へ向けて光線を照射している。
【0037】
図9から図11は、光点30a、30bが現れた画面の図である。図9に示されているように、車両から障害物までの距離Xが、Lより大きい場合(X>L)には、赤の光点30aが上側、青の光点30bが下側に位置している。図10に示されているように、障害物までの距離がLとなった時(X=L)には、光点は、1つに重なり、赤と青の混ざった紫色の光点が表れる。図11に示されているように、車両から障害物までの距離Xが、Lより小さい場合(X<L)には、赤の光点30aが下側、青の光点30bが上側に位置している。このような表示が、画面内に同時に映し出されるので、画面を見ながら、光点30a、30bの間の距離によって、距離Xの長さを感覚的に把握することが容易となる。
【0038】
このような距離検出手段3は、図12に示されているように、車両の前部と後部において、車両左右の角部にそれぞれ設けられていてもよい。例えば、前部と後部の中央部に距離検出手段3F、3Rを設け、前部の左右角部に、距離検出手段3FL、3FRを、後部の左右角部に、距離検出手段3RL、3RRを設ける。このようにすると、例えば、図13に示されているように、車両の左側(画面右側)に位置する障害物と、右側(画面左側)に位置する障害物の距離は、光点30a、30bの距離が短いので、車両の左側(画面右側)に位置する障害物の方が近いことが解る。このように、左右方向に位置する障害物との距離感も、画像に現れる光点の距離によって把握することができる。
【0039】
【発明の効果】
請求項1に記載の発明によれば、視点の位置に撮像位置を移動させた場合の画像が得られるので、運転者の視界に入る景色に近似した画像が得られ、車両操作の際の車両と外部障害物との位置関係の把握が容易となる。また、死角領域のない外部画像が得られるので、死角への不安感が軽減される。さらに、車体内部の画像を合成するので、運転者の視界画像に、極めて近い画像が得られる。
【0040】
請求項2に記載の発明によれば、輪郭線を取得した画像から検出する構成とすると、実際の車体の状態を輪郭線で映し出すことになり、現実感が増し、画像から受ける車体の感覚が一層把握し易くなる。また、車体各部の形状の輪郭線を画像に合成することにより、画面に映し出された外部環境と、車体との位置関係を一層把握し易くなる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の構成を示すブロック図である。
【図2】本発明の画像処理装置を搭載した車両の側面図である。
【図3】本発明の画像処理装置の作用を示すフローチャートである。
【図4】本発明の画像処理装置の作用を示すフローチャートである。
【図5】本発明の画像処理装置の作用を示すフローチャートである。
【図6】画像処理の手順を示す流れ図である。
【図7】広角レンズカメラを用いたカメラの視野を示す平面図である。
【図8】距離検出手段の構成を示す模式図である。
【図9】2つの光点が現れた画面を示す図である。
【図10】2つの光点が現れた画面を示す図である。
【図11】2つの光点が現れた画面を示す図である。
【図12】距離検出手段の配置位置を示す、車両の全体平面図である。
【図13】2つの光点が現れた画面を示す図である。
【符号の説明】
1 画像処理装置
12 処理装置
13a カメラ
13b カメラ
14 画像表示装置
15 現在位置検出装置
16 記憶装置
21 車両
3 距離検出手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus for a vehicle, and more particularly to an image processing apparatus that generates an image that displays a blind spot of a driver.
[0002]
[Prior art]
When the driver operates the vehicle, there is a blind spot that is obstructed by the body of the car and the like that can be recognized from the viewpoint of the driver sitting in the driver's seat. Such a blind spot can be recognized to some extent by a room mirror, a side mirror, or the like. Recently, there has also been proposed a vehicle that is equipped with a camera that displays the outside of the vehicle and displays an image acquired by the camera on a monitor in the vehicle. For example, a camera that projects the rear of the vehicle is mounted, and when the vehicle moves backward, the rear blind spot is displayed on the in-car monitor, and assists in confirming the rear when entering a garage or the like.
Japanese Patent Application Laid-Open No. 10-264723 describes an apparatus that displays an image oriented in accordance with the driver's vision.
[0003]
[Problems to be solved by the invention]
On the other hand, when a driver operates a vehicle in which the surroundings of the vehicle cannot be recognized by a conventional camera image or the like, an external obstacle entering the field of view and the interior scenery (window frame or trunk contours) entering the field of view simultaneously. From the above, the driver senses how much the relative position and distance between the external obstacle and the vehicle are.
However, since the conventional camera image display displays the image displayed on the camera as it is on the monitor, the image displayed on the monitor is different from the image shown to the naked eye of the driver. This is because the position of the camera viewpoint is different from the viewpoint position when the driver operates, and the size of the obstacle that can be grasped by the naked eye and the size of the obstacle displayed on the monitor are different. The reason is given. Also, in the past, the driver recognized the scenery outside the vehicle entering the field of view and a part of the vehicle body (window frame, bonnet, etc.) at the same time, and grasped their relative positions sensuously. Another reason is that only the external scenery is projected.
In other words, in a conventional monitor image, it is difficult for a driver who has conventionally sensed a sense of distance to grasp the positional relationship between the outline of the vehicle and surrounding objects based on the sense that he has conventionally worn. There was a problem.
[0004]
The present invention provides an image synthesized for a blind spot area around a vehicle, reduces anxiety about the blind spot, and generates a captured image from a position close to the driver's viewpoint, thereby allowing the image to pass through the image. It is intended to make it easier for the driver to grasp the positional relationship between the vehicle and surrounding obstacles.
[0005]
[Means for Solving the Problems]
The above object is achieved by the present invention described below.
(1) a first imaging unit that is arranged outside the vehicle and acquires an image of the traveling direction of the vehicle;
Imaging position conversion means for converting the image acquired by the first imaging means into an image obtained by converting the imaging position outside the vehicle body to the viewpoint position of the driver;
A second imaging means arranged in the vehicle for obtaining an image of the traveling direction of the vehicle as viewed from the driver's viewpoint;
A viewing area for generating an image in which a blind spot area is cut out by extracting a part showing the exterior of the vehicle from the image acquired by the second imaging means or deleting a part showing the interior of the vehicle Image generating means ;
Image combining means for obtaining a combined image obtained by superimposing the image obtained by the imaging position converting means and the image obtained by the visual recognition area image generating means ;
An image processing apparatus for a vehicle, comprising: display means for displaying a composite image obtained by the image composition means .
[0008]
(2) has a contour detecting unit for detecting a contour line of the vehicle body shape, the contour detected by the contour detecting unit, to display on the viewpoint transformed image by the image pickup position converting means The image processing apparatus for a vehicle according to (1 ), further comprising contour image synthesis means for synthesizing.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration of an
[0011]
The
[0012]
The
[0013]
The current
[0014]
The
[0015]
The
[0016]
The
The
[0017]
The image processing apparatus of the present invention operates as follows. FIG. 2 is an overall side view of a
[0018]
On the other hand, an image behind the
[0019]
The external image is image-processed into an image when the imaging position is the viewpoint position (position of the
The installation position of the
[0020]
The operation of the
The power switch is turned on by turning on the ignition switch (step S100). In addition, the switch-on may be triggered when the shift change lever is set to the D position and to the rear position when the rearward image is displayed.
[0021]
Next, initialization processing is performed (step S101). Specifically, the data stored in the
[0022]
Next, it is determined whether or not the vehicle speed exceeds a predetermined set speed (step S102). Since this embodiment is used for recognizing the periphery of the vehicle, it is used for the purpose of width adjustment, garage storage, and the like. Therefore, if the set speed is exceeded, step S102 is repeated again. This set speed may be changed as necessary. If not, it is determined that image processing is necessary, and in order to perform image processing, the process proceeds to the next step, and an in-vehicle image processing routine (step S103) is started.
[0023]
FIG. 4 is a flowchart showing an in-vehicle image processing routine. FIG. 6 is a flowchart showing the procedure of image processing. Hereinafter, the contents of image processing will be described based on this diagram.
In the in-vehicle image processing routine (step S103), a viewpoint image projected from the viewpoint position is acquired by the
The acquired image is temporarily stored in the viewpoint image data memory 161 (step S204). The viewpoint image B0 is read out from the viewpoint
[0024]
Following the vehicle interior image processing routine (step S103), the vehicle exterior image processing routine (step S104) is started. FIG. 5 is a flowchart showing a vehicle exterior image processing routine.
In the outside image processing routine (step S104), an external image projected by the
The acquired image is temporarily stored in the external image data memory 162 (step S304). The image A0 is read from the external
[0025]
Second, the size of the image A1 is adjusted by a predetermined magnification so as to match the size of the image obtained by the
[0026]
When the processing for the internal image and the external image (steps S103 and S104) is completed, an image composition process (step S105) is performed. This superimposes the image B1 generated in step S103 and the image A2 generated in step S104 to generate a composite image B1 + A2. As a result, the external image A2 is added to the blind spot area of the viewpoint image B1, and an image as if the outside is seen through the vehicle body is generated. This step S105 constitutes an image composition means.
[0027]
Further, the
[0028]
The
In particular, it may be an outline of a part located on the outermost side of the vehicle body, or an outline of a part that is always visually recognized simultaneously with the external scenery when the driver looks at the outside of the vehicle body. The parts located on the outermost side of the car body include the car body, bumpers, lights, tires, side mirrors, etc. The parts that are recognized simultaneously in the field of view are the wiper, instrument panel, handle, rearview mirror, seat, window And the like. By synthesizing the contour line of the part located on the outermost side of the vehicle body, there is an effect that it becomes easy to grasp the distance between the vehicle body and the external obstacle. Also, by synthesizing the contour line of the part recognized by the field of view, an image that approximates the field of view when operating by recognizing with the naked eye can be obtained, so the driver can recognize the external obstacle with the same sensation as previously learned It is possible to grasp the positional relationship with the vehicle.
[0029]
The contour line data is created based on the vehicle body data on which the device of the present invention is installed, and is stored in advance in the
[0030]
Next, the final composite image AB is output to the image display device (step S109).
It is determined whether there is a chance to end the system (step S110). For example, when the image processing apparatus of the present invention is switched off or the display of the
[0031]
If there is no opportunity to end the system (step S110: No), it is determined whether the variable initialized in step S101 exceeds the set value (step S111). This variable represents the distance, time, remaining memory, etc.When these values reach a preset value, it returns to the position where data writing was started and old data is deleted. It is rewritten with new image data (step S112). Here, the process returns to step S101, and the variable for monitoring the set value is initialized. If the variable does not exceed the set value in step S111, the process returns to step S102.
[0032]
According to the present embodiment described above, when the outside of the vehicle is viewed from the viewpoint position, an image that is close to the image that appears visually can be obtained. Steering is easy. In addition, since the area that cannot be recognized behind the vehicle is also displayed in the image, it is easier to recognize the surroundings of the vehicle. Furthermore, since the contour line symbolizing the position and size of the vehicle is simultaneously displayed on the screen, it is easy to grasp the distance and positional relationship between the obstacles around the vehicle and the vehicle, and the driving operation is further facilitated.
[0033]
In addition to the configuration described above, an image A2 obtained by viewpoint-converting an external image may be used as a display image, and a
[0034]
Next, the
[0035]
The vehicle body is provided with a distance detection means such as a distance measuring sensor that measures the distance between the external obstacle and the vehicle body using ultrasonic waves, and the composite image is displayed and the distance to the external obstacle is measured. This is preferable because it makes it easier to grasp the sense of distance. For example, when the distance from the obstacle detected by the ultrasonic sensor is equal to or less than a predetermined distance, an alarm is issued as an auditory signal or the screen is displayed in a red silhouette as a visual signal. can do.
[0036]
An example of the distance detection means as described above will be shown. FIG. 8 is a schematic diagram showing the configuration of the distance detection means. The distance detection means detects the distance from the obstacle in the direction in which the
[0037]
9 to 11 are diagrams of screens on which the
[0038]
Such
[0039]
【The invention's effect】
According to the first aspect of the present invention, since an image when the imaging position is moved to the position of the viewpoint is obtained, an image approximating the scenery entering the driver's field of view can be obtained, and the vehicle during vehicle operation It becomes easy to grasp the positional relationship between the object and the external obstacle. In addition, since an external image without a blind spot area is obtained, anxiety about the blind spot is reduced. Furthermore, since the image inside the vehicle body is synthesized, an image very close to the driver's view image can be obtained.
[0040]
According to the second aspect of the present invention, when the contour is detected from the acquired image, the actual state of the vehicle body is projected with the contour line, and the sense of reality of the vehicle body received from the image is increased. It becomes easier to grasp. In addition, by synthesizing the contour lines of the shape of each part of the vehicle body with the image, it becomes easier to grasp the positional relationship between the external environment displayed on the screen and the vehicle body.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to the present invention.
FIG. 2 is a side view of a vehicle equipped with the image processing apparatus of the present invention.
FIG. 3 is a flowchart showing the operation of the image processing apparatus of the present invention.
FIG. 4 is a flowchart showing the operation of the image processing apparatus of the present invention.
FIG. 5 is a flowchart showing the operation of the image processing apparatus of the present invention.
FIG. 6 is a flowchart showing a procedure of image processing.
FIG. 7 is a plan view showing a field of view of a camera using a wide-angle lens camera.
FIG. 8 is a schematic diagram illustrating a configuration of a distance detection unit.
FIG. 9 is a diagram showing a screen on which two light spots appear.
FIG. 10 is a diagram showing a screen on which two light spots appear.
FIG. 11 is a diagram showing a screen on which two light spots appear.
FIG. 12 is an overall plan view of the vehicle showing the arrangement position of the distance detection means.
FIG. 13 is a diagram showing a screen on which two light spots appear.
[Explanation of symbols]
DESCRIPTION OF
Claims (2)
前記第1の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段と、
車内に配置され、運転者の視点から見た車両の進行方向の画像を取得する第2の撮像手段と、
前記第2の撮像手段によって取得された画像から、車両の外部が映されている部分を抽出し、又は車内が映されている部分を消去することにより死角領域を切り出した画像を生成する視認領域画像生成手段と、
前記撮像位置変換手段によって得られた画像と、前記視認領域画像生成手段によって得られた画像を重ね合わせた合成画像を得る画像合成手段と、
前記画像合成手段によって得られた合成画像を表示する表示手段と
を備えた車両の画像処理装置。A first imaging means arranged outside the vehicle for acquiring an image of the traveling direction of the vehicle;
Imaging position conversion means for converting the image acquired by the first imaging means into an image obtained by performing viewpoint conversion from the imaging position outside the vehicle body to the viewpoint position of the driver;
A second imaging means disposed in the vehicle for obtaining an image of the traveling direction of the vehicle as viewed from the driver's viewpoint;
A viewing area for generating an image in which a blind spot area is cut out by extracting a part showing the exterior of the vehicle from the image acquired by the second imaging means or deleting a part showing the interior of the vehicle Image generating means ;
Image combining means for obtaining a combined image obtained by superimposing the image obtained by the imaging position converting means and the image obtained by the visual recognition area image generating means ;
An image processing apparatus for a vehicle, comprising: display means for displaying a composite image obtained by the image composition means .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400962A JP4364471B2 (en) | 2001-12-28 | 2001-12-28 | Image processing apparatus for vehicle |
US10/314,230 US7212653B2 (en) | 2001-12-12 | 2002-12-09 | Image processing system for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400962A JP4364471B2 (en) | 2001-12-28 | 2001-12-28 | Image processing apparatus for vehicle |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004174330A Division JP4552525B2 (en) | 2004-06-11 | 2004-06-11 | Image processing apparatus for vehicle |
JP2007142644A Division JP2007302238A (en) | 2007-05-29 | 2007-05-29 | Vehicular image processing device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003196645A JP2003196645A (en) | 2003-07-11 |
JP2003196645A5 JP2003196645A5 (en) | 2005-04-28 |
JP4364471B2 true JP4364471B2 (en) | 2009-11-18 |
Family
ID=27605228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001400962A Expired - Fee Related JP4364471B2 (en) | 2001-12-12 | 2001-12-28 | Image processing apparatus for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4364471B2 (en) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4479183B2 (en) * | 2003-08-05 | 2010-06-09 | 日産自動車株式会社 | Video presentation device |
JP2005125828A (en) * | 2003-10-21 | 2005-05-19 | Fujitsu Ten Ltd | Vehicle surrounding visually confirming system provided with vehicle surrounding visually confirming device |
JP4379148B2 (en) * | 2004-02-23 | 2009-12-09 | 株式会社エクォス・リサーチ | Rear confirmation device |
JP4744823B2 (en) | 2004-08-05 | 2011-08-10 | 株式会社東芝 | Perimeter monitoring apparatus and overhead image display method |
JP4877447B2 (en) * | 2004-08-31 | 2012-02-15 | 株式会社エクォス・リサーチ | Vehicle peripheral image display device |
JP4583883B2 (en) * | 2004-11-08 | 2010-11-17 | パナソニック株式会社 | Ambient condition display device for vehicles |
JP2006240383A (en) * | 2005-03-01 | 2006-09-14 | National Univ Corp Shizuoka Univ | Cruising assist on-vehicle information system |
JP4556742B2 (en) * | 2005-03-30 | 2010-10-06 | 株式会社デンソー | Vehicle direct image display control apparatus and vehicle direct image display control program |
JP4683272B2 (en) * | 2005-04-14 | 2011-05-18 | アイシン・エィ・ダブリュ株式会社 | Vehicle external display method and display device |
JP4832878B2 (en) * | 2005-12-09 | 2011-12-07 | 倉敷紡績株式会社 | Image composition processing apparatus and method |
JP4676373B2 (en) * | 2006-04-27 | 2011-04-27 | 株式会社デンソー | Peripheral recognition device, peripheral recognition method, and program |
JP5159070B2 (en) * | 2006-08-31 | 2013-03-06 | アルパイン株式会社 | Vehicle periphery image display device and display method |
JP2011155651A (en) * | 2011-02-10 | 2011-08-11 | Toshiba Corp | Apparatus and method for displaying vehicle perimeter image |
JP6080387B2 (en) * | 2012-05-25 | 2017-02-15 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP6205640B2 (en) | 2012-07-30 | 2017-10-04 | 市光工業株式会社 | Warning device for vehicle |
JP6148887B2 (en) * | 2013-03-29 | 2017-06-14 | 富士通テン株式会社 | Image processing apparatus, image processing method, and image processing system |
JP6056612B2 (en) * | 2013-03-29 | 2017-01-11 | アイシン精機株式会社 | Image display control device and image display system |
JP2015074436A (en) | 2013-10-11 | 2015-04-20 | 富士通株式会社 | Image processing device, image processing method, and program |
WO2015104860A1 (en) | 2014-01-10 | 2015-07-16 | アイシン精機株式会社 | Image display control device and image display system |
US10293752B2 (en) | 2014-08-28 | 2019-05-21 | The University Of Tokyo | Display system for work vehicle, display control device, work vehicle, and display control method |
JP6446925B2 (en) | 2014-09-05 | 2019-01-09 | アイシン精機株式会社 | Image display control device and image display system |
JP2017111739A (en) * | 2015-12-18 | 2017-06-22 | 株式会社デンソー | Driving support apparatus and driving support method |
JP6707007B2 (en) * | 2016-09-27 | 2020-06-10 | 株式会社東海理化電機製作所 | Vehicle visibility device and vehicle visual image display method |
JP6878109B2 (en) * | 2017-04-20 | 2021-05-26 | 株式会社Subaru | Image display device |
JP2018177133A (en) * | 2017-04-20 | 2018-11-15 | 株式会社Subaru | Image display device |
JP6890288B2 (en) * | 2018-03-28 | 2021-06-18 | パナソニックIpマネジメント株式会社 | Image processing equipment, image display system and image processing method |
JP2019217970A (en) * | 2018-06-21 | 2019-12-26 | 日本電産コパル株式会社 | Electronic mirror device and image display method |
JP7073237B2 (en) * | 2018-09-25 | 2022-05-23 | アルパイン株式会社 | Image display device, image display method |
JP7469083B2 (en) | 2020-03-10 | 2024-04-16 | 住友重機械工業株式会社 | Image processing device, image processing method, and image processing system |
CN111918035B (en) * | 2020-07-31 | 2022-04-15 | 上海励驰半导体有限公司 | Vehicle-mounted looking-around method and device, storage medium and vehicle-mounted terminal |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05139210A (en) * | 1991-11-25 | 1993-06-08 | Nippon Steel Corp | Rear view display device for vehicle |
JPH07229961A (en) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | Apparatus and method of detecting object about vehicle |
JP3351984B2 (en) * | 1997-04-22 | 2002-12-03 | 国土交通省関東地方整備局長 | Apparatus and method for improving visibility of working vehicle |
JPH11115546A (en) * | 1997-10-17 | 1999-04-27 | Harness Syst Tech Res Ltd | Display device for vehicle |
JP3834967B2 (en) * | 1997-11-25 | 2006-10-18 | 日産自動車株式会社 | Blind spot range display device |
JP2000071877A (en) * | 1998-08-26 | 2000-03-07 | Nissan Motor Co Ltd | Vehicular display device |
JP4207298B2 (en) * | 1999-03-19 | 2009-01-14 | アイシン・エィ・ダブリュ株式会社 | Driving assistance image synthesizer |
CA2369648A1 (en) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Limited | Image processing device and monitoring system |
JP3624769B2 (en) * | 1999-09-30 | 2005-03-02 | 株式会社豊田自動織機 | Image conversion device for vehicle rear monitoring device |
JP4537537B2 (en) * | 2000-05-25 | 2010-09-01 | パナソニック株式会社 | Driving assistance device |
JP2001339716A (en) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | Device for monitoring around vehicle and its method |
-
2001
- 2001-12-28 JP JP2001400962A patent/JP4364471B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003196645A (en) | 2003-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4364471B2 (en) | Image processing apparatus for vehicle | |
JP4593070B2 (en) | Image processing apparatus for vehicle | |
US7212653B2 (en) | Image processing system for vehicle | |
JP4914458B2 (en) | Vehicle periphery display device | |
JP6766557B2 (en) | Peripheral monitoring device | |
JP4782963B2 (en) | Device for monitoring the surroundings of a parked vehicle | |
JP5035284B2 (en) | Vehicle periphery display device | |
JP4907883B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
US8754760B2 (en) | Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle | |
EP1355285B1 (en) | Image display apparatus and method for automotive vehicle | |
JP4766841B2 (en) | Camera device and vehicle periphery monitoring device mounted on vehicle | |
WO2005084027A1 (en) | Image generation device, image generation program, and image generation method | |
KR20040000303A (en) | Method and apparatus for displaying pickup image of camera installed in vehicle | |
JP4552525B2 (en) | Image processing apparatus for vehicle | |
JP2004026144A (en) | Method for monitoring inside and outside of vehicle and vehicle provided with monitoring camera | |
JP2005110202A (en) | Camera apparatus and apparatus for monitoring vehicle periphery | |
JP5516998B2 (en) | Image generation device | |
JP3876761B2 (en) | Vehicle periphery monitoring device | |
JP5036891B2 (en) | Camera device and vehicle periphery monitoring device mounted on vehicle | |
JP5516988B2 (en) | Parking assistance device | |
JP2003319383A (en) | On-vehicle image processing apparatus | |
JP2007302238A (en) | Vehicular image processing device | |
JP4600999B2 (en) | Vehicle perimeter monitoring device | |
JPH0717328A (en) | Circumference recognition auxiliary device for vehicle | |
JP3807330B2 (en) | Vehicle periphery monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4364471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |