JP2008021234A - 運転支援画像表示システム及び車載装置 - Google Patents

運転支援画像表示システム及び車載装置 Download PDF

Info

Publication number
JP2008021234A
JP2008021234A JP2006194227A JP2006194227A JP2008021234A JP 2008021234 A JP2008021234 A JP 2008021234A JP 2006194227 A JP2006194227 A JP 2006194227A JP 2006194227 A JP2006194227 A JP 2006194227A JP 2008021234 A JP2008021234 A JP 2008021234A
Authority
JP
Japan
Prior art keywords
image
roadside
display
vehicle
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006194227A
Other languages
English (en)
Other versions
JP4797849B2 (ja
Inventor
Masakazu Kagawa
正和 香川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2006194227A priority Critical patent/JP4797849B2/ja
Publication of JP2008021234A publication Critical patent/JP2008021234A/ja
Application granted granted Critical
Publication of JP4797849B2 publication Critical patent/JP4797849B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】路側カメラによる撮像画像を車載装置にて表示する際、表示された撮像画像における視界に運転者が適応し易くするための技術を提供する。
【解決手段】路側装置から受信した撮像諸元情報に基づき、表示開始地点P1、画角変更地点P2、視点・視線方向変更地点P3、相対カメラ視点位置を算出する。自車両がP3に到達すると、現在表示中のナビゲーション画像の視点位置・視線方向を相対カメラ視点位置及び路側カメラと同じ視線方向に変更する。自車両がP2に到達すると、現在表示中のナビゲーション画像の画角を路側カメラと同じ画角に変更する。自車両がP1に到達すると、現在表示している視点・視線方向・画角変更後のナビゲーション画像から、路側装置から受信した画像データに基づく路側カメラ画像へ切り替えて運転支援を行う。
【選択図】図5

Description

本発明は、交差点等の特定地域において、道路側に設けられた路側カメラによる撮像画像のデータを路車間通信で取得し、この取得したデータに基づいて道路の撮像画像を表示装置に表示することで、車両の運転者の周辺状況に対する認識を支援する運転支援画像表示システムに関する。
近年、車両の運転に際し特に注意が必要な交差点やカーブ等の特定地域において、道路側に設置されたカメラやセンサ等を有する路側設備から、当該特定地域の道路及びそこに存在する車両や歩行者等に関する詳細な情報を路車間通信を介して取得し、この取得した情報に基づいて種々の運転支援情報を車載モニタに表示する予防安全システムの開発が進められている。
この種の予防安全システムの一例として、特許文献1に記載のように、インフラ制御装置から路上のカメラやセンサに基づく対向車情報を受信し、交差点右折時に運転者から目視できない対向車の存在を、画像や音声によって運転者に報知する技術が知られている。
特開2005−11252号公報
ところで、上述のような予防安全システムにおいは、道路側に設置された路側カメラによる撮像画像を運転支援情報として運転者に提示することが非常に有効であると考えられる。なぜならば、カメラによる撮像画像は、実物を撮像したものであるので情報の正確性が高く、また、運転者は自車両を取り巻く周囲車両等の位置関係を瞬時に把握することができるからである。
しかしながら、路側カメラによる撮像画像を運転支援情報として表示する場合、次のような問題がある。路側カメラによる撮像画像は、運転者にとって第3者の視点から撮像されたものであるため、自車両周辺の状況を客観的に見ることで自車両から死角となる位置の状況も把握できるといった点で有効である反面、交差点等の特定地域において撮像画像の表示を開始した直後は、運転者自身の視界と撮像画像における視界との違いにより、表示された撮像画像ではどこをどの方向から見ているのかが分かり難い場合がある。
また、自車両の現在位置を画面上に表示して経路案内等を行ういわゆるナビゲーションシステムが搭載された車両の場合、常時においては自車両の現在位置を地図データに基づく地図画像上に重畳したナビゲーション画像が表示されている。このような場合、それまで表示されていたナビゲーション画像から路側カメラによる撮像画像に切り替わると、ナビゲーション画像における視界と路側カメラの撮像画像における視界との違いにより、表示された撮像画像の視界に適応できずに、画面上でどこをどの方向から見ているのかが瞬時には認識できないことも考えられる。
本発明は、上記問題を解決するためになされており、路側カメラによる撮像画像を表示する際、表示された撮像画像における視界に運転者が適応し易くするための技術を提供することを目的とする。
上記目的を達成するためになされた請求項1に記載の運転支援画像システムは、路側カメラによる撮像画像の表示を開始する事前に、表示開始地点における自車両に対する路側カメラの相対位置と同一の相対位置からの視点、路側カメラと同一視線方向、同一画角によるナビゲーション画像を一旦表示してから、撮像画像へ表示を切り換えること特徴とする。
具体的には、本発明の運転支援画像表示システムは、取得手段、視点位置算出手段、表示制御手段等を備える。このうち、取得手段は、路側カメラの視点の位置、視線方向及び画角に関する撮像諸元情報を取得する。視点位置算出手段は、取得手段によって取得された撮像諸元情報に基づき、撮像画像の表示を開始する所定の表示開始地点に位置する車両に対する路側カメラの視点の相対位置を算出する。
そして、表示制御手段は、自車両が表示開始地点に到達する前の所定タイミングから表示開始地点に到達するまでの期間において、視点位置算出手段により算出された相対位置及び撮像諸元情報に基づき、自車両の現在位置に対する相対位置からの視点、及び路側カメラと同じ視線方向並びに画角によるナビゲーション画像を一旦表示させ、自車両が表示開始地点に到達したときに、表示中のナビゲーション画像から路側カメラによる撮像画像へ表示を切り替える。
このように構成された運転支援画像表示システムによれば、路側カメラによる撮像画像が表示される際、運転者はこの撮像画像と近似する視界のナビゲーション画像によって視界の位置の変化を事前に把握することができるので、表示された撮像画像における視界に速やかに適応できる。
なお、撮像画像への切替前に表示するナビゲーション画像の視点の位置については、撮像画像の表示を開始する地点に位置する車両に対する路側カメラの視点の相対位置を自車両の現在位置に対する相対位置として用い、さらに視線方向、画角を路側カメラと同じくすることで、撮像画像へ切り替わる直前のナビゲーション画像が示す視界と撮像画像が示す視界とをより正確に近似させることができる。
このようにすることで、画像の切り替え時において運転者が感じる違和感を低減でき、運転者にとって撮像画像の視界の位置を直感的に認識し易くすることができる。よって、運転者は、表示された撮像画像から自車両周辺の状況を速やかにかつ的確に把握することができる。
なお、上述の取得手段及び視点位置算出手段は、請求項2に記載のように、車載装置側に備えるように構成することが考えられる。具体的には、例えば、路側装置から路側カメラの撮像諸元情報を車両に対して送信し、車載装置側でこの送信された撮像諸元情報を取得して、路側カメラの相対位置等を算出する構成が挙げられる。
一方、請求項3に記載のように、取得手段及び視点位置算出手段を路側装置側に備えるように構成することも考えられる。具体的には、予め登録されている撮像諸元情報を記憶媒体から読み出したり、路側カメラやその他の外部装置等から受信したりすることにより取得した撮像諸元情報に基づいて、路側装置側で路側カメラの相対位置を算出し、この算出した結果を車両に対して送信する構成が挙げられる。
ところで、路側カメラによる撮像画像の表示を開始する時期は、早過ぎても遅過ぎても運転者にとって有効な運転支援を行うことができない。例えば、自車両が路側カメラの撮像範囲内に進入する前から延々と撮像画像を表示しても、運転者にとって無用な情報を提供することになりかねない。また、表示を開始するタイミングが遅過ぎれば、運転支援の効果が十分に発揮されない。よって、路側カメラによる撮像画像の表示を開始する時期は、当該路側カメラの撮像範囲内に自車両が進入した時点とすることが望ましい。
このようにすることで、路側カメラの撮像範囲に進入した車両に対して、当該車両を取り巻く周辺状況を適切なタイミングで運転者に対して報知することができ、運転者にとって有効な運転支援を行うことができる。
そこで、請求項4に記載のように、取得手段によって取得された撮像諸元情報に基づき、自車両が路側カメラの撮像範囲内に入り始める位置を表示開始位置として算出する表示開始地点算出手段を車載装置が備えるように構成するとよい。
あるいは、請求項5に記載のように、路側装置が表示開始地点算出手段を備え、この表示開始地点算出手段によって算出された表示開始地点の情報を撮像対象の車両に対して送信するように構成してもよい。
このように構成された運転支援画像表示システムによれば、路側カメラの撮像諸元情報に基づいて、自車両が路側カメラの撮像範囲内に入り始める位置を表示開始地点として算出することができ、路側カメラの撮像範囲に応じた適切なタイミングで路側カメラによる撮像画像の表示を開始することができる。
ところで、ナビゲーションシステムの経路案内機能によって、自車両の走行に合わせて常時ナビゲーション画像が車載モニタに表示されていれば、撮像画像の表示開始地点の手前において、それまで表示されていたナビゲーション画像の視界を、路側カメラによる撮像画像と近似する視界に変更するように構成してもよい。
このとき、それまで表示されていた通常視界のナビゲーション画像から、瞬時に路側カメラによる撮像画像と近似する視界のナビゲーション画像に切り替えるよりも、通常視界のナビゲーション画像における視点位置、視線方向、画角を徐々に変化させることによって路側カメラによる撮像画像と近似する視界のナビゲーション画像を表示するように構成することが望ましい。このようにすれば、変更前の画像から視界が連続的に変化する過程を運転者が認識でき、変更後のナビゲーション画像の視界に違和感なく適応できる。
そこで、請求項6に記載の運転支援画像表示システムのように構成するとよい。すなわち、表示制御手段は、路側カメラによる撮像画像の表示時を除く常時においては、自車両の走行に伴い所定の通常視界でナビゲーション画像を表示させ、自車両が表示開始地点に到達する前の所定タイミングから表示開始地点に到達するまでの期間において、ナビゲーション画像の表示を継続したまま通常視界から視点位置、視線方向及び画角をそれぞれに所定のタイミングで連続的に変化させることによって、自車両の現在位置に対する相対位置からの視点、及び路側カメラと同じ視線方向並びに画角によるナビゲーション画像一旦表示させる。
なお、ここでいう通常視界のナビゲーション画像としては、例えば、画像上の視線を自車両の進行方向に向けて描かれた俯瞰画像や、自車両付近の地図を真上から見る視線で描かれた平面画像等、ナビゲーション画像として従来よく用いられている画像が挙げられる。
このように構成された運転支援画像表示システムによれば、従前に表示されていた通常視界のナビゲーション画像から、視点位置、視線方向及び画角を連続的に変化させることで、表示されている画像の視界が徐々に変化する過程を運転者が視認することができる。これにより、運転者は、変更後のナビゲーション画像の視界に違和感なく適応することができる。
なお、通常視界のナビゲーション画像から、視点位置、視線方向、画角をそれぞれ変更するタイミングとしては、例えば、まず視点位置と視線方向とを同時に変更し、これらの変更完了後に画角を変更してもよいし、逆の順序で変更してよい。あるいは、視点位置、視線方向、画角をそれぞれ別のタイミングで変更してもよいし、全て同時に変更してもよい。
一方、常時表示されている通常視界のナビゲーション画像から、路側カメラによる撮像画像と近似する視界のナビゲーション画像に変更する際、画像を瞬時に切り替えるのではなく、例えば、スクロールやフェードイン・アウト等といった画像切替効果を用いて徐々に画像を切り替えるように構成してもよい。
そこで、請求項7に記載のように運転支援画像表示システムのように構成するとよい。すなわち、表示制御手段は、前記路側カメラによる撮像画像の表示時を除く常時においては、自車両の走行に伴い所定の通常視界で前記ナビゲーション画像を表示させ、自車両が前記表示開始地点に到達する前の所定タイミングから前記表示開始地点に到達するまでの期間において、表示させる画像を前記通常視界による前記ナビゲーション画像から、自車両の現在位置に対する前記相対位置からの視点、及び前記路側カメラと同じ視線方向並びに画角による前記ナビゲーション画像へ、所定の画像切替効果を用いて徐々に切り替える。
このように構成された運転支援画像表示システムによれば、上述のような画像切替効果を用いて徐々に切り替えることで、画像の変更時に運転者が感じる違和感が低減され、変更後のナビゲーション画像の視界に運転者が適応し易くすることができる。
なお、ナビゲーション画像の変更時に用いる画像切替効果としては、従前の画像をスクロールアウトさせて画像を切り替える方法、変更後の画像をスクロールインさせて画像を切り替える方法、従前の画像をフェードアウトさせて画像を切り替える方法、変更後の画像をフェードインさせて画像を切り替える方法、モザイク処理によって画像を切り替える方法等、種々の画像切替効果を用いることができる。
つぎに、請求項8に記載の運転支援画像表示システムは、自車両が表示開始地点に到達したときに、表示中のナビゲーション画像から路側カメラによる撮像画像へ、所定の画像切替効果を用いて徐々に表示を切り替えることを特徴とする。
このように構成された運転支援画像表示システムによれば、表示中のナビゲーション画像から路側カメラによる撮像画像に切り替える際、画像を瞬時に切り替えるのではなく、上述のような種々の画像切替効果を用いて徐々に画像を切り替えるようにすることで、画像が変更されることによって運転者が感じる違和感が低減され、変更後の撮像画像の視界に運転者が適応し易くすることができる。
また、請求項9に記載のような、請求項1ないし請求項8の何れか1項に記載の運転支援画像表示システムを構成する車載装置を構成すれば、上述したような効果を導くことができる。
以下、本発明の一実施形態を図面に基づいて説明する。
[運転支援画像表示システムの構成の説明]
図1は、実施形態の運転支援画像表示システムの概略構成を示すブロック図である。
図1に示すように、運転支援画像表示システムは、車両に搭載される車載装置1と、運転支援サービスを提供可能な交差点等の特定地域(以下、支援エリアともいう)の道路近傍に設置される路側装置4によって構成される。
車載装置1は、車両の現在位置を検出する位置検出器21と、利用者からの各種指示を入力するための操作スイッチ群22と、操作スイッチ群22と同様に各種指示を入力可能なリモートコントロール端末(以下、リモコンと称す)23aと、リモコン23aからの信号を入力するリモコンセンサ23bと、通信装置24と、地図データ等の各種の情報を記録した外部記録媒体からデータを入力するデータ入力器25と、地図表示画面や運転支援画像等の各種表示を行うための表示装置26と、各種のガイド音声等を出力するための音声出力装置27と、車両情報入力器28と、制御装置29とを備えている。
位置検出器21は、GPS(Global Positioning System)用の人工衛星からの送信電波をGPSアンテナを介して受信し、車両の位置等を検出するGPS受信機21aと、車両に加えられる回転運動の大きさを検出するジャイロスコープ21bと、車両の走行した距離を検出するための距離センサ21cとを備えている。そして、これら各センサ等21a〜21cは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部のセンサで構成してもよく、またステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
操作スイッチ群22は、表示装置26と一体に構成され表示面上に設置されるタッチパネル及び表示装置26の周囲に設けられたメカニカルなキースイッチ等が用いられる。
通信装置24は、通信アンテナを介して支援エリアに設置される情報提供用の路側装置4との路車間通信を行い、路側装置4から送信される支援情報を受信し、これを制御装置29へ送出する。
データ入力器25は、制御装置29からの制御に基づいて、不揮発性の記憶媒体からデータを読み出し、これを制御装置29へ入力する。この不揮発性の記憶媒体が記憶しているデータは、リンク情報、ノード情報、及びリンク間接続情報などの走行路に関する地図データや経路案内用データ等を含む地図データベース25a、ナビゲーション画像を表示するための画像データを含む地図画像データベース25b、運転支援サービスを提供可能な支援エリアの基点の位置、支援エリアの範囲等の種々の情報を含む支援エリアデータベース25c、車載装置1の作動のためのプログラム等である。これらのデータの記憶媒体としては、ハードディスク、DVD、CD−ROM、メモリ、メモリカード等を用いることができる。
表示装置26は、液晶ディスプレイ等の表示面を有するカラー表示装置である。表示装置26は、制御装置29からの映像信号の入力に応じて各種画像を表示面に表示可能である。例えば、運転支援サービスが提供される特定の支援エリアに進入した場合には、図9(d)に示すような路側カメラ41による当該支援エリアの撮像画像(以下、路側カメラ画像とも称する)を表示することができる。また、支援エリア以外の地域を走行中においては、自車両の現在位置を示すマークを地図画像上に重畳したナビゲーション画像(図8(a)参照)を表示することができる。
音声出力装置27は、各種情報を音声にてユーザに報知できるように構成されている。これによって、表示装置26による表示と音声出力装置27からの音声出力との両方でユーザに対して各種情報を提供することができる。
車両情報入力器28は、車両に関する各種の外部情報を入力するためのものであり、例えば、車両の各種ECU(Electronic Control Unit)等から伝達される車両に関する情報を入力する。
制御装置29は、CPU,ROM,RAM,I/O及びこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、上述した各部構成を制御する。この制御装置29は、ROMやデータ入力器25等から読み込んだプログラムに従って、ナビゲーションや運転支援等に関する各種処理を実行する。
例えば、ナビゲーション関係の処理としては、地図表示処理や経路案内処理等が挙げられる。地図表示処理は、位置検出器21からの各検出信号に基づいて座標及び進行方向の組として車両の現在位置を算出し、データ入力器25を介して読み込んだ現在位置付近の地図であるナビゲーション画像等を表示装置26に表示する処理である。また、経路案内処理は、記憶媒体に格納された地点データと、操作スイッチ群22やリモコン23a等の操作に従って設定された目的地とに基づいて、現在位置から目的地までの最適な経路である目的地経路を算出し、その算出した目的地経路に対する走行案内を行う処理である。このように自動的に最適な経路を設定する手法として、ダイクストラ法によるコスト計算等の手法が知られている。
また、運転支援に関する処理として、路側装置4から受信した支援情報に基づき、画像による運転支援を行う「運転支援画像表示処理」が挙げられる。この「運転支援画像表示処理」は、交差点等の支援エリアにおいて、通信装置24を介して路側装置4から支援情報を受信し、この受信した支援情報に基づいて当該支援エリア周辺の路側カメラ画像を表示装置26に表示することにより、自車両周辺の対向車等の障害物に対する運転者の視認を支援するため処理である。
なお、本実施形態において、制御装置29は、上述のような「運転支援画像表示処理」におけるプロセスとして、次のような処理を実行できるように構成されている。つまり、上述の路側カメラ画像の表示を開始する前に、それまで表示されていたナビゲーション画像の視点位置、視線方向、画角を変化させることで、路側カメラ画像と近似する視界のナビゲーション画像を一旦表示し、このナビゲーション画像から路側カメラ画像へ表示を切り替える。この処理についての詳細な説明については後述する。
一方、路側装置4は、路側カメラ41と制御部42と通信装置43とを備える。路側カメラ41は、支援エリア周辺の路上を撮像する。制御部42は、路側カメラ41及び通信装置43の作動を統括制御し、路側カメラ41による撮像画像のデータや路側カメラ41の視点位置、視線方向、画角に関する撮像諸元情報等を通信装置43を介して外部へ送信する。通信装置43は、支援エリア周辺の車両と通信を行う。
なお、本実施形態では、運転支援を行う局面として交差点での右折時を想定しており、路側カメラ41は、図2に示すように、支援エリアの交差点の手前において当該交差点に向かう撮像対象の車両の斜め後ろ上方から当該交差点周辺を撮像する位置に設置されている。ここでは、支援エリアの交差点の中心を支援エリア基点P0として、この支援エリア基点P0から、支援対象の車両の進行方向に沿って距離Lc1、車両の進行方向に対して垂直方向に距離Wc1、設置面からの高さHc1の位置に路側カメラ41が設置されている。すなわち、支援エリア基点P0から距離Lc1,Wc1,Hc1の位置が路側カメラ41の視点位置に相当する。
なお、制御部42には、この視点位置の情報や路側カメラ41の視線方向、画角の情報が撮像諸元情報として予め登録されている。
以上、運転支援画像表示システムの概略構成について説明したが、本実施形態における運転支援画像表示システムの構成と特許請求の範囲に記載した構成との対応は次のとおりである。本実施形態における車載装置1の制御装置29が、特許請求の範囲の取得手段、視点位置算出手段、表示開始地点算出手段、及び表示制御手段に相当する。また、車載装置1のデータ入力器25が地図データ取得手段に相当する。
以下、車載装置1の制御装置29が実行する「運転支援画像表示処理」について、図3のフローチャートを中心に、図4〜9の説明図を適宜参照しながら説明する。
[運転支援画像表示処理の説明]
図3は、車載装置1の制御装置29が実行する「運転支援画像表示処理」のメイン処理の手順を示すフローチャートである。なお、この処理の実行時においては、上述の地図表示処理や経路案内処理等が並行して実行されており、これらの処理により自車両の走行に伴って通常のナビゲーション画像(図8(a)参照)が表示装置26に表示されている。
制御装置29は「運転支援画像表示処理」の開始後、自車両が路側装置4との通信圏内に入ると通信装置24を介して路側装置4から支援情報の受信を開始する(ステップ10。以下、ステップを単に記号Sで表記する)。ここで路側装置4から受信する支援情報は、路側カメラ41による撮像画像のデータ及び路側カメラ41の視点位置、視線方向、画角の情報を含む撮像諸元情報である。
つぎに、路側装置4から受信した撮像諸元情報の視点位置、視線方向、画角のデータに基づき、路側カメラ画像の表示を開始する表示開始地点P1、路側カメラ画像の表示に先立ちナビゲーション画像の画角を変更する画角変更地点P2、同じく視点位置及び視線方向を変更する視点・視線方向変更地点P3を算出する(S20)。
表示開始地点P1の算出については、路側カメラ41の視点位置、視線方向、画角に基づいて、路側カメラ41の撮像範囲に自車両が入り始めると推定される位置を算出し、これを表示開始地点P1とする。この表示開始地点P1の具体的な算出方法の一例を図4に示す。
まず、路側装置4から受信した撮像諸元情報に基づき、路側カメラ41の支援エリア基点(交差点の中心)P0のからの距離Lc1、視点の高さHc1、視線方向の鉛直方向に対する角度である視線角Θa、垂直方向の画角Θbが得られる。
したがって、図4に示すように、路側カメラ41の撮像範囲に入り始める位置、すなわち表示開始地点P1から路側カメラの視点位置までの水平距離Lc2は、次の数式(1)によって算出される。
Lc2=Hc1×tan(Θa-Θb/2)・・・(1)
よって支援エリア基点P0から表示開始地点P1までの距離L1は、次の数式(2)によって算出される。
L1=Lc1-Lc2・・・(2)
このようにして、表示開始地点P1が支援エリア基点P0からの距離L1によって特定される。また、画角変更地点P2については、表示開始地点P1から車両の進行方向に沿って所定距離(例えば数10m〜数100m)手前の位置に配置する。
そして、視点・視線方向変更地点P3は、画角変更地点P2から更に車両の進行方向に沿って所定距離(例えば数10m〜数100m)手前の位置に配置する。つまり、支援エリア基点P0から画角変更地点P2までの距離L2を、L1に所定の数値を足した値として算出し、支援エリア基点P0から視点・視線方向変更地点P3までの距離L3を、L2に所定の数値を足した値として算出する。このようにして、画角変更地点P2及び視点・視線方向変更地点P3が支援エリア基点P0からの距離L2,L3によって特定される。
図5は、支援エリア基点P0、表示開始地点P1、画角変更地点P2、視点・視線方向変更地点P3の位置関係を模式的に示す図である。図5に示すように、支援エリア基点P0から自車両の経路上に沿って距離L1手前の地点に表示開始地点P1、更に手前の距離L2の地点に画角変更地点P2、更に手前の距離L3の地点に視点・視線方向変更地点P3が配置される。
図3のフローチャートの説明に戻る。S20において表示開始地点P1、画角変更地点P2、視点・視線方向変更地点P3の各地点を算出した後、表示開始地点P1に位置する自車両に対する路側カメラ41の視点の相対位置(以下、相対カメラ視点位置と称する)を算出する(S30)。ここでは、図6に示すように、表示開始地点P1から自車両の進行方向に沿って距離Lc2、自車両の進行方向に対して垂直方向に距離Wc2、設置面からの高さHc1の位置を、相対カメラ視点位置として算出する。
このうち、距離Lc2は、上述の数式(1)によって算出される。また、距離Wc2は、路側カメラ41から受信した撮像諸元情報に含まれる視点位置としての距離Wc1に、表示開始地点P1付近の道路の車線幅W0の2分の1の距離を足した値として下記の数式(3)によって算出される。なお、車線幅W0は、地図データベース25a内にリンク情報として予め登録されている車線幅のデータを用いることが考えられる。
Wc2=Wc1+W0/2・・・(3)
図3のフローチャートの説明に戻る。S30の処理を実行した後、位置検出器21からの検知情報に基づいて自車両が視点・視線方向変更地点P3に到達したか否か、すなわち、自車両が支援エリア基点P0から距離L3以内の範囲に到達したか否かを判定する(S40)。ここで、自車両が支援エリア基点P0から距離L3以内の範囲に到達していないと判定している間(S40:NO)、この処理を繰り返す。
そして、自車両が支援エリア基点P0から距離L3以内の範囲に到達したと判定した場合(S40:YES)、現在表示中のナビゲーション画像の視点位置・視線方向を変更する(S50)。
ここでは、S30において算出した相対カメラ視点位置に基づき、ナビゲーション画像の視点位置を、通常時の位置(自車両後方からの俯瞰)から、自車両の現在位置を基準とする相対カメラ視点位置に移動する。すなわち、図7に示すように、自車両の現在位置から、距離Lc2,Wc2、高さHc1の位置に視点を移動させる。以降、ナビゲーション画像の視点は、自車両の移動に応じて、自車両の現在位置からの相対カメラ視点位置に維持される。また、視線方向については、路側装置4から受信した撮像諸元情報に含まれる視線方向の情報に基づき、ナビゲーション画像の視線方向を路側カメラ41の視線方向と同じにする。このとき、通常時のナビゲーション画像から視点位置及び視線方向を画面上で所定の速度で徐々に変化させるようにする。
図8は、S50の処理において通常時のナビゲーション画像から視点位置及び視線方向を変更した際の表示装置26における表示画面の遷移を模式的に示す説明図である。
図8(a)は、通常時のナビゲーション画像を示している。この図に示すように、通常時のナビゲーション画像は、自車両を画面の中央付近に配置して、自車両の進行方向に沿って後方から自車両の進行方向前方を俯瞰する視界の画像である。このようなナビゲーション画像が表示されている状態から、自車両が視点・視線方向変更地点P3に到達することにより、視点位置及び視線方向の変更を開始する。そして、徐々に視点位置及び視線方向を変更していき、最終的に図8(b)に示すような視点位置・視線方向変更後のナビゲーション画像が表示される。
図8(b)に示すように、視点位置・視線方向変更後のナビゲーション画像は、自車両の右斜め後ろ上方から自車両の前方を俯瞰する視界の画像であり、上述の相対カメラ視点位置からの視点、路側カメラと同じ視線方向によるナビゲーション画像である。
図3のフローチャートの説明に戻る。S50の処理を実行した後、位置検出器21からの検知情報に基づいて自車両が画角変更地点P2に到達したか否か、すなわち、自車両が支援エリア基点P0から距離L2以内の範囲に到達したか否かを判定する(S60)。ここで、自車両が支援エリア基点P0から距離L2以内の範囲に到達していないと判定している間(S60:NO)、この処理を繰り返す。
そして、自車両が支援エリア基点P0から距離L2以内の範囲に到達したと判定した場合(S60:YES)、現在表示中のナビゲーション画像の画角を変更する(S70)。
ここでは、路側装置4から受信した撮像諸元情報に含まれる画角の情報に基づき、視点位置及び視線方向変更後のナビゲーション画像(図8(b)参照)の画角をズームアップ又はズームバックすることにより、路側カメラ41の画角と同じにする。このとき、画角を画面上で所定の速度で徐々に変化させるようにする。
つぎに、位置検出器21からの検知情報に基づいて自車両が表示開始地点P1に到達したか否か、すなわち、自車両が支援エリア基点P0から距離L1以内の範囲に到達したか否かを判定する(S80)。ここで、自車両が支援エリア基点P0から距離L1以内の範囲に到達していないと判定している間(S80:NO)、この処理を繰り返す。
そして、自車両が支援エリア基点P0から距離L1以内の範囲に到達したと判定した場合(S80:YES)、表示装置26に表示する画像を、現在表示中のナビゲーション画像(視点・視線方向・画角変更後)から、路側装置4から受信した画像データに基づく路側カメラ画像へ切り替える(S90)。
なお、ナビゲーション画像から路側カメラ画像に切り替える際、表示中のナビゲーション画像の背後に路側カメラ画像を重畳して配置しておき、ナビゲーション画像をスライドアウトやフェードアウト、モザイク処理によって消すことにより路側カメラ画像を徐々に表示させたり、表示中のナビゲーション画像の前面に路側カメラ画像をスライドインやフェードイン、モザイク処理によって徐々に表示させるといった画像切替効果を用いる。また、ナビゲーション画像の表示を徐々に消す際、自車両の現在位置を示すマークだけを画面上に残し、この自車両マークを一定時間路側カメラ画像上に重畳して表示した後、最後にこの自車両マークを消すといった切替効果を用いてもよい。
図9は、S90の処理において表示装置26に表示する画像をナビゲーション画像から路側カメラ画像に変更した際の表示画面の遷移を模式的に示す説明図である。
図9(a)は、路側カメラ画像への切替直前、すなわち視点位置、視線方向及び画角変更後に表示開始地点P1到達した時点でのナビゲーション画像を示す。このようなナビゲーション画像が表示されている状態から、上述のような画像切替効果によって画像が切り替わり、図9(b)に示すような撮像カメラ画像が表示される。このとき、切替直前のナビゲーション画像は、表示開始地点P1に位置する自車両に対する相対カメラ視点位置からの視点、路側カメラと同じ視線方向及び画角で表示されていることから、切替直前のナビゲーション画像と切替直後の路側カメラ画像とでは、画面上における自車両や道路の位置関係が互いに近似している。
図9(b)に示すように、路側カメラ画像には自車両の映像の他に対向車両等の障害物の映像が含まれており、運転者は、交差点での右折時においてこの路側カメラ画像を参考にすることで、自車両を取り巻く周辺状況を正確に把握することができる。
図3のフローチャートの説明に戻る。S90の処理を実行した後、自車両が支援エリアを通過したか否かを判定する(S100)。ここで、自車両が支援エリアを通過していないと判定している間(S100:NO)、この処理を繰り返す。なお、この間は路側カメラ画像の表示を継続する。
そして、自車両が支援エリアを通過したと判定した場合(S100:YES)、「運転支援画像表示処理」を終了し、通常のナビゲーション画像の表示を再開する。
[効果]
上記実施形態の運転支援画像表示システムによれば、以下のような効果を奏する。
路側カメラ画像の表示が開始される事前に、路側カメラ画像と近似させたナビゲーション画像によって運転者が視界の変化を事前に把握できるので、ナビゲーション画像から路側カメラ画像への切り替え時において運転者が感じる違和感を低減でき、路側カメラ画像の視界に運転者が適応し易くすることができる。よって、運転者は、表示された路側カメラ画像から自車両周辺の状況を速やかにかつ的確に把握することができる。
また、車載装置1が路側装置4から受信する撮像諸元情報に基づいて、自車両が路側カメラ41の撮像範囲内に入り始める位置を表示開始地点P1として算出することができ、路側カメラ41の撮像範囲に応じた適切なタイミングで路側カメラ画像の表示を開始できる。
また、通常時のナビゲーション画像から視点位置、視線方向、画角を徐々に変化させることによって路側カメラ画像と近似する視界のナビゲーション画像を表示することで、変更前の画像から視界が連続的に変化する過程を運転者が認識することができる。これにより、運転者は変更後のナビゲーション画像の視界に違和感なく適応できる。
また、表示中のナビゲーション画像から路側カメラ画像に切り替える際、種々の画像切替効果を用いて徐々に画像を切り替えるようにすることで、画像の変更時に運転者が感じる違和感を低減することができる。
[別実施形態]
以上、本発明の実施形態について説明したが、本発明の実施形態は上記の実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り様々な態様にて実施することが可能である。
例えば、上記実施形態は、表示開始地点P1、画角変更地点P2、視点・視線方向変更地点P3の各地点を算出する処理や、表示開始地点P1における相対カメラ視点位置の算出する処理を車載装置1側で実行するような構成であったが、これらの処理を路側装置4側で実行するような構成することもできる。この場合、上述の「運転支援画像表示処理」(図3参照)におけるS20,S30の処理に相当する処理を、路側装置4の制御部42が実行し、この実行結果のデータを通信装置43を介して車両に送信する構成が考えられる。
また、上記実施形態では、ナビゲーション画像の視界を路側カメラ画像の視界へ近似させる際、まず視点位置と視線方向を変更し、その後画角を変更するという順序で視界の変更を行うが、逆の順序で変更してもよい。あるいは、視点位置、視線方向、画角をそれぞれ別のタイミングで変更してもよいし、全て同時に変更してもよい。
また、ナビゲーション画像の視点位置、視線方向、画角を変更する際、それぞれを徐々に変更するのではなく、変更前の画像から変更後の画像へスクロールやフェードイン・アウト等といった画像切替効果を用いて画像を切り替えるように構成してもよい。
また、常時表示されているナビゲーション画像が、自車両付近の地図を真上から見る視線で描かれた平面画像(いわゆる二次元画像)である場合、ナビゲーション画像を二次元画像から俯瞰画像等の三次元画像に切り替えてから、視点位置、視線方向、画角を変更し、路側カメラ画像の視界に近似させてもよい。
実施形態の運転支援画像表示システムの概略構成を示すブロック図である。 路側カメラ41の配置状況を示す説明図である。 車載装置1の制御装置29が実行する「運転支援画像表示処理」のメイン処理の手順を示すフローチャートである。 表示開始地点P1を算出する方法の一例を模式的に示す説明図である。 支援エリア基点P0、表示開始地点P1、画角変更地点P2、視点・視線方向変更地点P3の位置関係を模式的に示す図である。 通常時のナビゲーション画像から視点位置・視線方向を変更した際の表示装置26における表示画面の遷移を模式的に示す説明図である。 相対カメラ視点位置でのナビゲーション画像の視点を模式的に示す説明図である。 通常時のナビゲーション画像から視点位置及び視線方向を変更した際の表示装置26における表示画面の遷移を模式的に示す説明図である。 表示装置26に表示する画像をナビゲーション画像から路側カメラ画像に変更した際の表示画面の遷移を模式的に示す説明図である。
符号の説明
1…車載装置、4…路側装置、21…位置検出器、21a…GPS受信機、21b…ジャイロスコープ、21c…距離センサ、22…操作スイッチ群、23a…リモコン、23b…リモコンセンサ、24…通信装置、25…データ入力器、25a…地図データベース、25b…地図画像データベース、25c…支援エリアデータベース、26…表示装置、27…音声出力装置、28…車両情報入力器、29…制御装置、41…路側カメラ、42…制御部、43…通信装置。

Claims (9)

  1. 道路側に設けられ、道路上を撮像する路側カメラによる撮像画像のデータを少なくとも含む種々の情報を車両に対して送信する路側装置と、車両に搭載され、前記路側装置から送信された情報を路車間通信を介して受信し、前記路側カメラによる撮像画像を表示する車載装置とから構成される運転支援画像表示システムにおいて、
    前記路側カメラの視点の位置、視線方向及び画角に関する撮像諸元情報を取得する取得手段と、
    前記取得手段によって取得された撮像諸元情報に基づき、前記撮像画像の表示を開始する所定の表示開始地点に位置する車両に対する前記路側カメラの視点の相対位置を算出する視点位置算出手段とを備え、
    前記車載装置は、
    地図データを取得する地図データ取得手段と、
    自車両の現在位置を前記地図データ取得手段によって取得された地図データに基づく地図画像上に重畳したナビゲーション画像と、前記路側カメラによる撮像画像とをそれぞれ切り替えて表示させる処理を実行する表示制御手段を備え、
    前記表示制御手段は、自車両が前記表示開始地点に到達する前の所定タイミングから前記表示開始地点に到達するまでの期間において、前記視点位置算出手段により算出された相対位置及び前記撮像諸元情報に基づき、自車両の現在位置に対する前記相対位置からの視点、及び前記路側カメラと同じ視線方向並びに画角による前記ナビゲーション画像を一旦表示させ、自車両が前記表示開始地点に到達したときに、表示中の前記ナビゲーション画像から前記路側カメラによる撮像画像へ表示を切り替えること
    を特徴とする運転支援画像表示システム。
  2. 請求項1に記載の運転支援画像表示システムにおいて、
    前記車載装置が前記取得手段及び前記視点位置算出手段を備えていること
    を特徴とする運転支援画像表示システム。
  3. 請求項1に記載の運転支援画像表示システムにおいて、
    前記路側装置が前記取得手段及び前記視点位置算出手段を備えており、
    前記路側装置は、前記取得手段によって取得された撮像諸元情報及び前記視点位置算出手段によって算出された相対位置の情報を車両に対して送信すること
    を特徴とする運転支援画像表示システム。
  4. 請求項2に記載の運転支援画像表示システムにおいて、
    前記車載装置は、前記取得手段によって取得された撮像諸元情報に基づき、自車両が前記路側カメラの撮像範囲内に入り始める位置を前記表示開始位置として算出する表示開始地点算出手段を更に備えること
    を特徴とする運転支援画像表示システム。
  5. 請求項3に記載の運転支援画像表示システムにおいて、
    前記路側装置は、
    前記取得手段によって取得された撮像諸元情報に基づき、撮像対象の車両が前記路側カメラの撮像範囲内に入り始める位置を前記表示開始位置として算出する表示開始地点算出手段を更に備え、
    前記表示開始地点算出手段によって算出された表示開始地点の情報を前記撮像対象の車両に対して送信すること
    を特徴とする運転支援画像表示システム。
  6. 請求項1ないし請求項5の何れか1項に記載の運転支援画像表示システムにおいて、
    前記表示制御手段は、前記路側カメラによる撮像画像の表示時を除く常時においては、自車両の走行に伴い所定の通常視界で前記ナビゲーション画像を表示させ、自車両が前記表示開始地点に到達する前の所定タイミングから前記表示開始地点に到達するまでの期間において、前記ナビゲーション画像の表示を継続したまま前記通常視界から視点位置、視線方向及び画角をそれぞれに所定のタイミングで連続的に変化させることによって、自車両の現在位置に対する前記相対位置からの視点、及び前記路側カメラと同じ視線方向並びに画角による前記ナビゲーション画像一旦表示させること
    を特徴とする運転支援画像表示システム。
  7. 請求項1ないし請求項5の何れか1項に記載の運転支援画像表示システムにおいて、
    前記表示制御手段は、前記路側カメラによる撮像画像の表示時を除く常時においては、自車両の走行に伴い所定の通常視界で前記ナビゲーション画像を表示させ、自車両が前記表示開始地点に到達する前の所定タイミングから前記表示開始地点に到達するまでの期間において、表示させる画像を前記通常視界による前記ナビゲーション画像から、自車両の現在位置に対する前記相対位置からの視点、及び前記路側カメラと同じ視線方向並びに画角による前記ナビゲーション画像へ、所定の画像切替効果を用いて徐々に切り替えること
    を特徴とする運転支援画像表示システム。
  8. 請求項1ないし請求項7の何れか1項に記載の運転支援画像表示システムにおいて、
    前記表示手段は、自車両が前記表示開始地点に到達したときに、表示中の前記ナビゲーション画像から前記路側カメラによる撮像画像へ、所定の画像切替効果を用いて徐々に表示を切り替えること
    を特徴とする運転支援画像表示システム。
  9. 請求項1ないし請求項8の何れか1項に記載の運転支援画像表示システムを構成する車載装置。
JP2006194227A 2006-07-14 2006-07-14 運転支援画像表示システム及び車載装置 Expired - Fee Related JP4797849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006194227A JP4797849B2 (ja) 2006-07-14 2006-07-14 運転支援画像表示システム及び車載装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006194227A JP4797849B2 (ja) 2006-07-14 2006-07-14 運転支援画像表示システム及び車載装置

Publications (2)

Publication Number Publication Date
JP2008021234A true JP2008021234A (ja) 2008-01-31
JP4797849B2 JP4797849B2 (ja) 2011-10-19

Family

ID=39077104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006194227A Expired - Fee Related JP4797849B2 (ja) 2006-07-14 2006-07-14 運転支援画像表示システム及び車載装置

Country Status (1)

Country Link
JP (1) JP4797849B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1298443C (zh) * 2004-05-31 2007-02-07 友达光电股份有限公司 配向布的清洁装置
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法
JP2012141154A (ja) * 2010-12-28 2012-07-26 Aisin Aw Co Ltd ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
WO2017002708A1 (ja) * 2015-06-29 2017-01-05 アイシン精機株式会社 画像表示制御装置
JP2020167550A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 通信装置、通信方法及びプログラム
JP2020194461A (ja) * 2019-05-29 2020-12-03 京セラ株式会社 路側機、車載機、及び交通通信システム
JP7134386B1 (ja) * 2022-03-18 2022-09-09 三菱電機株式会社 運転支援装置、運転支援方法および運転支援プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003121169A (ja) * 2001-10-19 2003-04-23 Fujitsu Ten Ltd ナビゲーション装置
JP2004021514A (ja) * 2002-06-14 2004-01-22 Matsushita Electric Ind Co Ltd 交通情報表示システム及び撮像画像送信装置並びに車載用の情報表示装置と記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003121169A (ja) * 2001-10-19 2003-04-23 Fujitsu Ten Ltd ナビゲーション装置
JP2004021514A (ja) * 2002-06-14 2004-01-22 Matsushita Electric Ind Co Ltd 交通情報表示システム及び撮像画像送信装置並びに車載用の情報表示装置と記憶媒体

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1298443C (zh) * 2004-05-31 2007-02-07 友达光电股份有限公司 配向布的清洁装置
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
US8319618B2 (en) 2008-11-28 2012-11-27 Fujitsu Limited Image processing apparatus, image processing method, and recording medium
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法
JP2012141154A (ja) * 2010-12-28 2012-07-26 Aisin Aw Co Ltd ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
JPWO2017002708A1 (ja) * 2015-06-29 2018-04-05 アイシン精機株式会社 画像表示制御装置
WO2017002708A1 (ja) * 2015-06-29 2017-01-05 アイシン精機株式会社 画像表示制御装置
US10484651B2 (en) 2015-06-29 2019-11-19 Aisin Seiki Kabushiki Kaisha Image display control device
JP2020167550A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 通信装置、通信方法及びプログラム
CN111835818A (zh) * 2019-03-29 2020-10-27 本田技研工业株式会社 通信装置、通信方法以及存储介质
JP2020194461A (ja) * 2019-05-29 2020-12-03 京セラ株式会社 路側機、車載機、及び交通通信システム
JP2022172259A (ja) * 2019-05-29 2022-11-15 京セラ株式会社 車載機、及び送信装置
JP7134386B1 (ja) * 2022-03-18 2022-09-09 三菱電機株式会社 運転支援装置、運転支援方法および運転支援プログラム
WO2023175892A1 (ja) * 2022-03-18 2023-09-21 三菱電機株式会社 運転支援装置、運転支援方法および運転支援プログラム

Also Published As

Publication number Publication date
JP4797849B2 (ja) 2011-10-19

Similar Documents

Publication Publication Date Title
JP4923647B2 (ja) 運転支援画像表示装置及びプログラム
JP4702106B2 (ja) 死角支援情報報知装置及びプログラム
US7634110B2 (en) Drive assist system and navigation system for vehicle
JP4848893B2 (ja) 交差点情報提供システム及び運転支援システム
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
EP2482267A1 (en) Sensor controller, navigation device, and sensor control method
JP6693685B2 (ja) 電子装置、案内方法および案内システム
JP4946682B2 (ja) 車両用走行支援装置
JP2005301581A (ja) 車車間通信システム、車車間通信装置及び制御装置
JP6304177B2 (ja) 運転支援装置
JP2008123443A (ja) 運転支援装置
JP2009029203A (ja) 運転支援装置
WO2011058822A1 (ja) 車両周囲表示装置、車両周囲表示方法
JP6361403B2 (ja) 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP4744632B2 (ja) 車線逸脱防止装置、車線逸脱防止方法、車線逸脱防止プログラム及び記憶媒体
JP4936060B2 (ja) 車両用走行支援装置
JP2013018406A (ja) 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
JP2008230560A (ja) 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム
JP2009037457A (ja) 運転支援システム
JP2005265573A (ja) 車載ナビゲーション装置、ナビゲーションシステム
JP4600391B2 (ja) 表示装置、表示システム及び表示方法
JP4800252B2 (ja) 車載装置及び交通情報提示方法
JP2007127450A (ja) 車両用経路案内システム,車載機器,および管制センタ
JP2006273190A (ja) 車載用ナビゲーション装置
JP2005050220A (ja) 車両周囲確認支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110718

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4797849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees