JP2004333233A - ナビゲーション装置 - Google Patents

ナビゲーション装置 Download PDF

Info

Publication number
JP2004333233A
JP2004333233A JP2003127379A JP2003127379A JP2004333233A JP 2004333233 A JP2004333233 A JP 2004333233A JP 2003127379 A JP2003127379 A JP 2003127379A JP 2003127379 A JP2003127379 A JP 2003127379A JP 2004333233 A JP2004333233 A JP 2004333233A
Authority
JP
Japan
Prior art keywords
search
image data
image
unit
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003127379A
Other languages
English (en)
Other versions
JP4037790B2 (ja
Inventor
Takayuki Watanabe
隆行 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2003127379A priority Critical patent/JP4037790B2/ja
Priority to US10/829,670 priority patent/US7184885B2/en
Publication of JP2004333233A publication Critical patent/JP2004333233A/ja
Application granted granted Critical
Publication of JP4037790B2 publication Critical patent/JP4037790B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers

Abstract

【課題】目的地に設定したい地点の位置や名称等が全く分らなくても、その地点の画像データを用いて地点検索をし、目的地に設定できるようにする。
【解決手段】画像データ入力部11より入力された画像データを検索キーとして画像DB13上を検索する画像検索部12と、検索によって抽出された1以上の画像データをそれに対応する地点特定情報と共に表示部7に表示する検索結果出力部14と、この表示を見たユーザにより選択された画像データに対応付けられた位置情報を画像DB13から読み出して目的地に設定する目的地設定部3とを設けることにより、目的地に設定したい地点の位置や名称、電話番号、住所、郵便番号などの情報が全く分らない状況下でも、その地点の建物や風景などの画像データを用いて地点検索を行うことができるようにする。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明はナビゲーション装置に関し、特に、現在地から目的地までを結ぶ最適な経路を探索し、その探索した誘導経路に沿って運転者を案内する経路誘導機能を備えたナビゲーション装置に用いて好適なものである。
【0002】
【従来の技術】
一般に、車両の走行案内を行うナビゲーション装置は、単に現在地周辺の地図を表示するのみでなく、目的地を指定することにより、現在地から目的地までの誘導経路を自動設定して案内する機能を備えている。この経路誘導機能では、地図データを用いて現在地から目的地までを結ぶ最もコストが小さな経路を、幅優先探索(BFS)法あるいはダイクストラ法などのシミュレーションを行って自動探索し、その探索した経路を誘導経路として設定する。
【0003】
誘導経路の設定後は、車両の走行中に地図画像上で誘導経路を他の道路と識別可能なように色を変えて太く描画する。また、車両が誘導経路上の案内交差点から所定距離内に近づいたときに、交差点案内図(交差点拡大図とこの交差点での進行方向を示す矢印)を表示したり、進行方向を音声で案内したりするなどの交差点案内を行うことにより、運転者を目的地まで案内するようになっている。
【0004】
目的地を設定する方法には、カーソル移動により地図上から設定する方法と、メニューから設定する方法とがある。前者の方法は、ユーザがリモートコントローラ(リモコン)等を操作して地図画像をスクロールさせ、所望の地点にカーソルを合わせてそこを目的地に設定するものである。また、後者の方法は、メニュー画面から施設名や地点名、電話番号、住所、郵便番号などのキーワードを入力して所望の地点を検索し、検索された地点を目的地に設定するものである。
【0005】
前者のカーソル移動による設定方法は、目的地とする地点の位置をユーザが正確に把握していることが操作の前提となる。また、後者のメニュー画面による設定方法は、目的地とする地点の位置は知らなくても、その目的地の施設名や地点名、電話番号、住所、郵便番号などの少なくとも何れか1つは把握している必要がある。
【0006】
ところが、目的地に設定したい地点の建物や風景などは分っているものの、その位置や施設名などが全く分らないということもある。この場合には、従来のナビゲーション装置が備える地点検索機能ではその地点を検索することができず、目的地を設定することができない。そのため、このような場合にも目的地を設定できるようにするために、今までにない地点検索手法の開発が望まれている。
【0007】
ところで、従来、画像データから被写体画像の特徴量を抽出し、あらかじめ用意されたデータベースの画像データから抽出した特徴情報を検索して被写体を認識し、認識した被写体に関する各種情報を検索結果として表示する技術が提案されている(例えば、特許文献1参照)。
【0008】
【特許文献1】
特開2000−113097号公報
【0009】
【発明が解決しようとする課題】
上述のように、従来のナビゲーション装置では、施設名や地点名、電話番号、住所、郵便番号などをキーワードとして地点検索を行うことができるだけであり、これらの情報が分らない状況下では地点検索を行うことができず、目的地を設定することができないという問題があった。
【0010】
本発明は、このような問題を解決するために成されたものであり、目的地に設定したい地点の位置や施設名などの情報が全く分らなくても、建物や風景などの画像データを用いて地点検索を行い、目的地を設定できるようにすることを目的とする。
【0011】
【課題を解決するための手段】
上記した課題を解決するために、本発明のナビゲーション装置では、画像データを検索キーとして画像データベース上から類似度の大きい画像を検索し、検索された1以上の画像データをそれに対応する地点特定情報と共に出力してユーザに提示し、これに応答してユーザにより選択された画像データに対応付けられた位置情報を目的地に設定するようにしている。
【0012】
上記のように構成した本発明によれば、ある地点で撮影した画像データを入力して検索を実行すれば、その入力画像にマッチする画像とそれに対応する地点特定情報とが検索にヒットしてユーザに提示される。そして、提示された1以上の画像の中からユーザが1つを選択すれば、その地点が目的地に設定されることとなる。これにより、目的地に設定したい地点の位置や施設名などの情報が全く分らなくても、その地点の画像データを利用して目的地の設定を行うことが可能となる。
【0013】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本実施形態によるナビゲーション装置の要部構成を示す機能ブロック図である。
【0014】
図1に示すように、本実施形態のナビゲーション装置100は、地図読出制御部1、位置測定装置2、目的地設定部3、経路誘導部4、走行履歴記憶部5、リモコンやタッチパネル等の操作部6、表示部7、画像入力部11、画像検索部12、画像データベース(DB)13および検索結果出力部14を備えて構成されている。
【0015】
地図読出制御部1は、DVD(Digital Versatile Disk)、CD(Compact Disc)あるいはハードディスク等で構成された地図記録媒体10からの地図データの読み出しを制御する。地図記録媒体10には、地図表示や経路探索などに必要な各種の地図データが記憶されている。
【0016】
位置測定装置2は、車両の現在位置を測定するものであり、自立航法センサ、GPS受信機、位置計算用CPU等で構成されている。自立航法センサは、所定走行距離毎に1個のパルスを出力して車両の移動距離を検出する車速センサ(距離センサ)と、車両の回転角度(移動方位)を検出する振動ジャイロ等の角速度センサ(相対方位センサ)とを含んでいる。自立航法センサは、これらの車速センサおよび角速度センサによって車両の相対位置および方位を検出する。
【0017】
位置計算用CPUは、自立航法センサから出力される自車の相対的な位置および方位のデータに基づいて、絶対的な自車位置(推定車両位置)および車両方位を計算する。また、GPS受信機は、複数のGPS衛星から送られてくる電波をGPSアンテナで受信して、3次元測位処理あるいは2次元測位処理を行って車両の絶対位置および方位を計算する(車両方位は、現時点における自車位置と1サンプリング時間ΔT前の自車位置とに基づいて計算する)。
【0018】
目的地設定部3は、誘導経路の目的地を設定するものである。この目的地の設定に関しては、従来と同様に、地図画像をスクロールさせて所望の地点に合わせたカーソル位置を目的地に設定したり、メニュー画面から施設名や地点名、電話番号、住所、郵便番号などのキーワードを入力して検索した地点を目的地に設定したりすることが可能である。本実施形態ではこれらの方法に加えて、以下に説明する画像検索の手法を用いて目的地を設定することも可能にしている。
【0019】
経路誘導部4は、地図読出制御部1によって地図記録媒体10から読み出される地図データを用いて、現在地から目的地までを結ぶ最もコストが小さな誘導経路を探索する処理を行う。そして、車両の走行中に地図画像上で誘導経路を他の道路と識別可能なように色を変えて太く描画するとともに、車両が誘導経路上の案内交差点から所定距離内に近づいたときに交差点案内を行うことにより、運転者を目的地まで誘導する処理も行う。この経路誘導を行うときには、位置測定装置2により測定された車両の現在位置情報を利用する。
【0020】
走行履歴記憶部5は、位置測定装置2により測定された車両の現在位置や、目的地設定部3により設定された目的地情報などを用いて、車両の走行履歴情報を記憶する。この走行履歴情報には、車両が走行した場所や目的地の場所を表す走行位置情報、走行した時間を表す走行時刻情報(位置測定装置2のGPS受信機から出力される)などが含まれる。
【0021】
操作部6は、ユーザがナビゲーション装置に対して各種の情報(例えば、経路誘導の目的地)を設定したり、各種の操作(例えば、メニュー選択操作、拡大/縮小操作、手動地図スクロール、数値入力など)を行ったりするための各種操作子(ボタンやジョイスティック等)を備えている。
【0022】
表示部7は、地図記録媒体10から読み出される地図画像や交差点案内図、目的地を設定する際に使用するメニュー画像、後述する画像検索の結果などを表示する。この表示部7が操作部6のタッチパネルを構成するようにしても良い。
【0023】
画像DB13は、観光地や各種施設など、様々な地点を撮影した画像に関する情報を記憶したデータベースである。この画像DB13は、図1に示すように画像データ記憶部13a、特徴量記憶部13b、位置情報記憶部13c、地点特定情報記憶部13dを含んでいる。
【0024】
画像データ記憶部13aは、上述した各種地点の画像データを記憶する。特徴量記憶部13bは、上述した各種地点の画像データから抽出した特徴量を記憶する。位置情報記憶部13cは、各画像データの撮影地点が地図記録媒体10に記憶されている地図データ上のどこに相当するのかを表した位置情報を記憶する。
地点特定情報記憶部13dは、撮影地点を特定するための情報(例えば、観光地や施設の地点名称)を記憶する。
【0025】
これらの特徴量、位置情報および地点特定情報は、対応する画像データに関連付けられている。なお、この関連付けが行われていれば、これらの情報が全て同じデータベース上に格納されている必要は必ずしもない。
【0026】
この画像DB13は、代表的な観光地や施設等に関する情報をあらかじめ記憶して構成されている。これに加えて、ユーザが任意の地点においてデジタルカメラ等で撮影した画像データとそれに関連する特徴量、位置情報および地点特定情報とを追加記録することも可能である。
【0027】
例えば、画像検索モードと画像登録モードとを操作部6の操作により切り替えられるように構成する。そして、画像登録モードを設定したときに、画像入力部11から入力された画像データを画像データ記憶部13aに記録し、後述する特徴量抽出部12aにより抽出された特徴量を特徴量記憶部13bに記録する。
【0028】
また、位置情報や地点特定情報は、操作部6を操作して入力し、それぞれを位置情報記憶部13cおよび地点特定情報記憶部13dに記録する。なお、この場合において位置情報は、表示部7上で地図画像をスクロールさせて、撮影地点にカーソルを合わせて入力指示をしたり、メニュー画面からキーワードを入力して該当する撮影地点を検索し、検索した地点の位置情報の入力指示をしたりすることによって登録することが可能である。
【0029】
画像入力部11は、検索キーとなる画像データを入力する。例えば、この画像入力部11は、ナビゲーション装置100の本体に対して着脱可能に成されたメモリカード等のリムーバル記録媒体の挿入スロットを備え、当該スロットに挿入されたメモリカードを介して、図示しないデジタルカメラ等で撮影され当該メモリカードに記録された画像データを入力する。
【0030】
画像検索部12は、画像入力部11より入力された検索キーの画像データを用いて画像DB13を検索し、検索キーとの類似度が高い1以上の画像データを抽出する。この画像検索部12は、図1に示すように特徴量抽出部12aおよびマッチング部12bを備えている。
【0031】
特徴量抽出部12aは、画像入力部11より入力された画像データから特徴量を抽出する。マッチング部12bは、特徴量抽出部12aにより抽出された入力画像の特徴量と、特徴量記憶部13bに記憶されている蓄積画像の特徴量とを照合し、類似度の高い1以上の画像データを抽出する。例えば、類似度が所定レベル以上の画像データを類似度の高い順に抽出する。
【0032】
このときマッチング部12bは、操作部6の操作に基づくユーザからの指示に従って、走行履歴記憶部5に記憶されている走行履歴情報を利用して検索範囲を限定することが可能である。すなわち、過去に走行したことのある場所から画像検索を行うことが指示されたときは、走行履歴記憶部5に記憶されている過去の走行位置情報と画像DB13の位置情報記憶部13cに記憶されている撮影位置情報とを照合し、走行実績のある位置で撮影された画像データ(あらかじめ画像DB13に記憶されている画像データの他、ユーザにより追加記録された画像データがあればそれも含む)のみを対象として画像検索を実行する。このように検索対象の範囲を絞ることにより、画像検索時間の短縮を図ることができる。
【0033】
ここでは走行位置情報に基づいて検索対象範囲を限定する例について説明しているが、これ以外の限定方法を適用することも可能である。例えば、画像登録モードに設定して撮影画像データとそれに関連する特徴量、位置情報および地点特定情報を画像DB13に追加記録するとともに、画像DB13の地点特定情報記憶部13dに画像データの撮影日時情報も記憶しておく。この場合にマッチング部12bは、走行履歴記憶部5に記憶されている過去の走行時刻情報と地点特定情報記憶部13dに記憶されている撮影日時情報とを照合し、走行日時と同日もしくは所定誤差範囲内の撮影日時に撮影された画像データのみを対象として画像検索を実行する。
【0034】
走行日時と完全に同日の撮影日だけでなく、数日程度の誤差を含む撮影日に撮影された画像データを検索対象に含めることにより、例えば旅行先で車両を駐車して、その近辺を散策したときに撮影した画像データも検索対象とすることができる。この場合は、検索対象範囲を絞って画像検索時間の短縮を図りつつ、検索のヒット率を上げることができる。
【0035】
なお、ここでは1つの画像DB13に対して検索対象範囲の絞り込みをリアルタイムに行っているが、この例に限定されない。例えば、走行実績のある地域の画像データベースを画像DB13とは別に用意しても良い。この場合、過去に走行したことのある場所から画像検索を行うことが指示されたときは、当該走行実績の画像データベースを対象として画像検索を行い、そのような指示が出されなかったときは画像DB13の全範囲を対象として画像検索を行う。
【0036】
次いで、検索結果出力部14は、画像検索部12により抽出された1以上の画像データを、画像DB13上でその画像データに対応付けて記憶されている地点特定情報と共に表示部7のモニタ画面に表示する。ユーザは、操作部6を操作して、表示部7に表示された1以上の画像データの中から所望の1つを選択する。
【0037】
ユーザが操作部6を操作して何れかの画像データを選択すると、その選択情報が目的地設定部3に供給される。これを受けて目的地設定部3は、当該選択された画像データに対応付けて記憶されている位置情報を画像DB13から読み出して、その読み出した位置情報を目的地に設定する。
【0038】
以上のように構成したナビゲーション装置100の各機能構成は、実際にはCPUあるいはMPU、RAM、ROMなどを備えて構成され、RAMやROMに記憶されたプログラムが動作することによって実現できる。
【0039】
次に、上記のように構成したナビゲーション装置100における画像検索および目的地設定の動作を、図2の例を参照しながら説明する。まず、デジタルカメラ等で撮影した画像データを、検索キーとして画像入力部11から入力する。すると、図2(a)のように、入力された画像データが表示部7のモニタ画面に表示されるとともに、過去に走行したことのある場所を参照して検索するか否かの選択肢が表示される。
【0040】
ユーザが操作部6を操作して選択肢の何れかを選択すると、画像検索部12によって画像検索が行われる。このとき、過去に走行したことのある場所を参照して検索することが指示されると、画像検索部12は、走行履歴記憶部5に記憶されている走行履歴情報を利用して限定した範囲を対象として画像DB13の検索を実行する。一方、過去に走行したことのある場所を参照して検索することが指示されなかった場合は、画像検索部12は、画像DB13の全てを対象として画像検索を実行する。
【0041】
検索結果出力部14は、画像検索部12による画像検索の結果を表示部7のモニタ画面に表示する。このとき、類似度が所定レベル以上となって検索ヒットした画像データの件数がn件(nは任意に設定可能)未満であった場合は、図2(b)に示すように、類似度が最も高い方から順番にx件(x≦nで、xは任意に設定可能)だけ、その撮影地点を特定する名称等の情報をサムネイル画像と共に表示する。
【0042】
このとき検索結果出力部14は、これらのサムネイル画像等と一緒に「次のx件」という選択肢も表示部7に表示する。ユーザが操作部6を操作してこの選択肢を選択すると、検索結果出力部14は、検索結果のうち類似度が最も高い方から数えてx+1番目から2x番目までに相当するx件の名称等をサムネイル画像と共に表示部7に表示する。
【0043】
ユーザが操作部6を操作して、図2(b)のように表示されたサムネイル画像の中から何れか1つを選択すると、選択された画像に対応する位置情報が画像DB13から目的地設定部3に供給される。目的地設定部3は、受け取った位置情報を誘導経路の目的地に設定する。
【0044】
一方、画像検索の結果、検索ヒットした画像データの件数がn件以上であった場合、検索結果出力部14は、図2(c)に示すように、検索ヒットした件数を表示部7に表示するとともに、「名称」「地域」「ジャンル」等の複数の絞り込み条件を選択肢として表示する。これに対応してユーザは、操作部6を操作して任意の絞り込み条件を選択することができる。
【0045】
例えば「名称」の絞り込み条件が選択された場合、検索結果出力部14は、図2(d)に示すように、類似度の高い検索結果から順番に地点の名称を表示部7に表示するとともに、「上位x件のサムネイル表示」という選択肢を表示する。
ユーザは、表示された名称の中から何れか1つを選択することができる。何れか1つの名称を選択すると、選択された名称に対応する位置情報が画像DB13から目的地設定部3に供給され、誘導経路の目的地に設定される。
【0046】
また、ユーザが「上位x件のサムネイル表示」の選択肢を選択した場合は、検索結果出力部14は、図2(b)に示すように、類似度が高い上位x件の検索結果を表すサムネイル画像と地点名称とを表示する。上述したように、ここで何れか1つのサムネイル画像を選択すると、選択された画像に対応する位置情報が画像DB13から目的地設定部3に供給されて、誘導経路の目的地に設定される。
【0047】
上記図2(c)の画面上で「地域」の絞り込み条件が選択された場合、検索結果出力部14は、図2(e)に示すように、類似度の高い検索結果が含まれている順番に地域名の絞り込み条件を表示する。ユーザは、表示された地域名の中から何れか1つを選択することができる。ここで選択された地域内に含まれる検索結果がn件未満であれば、図2(b)と同様に上位x件のサムネイル画像と地点名称とが表示される。一方、検索結果がn件以上の場合には、更に細かい絞り込み条件が表示される(図示せず)。
【0048】
なお、上記図2(e)の画面上では、「名称」や「ジャンル」等の他の絞り込み条件も選択肢として表示される。ユーザは、操作部6を操作して、この中から何れかの絞り込み条件を選択することもできる。このように、地域を選択している途中の段階でも、その時点における名称やジャンルを更に絞り込めるようになっている。
【0049】
また、上記図2(c)の画面上で「ジャンル」の絞り込み条件が選択された場合、検索結果出力部14は、図2(f)に示すように、類似度の高い検索結果が含まれている順番にジャンル名の絞り込み条件を表示する。ユーザは、表示されたジャンル名の中から何れか1つを選択することができる。ここで選択されたジャンル内に含まれる検索結果がn件未満であれば、図2(b)と同様に上位x件のサムネイル画像と地点名称とが表示される。一方、検索結果がn件以上の場合には、更に細かい絞り込み条件が表示される(図示せず)。
【0050】
この図2(f)の画面上では、「名称」や「地域」等の他の絞り込み条件も選択肢として表示される。ユーザは、操作部6を操作して、この中から何れかの絞り込み条件を選択することもできる。このように、ジャンルを選択している途中の段階でも、その時点における名称や地域を更に絞り込めるようになっている。
【0051】
なお、上記図2(c)〜(f)のように表示される複数の絞り込み条件の利用頻度情報を管理し、利用頻度の多い順に絞り込み条件の表示順番を並び替えるようにしても良い。例えば、図2(e)の画面上では地域名の絞込み条件が東京都→神奈川→京都→山梨→・・・の順番で表示されており、一画面中に表示し切れない地域名はスクロール等により順次表示される。このとき、画面外の下位に表示される他の地域の利用頻度が多くなってきた場合は、当該他の地域の絞り込み条件を上位の順番に並び替える。このようにすれば、よく使う絞り込み条件をスクロール無しで利用することができるようになり、便利である。
【0052】
以上詳しく説明したように、本実施形態によれば、デジタルカメラ等で撮影した画像データを検索キーとして画像DB13を検索し、検索によって抽出された1以上の画像データをそれに対応する地点名称と共に出力してユーザに提示するようにしている。これにより、検索キーとして用いた被写体画像の名称や撮影場所が分からなくても、その地点名称を特定することができる。
【0053】
さらに、本実施形態では、検索の結果として提示された画像データの中からユーザにより選択された画像データに対応付けられた位置情報を取得し、これを目的地に設定するようにしている。これにより、目的地に設定したい地点の位置や名称などの情報が全く分らなくても、その地点の画像データを利用して目的地の設定を行うことが可能となる。
【0054】
なお、上記実施形態では、デジタルカメラ等で撮影された画像データを、メモリカード等のリムーバル記録媒体を介して入力する例について説明したが、画像入力方法はこれに限定されない。例えば、タッチパネルで構成される表示部7のモニタ画面上で所望の絵柄を描画することによって入力するようにしても良い。
また、図3に示すように、ナビゲーション装置100に電気的に接続されたテレビジョン受信装置200において受信中の映像の一部を任意のタイミングで切り取って入力するようにしても良い。
【0055】
この場合にテレビジョン受信装置200は、画像キャプチャ部21およびキャプチャボタン22を備える。画像キャプチャ部21は、ユーザによりキャプチャボタン22が押されたタイミングで、受信中のテレビ映像の1フレームを切り取って出力する。ナビゲーション装置100の画像入力部11は、画像キャプチャ部21から出力された画像データを入力する。
【0056】
なお、画像キャプチャ部21とキャプチャボタン22はテレビジョン受信装置200が標準で備える必要は必ずしもなく、テレビジョン受信装置200に追加された機能拡張ユニットに備えるようにしても良いし、テレビジョン受信装置200とは別に専用のキャプチャ装置として備えるようにしても良い。あるいは、画像キャプチャ部21とキャプチャボタン22とをナビゲーション装置100が備え、ナビゲーション装置100からテレビジョン受信装置200にキャプチャ命令を与えることによって画像入力するようにしても良い。
【0057】
また、上記実施形態では、ナビゲーション装置100が画像DB13を備え、自車内の画像DB13を対象として画像検索を行う例について説明したが、これに限定されない。例えば、自車内の画像DB13を検索した結果、類似度が所定レベル以上となる画像が見つからなかった場合に、車外のデータセンタにインターネット網や携帯電話網を使って無線でアクセスしたり、車々間通信によって他車にアクセスしたりして、車外に存在する画像データベースを更に利用して画像検索を行うようにしても良い。もちろん、自車内に画像DB13は設けず、最初から車外の画像データベースを利用して画像検索を行うようにしても良い。
【0058】
また、上記実施形態では、画像入力部11により入力された画像データの全範囲を検索キーとして画像検索を行っているが、入力画像の一部を切り出して、切り出した一部領域の画像を検索キーとするようにしても良い。その場合の画像検索部12の構成は、図4に示すように、特徴量抽出部12aの前段に画像切出部12cを更に備える構成となる。
【0059】
画像切出部12cによる画像切り出しの方法には様々な方法があるが、本発明では特に限定しない。例えば、表示部7がタッチパネルで構成されている場合、切り出したい部分をユーザがなぞって閉領域を指定することにより、指定された閉領域内の画像を検索キーとして切り出すことが可能である。また、図5に示すように、画像入力部11より入力された画像データ中に含まれる被写体の輪郭を抽出して画像全体から複数の領域を切り出し、切り出した領域を画面表示して何れかの領域の選択をユーザに促すようにしても良い。この場合は、ユーザにより選択された領域内の画像を検索キーとして利用する。
【0060】
このように、特定の領域を切り出して検索キーとすることにより、検索の認識率を向上させることができる。すなわち、入力した画像データ中に複数の特徴的な被写体が写っていると、探したい地点と異なる地点が誤って検索されてしまうことがある。これに対して、探したい地点の画像が写っている部分を切り出して検索キーとして使用するようにすれば、その切り出した領域以外の画像と類似している画像が誤って検索されてしまう不都合を回避することができる。
【0061】
また、画像入力部11より入力された画像データの色・形状・模様等を検索キーとするか、入力された画像データ中に含まれる文字を検索キーとするかに分けて検索できるようにしても良い。この場合の構成例を図6に示す。図6に示す例において、画像検索部12は、上述した特徴量抽出部12aおよびマッチング部12bの他に、検索対象選択部12d、文字認識部12eおよび文字検索部12fを備えて構成される。
【0062】
検索対象選択部12dは、入力された画像データ中の何を対象として検索するか、すなわち、色・形状・模様等を検索キーとするか、文字を検索キーとするかの選択肢を図7のように画面表示し、ユーザの選択を促す。ユーザが操作部6を操作して色・形状・模様等を選択した場合は、特徴量抽出部12aおよびマッチング部12bを用いて上述した手順で画像検索を実行する。一方、検索キーとして文字が選択された場合は、文字認識部12eおよび文字検索部12fを用いて検索を実行する。
【0063】
文字認識部12eは、入力された画像データ中に含まれる文字情報を認識する。文字検索部12fは、文字認識部12eにより認識された文字情報を検索キーとして、画像DB13の地点特定情報記憶部13dに記憶されている各地点の名称等を検索し、認識文字との一致度が高い1以上の名称等を抽出する。この場合に検索結果出力部14は、抽出された名称等をそれに対応付けられた画像と共に表示部7に表示する。このように文字認識をして文字情報の検索も行えるようにすることにより、撮影地点をより確実に検索することができる。
【0064】
また、図8に示すように、観光地や施設等の検索結果を表示するときに、同じ観光地等でも様々な地点から撮影した画像データを表示するようにしても良い。そのためには、同じ観光地や施設等に関して様々な地点から撮影した画像データを画像DB13に登録しておく必要がある。このようにすれば、同じ観光地等でも色んな角度から撮影された画像を見て自分が行きたい地点を任意に選択して目的地に設定することができる。
【0065】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0066】
【発明の効果】
本発明は上述したように、画像データを検索キーとして画像データベース上から類似度の大きい画像を検索し、検索された1以上の画像データをそれに対応する地点特定情報と共に出力してユーザに提示する。そして、これに応答してユーザにより選択された画像データに対応付けられた位置情報を目的地に設定するようにしたので、目的地に設定したい地点の位置や名称、電話番号、住所、郵便番号などの情報が全く分らない状況下でも、その地点を撮影した画像データがあれば地点検索を行うことができ、目的地の設定も行うことができる。
【図面の簡単な説明】
【図1】本実施形態によるナビゲーション装置の要部構成を示す機能ブロック図である。
【図2】本実施形態によるナビゲーション装置における画像検索および目的地設定の動作例を示す画面遷移図である。
【図3】検索キーとする画像データの他の入力方法を実現するための機能構成を示すブロック図である。
【図4】本実施形態による画像検索部の他の機能構成例を示すブロック図である。
【図5】領域切り出しの例を説明するための図である。
【図6】本実施形態による画像検索部の他の機能構成例を示すブロック図である。
【図7】検索対象の選択を促す画面の例を示す図である。
【図8】検索結果の他の出力例を示す図である。
【符号の説明】
3 目的地設定部
5 走行履歴記憶部
6 操作部
7 表示部
11 画像入力部
12 画像検索部
12a 特徴量抽出部
12b マッチング部
12c 領域切出部
12d 検索対象選択部
12e 文字認識部
12f 文字検索部
13 画像データベース
13a 画像データ記憶部
13b 特徴量記憶部
13c 位置情報記憶部
13d 地点特定情報記憶部
14 検索結果出力部
21 画像キャプチャ部
22 キャプチャボタン

Claims (9)

  1. 入力された画像データを検索キーとして、各種地点を撮影した画像データが記憶されている画像データベースを検索し、上記検索キーとの類似度が高い1以上の画像データを抽出する画像検索手段と、
    上記画像検索手段により抽出された画像データを、当該画像データに対応付けて記憶されている地点特定情報と共に出力する検索結果出力手段と、
    上記検索結果出力手段により出力された画像データの中からユーザにより選択された画像データに対応付けて記憶されている位置情報を目的地に設定する目的地設定手段とを備えたことを特徴とするナビゲーション装置。
  2. 上記画像検索手段は、ユーザからの指示に従って、車両の走行履歴情報により特定される位置情報と対応付けられた画像データのみを対象として検索を実行することを特徴とする請求項1に記載のナビゲーション装置。
  3. 上記画像データベース上の画像データはその撮影日時情報と関連付けて記憶され、上記画像検索手段は、車両の走行履歴情報により示される走行日時と同日もしくは所定誤差範囲内の撮影日時に撮影された画像データのみを対象として検索を実行することを特徴とする請求項1に記載のナビゲーション装置。
  4. 上記検索キーの画像データは、装置本体に対して着脱可能に成されたリムーバル記録媒体を介して入力されたものであることを特徴とする請求項1に記載のナビゲーション装置。
  5. 上記検索キーの画像データは、車両内のテレビジョン放送受信装置で受信中の映像の一部を任意のタイミングで切り取って入力されたものであることを特徴とする請求項1に記載のナビゲーション装置。
  6. 上記入力された画像データ中に含まれる被写体の輪郭を抽出して画像全体から領域を切り出す領域切出手段を備え、
    上記画像検索手段は、上記領域切出手段により切り出された領域内の画像データを検索キーとして上記画像データベースの検索を行うことを特徴とする請求項1に記載のナビゲーション装置。
  7. 上記入力された画像データ中に含まれる文字情報を利用して検索するか否かの選択をユーザに促す検索対象選択手段と、
    上記ユーザにより文字情報を利用した検索が選択されたときに、上記入力された画像データ中に含まれる文字情報を認識する文字認識手段と、
    上記文字認識手段により認識された文字情報を検索キーとして、上記画像データベース上の画像データに対応付けて記憶されている地点特定情報を検索し、上記検索キーとの一致度が高い1以上の画像データを抽出する文字検索手段とを備えたことを特徴とする請求項1に記載のナビゲーション装置。
  8. 上記検索結果出力手段は、上記検索キーに基づく検索により抽出された画像データの数が所定数より多い場合に、複数の絞り込み条件をユーザに提示して抽出結果の絞り込みを促し、上記ユーザにより指定された条件に従って絞り込んだ画像データをそれに対応する地点特定情報と共に出力することを特徴とする請求項1に記載のナビゲーション装置。
  9. 上記ユーザにより指定される絞り込み条件の利用頻度情報を管理し、利用頻度の多い順に上記絞り込み条件の提示順番を並び替える条件並び替え手段を備えたことを特徴とする請求項8に記載のナビゲーション装置。
JP2003127379A 2003-05-02 2003-05-02 ナビゲーション装置 Expired - Fee Related JP4037790B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003127379A JP4037790B2 (ja) 2003-05-02 2003-05-02 ナビゲーション装置
US10/829,670 US7184885B2 (en) 2003-05-02 2004-04-22 Navigation system and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003127379A JP4037790B2 (ja) 2003-05-02 2003-05-02 ナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2004333233A true JP2004333233A (ja) 2004-11-25
JP4037790B2 JP4037790B2 (ja) 2008-01-23

Family

ID=33503947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003127379A Expired - Fee Related JP4037790B2 (ja) 2003-05-02 2003-05-02 ナビゲーション装置

Country Status (2)

Country Link
US (1) US7184885B2 (ja)
JP (1) JP4037790B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043572A1 (ja) * 2005-10-14 2007-04-19 Matsushita Electric Industrial Co., Ltd. ルート履歴蓄積装置およびこれと通信可能な情報処理端末
JP2007156758A (ja) * 2005-12-02 2007-06-21 Nihon Computer Graphic Co Ltd ファイル管理装置、ファイル管理方法およびファイル管理プログラム
JP2007279930A (ja) * 2006-04-05 2007-10-25 Hitachi Ltd 画像処理プログラム、画像処理装置
WO2008105063A1 (ja) * 2007-02-27 2008-09-04 Pioneer Corporation 情報表示装置、情報表示方法、情報表示プログラム、および記録媒体
JP2009020042A (ja) * 2007-07-13 2009-01-29 Alpine Electronics Inc ナビゲーション装置
JP2009219166A (ja) * 2005-06-20 2009-09-24 Samsung Electronics Co Ltd イメージに係る情報をユーザーに提供する方法及びシステム、並びにこのための移動通信端末機
JP2010091356A (ja) * 2008-10-07 2010-04-22 Kddi Corp 位置推定システム、位置推定サーバおよび位置推定方法
JP2011076457A (ja) * 2009-09-30 2011-04-14 Casio Computer Co Ltd 顔画像補正装置、顔画像補正方法及びプログラム
JP2011075437A (ja) * 2009-09-30 2011-04-14 Denso It Laboratory Inc 車両周辺表示装置、車両周辺表示方法およびプログラム
EP2372309A2 (en) 2010-03-31 2011-10-05 Aisin AW Co., Ltd. Vehicle position detection system
JP2013145176A (ja) * 2012-01-13 2013-07-25 Toshiba Corp 道案内システム
WO2013168382A1 (ja) * 2012-05-07 2013-11-14 株式会社デンソー 画像表示システム、移動端末、サーバ、持続的有形コンピュータ読み取り媒体
JP2014013600A (ja) * 2013-09-12 2014-01-23 Sony Corp 検索方法、検索装置、プログラム
JP2014531638A (ja) * 2011-09-12 2014-11-27 インテル・コーポレーション ビデオコンテンツのアノテーションおよび/または推奨の方法および装置
JP2015049796A (ja) * 2013-09-03 2015-03-16 キヤノン株式会社 情報処理装置、表示装置および表示システム
US9268790B2 (en) 2006-02-14 2016-02-23 Sony Corporation Search apparatus and method, and program
KR20170000918A (ko) * 2015-06-24 2017-01-04 현대엠엔소프트 주식회사 테마경로 생성 장치 및 방법
JP2017003367A (ja) * 2015-06-09 2017-01-05 株式会社 ミックウェア 地点特定情報処理装置、地点特定情報処理方法、およびプログラム
WO2017161588A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种定位方法及装置
US10015557B2 (en) 2011-12-31 2018-07-03 Intel Corporation Content-based control system
JP2020042859A (ja) * 2014-12-26 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 判定方法、コンピュータ、出力装置及びシステム

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304711B4 (de) * 2003-02-06 2007-10-18 Daimlerchrysler Ag Verfahren zur Steuerung eines Elektromagnetventils, insbesondere für ein Automatikgetriebe eines Kraftfahrzeugs
JP4032355B2 (ja) * 2003-03-27 2008-01-16 カシオ計算機株式会社 表示処理装置、表示制御方法および表示処理プログラム
JP2005292970A (ja) * 2004-03-31 2005-10-20 Kenwood Corp 施設検索装置、プログラム、ナビゲーション装置、及び施設検索方法
KR100703277B1 (ko) * 2004-08-31 2007-04-03 삼성전자주식회사 사진 및 사진에 대한 위치 정보를 저장하는 이동통신단말기 및 그를 이용한 서비스 제공 방법
JP2006098250A (ja) * 2004-09-30 2006-04-13 Fuji Photo Film Co Ltd カーナビゲーションシステム
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
JP2006277195A (ja) * 2005-03-29 2006-10-12 Xanavi Informatics Corp ナビゲーション装置
DE102005019591A1 (de) * 2005-04-27 2006-11-09 Siemens Ag Vorrichtung zum Navigieren eines Fahrzeugs und Server-System
KR100828357B1 (ko) * 2005-05-16 2008-05-08 삼성전자주식회사 영상 촬영 장치에서 저장된 데이터 저장 방법 및 장치, 및 영상 데이터에 포함된 위치 정보를 이용한 네비게이션 장치
JP4634217B2 (ja) * 2005-05-16 2011-02-16 アルパイン株式会社 ナビゲーション装置、経路探索方法及び記憶媒体
JP4908779B2 (ja) * 2005-05-31 2012-04-04 クラリオン株式会社 ナビゲーション装置、画像表示方法および画像表示プログラム
JP4889272B2 (ja) * 2005-09-30 2012-03-07 アルパイン株式会社 ナビゲーション装置及び車両位置推定方法
DE102005056047A1 (de) * 2005-11-24 2007-06-06 Siemens Ag Fahrzeuginformationssystem
JP2008039628A (ja) * 2006-08-08 2008-02-21 Fujifilm Corp ルート検索装置
WO2008036325A2 (en) * 2006-09-20 2008-03-27 Regents Of The University Of Minnesota Indoor navigation system and method
US8874364B2 (en) * 2007-08-02 2014-10-28 Volkswagen Ag Navigation system
US8024113B2 (en) * 2007-08-02 2011-09-20 Volkswagen Ag Navigation system
US20090063039A1 (en) * 2007-09-04 2009-03-05 Tekom Technologies, Inc. Image navigation device
KR20090123227A (ko) * 2008-05-27 2009-12-02 삼성전자주식회사 검색 서비스 제공장치, 방법 및 프로그램
CN101398309B (zh) * 2008-10-23 2013-01-30 深圳市凯立德科技股份有限公司 自动导航系统及在其中设定目的地的方法和装置
DE102009045040B4 (de) 2009-09-25 2021-09-30 Robert Bosch Gmbh Navigationssystem
DE102012003124B3 (de) * 2012-02-16 2013-05-02 Leica Camera Ag Optisches Beobachtungsgerät zur Zielerfassung und Zielführung
US8825368B2 (en) * 2012-05-21 2014-09-02 International Business Machines Corporation Physical object search
US9762407B2 (en) * 2013-09-12 2017-09-12 Panasonic Intellectual Property Corporation Of America Information notification method
CN105612513A (zh) * 2013-10-02 2016-05-25 株式会社日立制作所 图像检索方法、图像检索系统以及信息记录介质
KR102031874B1 (ko) * 2014-06-10 2019-11-27 삼성전자주식회사 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
CN105547312A (zh) * 2015-12-09 2016-05-04 魅族科技(中国)有限公司 电子导航方法及电子导航装置
DE112017006904T5 (de) * 2017-01-24 2019-10-02 Fujitsu Limited Informationsverarbeitungsvorrichtung, Merkmalspunkteextraktionsprogramm undMerkmalspunkteextraktionsverfahren
CN109239659B (zh) * 2018-08-31 2023-12-15 平安科技(深圳)有限公司 室内导航方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3093243B2 (ja) * 1990-07-12 2000-10-03 株式会社東芝 移動無線通信システム
JPH0494228A (ja) * 1990-08-09 1992-03-26 Matsushita Electric Ind Co Ltd ダイナミックチャネル割当方法
KR100279366B1 (ko) 1996-07-31 2001-01-15 모리 하루오 차량용네비게이션장치
JP4483027B2 (ja) * 2000-05-25 2010-06-16 ソニー株式会社 サーバ装置、データ送受信方法及び記録媒体

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009219166A (ja) * 2005-06-20 2009-09-24 Samsung Electronics Co Ltd イメージに係る情報をユーザーに提供する方法及びシステム、並びにこのための移動通信端末機
WO2007043572A1 (ja) * 2005-10-14 2007-04-19 Matsushita Electric Industrial Co., Ltd. ルート履歴蓄積装置およびこれと通信可能な情報処理端末
JP2007156758A (ja) * 2005-12-02 2007-06-21 Nihon Computer Graphic Co Ltd ファイル管理装置、ファイル管理方法およびファイル管理プログラム
US9268790B2 (en) 2006-02-14 2016-02-23 Sony Corporation Search apparatus and method, and program
JP2007279930A (ja) * 2006-04-05 2007-10-25 Hitachi Ltd 画像処理プログラム、画像処理装置
WO2008105063A1 (ja) * 2007-02-27 2008-09-04 Pioneer Corporation 情報表示装置、情報表示方法、情報表示プログラム、および記録媒体
JPWO2008105063A1 (ja) * 2007-02-27 2010-06-03 パイオニア株式会社 情報表示装置、情報表示方法、情報表示プログラム、および記録媒体
JP2009020042A (ja) * 2007-07-13 2009-01-29 Alpine Electronics Inc ナビゲーション装置
JP2010091356A (ja) * 2008-10-07 2010-04-22 Kddi Corp 位置推定システム、位置推定サーバおよび位置推定方法
JP2011075437A (ja) * 2009-09-30 2011-04-14 Denso It Laboratory Inc 車両周辺表示装置、車両周辺表示方法およびプログラム
JP2011076457A (ja) * 2009-09-30 2011-04-14 Casio Computer Co Ltd 顔画像補正装置、顔画像補正方法及びプログラム
EP2372309A2 (en) 2010-03-31 2011-10-05 Aisin AW Co., Ltd. Vehicle position detection system
US8630461B2 (en) 2010-03-31 2014-01-14 Aisin Aw Co., Ltd. Vehicle position detection system
JP2014531638A (ja) * 2011-09-12 2014-11-27 インテル・コーポレーション ビデオコンテンツのアノテーションおよび/または推奨の方法および装置
US10015557B2 (en) 2011-12-31 2018-07-03 Intel Corporation Content-based control system
JP2013145176A (ja) * 2012-01-13 2013-07-25 Toshiba Corp 道案内システム
US9958286B2 (en) 2012-05-07 2018-05-01 Denso Corporation Image display system, mobile terminal, server, non-transitory physical computer-readable medium
WO2013168382A1 (ja) * 2012-05-07 2013-11-14 株式会社デンソー 画像表示システム、移動端末、サーバ、持続的有形コンピュータ読み取り媒体
JP2013253961A (ja) * 2012-05-07 2013-12-19 Denso Corp 画像表示システム
JP2015049796A (ja) * 2013-09-03 2015-03-16 キヤノン株式会社 情報処理装置、表示装置および表示システム
JP2014013600A (ja) * 2013-09-12 2014-01-23 Sony Corp 検索方法、検索装置、プログラム
JP2020042859A (ja) * 2014-12-26 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 判定方法、コンピュータ、出力装置及びシステム
JP7041117B2 (ja) 2014-12-26 2022-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 判定方法、コンピュータ、出力装置及びシステム
JP2017003367A (ja) * 2015-06-09 2017-01-05 株式会社 ミックウェア 地点特定情報処理装置、地点特定情報処理方法、およびプログラム
KR20170000918A (ko) * 2015-06-24 2017-01-04 현대엠엔소프트 주식회사 테마경로 생성 장치 및 방법
KR102336775B1 (ko) * 2015-06-24 2021-12-08 현대오토에버 주식회사 테마경로 생성 장치 및 방법
WO2017161588A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种定位方法及装置

Also Published As

Publication number Publication date
JP4037790B2 (ja) 2008-01-23
US7184885B2 (en) 2007-02-27
US20040267443A1 (en) 2004-12-30

Similar Documents

Publication Publication Date Title
JP4037790B2 (ja) ナビゲーション装置
US7873468B2 (en) Vehicle-mounted apparatus
US7272489B2 (en) Navigation method and system for extracting, sorting and displaying POI information
US7353109B2 (en) Display method and apparatus for navigation system for performing cluster search of objects
US8301373B2 (en) Navigation device and facility image display method
JP4043259B2 (ja) 情報処理装置
JP2005331511A (ja) ナビゲーションシステムの情報検索方法及び装置
US8180570B2 (en) Navigation apparatuses, methods, and programs
US20080243370A1 (en) Navigation system with points of interest search
JP2006153728A (ja) ナビゲーション装置、方法及びプログラム
US7640241B2 (en) Sports information viewing method and apparatus for navigation system
JP2007279004A (ja) 交差点検索装置および交差点検索方法
JP4400775B2 (ja) ナビゲーション装置、この施設検索方法、このプログラム、および、このプログラムを記録する記録媒体
JP2002297611A (ja) 地図情報取得方法および位置情報取得方法および地図情報取得装置およびクライアント装置および地図情報蓄積装置およびプログラム
JP2009036653A (ja) ドライブプラン作成装置、ドライブプラン作成方法、ドライブプラン作成プログラムおよび記録媒体
JP2910410B2 (ja) 地図データ表示装置
JP2006112981A (ja) 情報処理装置
JP2002169823A (ja) データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP2006064671A (ja) 情報提供装置、及び携帯情報端末
JP2006047147A (ja) 情報提供装置
KR102149294B1 (ko) 웨어러블을 이용한 poi 정보 수집 시스템 및 그 방법
JP2000339339A (ja) 情報検索装置
US20050131637A1 (en) Method of constructing personal map database for generating personal map
JP4218946B2 (ja) ナビゲーション装置
JP2003114134A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071101

R150 Certificate of patent or registration of utility model

Ref document number: 4037790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees