JP2002108873A - 空間情報利用システム、情報取得装置、およびサーバシステム - Google Patents
空間情報利用システム、情報取得装置、およびサーバシステムInfo
- Publication number
- JP2002108873A JP2002108873A JP2000290065A JP2000290065A JP2002108873A JP 2002108873 A JP2002108873 A JP 2002108873A JP 2000290065 A JP2000290065 A JP 2000290065A JP 2000290065 A JP2000290065 A JP 2000290065A JP 2002108873 A JP2002108873 A JP 2002108873A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- client device
- image information
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
る対象物に対して、リアルタイムにその対象物に関する
情報を得る。 【解決手段】 移動体に携帯されるクライアント装置1
0とこのクライアント装置10に対して所定の情報を提
供するセンターシステム30とを含む空間情報利用シス
テムであって、このクライアント装置10は、イメージ
情報を取得するための撮影機器とこのクライアント装置
10の位置情報をGPS衛星9から取得するための位置
情報取得機器とを備え、取得されたイメージ情報および
位置情報をセンターシステム30に対して送信し、セン
ターシステム30は、受信したイメージ情報および位置
情報に基づいて、このイメージ情報に含まれる対象物に
関する付加情報を抽出し、クライアント装置10に対し
て送信する。
Description
テム等にかかり、特に、取得された画像情報とその画像
情報が得られた位置情報等に基づいて所定の付加情報等
を提供する空間情報利用システム等に関する。
地球測位システム)は、地球の周回軌道を回る24個の
衛星(米国国防総省が運営)から発信される情報を利用し
て、受信者と各衛星との位置関係を測定し、現在地の緯
度・経度を計算するシステムである。このGPSの民生
用の利用としては、カーナビゲーションが代表的なもの
であるが、近年、このGPSを利用した新しい発想の機
器が存在している。
たカメラ(GPSカメラ)がある。このGPSカメラで
は、例えば、GPS受信機,方向角センサを内蔵し、撮
影時の位置(緯度・経度)、方向角(どの方向を撮影した
か)などを記録することで、映像情報と共に、撮影した
被写体の場所、部位を具体的な形で表示することが可能
である。この用途としては、学術研究,環境保護調査,
施設・現場の記録写真等があり、例えば、特開平8−8
8825号公報では、GPSカメラを用いて工事の進捗
状態を示す工事影像の編集方法について示されている。
また、近年、超小型GPSと携帯電話を連結させ、携帯
電話や電子メール、FAXなど多彩なメディアを利用し
て、移動者や第三者に位置情報サービスを提供する技術
についても提案がなされている。
来のGPSカメラを用いれば、所定の影像記録を残して
資産として有効利用することができ、また、位置情報や
日時、撮影部位、撮影角度などの付加情報を用いて格納
すれば、映像記録に対するアクセスも容易になる。しか
しながら、これらのGPSカメラによる技術だけでは、
撮影した対象物に関する他の情報を引き出すきっかけを
提供することができない。
のように、対象物を正確に特定し、インターネット等に
無線アクセスすることで、歩行者や車等の利用者は、自
分がいる周囲の情報を限られた範囲(建物、店の名前、
内容)で知ることができ、所定の情報検索を実行するこ
とも可能である。しかしながら、従来の技術では、利用
者に要求される選択や判断のための作業が多く、対象物
の特定の際に利用者の介入の度合いが高い。また、リア
ルタイム性も悪く、使い易さの点で実用性に欠ける。
は、地勢学的情報を形状情報や位置情報からなる幾何学
情報に構造化し、データベース化を試みる手法について
開示されている。ここでは、例えば、ハンドヘルド機器
を有する人が「現実の道路交通に従って地点Aから地点
Bへ行くには?」の質問を移動体通信にて通信サーバに
尋ねると、その結果として、ナビゲーション情報がハン
ドヘルド機器の画面に送られるというシナリオが示され
ている。しかしながら、かかる公報では、あくまでも幾
何学情報に基づいた地勢学的情報(例えば地図)を利用者
に提供することに留まり、他の付加情報等を提供するこ
とは困難である。特に、データ量が多く、構造化が困難
な、例えばカメラで捉えた映像情報(風景情報)そのもの
をデータベース化する技術については言及されていな
い。
するためになされたものであって、その目的とするとこ
ろは、屋外を移動中の利用者が情報を得たいと欲する対
象物に対して、リアルタイムにその対象物に関する情報
を得ることを可能とすることにある。また他の目的は、
屋外を移動中の利用者によって撮影されたイメージ情報
に対して、利用者による独自の注釈情報(付加情報)を付
加し、遠隔地にあるサーバに対して格納可能とすること
にある。
明は、移動体に携帯されるクライアント装置とこのクラ
イアント装置に対して所定の情報を提供するセンターシ
ステムとを含む空間情報利用システムであって、このク
ライアント装置は、イメージ情報を取得するための撮影
機器とこのクライアント装置の位置情報を取得するため
の位置情報取得機器とを備え、取得されたイメージ情報
および位置情報をセンターシステムに対して送信し、セ
ンターシステムは、受信したイメージ情報および位置情
報に基づいて、このイメージ情報に含まれる対象物に関
する付加情報を抽出し、クライアント装置に対して送信
することを特徴としている。
れた位置情報に基づいて、蓄積されている蓄積イメージ
情報の中から受信されたイメージ情報とベストマッチン
グした蓄積イメージ情報を抽出し、抽出された蓄積イメ
ージ情報に対してリンクされた属性情報に基づいて付加
情報を検出することを特徴とすることができる。ベスト
マッチングとは、所定のパターンマッチング手法を用い
てほぼ一致した蓄積イメージ情報を抽出するものであ
り、必ずしも完全に一致している必要はない。また、こ
のセンターシステムは、ネットワークに接続されたウェ
ブサーバから付加情報や後述する詳細情報を検出するこ
とを特徴とすることができる。
加情報の中から特定の付加情報を選択し、選択された旨
をセンターシステムに送信し、センターシステムは、選
択された付加情報に対する詳細情報をクライアント装置
に対して送信することを特徴とすれば、クライアント装
置を利用するユーザが、更に詳細な内容を入手すること
ができる点で好ましい。
に携帯されるクライアント装置とこのクライアント装置
によって形成された所定の情報を処理するセンターシス
テムとを含む空間情報利用システムであって、このクラ
イアント装置は、イメージ情報を取得するためのカメラ
等のイメージ情報取得手段と、このクライアント装置の
位置情報を取得するためのGPS受信機等の位置情報取
得手段と、このイメージ情報に対するメモしたい情報等
である付加情報を生成する付加情報生成手段と、取得さ
れたイメージ情報と位置情報取得手段により取得された
位置情報と生成された付加情報とをセンターシステムに
対して送信する送信手段とを備え、センターシステム
は、送信されるイメージ情報、位置情報、および付加情
報を受信する受信手段と、受信されたイメージ情報、位
置情報、および付加情報を蓄積する蓄積手段とを備えた
ことを特徴としている。
加情報生成手段は、音声情報および/またはテキスト情
報を付加情報として生成し、センターシステムにおける
蓄積手段は、イメージ情報に対応付けて、付加情報生成
手段により生成された音声情報および/またはテキスト
情報を蓄積することを特徴とすることができる。より具
体的には、イメージ情報をイメージIDで特定し、その
イメージ情報の中に存在する対象物である各オブジェク
トをオブジェクトIDで特定し、そのオブジェクトID
毎に、テキスト、音声、イメージ、ウェブサイトへのリ
ンク等のオブジェクトインフォメーションとして蓄積す
ることが可能である。
えると、本発明は、風景を撮影してイメージ情報を得る
イメージ情報撮影手段と、このイメージ情報撮影手段に
より撮影がなされたときにおける自己の位置を把握する
位置情報把握手段と、得られたイメージ情報と把握され
た位置に関する情報とをサーバに対して送信する送信手
段と、イメージ情報撮影手段により得られた風景に存在
する所定の対象に関する付加情報をサーバから受信する
受信手段と、受信された付加情報を出力する出力手段と
を備えたことを特徴としている。「撮影がなされたと
き」とは、完全に時間が一致している必要はない。
撮影がなされたときにおけるイメージ情報撮影手段が向
いている方位および/または角度を検出する方位センサ
や角度センサ等からなる検出手段とを更に備え、送信手
段は、検出された方位および/または角度に関する情報
を送信することを特徴とすれば、パターンマッチングす
る際に蓄積イメージ情報を特定するのが容易となる点で
好ましい。
イメージ情報に付加された状態にて受信することを特徴
とすれば、情報取得装置側およびサーバ側にて、付加情
報付与にかかる手間を省くことが可能となる。この付加
情報が付加されるイメージ情報は、情報取得装置にて撮
影されたそのままのイメージ情報の他、予めデータベー
スに格納されていたベストマッチングしたイメージ情報
でも構わない。また、このイメージ情報に付加情報を付
加する態様としては、情報取得装置側で撮影されたイメ
ージ情報を蓄積し、付加情報だけを取得してこのイメー
ジ情報に付加することも可能である。
メージ情報と付加情報とを表示する表示手段と、表示さ
れる付加情報の中から特定の付加情報を選択する選択手
段とを更に備え、送信手段は、選択された特定の付加情
報に関する情報をサーバに対して送信し、受信手段は、
特定の付加情報に関する詳細情報をサーバから受信する
ことを特徴とすることができる。
は、風景を撮影して風景情報を得る撮影機器と、GPS
衛星から得られる信号によって自己の位置を把握するG
PS受信機と、得られた風景情報と把握された自己の位
置に関する情報とを送信するコミュニケーションデバイ
スとを備え、このコミュニケーションデバイスは、送信
された風景情報にある対象物に関する付加情報を受信す
ることを特徴とすることができる。
表示すると共に、コミュニケーションデバイスにより受
信された付加情報を表示するディスプレイデバイスと、
このディスプレイデバイスにより表示された付加情報の
中から特定の付加情報を選択するポインティングデバイ
スとを更に備え、コミュニケーションデバイスは、この
ポインティングデバイスにより選択された特定の付加情
報に関する情報を送信し、送信した情報に関する詳細情
報を受信することを特徴とすることができる。これらの
機能を有する情報取得装置は、例えば、移動体である人
に対して装着されるものである他、移動体である車に対
して装着される態様が考えられる。
る情報取得装置は、風景を撮影して風景情報を得る撮影
手段と、得られた風景情報を表示する表示手段と、表示
された風景情報に存在する特定部位を指定する指定手段
と、指定された特定部位に対して、例えば自己がメモ情
報等として保存したいと欲する所定の付加情報を入力す
る付加情報入力手段と、撮影された風景情報と入力され
た付加情報とをサーバに対して送信する送信手段と、を
備えたことを特徴としている。
報として、独自情報の格納要求であることを明かにして
風景情報および付加情報をサーバに対して送信すること
を特徴とすれば、蓄積する際に、独自情報を区別して蓄
積することが可能になると共に、必要に応じて蓄積した
情報を迅速に引き出すことが可能となる。
システム)側から把握すると、本発明が適用されるサー
バシステムは、クライアント装置によって得られた風景
情報をクライアント装置から受信する受信手段と、複数
のイメージ情報が予め格納されたイメージ蓄積手段と、
このイメージ蓄積手段に格納されている複数のイメージ
情報の各々を構成するオブジェクトに対する付加情報で
あるオブジェクトインフォメーションを予め格納するオ
ブジェクトインフォメーション格納手段と、蓄積されて
いる複数のイメージ情報の中から受信された風景情報に
近似する近似イメージ情報を選定する近似イメージ情報
選定手段と、選定された近似イメージ情報に対応するオ
ブジェクトインフォメーションをオブジェクトインフォ
メーション格納手段から読み出し、読み出されたオブジ
ェクトインフォメーションをクライアント装置に送信す
る送信手段とを備えたことを特徴としている。
置が風景情報を得たときのクライアント装置における位
置情報を受信し、イメージ蓄積手段は、所定の位置情報
によって識別された状態にて複数のイメージ情報が予め
格納されており、近似イメージ情報選定手段は、受信さ
れた位置情報に基づいて、近似イメージ情報を選定する
ことを特徴とすれば、例えば、パターンマッチングによ
る近似イメージの選定をより迅速に実行できる点で優れ
ている。
選定手段により選定された近似イメージ情報に対し、読
み出されたオブジェクトインフォメーションを付加して
クライアント装置に送信することを特徴とすることがで
きる。更に、この送信手段は、近似イメージ情報を構成
するオブジェクトの位置に対し、読み出されたオブジェ
クトインフォメーションを位置に対応させた状態にてク
ライアント装置に送信することを特徴とすることができ
る。例えば、オブジェクトの上にテキスト情報を貼り付
けることや、オブジェクトの上や近傍に対して所定の記
号を設けることで、所定の機能を伝達する等である。
ブジェクトインフォメーションに対するクライアント装
置からの指定を受信し、送信手段は、受信手段により指
定を受けたオブジェクトインフォメーションに対する詳
細情報をクライアント装置に対して送信することを特徴
とすることができる。また、近似イメージ情報を構成す
るオブジェクトに対応する付加情報または詳細情報をネ
ットワークを介してウェブサーバから受信するウェブサ
ーバアクセス手段とを備えたことを特徴とすることがで
きる。これによれば、サーバシステム自身で全てのオブ
ジェクトインフォメーションを格納する必要がなくな
り、更に、膨大かつ最新な情報を得ることが可能となる
点で好ましい。
は、クライアント装置によって得られた風景情報と、風
景情報を構成する部位に対する付加情報とをクライアン
ト装置から受信する受信手段と、受信された風景情報を
格納するイメージ蓄積手段と、格納される風景情報との
対応関係を、例えば、イメージID、オブジェクトID
等によって保持した状態にて受信した付加情報を格納す
るオブジェクトインフォメーション格納手段とを備えた
ことを特徴としている。更には、この受信手段は、風景
情報に関する位置情報を受信し、このイメージ蓄積手段
は、受信手段により受信された位置情報と共に風景情報
を格納することを特徴とすることができる。
に基づいてこの発明を詳細に説明する。図1は、本実施
の形態における空間情報利用システムの概要を示した説
明図である。図1に示すように、このシステムでは、移
動体である人や車に携帯される情報取得装置としてのク
ライアント装置10、このクライアント装置10におけ
る現在地の緯度・経度を計算するための信号を出すGP
S衛星9、クライアント装置10から送られた映像情報
(イメージ情報)を格納すると共に、クライアント装置1
0に対して所定の付加情報や詳細情報を提供する、サー
バシステムとしてのセンターシステム30、インターネ
ットに接続されて対象物(オブジェクト)の各種情報(付
加情報、詳細情報等)を提供するウェブサーバ40とを
備えている。
後述するようにGPS受信機やカメラ等を備え、人に対
して、例えば眼鏡のようにして装着されるヘッドセット
として構成される。また、車に搭載されるクライアント
装置10では、GPS受信機や地図表示のためのカーナ
ビゲーションシステムにカメラを搭載した形で構成され
る。また、クライアント装置10では、後述するように
通信手段を備え、カメラによって取得された空間イメー
ジの情報と、GPS受信機により取得された位置情報と
をセンターシステム30のサーバに対して送出する。セ
ンターシステム30では、パターンマッチングの手法を
用いて、蓄積された映像情報(蓄積イメージ情報)の中か
ら、クライアント装置10から送られてきた風景情報
(イメージ情報)にベストマッチングした映像情報を抽出
して、風景情報の中の対象物(オブジェクト)を特定す
る。センターシステム30は、この対象物(オブジェク
ト)に関する情報を、例えばインターネットを介してウ
ェブサーバ40から入手し、風景情報を送出したクライ
アント装置10に対して送信している。
明するためのブロック図である。本実施の形態における
クライアント装置10は、処理部11、映像を撮るため
のデジタルカメラ等の撮影機器であるカメラ12、映像
を表示するためのディスプレイデバイス13、マイクや
スピーカ、ヘッドフォン等からなる音声入出力装置1
4、対象物を指定するため等に用いる、特定の部位等を
選択する選択手段としてのポインティングデバイス1
5、名称の指定等、テキスト入力を行うためのテキスト
入力デバイス16を備えている。
体制御を実行するマイクロプロセッサ21、位置情報取
得機器としてのGPS受信機22、方位センサ23、角
度センサ24、カメラ12により得られた映像情報や各
種センサによる計測情報等を格納するメモリ25、セン
ターシステム30との無線による情報の送受信を行うコ
ミュニケーションデバイス26とを備えている。カメラ
12は、撮影した光学像をディジタル画像からなる映像
に変換する電子スチールカメラであり、得られる映像が
静止画か動画かを問わない。ディスプレイデバイス13
は、人に装着される態様では、例えば、小型の液晶パネ
ル(LCD)の映像を光学的に拡大するように構成された
ものを採用し、眼鏡と同様に用いた場合であっても大型
スクリーンと同等の大画面を形成できるようにされてい
る。また、車に搭載される場合には、カーナビゲーショ
ンシステムに用いられているLCDを用いることができ
る。音声入出力装置14は、例えば、ヘッドフォンやス
ピーカによって音声出力し、マイクロフォンによる音声
入力が可能である。ポインティングデバイス15は、リ
モコンによる手からのクリック操作の他、例えば、目の
動き(黒目の動き)をセンサ(アイトラッキングセンサ:e
ye tracking sensor、等)により捉え、ポインティング
したいところに目を合わせて“まばたき”をすることで
特定の表示エリアの所定箇所を選択できるものを採用す
ることができる。テキスト入力デバイス16は、例え
ば、PDA(Personal Digital Assistants)や携帯電話
等のモバイル機器に用いられているキーと同等のキーを
採用することが可能である。
2は、図示しないアンテナ部や信号処理部等を備え、例
えば4つのGPS衛星9から捕捉されたGPS衛星9の
位置(軌道)情報と、GPS衛星9からGPS受信機22
までの信号の伝播距離とに基づいて、クライアント装置
10の緯度・経度を算出している。但し、このGPSに
よる測位だけでは、そこから得られる位置情報に数10
〜数100メートルの誤差が生じてしまう。走行中の車
での使用であればその程度の誤差は瞬時に移動してしま
うため問題にはならないが、人の歩行時における使用で
は、その誤差を完全に無視することができない。そのた
めに、本実施の形態におけるクライアント装置10で
は、例えば、ディファレンシャルGPSにより誤差を補
正している。このディファレンシャルGPSは、全国に
設置されたGPS基地局からの信号によってその誤差を
補正するシステムであり、このディファレンシャル機能
により、誤差約2〜5mを実現している。
よって構成することができる。この磁気センサを用いた
方位センサ23では、例えば、センサ内部に直交して巻
かれた2組のコイルとその中心部に配置されたMR素子
(磁気抵抗素子)とで地磁気(地球を南北に走る磁力線)を
感知し、方位を計測して出力することができる。また、
角度センサ24は、例えば、マイクロマシニング技術を
用いて物体の傾きを検出する傾斜角センサ等を用いるこ
とができる。このマイクロマシニング技術は、半導体の
製造工程を使ってシリコンウエハ上にミクロンオーダー
の小さな機構部を形成する技術であり、0.1°程度の
わずかな傾きも検出可能である。
用いて、カメラ12により得られた映像の表示や、ポイ
ンティングデバイス15、テキスト入力デバイス16等
の入出力手段に対する処理、GPS受信機22、方位セ
ンサ23、角度センサ24から得られた位置や方位、角
度等の情報を受けて、本システムにて必要な一連の処理
を実行している。メモリ25は、マイクロプロセッサ2
1の処理に必要な情報を格納すると共に、カメラ12か
ら得られた映像情報や、各種インフォメーション情報等
を格納している。コミュニケーションデバイス26は、
マイクロプロセッサ21の制御に基づいて、センターシ
ステム30に対して映像データや各種センサ等によって
取得された情報等の送信を制御する他、センターシステ
ム30から送信されるインフォメーションデータ等を受
信するための処理を実行している。
10の一例を示した図である。図3に示す例では、眼鏡
のフレームと同様な本体フレーム17に、図2のブロッ
ク図に示した機能を達成するユニットが配置されてい
る。また、クライアント装置10を動かすためのバッテ
リ18も設けられている。例えば、コミュニケーション
デバイス26は、無線用のアンテナ19を備えて本体フ
レーム17の側部に設けられている。また、このアンテ
ナ19によってまたは他のアンテナによって、GPS衛
星9からの信号を捉え、GPS受信機22に供給してい
る。カメラ12は、人(ユーザ)における目の位置の近傍
に配置されて、人が実際に見ている方向と撮られる映像
とがほぼ一致できるように構成されている。このカメラ
12の近傍には、方位センサ23や角度センサ24が設
けられ、カメラ12の方位や角度を正確に把握すること
で、映像された対象をより正確に特定できるように配慮
されている。更には、人(ユーザ)の目の位置にディスプ
レイデバイス13が設けられると共に、前述したアイト
ラックセンサが設けられ、ポインティングデバイス15
として機能している。
する。図4は、センターシステム30の概略構成を示し
たブロック図である。本実施の形態におけるセンターシ
ステム30は、クライアント装置10からイメージ情報
等を受信するコミュニケーションデバイス31と、ファ
イルの保管や入出力、アクセスなどの管理サービスや、
本実施の形態における空間情報処理システムに要求され
る業務処理を実行し、処理結果をクライアント装置10
に対して通知するためのサーバ32を備えている。ま
た、データベースとして、一般用のイメージ情報を格納
するイメージDB(一般用)33、クライアント装置10
に提供すべきオブジェクト毎(部位毎)に対応したインフ
ォメーション情報を格納するオブジェクトインフォメー
ションDB(一般用)34がある。また、クライアント装
置10を有する利用者の個人用のデータベースとして、
イメージDB(個人用)35、オブジェクトインフォメー
ションDB(個人用)36を備えている。この個人用のデ
ータベースを備えることで、利用者が興味のある対象物
に対し、メモ等を施したい独自情報をイメージと関連さ
せて蓄積することが可能となる。更に、センターシステ
ム30には、外部のネットワーク(インターネット等)に
アクセスするために用いられるゲートウェイ37を備え
ており、図1に示したウェブサーバ40に対してアクセ
スすることが可能である。
構造について説明する。図5(a)〜(d)は、クライアン
ト装置10からセンターシステム30に対して送出され
るデータ構造を示した図であり、例えば、パケット形式
によってデータが送出される場合には、その1つ1つの
フレームの構造を説明するものである。図5(a)は、オ
ブジェクトインフォメーションリクエストのデータ構造
を示しており、カメラ12によって取得された実空間イ
メージ情報と共に、GPS受信機22によって得られた
位置情報、方位センサ23および角度センサ24によっ
て把握された方位や位置に対する情報が示されている。
データが送出される際に、まず、一般のインフォメーシ
ョンリクエストなのか、一般および独自のインフォメー
ションリクエストなのかを示すデータタイプ101の情
報が必要である。また、測定された位置102、方位1
03、角度104の各情報の他、事象が生じた時刻を示
すタイムスタンプ105、ユーザを識別するためのユー
ザID106、例えば、MPEG2やJPEG等、圧縮
方式などの情報を格納したイメージフォーマット107
の情報が送出される。これらの管理情報に加えて、実際
のイメージ108の情報が送出される。
ーションリクエストのデータ構造を示している。このリ
クエストは、図5(a)によってクライアント装置10か
らセンターシステム30に対してアクセスし、センター
システム30から特定の情報を得た後に、クライアント
装置10から送出されるデータ構造を示している。デー
タタイプ101、ユーザID106が図5(a)と同様に
送出されるが、ここでは、詳細な情報を送る対象となる
イメージを指定するためのイメージID109、例え
ば、ポインティングデバイス15によって指示された、
イメージの中におけるカーソルの位置110の情報が示
されている。これらの情報を受けることによって、セン
ターシステム30のサーバ32は、送出すべき対象を特
定して、詳細なインフォメーション情報(詳細情報)を提
供することが可能となる。
造を示している。このデータ構造は、図5(a)に示した
データ構造と同様であるが、データタイプ101に格納
される情報は、独自インフォメーションリクエストを示
すものとなる。図5(d)は、独自情報付加要求のデータ
構造を示している。図5(c)に示す情報に加えて、イメ
ージを特定するためのイメージID109と、イメージ
の中におけるカーソルの位置111の情報が含まれる。
また、このカーソルの位置111には、テキスト情報や
音声情報、イメージ情報等からなる格納情報が含まれて
いる。このような情報によって、センターシステム30
のイメージDB35およびオブジェクトインフォメーシ
ョンDB36に対して、利用者(ユーザ)が興味のある対
象物に、利用者がメモしたい独自情報をイメージ情報と
関連させて、音声、テキスト、画像を含めた個人情報と
して蓄積することが可能となる。
情報を得たセンターシステム30では、所定のパターン
マッチング手法を用いて、蓄積された映像情報の中か
ら、送られてきたイメージとの比較が行われる。このパ
ターンマッチング手法については、いくつかの手法があ
るが、例えば、統計的識別法や構造識別法によってパタ
ーンマッチングを行うことができる。また、あらかじめ
用意した標準パターンであるテンプレートに対して、入
力画像にテンプレートを重ねながら移動し、2つの画像
が画素データレベル対応の相関を調べる、所謂テンプレ
ートマッチングによることもできる。送られてくるイメ
ージ情報である入力画像については、そのイメージ情報
と共に、GPS受信機22によって得られた位置情報、
方位センサ23および角度センサ24によって把握され
た方位や位置に対する情報が存在する。このような情報
に基づいてイメージDB(一般用)33やイメージDB
(個人用)35から比較の対象となるテンプレート(映像
情報)を選定した後にパターンマッチングを実行するこ
とで、パターンマッチングに要する処理を大幅に削減す
ることができる。また、これらのパターンマッチングに
は、二値化した白黒画像を対象として外形を抽出する場
合の他、色情報を有効に活用すれば、より迅速かつ正確
な映像情報の抽出が可能となる。例えば、「黄色」の建
物の特徴をもとに、送られてきたイメージ情報と蓄積さ
れた映像情報との一致を判断する等である。
からクライアント装置10に対して送出されるデータ構
造を示した図であり、図5にて説明したものと同様に、
例えば、パケット形式によってデータが送出される場合
には、その1つ1つのフレームの構造を説明するもので
ある。図6(a)は、マッチングイメージとオブジェクト
インフォメーションを合成した構造を示している。ここ
では、データタイプ121の情報の他、クライアント装
置10から送られた情報をもとに、位置122、方位1
23、角度124、タイムスタンプ125、ユーザID
126の各情報が送られる。また、イメージID12
7、圧縮形式等が示されるイメージフォーマット128
の情報と共に、イメージ情報とオブジェクトインフォメ
ーションとが合成された合成画像129がクライアント
装置10に対して送出される。
ーション応答であり、図5(b)に示した、クライアント
装置10から送出される詳細オブジェクトインフォメー
ションリクエストに対する応答である。ここでは、デー
タタイプ121、ユーザID126、イメージID12
7と共に、ユーザがポインティングデバイス15によっ
て指定した対象に対する詳細情報(テキスト、音声、ウ
ェブインフォメーション)が送出される。このウェブイ
ンフォメーションは、センターシステム30がウェブサ
ーバ40にアクセスして得られた情報であり、かかるウ
ェブインフォメーションが得られることで、膨大な量
の、かつ最新な情報を確保することが可能となる。
たデータ構造であり、図5(c)に示した、クライアント
装置10から送出される独自情報格納要求に対する応答
である。ここでは、図6(a)に示した合成画像129に
変えて、格納されたイメージ131の情報が送出され
る。これによって、クライアント装置10を操作する利
用者は、格納されたイメージ情報を確認することができ
ると共に、更なる詳細情報を欲する際に特定の対象を指
定することが可能となる。
5、オブジェクトインフォメーションDB34,36に
格納されるデータベース構造を示した図である。図7
(a)に示すように、イメージDB33,35には、イメ
ージに対する位置141、方位142、角度143、タ
イムスタンプ144、イメージID145の情報が格納
される。また、フォーマットやサイズ、一般/個人、等
のイメージ属性情報146と共に、イメージ147が格
納されている。このようなデータ構造にて、イメージD
B(一般用)33に格納される場合には、複数のクライア
ント装置10から得られたイメージ情報を格納すること
ができ、例えば、位置141の情報を元にして層別がな
されて格納される。また、クライアント装置10からの
情報以外に、例えば、所定の業者によって作成されたイ
メージ情報を格納することも可能である。イメージDB
(個人用)35に格納される場合には、ユーザにより撮影
された独自なイメージ情報が中心となる。
ョンDB34,36に格納されるデータベース構造を示
した図である。ここでは、イメージID151の情報の
他、オブジェクト位置(1)152、オブジェクトID
(1)153、オブジェクト位置(2)154、オブジェク
トID(2)155、…オブジェクト位置(n)156、オ
ブジェクトID(n)157の1〜n個のオブジェクト情
報が格納されている。更に、これらのオブジェクトID
158と共に、テキスト、音声、イメージ、ウェブサイ
トへのリンク等の情報からなるオブジェクトインフォメ
ーション159が格納されている。このようにして、イ
メージDB33,35に対応して、格納されたイメージ
情報を構成するオブジェクトを識別可能とし、識別され
たオブジェクト毎にオブジェクトインフォメーション1
59を格納することが可能である。
レイデバイス13に実際に表示される合成画像の例を示
している。この例で示される合成画像は、前述のよう
に、クライアント装置10にて撮影されて送出されたイ
メージ情報を元に、センターシステム30のサーバ32
にてパターンマッチングがなされ、関連するインフォメ
ーションが抽出されてクライアント装置10に戻された
ものである。この例では、イメージ情報の上に、4種類
のオブジェクトインフォメーションが重ね合わされてい
る。ここでは、4種類の記号によって、「この情報だ
け」、「クリックによりテキスト情報を得る」、「クリ
ックにより音声情報を得る」、「クリックによりウェブ
情報を得る」を識別している。
ェクトの中からB会社(B Ltd.)の記号位置に、ポイン
ティングデバイス15を用いてカーソルを移動し、クリ
ックをしたものとする。マイクロプロセッサ21は、B
会社(B Ltd.)が選択されたことを認識し、コミュニケ
ーションデバイス26を介して、図5(b)に示すような
詳細オブジェクトインフォメーションリクエストのデー
タ構造によって、認識された内容を含むパケットをセン
ターシステム30に送出する。センターシステム30
は、このパケットに基づいて、図6(b)に示すような詳
細オブジェクトインフォメーション応答の詳細情報13
0にB会社(B Ltd.)のウェブ情報(ウェブインフォメー
ション)を格納し、例えば、パケットによってクライア
ント装置10に返信する。このパケットを受信したユー
ザは、B会社(B Ltd.)のウェブ情報を例えばディスプ
レイデバイス13によって閲覧することができる。同様
に、Xデパート(X Department)やY商店(Y Store)の
テキスト情報、7階にあるE商店(7F E store)の音
声情報を得ることが可能である。尚、Aビルディング
(A bld)、3階にあるZ商店(3F Z store)、S通り
(S street)、N通り(N street)には、付加情報が存在
していない。
たユーザは、音声入出力装置14、ポインティングデバ
イス15、テキスト入力デバイス16を用いて、特定の
部位に対して音声、映像、テキスト入力を実施し、個人
情報であることを示した状態にてその情報をセンターシ
ステム30に送信することで、自分自身、即ち、移動体
(人)独自の風景情報をセンターシステム30のイメージ
DB(個人用)35およびオブジェクトインフォメーショ
ンDB(個人用)36に格納することができる。ここで
は、例えば、営業者が、自分の訪問先や得意先の情報を
イメージと共にセンターシステム30に格納し、必要に
応じてセンターシステム30にアクセスすることで情報
を得るような利用形態が考えられる。
得る態様としては、例えば以下の3つが考えられる。1
つ目は、センターシステム30のイメージDB(一般用)
33やイメージDB(個人用)35に格納されていたイメ
ージ情報に関連するインフォメーション(付加情報)が付
加される態様である。この態様では、合成にかかる手間
が省ける点で優れている。2つ目は、クライアント装置
10からセンターシステム30に送られてきたそのまま
の画像にインフォメーションを付加してクライアント装
置10に送信するものである。この態様では、クライア
ント装置10の利用者側にて、イメージ情報に違和感が
ない点で優れている。3つ目は、クライアント装置10
にてイメージ情報を保持し、センターシステム30から
は、付加情報の貼り付け位置情報と共に付加情報だけを
受信する態様である。この態様であれば、送受信に要す
るデータ量を削減することが可能となる。
像に対してポインティングデバイス15を用いて指定
し、更に詳細な情報を得るように構成したが、合成画像
に対して完結した情報、例えばテキストによる付加情報
を付加することも可能である。即ち、ポインティングデ
バイス15を用いた指定を省略し、センターシステム3
0から受信した最初の合成画像によって一連の処理を完
結するように構成することも可能である。このように構
成すれば、得られる情報は限定されるものの、通信時間
の短縮が図れ、より迅速な情報取得が可能となる。
影機器であるカメラ12、小型の映像装置(モニタ)であ
るディスプレイデバイス13、およびGPS受信機22
等を有するクライアント装置10を携帯した移動体(人
や車)が、まず、カメラ12に移る風景情報とGPS受
信機22による位置情報、および各種センサによる状態
情報を、移動体通信によってリアルタイムにセンターシ
ステム30のサーバ32に送信する。受信したサーバ3
2は、所定のパターンマッチング手法を用いて、イメー
ジDB33,35に蓄積された映像情報の中から、移動
体から送られてきた風景情報にベストマッチングした映
像情報を抽出する。そして、その映像情報に存在する対
象物に対して、予めリンクされた属性情報(例えば、店
の種類、宣伝等)をオブジェクトインフォメーションD
B34,36から呼び出し、風景情報に合成して合成風
景情報に変換する。センターシステム30は、その合成
風景情報を発信元のクライアント装置10に送信する。
クライアント装置10では、受信した合成風景情報をデ
ィスプレイデバイス13に表示する。これによって、ユ
ーザは、ディスプレイデバイス13に表示された合成風
景情報と実際の風景情報とを比較し、眼前にある対象物
に対する付加情報を引き出すことが可能となる。
3に表示されている合成風景情報の特定部位に対してポ
インティングデバイス15を用いて指定することで、指
定された対象物に関する更に詳細な付加情報を得ること
が可能である。また更に、頻繁に利用する空間情報に関
しては、ローカルな記憶装置に保持し、そのローカルな
記憶装置に対してイメージのパターンマッチングを行う
ように構成することも可能である。このように構成すれ
ば、パターンマッチングの対象となる映像情報の数が限
定され、より迅速な情報取得が可能となる。
声、映像、テキスト入力等を行うことで、移動体(人)独
自の合成風景情報をセンターシステム30側に格納する
ことができる。これによって、個人が頻繁に利用する空
間情報に関して、そのアクションが容易になると共に、
趣味等への適用を含めたパーソナルな個人用データベー
スの構築が可能となる。尚、本実施の形態にて送受信さ
れる映像情報(イメージ情報)は、静止画に限定されず、
動画であっても構わない。但し、動画の場合には、単に
動画を垂れ流すのではなく、例えば、ある時間隔でサン
プリングされた、静止画に位置情報を付加して送信する
方法が好ましい。
屋外を移動中の利用者が情報を得たいと欲する対象物に
対して、リアルタイムにその対象物に関する情報を得る
ことができる。
の概要を示した説明図である。
のブロック図である。
を示した図である。
ロック図である。
ンターシステム30に対して送出されるデータ構造を示
した図である。
ライアント装置10に対して送出されるデータ構造を示
した図である。
ジェクトインフォメーションDB34,36に格納され
るデータベース構造を示した図である。
ス13に実際に表示される合成画像の例を示した図であ
る。
部、12…カメラ、13…ディスプレイデバイス、14
…音声入出力装置、15…ポインティングデバイス、1
6…テキスト入力デバイス、17…本体フレーム、18
…バッテリ、19…アンテナ、21…マイクロプロセッ
サ、22…GPS受信機、23…方位センサ、24…角
度センサ、25…メモリ、26…コミュニケーションデ
バイス、30…センターシステム、31…コミュニケー
ションデバイス、32…サーバ、33…イメージDB
(一般用)、34…オブジェクトインフォメーションDB
(一般用)、35…イメージDB(個人用)、36…オブジ
ェクトインフォメーションDB(個人用)、40…ウェブ
サーバ
Claims (23)
- 【請求項1】 移動体に携帯されるクライアント装置と
当該クライアント装置に対して所定の情報を提供するセ
ンターシステムとを含む空間情報利用システムであっ
て、 前記クライアント装置は、イメージ情報を取得するため
の撮影機器と、当該クライアント装置の位置情報を取得
するための位置情報取得機器とを備え、当該撮影機器に
より取得されたイメージ情報および当該位置情報取得機
器により取得された位置情報とを前記センターシステム
に対して送信し、 前記センターシステムは、前記クライアント装置から受
信した前記イメージ情報および前記位置情報とに基づい
て、当該イメージ情報に含まれる対象物に関する付加情
報を抽出し、当該付加情報を当該クライアント装置に対
して送信することを特徴とする空間情報利用システム。 - 【請求項2】 前記センターシステムは、受信された前
記位置情報に基づいて、蓄積されている蓄積イメージ情
報の中から受信された前記イメージ情報とベストマッチ
ングした当該蓄積イメージ情報を抽出し、抽出された当
該蓄積イメージ情報に対してリンクされた属性情報に基
づいて前記付加情報を検出することを特徴とする請求項
1記載の空間情報利用システム。 - 【請求項3】 前記センターシステムは、ネットワーク
に接続されたウェブサーバから前記付加情報を検出する
ことを特徴とする請求項1記載の空間情報利用システ
ム。 - 【請求項4】 前記クライアント装置は、前記センター
システムから送信された前記付加情報の中から特定の付
加情報を選択し、当該付加情報が選択された旨を当該セ
ンターシステムに送信し、 前記センターシステムは、選択された前記付加情報に対
する詳細情報を前記クライアント装置に対して送信する
ことを特徴とする請求項1記載の空間情報利用システ
ム。 - 【請求項5】 移動体に携帯されるクライアント装置と
当該クライアント装置によって形成された所定の情報を
処理するセンターシステムとを含む空間情報利用システ
ムであって、 前記クライアント装置は、イメージ情報を取得するため
のイメージ情報取得手段と、当該イメージ情報に対する
付加情報を生成する付加情報生成手段と、当該イメージ
情報取得手段により取得された当該イメージ情報と当該
付加情報生成手段により生成された当該付加情報とを前
記センターシステムに対して送信する送信手段とを備
え、 前記センターシステムは、前記クライアント装置の前記
送信手段により送信される前記イメージ情報および前記
付加情報を受信する受信手段と、当該受信手段により受
信された当該イメージ情報および当該付加情報を蓄積す
る蓄積手段とを備えたことを特徴とする空間情報利用シ
ステム。 - 【請求項6】 前記クライアント装置における前記付加
情報生成手段は、音声情報および/またはテキスト情報
を付加情報として生成し、 前記センターシステムにおける前記蓄積手段は、前記イ
メージ情報に対応付けて、前記付加情報生成手段により
生成された前記音声情報および/または前記テキスト情
報を蓄積することを特徴とする請求項5記載の空間情報
利用システム。 - 【請求項7】 風景を撮影してイメージ情報を得るイメ
ージ情報撮影手段と、前記イメージ情報撮影手段により
撮影がなされたときにおける自己の位置を把握する位置
情報把握手段と、 前記イメージ情報撮影手段により得られた前記イメージ
情報と前記位置情報把握手段により把握された前記位置
に関する情報とをサーバに対して送信する送信手段と、 前記イメージ情報撮影手段により得られた風景に存在す
る所定の対象に関する付加情報を前記サーバから受信す
る受信手段と、 前記受信手段により受信された前記付加情報を出力する
出力手段と、を備えたことを特徴とする情報取得装置。 - 【請求項8】 前記イメージ情報撮影手段により撮影が
なされたときにおける当該イメージ情報撮影手段が向い
ている方位および/または角度を検出する検出手段とを
更に備え、 前記送信手段は、前記検出手段により検出された前記方
位および/または前記角度に関する情報を送信すること
を特徴とする請求項7記載の情報取得装置。 - 【請求項9】 前記受信手段は、前記付加情報が所定の
イメージ情報に付加された状態にて受信することを特徴
とする請求項7記載の情報取得装置。 - 【請求項10】 前記受信手段により受信された前記所
定のイメージ情報と前記付加情報とを表示する表示手段
と、 前記表示手段に表示される前記付加情報の中から特定の
付加情報を選択する選択手段とを更に備え、 前記送信手段は、前記選択手段により選択された前記特
定の付加情報に関する情報を前記サーバに対して送信
し、前記受信手段は、当該特定の付加情報に関する詳細
情報を当該サーバから受信することを特徴とする請求項
9記載の情報取得装置。 - 【請求項11】 風景を撮影して風景情報を得る撮影機
器と、 GPS衛星から得られる信号によって自己の位置を把握
するGPS受信機と、 前記撮影機器により得られた前記風景情報と前記GPS
受信機により把握された自己の位置に関する情報とを送
信するコミュニケーションデバイスと、を備え、 前記コミュニケーションデバイスは、送信された前記風
景情報にある対象物に関する付加情報を受信することを
特徴とする情報取得装置。 - 【請求項12】 前記風景情報に基づくイメージ情報を
表示すると共に、当該コミュニケーションデバイスによ
り受信された前記付加情報を表示するディスプレイデバ
イスと、を更に具備したことを特徴とする請求項11記
載の情報取得装置。 - 【請求項13】 前記ディスプレイデバイスにより表示
された前記付加情報の中から特定の付加情報を選択する
ポインティングデバイスと、を更に備え、 前記コミュニケーションデバイスは、前記ポインティン
グデバイスにより選択された前記特定の付加情報に関す
る情報を送信し、送信した当該情報に関する詳細情報を
受信することを特徴とする請求項12記載の情報取得装
置。 - 【請求項14】 風景を撮影して風景情報を得る撮影手
段と、 前記撮影手段により得られた前記風景情報を表示する表
示手段と、 前記表示手段に表示された前記風景情報に存在する特定
部位を指定する指定手段と、 前記指定手段により指定された前記特定部位に対して所
定の付加情報を入力する付加情報入力手段と、 前記撮影手段により撮影された前記風景情報と前記付加
情報入力手段により入力された前記付加情報とをサーバ
に対して送信する送信手段と、を備えたことを特徴とす
る情報取得装置。 - 【請求項15】 前記送信手段は、独自情報の格納要求
であることを明かにして前記風景情報および前記付加情
報を前記サーバに対して送信することを特徴とする請求
項14記載の情報取得装置。 - 【請求項16】 クライアント装置によって得られた風
景情報を当該クライアント装置から受信する受信手段
と、 複数のイメージ情報が予め格納されたイメージ蓄積手段
と、 前記イメージ蓄積手段に格納されている前記複数のイメ
ージ情報の各々を構成するオブジェクトに対する付加情
報であるオブジェクトインフォメーションを予め格納す
るオブジェクトインフォメーション格納手段と、 前記イメージ蓄積手段により蓄積されている前記複数の
イメージ情報の中から前記受信手段により受信された前
記風景情報に近似する近似イメージ情報を選定する近似
イメージ情報選定手段と、 前記近似イメージ情報選定手段により選定された前記近
似イメージ情報に対応するオブジェクトインフォメーシ
ョンを前記オブジェクトインフォメーション格納手段か
ら読み出し、読み出された当該オブジェクトインフォメ
ーションを前記クライアント装置に送信する送信手段
と、を備えたことを特徴とするサーバシステム。 - 【請求項17】 前記受信手段は、前記クライアント装
置が前記風景情報を得たときの当該クライアント装置に
おける位置情報を受信し、 前記イメージ蓄積手段は、所定の位置情報によって識別
された状態にて前記複数のイメージ情報が予め格納され
ており、 前記近似イメージ情報選定手段は、前記受信手段により
受信された前記位置情報に基づいて、前記近似イメージ
情報を選定することを特徴とする請求項16記載のサー
バシステム。 - 【請求項18】 前記送信手段は、前記近似イメージ情
報選定手段により選定された前記近似イメージ情報に対
し、読み出された前記オブジェクトインフォメーション
を付加して前記クライアント装置に送信することを特徴
とする請求項16記載のサーバシステム。 - 【請求項19】 前記送信手段は、前記近似イメージ情
報を構成するオブジェクトの位置に対し、読み出された
前記オブジェクトインフォメーションを当該位置に対応
させた状態にて前記クライアント装置に送信することを
特徴とする請求項18記載のサーバシステム。 - 【請求項20】 前記受信手段は、前記送信手段により
送信された前記オブジェクトインフォメーションに対す
る前記クライアント装置からの指定を受信し、 前記送信手段は、前記受信手段により指定を受けた前記
オブジェクトインフォメーションに対する詳細情報を前
記クライアント装置に対して送信することを特徴とする
請求項16記載のサーバシステム。 - 【請求項21】 前記近似イメージ情報を構成するオブ
ジェクトに対応する付加情報または詳細情報をネットワ
ークを介してウェブサーバから受信するウェブサーバア
クセス手段とを更に備えたことを特徴とする請求項16
記載のサーバシステム。 - 【請求項22】 クライアント装置によって得られた風
景情報と、当該風景情報を構成する部位に対する付加情
報とを当該クライアント装置から受信する受信手段と、 前記受信手段により受信された風景情報を格納するイメ
ージ蓄積手段と、 前記イメージ蓄積手段に格納される前記風景情報との対
応関係を保持した状態にて前記受信手段により受信した
前記付加情報を格納するオブジェクトインフォメーショ
ン格納手段と、を備えたことを特徴とするサーバシステ
ム。 - 【請求項23】 前記受信手段は、前記風景情報に関す
る位置情報を受信し、 前記イメージ蓄積手段は、前記受信手段により受信され
た前記位置情報と共に前記風景情報を格納することを特
徴とする請求項22記載のサーバシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000290065A JP4236372B2 (ja) | 2000-09-25 | 2000-09-25 | 空間情報利用システムおよびサーバシステム |
US09/960,156 US6604049B2 (en) | 2000-09-25 | 2001-09-21 | Spatial information using system, system for obtaining information, and server system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000290065A JP4236372B2 (ja) | 2000-09-25 | 2000-09-25 | 空間情報利用システムおよびサーバシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002108873A true JP2002108873A (ja) | 2002-04-12 |
JP4236372B2 JP4236372B2 (ja) | 2009-03-11 |
Family
ID=18773352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000290065A Expired - Fee Related JP4236372B2 (ja) | 2000-09-25 | 2000-09-25 | 空間情報利用システムおよびサーバシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US6604049B2 (ja) |
JP (1) | JP4236372B2 (ja) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003323440A (ja) * | 2002-04-30 | 2003-11-14 | Japan Research Institute Ltd | 携帯端末を用いた撮影画像の情報提供システム、撮影画像の情報提供方法、およびその方法をコンピュータに実行させるプログラム |
JP2004078385A (ja) * | 2002-08-13 | 2004-03-11 | Fujitsu Ltd | サービス情報提供方法 |
JP2006119797A (ja) * | 2004-10-20 | 2006-05-11 | Sony Ericsson Mobilecommunications Japan Inc | 情報提供システムおよび携帯端末 |
JP2007034403A (ja) * | 2005-07-22 | 2007-02-08 | Nikon Corp | 画像表示装置、および画像表示プログラム |
JP2008059593A (ja) * | 2006-09-01 | 2008-03-13 | Harman Becker Automotive Systems Gmbh | 画像における対象物を認識する方法および画像認識デバイス |
WO2008149537A1 (ja) * | 2007-05-31 | 2008-12-11 | Panasonic Corporation | 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム |
JP2009060338A (ja) * | 2007-08-31 | 2009-03-19 | Nikon Corp | 表示装置、電子カメラ |
JP2009134774A (ja) * | 2002-05-30 | 2009-06-18 | National Institute Of Advanced Industrial & Technology | 端末装置、情報配信装置、情報配信システムおよびプログラム |
JP2009301485A (ja) * | 2008-06-17 | 2009-12-24 | Olympus Corp | 情報表示システムおよびそれを用いた携帯情報端末 |
JP2010519656A (ja) * | 2007-02-27 | 2010-06-03 | アクセンチュア グローバル サービスィズ ゲーエムベーハー | リモートでのオブジェクト認識 |
KR20110020572A (ko) * | 2009-08-24 | 2011-03-03 | 삼성전자주식회사 | 위치정보 제공방법 및 이를 적용한 촬영장치 |
WO2011074776A2 (en) * | 2009-12-17 | 2011-06-23 | Lg Electronics Inc. | Image display apparatus and method thereof |
KR101134315B1 (ko) * | 2008-04-28 | 2012-04-13 | 한양대학교 산학협력단 | 웹 기반의 물체 인식 장치 및 그 방법 |
JP2012104106A (ja) * | 2010-10-25 | 2012-05-31 | Disney Enterprises Inc | 拡張現実のためにモバイル装置を利用するシステムおよび方法 |
JP2012199971A (ja) * | 2012-05-24 | 2012-10-18 | Nikon Corp | 表示装置、電子カメラおよび制御プログラム |
JP2013502593A (ja) * | 2009-08-24 | 2013-01-24 | サムスン エレクトロニクス カンパニー リミテッド | モバイル機器及びモバイル機器と情報を送受信するサーバ |
JP2013505494A (ja) * | 2009-09-16 | 2013-02-14 | オラワークス・インコーポレイテッド | グラフ構造を用いてパノラマイメージに対するイメージマッチングを遂行するための方法、システムおよびコンピュータ読取可能な記録媒体 |
JP2013507677A (ja) * | 2009-10-12 | 2013-03-04 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 実環境視像における仮想情報の表示方法 |
WO2013088819A1 (ja) * | 2011-12-13 | 2013-06-20 | ステラグリーン株式会社 | 拡張現実感表示方法 |
KR101396338B1 (ko) * | 2007-09-27 | 2014-05-19 | 삼성전자주식회사 | 지도를 생성할 수 있는 디지털 영상 처리 장치 및 그의동작 방법 |
WO2015159417A1 (ja) * | 2014-04-18 | 2015-10-22 | 株式会社日立製作所 | 撮影映像による文書検索システム |
JP2015531939A (ja) * | 2012-08-31 | 2015-11-05 | フェイスブック,インク. | 位置に関連付けられたソーシャル・データの実世界の眺め |
WO2016203896A1 (ja) * | 2015-06-16 | 2016-12-22 | シャープ株式会社 | 生成装置 |
WO2017191791A1 (ja) * | 2016-05-06 | 2017-11-09 | コニカミノルタ株式会社 | 通信機能付き装置 |
JP2018526698A (ja) * | 2015-05-11 | 2018-09-13 | グーグル エルエルシー | ローカライゼーション・エリア記述ファイルのプライバシ機密クエリ |
US10559010B2 (en) | 2013-09-11 | 2020-02-11 | Aibuy, Inc. | Dynamic binding of video content |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
SE522866C2 (sv) * | 2000-12-28 | 2004-03-16 | Adi Anani | Sätt och system för interpretering av betraktat objekt |
JP2002218381A (ja) * | 2001-01-17 | 2002-08-02 | Fujitsu Ltd | 情報提供受信方法及び情報提供受信プログラム |
US20030025828A1 (en) * | 2001-08-01 | 2003-02-06 | Gregory Ramonowski | Headset video recorder |
JP2003139838A (ja) * | 2001-10-30 | 2003-05-14 | Mitsui & Co Ltd | Gps測位システム |
FR2833129B1 (fr) * | 2001-11-30 | 2004-02-13 | Eastman Kodak Co | Procede de visualisation d'images geolocalisees liees a un contexte |
US6943825B2 (en) * | 2001-12-14 | 2005-09-13 | Intel Corporation | Method and apparatus for associating multimedia information with location information |
JP2003281153A (ja) * | 2002-03-27 | 2003-10-03 | Minolta Co Ltd | 情報検索システム用サーバ及び端末装置 |
KR100831355B1 (ko) * | 2002-04-16 | 2008-05-21 | 삼성전자주식회사 | 피사체를 촬영하는 장소의 위치정보 및 방위정보의 기록이가능한 영상기록장치 |
US20040027365A1 (en) * | 2002-08-07 | 2004-02-12 | Sayers Craig P. | Controlling playback of a temporal stream with a user interface device |
AU2003282786A1 (en) * | 2002-08-30 | 2004-03-19 | Racom Products | Modular analog wireless data telemetry system adapted for use with web based location information distribution method and method for developing and disseminating information for use therewith |
WO2004028061A2 (en) * | 2002-09-20 | 2004-04-01 | Racom Products, Inc. | Method for wireless data system distribution and disseminating information for use with web base location information |
DE10248534B4 (de) * | 2002-10-14 | 2013-04-11 | T-Mobile Deutschland Gmbh | Verfahren zur genauen Positionsbestimmung eines mobilen Endgerätes |
KR20040050739A (ko) * | 2002-12-09 | 2004-06-17 | 한국전자통신연구원 | 모바일 레이저 스캐닝 데이터를 이용한 3차원 지형지물추출 및 분류 시스템 및 그 방법 |
JP2004226140A (ja) * | 2003-01-21 | 2004-08-12 | Sony Corp | 情報端末装置、ナビゲーションシステム、および情報処理方法、並びにコンピュータ・プログラム |
US20040174443A1 (en) * | 2003-03-07 | 2004-09-09 | Simske Steven J. | System and method for storing of records in a database |
JP4279083B2 (ja) * | 2003-08-18 | 2009-06-17 | 富士フイルム株式会社 | 画像処理方法および装置、並びに画像処理プログラム |
JPWO2005024345A1 (ja) * | 2003-09-01 | 2006-11-02 | 富士通株式会社 | 位置情報の検索方法及び検索システム |
EP1517116A1 (de) * | 2003-09-22 | 2005-03-23 | Leica Geosystems AG | Verfahren und Vorrichtung zur Bestimmung der Aktualposition eines geodätischen Instrumentes |
JP3972366B2 (ja) * | 2003-09-26 | 2007-09-05 | マツダ株式会社 | 車両用情報提供装置 |
US8159337B2 (en) * | 2004-02-23 | 2012-04-17 | At&T Intellectual Property I, L.P. | Systems and methods for identification of locations |
KR100818392B1 (ko) * | 2004-05-31 | 2008-04-02 | 가시오게산키 가부시키가이샤 | 정보수신장치, 정보전송장치, 정보수신방법 및 기록매체 |
US7739033B2 (en) | 2004-06-29 | 2010-06-15 | Sony Corporation | Information processing device and method, program, and information processing system |
TW200617416A (en) * | 2004-11-23 | 2006-06-01 | Fortuna Electronic Corp | Global positioning system and method |
EP2264621A3 (en) * | 2004-12-31 | 2011-11-23 | Nokia Corp. | Provision of target specific information |
US7610123B2 (en) * | 2005-01-04 | 2009-10-27 | Deere & Company | Vision-aided system and method for guiding a vehicle |
US7792607B2 (en) * | 2005-01-04 | 2010-09-07 | Deere & Company | Vision-aided system and method for guiding a vehicle |
EP1710996B1 (en) * | 2005-04-06 | 2020-07-08 | Provenance Asset Group LLC | Object perception method and a related perceiving device |
EP1929430A4 (en) | 2005-08-29 | 2011-06-29 | Evryx Technologies Inc | INTERACTIVITY OF MOBILITY RECOGNITION |
US20080039120A1 (en) * | 2006-02-24 | 2008-02-14 | Telmap Ltd. | Visual inputs for navigation |
US7779444B2 (en) * | 2006-07-23 | 2010-08-17 | William Glad | System and method for video on request |
EP2007146A4 (en) * | 2007-04-18 | 2012-09-26 | Panasonic Corp | DIGITAL BROADCAST RECEIVER AND METHOD FOR RECEIVING DIGITAL BROADCAST |
US8506404B2 (en) * | 2007-05-07 | 2013-08-13 | Samsung Electronics Co., Ltd. | Wireless gaming method and wireless gaming-enabled mobile terminal |
US20090100070A1 (en) * | 2007-05-14 | 2009-04-16 | Spatial Networks | System and methods for acquiring and handling location-centric information and images |
JP4963105B2 (ja) * | 2007-11-22 | 2012-06-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像を記憶する方法、装置 |
US9459113B2 (en) * | 2008-11-21 | 2016-10-04 | GM Global Technology Operations LLC | Visual guidance for vehicle navigation system |
US8391895B2 (en) * | 2008-12-23 | 2013-03-05 | Motorola Mobility Llc | Method and apparatus for providing location-based information |
TWI514337B (zh) * | 2009-02-20 | 2015-12-21 | 尼康股份有限公司 | Carrying information machines, photographic devices, and information acquisition systems |
US9001252B2 (en) * | 2009-11-02 | 2015-04-07 | Empire Technology Development Llc | Image matching to augment reality |
KR101229078B1 (ko) * | 2009-12-21 | 2013-02-04 | 한국전자통신연구원 | 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법 |
KR101667715B1 (ko) * | 2010-06-08 | 2016-10-19 | 엘지전자 주식회사 | 증강현실을 이용한 경로 안내 방법 및 이를 이용하는 이동 단말기 |
US8477190B2 (en) * | 2010-07-07 | 2013-07-02 | Pictometry International Corp. | Real-time moving platform management system |
US8612149B2 (en) * | 2011-02-10 | 2013-12-17 | Blackberry Limited | System and method of relative location detection using image perspective analysis |
US10455089B2 (en) | 2011-03-22 | 2019-10-22 | Fmr Llc | Augmented reality system for product selection |
US11087424B1 (en) * | 2011-06-24 | 2021-08-10 | Google Llc | Image recognition-based content item selection |
US8688514B1 (en) * | 2011-06-24 | 2014-04-01 | Google Inc. | Ad selection using image data |
US10972530B2 (en) | 2016-12-30 | 2021-04-06 | Google Llc | Audio-based data structure generation |
US20130141313A1 (en) * | 2011-07-18 | 2013-06-06 | Tiger T.G. Zhou | Wearable personal digital eyeglass device |
US11093692B2 (en) | 2011-11-14 | 2021-08-17 | Google Llc | Extracting audiovisual features from digital components |
US20130196773A1 (en) * | 2012-01-27 | 2013-08-01 | Camron Lockeby | Location Services Game Engine |
US8756002B2 (en) * | 2012-04-17 | 2014-06-17 | Nokia Corporation | Method and apparatus for conditional provisioning of position-related information |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9679414B2 (en) * | 2013-03-01 | 2017-06-13 | Apple Inc. | Federated mobile device positioning |
US9928652B2 (en) | 2013-03-01 | 2018-03-27 | Apple Inc. | Registration between actual mobile device position and environmental model |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US20140267077A1 (en) * | 2013-03-15 | 2014-09-18 | Amazon Technologies, Inc. | User Device with a Primary Display and a Substantially Transparent Secondary Display |
US11030239B2 (en) | 2013-05-31 | 2021-06-08 | Google Llc | Audio based entity-action pair based selection |
CA2921949A1 (en) | 2013-09-27 | 2015-04-02 | Cinsay, Inc. | Apparatus and method for supporting relationships associated with content provisioning |
AU2014324841B2 (en) | 2013-09-27 | 2020-04-16 | Aibuy Holdco, Inc. | N-level replication of supplemental content |
US9600720B1 (en) * | 2014-03-18 | 2017-03-21 | Amazon Technologies, Inc. | Using available data to assist in object recognition |
US10133931B2 (en) | 2015-08-04 | 2018-11-20 | Fmr Llc | Alert notification based on field of view |
JP2018077644A (ja) | 2016-11-08 | 2018-05-17 | 富士ゼロックス株式会社 | 情報処理システム及びプログラム |
US11653090B1 (en) * | 2017-07-04 | 2023-05-16 | Ramin Farjadrad | Intelligent distributed systems and methods for live traffic monitoring and optimization |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0897927A (ja) * | 1994-09-27 | 1996-04-12 | Blue Line Shiya:Kk | 野外調査データ収集システム |
JPH09231244A (ja) * | 1995-12-22 | 1997-09-05 | Sony Corp | 情報検索装置および方法 |
JPH1091634A (ja) * | 1996-08-15 | 1998-04-10 | Hewlett Packard Co <Hp> | 写真画像検索システム |
JPH10289243A (ja) * | 1997-04-14 | 1998-10-27 | Casio Comput Co Ltd | データ検索システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5568152A (en) * | 1994-02-04 | 1996-10-22 | Trimble Navigation Limited | Integrated image transfer for remote target location |
-
2000
- 2000-09-25 JP JP2000290065A patent/JP4236372B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-21 US US09/960,156 patent/US6604049B2/en not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0897927A (ja) * | 1994-09-27 | 1996-04-12 | Blue Line Shiya:Kk | 野外調査データ収集システム |
JPH09231244A (ja) * | 1995-12-22 | 1997-09-05 | Sony Corp | 情報検索装置および方法 |
JPH1091634A (ja) * | 1996-08-15 | 1998-04-10 | Hewlett Packard Co <Hp> | 写真画像検索システム |
JPH10289243A (ja) * | 1997-04-14 | 1998-10-27 | Casio Comput Co Ltd | データ検索システム |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003323440A (ja) * | 2002-04-30 | 2003-11-14 | Japan Research Institute Ltd | 携帯端末を用いた撮影画像の情報提供システム、撮影画像の情報提供方法、およびその方法をコンピュータに実行させるプログラム |
JP2009134774A (ja) * | 2002-05-30 | 2009-06-18 | National Institute Of Advanced Industrial & Technology | 端末装置、情報配信装置、情報配信システムおよびプログラム |
JP2004078385A (ja) * | 2002-08-13 | 2004-03-11 | Fujitsu Ltd | サービス情報提供方法 |
JP2006119797A (ja) * | 2004-10-20 | 2006-05-11 | Sony Ericsson Mobilecommunications Japan Inc | 情報提供システムおよび携帯端末 |
JP4697931B2 (ja) * | 2004-10-20 | 2011-06-08 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 情報提供システムおよび携帯端末 |
JP2007034403A (ja) * | 2005-07-22 | 2007-02-08 | Nikon Corp | 画像表示装置、および画像表示プログラム |
JP2008059593A (ja) * | 2006-09-01 | 2008-03-13 | Harman Becker Automotive Systems Gmbh | 画像における対象物を認識する方法および画像認識デバイス |
JP2010519656A (ja) * | 2007-02-27 | 2010-06-03 | アクセンチュア グローバル サービスィズ ゲーエムベーハー | リモートでのオブジェクト認識 |
US8554250B2 (en) | 2007-02-27 | 2013-10-08 | Accenture Global Services Limited | Remote object recognition |
WO2008149537A1 (ja) * | 2007-05-31 | 2008-12-11 | Panasonic Corporation | 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム |
US8264584B2 (en) | 2007-05-31 | 2012-09-11 | Panasonic Corporation | Image capturing apparatus, additional information providing server, and additional information filtering system |
JP2009060338A (ja) * | 2007-08-31 | 2009-03-19 | Nikon Corp | 表示装置、電子カメラ |
KR101396338B1 (ko) * | 2007-09-27 | 2014-05-19 | 삼성전자주식회사 | 지도를 생성할 수 있는 디지털 영상 처리 장치 및 그의동작 방법 |
KR101134315B1 (ko) * | 2008-04-28 | 2012-04-13 | 한양대학교 산학협력단 | 웹 기반의 물체 인식 장치 및 그 방법 |
JP2009301485A (ja) * | 2008-06-17 | 2009-12-24 | Olympus Corp | 情報表示システムおよびそれを用いた携帯情報端末 |
KR101669010B1 (ko) * | 2009-08-24 | 2016-10-26 | 삼성전자주식회사 | 위치정보 제공방법 및 이를 적용한 촬영장치 |
JP2013502593A (ja) * | 2009-08-24 | 2013-01-24 | サムスン エレクトロニクス カンパニー リミテッド | モバイル機器及びモバイル機器と情報を送受信するサーバ |
KR20110020572A (ko) * | 2009-08-24 | 2011-03-03 | 삼성전자주식회사 | 위치정보 제공방법 및 이를 적용한 촬영장치 |
US9344841B2 (en) | 2009-08-24 | 2016-05-17 | Samsung Electronics Co., Ltd | Mobile device and server exchanging information with mobile apparatus |
JP2013505494A (ja) * | 2009-09-16 | 2013-02-14 | オラワークス・インコーポレイテッド | グラフ構造を用いてパノラマイメージに対するイメージマッチングを遂行するための方法、システムおよびコンピュータ読取可能な記録媒体 |
JP2013507677A (ja) * | 2009-10-12 | 2013-03-04 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 実環境視像における仮想情報の表示方法 |
WO2011074776A2 (en) * | 2009-12-17 | 2011-06-23 | Lg Electronics Inc. | Image display apparatus and method thereof |
WO2011074776A3 (en) * | 2009-12-17 | 2011-11-03 | Lg Electronics Inc. | Image display apparatus and method thereof |
JP2012104106A (ja) * | 2010-10-25 | 2012-05-31 | Disney Enterprises Inc | 拡張現実のためにモバイル装置を利用するシステムおよび方法 |
WO2013088819A1 (ja) * | 2011-12-13 | 2013-06-20 | ステラグリーン株式会社 | 拡張現実感表示方法 |
JP2012199971A (ja) * | 2012-05-24 | 2012-10-18 | Nikon Corp | 表示装置、電子カメラおよび制御プログラム |
JP2015531939A (ja) * | 2012-08-31 | 2015-11-05 | フェイスブック,インク. | 位置に関連付けられたソーシャル・データの実世界の眺め |
JP2018067337A (ja) * | 2012-08-31 | 2018-04-26 | フェイスブック,インク. | 位置に関連付けられたソーシャル・データの実世界の眺め |
US10559010B2 (en) | 2013-09-11 | 2020-02-11 | Aibuy, Inc. | Dynamic binding of video content |
WO2015159417A1 (ja) * | 2014-04-18 | 2015-10-22 | 株式会社日立製作所 | 撮影映像による文書検索システム |
JP2018526698A (ja) * | 2015-05-11 | 2018-09-13 | グーグル エルエルシー | ローカライゼーション・エリア記述ファイルのプライバシ機密クエリ |
WO2016203896A1 (ja) * | 2015-06-16 | 2016-12-22 | シャープ株式会社 | 生成装置 |
WO2017191791A1 (ja) * | 2016-05-06 | 2017-11-09 | コニカミノルタ株式会社 | 通信機能付き装置 |
Also Published As
Publication number | Publication date |
---|---|
US20020045988A1 (en) | 2002-04-18 |
JP4236372B2 (ja) | 2009-03-11 |
US6604049B2 (en) | 2003-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002108873A (ja) | 空間情報利用システム、情報取得装置、およびサーバシステム | |
JP4870546B2 (ja) | レイヤー生成・選択機能を備えたcvタグ映像表示装置 | |
US8700302B2 (en) | Mobile computing devices, architecture and user interfaces based on dynamic direction information | |
JP5456799B2 (ja) | 装置の方向情報に基づく装置の取引モデルおよびサービス | |
US20170176209A1 (en) | Systems, apparatus and methods for delivery of location-oriented information | |
US8543917B2 (en) | Method and apparatus for presenting a first-person world view of content | |
JP5582548B2 (ja) | 実環境視像における仮想情報の表示方法 | |
US8531514B2 (en) | Image providing system and image providing method | |
US20090315776A1 (en) | Mobile computing services based on devices with dynamic direction information | |
US20090319178A1 (en) | Overlay of information associated with points of interest of direction based data services | |
US20100009662A1 (en) | Delaying interaction with points of interest discovered based on directional device information | |
US20020145709A1 (en) | System for displaying information in specific region | |
CN102985901A (zh) | 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置 | |
CN103003786A (zh) | 用于为基于位置的服务渲染具有主视图部分和预览部分的用户界面的方法和装置 | |
JP2003111128A (ja) | 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末 | |
JP6093841B2 (ja) | システム、情報処理方法及びプログラム | |
CN110457571B (zh) | 获取兴趣点信息的方法、装置、设备及存储介质 | |
WO2015019917A1 (ja) | ユーザの位置を基準にローカルな観光情報を検索する方法 | |
JP5780417B2 (ja) | 車載システム | |
EP3388958B1 (en) | Method and system for managing viewability of location-based spatial object | |
US20160274743A1 (en) | Multi-dimensional video navigation system and method using interactive map paths | |
JP6145563B2 (ja) | 情報表示装置 | |
JP2002189412A (ja) | 地図作成システム及び地図作成方法 | |
Lu et al. | An overview of problems in image-based location awareness and navigation | |
Hillen et al. | Information fusion infrastructure for remote-sensing and in-situ sensor data to model people dynamics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040831 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050126 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050228 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050415 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20071221 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20071227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081216 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131226 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |