JP2002197103A - Method and system for providing data - Google Patents
Method and system for providing dataInfo
- Publication number
- JP2002197103A JP2002197103A JP2000391333A JP2000391333A JP2002197103A JP 2002197103 A JP2002197103 A JP 2002197103A JP 2000391333 A JP2000391333 A JP 2000391333A JP 2000391333 A JP2000391333 A JP 2000391333A JP 2002197103 A JP2002197103 A JP 2002197103A
- Authority
- JP
- Japan
- Prior art keywords
- information
- mobile terminal
- image
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Character Discrimination (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、情報提供方法およ
びそのシステムに関し、より詳細には、移動機から送ら
れた位置情報および画像情報に関連する情報を選択して
提供する情報提供方法およびそのシステムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information providing method and a system therefor, and more particularly, to an information providing method for selecting and providing information related to position information and image information sent from a mobile station and the information providing method. About the system.
【０００２】[0002]
【従来の技術】近年、移動端末を使用してインターネッ
トに接続し、外出先で様々な情報を、ＷＷＷ（World Wi
de Web）などの情報提供システムから入手することがで
きる。一方、ＧＰＳ（Global Positioning System）を
利用して、位置情報を取得することのできる機器が普及
している。そこで、移動端末から情報提供システムに対
して、移動端末の位置情報を通知することにより、位置
情報に関連付けられた情報を迅速に入手することができ
る。2. Description of the Related Art In recent years, a mobile terminal has been used to connect to the Internet, and various information can be stored on the go.
de Web) and other information providing systems. On the other hand, devices that can acquire position information using a GPS (Global Positioning System) have become widespread. Then, by notifying the information providing system of the position information of the mobile terminal from the mobile terminal, information associated with the position information can be quickly obtained.
【０００３】また、ＣＣＤ（Charge Coupled Device）
カメラの普及により、移動端末のような小型の機器に
も、画像情報を取りこみ、記憶することが可能となっ
た。さらに、デジタル画像処理によって、取りこんだ画
像を画像データとして、通信ネットワークを介して送る
ことが容易に行える。Further, a CCD (Charge Coupled Device)
With the spread of cameras, it has become possible to capture and store image information even in small devices such as mobile terminals. Further, by digital image processing, the captured image can be easily transmitted as image data via a communication network.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、移動端
末の位置情報に関連付けられた情報を入手することがで
きても、ユーザが必要とする目標の情報、例えば、移動
端末の位置から見える店舗の情報などの限定された情報
を入手するには、さらに、情報の選定または目標の設定
といった操作が必要であるという問題があった。However, even if the information associated with the location information of the mobile terminal can be obtained, the target information required by the user, for example, the information of the store seen from the location of the mobile terminal In order to obtain limited information such as the above, there is a problem that an operation such as selecting information or setting a target is required.
【０００５】特に、目標の設定においては、具体的な店
舗の名称が不明で、抽象的な施設名称などによって特定
する場合には、情報の関連付けが難しいという問題もあ
った。[0005] In particular, in setting a target, there is a problem that it is difficult to associate information when a specific store name is unknown and specified by an abstract facility name or the like.
【０００６】本発明は、このような問題に鑑みてなされ
たもので、その目的とするところは、移動機から送られ
た位置情報および画像情報に関連する情報を選択して提
供する情報提供方法およびそのシステムを提供すること
にある。The present invention has been made in view of such a problem, and an object of the present invention is to provide an information providing method for selecting and providing information related to position information and image information sent from a mobile device. And to provide the system.
【０００７】[0007]
【課題を解決するための手段】本発明は、このような目
的を達成するために、請求項１に記載の発明は、移動端
末からの位置情報と画像情報とに従って、データベース
に格納された提供情報を、情報提供サーバが提供する情
報提供方法において、前記位置情報と前記画像情報とを
前記移動端末から受信する受信ステップと、該受信ステ
ップで受信した前記位置情報に基づいて、前記データベ
ースに格納された前記位置情報を含む前記提供情報を検
索する検索ステップと、該検索ステップで検索された１
または複数の提供情報に含まれる照合データと、前記受
信ステップで受信した前記画像情報に含まれる照合デー
タとを照合する照合ステップと、該照合ステップで照合
データが一致する前記提供情報を、前記移動端末に送信
する送信ステップとを備えることを特徴とする。According to the present invention, in order to achieve the above object, the invention according to claim 1 is provided in the form of a database stored in a database according to position information and image information from a mobile terminal. In an information providing method provided by an information providing server, a receiving step of receiving the position information and the image information from the mobile terminal, and storing the information in the database based on the position information received in the receiving step A search step of searching for the provided information including the searched location information;
Or a collation step of collating collation data included in a plurality of pieces of provided information with collation data contained in the image information received in the receiving step; and providing the provided information having matching data in the collation step. Transmitting to the terminal.
【０００８】この方法によれば、位置情報によってデー
タベースを限定して検索できるので、画像情報の照合を
迅速に行うことができ、かつ、ユーザの要求に合った提
供情報を送信することができる。According to this method, since the database can be limitedly searched according to the position information, the image information can be collated quickly and the provided information meeting the user's request can be transmitted.
【０００９】請求項２に記載の発明は、請求項１におい
て、前記照合データは、特定の文字列であり、前記照合
ステップは、前記画像情報から文字列領域を検出し、該
文字列領域に前記特定の文字列が含まれるか否かの文字
認識を行って照合することを特徴とする。According to a second aspect of the present invention, in the first aspect, the collation data is a specific character string, and the collation step detects a character string area from the image information, and stores the character string area in the character string area. Character matching is performed by performing character recognition as to whether or not the specific character string is included.
【００１０】この方法によれば、既知の文字列に基づい
て、画像情報から文字認識を行うので、迅速で精度の高
い文字認識を行うことができる。According to this method, since character recognition is performed from image information based on a known character string, character recognition can be performed quickly and with high accuracy.
【００１１】請求項３に記載の発明は、請求項１におい
て、前記照合データは、特定の画像であり、前記照合ス
テップは、前記特定の画像のヒストグラムと、前記画像
情報全体のヒストグラムとを、前記画像情報を任意に分
割して切り出した領域ごとに算出したヒストグラムを用
いて照合することを特徴とする。According to a third aspect of the present invention, in the first aspect, the collation data is a specific image, and the collation step includes: a histogram of the specific image and a histogram of the entire image information. The image information is collated by using a histogram calculated for each area obtained by dividing the image information arbitrarily.
【００１２】この方法によれば、画像情報のパターン・
マッチングを行うので、照合データは、文字に限らず、
ロゴや絵柄などを用いることができる。According to this method, the pattern of the image information
Since matching is performed, collation data is not limited to characters,
Logos and patterns can be used.
【００１３】請求項４に記載の発明は、請求項１、２ま
たは３に記載の前記送信ステップは、前記受信ステップ
で受信した前記位置情報に基づいて、前記移動端末に近
い位置情報を有する前記提供情報から順番に並び替えて
送信することを特徴とする。According to a fourth aspect of the present invention, in the transmitting step according to the first, second or third aspect, the transmitting step has position information close to the mobile terminal based on the position information received in the receiving step. It is characterized by being rearranged in order from the provided information and transmitted.
【００１４】請求項５に記載の発明は、移動端末と情報
提供サーバとを接続する通信ネットワークを介して、デ
ータベースに格納された提供情報を、前記情報提供サー
バから前記移動端末に提供する情報提供システムにおい
て、前記移動端末は、該移動端末の位置情報を取得する
測位手段と、外界の情景を撮像して画像情報を取得する
撮像手段と、前記位置情報と前記画像情報とを前記情報
提供サーバに送信する送信手段とを備え、前記情報提供
サーバは、前記位置情報と前記画像情報とを前記移動端
末から受信する受信手段と、該受信手段で受信した前記
位置情報に基づいて、前記データベースに格納された前
記位置情報を含む前記提供情報を検索する検索手段と、
該検索手段で検索された１または複数の提供情報に含ま
れる照合データと、前記受信手段で受信した前記画像情
報に含まれる照合データとを照合する照合手段と、該照
合手段で照合データが一致する前記提供情報を、前記移
動端末に送信する情報送信手段とを備えたことを特徴と
する。According to a fifth aspect of the present invention, there is provided an information providing system for providing provided information stored in a database from the information providing server to the mobile terminal via a communication network connecting the mobile terminal and the information providing server. In the system, the mobile terminal includes: a positioning unit that obtains position information of the mobile terminal; an imaging unit that obtains image information by capturing an external scene; and the server that provides the position information and the image information to the information providing server. Transmitting means for transmitting to the database based on the position information received by the receiving means, the receiving means for receiving the position information and the image information from the mobile terminal, Searching means for searching for the provided information including the stored position information;
Collating means for collating collation data included in one or a plurality of provided information retrieved by the retrieval means with collation data contained in the image information received by the receiving means; Information transmitting means for transmitting the provided information to the mobile terminal.
【００１５】この構成によれば、位置情報によってデー
タベースを限定して検索できるので、画像情報の照合を
迅速に行うことができ、かつ、ユーザの要求に合った提
供情報を送信することができる。According to this configuration, since the database can be limitedly searched based on the position information, the image information can be collated quickly and the provided information meeting the user's request can be transmitted.
【００１６】請求項６に記載の発明は、請求項５におい
て、前記照合データは、特定の文字列であり、前記照合
手段は、前記画像情報から文字列領域を検出し、該文字
列領域に前記特定の文字列が含まれるか否かの文字認識
を行って照合することを特徴とする。According to a sixth aspect of the present invention, in the fifth aspect, the collation data is a specific character string, and the collation means detects a character string area from the image information, and stores the character string area in the character string area. Character matching is performed by performing character recognition as to whether or not the specific character string is included.
【００１７】この構成によれば、既知の文字列に基づい
て、画像情報から文字認識を行うので、迅速で精度の高
い文字認識を行うことができる。According to this configuration, since character recognition is performed from image information based on a known character string, quick and accurate character recognition can be performed.
【００１８】請求項７に記載の発明は、請求項５におい
て、前記照合データは、特定の画像であり、前記照合手
段は、前記特定の画像のヒストグラムと、前記画像情報
全体のヒストグラムとを、前記画像情報を任意に分割し
て切り出した領域ごとに算出したヒストグラムを用いて
照合することを特徴とする。According to a seventh aspect of the present invention, in the fifth aspect, the collation data is a specific image, and the collation means includes a histogram of the specific image and a histogram of the entire image information. The image information is collated by using a histogram calculated for each area obtained by dividing the image information arbitrarily.
【００１９】この構成によれば、画像情報のパターン・
マッチングを行うので、照合データは、文字に限らず、
ロゴや絵柄などを用いることができる。According to this configuration, the pattern of the image information
Since matching is performed, collation data is not limited to characters,
Logos and patterns can be used.
【００２０】請求項８に記載の発明は、請求項５、６ま
たは７において、前記移動端末は、文字情報を入力する
文字入力手段を備え、前記送信手段は、前記文字情報を
前記情報提供サーバに送信し、前記受信手段は、前記文
字情報を前記移動端末から受信し、前記情報提供サーバ
は、前記受信手段で受信した前記文字情報の意味内容の
解釈を行う解釈手段を備え、前記検索手段は、前記解釈
手段で解釈された前記意味内容に基づいて、前記データ
ベースに格納された前記意味内容を含む前記提供情報を
検索することを特徴とする。According to an eighth aspect of the present invention, in the fifth, sixth or seventh aspect, the mobile terminal includes character input means for inputting character information, and the transmitting means transmits the character information to the information providing server. The receiving unit receives the character information from the mobile terminal, the information providing server includes an interpreting unit for interpreting the meaning of the character information received by the receiving unit, and the searching unit Searching for the provided information including the semantic content stored in the database, based on the semantic content interpreted by the interpreting means.
【００２１】この構成によれば、ユーザの目標を文字で
入力し、これに基づいてデータベースを検索するので、
ユーザの要求に合った提供情報を送信することができ
る。According to this configuration, the user's goal is input in characters and the database is searched based on the input.
It is possible to transmit provided information that meets a user's request.
【００２２】請求項９に記載の発明は、請求項５、６ま
たは７において、前記移動端末は、音声を入力する音声
入力手段を備え、前記送信手段は、前記音声を前記情報
提供サーバに送信し、前記受信手段は、前記音声を前記
移動端末から受信し、前記情報提供サーバは、前記受信
手段で受信した前記音声の意味内容を認識する音声認識
手段と、該音声認識手段で認識された前記意味内容の解
釈を行う解釈手段とを備え、前記検索手段は、前記解釈
手段で解釈された前記意味内容に基づいて、前記データ
ベースに格納された前記意味内容を含む前記提供情報を
検索することを特徴とする。According to a ninth aspect of the present invention, in the fifth, sixth or seventh aspect, the mobile terminal includes voice input means for inputting voice, and the transmitting means transmits the voice to the information providing server. The receiving unit receives the voice from the mobile terminal, and the information providing server recognizes the meaning of the voice received by the receiving unit. Interpreting means for interpreting the semantic content, wherein the searching means searches the provided information including the semantic content stored in the database based on the semantic content interpreted by the interpreting means. It is characterized by.
【００２３】この構成によれば、ユーザの目標を音声で
入力することができるので、文字入力の手間を省くこと
ができる。According to this configuration, since the user's target can be input by voice, the trouble of character input can be saved.
【００２４】請求項１０に記載の発明は、請求項９に記
載の前記音声認識手段は、前記受信手段で受信した前記
位置情報に基づいて、音声認識辞書の検索範囲を限定
し、前記検索手段で検索された１または複数の提供情報
に基づいて、前記音声の意味内容を認識する評価の重み
係数を変更することを特徴とする。According to a tenth aspect of the present invention, the speech recognition means according to the ninth aspect limits a search range of a speech recognition dictionary based on the position information received by the receiving means, And changing a weighting coefficient of the evaluation for recognizing the meaning content of the voice based on one or a plurality of pieces of provided information searched in the step (a).
【００２５】請求項１１に記載の発明は、請求項８、９
または１０に記載の前記解釈手段は、前記受信手段で受
信した前記位置情報に基づいて、意味解析辞書の検索範
囲を限定することを特徴とする。The eleventh aspect of the present invention provides the eighth and ninth aspects.
Alternatively, the interpretation unit described in 10 is characterized in that a search range of the semantic analysis dictionary is limited based on the position information received by the reception unit.
【００２６】請求項１２に記載の発明は、請求項１１に
記載の前記解釈手段は、前記検索手段で検索された１ま
たは複数の提供情報に基づいて、前記意味解析辞書の検
索範囲を限定することを特徴とする。According to a twelfth aspect of the present invention, the interpretation means according to the eleventh aspect limits a search range of the semantic analysis dictionary based on one or a plurality of pieces of provided information searched by the search means. It is characterized by the following.
【００２７】請求項１３に記載の発明は、請求項５ない
し１２のいずれか１項に記載の前記情報送信手段は、前
記受信手段で受信した前記位置情報に基づいて、前記移
動端末に近い位置情報を有する前記提供情報から順番に
並び替えて送信することを特徴とする。[0027] According to a thirteenth aspect of the present invention, the information transmitting means according to any one of the fifth to twelfth features, based on the position information received by the receiving means, a position close to the mobile terminal. It is characterized in that the information is rearranged in order from the provided information having information and transmitted.
【００２８】請求項１４に記載の発明は、移動端末と情
報提供サーバとを接続する通信ネットワークを介して、
データベースに格納された提供情報を、前記移動端末に
提供する前記情報提供サーバを制御するプログラムを記
録した記録媒体であって、前記位置情報と前記画像情報
とを前記移動端末から受信する受信ステップと、該受信
ステップで受信した前記位置情報に基づいて、前記デー
タベースに格納された前記位置情報を含む前記提供情報
を検索する検索ステップと、該検索ステップで検索され
た１または複数の提供情報に含まれる照合データと、前
記受信ステップで受信した前記画像情報に含まれる照合
データとを照合する照合ステップと、該照合ステップで
照合データが一致する前記提供情報を、前記移動端末に
送信する送信ステップとをコンピュータに実行させるた
めのプログラムを記録したコンピュータ読み取り可能な
記録媒体であることを特徴とする。According to a fourteenth aspect of the present invention, a mobile terminal and an information providing server are connected via a communication network.
Provided information stored in a database, a recording medium recording a program for controlling the information providing server that provides the mobile terminal, a receiving step of receiving the position information and the image information from the mobile terminal, A search step for searching for the provided information including the position information stored in the database based on the position information received in the receiving step, and a search step included in the one or more provided information searched in the search step Collation data, and a collation step of collating collation data included in the image information received in the reception step, a transmission step of transmitting the provided information whose collation data matches in the collation step to the mobile terminal, Is a computer-readable recording medium on which a program for causing a computer to execute The features.
【００２９】[0029]
【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態について詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００３０】図１は、本発明の一実施形態にかかる情報
処理システムの構成を示したブロック図である。情報処
理システムは、移動機２０と処理センタ３０とを接続す
る無線通信網１０と、処理センタ３０と無線通信網１０
とを接続するデータ中継装置１１とから構成されてい
る。無線通信網１０は、例えば、ＰＤＣ（Personal Dig
ital Cellular）網、無線パケット交換網またはIMT-200
0（International Mobile Telecommunication - 2000）
などの呼称で知られる通信網である。FIG. 1 is a block diagram showing the configuration of an information processing system according to one embodiment of the present invention. The information processing system includes a wireless communication network 10 connecting the mobile device 20 and the processing center 30,
And a data relay device 11 for connecting the The wireless communication network 10 is, for example, a PDC (Personal Dig).
ital Cellular) network, wireless packet switching network or IMT-200
0 (International Mobile Telecommunication-2000)
It is a communication network known by such a name.
【００３１】移動機２０は、無線通信網１０と接続さ
れ、無線リンクの確立を行う無線通信部２９と、無線通
信部２９を介して音声を送信するための音声入力部２７
および音声送信部２２とを有している。また、画像など
のデータの送受信を行うためのデータ送受信部２１が、
無線通信部２９に接続されている。データ送受信部２１
には、文字を送信するための文字入力部２６と、画像を
送信するための撮像部２４および画像変換部２３と、受
信した画像を表示する表示部２８とが接続されている。
さらに、位置情報を取得する測位部２５が、データ送受
信部２１と無線通信部２９とに接続されている。The mobile device 20 is connected to the wireless communication network 10 and establishes a wireless link. A wireless communication unit 29 and a voice input unit 27 for transmitting voice via the wireless communication unit 29 are provided.
And a voice transmitting unit 22. The data transmitting / receiving unit 21 for transmitting / receiving data such as images is
It is connected to the wireless communication unit 29. Data transmission / reception unit 21
Is connected to a character input unit 26 for transmitting characters, an imaging unit 24 and an image conversion unit 23 for transmitting an image, and a display unit 28 for displaying a received image.
Further, a positioning unit 25 for acquiring position information is connected to the data transmitting / receiving unit 21 and the wireless communication unit 29.
【００３２】本実施形態では、移動機２０の内部に撮像
部２４を有するが、移動機２０と撮像部２４とを別の筐
体とし、撮像部２４として移動機２０の画像変換部２３
と通信可能なカメラを用いた構成としてもよい。In the present embodiment, the image pickup unit 24 is provided inside the mobile device 20. However, the mobile device 20 and the image pickup unit 24 are provided in separate housings, and
It may be configured to use a camera that can communicate with the camera.
【００３３】このような構成により、撮像部２４で撮影
された画像は、画像変換部２３で伝送に適したフォーマ
ットに変換される。変換された画像データは、データ送
受信部２１と、無線通信部２９と、データ中継装置１１
とを介して処理センタ３０に送られる。With such a configuration, the image photographed by the imaging unit 24 is converted by the image conversion unit 23 into a format suitable for transmission. The converted image data is transmitted to the data transmitting / receiving unit 21, the wireless communication unit 29, and the data relay device 11
And sent to the processing center 30 via
【００３４】また、ユーザは、ユーザが求める情報や目
標に関連するデータ（以下、目標データという。）を、
文字入力部２６から入力する。入力された目標データ
は、データ送受信部２１と、無線通信部２９と、データ
中継装置１１とを介して処理センタ３０に送られる。Further, the user can store information required by the user and data relating to the target (hereinafter referred to as target data).
Input from the character input unit 26. The input target data is sent to the processing center 30 via the data transmitting / receiving unit 21, the wireless communication unit 29, and the data relay device 11.
【００３５】さらに、ユーザは、音声によっても目標デ
ータを設定することができ、音声入力部２７で入力され
た音声は、音声送信部２２と、無線通信部２９と、無線
通信網１０とを介して処理センタ３０に送られる。Further, the user can set the target data by voice, and the voice input by the voice input unit 27 is transmitted via the voice transmitting unit 22, the radio communication unit 29, and the radio communication network 10. To the processing center 30.
【００３６】一方、処理センタ３０は、無線通信網１０
と接続され、移動機２０からの音声を受信する音声受信
部３２と、データ中継装置１１と接続され、画像などの
データの送受信を行うためのデータ送受信部３１とを有
している。また、受信した画像データの変換を行う画像
変換部３３と、変換された画像から広告物データの照合
を行う広告物データ照合部３５と、受信したデータか
ら、広告物データの検索を行う広告物データ検索部３４
とを有している。さらに、受信した音声の音声認識を行
う音声認識部３７と、データ送受信部３１と音声認識部
３７とからのデータのデータの意味を解析する意味解析
部３８とを有している。On the other hand, the processing center 30
And a data transmission / reception unit 31 connected to the data relay device 11 for transmitting and receiving data such as images. Also, an image conversion unit 33 that converts the received image data, an advertisement object data matching unit 35 that compares the advertisement object data from the converted image, and an advertisement object that searches for the advertisement object data from the received data. Data search unit 34
And Further, it has a voice recognition unit 37 that performs voice recognition of the received voice, and a semantic analysis unit 38 that analyzes the meaning of data from the data transmission / reception unit 31 and the voice recognition unit 37.
【００３７】また、処理センタ３０は、音声認識を行う
ための音声認識辞書３９と、意味解析を行うための意味
解析辞書４０と、地図が格納された地図データベース４
１と、広告物データが格納された広告物データベース３
６とを備えている。The processing center 30 includes a speech recognition dictionary 39 for performing speech recognition, a semantic analysis dictionary 40 for performing semantic analysis, and a map database 4 storing maps.
1 and an advertising material database 3 storing advertising material data
6 is provided.
【００３８】このような構成により、移動機２０で取得
された画像データは、無線通信網１０とデータ中継装置
１１とを介して、データ送受信部３１により受信し、画
像変換部３３で元のフォーマットに変換される。変換さ
れた画像データは、広告物データ照合部３５において、
広告物データ検索部３４で検索された広告物データと照
合される。With such a configuration, the image data acquired by the mobile device 20 is received by the data transmission / reception unit 31 via the wireless communication network 10 and the data relay device 11, and is returned to the original format by the image conversion unit 33. Is converted to The converted image data is sent to the
The advertisement data is searched for by the advertisement data search unit 34.
【００３９】また、移動機２０において、ユーザが、目
標データを文字により入力した場合には、文字データを
データ送受信部３１により受信する。ユーザが、目標デ
ータを音声により入力した場合には、音声を音声受信部
３２により受信する。受信した音声は、音声認識部３７
により音声認識辞書３９を用いて音声認識処理がなされ
る。音声認識部３７により認識処理されたデータおよび
入力した文字データは、意味解析部３８により意味解析
辞書４０を用いてデータの意味が解析される。In the mobile device 20, when the user inputs the target data by characters, the character data is received by the data transmission / reception unit 31. When the user inputs the target data by voice, the voice is received by the voice receiving unit 32. The received voice is transmitted to the voice recognition unit 37.
Performs voice recognition processing using the voice recognition dictionary 39. The meaning of the data recognized by the voice recognition unit 37 and the input character data is analyzed by the semantic analysis unit 38 using the semantic analysis dictionary 40.
【００４０】意味解釈の結果は、データ送受信部３１に
送信され、データ中継装置１１と無線通信網１０とを介
して移動機２０に送られる。意味解釈の結果は、移動機
２０の表示部２８に表示され、ユーザが目標データとし
て使用する。The result of the semantic interpretation is transmitted to the data transmission / reception unit 31 and transmitted to the mobile device 20 via the data relay device 11 and the wireless communication network 10. The result of the semantic interpretation is displayed on the display unit 28 of the mobile device 20 and used by the user as target data.
【００４１】さらに、移動機２０によって取得された測
位データを、データ送受信部３１により受信する。広告
物データ検索部３４は、測位データに基づいて、広告物
データベース３６から移動機２０の位置に近辺の広告物
データを検索する。移動機２０より、目標データが入力
されている場合には、目標データに基づいて、広告物デ
ータベース３６を検索する。Further, the positioning data acquired by the mobile device 20 is received by the data transmitting / receiving unit 31. The advertisement data search unit 34 searches for advertisement data near the position of the mobile device 20 from the advertisement database 36 based on the positioning data. When target data is input from the mobile device 20, the advertisement database 36 is searched based on the target data.
【００４２】ここで、広告物とは、常時または一定の期
間継続し、かつ、公衆に表示されるものである。本発明
における広告は、宣伝以外の目的で掲示されている標識
や名称表示も含めて考えることができる。Here, the advertisement is something that is always or continuously continued for a certain period and is displayed to the public. The advertisement in the present invention can be considered to include a sign or a name displayed for a purpose other than the advertisement.
【００４３】図２は、本発明の一実施形態にかかる情報
処理方法を示したフローチャートである。ユーザが移動
機の位置と撮影した広告物から情報を得る場合について
説明する。最初に、移動機２０は、測位部２５で測位処
理を行って位置情報を得て（Ｓ２１）、処理センタ３０
へ送信する（Ｓ２６）。測位処理は、例えば、ＧＰＳを
利用する方法、IMT-2000において基地局から送信される
時刻コードを利用する方法、または、ＰＨＳ（Personal
Handy-phone System）における位置情報サービスを利
用する方法などを利用することができる。FIG. 2 is a flowchart showing an information processing method according to one embodiment of the present invention. A case where the user obtains information from the position of the mobile device and the photographed advertisement is described. First, the mobile device 20 obtains position information by performing positioning processing in the positioning unit 25 (S21), and the processing center 30
(S26). The positioning process may be performed by using, for example, a method using GPS, a method using a time code transmitted from a base station in IMT-2000, or a PHS (Personal).
A method using a location information service in the Handy-phone System) can be used.
【００４４】また、移動機２０は、撮像部２４で撮影さ
れた（Ｓ２２）画像を、画像変換部２３で伝送に適した
フォーマットに変換し（Ｓ２３）、処理センタ３０へ送
信する（Ｓ２６）。画像は、動画であっても静止画であ
ってもよく、例えば、ＪＰＥＧ（Joint Photographic E
xperts Group）やＭＰＥＧ（Moving Picture ExpertsGr
oup）などのデジタル画像圧縮技術を利用して変換され
る。Further, the mobile device 20 converts the image photographed by the imaging unit 24 (S22) into a format suitable for transmission by the image conversion unit 23 (S23) and transmits it to the processing center 30 (S26). The image may be a moving image or a still image. For example, JPEG (Joint Photographic E
xperts Group) or MPEG (Moving Picture Experts Gr)
oup) and other digital image compression techniques.
【００４５】さらに、ユーザは、目標データを、文字入
力部２６から入力し（Ｓ２４）、または、目標データを
音声によって音声入力部２７から入力し（Ｓ２５）、処
理センタ３０へ送信する（Ｓ２６）。なお、Ｓ２１から
Ｓ２６までの順序は問わず、移動機２０により実行され
る。Further, the user inputs the target data from the character input unit 26 (S24), or inputs the target data by voice from the voice input unit 27 (S25), and transmits it to the processing center 30 (S26). . In addition, the order from S21 to S26 does not matter, and is executed by the mobile device 20.
【００４６】処理センタ３０は、移動機２０から画像デ
ータを受信すると（Ｓ２７）、画像変換部３３で元のフ
ォーマットに変換する（Ｓ２８）。移動機２０から測位
データを受信すると（Ｓ２７）、広告物データ検索部３
４における広告物の検索に用いられる。また、必要に応
じて、音声認識部３７における音声認識処理や意味解析
部３８における意味解析に用いられる。When the processing center 30 receives the image data from the mobile device 20 (S27), the image data is converted into the original format by the image conversion unit 33 (S28). Upon receiving the positioning data from the mobile device 20 (S27), the advertisement data search unit 3
4 is used to search for advertisements. Further, it is used for voice recognition processing in the voice recognition unit 37 and semantic analysis in the meaning analysis unit 38 as necessary.
【００４７】処理センタ３０は、移動機２０から音声を
受信すると（Ｓ２７）、音声認識部３７において音声認
識処理を行う（Ｓ３０）。音声認識処理は、必要に応じ
て、移動機２０の測位データを利用して、音声認識辞書
３９の範囲を限定して実行する。従って、音声認識辞書
３９に格納された情報は、緯度・経度、エリアまたは地
物の名称が併せて記述されたジオコーディングデータと
対応付けを行っておく。音声認識辞書３９に格納された
情報の距離範囲は、移動機２０から予め設定しておく。
また、後述する意味解析処理によって、目標の範囲が判
明する場合には、判明した範囲に限定することもでき
る。音声認識処理は、例えば、ＨＭＭ（Hidden Markov
Models）やＤＰ（Dynamic Programming）などの音声認
識アルゴリズムを用いることができる。When the processing center 30 receives a voice from the mobile device 20 (S27), the voice recognition section 37 performs voice recognition processing (S30). The voice recognition processing is executed by limiting the range of the voice recognition dictionary 39 using the positioning data of the mobile device 20 as necessary. Therefore, the information stored in the voice recognition dictionary 39 is associated with geocoding data in which the latitude / longitude, the name of the area or the feature are described together. The distance range of the information stored in the voice recognition dictionary 39 is set in advance from the mobile device 20.
When the target range is determined by the semantic analysis processing described later, the target range can be limited to the determined range. The speech recognition processing is performed, for example, by using an HMM (Hidden Markov).
Models) and DP (Dynamic Programming) can be used.
【００４８】さらに、広告物データベース３６を併せて
参照することにより、音声認識処理における評価の重み
係数を変更する。例えば、一般的な地図データに記載さ
れている地物の名称とは異なる情報として、時節を表わ
す情報を付加して、音声認識処理における評価に重み係
数を加えることができる。また、広告物データベース３
６に格納された広告物データに含まれる単語を付加し
て、重み係数を加えることもできる。Further, by referring to the advertisement material database 36, the weight coefficient of the evaluation in the voice recognition processing is changed. For example, as information different from the name of a feature described in general map data, information indicating a time period can be added, and a weighting factor can be added to the evaluation in the voice recognition processing. Advertisement database 3
6, a weight factor can be added by adding a word included in the advertising matter data stored in 6.
【００４９】音声認識部３７で認識された音声、および
移動機２０から受信した（Ｓ２７）文字データは、意味
解析辞書４０を使用して、意味解析部３８によりデータ
の意味が解析される（Ｓ３１）。意味解析の結果、複数
の候補があれば、処理センタ３０は、移動機２０の表示
部２８に選択画面を表示して、ユーザの目標データによ
り近い意味解析結果の選択を促す（Ｓ３２）。選択画面
を表示する際には、移動機２０の測位データを用いて、
距離の近い順番に意味解析結果を並び替えて表示しても
よい。The meaning of the voice recognized by the voice recognition unit 37 and the character data received from the mobile device 20 (S27) are analyzed by the semantic analysis unit 38 using the semantic analysis dictionary 40 (S31). ). As a result of the semantic analysis, if there are a plurality of candidates, the processing center 30 displays a selection screen on the display unit 28 of the mobile device 20 to prompt the user to select a semantic analysis result closer to the target data (S32). When displaying the selection screen, using the positioning data of the mobile device 20,
The semantic analysis results may be rearranged and displayed in the order of the shortest distance.
【００５０】また、意味解析の結果、候補が１つであれ
ば、選択表示画面は、ユーザの承認を促し、承認がえら
れれば、広告物データベースの検索を行う。意味解析処
理は、必要に応じて、移動機２０の測位データを利用し
て、音声解析辞書４０の範囲を限定して実行する。さら
に、意味解析処理によって、目標の範囲が判明する場合
には、判明した範囲に限定することもできる。If the result of the semantic analysis indicates that there is only one candidate, the selection display screen prompts the user for approval, and if the approval is obtained, searches the advertisement database. The semantic analysis process is executed by limiting the range of the voice analysis dictionary 40 using the positioning data of the mobile device 20 as necessary. Further, when the target range is determined by the semantic analysis processing, the target range can be limited to the determined range.
【００５１】処理センタ３０は、測位データと、ユーザ
からの文字または音声により入力された目標データとを
用いることにより、広告物データベース３６から、移動
機２０付近の、ユーザが求める情報や目標に沿う広告物
を検索する（Ｓ２９）。処理センタ３０は、検索された
広告物と、ユーザが撮影した画像データとを照合する
（Ｓ３３）。The processing center 30 uses the positioning data and the target data input by characters or voices from the user to obtain information and targets in the vicinity of the mobile device 20 from the advertising matter database 36 which are required by the user. An advertisement is searched (S29). The processing center 30 collates the searched advertisement with the image data photographed by the user (S33).
【００５２】図３は、検索された広告物とユーザが撮影
した画像データとを照合する方法を説明するための図で
ある。広告物データベース３６から検索された広告物に
含まれる文字列を抽出する。ここでは、「市場」という
文字列を抽出している。この文字列を、ユーザの撮影し
た画像データから検出を試みる。画像データから文字を
検出するアルゴリズムは、画像データの中から文字領域
を検出する段階と、検出された文字領域から文字認識を
行う段階とに分けて行われる。探す文字列が既知である
ことから、文字認識の段階でも辞書を限定することがで
きる。また、文字領域を検出する段階においても、既知
の文字列から特徴を抽出することにより、検出範囲を限
定することができる。FIG. 3 is a diagram for explaining a method of collating the retrieved advertisement with the image data photographed by the user. A character string included in the searched advertisement is extracted from the advertisement database. Here, the character string “market” is extracted. An attempt is made to detect this character string from image data captured by the user. The algorithm for detecting characters from image data is divided into a step of detecting a character area from the image data and a step of performing character recognition from the detected character area. Since the character string to be searched is known, the dictionary can be limited even at the character recognition stage. Also, at the stage of detecting a character area, the detection range can be limited by extracting features from a known character string.
【００５３】また、広告物データベース３６から検索さ
れた広告物に含まれる特徴的部分を利用して照合する方
法について説明する。広告物データベース３６に登録さ
れている特徴部分のデータ毎のヒストグラムと、画像デ
ータ全体のヒストグラムとを、画像データを任意に分割
して切り出した領域ごとに算出したヒストグラムを用い
て比較する。Further, a description will be given of a method of performing collation using a characteristic portion included in the advertisement material retrieved from the advertisement material database 36. The histogram of each feature part data registered in the advertisement database 36 is compared with the histogram of the entire image data using the histogram calculated for each region obtained by dividing the image data arbitrarily.
【００５４】なお、撮影画像の場合には、カメラのズー
ム比率や対象までの距離などのスケールが未知であるた
め、撮影した画像データを単独で用いるのではなく、何
段階かの縮尺によって、拡大・縮小しながら多重解像度
画像を生成して比較する。In the case of a photographed image, since the scale such as the zoom ratio of the camera and the distance to the object is unknown, the photographed image data is not used alone, but is enlarged by several steps. -Generate and compare multi-resolution images while reducing.
【００５５】図４は、広告物データベースの作成手順を
説明するための図である。汎用コンピュータなどを入力
端末４２として、広告物データベース３６に情報を格納
する。広告物データベース３６の管理者によって撮影さ
れた画像、またはインターネットを経由して入手した広
告主の画像データなど任意の画像から、広告として認め
られる領域を切り出して格納する。図４は、「市場」と
いう文字列を含む看板部分を切り出して指定したもので
ある。切り出した画像データは、特徴的部分ごとに分解
されて、それぞれヒストグラムを作成する。画像データ
全体と、特徴的部分とのヒストグラムを計算して格納す
る。FIG. 4 is a diagram for explaining a procedure for creating an advertisement database. Information is stored in the advertisement database 36 using a general-purpose computer or the like as the input terminal 42. An area recognized as an advertisement is cut out from an image taken by an administrator of the advertisement database 36 or an arbitrary image such as image data of an advertiser obtained via the Internet and stored. FIG. 4 shows a signboard portion including a character string “market” cut out and designated. The cut-out image data is decomposed for each characteristic part to create a histogram. A histogram of the entire image data and a characteristic portion is calculated and stored.
【００５６】また、データ送受信部３１と広告物データ
ベース３６とに接続された広告物データ登録部（図示し
ない）を備え、移動機２０によって撮影された画像を、
無線通信網１０を介して、広告物データベース３６に格
納することもできる。このようにして、ユーザから提供
される画像データを登録し、さらにユーザから入力され
る文字や音声の情報を付加情報として活用することもで
きる。An advertisement data registration unit (not shown) connected to the data transmission / reception unit 31 and the advertisement database 36 includes an image captured by the mobile device 20.
It can also be stored in the advertisement database 36 via the wireless communication network 10. In this way, image data provided by the user can be registered, and character and voice information input by the user can be used as additional information.
【００５７】広告物データベース３６には、画像データ
のほか位置情報と付加情報とを格納する。位置情報は、
画像データを取得した位置を、ＧＰＳなどで測位したデ
ータや住所として、広告物データベース３６に入力され
る。付加情報は、広告主などが提供する情報であり、予
め意味解析を行い、広告物データベース３６の検索段階
における計算コストを下げることができる。The advertising material database 36 stores not only image data but also position information and additional information. Location information is
The position at which the image data is obtained is input to the advertisement database 36 as data or an address measured by GPS or the like. The additional information is information provided by an advertiser or the like, and can perform a semantic analysis in advance to reduce the calculation cost in the search stage of the advertisement database 36.
【００５８】図５は、本発明の一実施形態にかかる情報
処理システムの利用方法を説明するための図である。ユ
ーザが街角の情景を撮影することによって得られる画像
データと、広告物データベース３６に格納された情報と
を照合して、その情景に含まれる広告物を検出し、検出
した広告に関する情報を広告物データベース３６から移
動機２０に送信する。移動機２０の表示部２８に表示さ
れている画像データには、検出した広告に関する情報が
重畳して表示され、ユーザは、容易に店舗や場所の情報
を確認することができる。FIG. 5 is a diagram for explaining a method of using the information processing system according to one embodiment of the present invention. The image data obtained by photographing the scene of the street corner is compared with the information stored in the advertisement database 36 to detect the advertisement included in the scene, and the information on the detected advertisement is converted to the advertisement. The data is transmitted from the database 36 to the mobile device 20. Information related to the detected advertisement is superimposed and displayed on the image data displayed on the display unit 28 of the mobile device 20, so that the user can easily check the information on the store and the location.
【００５９】[0059]
【発明の効果】以上説明したように、本発明によれば、
移動機から送られた位置情報および画像情報に関連する
情報を選択して提供することが可能となる。As described above, according to the present invention,
It is possible to select and provide information related to the position information and the image information sent from the mobile device.
【図１】本発明の一実施形態にかかる情報処理システム
の構成を示したブロック図である。FIG. 1 is a block diagram showing a configuration of an information processing system according to an embodiment of the present invention.
【図２】本発明の一実施形態にかかる情報処理方法を示
したフローチャートである。FIG. 2 is a flowchart illustrating an information processing method according to an embodiment of the present invention.
【図３】検索された広告物とユーザが撮影した画像デー
タとを照合する方法を説明するための図である。FIG. 3 is a diagram for explaining a method of comparing a searched advertisement with image data captured by a user.
【図４】広告物データベースの作成手順を説明するため
の図である。FIG. 4 is a diagram for explaining a procedure for creating an advertisement database.
【図５】本発明の一実施形態にかかる情報処理システム
の利用方法を説明するための図である。FIG. 5 is a diagram illustrating a method of using the information processing system according to the embodiment of the present invention.
１０ 無線通信網 １１ データ中継装置 ２０ 移動機 ２１，３１ データ送受信部 ２２ 音声送信部 ２３，３３ 画像変換部 ２４ 撮像部 ２５ 測位部 ２６ 文字入力部 ２７ 音声入力部 ２８ 表示部 ２９ 無線通信部 ３０ 処理センタ ３２ 音声受信部 ３４ 広告物データ検索部 ３５ 広告物データ照合部 ３６ 広告物データベース ３７ 音声認識部 ３８ 意味解析部 ３９ 音声認識辞書 ４０ 意味解析辞書 ４１ 地図データベース ４２ 入力端末 Reference Signs List 10 wireless communication network 11 data relay device 20 mobile device 21, 31 data transmission / reception unit 22 voice transmission unit 23, 33 image conversion unit 24 imaging unit 25 positioning unit 26 character input unit 27 voice input unit 28 display unit 29 wireless communication unit 30 processing Center 32 Voice receiving unit 34 Advertising data search unit 35 Advertising data matching unit 36 Advertising database 37 Speech recognition unit 38 Semantic analysis unit 39 Speech recognition dictionary 40 Semantic analysis dictionary 41 Map database 42 Input terminal
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 17/60 ５０６ Ｇ０６Ｆ 17/60 ５０６ ５Ｌ０９６ Ｇ０６Ｋ 9/00 Ｇ０６Ｋ 9/00 Ｓ Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｇ Ｇ１０Ｌ 15/10 Ｈ０４Ｎ 5/76 Ｂ 15/00 7/173 ６１０Ｚ 15/28 ６３０ Ｈ０４Ｎ 5/76 Ｇ１０Ｌ 3/00 ５３１Ｇ 7/173 ６１０ ５３１Ｃ ６３０ ５５１Ａ ５６１Ａ Ｆターム(参考） 5B064 AA07 5B075 ND16 PQ80 QM10 QP05 5C052 AA01 AC08 CC11 DD04 EE03 5C064 BB05 BC16 BC20 BC23 BD02 BD07 BD08 5D015 HH05 HH13 KK02 LL12 5L096 FA35 HA08 JA11 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 17/60 506 G06F 17/60 506 5L096 G06K 9/00 G06K 9/00 S G06T 7/00 300 G06T 7 / 00300G G10L 15/10 H04N 5/76 B 15/00 7/173 610Z 15/28 630 H04N 5/76 G10L 3/00 531G 7/173 610 531C 630 551A 561A F term (reference) 5B064 AA07 5B075 ND16 PQ80 QM10 QP05 5C052 AA01 AC08 CC11 DD04 EE03 5C064 BB05 BC16 BC20 BC23 BD02 BD07 BD08 5D015 HH05 HH13 KK02 LL12 5L096 FA35 HA08 JA11
Claims (14)
従って、データベースに格納された提供情報を、情報提
供サーバが提供する情報提供方法において、 前記位置情報と前記画像情報とを前記移動端末から受信
する受信ステップと、 該受信ステップで受信した前記位置情報に基づいて、前
記データベースに格納された前記位置情報を含む前記提
供情報を検索する検索ステップと、 該検索ステップで検索された１または複数の提供情報に
含まれる照合データと、前記受信ステップで受信した前
記画像情報に含まれる照合データとを照合する照合ステ
ップと、 該照合ステップで照合データが一致する前記提供情報
を、前記移動端末に送信する送信ステップとを備えるこ
とを特徴とする情報提供方法。1. An information providing method in which an information providing server provides provided information stored in a database according to position information and image information from a mobile terminal, wherein the position information and the image information are transmitted from the mobile terminal. A receiving step of receiving; a searching step of searching for the provided information including the position information stored in the database based on the position information received in the receiving step; and one or more searched for in the searching step A collation step of collating the collation data included in the provided information with the collation data included in the image information received in the receiving step; and providing the provided information whose collation data matches in the collation step to the mobile terminal. A transmitting step of transmitting the information.
り、 前記照合ステップは、前記画像情報から文字列領域を検
出し、該文字列領域に前記特定の文字列が含まれるか否
かの文字認識を行って照合することを特徴とする請求項
１に記載の情報提供方法。2. The collation data is a specific character string. The collation step detects a character string area from the image information, and determines whether the specific character string is included in the character string area. The information providing method according to claim 1, wherein the collation is performed by performing character recognition.
と、前記画像情報全体のヒストグラムとを、前記画像情
報を任意に分割して切り出した領域ごとに算出したヒス
トグラムを用いて照合することを特徴とする請求項１に
記載の情報提供方法。3. The collation data is a specific image, and the collation step is a region where a histogram of the specific image and a histogram of the entire image information are cut out by arbitrarily dividing the image information. The information providing method according to claim 1, wherein the matching is performed using a histogram calculated for each.
で受信した前記位置情報に基づいて、前記移動端末に近
い位置情報を有する前記提供情報から順番に並び替えて
送信することを特徴とする請求項１、２または３に記載
の情報提供方法。4. The method according to claim 1, wherein, in the transmitting step, based on the position information received in the receiving step, the information is rearranged in order from the provided information having position information close to the mobile terminal and transmitted. 3. The information providing method according to 1, 2, or 3.
通信ネットワークを介して、データベースに格納された
提供情報を、前記情報提供サーバから前記移動端末に提
供する情報提供システムにおいて、 前記移動端末は、該移動端末の位置情報を取得する測位
手段と、外界の情景を撮像して画像情報を取得する撮像
手段と、前記位置情報と前記画像情報とを前記情報提供
サーバに送信する送信手段とを備え、 前記情報提供サーバは、前記位置情報と前記画像情報と
を前記移動端末から受信する受信手段と、該受信手段で
受信した前記位置情報に基づいて、前記データベースに
格納された前記位置情報を含む前記提供情報を検索する
検索手段と、該検索手段で検索された１または複数の提
供情報に含まれる照合データと、前記受信手段で受信し
た前記画像情報に含まれる照合データとを照合する照合
手段と、該照合手段で照合データが一致する前記提供情
報を、前記移動端末に送信する情報送信手段とを備えた
ことを特徴とする情報提供システム。5. An information providing system for providing provided information stored in a database from the information providing server to the mobile terminal via a communication network connecting the mobile terminal and the information providing server, wherein: Positioning means for acquiring position information of the mobile terminal, imaging means for acquiring image information by capturing an external scene, and transmission means for transmitting the position information and the image information to the information providing server. The information providing server, receiving means for receiving the position information and the image information from the mobile terminal, based on the position information received by the receiving means, based on the position information stored in the database Search means for searching for the provided information including, collation data included in one or a plurality of provided information searched by the search means; An information providing unit comprising: a matching unit that matches the matching data included in the image information; and an information transmitting unit that sends the provided information whose matching data matches with the matching unit to the mobile terminal. system.
り、 前記照合手段は、前記画像情報から文字列領域を検出
し、該文字列領域に前記特定の文字列が含まれるか否か
の文字認識を行って照合することを特徴とする請求項５
に記載の情報提供システム。6. The collation data is a specific character string, and the collation unit detects a character string area from the image information and determines whether the specific character string is included in the character string area. The character recognition is performed for collation.
Information providing system described in.
記画像情報全体のヒストグラムとを、前記画像情報を任
意に分割して切り出した領域ごとに算出したヒストグラ
ムを用いて照合することを特徴とする請求項５に記載の
情報提供システム。7. The collation data is a specific image, and the collation unit is configured to divide a histogram of the specific image and a histogram of the entire image information by dividing the image information arbitrarily. The information providing system according to claim 5, wherein the matching is performed using a histogram calculated for each.
字入力手段を備え、前記送信手段は、前記文字情報を前
記情報提供サーバに送信し、 前記受信手段は、前記文字情報を前記移動端末から受信
し、前記情報提供サーバは、前記受信手段で受信した前
記文字情報の意味内容の解釈を行う解釈手段を備え、前
記検索手段は、前記解釈手段で解釈された前記意味内容
に基づいて、前記データベースに格納された前記意味内
容を含む前記提供情報を検索することを特徴とする請求
項５、６または７に記載の情報提供システム。8. The mobile terminal includes character input means for inputting character information, the transmitting means transmits the character information to the information providing server, and the receiving means transmits the character information to the mobile terminal. Received from the, the information providing server comprises interpretation means for interpreting the semantic content of the character information received by the receiving means, the search means, based on the semantic content interpreted by the interpreting means, 8. The information providing system according to claim 5, wherein the provided information including the semantic content stored in the database is searched.
力手段を備え、前記送信手段は、前記音声を前記情報提
供サーバに送信し、 前記受信手段は、前記音声を前記移動端末から受信し、
前記情報提供サーバは、前記受信手段で受信した前記音
声の意味内容を認識する音声認識手段と、該音声認識手
段で認識された前記意味内容の解釈を行う解釈手段とを
備え、前記検索手段は、前記解釈手段で解釈された前記
意味内容に基づいて、前記データベースに格納された前
記意味内容を含む前記提供情報を検索することを特徴と
する請求項５、６または７に記載の情報提供システム。9. The mobile terminal includes voice input means for inputting voice, the transmitting means transmits the voice to the information providing server, and the receiving means receives the voice from the mobile terminal. ,
The information providing server includes: a voice recognition unit that recognizes the meaning of the voice received by the receiving unit; and an interpretation unit that interprets the meaning that is recognized by the voice recognition unit. 8. The information providing system according to claim 5, wherein the provided information including the semantic content stored in the database is searched based on the semantic content interpreted by the interpreting means. .
受信した前記位置情報に基づいて、音声認識辞書の検索
範囲を限定し、前記検索手段で検索された１または複数
の提供情報に基づいて、前記音声の意味内容を認識する
評価の重み係数を変更することを特徴とする請求項９に
記載の情報提供システム。10. The voice recognition unit limits a search range of a voice recognition dictionary based on the position information received by the reception unit, and based on one or a plurality of provided information searched by the search unit. 10. The information providing system according to claim 9, wherein a weighting factor of an evaluation for recognizing the meaning content of the voice is changed.
した前記位置情報に基づいて、意味解析辞書の検索範囲
を限定することを特徴とする請求項８、９または１０に
記載の情報提供システム。11. The information providing system according to claim 8, wherein the interpreting unit limits a search range of the semantic analysis dictionary based on the position information received by the receiving unit. .
された１または複数の提供情報に基づいて、前記意味解
析辞書の検索範囲を限定することを特徴とする請求項１
１に記載の情報提供システム。12. The apparatus according to claim 1, wherein the interpreting means limits a search range of the semantic analysis dictionary based on one or a plurality of pieces of provided information searched by the searching means.
2. The information providing system according to 1.
受信した前記位置情報に基づいて、前記移動端末に近い
位置情報を有する前記提供情報から順番に並び替えて送
信することを特徴とする請求項５ないし１２のいずれか
１項に記載の情報提供システム。13. The information transmitting means, based on the position information received by the receiving means, rearranges the provided information having position information close to the mobile terminal in order and transmits the rearranged information. Item 13. The information providing system according to any one of Items 5 to 12.
る通信ネットワークを介して、データベースに格納され
た提供情報を、前記移動端末に提供する前記情報提供サ
ーバを制御するプログラムを記録した記録媒体であっ
て、 前記位置情報と前記画像情報とを前記移動端末から受信
する受信ステップと、 該受信ステップで受信した前記位置情報に基づいて、前
記データベースに格納された前記位置情報を含む前記提
供情報を検索する検索ステップと、 該検索ステップで検索された１または複数の提供情報に
含まれる照合データと、前記受信ステップで受信した前
記画像情報に含まれる照合データとを照合する照合ステ
ップと、 該照合ステップで照合データが一致する前記提供情報
を、前記移動端末に送信する送信ステップとをコンピュ
ータに実行させるためのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体。14. A recording medium that records a program for controlling the information providing server that provides the provided information stored in a database to the mobile terminal via a communication network that connects the mobile terminal and the information providing server. A receiving step of receiving the position information and the image information from the mobile terminal; and providing the provided information including the position information stored in the database based on the position information received in the receiving step. A searching step for searching; a matching step for matching matching data included in one or more provided information searched in the searching step with matching data included in the image information received in the receiving step; Transmitting the provided information whose matching data matches in the step to the mobile terminal. A computer-readable recording medium a program for implementing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000391333A JP3898440B2 (en) | 2000-12-22 | 2000-12-22 | Information provision system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000391333A JP3898440B2 (en) | 2000-12-22 | 2000-12-22 | Information provision system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002197103A true JP2002197103A (en) | 2002-07-12 |
| JP3898440B2 JP3898440B2 (en) | 2007-03-28 |
Family
ID=18857495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000391333A Expired - Fee Related JP3898440B2 (en) | 2000-12-22 | 2000-12-22 | Information provision system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3898440B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004213238A (en) * | 2002-12-27 | 2004-07-29 | Japan Tobacco Inc | Advertising investigation system |
| JP2009505288A (en) * | 2005-08-15 | 2009-02-05 | エブリックス・テクノロジーズ・インコーポレイテッド | Use information from images as search criteria for the Internet and other search engines |
| JP2009133981A (en) * | 2007-11-29 | 2009-06-18 | Olympus Corp | Image determining system |
| JP2010230813A (en) * | 2009-03-26 | 2010-10-14 | Denso It Laboratory Inc | Information providing device, information providing method, and program |
| JP2013109767A (en) * | 2011-11-23 | 2013-06-06 | Inst For Information Industry | Advertisement system and advertisement method |
| US8712193B2 (en) | 2000-11-06 | 2014-04-29 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8824738B2 (en) | 2000-11-06 | 2014-09-02 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| JP2019128655A (en) * | 2018-01-22 | 2019-08-01 | ヤフー株式会社 | System, method, and program for processing information |
| US10617568B2 (en) | 2000-11-06 | 2020-04-14 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| JP2020115324A (en) * | 2018-11-27 | 2020-07-30 | トヨタ モーター ノース アメリカ，インコーポレイティド | Combining image recognition with data analysis to generate shopping suggestions for driver |
-
2000
- 2000-12-22 JP JP2000391333A patent/JP3898440B2/en not_active Expired - Fee Related
Cited By (95)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9154694B2 (en) | 2000-11-06 | 2015-10-06 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8923563B2 (en) | 2000-11-06 | 2014-12-30 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8774463B2 (en) | 2000-11-06 | 2014-07-08 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8792750B2 (en) | 2000-11-06 | 2014-07-29 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10772765B2 (en) | 2000-11-06 | 2020-09-15 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US10639199B2 (en) | 2000-11-06 | 2020-05-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8798368B2 (en) | 2000-11-06 | 2014-08-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8798322B2 (en) | 2000-11-06 | 2014-08-05 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8824738B2 (en) | 2000-11-06 | 2014-09-02 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US8837868B2 (en) | 2000-11-06 | 2014-09-16 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8842941B2 (en) | 2000-11-06 | 2014-09-23 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8849069B2 (en) | 2000-11-06 | 2014-09-30 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8855423B2 (en) | 2000-11-06 | 2014-10-07 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8861859B2 (en) | 2000-11-06 | 2014-10-14 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8867839B2 (en) | 2000-11-06 | 2014-10-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8873891B2 (en) | 2000-11-06 | 2014-10-28 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8885983B2 (en) | 2000-11-06 | 2014-11-11 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8885982B2 (en) | 2000-11-06 | 2014-11-11 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9154695B2 (en) | 2000-11-06 | 2015-10-06 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8938096B2 (en) | 2000-11-06 | 2015-01-20 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8948460B2 (en) | 2000-11-06 | 2015-02-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8948544B2 (en) | 2000-11-06 | 2015-02-03 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8948459B2 (en) | 2000-11-06 | 2015-02-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9014512B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9014515B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9014516B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9014514B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9014513B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9020305B2 (en) | 2000-11-06 | 2015-04-28 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9025814B2 (en) | 2000-11-06 | 2015-05-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9025813B2 (en) | 2000-11-06 | 2015-05-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9031278B2 (en) | 2000-11-06 | 2015-05-12 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9031290B2 (en) | 2000-11-06 | 2015-05-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9036949B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9036862B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9036948B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9036947B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9046930B2 (en) | 2000-11-06 | 2015-06-02 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9087240B2 (en) | 2000-11-06 | 2015-07-21 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9104916B2 (en) | 2000-11-06 | 2015-08-11 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9110925B2 (en) | 2000-11-06 | 2015-08-18 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9116920B2 (en) | 2000-11-06 | 2015-08-25 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9135355B2 (en) | 2000-11-06 | 2015-09-15 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9141714B2 (en) | 2000-11-06 | 2015-09-22 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9148562B2 (en) | 2000-11-06 | 2015-09-29 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9152864B2 (en) | 2000-11-06 | 2015-10-06 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9330327B2 (en) | 2000-11-06 | 2016-05-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8718410B2 (en) | 2000-11-06 | 2014-05-06 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9311552B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings IP, LLC. | Image capture and identification system and process |
| US9182828B2 (en) | 2000-11-06 | 2015-11-10 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9235600B2 (en) | 2000-11-06 | 2016-01-12 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9244943B2 (en) | 2000-11-06 | 2016-01-26 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9262440B2 (en) | 2000-11-06 | 2016-02-16 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9288271B2 (en) | 2000-11-06 | 2016-03-15 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9311553B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings IP, LLC. | Image capture and identification system and process |
| US9311554B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9170654B2 (en) | 2000-11-06 | 2015-10-27 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9317769B2 (en) | 2000-11-06 | 2016-04-19 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9324004B2 (en) | 2000-11-06 | 2016-04-26 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8712193B2 (en) | 2000-11-06 | 2014-04-29 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9330328B2 (en) | 2000-11-06 | 2016-05-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9330326B2 (en) | 2000-11-06 | 2016-05-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9336453B2 (en) | 2000-11-06 | 2016-05-10 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9342748B2 (en) | 2000-11-06 | 2016-05-17 | Nant Holdings Ip. Llc | Image capture and identification system and process |
| US9360945B2 (en) | 2000-11-06 | 2016-06-07 | Nant Holdings Ip Llc | Object information derived from object images |
| US9536168B2 (en) | 2000-11-06 | 2017-01-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9578107B2 (en) | 2000-11-06 | 2017-02-21 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US9613284B2 (en) | 2000-11-06 | 2017-04-04 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9785859B2 (en) | 2000-11-06 | 2017-10-10 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9785651B2 (en) | 2000-11-06 | 2017-10-10 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9805063B2 (en) | 2000-11-06 | 2017-10-31 | Nant Holdings Ip Llc | Object information derived from object images |
| US9808376B2 (en) | 2000-11-06 | 2017-11-07 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9824099B2 (en) | 2000-11-06 | 2017-11-21 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US9844469B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9844467B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9844466B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9844468B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US10080686B2 (en) | 2000-11-06 | 2018-09-25 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US10089329B2 (en) | 2000-11-06 | 2018-10-02 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10095712B2 (en) | 2000-11-06 | 2018-10-09 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US10635714B2 (en) | 2000-11-06 | 2020-04-28 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10617568B2 (en) | 2000-11-06 | 2020-04-14 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US10509820B2 (en) | 2000-11-06 | 2019-12-17 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10509821B2 (en) | 2000-11-06 | 2019-12-17 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US10500097B2 (en) | 2000-11-06 | 2019-12-10 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| JP2004213238A (en) * | 2002-12-27 | 2004-07-29 | Japan Tobacco Inc | Advertising investigation system |
| JP2012133790A (en) * | 2005-08-15 | 2012-07-12 | Nant Holdings Ip Llc | Use of image-derived information as search criteria for internet and other search engines |
| JP2009505288A (en) * | 2005-08-15 | 2009-02-05 | エブリックス・テクノロジーズ・インコーポレイテッド | Use information from images as search criteria for the Internet and other search engines |
| JP2009133981A (en) * | 2007-11-29 | 2009-06-18 | Olympus Corp | Image determining system |
| JP2010230813A (en) * | 2009-03-26 | 2010-10-14 | Denso It Laboratory Inc | Information providing device, information providing method, and program |
| JP2013109767A (en) * | 2011-11-23 | 2013-06-06 | Inst For Information Industry | Advertisement system and advertisement method |
| JP2019128655A (en) * | 2018-01-22 | 2019-08-01 | ヤフー株式会社 | System, method, and program for processing information |
| JP2020115324A (en) * | 2018-11-27 | 2020-07-30 | トヨタ モーター ノース アメリカ，インコーポレイティド | Combining image recognition with data analysis to generate shopping suggestions for driver |
| JP7078597B2 (en) | 2018-11-27 | 2022-05-31 | トヨタ モーター ノース アメリカ，インコーポレイティド | Combining image recognition with data analysis to generate shopping suggestions for drivers |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3898440B2 (en) | 2007-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4591353B2 (en) | Character recognition device, mobile communication system, mobile terminal device, fixed station device, character recognition method, and character recognition program | |
| CN105318881B (en) | Map navigation method, device and system | |
| CN105517679B (en) | Determination of the geographic location of a user | |
| US8532400B1 (en) | Scene classification for place recognition | |
| US20080267504A1 (en) | Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search | |
| US20080270378A1 (en) | Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System | |
| US20100309226A1 (en) | Method and system for image-based information retrieval | |
| US20100077003A1 (en) | Image recognition device and image recognition method | |
| EP2003611A2 (en) | Information presentation system, information presentation terminal, and server | |
| CN101802824A (en) | Method, apparatus and computer program product for providing a visual search interface | |
| CN102214222B (en) | Presorting and interacting system and method for acquiring scene information through mobile phone | |
| US20100130236A1 (en) | Location assisted word completion | |
| US9552657B2 (en) | Mobile electronic device and control method of mobile electronic device | |
| CN101950351A (en) | Method of identifying target image using image recognition algorithm | |
| CN111339976B (en) | Indoor positioning method, device, terminal and storage medium | |
| KR20050013445A (en) | Position tracing system and method using digital video process technic | |
| JP3898440B2 (en) | Information provision system | |
| JP2000331006A (en) | Information retrieval device | |
| KR20060134337A (en) | Image pattern recognition method based on user position | |
| JP2001134595A (en) | Geographical information system | |
| WO2003102816A1 (en) | Information providing system | |
| JP2002169823A (en) | Computer-readable recording medium where database retrieving program is recorded, and method and device for database retrieval | |
| JP5384979B2 (en) | Content search system and content search program | |
| US20120155708A1 (en) | Apparatus and method for measuring target point in video | |
| JP2005004782A (en) | Information processing system, information processor, information processing method, and personal digital assistant |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3898440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |