JP2002197103A - Method and system for providing data - Google Patents

Method and system for providing data

Info

Publication number
JP2002197103A
JP2002197103A JP2000391333A JP2000391333A JP2002197103A JP 2002197103 A JP2002197103 A JP 2002197103A JP 2000391333 A JP2000391333 A JP 2000391333A JP 2000391333 A JP2000391333 A JP 2000391333A JP 2002197103 A JP2002197103 A JP 2002197103A
Authority
JP
Japan
Prior art keywords
information
means
data
image
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000391333A
Other languages
Japanese (ja)
Other versions
JP3898440B2 (en
Inventor
Setsuyuki Hongo
Minoru Takahata
節之 本郷
実 高畑
Original Assignee
Ntt Docomo Inc
株式会社エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo Inc, 株式会社エヌ・ティ・ティ・ドコモ filed Critical Ntt Docomo Inc
Priority to JP2000391333A priority Critical patent/JP3898440B2/en
Publication of JP2002197103A publication Critical patent/JP2002197103A/en
Application granted granted Critical
Publication of JP3898440B2 publication Critical patent/JP3898440B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To selectively provide data on the position and image transmitted from a mobile machine.
SOLUTION: A mobile terminal comprises a positioning means for obtaining position data, an image taking means for taking an image of the outside scene and obtaining image data, and a transmitting means for transmitting the position data and image data to a data providing server. The data providing server comprises a retrieval means for retrieving provided data including position data stored in a database based on the position data received by a receiving means, a collating means for collating the collating data included one or plural provided data retrieved by the retrieval means and those included in the image data received by the receiving means, and a data transmitting means for transmitting the provided data whose collating data are judged to be identical by the collating means to a mobile terminal equipment.
COPYRIGHT: (C)2002,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、情報提供方法およびそのシステムに関し、より詳細には、移動機から送られた位置情報および画像情報に関連する情報を選択して提供する情報提供方法およびそのシステムに関する。 BACKGROUND OF THE INVENTION The present invention relates to an information providing method and system, and more particularly, an information providing method for providing selected information relating to the position information and the image information sent from the mobile device and its about the system.

【0002】 [0002]

【従来の技術】近年、移動端末を使用してインターネットに接続し、外出先で様々な情報を、WWW(World Wi In recent years, to connect to the Internet using a mobile terminal, a variety of information on the go, WWW (World Wi
de Web)などの情報提供システムから入手することができる。 de Web) can be obtained from the information providing system such as. 一方、GPS(Global Positioning System)を利用して、位置情報を取得することのできる機器が普及している。 On the other hand, by using a GPS (Global Positioning System), it has become popular devices that can obtain the position information. そこで、移動端末から情報提供システムに対して、移動端末の位置情報を通知することにより、位置情報に関連付けられた情報を迅速に入手することができる。 Therefore, the information providing system from the mobile terminal, by notifying the location information of the mobile terminal, it is possible to quickly obtain information associated with the position information.

【0003】また、CCD(Charge Coupled Device) [0003] In addition, CCD (Charge Coupled Device)
カメラの普及により、移動端末のような小型の機器にも、画像情報を取りこみ、記憶することが可能となった。 With the spread of camera, in a small device such as a mobile terminal captures the image information, it has become possible to store. さらに、デジタル画像処理によって、取りこんだ画像を画像データとして、通信ネットワークを介して送ることが容易に行える。 Furthermore, the digital image processing, as the image data of the image captured, easily be sent via the communications network.

【0004】 [0004]

【発明が解決しようとする課題】しかしながら、移動端末の位置情報に関連付けられた情報を入手することができても、ユーザが必要とする目標の情報、例えば、移動端末の位置から見える店舗の情報などの限定された情報を入手するには、さらに、情報の選定または目標の設定といった操作が必要であるという問題があった。 [SUMMARY OF THE INVENTION However, even if it is possible to obtain information associated with the positional information of the mobile terminal, the target of the information the user needs, for example, information of the store viewed from the position of the mobile terminal to obtain limited information, such as, further operations such as selection or targeting of information is a problem that it is necessary.

【0005】特に、目標の設定においては、具体的な店舗の名称が不明で、抽象的な施設名称などによって特定する場合には、情報の関連付けが難しいという問題もあった。 [0005] In particular, in setting goals, the name of the specific store is unknown, abstract in the case of specific, such as by facility name, the association of information there is a problem that it is difficult.

【0006】本発明は、このような問題に鑑みてなされたもので、その目的とするところは、移動機から送られた位置情報および画像情報に関連する情報を選択して提供する情報提供方法およびそのシステムを提供することにある。 [0006] The present invention has been made in view of such problems, and an object, the information providing method for providing selected information relating to the position information and the image information sent from the mobile station and to provide the system.

【0007】 [0007]

【課題を解決するための手段】本発明は、このような目的を達成するために、請求項1に記載の発明は、移動端末からの位置情報と画像情報とに従って、データベースに格納された提供情報を、情報提供サーバが提供する情報提供方法において、前記位置情報と前記画像情報とを前記移動端末から受信する受信ステップと、該受信ステップで受信した前記位置情報に基づいて、前記データベースに格納された前記位置情報を含む前記提供情報を検索する検索ステップと、該検索ステップで検索された1 Means for Solving the Problems The present invention, in order to achieve the above object, provides the invention according to claim 1, according to the position information and the image information from the mobile terminal, stored in the database information, the information providing method by the information providing server provides a receiving step of receiving said image information and the position information from the mobile terminal, based on said position information received by the receiving step, storing in the database a search step of searching the provided information including the position information, 1 searched in the search step
または複数の提供情報に含まれる照合データと、前記受信ステップで受信した前記画像情報に含まれる照合データとを照合する照合ステップと、該照合ステップで照合データが一致する前記提供情報を、前記移動端末に送信する送信ステップとを備えることを特徴とする。 Or more and matching data included in the provided information, the matching step of collating the collation data included in the image information received by the receiving step, the provision information verification data match at 該照Go step, the mobile characterized in that it comprises a transmission step of transmitting to the terminal.

【0008】この方法によれば、位置情報によってデータベースを限定して検索できるので、画像情報の照合を迅速に行うことができ、かつ、ユーザの要求に合った提供情報を送信することができる。 According to this method, it is possible search limited databases by the location information, the collation of the image information can be performed quickly, and can transmit the provided information matching the user's request.

【0009】請求項2に記載の発明は、請求項1において、前記照合データは、特定の文字列であり、前記照合ステップは、前記画像情報から文字列領域を検出し、該文字列領域に前記特定の文字列が含まれるか否かの文字認識を行って照合することを特徴とする。 [0009] According to a second aspect of the invention, according to claim 1, wherein the verification data is a specific character string, wherein the verification step detects a character string region from the image information, in the character string region and wherein the matching performing character recognition of whether the contain specific strings.

【0010】この方法によれば、既知の文字列に基づいて、画像情報から文字認識を行うので、迅速で精度の高い文字認識を行うことができる。 According to this method, based on the known string, since the character recognition from the image information, it is possible to perform a high character recognition quick and accurate.

【0011】請求項3に記載の発明は、請求項1において、前記照合データは、特定の画像であり、前記照合ステップは、前記特定の画像のヒストグラムと、前記画像情報全体のヒストグラムとを、前記画像情報を任意に分割して切り出した領域ごとに算出したヒストグラムを用いて照合することを特徴とする。 [0011] The invention according to claim 3, in claim 1, wherein the verification data is a specific image, the verification step includes a histogram of said particular image, and a histogram of the entire image information, and wherein the matching by using the histogram calculated for each of the image information cut out arbitrarily divided regions.

【0012】この方法によれば、画像情報のパターン・ [0012] According to this method, the pattern of the image information,
マッチングを行うので、照合データは、文字に限らず、 Since the matching, verification data is not limited to the characters,
ロゴや絵柄などを用いることができる。 Such as a logo or a picture can be used.

【0013】請求項4に記載の発明は、請求項1、2または3に記載の前記送信ステップは、前記受信ステップで受信した前記位置情報に基づいて、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする。 [0013] According to a fourth aspect of the invention, the transmitting step of claim 1, 2 or 3, based on the position information received by the receiving step, said having position information closest to the mobile terminal and transmits from providing information sorted in the order.

【0014】請求項5に記載の発明は、移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、前記移動端末は、該移動端末の位置情報を取得する測位手段と、外界の情景を撮像して画像情報を取得する撮像手段と、前記位置情報と前記画像情報とを前記情報提供サーバに送信する送信手段とを備え、前記情報提供サーバは、前記位置情報と前記画像情報とを前記移動端末から受信する受信手段と、該受信手段で受信した前記位置情報に基づいて、前記データベースに格納された前記位置情報を含む前記提供情報を検索する検索手段と、 [0014] The invention according to claim 5, via a communication network for connecting the mobile terminal and the information providing server, information to be provided to provide information stored in the database, to the mobile terminal from the information providing server in the system, the mobile terminal, said the positioning unit for acquiring position information of the mobile terminal, an imaging unit that acquires image information by capturing the external world scene, the position information and the image information and the information providing server and transmitting means for transmitting to the information providing server includes: a receiving means for receiving said position information and said image information from said mobile terminal, based on said position information received by said receiving means, in the database search means for searching said providing information including the stored said position information,
該検索手段で検索された1または複数の提供情報に含まれる照合データと、前記受信手段で受信した前記画像情報に含まれる照合データとを照合する照合手段と、該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段とを備えたことを特徴とする。 A verification data contained in one or more of providing information retrieved by said retrieval means, a collating means for collating the collation data included in the image information received by the reception unit, the verification data by collating means matches the advertisement that, characterized by comprising an information transmitting means for transmitting to said mobile terminal.

【0015】この構成によれば、位置情報によってデータベースを限定して検索できるので、画像情報の照合を迅速に行うことができ、かつ、ユーザの要求に合った提供情報を送信することができる。 According to this configuration, it is possible search limited databases by the location information, the collation of the image information can be performed quickly, and can transmit the provided information matching the user's request.

【0016】請求項6に記載の発明は、請求項5において、前記照合データは、特定の文字列であり、前記照合手段は、前記画像情報から文字列領域を検出し、該文字列領域に前記特定の文字列が含まれるか否かの文字認識を行って照合することを特徴とする。 [0016] The invention according to claim 6, according to claim 5, wherein the verification data is a specific character string, the verification unit detects the character string region from the image information, in the character string region and wherein the matching performing character recognition of whether the contain specific strings.

【0017】この構成によれば、既知の文字列に基づいて、画像情報から文字認識を行うので、迅速で精度の高い文字認識を行うことができる。 According to this configuration, based on the known string, since the character recognition from the image information, it is possible to perform a high character recognition quick and accurate.

【0018】請求項7に記載の発明は、請求項5において、前記照合データは、特定の画像であり、前記照合手段は、前記特定の画像のヒストグラムと、前記画像情報全体のヒストグラムとを、前記画像情報を任意に分割して切り出した領域ごとに算出したヒストグラムを用いて照合することを特徴とする。 The invention described in claim 7, in claim 5, wherein the verification data is a specific image, the verification means comprises a histogram of the particular image, and a histogram of the entire image information, and wherein the matching by using the histogram calculated for each of the image information cut out arbitrarily divided regions.

【0019】この構成によれば、画像情報のパターン・ [0019] According to this configuration, the pattern of the image information,
マッチングを行うので、照合データは、文字に限らず、 Since the matching, verification data is not limited to the characters,
ロゴや絵柄などを用いることができる。 Such as a logo or a picture can be used.

【0020】請求項8に記載の発明は、請求項5、6または7において、前記移動端末は、文字情報を入力する文字入力手段を備え、前記送信手段は、前記文字情報を前記情報提供サーバに送信し、前記受信手段は、前記文字情報を前記移動端末から受信し、前記情報提供サーバは、前記受信手段で受信した前記文字情報の意味内容の解釈を行う解釈手段を備え、前記検索手段は、前記解釈手段で解釈された前記意味内容に基づいて、前記データベースに格納された前記意味内容を含む前記提供情報を検索することを特徴とする。 [0020] The invention according to claim 8, in claim 5, 6 or 7, wherein the mobile terminal includes a character input means for inputting character information, wherein the transmitting means, the information providing server the text information transmitted to, the receiving unit may receive the text information from said mobile terminal, the information providing server comprises an interpretation means interprets the semantic content of the character information received by said receiving means, said search means based on the interpreted the meaning in the interpretation means, characterized by retrieving the provided information including the semantic content stored in the database.

【0021】この構成によれば、ユーザの目標を文字で入力し、これに基づいてデータベースを検索するので、 According to this structure, enter the target user in character, since searches the database based on this,
ユーザの要求に合った提供情報を送信することができる。 It can transmit the provided information that matches the user's request.

【0022】請求項9に記載の発明は、請求項5、6または7において、前記移動端末は、音声を入力する音声入力手段を備え、前記送信手段は、前記音声を前記情報提供サーバに送信し、前記受信手段は、前記音声を前記移動端末から受信し、前記情報提供サーバは、前記受信手段で受信した前記音声の意味内容を認識する音声認識手段と、該音声認識手段で認識された前記意味内容の解釈を行う解釈手段とを備え、前記検索手段は、前記解釈手段で解釈された前記意味内容に基づいて、前記データベースに格納された前記意味内容を含む前記提供情報を検索することを特徴とする。 [0022] The invention according to claim 9, sent in claim 5, 6 or 7, wherein the mobile terminal includes a voice input means for inputting voice, the transmission unit, the voice to the information providing server and, wherein the receiving unit receives the sound from the mobile terminal, the information providing server includes a voice recognition means for recognizing the semantic content of the voice received by the receiving unit, which is recognized by the speech recognition means and a interpreting means interprets the semantic content, the search unit, based on the semantic content that is interpreted by the interpretation means, searching the provided information including the semantic content stored in the database the features.

【0023】この構成によれば、ユーザの目標を音声で入力することができるので、文字入力の手間を省くことができる。 According to this configuration, it is possible to enter the target user by voice, it is possible to save the trouble of character input.

【0024】請求項10に記載の発明は、請求項9に記載の前記音声認識手段は、前記受信手段で受信した前記位置情報に基づいて、音声認識辞書の検索範囲を限定し、前記検索手段で検索された1または複数の提供情報に基づいて、前記音声の意味内容を認識する評価の重み係数を変更することを特徴とする。 [0024] The invention according to claim 10, wherein the speech recognition means according to claim 9, based on the position information received by said receiving means, to limit the search range of voice recognition dictionary, said search means in based on the retrieved one or more advertisements, and changes the weighting coefficient of the evaluation recognize semantic content of the voice.

【0025】請求項11に記載の発明は、請求項8、9 [0025] The invention according to claim 11, claim 8,9
または10に記載の前記解釈手段は、前記受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定することを特徴とする。 Or the interpretation means according to 10, based on the position information received by said receiving means and to limit the search range of semantic analysis dictionary.

【0026】請求項12に記載の発明は、請求項11に記載の前記解釈手段は、前記検索手段で検索された1または複数の提供情報に基づいて、前記意味解析辞書の検索範囲を限定することを特徴とする。 [0026] The invention according to claim 12, wherein the interpretation means according to claim 11, based on one or more of providing information searched by the searching means, to limit the search range of the semantic analysis dictionary it is characterized in.

【0027】請求項13に記載の発明は、請求項5ないし12のいずれか1項に記載の前記情報送信手段は、前記受信手段で受信した前記位置情報に基づいて、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする。 [0027] The invention according to claim 13, wherein the information transmitting means according to any one of claims 5 to 12, based on the position information received by the receiving means, a position closer to the mobile terminal and transmitting rearranges the order from the providing information with information.

【0028】請求項14に記載の発明は、移動端末と情報提供サーバとを接続する通信ネットワークを介して、 [0028] The invention according to claim 14, via a communication network for connecting the mobile terminal and the information providing server,
データベースに格納された提供情報を、前記移動端末に提供する前記情報提供サーバを制御するプログラムを記録した記録媒体であって、前記位置情報と前記画像情報とを前記移動端末から受信する受信ステップと、該受信ステップで受信した前記位置情報に基づいて、前記データベースに格納された前記位置情報を含む前記提供情報を検索する検索ステップと、該検索ステップで検索された1または複数の提供情報に含まれる照合データと、前記受信ステップで受信した前記画像情報に含まれる照合データとを照合する照合ステップと、該照合ステップで照合データが一致する前記提供情報を、前記移動端末に送信する送信ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であるこ Providing information stored in the database, a recording medium recording a program for controlling the information providing server for providing said mobile terminal, a receiving step of receiving said image information and said positional information from said mobile terminal , based on the positional information received by the receiving step, in the search step and one or more of providing information retrieved in said retrieving step for retrieving the provided information including the stored in the database the location information and collation data, and matching step of collating the collation data included in the image information received by the receiving step, the provision information verification data match at 該照Go step, a transmission step of transmitting to the mobile terminal which is a computer readable recording medium recording a program for causing a computer to execute this を特徴とする。 The features.

【0029】 [0029]

【発明の実施の形態】以下、図面を参照しながら本発明の実施形態について詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail.

【0030】図1は、本発明の一実施形態にかかる情報処理システムの構成を示したブロック図である。 FIG. 1 is a block diagram showing the configuration of an information processing system according to an embodiment of the present invention. 情報処理システムは、移動機20と処理センタ30とを接続する無線通信網10と、処理センタ30と無線通信網10 The information processing system includes a wireless communication network 10 which connects the mobile 20 and the processing center 30, processing center 30 and the wireless communication network 10
とを接続するデータ中継装置11とから構成されている。 And a data relay device 11 which connects and. 無線通信網10は、例えば、PDC(Personal Dig The wireless communication network 10, for example, PDC (Personal Dig
ital Cellular)網、無線パケット交換網またはIMT-200 ital Cellular) network, a wireless packet-switched network or IMT-200
0(International Mobile Telecommunication - 2000) 0 (International Mobile Telecommunication - 2000)
などの呼称で知られる通信網である。 Is a communication network, which is known under the designation of such.

【0031】移動機20は、無線通信網10と接続され、無線リンクの確立を行う無線通信部29と、無線通信部29を介して音声を送信するための音声入力部27 The mobile 20 is connected to the wireless communication network 10, a wireless communication unit 29 which establishes a radio link, an audio input portion 27 for transmitting the voice via the wireless communication unit 29
および音声送信部22とを有している。 And and a voice transmitting unit 22. また、画像などのデータの送受信を行うためのデータ送受信部21が、 The data transceiver 21 for transmitting and receiving data, such as images,
無線通信部29に接続されている。 It is connected to the wireless communication unit 29. データ送受信部21 Data transceiver 21
には、文字を送信するための文字入力部26と、画像を送信するための撮像部24および画像変換部23と、受信した画像を表示する表示部28とが接続されている。 The, the character input portion 26 for transmitting a character, an image pickup unit 24 and the image conversion unit 23 to transmit an image, and a display unit 28 for displaying the received image are connected.
さらに、位置情報を取得する測位部25が、データ送受信部21と無線通信部29とに接続されている。 Furthermore, the positioning unit 25 for acquiring position information is connected to the data transceiver 21 and the radio communication unit 29.

【0032】本実施形態では、移動機20の内部に撮像部24を有するが、移動機20と撮像部24とを別の筐体とし、撮像部24として移動機20の画像変換部23 [0032] In the present embodiment has the imaging unit 24 within the mobile 20, the mobile 20 and the imaging unit 24 as a separate housing, the image converting unit 23 of the mobile device 20 as an imaging unit 24
と通信可能なカメラを用いた構成としてもよい。 It may be configured with a communicable camera and.

【0033】このような構成により、撮像部24で撮影された画像は、画像変換部23で伝送に適したフォーマットに変換される。 [0033] With this configuration, the image photographed by the imaging unit 24 is converted into a format suitable for transmission by the image conversion unit 23. 変換された画像データは、データ送受信部21と、無線通信部29と、データ中継装置11 The converted image data is a data transceiver 21, wireless communication unit 29, the data relaying device 11
とを介して処理センタ30に送られる。 It is sent to the processing center 30 through and.

【0034】また、ユーザは、ユーザが求める情報や目標に関連するデータ(以下、目標データという。)を、 Further, the user data associated with the information and the target desired by the user (hereinafter, referred to as target data.)
文字入力部26から入力する。 Input from the character input unit 26. 入力された目標データは、データ送受信部21と、無線通信部29と、データ中継装置11とを介して処理センタ30に送られる。 Target data input, a data transceiver unit 21, a wireless communication unit 29, it is sent to the processing center 30 via the data relay apparatus 11.

【0035】さらに、ユーザは、音声によっても目標データを設定することができ、音声入力部27で入力された音声は、音声送信部22と、無線通信部29と、無線通信網10とを介して処理センタ30に送られる。 Furthermore, the user can also set the target data by voice, a voice input by the voice input unit 27, a voice transmitter 22, a radio communication unit 29, via the wireless communication network 10 It is sent to the processing center 30 Te.

【0036】一方、処理センタ30は、無線通信網10 On the other hand, the processing center 30, the wireless communication network 10
と接続され、移動機20からの音声を受信する音声受信部32と、データ中継装置11と接続され、画像などのデータの送受信を行うためのデータ送受信部31とを有している。 And it is connected, a voice receiving unit 32 that receives audio from the mobile device 20, connected to the data relaying device 11, and a data transceiver 31 for transmitting and receiving data such as image. また、受信した画像データの変換を行う画像変換部33と、変換された画像から広告物データの照合を行う広告物データ照合部35と、受信したデータから、広告物データの検索を行う広告物データ検索部34 Further, an image conversion unit 33 for converting image data received, the advertisement data matching unit 35 for matching the advertisement data from the converted image, from the received data, advertisements to search for advertisements data data retrieval unit 34
とを有している。 And it has a door. さらに、受信した音声の音声認識を行う音声認識部37と、データ送受信部31と音声認識部37とからのデータのデータの意味を解析する意味解析部38とを有している。 Furthermore, a voice recognition unit 37 performs speech recognition of the received speech, and a semantic analysis unit 38 for analyzing the meaning of the data of the data from the data transmitting and receiving unit 31 and the voice recognition unit 37..

【0037】また、処理センタ30は、音声認識を行うための音声認識辞書39と、意味解析を行うための意味解析辞書40と、地図が格納された地図データベース4 Further, processing center 30 includes a voice recognition dictionary 39 for performing speech recognition, the semantic analysis dictionary 40 for performing a semantic analysis, the map database 4 the map is stored
1と、広告物データが格納された広告物データベース3 1, advertisement advertisement data is stored object database 3
6とを備えている。 And a 6.

【0038】このような構成により、移動機20で取得された画像データは、無線通信網10とデータ中継装置11とを介して、データ送受信部31により受信し、画像変換部33で元のフォーマットに変換される。 [0038] With such a configuration, the image data acquired by the mobile 20 via a wireless communication network 10 and the data relay device 11 receives the data transmission and reception unit 31, the original format in the image converting unit 33 It is converted to. 変換された画像データは、広告物データ照合部35において、 The converted image data is in the advertisement data matching unit 35,
広告物データ検索部34で検索された広告物データと照合される。 It is checked against the advertisement retrieved advertisement data in the data retrieval unit 34.

【0039】また、移動機20において、ユーザが、目標データを文字により入力した場合には、文字データをデータ送受信部31により受信する。 Further, the mobile device 20, the user, if the target data input by character receives character data by the data transmitting and receiving unit 31. ユーザが、目標データを音声により入力した場合には、音声を音声受信部32により受信する。 If the user has the target data input by voice is received by the voice receiving unit 32 speech. 受信した音声は、音声認識部37 Received voice, the voice recognition unit 37
により音声認識辞書39を用いて音声認識処理がなされる。 Speech recognition processing is performed using the voice recognition dictionary 39 by. 音声認識部37により認識処理されたデータおよび入力した文字データは、意味解析部38により意味解析辞書40を用いてデータの意味が解析される。 Character data recognized processed data and the input by the voice recognition unit 37, the meaning of the data is analyzed using semantic analysis dictionary 40 by the semantic analysis unit 38.

【0040】意味解釈の結果は、データ送受信部31に送信され、データ中継装置11と無線通信網10とを介して移動機20に送られる。 The semantic interpretation result is transmitted to the data transmitting and receiving unit 31, and sent to the mobile station 20 via the data relay apparatus 11 and the wireless communication network 10. 意味解釈の結果は、移動機20の表示部28に表示され、ユーザが目標データとして使用する。 Interpretation of the meaning result is displayed on the display unit 28 of the mobile device 20, the user uses as the target data.

【0041】さらに、移動機20によって取得された測位データを、データ送受信部31により受信する。 [0041] Further, the positioning data acquired by the mobile 20 and received by the data transceiver 31. 広告物データ検索部34は、測位データに基づいて、広告物データベース36から移動機20の位置に近辺の広告物データを検索する。 Advertisement data search unit 34, based on the positioning data, searches the advertisement data in the vicinity of the advertisement database 36 to the position of the mobile device 20. 移動機20より、目標データが入力されている場合には、目標データに基づいて、広告物データベース36を検索する。 From mobile 20, if the target data is input, based on the target data, searches the advertisement database 36.

【0042】ここで、広告物とは、常時または一定の期間継続し、かつ、公衆に表示されるものである。 [0042] Here, the advertisement continues normally or period of time, and are intended to be displayed to the public. 本発明における広告は、宣伝以外の目的で掲示されている標識や名称表示も含めて考えることができる。 Advertising in the present invention, can be considered, including also posted to have signs and name display for purposes other than advertising.

【0043】図2は、本発明の一実施形態にかかる情報処理方法を示したフローチャートである。 [0043] Figure 2 is a flowchart illustrating an information processing method according to an embodiment of the present invention. ユーザが移動機の位置と撮影した広告物から情報を得る場合について説明する。 User will be described a case of obtaining the information from the advertisement taken the position of the mobile station. 最初に、移動機20は、測位部25で測位処理を行って位置情報を得て(S21)、処理センタ30 First, the mobile 20 obtains the positional information by performing the positioning processing by the positioning unit 25 (S21), processing center 30
へ送信する(S26)。 And transmits it to the (S26). 測位処理は、例えば、GPSを利用する方法、IMT-2000において基地局から送信される時刻コードを利用する方法、または、PHS(Personal Positioning processing, for example, a method utilizing a GPS, a method utilizing the time code transmitted from the base station in the IMT-2000 or,, PHS (Personal
Handy-phone System)における位置情報サービスを利用する方法などを利用することができる。 It can be utilized and a method of using location information service in Handy-phone System).

【0044】また、移動機20は、撮像部24で撮影された(S22)画像を、画像変換部23で伝送に適したフォーマットに変換し(S23)、処理センタ30へ送信する(S26)。 [0044] Further, mobile 20, was taken by the imaging unit 24 (S22) image is converted into a format suitable for transmission by the image conversion unit 23 (S23), and transmits to the processing center 30 (S26). 画像は、動画であっても静止画であってもよく、例えば、JPEG(Joint Photographic E The image may be a still image even moving, for example, JPEG (Joint Photographic E
xperts Group)やMPEG(Moving Picture ExpertsGr xperts Group) and MPEG (Moving Picture ExpertsGr
oup)などのデジタル画像圧縮技術を利用して変換される。 oup) is converted by using the digital image compression technologies such as.

【0045】さらに、ユーザは、目標データを、文字入力部26から入力し(S24)、または、目標データを音声によって音声入力部27から入力し(S25)、処理センタ30へ送信する(S26)。 [0045] Furthermore, the user sets the target data, inputted from the character input unit 26 (S24), or inputs from the voice input unit 27 a target data by voice (S25), and transmits to the processing center 30 (S26) . なお、S21からS26までの順序は問わず、移動機20により実行される。 The order of S21 to to S26 regardless, executed by the mobile 20.

【0046】処理センタ30は、移動機20から画像データを受信すると(S27)、画像変換部33で元のフォーマットに変換する(S28)。 The processing center 30 receives the image data from the mobile station 20 (S27), and converts the original format by the image conversion unit 33 (S28). 移動機20から測位データを受信すると(S27)、広告物データ検索部3 When receiving the positioning data from the mobile station 20 (S27), advertisement data search section 3
4における広告物の検索に用いられる。 Used to search for advertisements in 4. また、必要に応じて、音声認識部37における音声認識処理や意味解析部38における意味解析に用いられる。 If necessary, use in semantic analysis in the speech recognition processing and semantic analysis unit 38 in the voice recognition unit 37.

【0047】処理センタ30は、移動機20から音声を受信すると(S27)、音声認識部37において音声認識処理を行う(S30)。 The processing center 30 receives a voice from the mobile station 20 (S27), performs a voice recognition process in the voice recognition unit 37 (S30). 音声認識処理は、必要に応じて、移動機20の測位データを利用して、音声認識辞書39の範囲を限定して実行する。 Speech recognition process, if necessary, by using the positioning data of the mobile device 20, executes a limited range of voice recognition dictionary 39. 従って、音声認識辞書39に格納された情報は、緯度・経度、エリアまたは地物の名称が併せて記述されたジオコーディングデータと対応付けを行っておく。 Thus, information stored in the speech recognition dictionary 39, they are processed to associate with the latitude and longitude, geocoding data area or feature names are together written. 音声認識辞書39に格納された情報の距離範囲は、移動機20から予め設定しておく。 Distance range information stored in the speech recognition dictionary 39 is set in advance from the mobile device 20.
また、後述する意味解析処理によって、目標の範囲が判明する場合には、判明した範囲に限定することもできる。 Also, the semantic analysis processing to be described later, when the range of the target is known, can also be limited to a range which has been found. 音声認識処理は、例えば、HMM(Hidden Markov Voice recognition process, for example, HMM (Hidden Markov
Models)やDP(Dynamic Programming)などの音声認識アルゴリズムを用いることができる。 Models) and DP (Dynamic Programming) can be used speech recognition algorithm such as.

【0048】さらに、広告物データベース36を併せて参照することにより、音声認識処理における評価の重み係数を変更する。 [0048] Further, by referring also to advertisement database 36, changes the weighting coefficient of the evaluation in the speech recognition process. 例えば、一般的な地図データに記載されている地物の名称とは異なる情報として、時節を表わす情報を付加して、音声認識処理における評価に重み係数を加えることができる。 For example, the information different from the name of the feature that is described in general map data, and adds information representing the time of year, it is possible to add weighting factors to evaluate the speech recognition process. また、広告物データベース3 In addition, the advertising material database 3
6に格納された広告物データに含まれる単語を付加して、重み係数を加えることもできる。 By adding a word contained in the stored advertisement data in 6, it can be added to the weighting factor.

【0049】音声認識部37で認識された音声、および移動機20から受信した(S27)文字データは、意味解析辞書40を使用して、意味解析部38によりデータの意味が解析される(S31)。 The voice is recognized by the voice recognition unit 37, and received from the mobile 20 (S27) character data, using the semantic analysis dictionary 40, the meaning of the data is analyzed by the semantic analysis unit 38 (S31 ). 意味解析の結果、複数の候補があれば、処理センタ30は、移動機20の表示部28に選択画面を表示して、ユーザの目標データにより近い意味解析結果の選択を促す(S32)。 The semantic analysis result, if there are multiple candidates, processing center 30 displays a selection screen on the display unit 28 of the mobile device 20, prompting the user to select close semantic analysis result by the target data of the user (S32). 選択画面を表示する際には、移動機20の測位データを用いて、 When displaying the selection screen, using the positioning data of the mobile station 20,
距離の近い順番に意味解析結果を並び替えて表示してもよい。 The result of the semantic analysis in the near order of distance may be displayed rearranged.

【0050】また、意味解析の結果、候補が1つであれば、選択表示画面は、ユーザの承認を促し、承認がえられれば、広告物データベースの検索を行う。 [0050] In addition, as a result of semantic analysis, if the candidate is one, select the display screen, it urged the approval of the user, as long Introduction approval, to search for advertising material database. 意味解析処理は、必要に応じて、移動機20の測位データを利用して、音声解析辞書40の範囲を限定して実行する。 Semantic analysis processing, if necessary, by using the positioning data of the mobile device 20, executes a limited range of voice analysis dictionary 40. さらに、意味解析処理によって、目標の範囲が判明する場合には、判明した範囲に限定することもできる。 Furthermore, the semantic analysis process, if the range of the target is known, can also be limited to a range which has been found.

【0051】処理センタ30は、測位データと、ユーザからの文字または音声により入力された目標データとを用いることにより、広告物データベース36から、移動機20付近の、ユーザが求める情報や目標に沿う広告物を検索する(S29)。 The processing center 30, the measurement data, by using the input target data by the character or voice from a user, from advertisement database 36, in the vicinity of the mobile device 20, along the information and the target desired by the user Search advertising material (S29). 処理センタ30は、検索された広告物と、ユーザが撮影した画像データとを照合する(S33)。 Processing center 30 collates the searched advertisements, and image data taken by the user (S33).

【0052】図3は、検索された広告物とユーザが撮影した画像データとを照合する方法を説明するための図である。 [0052] Figure 3 is a diagram for explaining a method of collating the image data is retrieved advertisement and the user has taken. 広告物データベース36から検索された広告物に含まれる文字列を抽出する。 Extracting a character string included in the ad was retrieved from advertisement database 36. ここでは、「市場」という文字列を抽出している。 Here, it is extracting the character string "market". この文字列を、ユーザの撮影した画像データから検出を試みる。 This string, attempts to detect from the image data captured by the user. 画像データから文字を検出するアルゴリズムは、画像データの中から文字領域を検出する段階と、検出された文字領域から文字認識を行う段階とに分けて行われる。 Algorithm for detecting a character from the image data includes the steps of detecting a character region from the image data is carried out divided into a step of performing character recognition on the detected character region. 探す文字列が既知であることから、文字認識の段階でも辞書を限定することができる。 Since the search string is known, it is possible to limit the dictionary even at the stage of character recognition. また、文字領域を検出する段階においても、既知の文字列から特徴を抽出することにより、検出範囲を限定することができる。 Further, even in the step of detecting a character region by extracting a feature from a known string, it is possible to limit the detection range.

【0053】また、広告物データベース36から検索された広告物に含まれる特徴的部分を利用して照合する方法について説明する。 [0053] Further, a method for matching using the characteristic portion included in the ad was retrieved from advertisement database 36. 広告物データベース36に登録されている特徴部分のデータ毎のヒストグラムと、画像データ全体のヒストグラムとを、画像データを任意に分割して切り出した領域ごとに算出したヒストグラムを用いて比較する。 And histogram of each data of the feature portions registered in the advertisement database 36, the entire image data and histograms are compared with the histogram calculated for each region extracted by arbitrarily dividing the image data.

【0054】なお、撮影画像の場合には、カメラのズーム比率や対象までの距離などのスケールが未知であるため、撮影した画像データを単独で用いるのではなく、何段階かの縮尺によって、拡大・縮小しながら多重解像度画像を生成して比較する。 [0054] In the case of photographic images, for the scale, such as the distance to the zoom ratio of the camera and the subject is unknown, rather than using the captured image data alone, the several steps of the scale, expansion and reduction to generate a multi-resolution image compared with.

【0055】図4は、広告物データベースの作成手順を説明するための図である。 [0055] FIG. 4 is a diagram for explaining the procedure of creating advertising materials database. 汎用コンピュータなどを入力端末42として、広告物データベース36に情報を格納する。 The general-purpose computer as an input terminal 42, and stores the information in the advertisement database 36. 広告物データベース36の管理者によって撮影された画像、またはインターネットを経由して入手した広告主の画像データなど任意の画像から、広告として認められる領域を切り出して格納する。 Images taken by the administrator of the advertisement database 36 or from any of the image, such as an advertiser of the image data obtained via the Internet, and stores the cut out area found as an advertisement. 図4は、「市場」という文字列を含む看板部分を切り出して指定したものである。 FIG. 4 is the ones specified by cutting out the sign portion containing the string "market". 切り出した画像データは、特徴的部分ごとに分解されて、それぞれヒストグラムを作成する。 Image data cut out is decomposed into each characteristic portion, respectively to create a histogram. 画像データ全体と、特徴的部分とのヒストグラムを計算して格納する。 And the whole image data, calculates a histogram of the characteristic portion stored.

【0056】また、データ送受信部31と広告物データベース36とに接続された広告物データ登録部(図示しない)を備え、移動機20によって撮影された画像を、 [0056] Also, with advertisement data registration unit connected to the data transceiver 31 to the advertisement database 36 (not shown), an image captured by the mobile device 20,
無線通信網10を介して、広告物データベース36に格納することもできる。 Via the wireless communication network 10, it may also be stored in advertisement database 36. このようにして、ユーザから提供される画像データを登録し、さらにユーザから入力される文字や音声の情報を付加情報として活用することもできる。 In this way, by registering the image data provided from the user, it is also possible to utilize more characters and sound information input from the user as additional information.

【0057】広告物データベース36には、画像データのほか位置情報と付加情報とを格納する。 [0057] The advertisement database 36, stores and other positional information and the additional information of the image data. 位置情報は、 Position information,
画像データを取得した位置を、GPSなどで測位したデータや住所として、広告物データベース36に入力される。 The position acquired image data, as data and address I positioning the like GPS, are input to the advertisement database 36. 付加情報は、広告主などが提供する情報であり、予め意味解析を行い、広告物データベース36の検索段階における計算コストを下げることができる。 Additional information is information such as the advertiser is provided, carried out in advance semantic analysis, it is possible to reduce the computational cost in the search phase of the advertisement database 36.

【0058】図5は、本発明の一実施形態にかかる情報処理システムの利用方法を説明するための図である。 [0058] Figure 5 is a diagram for explaining a method of using an information processing system according to an embodiment of the present invention. ユーザが街角の情景を撮影することによって得られる画像データと、広告物データベース36に格納された情報とを照合して、その情景に含まれる広告物を検出し、検出した広告に関する情報を広告物データベース36から移動機20に送信する。 And image data obtained by the user to photograph the scene of a street corner, advertisement database 36 by matching the stored information to detect advertising material contained in the scene, the information about the detected advertisement advertisement transmitting from the database 36 to the mobile 20. 移動機20の表示部28に表示されている画像データには、検出した広告に関する情報が重畳して表示され、ユーザは、容易に店舗や場所の情報を確認することができる。 The image data displayed on the display unit 28 of the mobile device 20, the information about the detected advertisement is displayed superimposed, the user can confirm the information easily stores or places.

【0059】 [0059]

【発明の効果】以上説明したように、本発明によれば、 As described in the foregoing, according to the present invention,
移動機から送られた位置情報および画像情報に関連する情報を選択して提供することが可能となる。 Select the information relating to the position information and the image information sent from the mobile device can be provided with.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施形態にかかる情報処理システムの構成を示したブロック図である。 1 is a block diagram showing the configuration of an information processing system according to an embodiment of the present invention.

【図2】本発明の一実施形態にかかる情報処理方法を示したフローチャートである。 Is a flowchart illustrating an information processing method according to an embodiment of the present invention; FIG.

【図3】検索された広告物とユーザが撮影した画像データとを照合する方法を説明するための図である。 [3] the retrieved advertisement and the user is a diagram for explaining a method of collating the image data captured.

【図4】広告物データベースの作成手順を説明するための図である。 FIG. 4 is a diagram for explaining the procedure of creating advertising materials database.

【図5】本発明の一実施形態にかかる情報処理システムの利用方法を説明するための図である。 5 is a diagram for explaining how to use the information processing system according to an embodiment of the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

10 無線通信網 11 データ中継装置 20 移動機 21,31 データ送受信部 22 音声送信部 23,33 画像変換部 24 撮像部 25 測位部 26 文字入力部 27 音声入力部 28 表示部 29 無線通信部 30 処理センタ 32 音声受信部 34 広告物データ検索部 35 広告物データ照合部 36 広告物データベース 37 音声認識部 38 意味解析部 39 音声認識辞書 40 意味解析辞書 41 地図データベース 42 入力端末 10 wireless network 11 the data relaying device 20 moves machines 21 and 31 the data transceiver 22 audio transmission section 23, 33 image converter 24 imaging unit 25 positioning unit 26 character input portion 27 voice input unit 28 display unit 29 the wireless communication unit 30 processes center 32 voice receiving unit 34 advertisement data retrieval unit 35 advertisement data matching unit 36 ​​advertisement database 37 the speech recognition unit 38 semantic analysis unit 39 speech recognition dictionary 40 semantic analysis dictionary 41 map database 42 input terminal

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06F 17/60 506 G06F 17/60 506 5L096 G06K 9/00 G06K 9/00 S G06T 7/00 300 G06T 7/00 300G G10L 15/10 H04N 5/76 B 15/00 7/173 610Z 15/28 630 H04N 5/76 G10L 3/00 531G 7/173 610 531C 630 551A 561A Fターム(参考) 5B064 AA07 5B075 ND16 PQ80 QM10 QP05 5C052 AA01 AC08 CC11 DD04 EE03 5C064 BB05 BC16 BC20 BC23 BD02 BD07 BD08 5D015 HH05 HH13 KK02 LL12 5L096 FA35 HA08 JA11 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G06F 17/60 506 G06F 17/60 506 5L096 G06K 9/00 G06K 9/00 S G06T 7/00 300 G06T 7 / 00 300G G10L 15/10 H04N 5/76 B 15/00 7/173 610Z 15/28 630 H04N 5/76 G10L 3/00 531G 7/173 610 531C 630 551A 561A F term (reference) 5B064 AA07 5B075 ND16 PQ80 QM10 QP05 5C052 AA01 AC08 CC11 DD04 EE03 5C064 BB05 BC16 BC20 BC23 BD02 BD07 BD08 5D015 HH05 HH13 KK02 LL12 5L096 FA35 HA08 JA11

Claims (14)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 移動端末からの位置情報と画像情報とに従って、データベースに格納された提供情報を、情報提供サーバが提供する情報提供方法において、 前記位置情報と前記画像情報とを前記移動端末から受信する受信ステップと、 該受信ステップで受信した前記位置情報に基づいて、前記データベースに格納された前記位置情報を含む前記提供情報を検索する検索ステップと、 該検索ステップで検索された1または複数の提供情報に含まれる照合データと、前記受信ステップで受信した前記画像情報に含まれる照合データとを照合する照合ステップと、 該照合ステップで照合データが一致する前記提供情報を、前記移動端末に送信する送信ステップとを備えることを特徴とする情報提供方法。 Accordance with claim 1 The position information and the image information from the mobile terminal, the provided information stored in the database, the information providing method by the information providing server provides, and the image information and the position information from the mobile terminal a receiving step of receiving, based on the positional information received by the receiving step, a searching step of searching the provided information including the position information stored in the database, one or more searched in the search step collating data contained in providing information, and matching step of collating the collation data included in the image information received by the receiving step, the provision information verification data match at 該照Go step, to the mobile terminal information providing method characterized by comprising a transmission step of transmitting.
  2. 【請求項2】 前記照合データは、特定の文字列であり、 前記照合ステップは、前記画像情報から文字列領域を検出し、該文字列領域に前記特定の文字列が含まれるか否かの文字認識を行って照合することを特徴とする請求項1に記載の情報提供方法。 Wherein said verification data is a specific character string, wherein the verification step detects a character string region from the image information, whether or not include the specific character string to the character string region information providing method according to claim 1, wherein the matching performed character recognition.
  3. 【請求項3】 前記照合データは、特定の画像であり、 前記照合ステップは、前記特定の画像のヒストグラムと、前記画像情報全体のヒストグラムとを、前記画像情報を任意に分割して切り出した領域ごとに算出したヒストグラムを用いて照合することを特徴とする請求項1に記載の情報提供方法。 Wherein the verification data is a specific image, the matching step, the histogram of a particular image, and a histogram of the entire image information, cut out arbitrarily dividing the image information area information providing method according to claim 1, characterized in that to match with the histogram calculated every.
  4. 【請求項4】 前記送信ステップは、前記受信ステップで受信した前記位置情報に基づいて、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする請求項1、2または3に記載の情報提供方法。 Wherein said transmission step, the claims based on the positional information received by the receiving step, and transmits rearranged in order from the providing information having position information closest to the mobile terminal information providing method according to 1, 2 or 3.
  5. 【請求項5】 移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、 前記移動端末は、該移動端末の位置情報を取得する測位手段と、外界の情景を撮像して画像情報を取得する撮像手段と、前記位置情報と前記画像情報とを前記情報提供サーバに送信する送信手段とを備え、 前記情報提供サーバは、前記位置情報と前記画像情報とを前記移動端末から受信する受信手段と、該受信手段で受信した前記位置情報に基づいて、前記データベースに格納された前記位置情報を含む前記提供情報を検索する検索手段と、該検索手段で検索された1または複数の提供情報に含まれる照合データと、前記受信手段で受信し 5. via a communication network for connecting the mobile terminal and the information providing server, provided information stored in the database, the information providing system for providing from said information providing server to the mobile terminal, the mobile terminal and positioning means for obtaining position information of the mobile terminal, an imaging unit that acquires image information by capturing the external world scene, and transmitting means for transmitting said image information and the position information to the information providing server wherein the information providing server includes: a receiving means for receiving said image information and the position information from the mobile terminal, based on said position information received by said receiving means, said position information stored in said database said search means for searching for providing information, the verification data contained in one or more of providing information retrieved by said retrieval means, received by the receiving means including 前記画像情報に含まれる照合データとを照合する照合手段と、該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段とを備えたことを特徴とする情報提供システム。 And collating means for collating the collation data included in the image information, the provided information collation data collating means to match, provides information comprising the information transmitting means for transmitting to said mobile terminal system.
  6. 【請求項6】 前記照合データは、特定の文字列であり、 前記照合手段は、前記画像情報から文字列領域を検出し、該文字列領域に前記特定の文字列が含まれるか否かの文字認識を行って照合することを特徴とする請求項5 Wherein said verification data is a specific character string, the verification unit detects the character string region from the image information, whether or not include the specific character string to the character string region claim, characterized in that matching performing character recognition 5
    に記載の情報提供システム。 Information providing system as claimed in.
  7. 【請求項7】 前記照合データは、特定の画像であり、 前記照合手段は、前記特定の画像のヒストグラムと、前記画像情報全体のヒストグラムとを、前記画像情報を任意に分割して切り出した領域ごとに算出したヒストグラムを用いて照合することを特徴とする請求項5に記載の情報提供システム。 Wherein said verification data is a specific image, the verification means comprises a histogram of the particular image, and a histogram of the entire image information, cut out arbitrarily dividing the image information area information providing system according to claim 5, characterized in that to match with the histogram calculated for each.
  8. 【請求項8】 前記移動端末は、文字情報を入力する文字入力手段を備え、前記送信手段は、前記文字情報を前記情報提供サーバに送信し、 前記受信手段は、前記文字情報を前記移動端末から受信し、前記情報提供サーバは、前記受信手段で受信した前記文字情報の意味内容の解釈を行う解釈手段を備え、前記検索手段は、前記解釈手段で解釈された前記意味内容に基づいて、前記データベースに格納された前記意味内容を含む前記提供情報を検索することを特徴とする請求項5、6または7に記載の情報提供システム。 Wherein said mobile terminal includes a character input means for inputting character information, wherein the transmitting means transmits the character information to the information providing server, the receiving unit, the mobile terminal the character information received from the information providing server comprises an interpretation means interprets the semantic content of the character information received by said receiving means, said search means, based on the semantic content that is interpreted by the interpreting means, information providing system according to claim 5, 6 or 7, characterized in that retrieving the provided information including the semantic content stored in the database.
  9. 【請求項9】 前記移動端末は、音声を入力する音声入力手段を備え、前記送信手段は、前記音声を前記情報提供サーバに送信し、 前記受信手段は、前記音声を前記移動端末から受信し、 Wherein said mobile terminal includes a voice input means for inputting a voice, said transmission means transmits the voice to the information providing server, wherein the receiving unit receives the sound from the mobile terminal ,
    前記情報提供サーバは、前記受信手段で受信した前記音声の意味内容を認識する音声認識手段と、該音声認識手段で認識された前記意味内容の解釈を行う解釈手段とを備え、前記検索手段は、前記解釈手段で解釈された前記意味内容に基づいて、前記データベースに格納された前記意味内容を含む前記提供情報を検索することを特徴とする請求項5、6または7に記載の情報提供システム。 The information providing server comprises a speech recognition means for recognizing the semantic content of the voice received by the receiving unit, and interpreting means interprets the semantic content recognized by the voice recognition means, said retrieval means , based on the semantic content that is interpreted by the interpretation means, the information providing system according to claim 5, 6 or 7, characterized in that retrieving the provided information including the semantic content stored in the database .
  10. 【請求項10】 前記音声認識手段は、前記受信手段で受信した前記位置情報に基づいて、音声認識辞書の検索範囲を限定し、前記検索手段で検索された1または複数の提供情報に基づいて、前記音声の意味内容を認識する評価の重み係数を変更することを特徴とする請求項9に記載の情報提供システム。 Wherein said speech recognition means, based on the position information received by said receiving means, to limit the search range of the voice recognition dictionary, based on one or more of providing information searched by the searching means an information providing system according to claim 9, characterized in that to change the weighting coefficient of the evaluation for recognizing the semantic content of the voice.
  11. 【請求項11】 前記解釈手段は、前記受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定することを特徴とする請求項8、9または10に記載の情報提供システム。 Wherein said interpretation means, the information providing system according to claim 8, 9 or 10 on the basis of the position information received by said receiving means and to limit the search range of semantic analysis dictionary .
  12. 【請求項12】 前記解釈手段は、前記検索手段で検索された1または複数の提供情報に基づいて、前記意味解析辞書の検索範囲を限定することを特徴とする請求項1 12. The method of claim 11, wherein interpreting means, according to claim 1, based on one or more of providing information searched by the search means and to limit the search range of the semantic analysis dictionary
    1に記載の情報提供システム。 Information providing system described in 1.
  13. 【請求項13】 前記情報送信手段は、前記受信手段で受信した前記位置情報に基づいて、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする請求項5ないし12のいずれか1項に記載の情報提供システム。 Wherein said information transmitting means, wherein based on said position information received by the receiving unit, and transmits rearranged in order from the providing information having position information closest to the mobile terminal information providing system according to any one of claim 5 to 12.
  14. 【請求項14】 移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記移動端末に提供する前記情報提供サーバを制御するプログラムを記録した記録媒体であって、 前記位置情報と前記画像情報とを前記移動端末から受信する受信ステップと、 該受信ステップで受信した前記位置情報に基づいて、前記データベースに格納された前記位置情報を含む前記提供情報を検索する検索ステップと、 該検索ステップで検索された1または複数の提供情報に含まれる照合データと、前記受信ステップで受信した前記画像情報に含まれる照合データとを照合する照合ステップと、 該照合ステップで照合データが一致する前記提供情報を、前記移動端末に送信する送信ステップとをコンピュータ 14. via a communication network for connecting the mobile terminal and the information providing server, provided information stored in the database, with a recording medium having recorded thereon a program for controlling the information providing server for providing said mobile terminal there are a receiving step of receiving said image information and the position information from the mobile terminal, based on said position information received by the receiving step, the provided information including the position information stored in said database a search step of searching for a matching step for matching the matching data included in one or more of providing information searched by said search step, and a verification data contained in the image information received by the receiving step, collating the provision information verification data match in step, a transmission step of transmitting to the mobile terminal computer 実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium a program for implementing.
JP2000391333A 2000-12-22 2000-12-22 Information providing system Active JP3898440B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000391333A JP3898440B2 (en) 2000-12-22 2000-12-22 Information providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000391333A JP3898440B2 (en) 2000-12-22 2000-12-22 Information providing system

Publications (2)

Publication Number Publication Date
JP2002197103A true JP2002197103A (en) 2002-07-12
JP3898440B2 JP3898440B2 (en) 2007-03-28

Family

ID=18857495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000391333A Active JP3898440B2 (en) 2000-12-22 2000-12-22 Information providing system

Country Status (1)

Country Link
JP (1) JP3898440B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009505288A (en) * 2005-08-15 2009-02-05 エブリックス・テクノロジーズ・インコーポレイテッドEvryx Technologies,Inc. Use as search criteria for the Internet and other search engines information obtained from the image
JP2009133981A (en) * 2007-11-29 2009-06-18 Olympus Corp Image determining system
JP2010230813A (en) * 2009-03-26 2010-10-14 Denso It Laboratory Inc Information providing device, information providing method, and program
JP2013109767A (en) * 2011-11-23 2013-06-06 Inst For Information Industry Advertisement system and advertisement method
US8712193B2 (en) 2000-11-06 2014-04-29 Nant Holdings Ip, Llc Image capture and identification system and process
US8824738B2 (en) 2000-11-06 2014-09-02 Nant Holdings Ip, Llc Data capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885983B2 (en) 2000-11-06 2014-11-11 Nant Holdings Ip, Llc Image capture and identification system and process
US10089329B2 (en) 2000-11-06 2018-10-02 Nant Holdings Ip, Llc Object information derived from object images
US10080686B2 (en) 2000-11-06 2018-09-25 Nant Holdings Ip, Llc Image capture and identification system and process
US9844469B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US9844468B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US8712193B2 (en) 2000-11-06 2014-04-29 Nant Holdings Ip, Llc Image capture and identification system and process
US8718410B2 (en) 2000-11-06 2014-05-06 Nant Holdings Ip, Llc Image capture and identification system and process
US8774463B2 (en) 2000-11-06 2014-07-08 Nant Holdings Ip, Llc Image capture and identification system and process
US8792750B2 (en) 2000-11-06 2014-07-29 Nant Holdings Ip, Llc Object information derived from object images
US8798368B2 (en) 2000-11-06 2014-08-05 Nant Holdings Ip, Llc Image capture and identification system and process
US8798322B2 (en) 2000-11-06 2014-08-05 Nant Holdings Ip, Llc Object information derived from object images
US8824738B2 (en) 2000-11-06 2014-09-02 Nant Holdings Ip, Llc Data capture and identification system and process
US8837868B2 (en) 2000-11-06 2014-09-16 Nant Holdings Ip, Llc Image capture and identification system and process
US8842941B2 (en) 2000-11-06 2014-09-23 Nant Holdings Ip, Llc Image capture and identification system and process
US8849069B2 (en) 2000-11-06 2014-09-30 Nant Holdings Ip, Llc Object information derived from object images
US8855423B2 (en) 2000-11-06 2014-10-07 Nant Holdings Ip, Llc Image capture and identification system and process
US8861859B2 (en) 2000-11-06 2014-10-14 Nant Holdings Ip, Llc Image capture and identification system and process
US8867839B2 (en) 2000-11-06 2014-10-21 Nant Holdings Ip, Llc Image capture and identification system and process
US8873891B2 (en) 2000-11-06 2014-10-28 Nant Holdings Ip, Llc Image capture and identification system and process
US8885982B2 (en) 2000-11-06 2014-11-11 Nant Holdings Ip, Llc Object information derived from object images
US9844466B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US8923563B2 (en) 2000-11-06 2014-12-30 Nant Holdings Ip, Llc Image capture and identification system and process
US8938096B2 (en) 2000-11-06 2015-01-20 Nant Holdings Ip, Llc Image capture and identification system and process
US8948460B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Image capture and identification system and process
US8948459B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Image capture and identification system and process
US8948544B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Object information derived from object images
US9014513B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014515B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014516B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Object information derived from object images
US9014514B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014512B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Object information derived from object images
US9020305B2 (en) 2000-11-06 2015-04-28 Nant Holdings Ip, Llc Image capture and identification system and process
US9025814B2 (en) 2000-11-06 2015-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US9025813B2 (en) 2000-11-06 2015-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US9031290B2 (en) 2000-11-06 2015-05-12 Nant Holdings Ip, Llc Object information derived from object images
US9031278B2 (en) 2000-11-06 2015-05-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9036948B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9036947B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9036862B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Object information derived from object images
US9036949B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Object information derived from object images
US9046930B2 (en) 2000-11-06 2015-06-02 Nant Holdings Ip, Llc Object information derived from object images
US9087240B2 (en) 2000-11-06 2015-07-21 Nant Holdings Ip, Llc Object information derived from object images
US9824099B2 (en) 2000-11-06 2017-11-21 Nant Holdings Ip, Llc Data capture and identification system and process
US9110925B2 (en) 2000-11-06 2015-08-18 Nant Holdings Ip, Llc Image capture and identification system and process
US9116920B2 (en) 2000-11-06 2015-08-25 Nant Holdings Ip, Llc Image capture and identification system and process
US9135355B2 (en) 2000-11-06 2015-09-15 Nant Holdings Ip, Llc Image capture and identification system and process
US9141714B2 (en) 2000-11-06 2015-09-22 Nant Holdings Ip, Llc Image capture and identification system and process
US9148562B2 (en) 2000-11-06 2015-09-29 Nant Holdings Ip, Llc Image capture and identification system and process
US9154694B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Image capture and identification system and process
US9154695B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Image capture and identification system and process
US9152864B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Object information derived from object images
US9170654B2 (en) 2000-11-06 2015-10-27 Nant Holdings Ip, Llc Object information derived from object images
US9182828B2 (en) 2000-11-06 2015-11-10 Nant Holdings Ip, Llc Object information derived from object images
US9235600B2 (en) 2000-11-06 2016-01-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9244943B2 (en) 2000-11-06 2016-01-26 Nant Holdings Ip, Llc Image capture and identification system and process
US9262440B2 (en) 2000-11-06 2016-02-16 Nant Holdings Ip, Llc Image capture and identification system and process
US9288271B2 (en) 2000-11-06 2016-03-15 Nant Holdings Ip, Llc Data capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US9311552B2 (en) 2000-11-06 2016-04-12 Nant Holdings IP, LLC. Image capture and identification system and process
US9311553B2 (en) 2000-11-06 2016-04-12 Nant Holdings IP, LLC. Image capture and identification system and process
US9311554B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9317769B2 (en) 2000-11-06 2016-04-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9324004B2 (en) 2000-11-06 2016-04-26 Nant Holdings Ip, Llc Image capture and identification system and process
US9330327B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9330326B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9330328B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9336453B2 (en) 2000-11-06 2016-05-10 Nant Holdings Ip, Llc Image capture and identification system and process
US9342748B2 (en) 2000-11-06 2016-05-17 Nant Holdings Ip. Llc Image capture and identification system and process
US9360945B2 (en) 2000-11-06 2016-06-07 Nant Holdings Ip Llc Object information derived from object images
US9536168B2 (en) 2000-11-06 2017-01-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9578107B2 (en) 2000-11-06 2017-02-21 Nant Holdings Ip, Llc Data capture and identification system and process
US9613284B2 (en) 2000-11-06 2017-04-04 Nant Holdings Ip, Llc Image capture and identification system and process
US9785859B2 (en) 2000-11-06 2017-10-10 Nant Holdings Ip Llc Image capture and identification system and process
US9785651B2 (en) 2000-11-06 2017-10-10 Nant Holdings Ip, Llc Object information derived from object images
US9805063B2 (en) 2000-11-06 2017-10-31 Nant Holdings Ip Llc Object information derived from object images
US9808376B2 (en) 2000-11-06 2017-11-07 Nant Holdings Ip, Llc Image capture and identification system and process
US9104916B2 (en) 2000-11-06 2015-08-11 Nant Holdings Ip, Llc Object information derived from object images
US9844467B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US10095712B2 (en) 2000-11-06 2018-10-09 Nant Holdings Ip, Llc Data capture and identification system and process
JP2012133790A (en) * 2005-08-15 2012-07-12 Nant Holdings Ip Llc Use of image-derived information as search criteria for internet and other search engines
JP2009505288A (en) * 2005-08-15 2009-02-05 エブリックス・テクノロジーズ・インコーポレイテッドEvryx Technologies,Inc. Use as search criteria for the Internet and other search engines information obtained from the image
JP2009133981A (en) * 2007-11-29 2009-06-18 Olympus Corp Image determining system
JP2010230813A (en) * 2009-03-26 2010-10-14 Denso It Laboratory Inc Information providing device, information providing method, and program
JP2013109767A (en) * 2011-11-23 2013-06-06 Inst For Information Industry Advertisement system and advertisement method

Also Published As

Publication number Publication date
JP3898440B2 (en) 2007-03-28

Similar Documents

Publication Publication Date Title
US7123188B2 (en) Recording-location determination
US9195898B2 (en) Systems and methods for image recognition using mobile devices
JP5661871B2 (en) A method and apparatus for presenting aggregate data related to geographic location
CN101896952B (en) Automatically identifying location information in text data
JP4995554B2 (en) Search of personal information using a knowledge base for the optical character recognition correction
JP4289329B2 (en) The information terminal, the information retrieval system, and an information retrieval method
US8331679B2 (en) Object information derived from object images
CN101680766B (en) Image capturing device, additional information providing server, and additional information filtering system
US7184885B2 (en) Navigation system and method therefor
US8498484B2 (en) Object information derived from object images
KR101190395B1 (en) Data access based on content of image recorded by a mobile device
US20130121532A1 (en) Image Capture and Identification System and Process
US9710488B2 (en) Location estimation using image analysis
USRE43689E1 (en) System and method for registering attendance of entities associated with content creation
US20080268876A1 (en) Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8862146B2 (en) Method, device and system for enhancing location information
US8792676B1 (en) Inferring locations from an image
US8549044B2 (en) Range-centric contextual information systems and methods
US8849562B2 (en) Method, apparatus and computer program product for providing instructions to a destination that is revealed upon arrival
KR100373666B1 (en) Information processing apparatus and pedestrian navigation system using the same
US20060190812A1 (en) Imaging systems including hyperlink associations
US20100309226A1 (en) Method and system for image-based information retrieval
US20080071749A1 (en) Method, Apparatus and Computer Program Product for a Tag-Based Visual Search User Interface
US20060173859A1 (en) Apparatus and method for extracting context and providing information based on context in multimedia communication system
US9596414B2 (en) Provision of target specific information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061204

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061221

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140105

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250