JP2006157265A - Information presentation system, information presentation terminal, and server - Google Patents
Information presentation system, information presentation terminal, and server Download PDFInfo
- Publication number
- JP2006157265A JP2006157265A JP2004342496A JP2004342496A JP2006157265A JP 2006157265 A JP2006157265 A JP 2006157265A JP 2004342496 A JP2004342496 A JP 2004342496A JP 2004342496 A JP2004342496 A JP 2004342496A JP 2006157265 A JP2006157265 A JP 2006157265A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- analysis basic
- acquisition unit
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、撮像部から得られる画像に関連する情報を呈示する情報呈示システム、情報呈示端末及びサーバに関する。 The present invention relates to an information presentation system, an information presentation terminal, and a server that present information related to an image obtained from an imaging unit.
特許文献1には、撮影したロゴの画像を利用しサーバで対応するURLを見つける技術が開示されている。即ち、携帯機器で雑誌等に印刷された広告中に含まれるロゴマークを撮影し、検索サーバでは、インターネットを介して送られてきたそのロゴマークに最も近いロゴマークを検索して、その検索されたロゴマークに対応するURLをインターネット経由で上記携帯機器に送ることで、その携帯機器でそのURLにアクセスしてホームページを閲覧することができるものである。 Patent Document 1 discloses a technique for finding a corresponding URL on a server using a photographed logo image. That is, a logo mark included in an advertisement printed on a magazine or the like is photographed on a portable device, and the search server searches for the logo mark closest to the logo mark sent via the Internet, and the search is performed. By sending a URL corresponding to the logo mark to the mobile device via the Internet, the URL can be accessed by the mobile device to browse the home page.
また、特許文献2には、利用者がID種別を意識することなくIDを読み取る技術が開示されている。即ち、携帯用クライアント装置において、カメラやスキャナで画像を取得し、その画像が1次元バーコード、2次元バーコード、電子透かし入り画像、通常画像であっても、その画像からIDを取り出して、無線で外部にあるID情報データベースに送信し、そのID情報データベースから情報を無線で受け取るというものである。
上記特許文献1に開示の技術では、ロゴとURLが固定的に関連付けされている。しかしながら、周囲の状況、利用する機器の条件等によって、共通のコンテンツや各種パラメータでは利便性が低くなってしまう。例えば、電飾によって、同じ看板であっても、昼と夜とでは見え方がかわる。また、昼と夜とで連絡先がかわることなどもある。このように、ユーザがロゴを撮影した環境によって実際にユーザが求めている情報は異なるので、上記特許文献1に開示の技術では、ユーザの要求に柔軟に対応することは困難である。 In the technique disclosed in Patent Document 1, a logo and a URL are fixedly associated with each other. However, the convenience of the common content and various parameters may be reduced depending on the surrounding conditions and the conditions of the device to be used. For example, even if it is the same signboard, the way it looks at night and day changes depending on the lighting. In addition, contact information may change between day and night. As described above, since the information actually requested by the user differs depending on the environment in which the user has photographed the logo, it is difficult for the technology disclosed in Patent Document 1 to flexibly respond to the user's request.
また、上記特許文献2に開示の技術では、IDを読み取る上で必要となる各種画像処理パラメータは装置に固定的に保持されていることが暗黙の了解となっている。しかしながら、同一アプリケーションで複数の機種、複数のデータセットをサポートする場合、認識のための条件が固定では、対応できる環境が限られてしまう。即ち、実際の利用状況では、周辺の明るさや端末毎の光学性能の違いによって、パラメータを調整しなければ、安定的に画像処理を行うことは困難である。 Further, in the technique disclosed in Patent Document 2, it is implicitly understood that various image processing parameters necessary for reading the ID are fixedly held in the apparatus. However, when a plurality of models and a plurality of data sets are supported by the same application, the environment that can be supported is limited if the conditions for recognition are fixed. That is, in an actual usage situation, it is difficult to stably perform image processing unless parameters are adjusted depending on the brightness of the surroundings and the optical performance of each terminal.
本発明は、上記の点に鑑みてなされたもので、利用環境により、状況に応じた最適な情報を呈示することが可能な情報呈示システム、情報呈示端末及びサーバを提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide an information presentation system, an information presentation terminal, and a server capable of presenting optimum information according to the situation depending on the use environment. .
本発明の情報呈示システムの一態様は、
撮像部と、
周辺情報を取得する周辺情報取得部と、
登録情報を記憶しておく記憶部と、
上記周辺情報取得部で取得した周辺情報に基づいて、上記記憶部に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部と、
上記撮像部から得られる画像と上記解析基礎情報構築部から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部と、
上記関連情報取得部で取得した関連情報を呈示する呈示部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種のうち少なくとも1つに基づいて上記解析基礎情報を変化させることを特徴とする。
One aspect of the information presentation system of the present invention is:
An imaging unit;
A peripheral information acquisition unit for acquiring peripheral information;
A storage unit for storing registration information;
Based on the peripheral information acquired by the peripheral information acquisition unit, an analysis basic information construction unit that constructs analysis basic information from registration information stored in the storage unit,
A related information acquisition unit for acquiring information related to the image from the image obtained from the imaging unit and the analysis basic information obtained from the analysis basic information construction unit;
A presenting unit for presenting related information acquired by the related information acquiring unit;
Comprising
The analysis basic information construction unit is based on at least one of time, date, season, weather, temperature, humidity, location, ambient brightness, average color / color distribution of acquired images, ambient sound, and model. It is characterized by changing basic analysis information.
また、本発明の情報呈示端末の一態様は、
撮像部と、
上記撮像部に関連する周辺情報を取得する周辺情報取得部と、
通信回線を介してサーバからダウンロードした登録情報から、上記周辺情報取得部で取得した周辺情報に基づいて解析基礎情報を構築する解析基礎情報構築部と、
上記撮像部から得られる画像と上記解析基礎情報構築部から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部と、
上記関連情報取得部で取得した関連情報を呈示する呈示部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種のうち少なくとも1つに基づいて上記解析基礎情報を変化させることを特徴とする。
One aspect of the information presentation terminal of the present invention is:
An imaging unit;
A peripheral information acquisition unit that acquires peripheral information related to the imaging unit;
An analysis basic information construction unit that constructs analysis basic information based on the peripheral information acquired by the peripheral information acquisition unit from registration information downloaded from the server via a communication line;
A related information acquisition unit for acquiring information related to the image from the image obtained from the imaging unit and the analysis basic information obtained from the analysis basic information construction unit;
A presenting unit for presenting related information acquired by the related information acquiring unit;
Comprising
The analysis basic information construction unit is based on at least one of time, date, season, weather, temperature, humidity, location, ambient brightness, average color / color distribution of acquired images, ambient sound, and model. It is characterized by changing basic analysis information.
また、本発明のサーバの一態様は、
情報呈示端末から通信回線を介して送信されてくる撮像部から得られる画像及び/または上記撮像部に関連する周辺情報を取得する周辺情報取得部と、
登録情報を記憶しておく記憶部と、
上記周辺情報取得部で取得した周辺情報に基づいて、上記記憶部に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種のうち少なくとも1つに基づいて上記解析基礎情報を変化させ、
上記解析基礎情報構築部で構築した上記解析基礎情報を上記情報呈示端末にダウンロードさることで、上記情報呈示端末に、その解析基礎情報と上記撮像部から得られる画像とから上記画像に関連する情報を取得させて、呈示させることを特徴とする。
Also, one aspect of the server of the present invention is:
A peripheral information acquisition unit that acquires an image obtained from the imaging unit transmitted from the information presentation terminal via the communication line and / or peripheral information related to the imaging unit;
A storage unit for storing registration information;
Based on the peripheral information acquired by the peripheral information acquisition unit, an analysis basic information construction unit that constructs analysis basic information from registration information stored in the storage unit,
Comprising
The analysis basic information construction unit is based on at least one of time, date, season, weather, temperature, humidity, location, ambient brightness, average color / color distribution of acquired images, ambient sound, and model. Change analysis basic information,
Information related to the image from the analysis basic information and the image obtained from the imaging unit to the information presentation terminal by downloading the analysis basic information constructed by the analysis basic information construction unit to the information presentation terminal Is obtained and presented.
すなわち、本発明の情報呈示システム、情報呈示端末及びサーバにあっては、周辺情報として、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種の少なくとも1つを利用して、この周辺情報に基づいて登録情報から解析基礎情報を構築する。そして、撮像部で撮像した画像に上記解析基礎情報を加味して、上記画像に関連した情報を取得して呈示するものである。 That is, in the information presentation system, information presentation terminal, and server of the present invention, as peripheral information, time, date, season, weather, temperature, humidity, location, ambient brightness, average color / color distribution of the acquired image Based on this peripheral information, analysis basic information is constructed from the registered information using at least one of ambient sounds and models. And the said analysis basic information is added to the image imaged by the imaging part, and the information relevant to the said image is acquired and shown.
上記周辺情報を取得する周辺情報取得部としては、例えば以下のようなものがある。周辺情報として時刻を採用する場合には、内蔵する時計や、通信回線を介して所定の場所の時刻情報を得る通信部。周辺情報として日付を採用する場合には、内蔵するカレンダ情報や、通信回線を介して所定の場所の日付を得る通信部。周辺情報として天候や気温や湿度を採用する場合には、内蔵する気温・湿度センサ及び当該センサの出力より天候を判断する電子回路や、通信回線を介して所定の場所の気温・湿度・天候情報を得る通信部。周辺情報として周囲の明るさを採用する場合には、内蔵する照度センサや、撮像部で撮像した画像を解析して照度を求める解析回路。周辺情報として取得画像の平均色/色分布を採用する場合には、撮像部で撮像した画像情報を解析する解析回路。周辺情報として周囲の音を採用する場合には、音量センサ。周辺情報として機種を採用する場合には、機種情報を記録する内蔵メモリ。 Examples of the peripheral information acquisition unit that acquires the peripheral information include the following. A communication unit that obtains time information of a predetermined place via a built-in clock or communication line when time is adopted as the peripheral information. When adopting a date as the peripheral information, a communication unit that obtains the date of a predetermined place via a built-in calendar information or communication line. When weather, temperature and humidity are used as peripheral information, the temperature / humidity / weather information of the specified location via the built-in temperature / humidity sensor and the electronic circuit that judges the weather from the output of the sensor, and the communication line Get the communication part. When ambient brightness is adopted as the peripheral information, a built-in illuminance sensor or an analysis circuit that analyzes the image captured by the imaging unit to obtain the illuminance. An analysis circuit that analyzes image information captured by the imaging unit when the average color / color distribution of the acquired image is adopted as the peripheral information. A volume sensor when ambient sounds are used as the peripheral information. Built-in memory that records model information when a model is used as peripheral information.
また、撮像部としては、例えば、CCDやCMOSなどの撮像素子及び上記撮像素子の受光面上に結像させる光学系などがある。 Examples of the imaging unit include an imaging device such as a CCD or CMOS, and an optical system that forms an image on the light receiving surface of the imaging device.
記憶部としては、例えば、内蔵又は通信回線を介してアクセス可能なメモリ素子やHDD(ハードディスクドライブ)などがある。 The storage unit includes, for example, a memory element that is built-in or accessible via a communication line, an HDD (Hard Disk Drive), and the like.
解析基礎情報構築部としては、例えば内蔵するCPU及び当該CPU上で動作する解析基礎情報構築プログラムなどがある。 Examples of the analysis basic information construction unit include a built-in CPU and an analysis basic information construction program that operates on the CPU.
さらに、呈示部としては、液晶やプラズマ等のディスプレイ装置などがある。また、必要な情報を発音によって呈示する場合にはスピーカなどがある。 Further, the presenting unit includes a display device such as liquid crystal or plasma. In addition, there is a speaker or the like when necessary information is presented by pronunciation.
本発明によれば、利用環境により、状況に応じた最適な情報を呈示することが可能な情報呈示システム、情報呈示端末及びサーバを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the information presentation system, the information presentation terminal, and server which can show the optimal information according to a condition by use environment can be provided.
特に、周辺情報として時刻や日付を採用した場合には、例えば、画像情報から電話番号を呈示するような場合に、時刻や日付に応じて呈示する電話番号を、会社の電話番号、自宅の電話番号、携帯の電話番号、等詳細に設定できる。このように、時刻情報や日付情報を加味した情報の呈示ができ、利便性が向上する。 In particular, when time and date are adopted as peripheral information, for example, when a telephone number is presented from image information, the telephone number to be presented according to the time or date is replaced with a company telephone number or a home phone. Number, mobile phone number, etc. can be set in detail. In this way, information including time information and date information can be presented, and convenience is improved.
周辺情報として季節や天候を採用した場合には、例えば、画像情報から行楽情報を呈示するような場合に、各季節や天候に応じた行楽地情報が呈示できる。このように、季節情報を加味した情報の呈示ができ、利便性が向上する。 When the season and weather are adopted as the peripheral information, for example, when the holiday information is presented from the image information, it is possible to present the resort information according to each season and the weather. In this way, information including seasonal information can be presented, and convenience is improved.
周辺情報として気温や湿度を採用した場合には、例えば、画像情報からお勧め商品情報を呈示するような場合に、操作者の周囲の気温や湿度を加味して選定した商品(飲料、衣料など)を呈示できる。このように、気温や湿度を加味した情報の呈示ができ、利便性が向上する。 When temperature and humidity are used as peripheral information, for example, when recommended product information is presented from image information, products selected with consideration of the temperature and humidity around the operator (beverages, clothing, etc.) ). In this way, information that takes temperature and humidity into consideration can be presented, and convenience is improved.
周辺情報として場所を採用した場合には、例えば、画像情報から店舗案内を呈示する場合に、近所の店舗を選択して案内情報を呈示できる。このように、場所を加味した情報の呈示ができ、利便性が向上する。 When a place is adopted as the peripheral information, for example, when the store guidance is presented from the image information, a nearby store can be selected and the guidance information can be presented. In this way, it is possible to present information that takes into account the location, and convenience is improved.
周辺情報として周囲の明るさを採用した場合には、例えば、屋外で撮像した画像情報から関連情報を呈示するような場合に、画像がネオンサインによるものでも、ネオンサインに適したパラメータを選択して正しく認識できる。このように、周囲の明るさを加味した情報の呈示ができ、利便性が向上する。 When ambient brightness is used as the peripheral information, for example, when relevant information is presented from image information taken outdoors, even if the image is a neon sign, select a parameter suitable for the neon sign. Can be recognized correctly. In this way, it is possible to present information in consideration of ambient brightness, and convenience is improved.
周辺情報として取得画像の平均色/色分布を採用した場合には、例えば当該平均色/色分布にあった色フィルタを採用することで、正しく認識できる。このように、取得画像の平均色/色分布を加味した情報の呈示ができ、利便性が向上する。 When the average color / color distribution of the acquired image is adopted as the peripheral information, it can be correctly recognized by adopting, for example, a color filter suitable for the average color / color distribution. In this way, information that takes into account the average color / color distribution of the acquired image can be presented, and convenience is improved.
周辺情報として、周囲の音量や機種を採用した場合には、例えば、情報呈示において、発音の音量を適切に調整したり、機種のディスプレイにあった規格の画像を送信したりできる。このように、周囲の音量や機種を加味した情報の呈示ができ、利便性が向上する。 When the surrounding sound volume or model is adopted as the surrounding information, for example, in the information presentation, the sound volume can be appropriately adjusted, or an image of a standard suitable for the model display can be transmitted. In this way, it is possible to present information in consideration of the surrounding volume and model, and convenience is improved.
また、周辺情報として機種を採用した場合には、例えば、各機種に対応する適切な画像処理フィルタを設定することや、機種毎に撮像部の性能が異なっていても安定的に取得画像を処理できる。このように、機種毎の条件を考慮した安定的な処理ができ、利便性が向上する。 In addition, when a model is adopted as the peripheral information, for example, an appropriate image processing filter corresponding to each model can be set, or an acquired image can be processed stably even if the performance of the imaging unit differs for each model. it can. Thus, stable processing can be performed in consideration of the conditions for each model, and convenience is improved.
以下、本発明を実施するための最良の形態を図面を参照して説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
[第1実施形態]
図1(A)は、本発明の第1実施形態に係る情報呈示システム10のブロック構成図である。
[First Embodiment]
FIG. 1A is a block configuration diagram of an
本実施形態に係る情報呈示システム10は、カメラ等の撮像部である撮影部11と、この撮影部11から得られるマーカ画像やロゴ画像といった所定の画像に関連する情報を取得する関連情報取得部12と、その関連情報取得部12で取得した関連情報を呈示する呈示部13とを有している。更に、上記撮影部11に関連する周辺情報を取得する周辺情報取得部14と、登録情報を記憶しておく記憶部15と、上記周辺情報取得部14で取得した周辺情報に基づいて、上記記憶部15に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部16とを備えている。
An
ここで、上記周辺情報取得部14で取得する周辺情報は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種のうち少なくとも1つを含むものであり、上記解析基礎情報構築部16は、そのような周辺情報に基づいて、上記解析基礎情報を変化させる。即ち、図1(B)に示すように、上記解析基礎情報構築部16は、上記周辺情報取得部14から周辺情報を取得し(ステップS1)、その周辺情報に応じて、各種パラメータを設定すると同時に(ステップS2)、上記記憶部15から登録情報を選択的に読み込む(ステップS3)。そして、その設定したパラメータと読み込んだ登録情報とを解析基礎情報として統合して(ステップS4)、上記関連情報取得部12に与える。上記関連情報取得部12は、上記撮影部11から得られる画像と、この解析基礎情報構築部16から与えられた解析基礎情報とから、上記画像に関連する情報を取得する。
Here, the peripheral information acquired by the peripheral
このような構成の情報呈示システム10の具体例としては、例えば、以下のようなものが考えられる。
As a specific example of the
起動時に、周辺情報取得部14により、日付・時刻情報を取得し、解析基礎情報構築部16は、記憶部15内にあるアドレス帳からその時刻に対応した電話番号を取得して、解析基礎情報を構築する。解析基礎情報構築部16では、このように、予め用意されている情報から最適なものを選択することができる。また、解析基礎情報は、出力情報を含む。つまり、周辺情報に基づいて出力情報を変化させる。例えば、撮影部11で顔写真付きのアルバムを撮影すると、その顔を認識し、電話番号を表示するアプリケーションを想定すると、平日の9:00〜18:00であれば、オフィスの電話番号を取得して、解析基礎情報とするが、休日や平日の18:00以降であれば、自宅の電話番号を取得し、解析基礎情報とすることが考えられる。更に、22:00以降であれば、同じく自宅の電話番号を取得するものであるが、「緊急時のみ」とのメッセージを追加して、解析基礎情報とするようにしても良い。
At the time of activation, the peripheral
また、起動時に、周辺情報取得部14によって位置情報を取得し、記憶部15の登録情報(看板)のうち、上記位置情報で示される位置から周囲1km四方にある登録情報(看板)から解析基礎情報を構築するようにしても良い。この場合、周辺情報取得部14は、位置情報を、GPS、通信装置がある場合は基地局間の電波強度、撮影対象のマーカや二次元コードに埋め込まれた位置情報、例えば緯度経度や住所等から決定することができる。このような構成とすれば、複数の地域に存在する看板であっても、その場所に対応する情報を呈示することが可能となる。例えば、撮影部11でA社のロゴマークを撮影すると、最寄りの修理受け付け窓口が表示されるようなアプリケーションが提供できる。また、撮影部11でBコンビニエンスストアの看板を撮影すると、位置情報を元に現在の天気や天気予報情報を取得して、例えば「今なら傘がXXX円、まだ在庫があります」というような、当該コンビニエンスストアの販促情報を呈示するようなアプリケーションが提供できる。このように、ナビゲーションや販促といった各種情報の呈示が可能となる。
Further, at the time of start-up, the peripheral
あるいは、起動時に、周辺情報取得部14によって、周囲の明るさまたは撮影部11から取得した画像の明るさを取得し、解析基礎情報構築部16では、その取得した明るさ情報をもとに、画像処理のための閾値を調整したり、コントラストフィルタのパラメータを調整するなどといった処理を行うこともできる。これにより、撮影部11で取得した画像が薄暗い画像であっても、認識対象のマーカや顔写真、ロゴマーク等を認識可能になる。例えば、照明が暗めの部屋で撮影した場合、画像の明かるさをもとに二値化の閾値を10%小さくする。この調整によって、ロゴや写真の周囲が若干暗くなっていても、安定的にそれらの抽出を行うことができる。そして更に、同じく解析基礎情報として与えられるテンプレートとその抽出した認識対象としてのロゴや写真とのマッチング処理を行って、安定的に認識ができるようになる。
Alternatively, at startup, the peripheral
また、起動時に、周辺情報取得部14によって、周囲の明るさまたは撮影部11から取得した画像の明るさを取得し、解析基礎情報構築部16では、暗い場合には、照明があてられた看板や光った看板を対象とした登録情報から解析基礎情報を構築する。これにより、暗いときには見え方が変わる看板であっても認識可能になる。更に、画面内のコンポーネントの色が周囲の明るさに応じた配色に調整することができるので、情報を見やすく呈示できる。
Further, at the time of startup, the surrounding information or the brightness of the image acquired from the photographing
[第2実施形態]
本発明の第2実施形態に係る情報呈示システムは、図2(A)に示すように、情報呈示端末10Aとサーバ10Bとに分割され、それらを通信回線によって接続するようにしたものである。この場合、情報呈示端末10Aは、上記撮影部11と上記関連情報取得部12と上記呈示部13とを含み、上記サーバ10Bは、上記周辺情報取得部14と上記記憶部15と上記解析基礎情報構築部16とを含む。
[Second Embodiment]
As shown in FIG. 2 (A), the information presentation system according to the second embodiment of the present invention is divided into an
なお、上記周辺情報取得部14、上記記憶部15及び上記解析基礎情報構築部16を含むサーバ10Bは一つに限らず、複数用意され、上記情報呈示端末10Aの関連情報取得部12は、それら複数のサーバ10Bから解析基礎情報を取得するようにしても良い。また、上記サーバ10Bの解析基礎情報構築部16は、当該サーバ10B以外の複数のサーバから情報を取得して、それらの情報を組み合わせた上で、上記情報呈示端末10Aへ送信する解析基礎情報を構築するようにしても良い。
In addition, the
また、情報呈示端末10Aを携帯電話機として構成した場合、図2(B)に示すように、情報呈示端末10Aとサーバ10Bとの間の通信回線は、基地局20とネットワーク30とによって構成されるものである。この場合、サーバ10Bの周辺情報取得部14は、情報呈示端末10Aが備えるセンサやGPSの情報を周辺情報として取得するだけでなく、基地局20が提供する位置情報や環境情報等も、周辺情報として取得する。
When the
あるいは、情報呈示端末10AをPDA等のインターネット接続機能を備えた携帯型情報機器とした場合には、通信回線はインターネットを含む。この場合には、情報呈示端末10Aとサーバ10Bが同一国内に存在するとは限らず、よって、サーバ10Bの周辺情報取得部14は、情報呈示端末10Aが備える時計から日時情報を周辺情報として適宜取得しても良い。
Alternatively, when the
このような構成においては、情報呈示端末10Aの起動時、もしくは、サーバ10Bから解析基礎情報をダウンロードするときに、サーバ10B上の解析基礎情報構築部16で最適な解析基礎情報を構築する。
In such a configuration, optimal analysis basic information is constructed by the analysis basic
例えば、情報呈示端末10Aとしての携帯電話機の機種に応じて、サーバ10B上で二値化(画像処理)の閾値を調整して、解析基礎情報を構築したり、さらには、画像処理フィルタを設定して、解析基礎情報を構築したりする。即ち、携帯電話機は多数の機種が存在し、各機種毎に光学性能が異なる。このため、適した画像処理パラメータを設定しなければ、安定した画像認識処理を行うことは困難である。例えば、機種によっては、画像がボケるため、二値化の閾値を高めに設定すると効果的である。また、画像がボケる機種では、画像処理フィルタとして、エッジ強調フィルタを設定することは、安定的な画像認識に効果的である。
For example, according to the model of the mobile phone as the
あるいは、携帯電話機の機種に応じて、また、解析基礎情報に組込まれる登録情報の数及び/または相互の類似度に応じて、テンプレートサイズを調整するようにしても良い。例えば、解析基礎情報として統合する登録情報の相互の類似度が予め設定した値以上の場合は、テンプレートマッチングを行うためのテンプレートサイズを縦横2倍とし、その値を解析基礎情報に含める。こうすることによって、誤認識しやすい環境であっても、より高精度なマッチング処理を実現することができる。また、登録情報の相互の類似度が低い場合は、登録数に応じて、テンプレートサイズを小さくする。つまり、登録数が多い場合は、マッチング処理に要する時間を短縮するために、誤認識しない範囲(相互の類似度が設定値以上にならない範囲)でテンプレートサイズを小さくするよう試みる。また、登録情報の相互の類似度が低い場合は、テンプレートのデータ階調を下げても良い。例えば、通常は256階調のグレイスケールだが、これを16階調に下げても良い。また、登録情報の相互の類似度が低い場合は、誤認識を避けるために、マッチングの閾値を高く設定しても良い。 Alternatively, the template size may be adjusted according to the model of the mobile phone and / or according to the number of registered information incorporated in the analysis basic information and / or the similarity between them. For example, when the mutual similarity of registration information to be integrated as analysis basic information is greater than or equal to a preset value, the template size for performing template matching is doubled vertically and horizontally, and the value is included in the analysis basic information. By doing so, even in an environment where misrecognition is likely to occur, more accurate matching processing can be realized. Also, when the similarity between the registration information is low, the template size is reduced according to the number of registrations. That is, when the number of registrations is large, in order to shorten the time required for the matching process, an attempt is made to reduce the template size within a range that does not cause misrecognition (a range in which mutual similarity does not exceed a set value). Further, when the similarity between the registered information is low, the data gradation of the template may be lowered. For example, the gray scale is usually 256 gradations, but it may be reduced to 16 gradations. Further, when the similarity between registered information is low, a matching threshold may be set high in order to avoid erroneous recognition.
[第3実施形態]
本発明の第3実施形態に係る情報呈示システムは、上記第2実施形態と同様に、情報呈示端末10Aとサーバ10Bとに分割され、それらを通信回線によって接続するようにしたものである。但し、本実施形態においては、図3に示すように、情報呈示端末10Aは、上記撮影部11、上記関連情報取得部12、上記呈示部13、上記周辺情報取得部14、及び上記解析基礎情報構築部16を含み、上記サーバ10Bは上記記憶部15のみを含むように構成している。
[Third Embodiment]
As in the second embodiment, the information presentation system according to the third embodiment of the present invention is divided into an
このような構成によれば、サーバ10Bから取得した登録情報を情報呈示端末10A上で解析基礎情報として構築するので、ひとたびダウンロードすれば、情報呈示端末10Aの周辺情報にこまめに対応させることが可能になる。
According to such a configuration, the registration information acquired from the
[第4実施形態]
本発明の第4実施形態に係る情報呈示システムも、上記第2及び第3実施形態と同様に、情報呈示端末10Aとサーバ10Bとに分割され、それらを通信回線によって接続するようにしたものである。但し、本実施形態においては、図4に示すように、情報呈示端末10Aは、上記撮影部11と上記呈示部13のみを有し、他の上記関連情報取得部12、上記周辺情報取得部14、上記記憶部15、及び上記解析基礎情報構築部16は上記サーバ10Bに構成しているものである。
[Fourth Embodiment]
Similarly to the second and third embodiments, the information presentation system according to the fourth embodiment of the present invention is divided into an
このような構成とすれば、ユーザは、事前に情報呈示端末10Aに解析基礎情報をダウンロードする必要がなく、また、撮影した画像とともにサーバ10Bに送信する該情報呈示端末10Aの周辺情報に対応した最適な解析基礎情報に基づく処理を行うことができる。
With such a configuration, the user does not need to download the analysis basic information to the
[第5実施形態]
本発明の第5実施形態に係る情報呈示システムは、上記第2実施形態の構成において、図5(A)に示すように、サーバ10Bに更に上記関連情報取得部12と同等の機能を持つ第二関連情報取得部17を設けたものである。ここで、上記第二関連情報取得部17は、上記関連情報取得部12が取得した解析基礎情報よりも多くの解析基礎情報から関連情報を取得するものである。
[Fifth Embodiment]
In the information presentation system according to the fifth embodiment of the present invention, in the configuration of the second embodiment, as shown in FIG. 5A, the
即ち、本実施形態においては、図5(B)に示すように、サーバ10Bの周辺情報取得部14は、通信回線を介して、情報呈示端末10Aが有するセンサ等からGPS情報や時間情報、更には明るさ等の情報を取得するための撮影部11からの画像等の周辺情報(基地局20から送信されてくる周辺情報も含む)を取得し、解析基礎情報構築部16は、その取得した周辺情報に基づいて、優先度の高い解析基礎情報と、それよりも優先度の低い第二解析基礎情報を構築する。そして、上記解析基礎情報は情報呈示端末10Aの関連情報取得部12に通信回線を介してダウンロードされ、また、上記第二解析基礎情報は第二関連情報取得部17に与えられる。
That is, in the present embodiment, as shown in FIG. 5B, the peripheral
このような構成とすることにより、上記情報呈示端末10Aの関連情報取得部12で関連情報を取得できなかった場合であっても、上記第二関連情報取得部17の結果を上記呈示部13が呈示することが可能となる。
By adopting such a configuration, even when the related
例えば、情報呈示端末10Aとして携帯電話機を考えた場合、携帯電話機は機種によって記憶容量が異なる。また、ユーザの使い方によって、利用できる記憶容量が異なる。更に、機種によって、処理速度が異なる。従って、機種毎にダウンロードする解析基礎情報の容量を変更することにより、携帯電話機上での処理に必要以上の負担をかけないようにすることが好ましい。そこで、本実施形態では、ダウンロードしなかった解析基礎情報はサーバ10B上で保持し、携帯電話機から送信される画像、もしくは画像の一部を対象として該ダウンロードしなかった解析基礎情報である第二解析基礎情報から関連情報の取得処理をサーバ10Bの第二関連情報取得部17で行う。携帯電話機上で関連情報を取得できた場合は、その情報を呈示部13に表示し、携帯電話機上では関連情報を取得できなかったが、サーバ10B上で取得できた場合、もしくは、携帯電話機上でも処理しているが、サーバ10B上のほうが早く情報を取得できた場合には、サーバ10B上で取得した情報を携帯電話機の呈示部13上で呈示する。
For example, when a mobile phone is considered as the
例えば、携帯電話機の位置情報に基づいて周囲500mのテンプレートセットを解析基礎情報として取得して、携帯電話機にダウンロードする。ユーザは、このテンプレートセットによって周辺のお店の情報を得ながら街を散策できる。ユーザが最初にテンプレートセットを取得した位置から500m以上離れると、携帯電話機内に取得しているテンプレートでは対応する情報を得られなくなる。しかし、本実施形態では、携帯電話機で取得した画像をサーバ10Bの第二関連情報取得部17にも送信している。サーバ10Bでは、最初にユーザが周囲500mのテンプレートセットをダウンロードする際に、同時に周囲4kmのテンプレートセットを第二関連情報取得部17に渡している。よって、ユーザが携帯電話機内から情報を取得できなくても、サーバ上のこの第二関連情報取得部17で周囲4kmのテンプレートセットから情報を取得できる。サーバ10B上で情報を取得し、携帯電話機上で情報が取得できていない場合、サーバ10B上で取得した情報を表示するので、ユーザは携帯電話機の容量を超える領域のテンプレートデータを利用することができる。また、このとき、携帯電話機へ現在の位置に基づく周囲500mのテンプレートセットが送信されても良い。こうすると、その位置から500m以内は、再び携帯電話機だけで情報を取得できるので、軽快な操作感を実現できる。
For example, a template set around 500 m is acquired as analysis basic information based on the position information of the mobile phone and downloaded to the mobile phone. The user can walk around the city while obtaining information on nearby shops using this template set. If the user is more than 500 m away from the position at which the template set is first acquired, the corresponding information cannot be obtained with the template acquired in the mobile phone. However, in this embodiment, the image acquired by the mobile phone is also transmitted to the second related
以上実施形態により説明したように、環境や利用機種等、各種の情報に基づいて、システムの認識対象となるテンプレートデータや、そのテンプレートデータに関連付けする情報、また、認識処理上の各種パラメータ等、利用する情報を切り替えることで、利用環境により、状況に応じた最適な情報を呈示できるようになる。 As described in the above embodiment, based on various information such as environment and usage model, template data to be recognized by the system, information associated with the template data, various parameters on recognition processing, etc. By switching the information to be used, it becomes possible to present optimal information according to the situation depending on the usage environment.
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
例えば、上記第5実施形態においては、第二関連情報取得部17を備え、解析基礎情報構築部16が解析基礎情報と第二解析基礎情報とを構築するものとしたが、更に第三関連情報取得部、第四関連情報取得部、…といった複数の関連情報取得部をサーバ10Bに構成し、解析基礎情報構築部16が更に第三解析基礎情報、第四解析基礎情報、…を構築するようにしても良い。
For example, in the fifth embodiment, the second related
10…情報呈示システム、 10A…情報呈示端末、 10B…サーバ、 11…撮影部、 12…関連情報取得部、 13…呈示部、 14…周辺情報取得部、 15…記憶部、 16…解析基礎情報構築部、 17…第二関連情報取得部、 20…基地局、 30…ネットワーク。
DESCRIPTION OF
Claims (12)
周辺情報を取得する周辺情報取得部と、
登録情報を記憶しておく記憶部と、
上記周辺情報取得部で取得した周辺情報に基づいて、上記記憶部に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部と、
上記撮像部から得られる画像と上記解析基礎情報構築部から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部と、
上記関連情報取得部で取得した関連情報を呈示する呈示部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種のうち少なくとも1つに基づいて上記解析基礎情報を変化させることを特徴とする情報呈示システム。 An imaging unit;
A peripheral information acquisition unit for acquiring peripheral information;
A storage unit for storing registration information;
Based on the peripheral information acquired by the peripheral information acquisition unit, an analysis basic information construction unit that constructs analysis basic information from registration information stored in the storage unit,
A related information acquisition unit that acquires information related to the image from the image obtained from the imaging unit and the analysis basic information obtained from the analysis basic information construction unit;
A presenting unit for presenting related information acquired by the related information acquiring unit;
Comprising
The analysis basic information construction unit is based on at least one of time, date, season, weather, temperature, humidity, location, ambient brightness, average color / color distribution of acquired images, ambient sound, and model. An information presentation system characterized by changing basic analysis information.
上記周辺情報取得部、上記記憶部、及び上記解析基礎情報構築部は、サーバに構成され、
上記情報呈示端末は、通信回線によって上記サーバと接続されていることを特徴とする請求項1に記載の情報呈示システム。 The imaging unit, the related information acquisition unit, and the presentation unit are configured in an information presentation terminal,
The peripheral information acquisition unit, the storage unit, and the analysis basic information construction unit are configured in a server,
The information presentation system according to claim 1, wherein the information presentation terminal is connected to the server via a communication line.
上記記憶部は、サーバに構成され、
上記情報呈示端末は、通信回線によって上記サーバと接続されていることを特徴とする請求項1に記載の情報呈示システム。 The imaging unit, the related information acquisition unit, the peripheral information acquisition unit, the analysis basic information construction unit, and the presentation unit are configured in an information presentation terminal,
The storage unit is configured in a server,
The information presentation system according to claim 1, wherein the information presentation terminal is connected to the server via a communication line.
上記関連情報取得部、上記周辺情報取得部、上記解析基礎情報構築部、及び上記記憶部は、サーバに構成され、
上記情報呈示該端末は、通信回線によって上記サーバと接続されていることを特徴とする請求項1に記載の情報呈示システム。 The imaging unit and the presentation unit are configured in an information presentation terminal,
The related information acquisition unit, the peripheral information acquisition unit, the analysis basic information construction unit, and the storage unit are configured in a server,
The information presentation system according to claim 1, wherein the terminal is connected to the server via a communication line.
上記周辺情報取得部、上記解析基礎情報構築部、及び上記記憶部は、サーバに構成され、
上記情報呈示端末は、通信回線によって上記サーバと接続されており、
上記サーバは、更に、上記関連情報取得部と同等の機能を持つ第二関連情報取得部を有し、
上記第二関連情報取得部は、上記関連情報取得部が取得した解析基礎情報よりも多くの解析基礎情報から関連情報を取得し、上記関連情報取得部で関連情報を取得できなかった場合であっても、該第二関連情報取得部の結果を上記呈示部が呈示することを特徴とする請求項1に記載の情報呈示システム。 The imaging unit, the related information acquisition unit, and the presentation unit are configured in an information presentation terminal,
The peripheral information acquisition unit, the analysis basic information construction unit, and the storage unit are configured in a server,
The information presentation terminal is connected to the server via a communication line,
The server further includes a second related information acquisition unit having a function equivalent to the related information acquisition unit,
The second related information acquisition unit acquires the related information from more analysis basic information than the analysis basic information acquired by the related information acquisition unit, and the related information acquisition unit cannot acquire the related information. However, the information presenting system according to claim 1, wherein the presenting unit presents the result of the second related information acquiring unit.
上記撮像部に関連する周辺情報を取得する周辺情報取得部と、
通信回線を介してサーバからダウンロードした登録情報から、上記周辺情報取得部で取得した周辺情報に基づいて解析基礎情報を構築する解析基礎情報構築部と、
上記撮像部から得られる画像と上記解析基礎情報構築部から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部と、
上記関連情報取得部で取得した関連情報を呈示する呈示部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種のうち少なくとも1つに基づいて上記解析基礎情報を変化させることを特徴とする情報呈示端末。 An imaging unit;
A peripheral information acquisition unit that acquires peripheral information related to the imaging unit;
An analysis basic information construction unit that constructs analysis basic information based on the peripheral information acquired by the peripheral information acquisition unit from registration information downloaded from the server via a communication line;
A related information acquisition unit for acquiring information related to the image from the image obtained from the imaging unit and the analysis basic information obtained from the analysis basic information construction unit;
A presenting unit for presenting related information acquired by the related information acquiring unit;
Comprising
The analysis basic information construction unit is based on at least one of time, date, season, weather, temperature, humidity, location, ambient brightness, average color / color distribution of acquired images, ambient sound, and model. An information presentation terminal characterized by changing analysis basic information.
登録情報を記憶しておく記憶部と、
上記周辺情報取得部で取得した周辺情報に基づいて、上記記憶部に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色/色分布、周囲の音、機種のうち少なくとも1つに基づいて上記解析基礎情報を変化させ、
上記解析基礎情報構築部で構築した上記解析基礎情報を上記情報呈示端末にダウンロードさることで、上記情報呈示端末に、その解析基礎情報と上記撮像部から得られる画像とから上記画像に関連する情報を取得させて、呈示させることを特徴とするサーバ。 A peripheral information acquisition unit that acquires an image obtained from the imaging unit transmitted from the information presentation terminal via the communication line and / or peripheral information related to the imaging unit;
A storage unit for storing registration information;
Based on the peripheral information acquired by the peripheral information acquisition unit, an analysis basic information construction unit that constructs analysis basic information from registration information stored in the storage unit,
Comprising
The analysis basic information construction unit is based on at least one of time, date, season, weather, temperature, humidity, location, ambient brightness, average color / color distribution of acquired images, ambient sound, and model. Change analysis basic information,
Information related to the image from the analysis basic information and the image obtained from the imaging unit to the information presentation terminal by downloading the analysis basic information constructed by the analysis basic information construction unit to the information presentation terminal The server characterized by having acquired and presenting.
上記第二関連情報取得部は、上記関連情報取得部が取得した解析基礎情報よりも多くの解析基礎情報から関連情報を取得し、上記関連情報取得部で関連情報を取得できなかった場合であっても、該第二関連情報取得部の結果を上記情報呈示端末が呈示することを特徴とする請求項11に記載のサーバ。 A second related information acquisition unit having the same function as the related information acquisition unit,
The second related information acquisition unit acquires the related information from more analysis basic information than the analysis basic information acquired by the related information acquisition unit, and the related information acquisition unit cannot acquire the related information. However, the server according to claim 11, wherein the information presentation terminal presents the result of the second related information acquisition unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004342496A JP2006157265A (en) | 2004-11-26 | 2004-11-26 | Information presentation system, information presentation terminal, and server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004342496A JP2006157265A (en) | 2004-11-26 | 2004-11-26 | Information presentation system, information presentation terminal, and server |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006157265A true JP2006157265A (en) | 2006-06-15 |
Family
ID=36635048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004342496A Pending JP2006157265A (en) | 2004-11-26 | 2004-11-26 | Information presentation system, information presentation terminal, and server |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006157265A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6099833B1 (en) * | 2015-09-15 | 2017-03-22 | 三菱電機株式会社 | Image processing apparatus, image processing system, and image processing method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH047678A (en) * | 1990-04-25 | 1992-01-13 | Seikosha Co Ltd | Picture recognizing device |
JPH09297532A (en) * | 1996-05-08 | 1997-11-18 | Nippon Telegr & Teleph Corp <Ntt> | Terminal device |
JPH11272845A (en) * | 1998-03-23 | 1999-10-08 | Denso Corp | Image recognition device |
JP2001209698A (en) * | 2000-01-26 | 2001-08-03 | Nec Corp | System and method for distributing information of specified area to portable terminal and recording medium having program for distribution recorded thereon |
JP2002092012A (en) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | Particular area information display system |
JP2004102543A (en) * | 2002-09-06 | 2004-04-02 | Ricoh Co Ltd | Information gathering system |
JP2004289776A (en) * | 2003-01-28 | 2004-10-14 | Sharp Corp | Server device, processing method, providing method and transmission/display system of information, client and sub-client terminal device, computer executable program and recording medium |
-
2004
- 2004-11-26 JP JP2004342496A patent/JP2006157265A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH047678A (en) * | 1990-04-25 | 1992-01-13 | Seikosha Co Ltd | Picture recognizing device |
JPH09297532A (en) * | 1996-05-08 | 1997-11-18 | Nippon Telegr & Teleph Corp <Ntt> | Terminal device |
JPH11272845A (en) * | 1998-03-23 | 1999-10-08 | Denso Corp | Image recognition device |
JP2001209698A (en) * | 2000-01-26 | 2001-08-03 | Nec Corp | System and method for distributing information of specified area to portable terminal and recording medium having program for distribution recorded thereon |
JP2002092012A (en) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | Particular area information display system |
JP2004102543A (en) * | 2002-09-06 | 2004-04-02 | Ricoh Co Ltd | Information gathering system |
JP2004289776A (en) * | 2003-01-28 | 2004-10-14 | Sharp Corp | Server device, processing method, providing method and transmission/display system of information, client and sub-client terminal device, computer executable program and recording medium |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6099833B1 (en) * | 2015-09-15 | 2017-03-22 | 三菱電機株式会社 | Image processing apparatus, image processing system, and image processing method |
WO2017046872A1 (en) * | 2015-09-15 | 2017-03-23 | 三菱電機株式会社 | Image processing device, image processing system, and image processing method |
GB2556701A (en) * | 2015-09-15 | 2018-06-06 | Mitsubishi Electric Corp | Image processing device, image processing system and image processing method |
GB2556701B (en) * | 2015-09-15 | 2021-12-22 | Mitsubishi Electric Corp | Image processing apparatus, image processing system, and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2007116500A1 (en) | Information presentation system, information presentation terminal and server | |
KR101232994B1 (en) | Image based dialing | |
CN107958490B (en) | Hands-free augmented reality for wireless communication devices | |
US8098881B2 (en) | Advertisement insertion systems and methods for digital cameras based on object recognition | |
US20060204098A1 (en) | Wireless telecommunications terminal comprising a digital camera for character recognition, and a network therefor | |
JP2002111909A (en) | Information-providing service | |
US20120054014A1 (en) | Apparatus and method for providing coupon service in mobile communication system | |
CN101641948A (en) | A mobile device with integrated photograph management system | |
US20100130251A1 (en) | Method and apparatus for displaying background image on portable terminal using location information | |
KR101574241B1 (en) | Qr code recognition processing system | |
EP1351166A3 (en) | Information processing | |
US20050246238A1 (en) | Item of interest marking and posting system and method | |
CN111712807A (en) | Portable information terminal, information presentation system, and information presentation method | |
GB2404749A (en) | Information retrieval using smart symbols | |
JP2003319033A (en) | Portable communication terminal information input system, portable communication terminal, program therefor, analysis server, and portable communication terminal information input method | |
US20110307516A1 (en) | Apparatus and method for searching for content in a portable terminal | |
JP2008288881A (en) | Photography system and photographic apparatus | |
JP2006157265A (en) | Information presentation system, information presentation terminal, and server | |
WO2004095316A1 (en) | Initiating data communication by capturing image | |
JP2005038100A (en) | Merchandise information providing device and program | |
US8629911B2 (en) | Automatic photographing system and method thereof | |
JP2002118680A (en) | Portable communication terminal | |
JP2006304282A5 (en) | ||
JP2004078368A (en) | Information distribution method using secondary cord, and system therefor | |
KR20140132028A (en) | Objection information confirmation and information access system using smart phone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100309 |