JP2014215964A - Information processing apparatus, information processing method, and information processing program - Google Patents

Information processing apparatus, information processing method, and information processing program Download PDF

Info

Publication number
JP2014215964A
JP2014215964A JP2013095508A JP2013095508A JP2014215964A JP 2014215964 A JP2014215964 A JP 2014215964A JP 2013095508 A JP2013095508 A JP 2013095508A JP 2013095508 A JP2013095508 A JP 2013095508A JP 2014215964 A JP2014215964 A JP 2014215964A
Authority
JP
Japan
Prior art keywords
money
price
currency
input
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013095508A
Other languages
Japanese (ja)
Other versions
JP6351932B2 (en
Inventor
真治 木村
Shinji Kimura
真治 木村
美木子 中西
Mikiko Nakanishi
美木子 中西
倉掛 正治
Masaharu Kurakake
正治 倉掛
堀越 力
Tsutomu Horikoshi
力 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2013095508A priority Critical patent/JP6351932B2/en
Publication of JP2014215964A publication Critical patent/JP2014215964A/en
Application granted granted Critical
Publication of JP6351932B2 publication Critical patent/JP6351932B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated

Landscapes

  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing apparatus and an information processing method which enable smooth purchase of a commodity using foreign currencies by instantaneously selecting an appropriate currency when making a payment with a foreign currency.SOLUTION: There is provided a mobile terminal 1 which includes: a camera 11 which inputs an object image being an image including price information indicating a price and a currency; a price specification part 13 which specifies a price on the basis of the price information inputted by the camera 11; a corresponding currency selection part 16 which selects corresponding currencies being one or more currencies corresponding to the price specified by the price specification part 13 from the object image inputted by the camera 11; and a notification part 17 which notifies of the corresponding currencies selected by the corresponding currency selection part 16.

Description

本発明は、貨幣を認識する情報処理装置、情報処理方法、及び情報処理プログラムに関する。   The present invention relates to an information processing apparatus that recognizes money, an information processing method, and an information processing program.

従来より、商品の値段を携帯端末等のカメラ又はQRコード(登録商標)により取得する技術が知られている。例えば、特許文献1には、携帯端末のカメラで撮影した値札情報に基づいて値段を取得することが記載されている。なお、特許文献1では、値札情報とともに、該撮影場所の位置情報を取得することで、位置情報に基づく周辺店舗の値段を取得している。   2. Description of the Related Art Conventionally, a technique for acquiring the price of a product using a camera such as a mobile terminal or a QR code (registered trademark) is known. For example, Patent Document 1 describes that a price is acquired based on price tag information taken with a camera of a mobile terminal. In Patent Document 1, the price of the surrounding store based on the position information is acquired by acquiring the position information of the shooting location along with the price tag information.

特開2011−48591号公報JP2011-48591A

ここで、上述した技術を利用して海外通貨で表示されている値段を取得することが考えらえる。しかしながら、例えば海外で商品を購入する場合など、海外の貨幣で支払いを行う場合には、商品の値段に対してどの紙幣や硬貨で支払いを行えば良いか、瞬時に判断することが難しい。このような場合、貨幣の選択に時間を要したり、誤った貨幣で支払いを行うおそれがある。   Here, it is conceivable to acquire the price displayed in the foreign currency using the technique described above. However, when paying with foreign currency, for example, when purchasing a product overseas, it is difficult to instantly determine which banknote or coin should be used for the price of the product. In such a case, it may take time to select money or pay with incorrect money.

本発明は上記課題に鑑みてなされたものであり、海外貨幣で支払いを行う際に適切な貨幣を瞬時に選択することで、海外貨幣を用いた商品の購入が円滑に行える情報処理装置及び情報処理方法を提供することを目的とする。   The present invention has been made in view of the above problems, and an information processing apparatus and information capable of smoothly purchasing a product using foreign currency by instantaneously selecting an appropriate currency when paying with foreign currency. An object is to provide a processing method.

上記の課題を解決するために、本発明の情報処理装置は、値段を示す情報である値段情報、及び、貨幣が含まれた画像である対象画像を入力する入力手段と、入力手段により入力された値段情報に基づいて値段を特定する値段特定手段と、入力手段により入力された対象画像から、値段特定手段が特定した値段に対応する1又は複数の貨幣である対応貨幣を選択する対応貨幣選択手段と、対応貨幣選択手段が選択した対応貨幣を通知する通知手段と、を備えている。   In order to solve the above problems, an information processing apparatus according to the present invention is input by input means for inputting price information that is information indicating a price and a target image that is an image including money, and the input means. A price identification unit that identifies a price based on the price information and a corresponding currency selection that selects one or more corresponding currencies corresponding to the price identified by the price identification unit from the target image input by the input unit. Means and notifying means for notifying the corresponding money selected by the corresponding money selecting means.

この発明によれば、値段に対応する貨幣である対応貨幣が選択されユーザに通知される。該通知により、ユーザは、商品の値段に対してどの貨幣で支払い行えばよいかについて瞬時に認識できる。これにより、海外貨幣で支払いを行う際にも貨幣の選択に時間を要したり、或いは、誤った貨幣で支払いを行うといったおそれがない。すなわち、海外貨幣を用いた商品の購入を円滑に行うことができる。   According to this invention, the corresponding currency, which is the currency corresponding to the price, is selected and notified to the user. By this notification, the user can instantly recognize which currency should be paid for the price of the product. Thereby, there is no fear that it takes time to select money or pays with wrong money even when paying with foreign money. That is, it is possible to smoothly purchase products using foreign currency.

また、本発明の情報処理装置において、入力手段は、値段情報として、値段が表示された画像である値段画像を入力し、値段特定手段は、値段画像を画像認識することにより値段を特定する。このように、画像認識により商品の値段を特定することにより、容易に値段を特定でき、海外貨幣を用いた商品の購入をより円滑化できる。   In the information processing apparatus of the present invention, the input means inputs a price image that is an image displaying the price as price information, and the price specifying means specifies the price by recognizing the price image. Thus, by specifying the price of a product by image recognition, the price can be easily specified, and the purchase of the product using foreign currency can be facilitated.

また、本発明の情報処理装置において、情報処理装置の位置を示す位置情報を取得する位置取得手段をさらに備え、値段特定手段は、位置情報を用いて通貨単位を特定し値段を特定する。位置情報を用いることで通貨単位を容易に特定できる。また、画像認識時に、特定した通貨単位の記号を検出し、該記号がある箇所近傍の画像上から数字を認識するようにすることで、商品の値段特定を迅速かつ正確に行うことができる。   The information processing apparatus of the present invention further includes position acquisition means for acquiring position information indicating the position of the information processing apparatus, and the price specifying means specifies a currency unit and specifies a price using the position information. The currency unit can be easily specified by using the position information. In addition, the price of a product can be specified quickly and accurately by detecting a symbol in the specified currency unit and recognizing a number from an image near the location where the symbol is located.

また、本発明の情報処理装置において、通知手段は、入力手段により入力された対象画像に、対応貨幣を示す情報を重畳表示する。これにより、ユーザはより感覚的に支払いに用いる貨幣を認識できる。   In the information processing apparatus of the present invention, the notifying unit superimposes and displays information indicating the corresponding currency on the target image input by the input unit. Thereby, the user can recognize the money used for payment more intuitively.

また、本発明の情報処理装置において、貨幣の特徴を示す貨幣基準情報を、複数種類の貨幣それぞれについて記憶する記憶手段と、記憶手段に記憶された複数種類の貨幣の貨幣基準情報、及び、入力手段が入力した対象画像から、対象画像中の貨幣の種類を画像認識により特定する貨幣特定手段と、をさらに備え、対応貨幣選択手段は、貨幣特定手段が特定した貨幣の種類に基づいて、値段特定手段が特定した値段に対応する対応貨幣を選択する。記憶手段に記憶された貨幣基準情報により特定された貨幣の種類に基づいて対応貨幣を選択することにより、精度良く対応貨幣を選択できる。   Further, in the information processing apparatus of the present invention, storage means for storing money reference information indicating the characteristics of money for each of a plurality of types of money, money reference information for a plurality of types of money stored in the storage means, and input Currency identification means for identifying the type of money in the target image by image recognition from the target image input by the means, and the corresponding currency selection means is based on the type of money specified by the currency identification means. The corresponding currency corresponding to the price specified by the specifying means is selected. By selecting the corresponding money based on the type of money specified by the money reference information stored in the storage means, the corresponding money can be selected with high accuracy.

また、本発明の情報処理装置において、情報処理装置の位置を示す位置情報を取得する位置取得手段をさらに備え、貨幣特定手段は、位置情報から特定される通貨単位が一致する貨幣群である貨幣候補を特定し、記憶手段に記憶された複数種類の貨幣の貨幣基準情報のうち貨幣候補である貨幣の貨幣基準情報、及び入力手段が入力した対象画像から、対象画像中の貨幣の種類を特定する。ユーザが所持する貨幣を特定する際に、位置情報を用いることで、特定される貨幣の候補である貨幣候補を絞り込むことができ、貨幣特定時間を短縮できる。   The information processing apparatus of the present invention further includes position acquisition means for acquiring position information indicating the position of the information processing apparatus, and the money specifying means is a money that is a money group in which the currency units specified from the position information match. The candidate is specified, and the type of money in the target image is specified from the money reference information of the money that is the money candidate among the money reference information of the plurality of types of money stored in the storage means and the target image input by the input means. To do. When specifying the money possessed by the user, it is possible to narrow down the money candidates that are candidates for the money to be specified by using the position information, and the money specifying time can be shortened.

また、本発明の情報処理装置において、貨幣特定手段は、対象画像における貨幣の位置である貨幣位置を特定し、特定した貨幣の種類及び貨幣位置を紐づけた貨幣テーブルを生成し、対応貨幣選択手段は、貨幣テーブルにおいて対応貨幣を他の貨幣と区別した選択後貨幣テーブルを生成し、通知手段は、選択後貨幣テーブルに基づいて対応貨幣の貨幣位置を特定し、入力手段により入力された対象画像において、対応貨幣の貨幣位置近傍に、対応貨幣を示す情報を重畳表示する。貨幣位置を特定し、重畳表示する位置を、貨幣位置の近傍とすることにより、選択した貨幣を、より明確に通知できる。   In the information processing apparatus of the present invention, the money specifying means specifies a money position that is a money position in the target image, generates a money table in which the specified money type and money position are linked, and selects a corresponding money. The means generates a selected money table in which the corresponding money is distinguished from other money in the money table, and the notifying means specifies the money position of the corresponding money based on the selected money table, and is input by the input means. In the image, information indicating the corresponding money is superimposed and displayed near the money position of the corresponding money. By specifying the currency position and setting the superimposed display position in the vicinity of the currency position, the selected currency can be notified more clearly.

また、本発明の情報処理装置において、対応貨幣選択手段は、値段特定手段が特定した値段に対応する対応貨幣の選択肢が複数存在する場合に、選択肢から一の対応貨幣を選択する。これによれば、対応貨幣の選択肢が複数ある場合においても、例えば予め設定した選択条件等を用い、所望の一の対応貨幣を確実に選択することができる。   Further, in the information processing apparatus of the present invention, the corresponding money selecting means selects one corresponding money from the options when there are a plurality of options of corresponding money corresponding to the price specified by the price specifying means. According to this, even when there are a plurality of options for the corresponding currency, it is possible to reliably select one desired corresponding currency using, for example, a preset selection condition or the like.

また、本発明の情報処理装置において、対応貨幣選択手段は、価値が小さい貨幣を含む対応貨幣の選択肢を優先的に前記対応貨幣として選択する。これによれば、ユーザの所持する貨幣の数が少なくなるように、対応貨幣を選択することができる。   In the information processing apparatus according to the present invention, the corresponding money selecting means preferentially selects the corresponding money including the money having a small value as the corresponding money. According to this, the corresponding currency can be selected so that the number of currency possessed by the user is reduced.

本発明の情報処理方法は、値段を示す情報である値段情報、及び、貨幣が含まれた画像である対象画像を入力する入力ステップと、入力ステップにおいて入力された値段情報に基づいて値段を特定する値段特定ステップと、入力ステップにおいて入力された対象画像から、値段特定ステップにおいて特定された値段に対応する1又は複数の貨幣である対応貨幣を選択する対応貨幣選択ステップと、対応貨幣選択ステップにおいて選択された対応貨幣を通知する通知ステップと、を含んでいる。本情報処理方法は、上述した情報処理装置と同様の効果を奏することができる。   The information processing method of the present invention specifies a price based on price information, which is information indicating a price, and an input step for inputting a target image, which is an image including money, based on the price information input in the input step. In the corresponding currency selection step, the corresponding currency selection step for selecting the corresponding currency, which is one or a plurality of currencies corresponding to the price specified in the price identification step, from the target image input in the input step, And a notification step for notifying the selected corresponding currency. This information processing method can achieve the same effects as the information processing apparatus described above.

本発明の情報処理プログラムは、値段を示す情報である値段情報、及び、貨幣が含まれた画像である対象画像を入力する入力モジュールと、入力モジュールにより入力された値段情報に基づいて値段を特定する値段特定モジュールと、入力モジュールにより入力された対象画像から、値段特定モジュールが特定した値段に対応する1又は複数の貨幣である対応貨幣を選択する対応貨幣選択モジュールと、対応貨幣選択モジュールが選択した対応貨幣を通知する通知モジュールと、を備えている。本情報処理プログラムは、上述した情報処理装置及び情報処理方法と同様の効果を奏することができる。   The information processing program of the present invention specifies a price based on price information that is information indicating a price and an input module that inputs a target image that is an image including money, and price information that is input by the input module. A corresponding price selection module that selects one or more corresponding currencies corresponding to the price specified by the price identification module, and a corresponding currency selection module from the target image input by the input module. A notification module for notifying the corresponding currency. The information processing program can achieve the same effects as the information processing apparatus and the information processing method described above.

本発明によれば、海外貨幣で支払いを行う際に適切な貨幣を瞬時に選択することで、海外貨幣を用いた商品の購入が円滑に行える情報処理装置及び情報処理方法を提供することができる。   According to the present invention, it is possible to provide an information processing apparatus and an information processing method capable of smoothly purchasing a product using foreign currency by instantaneously selecting an appropriate currency when paying with foreign currency. .

本実施形態に係る携帯端末の機能を示すブロック図である。It is a block diagram which shows the function of the portable terminal which concerns on this embodiment. 記憶部に記憶された貨幣DBの例を示す図である。It is a figure which shows the example of money DB memorize | stored in the memory | storage part. 貨幣テーブルの例を示す図である。It is a figure which shows the example of a money table. 通知部による重畳表示イメージを示す図である。It is a figure which shows the superimposed display image by a notification part. 携帯端末のハードウェア構成図である。It is a hardware block diagram of a portable terminal. 本実施形態に係る携帯端末の処理を示すフローチャートである。It is a flowchart which shows the process of the portable terminal which concerns on this embodiment.

以下、図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. Where possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.

図1は、本実施形態に係る携帯端末1の機能を示すブロック図である。図1に示されるとおり、携帯端末1は、カメラ11と、位置取得部12と、値段特定部13と、貨幣特定部14と、記憶部15と、対応貨幣選択部16と、通知部17と、を備えている。携帯端末1は情報処理装置であり、スマートフォン等の携帯機器や、PC端末などの通信端末である。以下、図1に示す機能ブロックに基づいて、各機能ブロックを説明する。   FIG. 1 is a block diagram illustrating functions of the mobile terminal 1 according to the present embodiment. As shown in FIG. 1, the mobile terminal 1 includes a camera 11, a position acquisition unit 12, a price identification unit 13, a currency identification unit 14, a storage unit 15, a corresponding currency selection unit 16, and a notification unit 17. It is equipped with. The portable terminal 1 is an information processing apparatus, and is a portable device such as a smartphone or a communication terminal such as a PC terminal. Hereinafter, each functional block will be described based on the functional blocks shown in FIG.

カメラ11は、値段を示す情報である値段情報を写し出し、該値段情報が表示された画像である値段画像を値段特定部13に入力する入力手段としての機能を有するものである。値段情報とは、例えば商品の値札等である。値段情報には、数字及び通貨記号の双方(例えば$100)が含まれてもよいし、数字のみ(例えば100)であってもよい。   The camera 11 has a function as input means for copying price information, which is information indicating the price, and inputting a price image, which is an image on which the price information is displayed, to the price specifying unit 13. Price information is, for example, a price tag of a product. The price information may include both numbers and currency symbols (for example, $ 100), or only numbers (for example, 100).

また、カメラ11は、貨幣が含まれた画像である対象画像を写し出し、該対象画像を貨幣特定部14及び通知部17に入力する入力手段としての機能を有するものである。貨幣とは、例えば、携帯端末1を操作するユーザが所持する貨幣をいう。なお、貨幣には紙幣及び硬貨の双方が含まれる。カメラ11は、写し出した画像を数ms〜数十ms間隔で貨幣特定部14及び通知部17に入力する。   Further, the camera 11 has a function as an input unit that projects a target image that is an image including money and inputs the target image to the money specifying unit 14 and the notification unit 17. A currency means the currency which the user who operates the portable terminal 1 possesses, for example. Money includes both banknotes and coins. The camera 11 inputs the projected image to the currency specifying unit 14 and the notification unit 17 at intervals of several ms to several tens of ms.

位置取得部12は、基地局から発信される電波の受信状況を利用して測位する基地局測位や、GPSを利用するGPS測位等によって携帯端末1の位置情報を取得する位置取得手段としての機能を有する。位置取得部12は、例えば数秒〜数十秒間隔で、携帯端末1の位置情報を取得している。   The position acquisition unit 12 functions as a position acquisition unit that acquires position information of the mobile terminal 1 by base station positioning using the reception status of radio waves transmitted from the base station, GPS positioning using GPS, or the like. Have The position acquisition unit 12 acquires the position information of the mobile terminal 1 at intervals of several seconds to several tens of seconds, for example.

値段特定部13は、値段情報に基づいて値段を特定する値段特定手段としての機能を有するものである。具体的には、値段特定部13は、カメラ11から入力された値段画像を画像認識することにより、値段を特定する。値段特定部13による画像認識は、従来から周知となっている技術、例えばOCR(Optical Character Recognition)技術により行われ、予め登録された複数の数字及び通貨記号のパターンを参照することにより、値段情報に示された数字及び通貨記号を認識する。   The price specifying unit 13 has a function as a price specifying means for specifying a price based on price information. Specifically, the price specifying unit 13 specifies the price by recognizing the price image input from the camera 11. The image recognition by the price specifying unit 13 is performed by a conventionally known technique, for example, OCR (Optical Character Recognition) technique, and by referring to a plurality of numbers and currency symbol patterns registered in advance, price information is obtained. Recognize the numbers and currency symbols shown in.

また、値段特定部13は、位置取得部12から入力された携帯端末1の位置情報を用いて通貨単位を特定し、値段を特定してもよい。具体的には、値段特定部13は、携帯端末1の位置情報から、携帯端末1が位置する国を特定し、当該国で流通している通貨単位を特定する。そして、値段特定部13は、カメラ11から入力された値段画像において、携帯端末1の位置情報から特定した通貨単位の記号を検出し、該記号が記載されている箇所近傍の画像から数字を認識する。なお、値段特定部13は、カメラ11から入力された値段画像を画像認識することにより値段を特定する代わりに、ユーザが手で入力した情報をもとに値段を特定してもよい。   Further, the price specifying unit 13 may specify a currency unit using the position information of the mobile terminal 1 input from the position acquisition unit 12 and specify the price. Specifically, the price specifying unit 13 specifies the country in which the mobile terminal 1 is located from the location information of the mobile terminal 1 and specifies the currency unit in circulation in the country. And the price specific | specification part 13 detects the symbol of the currency unit specified from the positional information of the portable terminal 1 in the price image input from the camera 11, and recognizes a number from the image of the location vicinity where this symbol is described. To do. Note that the price specifying unit 13 may specify the price based on information manually input by the user instead of specifying the price by recognizing the price image input from the camera 11.

貨幣特定部14は、カメラ11から入力された対象画像を画像認識し、対象画像中の貨幣の種類を特定する貨幣特定手段としての機能を有するものである。具体的には、貨幣特定部14は、値段特定部13と同様、OCR(Optical Character Recognition)技術等の従来から周知となっている技術により貨幣の種類を特定するものであり、カメラ11から入力された対象画像と、記憶手段である記憶部15に記憶された複数種類の貨幣の画像の特徴量(貨幣基準情報)それぞれとに基づいて、対象画像中の貨幣の種類を特定する。貨幣の種類の特定は、例えば紙幣・硬貨中の絵や数字を認識することにより行われる。絵や数字の認識は、記憶部に記憶された貨幣の画像とのテンプレートマッチングや、SIFT法やSURF法を利用して得られた特徴量に対して、mean−shift法を用いてマッチングするなど、公知の画像処理技術により実施される。また、色や形状を認識してもよい。   The money specifying unit 14 has a function as money specifying means for recognizing the target image input from the camera 11 and specifying the type of money in the target image. Specifically, like the price specifying unit 13, the money specifying unit 14 specifies the type of money using a conventionally known technique such as an OCR (Optical Character Recognition) technique, and is input from the camera 11. The type of money in the target image is specified based on the target image thus obtained and the feature amounts (money reference information) of the plurality of types of money images stored in the storage unit 15 serving as storage means. The type of money is specified by recognizing a picture or a number in a bill / coin, for example. For recognition of pictures and numbers, template matching with money images stored in the storage unit, matching with feature quantities obtained using the SIFT method or SURF method using the mean-shift method, etc. This is performed by a known image processing technique. Moreover, you may recognize a color and a shape.

記憶部15に記憶された複数種類の貨幣の画像(貨幣DB)の例について、図2を用いて説明する。図2は、記憶部15に記憶された貨幣DBの例を示す図である。図2に示されるとおり、貨幣DBには、各国の通貨単位の貨幣(硬貨及び紙幣)の形状や色等の特徴、つまり、貨幣特定部14で貨幣の種類特定の際に用いた特徴量に対応するものを特徴量として示した貨幣基準情報が記憶されている。   An example of a plurality of types of money images (money DB) stored in the storage unit 15 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of the currency DB stored in the storage unit 15. As shown in FIG. 2, the money DB includes characteristics such as the shape and color of money (coins and banknotes) in each currency unit, that is, the feature amount used when the money specifying unit 14 specifies the type of money. Money standard information indicating corresponding features as feature quantities is stored.

また、貨幣特定部14は、位置取得部12から入力された携帯端末1の位置情報を用いて貨幣候補を特定し、記憶部15に記憶された貨幣候補である貨幣の貨幣基準情報、及び、対象画像から、対象画像中の貨幣の種類を特定してもよい。貨幣候補とは、携帯端末1の位置情報から特定される国で使用される通貨単位と一致する貨幣群である。例えば、携帯端末1の位置が米国であれば、通貨単位はドル及びセントであると想定できるため、貨幣候補は、100ドル、50ドル、20ドル、10ドル、5ドル、1ドル、25セント、10セント、5セント、1セントであると特定できる。   In addition, the currency identification unit 14 identifies a currency candidate using the position information of the mobile terminal 1 input from the position acquisition unit 12, and the currency standard information of the currency candidate stored in the storage unit 15, and The type of money in the target image may be specified from the target image. A money candidate is a money group that matches the currency unit used in the country specified by the location information of the mobile terminal 1. For example, if the position of the mobile terminal 1 is the United States, it can be assumed that the currency unit is dollars and cents, so the money candidates are 100 dollars, 50 dollars, 20 dollars, 10 dollars, 5 dollars, 1 dollars, 25 cents. It can be specified as 10 cents, 5 cents, and 1 cent.

この場合、貨幣特定部14は、記憶部15に記憶された貨幣DBに含まれる複数の貨幣の貨幣基準情報のうち、貨幣候補である貨幣(100ドル、50ドル、20ドル、10ドル、5ドル、1ドル、25セント、10セント、5セント、1セント)の貨幣基準情報のみを、対象画像中の貨幣の種類の特定に用いる。   In this case, the currency specifying unit 14 is a currency candidate (100 dollars, 50 dollars, 20 dollars, 10 dollars, 5 dollars) among a plurality of money standard information included in the currency DB stored in the storage unit 15. Only the currency standard information of dollars, dollars, 25 cents, 10 cents, 5 cents, 1 cent) is used to specify the type of money in the target image.

また、貨幣特定部14は、カメラ11から入力された対象画像を画像認識する際、貨幣の種類の特定に加えて、貨幣の位置である貨幣位置を特定する。貨幣位置とは、例えば、2次元座標によって示された貨幣の中心位置である。そして、貨幣特定部14は、画像認識した貨幣の種類、該貨幣の貨幣基準情報、及び該貨幣の貨幣位置を紐づけた貨幣テーブルを生成する。貨幣の貨幣基準情報は、記憶部15に記憶された貨幣DBを参照することにより取得できる。なお、貨幣テーブルには貨幣基準情報が含まれていなくても良い。   Further, when recognizing the target image input from the camera 11, the money specifying unit 14 specifies the money position that is the position of the money in addition to specifying the type of money. The money position is, for example, the center position of money indicated by two-dimensional coordinates. And the money specific | specification part 14 produces | generates the money table which linked | related the kind of money recognized image, the money reference | standard information of this money, and the money position of this money. The money reference information of money can be acquired by referring to the money DB stored in the storage unit 15. Note that the money table does not have to include money standard information.

貨幣テーブルについて、図3を用いて説明する。図3は、貨幣テーブルの例を示す図である。貨幣テーブルには、画像認識した複数の貨幣の、種類、貨幣基準情報、及び貨幣位置が記憶されている。なお、貨幣位置は、例えば、カメラ11から入力された画像における左下の点を(0,0)、右下の点を(200,0)、右上の点を(200,200)、左上の点を(0,200)とした2次元座標により示される。貨幣特定部14は、貨幣テーブルを対応貨幣選択部16に入力する。   The money table will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of a money table. The money table stores types, money reference information, and money positions of a plurality of moneys that have been image-recognized. The money position is, for example, the lower left point (0, 0), the lower right point (200, 0), the upper right point (200, 200), and the upper left point in the image input from the camera 11. Is represented by a two-dimensional coordinate with (0,200). The currency identification unit 14 inputs the currency table to the corresponding currency selection unit 16.

また、貨幣テーブルは、貨幣位置に加えて、貨幣の輪郭を特定するための貨幣付加情報を含んでもよい。貨幣付加情報には、画像認識した貨幣の形状(例えば、長方形、円形の区分)、大きさ(例えば、長方形の場合は四隅の位置座標、円形の場合は直径)が含まれる。   Further, the money table may include money additional information for specifying the outline of money in addition to the money position. The money additional information includes the shape (for example, rectangular and circular sections) and size (for example, the position coordinates of the four corners in the case of a rectangle and the diameter in the case of a circle) of the recognized money.

対応貨幣選択部16は、対象画像に基づいて、値段特定部13が特定した値段に対応する1又は複数の貨幣(対応貨幣)を選択する対応貨幣選択手段としての機能を有するものである。具体的には、対応貨幣選択部16は、貨幣特定部14が特定した貨幣の種類に基づいて、値段特定部13が特定した値段に対応する対応貨幣を選択する。   The corresponding currency selecting unit 16 has a function as a corresponding currency selecting unit that selects one or a plurality of currencies (corresponding currencies) corresponding to the price specified by the price specifying unit 13 based on the target image. Specifically, the corresponding money selecting unit 16 selects the corresponding money corresponding to the price specified by the price specifying unit 13 based on the type of money specified by the money specifying unit 14.

具体例について、図3を用いて説明する。対応貨幣選択部16には、貨幣特定部14より、図3に示す貨幣テーブルが入力されているとする。そして、値段特定部13から入力された値段が、1ドル15セントであったとする。この場合、対応貨幣選択部16は、図3に示された貨幣テーブルの2行目の1ドル紙幣、3行目の10セント硬貨、及び、4行目の5セント硬貨を対応貨幣として選択する。   A specific example will be described with reference to FIG. It is assumed that the money table shown in FIG. 3 is input from the money specifying unit 14 to the corresponding money selecting unit 16. Then, it is assumed that the price input from the price specifying unit 13 is 1 dollar and 15 cents. In this case, the corresponding money selection unit 16 selects the 1-dollar banknote in the second row, the 10-cent coin in the third row, and the 5-cent coin in the fourth row as the corresponding money in the money table shown in FIG. .

また、対応貨幣選択部16は、値段特定部13が特定した値段に対応する対応貨幣の選択肢が複数ある場合には、複数の選択肢から一の対応貨幣を選択する。例えば、対応貨幣選択部16は、価値が小さい貨幣を含む対応貨幣の選択肢を優先的に対応貨幣として選択する。   Moreover, the corresponding money selection part 16 selects the one corresponding money from several options, when there are two or more choices of the corresponding money corresponding to the price which the price specific | specification part 13 specified. For example, the corresponding currency selection unit 16 preferentially selects a corresponding currency option including a currency having a small value as the corresponding currency.

具体的に、値段特定部13から入力された値段が、1ドル10セントであったとする。この場合、対応貨幣選択部16は、図3に示された貨幣テーブルの2行目の1ドル紙幣、3行目の10セント硬貨を対応貨幣として選択する選択肢(選択肢Aとする)かあるいは2行目の1ドル紙幣、4行目の5セント硬貨、及び、5行目の5セント硬貨を対応貨幣として選択する選択肢(選択肢Bとする)の2つの選択肢が考えられる。このような場合、対応貨幣選択部は16は、より価値が小さい貨幣である5セント硬貨を含む選択肢Bを優先して選択することとする。なお、対応貨幣選択部16は、価値が大きい貨幣を含む対応貨幣の選択肢を優先的に対応貨幣として選択することとしてもよい。どのような選択肢を優先的に対応貨幣として選択するかについては、ユーザが予め設定できることとしてもよい。   Specifically, it is assumed that the price input from the price specifying unit 13 is 10 dollars per dollar. In this case, the corresponding currency selection unit 16 selects the second dollar 1-dollar bill and the third row of 10 cent coins as the corresponding currency (option A) or 2 in the currency table shown in FIG. There are two options: a 1-dollar bill on the line, a 5-cent coin on the 4th line, and an option (referred to as option B) for selecting the 5-cent coin on the 5th line as the corresponding currency. In such a case, the corresponding money selection unit 16 preferentially selects the option B including the 5-cent coin, which is a money having a smaller value. In addition, the corresponding money selection part 16 is good also as selecting the option of the corresponding money containing the money with big value as a corresponding money preferentially. The user may be able to set in advance what option is preferentially selected as the corresponding currency.

また、特定された値段に対して保有する貨幣がちょうど対応しない場合、例えば図3のように保有貨幣がある場合に、値札情報から8セントが判断された場合は、その額を超える貨幣を選択することとする。この場合は、10セントを対応貨幣として選択する。   In addition, if the money held for the specified price does not correspond, for example, if there is money held as shown in FIG. 3, if 8 cents is determined from the price tag information, select the money that exceeds that amount. I decided to. In this case, 10 cents is selected as the corresponding currency.

次に、対応貨幣選択部16は、貨幣テーブルにおいて対応貨幣を他の貨幣と区別した選択後貨幣テーブルを生成する。具体的には、貨幣テーブルにおいて対応貨幣のみビットを立てる、或いは、貨幣テーブルにおいて対応貨幣以外の貨幣を削除する、等の処理を行うことによって、対応貨幣を他の貨幣と区別する。対応貨幣選択部16は、選択後貨幣テーブルを通知部17に入力する。   Next, the corresponding money selection unit 16 generates a post-selection money table in which the corresponding money is distinguished from other currencies in the money table. Specifically, the corresponding currency is distinguished from other currencies by performing a process such as setting a bit only for the corresponding currency in the currency table or deleting a currency other than the corresponding currency in the currency table. The corresponding currency selection unit 16 inputs the selected currency table to the notification unit 17.

通知部17は、対応貨幣を通知する通知手段としての機能を有するものである。具体的には、通知部17は、カメラ11により入力される対象画像をもとに、対応貨幣を示す情報を重畳表示する。重畳表示には、従来から周知となっているAR(AUGMENTED REALITY:拡張現実)技術が用いられてもよい。   The notification unit 17 has a function as a notification unit that notifies the corresponding money. Specifically, the notification unit 17 superimposes and displays information indicating the corresponding currency based on the target image input by the camera 11. Conventionally known AR (AUGMENTED REALITY) technology may be used for the superimposed display.

具体的には、通知部17は、対応貨幣選択部16より入力された選択後貨幣テーブルを参照することで、対応貨幣の種類、該対応貨幣の貨幣位置、及び、貨幣付加情報を特定する。これにより、対応貨幣の輪郭及び位置を特定できる。対応貨幣を示す情報は、対応貨幣の貨幣位置近傍に表示され、例えば、図4に示されるように、画像における対応貨幣の輪郭を縁取るように囲った枠で示される。よって、通知部17は、対応貨幣の輪郭及び位置を考慮して、対応貨幣の輪郭を縁取るように囲う線を重畳表示することで、対応貨幣をユーザに通知する。なお、通知部17によって対象画像に重畳表示される対応貨幣を示す情報は、必ずしも対応貨幣の輪郭を縁取る線に限定されず、例えば、対応貨幣の貨幣位置を矢印により示すもの等であってもよい。この場合は、貨幣付加情報は不要となる。   Specifically, the notification unit 17 refers to the selected money table input from the corresponding money selecting unit 16 to identify the type of the corresponding money, the money position of the corresponding money, and the additional money information. Thereby, the outline and position of corresponding money can be specified. The information indicating the corresponding money is displayed in the vicinity of the money position of the corresponding money. For example, as shown in FIG. 4, the information is indicated by a frame surrounded so as to border the outline of the corresponding money in the image. Therefore, the notification unit 17 notifies the user of the corresponding money by superimposing and displaying a line that surrounds the outline of the corresponding money in consideration of the outline and position of the corresponding money. Note that the information indicating the corresponding currency displayed superimposed on the target image by the notification unit 17 is not necessarily limited to a line that outlines the outline of the corresponding currency, for example, the currency position of the corresponding currency is indicated by an arrow, etc. Also good. In this case, additional currency information is not necessary.

ここで、通知部17が対応貨幣を示す情報を重畳表示する対象の画像は、カメラ11から入力される画像をもとに作成されるが、上述したように、カメラ11は数ms〜数十ms間隔で画像を入力しているため、カメラ11で入力された画像をもとに重畳表示位置を決定しても、現在の位置とは異なる場合がある。この場合、単に、選択後貨幣テーブルに示された対応貨幣の貨幣位置に基づいて、対応貨幣を示す情報を重畳表示することは好ましくない。   Here, the target image on which the information indicating the corresponding currency is superimposed and displayed by the notification unit 17 is created based on the image input from the camera 11, but as described above, the camera 11 has several ms to several tens of times. Since images are input at intervals of ms, even if the superimposed display position is determined based on the image input by the camera 11, it may be different from the current position. In this case, it is not preferable to simply superimpose and display information indicating the corresponding money based on the money position of the corresponding money shown in the selected money table.

なお、通知部17により通知された各貨幣のうち、画面内から外れた貨幣(入力された新たな対象画像に含まれていない貨幣)を、既に支払いに用いられた貨幣であると判断し、該貨幣をユーザが所持する貨幣から除外するとともに、該貨幣の値段分だけ減額した値段を、新たな値段として特定してもよい。このように、支払いを行っている最中の情報に基づいて、ユーザが支払うべき値段(支払い残高)を随時更新してもよい。例えば、1ドル10セントの場合に1ドルが支払われたと判断された場合は、残り10セントに対して同様の処理を行えば良く、重畳表示されるのも10セントに対してだけになる。当然ながら、上記のように画像から支払い済みの額を認識するだけではなく、ユーザが明示的に1ドルを支払ったということを指定しても良い。   Of the moneys notified by the notification unit 17, it is determined that the money that is out of the screen (money not included in the input new target image) is already used for payment, While excluding the money from the money possessed by the user, the price reduced by the price of the money may be specified as a new price. In this way, the price (payment balance) that the user should pay may be updated as needed based on the information that is being paid. For example, if it is determined that 1 dollar has been paid for 1 cent and 10 cents, the same processing may be performed for the remaining 10 cents, and only 10 cents are superimposed. Of course, not only the paid amount is recognized from the image as described above, but it may be specified that the user has paid 1 dollar explicitly.

また、貨幣特定部14では、保有する貨幣をカメラで撮影して特定することを基本とするが、予めユーザが保有している貨幣を指定していれば撮影の手間を省くことができる。例えば、財布の中身の情報を手で入力しておいても良いし、または、前回カメラで認識した結果から財布の中身に変わりがなければ、「前回特定時の情報を利用する」という選択をしても良い。この場合は、重畳表示は不可となるため、ユーザに支払うべき貨幣を通知する必要がある。例えば、1ドル紙幣1枚、10セント硬貨1枚を払うべき時には、紙幣及び硬貨の画像と必要枚数を明示的に情報処理装置の画面に表示することで、重畳表示に近い効果が得られる。この提示のために、貨幣テーブルには貨幣の画像を保有しておいても良い。   In addition, although the currency specifying unit 14 basically captures and specifies the money held by the camera, it is possible to save the trouble of shooting if the user has previously specified the money. For example, the contents of the wallet may be entered manually, or if the contents of the wallet are not changed from the result recognized by the previous camera, the selection of “use information at the previous time” is selected. You may do it. In this case, since superimposed display is impossible, it is necessary to notify the user of money to be paid. For example, when one dollar bill and one 10 cent coin are to be paid, an effect close to the superimposed display can be obtained by explicitly displaying the image of the banknote and the coin and the required number on the screen of the information processing apparatus. For this presentation, a money image may be held in the money table.

よって、通知部17は、貨幣特定部14が貨幣テーブルを生成した対象の画像における各貨幣の位置と比較して、通知部17が重畳表示しようとする画像(カメラ11から入力された画像)における各貨幣の位置がどの程度変化したか特定(各貨幣の位置をトラッキングすることにより変化量を特定)し、該変化量を考慮した上で、カメラ11から入力された画像に対応貨幣を示す情報を重畳表示する。このような重畳表示は、上述したように、従来から周知となっているAR技術により実現される。   Therefore, the notification unit 17 compares the position of each currency in the target image for which the currency specification unit 14 has generated the currency table, in the image (the image input from the camera 11) that the notification unit 17 intends to superimpose. Information indicating the corresponding currency in the image input from the camera 11 after specifying how much the position of each currency has changed (identifying the amount of change by tracking the position of each currency) and considering the amount of change Is superimposed. As described above, such superimposed display is realized by the AR technology that has been conventionally known.

次に、図5を参照して、携帯端末1のハードウェア構成について説明する。図5は、携帯端末1のハードウェア構成図である。図1に示される携帯端末1は、物理的には、図5に示されるとおり、CPU101、主記憶装置であるRAM102及びROM103、入力デバイスである入力装置104、ディスプレイ等の出力装置105、ネットワークカード等のデータ送受信デバイスである通信モジュール106、半導体メモリ等の補助記憶装置107などで構成されている。図1における各機能は、図5に示すCPU101、RAM102等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU101の制御のもとで入力装置104、出力装置105、通信モジュール106を動作させるとともに、RAM102や補助記憶装置107におけるデータの読み出し及び書き込みを行うことで実現される。   Next, the hardware configuration of the mobile terminal 1 will be described with reference to FIG. FIG. 5 is a hardware configuration diagram of the mobile terminal 1. As shown in FIG. 5, the portable terminal 1 shown in FIG. 1 physically includes a CPU 101, a RAM 102 and a ROM 103, which are main storage devices, an input device 104, which is an input device, an output device 105 such as a display, and a network card. The communication module 106 is a data transmission / reception device such as an auxiliary storage device 107 such as a semiconductor memory. Each function in FIG. 1 operates the input device 104, the output device 105, and the communication module 106 under the control of the CPU 101 by loading predetermined computer software on the hardware such as the CPU 101 and the RAM 102 shown in FIG. In addition, it is realized by reading and writing data in the RAM 102 and the auxiliary storage device 107.

次に、上述したように構成された本実施形態の携帯端末1の処理について説明する。図6は、本実施形態に係る携帯端末1の処理を示すフローチャートである。   Next, the process of the portable terminal 1 according to the present embodiment configured as described above will be described. FIG. 6 is a flowchart showing processing of the mobile terminal 1 according to the present embodiment.

まず、携帯端末1のカメラ11により、値段が表示された画像である値段画像が値段特定部13及び通知部17に入力される(S1、入力ステップ)。そして、値段特定部13により値段画像が画像認識される(S2、値段特定ステップ)。   First, a price image, which is an image displaying a price, is input to the price specifying unit 13 and the notification unit 17 by the camera 11 of the mobile terminal 1 (S1, input step). Then, the price identifying unit 13 recognizes the price image (S2, price identifying step).

つづいて、位置取得部12により、携帯端末1の位置情報が値段特定部13及び貨幣特定部14に入力される(S3、入力ステップ)。そして、S2における画像認識結果と、S3において入力された携帯端末1の位置情報とを用いて、値段特定部13により値段が特定される(S4、値段特定ステップ)。特定した値段は、値段特定部13により対応貨幣選択部16に入力される。   Subsequently, the position acquisition unit 12 inputs the position information of the mobile terminal 1 to the price specifying unit 13 and the currency specifying unit 14 (S3, input step). The price is specified by the price specifying unit 13 using the image recognition result in S2 and the position information of the mobile terminal 1 input in S3 (S4, price specifying step). The specified price is input to the corresponding currency selecting unit 16 by the price specifying unit 13.

つづいて、携帯端末1のカメラ11により対象画像が貨幣特定部14及び通知部17に入力される(S5、入力ステップ)。そして、貨幣特定部14により貨幣DBに含まれる複数の貨幣の貨幣基準情報と、対象画像とがマッチングされ(S6)、対象画像中の貨幣の種類が特定される(S7)。なお、貨幣DBとのマッチングの際には、貨幣特定部14は、位置取得部12から入力された携帯端末1の位置情報を用いて貨幣の種類を特定してもよい。   Subsequently, the target image is input to the currency specifying unit 14 and the notification unit 17 by the camera 11 of the mobile terminal 1 (S5, input step). Then, the money specifying unit 14 matches the money reference information of the plurality of money included in the money DB and the target image (S6), and specifies the type of money in the target image (S7). In addition, in the case of matching with money DB, the money specific | specification part 14 may specify the kind of money using the positional information on the portable terminal 1 input from the position acquisition part 12. FIG.

また、貨幣が特定される際、対象画像における貨幣の位置である貨幣位置が貨幣特定部14により特定され、画像認識して特定した貨幣の種類、該貨幣の貨幣基準情報、及び該貨幣の貨幣位置が紐づけられた貨幣テーブルが生成される(S8)。該貨幣テーブルは、貨幣特定部14により対応貨幣選択部16に入力される。   In addition, when the money is specified, the money position that is the position of the money in the target image is specified by the money specifying unit 14, the type of money specified by image recognition, the money reference information of the money, and the money of the money A currency table in which the positions are linked is generated (S8). The money table is input to the corresponding money selecting unit 16 by the money specifying unit 14.

つづいて、S4において特定された値段と、S8において生成された貨幣テーブルとを用いて、対応貨幣選択部16により、値段に対応する1又は複数の貨幣(対応貨幣)が選択される(S9、対応貨幣選択ステップ)。そして、対応貨幣が他の貨幣と区別された貨幣テーブルである選択後貨幣テーブルが対応貨幣選択部16により生成され、通知部17に入力される。   Subsequently, using the price specified in S4 and the money table generated in S8, the corresponding money selecting unit 16 selects one or a plurality of moneys (corresponding money) corresponding to the prices (S9, Corresponding currency selection step). Then, a selected currency table, which is a currency table in which the corresponding currency is distinguished from other currencies, is generated by the corresponding currency selection unit 16 and input to the notification unit 17.

最後に、通知部17により、選択後貨幣テーブルから対応貨幣の位置が特定され(S10、通知ステップ)、カメラ11が入力した対象画像における、特定された対応貨幣の位置近傍に、対応貨幣を示す情報が重畳表示される(S11、通知ステップ)。以上で、一連の携帯端末1の処理は終了となる。   Finally, the notification unit 17 specifies the position of the corresponding currency from the selected currency table (S10, notification step), and indicates the corresponding currency in the vicinity of the specified corresponding currency position in the target image input by the camera 11. Information is superimposed and displayed (S11, notification step). With the above, a series of processing of the mobile terminal 1 ends.

なお、S11の後に、画面内から外れた貨幣が既に支払ったと判断するなど、支払い中の情報がリアルタイムでアップデートされる場合は、支払が完了するまでの間、S4で特定された値段を随時更新してもよい。   In addition, when information that is being paid is updated in real time, for example, it is determined that money deviated from the screen has already been paid after S11, the price specified in S4 is updated as needed until payment is completed. May be.

次に、コンピュータを上記の携帯端末1として機能させるための情報処理プログラムについて説明する。情報処理プログラムは、コンピュータが読み取り可能な記録媒体に格納されて提供されるものであり、具体的には、値段を示す情報である値段情報、及び、貨幣が含まれた画像である対象画像を入力する入力モジュールと、入力モジュールにより入力された値段情報に基づいて値段を特定する値段特定モジュールと、入力モジュールにより入力された対象画像から、値段特定モジュールが特定した値段に対応する1又は複数の貨幣である対応貨幣を選択する対応貨幣選択モジュールと、対応貨幣選択モジュールが選択した対応貨幣を通知する通知モジュールと、を備える。上述の各モジュールは、図6に示されるフローチャートに従って動作するものである。   Next, an information processing program for causing a computer to function as the portable terminal 1 will be described. The information processing program is provided by being stored in a computer-readable recording medium. Specifically, price information that is information indicating a price, and a target image that is an image including money are displayed. An input module to be input, a price specifying module for specifying a price based on price information input by the input module, and one or more corresponding to the price specified by the price specifying module from the target image input by the input module A corresponding currency selection module that selects corresponding currency that is money; and a notification module that notifies the corresponding currency selected by the corresponding currency selection module. Each of the modules described above operates according to the flowchart shown in FIG.

次に、本実施形態の携帯端末1の作用効果について説明する。本実施形態の携帯端末1によれば、対応貨幣選択部16により値段に対応する貨幣である対応貨幣が選択され、通知部17により対応貨幣がユーザに通知される。該通知により、ユーザは、商品の値段に対してどの貨幣で支払い行えばよいかについて瞬時に認識できる。このことで、海外貨幣で支払いを行う際にも貨幣の選択に時間を要したり、或いは、誤った貨幣で支払いを行うといったおそれがない。すなわち、海外貨幣を用いた商品の購入を円滑に行うことができる。   Next, the effect of the portable terminal 1 of this embodiment is demonstrated. According to the mobile terminal 1 of the present embodiment, the corresponding currency that is the currency corresponding to the price is selected by the corresponding currency selection unit 16, and the corresponding currency is notified to the user by the notification unit 17. By this notification, the user can instantly recognize which currency should be paid for the price of the product. As a result, there is no fear that even when paying with foreign currency, it takes time to select the currency or paying with incorrect currency. That is, it is possible to smoothly purchase products using foreign currency.

また、本実施形態の携帯端末1において、カメラ11は、値段情報として、値段が表示された画像である値段画像を入力し、値段特定部13は、値段画像を画像認識することにより値段を特定することで、値段特定を容易化することができ、海外貨幣を用いた商品の購入をより円滑化できる。   In the mobile terminal 1 of the present embodiment, the camera 11 inputs a price image that is an image displaying the price as price information, and the price specifying unit 13 specifies the price by recognizing the price image. By doing so, the price specification can be facilitated, and the purchase of goods using foreign currency can be facilitated.

また、本実施形態の携帯端末1において、位置取得部12は、携帯端末1の位置を示す位置情報を入力し、値段特定部13は、携帯端末1の位置情報を用いて通貨単位を特定し値段を特定することで、値段を容易に特定できる。具体的には、値段特定部13は、位置情報を用いることで通貨単位を容易に特定するとともに、カメラ11から入力された値段画像において、値段に対応する数字を認識することで、値段特定のスピードを向上することができる。また、位置情報から特定した通貨単位を用いることで、誤った値段特定を防止できる。   In the mobile terminal 1 of the present embodiment, the position acquisition unit 12 inputs position information indicating the position of the mobile terminal 1, and the price specifying unit 13 specifies a currency unit using the position information of the mobile terminal 1. By specifying the price, the price can be specified easily. Specifically, the price specifying unit 13 easily specifies the currency unit by using the position information, and recognizes the number corresponding to the price in the price image input from the camera 11, thereby identifying the price. Speed can be improved. Further, by using the currency unit specified from the position information, it is possible to prevent erroneous price specification.

また、本実施形態の携帯端末1において、通知部17は、カメラ11により入力された対象画像に、対応貨幣を示す情報を重畳表示する。カメラ11により入力された対象画像に重畳表示されることで、ユーザはより感覚的に支払いに用いる貨幣を認識できる。   In the mobile terminal 1 of the present embodiment, the notification unit 17 superimposes and displays information indicating the corresponding currency on the target image input by the camera 11. By superimposing and displaying on the target image input by the camera 11, the user can more intuitively recognize the currency used for payment.

また、本実施形態の携帯端末1において、貨幣の特徴を示す貨幣基準情報を、複数種類の貨幣それぞれについて記憶する記憶部15と、記憶部15に記憶された複数種類の貨幣の貨幣基準情報、及び、カメラ11が入力した対象画像から、対象画像中の貨幣の種類を画像認識により特定する貨幣特定部14と、をさらに備え、対応貨幣選択部16は、貨幣特定部14が特定した貨幣の種類に基づいて、値段特定部13が特定した値段に対応する対応貨幣を選択する。記憶部15に記憶された貨幣基準情報により特定された貨幣の種類に基づいて対応貨幣を選択することにより、精度良く対応貨幣を選択できる。   Further, in the mobile terminal 1 of the present embodiment, the storage unit 15 that stores money reference information indicating the characteristics of money for each of a plurality of types of money, and the money reference information of a plurality of types of money stored in the storage unit 15; And a currency specifying unit 14 for specifying the type of money in the target image by image recognition from the target image input by the camera 11, and the corresponding currency selecting unit 16 includes the currency specified by the currency specifying unit 14. Based on the type, the corresponding currency corresponding to the price specified by the price specifying unit 13 is selected. By selecting the corresponding money based on the type of money specified by the money reference information stored in the storage unit 15, the corresponding money can be selected with high accuracy.

また、本実施形態の携帯端末1において、携帯端末1の位置を示す位置情報を取得する位置取得部12をさらに備え、貨幣特定部14は、位置情報から特定される通貨単位が一致する貨幣群である貨幣候補を特定し、記憶部15に記憶された複数種類の貨幣の貨幣基準情報のうち貨幣候補である貨幣の貨幣基準情報、及びカメラ11が入力した対象画像から、対象画像中の貨幣の種類を特定する。ユーザが所持する貨幣を特定する際に、位置情報を用いることで、特定される貨幣の候補である貨幣候補を絞り込むことができ、貨幣特定時間を短縮することできる。   Moreover, in the portable terminal 1 of this embodiment, the position acquisition part 12 which acquires the positional information which shows the position of the portable terminal 1 is further provided, and the money specific | specification part 14 is the money group in which the currency unit specified from position information corresponds. The money in the target image is identified from the money reference information of the money that is the money candidate among the money reference information of the plurality of types of money stored in the storage unit 15 and the target image input by the camera 11. Identify the type. When specifying the money possessed by the user, by using the position information, the money candidates that are the candidates for the money to be specified can be narrowed down, and the money specifying time can be shortened.

また、本実施形態の携帯端末1において、貨幣特定部14は、対象画像における貨幣の位置である貨幣位置を特定し、特定した貨幣の種類及び貨幣位置を紐づけた貨幣テーブルを生成する。そして、対応貨幣選択部16は、貨幣テーブルにおいて対応貨幣を他の貨幣と区別した選択後貨幣テーブルを生成し、通知部17は、選択後貨幣テーブルに基づいて対応貨幣の貨幣位置を特定し、カメラ11により入力された対象画像において、対応貨幣の貨幣位置近傍に、対応貨幣を示す情報を重畳表示する。貨幣位置を特定し、重畳表示する位置を貨幣位置の近傍とすることにより、選択した貨幣を、より明確に通知できる。   Moreover, in the portable terminal 1 of this embodiment, the money specific | specification part 14 specifies the money position which is the position of the money in an object image, and produces | generates the money table which linked | related the specified money type and money position. Then, the corresponding money selection unit 16 generates a selected money table in which the corresponding money is distinguished from other currencies in the money table, and the notification unit 17 specifies the money position of the corresponding money based on the selected money table, In the target image input by the camera 11, information indicating the corresponding money is superimposed and displayed near the money position of the corresponding money. By specifying the money position and setting the position to be superimposed and displayed near the money position, the selected money can be notified more clearly.

また、本実施形態の携帯端末1において、対応貨幣選択部16は、値段特定部13が特定した値段に対応する対応貨幣の選択肢が複数ある場合に、選択肢から一の対応貨幣を選択する。これによれば、対応貨幣の選択肢が複数ある場合においても、例えば予め設定した選択条件等を用い、所望の一の対応貨幣を確実に選択することができる。   Further, in the mobile terminal 1 of the present embodiment, the corresponding currency selecting unit 16 selects one corresponding currency from the options when there are a plurality of corresponding currency options corresponding to the price specified by the price specifying unit 13. According to this, even when there are a plurality of options for the corresponding currency, it is possible to reliably select one desired corresponding currency using, for example, a preset selection condition or the like.

また、本実施形態の携帯端末1において、対応貨幣選択部16は、価値が小さい貨幣を含む対応貨幣の選択肢を優先的に対応貨幣として選択することにより、ユーザの所持する貨幣の数が少なくなるように対応貨幣を選択することができる。また、対応貨幣選択部16は、価値が大きい貨幣を含む対応貨幣の選択肢を優先的に対応貨幣として選択することにより、支払いに用いる貨幣の数が少なくなるように対応貨幣を選択することができる。   Moreover, in the portable terminal 1 of this embodiment, the corresponding money selection part 16 reduces the number of the moneys which a user possesses by selecting the option of the corresponding money containing the money with small value as a corresponding money preferentially. The corresponding currency can be selected as follows. Moreover, the corresponding money selection part 16 can select a corresponding money so that the number of money used for payment may be reduced by preferentially selecting a corresponding money option including money with a high value as the corresponding money. .

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。   The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments. The present invention is modified without departing from the scope described in the claims or applied to others. It may be.

例えば、通知部17による対応貨幣の通知は、必ずしも画像への重畳表示に限定されるものではなく、ユーザに対応貨幣を通知できるものであればよい。すなわち、その他の表示方法や音声等により、対応貨幣を通知するものであってもよい。   For example, the notification of the corresponding currency by the notification unit 17 is not necessarily limited to the superimposition display on the image, but may be anything that can notify the user of the corresponding currency. That is, the corresponding currency may be notified by other display methods, voices, or the like.

また、情報処理装置は携帯端末1に限定されず、サーバ装置等であってもよい。また、情報処理装置の各機能は複数の端末により実装されるものでもよく、例えば、記憶部15以外の各機能は携帯端末が保持し、記憶部15はサーバ装置が保持する構成であってもよい。   Further, the information processing apparatus is not limited to the portable terminal 1 and may be a server apparatus or the like. Each function of the information processing apparatus may be implemented by a plurality of terminals. For example, each function other than the storage unit 15 may be held by a mobile terminal, and the storage unit 15 may be held by a server device. Good.

また、情報処理装置は、ヘッドマウントディスプレイを具備する眼鏡型端末であってもよい。上述した携帯端末1ではカメラ11により入力された対象画像の上に対応貨幣を示す情報を重畳表示したが、情報処理装置が眼鏡型端末である場合には、眼鏡型端末を介してユーザが実際に視認した現実世界の物体に重畳画像を表示する。よって、情報処理装置が眼鏡型端末である場合には、対象画像をもとに重畳画像を重畳する位置を決定し、眼鏡型端末のヘッドマウントディスプレイ表示面に重畳画像を表示する。   Further, the information processing apparatus may be a glasses-type terminal including a head mounted display. In the portable terminal 1 described above, information indicating the corresponding currency is superimposed on the target image input by the camera 11, but when the information processing apparatus is a glasses-type terminal, the user actually uses the glasses-type terminal. A superimposed image is displayed on a real-world object visually recognized. Therefore, when the information processing apparatus is a glasses-type terminal, the position where the superimposed image is superimposed is determined based on the target image, and the superimposed image is displayed on the head-mounted display surface of the glasses-type terminal.

1…携帯端末、11…カメラ、12…位置取得部、13…値段特定部、14…貨幣特定部、15…記憶部、16…対応貨幣選択部、17…通知部、101…CPU、102…RAM、103…ROM、104…入力装置、105…出力装置、106…通信モジュール、107…補助記憶装置。   DESCRIPTION OF SYMBOLS 1 ... Portable terminal, 11 ... Camera, 12 ... Position acquisition part, 13 ... Price specific | specification part, 14 ... Currency specific part, 15 ... Memory | storage part, 16 ... Corresponding currency selection part, 17 ... Notification part, 101 ... CPU, 102 ... RAM 103 103 ROM 104 Input device 105 Output device 106 Communication module 107 Auxiliary storage device

Claims (11)

値段を示す情報である値段情報、及び、貨幣が含まれた画像である対象画像を入力する入力手段と、
前記入力手段により入力された値段情報に基づいて値段を特定する値段特定手段と、
前記入力手段により入力された対象画像から、前記値段特定手段が特定した値段に対応する1又は複数の貨幣である対応貨幣を選択する対応貨幣選択手段と、
前記対応貨幣選択手段が選択した対応貨幣を通知する通知手段と、
を備える情報処理装置。
Input means for inputting price information that is information indicating a price and a target image that is an image including money;
Price specifying means for specifying a price based on price information input by the input means;
Corresponding money selection means for selecting corresponding money, which is one or more money corresponding to the price specified by the price specifying means, from the target image input by the input means;
Notification means for notifying the corresponding money selected by the corresponding money selection means;
An information processing apparatus comprising:
前記入力手段は、前記値段情報として、前記値段が表示された画像である値段画像を入力し、
前記値段特定手段は、前記値段画像を画像認識することにより前記値段を特定する、請求項1に記載の情報処理装置。
The input means inputs, as the price information, a price image that is an image displaying the price,
The information processing apparatus according to claim 1, wherein the price specifying unit specifies the price by recognizing the price image.
前記情報処理装置の位置を示す位置情報を取得する位置取得手段をさらに備え、
前記値段特定手段は、前記位置情報を用いて通貨単位を特定し前記値段を特定する、請求項1又は2に記載の情報処理装置。
Further comprising position acquisition means for acquiring position information indicating the position of the information processing apparatus;
The information processing apparatus according to claim 1, wherein the price specifying unit specifies a currency unit using the position information and specifies the price.
前記通知手段は、前記入力手段により入力された対象画像に、前記対応貨幣を示す情報を重畳表示する、請求項1〜3のいずれか一項に記載の情報処理装置。   The information processing apparatus according to any one of claims 1 to 3, wherein the notification unit superimposes and displays information indicating the corresponding money on the target image input by the input unit. 貨幣の特徴を示す貨幣基準情報を、複数種類の貨幣それぞれについて記憶する記憶手段と、
前記記憶手段に記憶された複数種類の貨幣の貨幣基準情報、及び、前記入力手段が入力した前記対象画像から、前記対象画像中の貨幣の種類を画像認識により特定する貨幣特定手段と、をさらに備え、
前記対応貨幣選択手段は、前記貨幣特定手段が特定した貨幣の種類に基づいて、前記値段特定手段が特定した値段に対応する前記対応貨幣を選択する、請求項1〜4のいずれか一項に記載の情報処理装置。
Storage means for storing money standard information indicating the characteristics of money for each of a plurality of types of money;
A money specifying means for specifying the type of money in the target image by image recognition from the money reference information of a plurality of types of money stored in the storage means and the target image input by the input means; Prepared,
The said corresponding money selection means selects the said corresponding money corresponding to the price specified by the price specifying means based on the type of money specified by the money specifying means. The information processing apparatus described.
前記情報処理装置の位置を示す位置情報を取得する位置取得手段をさらに備え、
前記貨幣特定手段は、
前記位置情報から特定される通貨単位が一致する貨幣群である貨幣候補を特定し、
前記記憶手段に記憶された複数種類の貨幣の貨幣基準情報のうち前記貨幣候補である貨幣の貨幣基準情報、及び前記入力手段が入力した前記対象画像から、前記対象画像中の貨幣の種類を特定する、請求項5に記載の情報処理装置。
Further comprising position acquisition means for acquiring position information indicating the position of the information processing apparatus;
The currency specifying means is:
Identify a money candidate that is a money group in which the currency unit specified from the position information matches;
The type of money in the target image is identified from the money reference information of the money that is the money candidate among the plurality of types of money reference information stored in the storage means and the target image input by the input means. The information processing apparatus according to claim 5.
前記貨幣特定手段は、
前記対象画像における貨幣の位置である貨幣位置を特定し、
特定した貨幣の種類及び貨幣位置を紐づけた貨幣テーブルを生成し、
前記対応貨幣選択手段は、前記貨幣テーブルにおいて前記対応貨幣を他の貨幣と区別した選択後貨幣テーブルを生成し、
前記通知手段は、
前記選択後貨幣テーブルに基づいて前記対応貨幣の前記貨幣位置を特定し、
前記入力手段により入力された対象画像において、前記対応貨幣の前記貨幣位置近傍に、前記対応貨幣を示す情報を重畳表示する、請求項5又は6に記載の情報処理装置。
The currency specifying means is:
Identifying a currency position that is the position of the currency in the target image;
Generate a money table that links the specified money type and money position,
The corresponding currency selection means generates a post-selection currency table that distinguishes the corresponding currency from other currencies in the currency table,
The notification means includes
Identifying the currency position of the corresponding currency based on the selected currency table;
The information processing apparatus according to claim 5 or 6, wherein information indicating the corresponding money is superimposed and displayed near the money position of the corresponding money in the target image input by the input means.
前記対応貨幣選択手段は、前記値段特定手段が特定した値段に対応する対応貨幣の選択肢が複数存在する場合に、前記選択肢から一の対応貨幣を選択する請求項1〜7のいずれか一項に記載の情報処理装置。   The said corresponding money selection means selects the one corresponding money from the said choice, when there are a plurality of options of the corresponding money corresponding to the price specified by the price specifying means. The information processing apparatus described. 前記対応貨幣選択手段は、価値が小さい貨幣を含む対応貨幣の選択肢を優先的に前記対応貨幣として選択する請求項8に記載の情報処理装置。   The information processing apparatus according to claim 8, wherein the corresponding money selection unit preferentially selects a corresponding money option including money with a small value as the corresponding money. 値段を示す情報である値段情報、及び、貨幣が含まれた画像である対象画像を入力する入力ステップと、
前記入力ステップにおいて入力された値段情報に基づいて値段を特定する値段特定ステップと、
前記入力ステップにおいて入力された対象画像から、前記値段特定ステップにおいて特定された値段に対応する1又は複数の貨幣である対応貨幣を選択する対応貨幣選択ステップと、
前記対応貨幣選択ステップにおいて選択された対応貨幣を通知する通知ステップと、
を含む情報処理方法。
An input step for inputting price information that is information indicating a price and a target image that is an image including money;
A price specifying step for specifying a price based on the price information input in the input step;
A corresponding currency selection step of selecting a corresponding currency that is one or a plurality of currencies corresponding to the price specified in the price specification step from the target image input in the input step;
A notification step of notifying the corresponding currency selected in the corresponding currency selection step;
An information processing method including:
値段を示す情報である値段情報、及び、貨幣が含まれた画像である対象画像を入力する入力モジュールと、
前記入力モジュールにより入力された値段情報に基づいて値段を特定する値段特定モジュールと、
前記入力モジュールにより入力された対象画像から、前記値段特定モジュールが特定した値段に対応する1又は複数の貨幣である対応貨幣を選択する対応貨幣選択モジュールと、
前記対応貨幣選択モジュールが選択した対応貨幣を通知する通知モジュールと、
を備える情報処理プログラム。
An input module for inputting price information, which is information indicating a price, and a target image, which is an image including money;
A price identifying module for identifying a price based on price information input by the input module;
A corresponding currency selection module that selects a corresponding currency that is one or a plurality of currencies corresponding to the price specified by the price specification module from the target image input by the input module;
A notification module for notifying the corresponding currency selected by the corresponding currency selection module;
An information processing program comprising:
JP2013095508A 2013-04-30 2013-04-30 Information processing apparatus, information processing method, and information processing program Expired - Fee Related JP6351932B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013095508A JP6351932B2 (en) 2013-04-30 2013-04-30 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013095508A JP6351932B2 (en) 2013-04-30 2013-04-30 Information processing apparatus, information processing method, and information processing program

Publications (2)

Publication Number Publication Date
JP2014215964A true JP2014215964A (en) 2014-11-17
JP6351932B2 JP6351932B2 (en) 2018-07-04

Family

ID=51941625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013095508A Expired - Fee Related JP6351932B2 (en) 2013-04-30 2013-04-30 Information processing apparatus, information processing method, and information processing program

Country Status (1)

Country Link
JP (1) JP6351932B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2560877A (en) * 2017-02-09 2018-10-03 Pye Robert Improvements in or relating to currency conversion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322579A (en) * 1999-05-13 2000-11-24 Sankyo Seiki Mfg Co Ltd Image recognizing device
JP2003115070A (en) * 2001-10-04 2003-04-18 Nippon Telegr & Teleph Corp <Ntt> Currency selecting method and currency computer
JP2007257502A (en) * 2006-03-24 2007-10-04 Oki Electric Ind Co Ltd Money paying-in device
JP2007281825A (en) * 2006-04-05 2007-10-25 Fuji Xerox Co Ltd Image processing apparatus and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322579A (en) * 1999-05-13 2000-11-24 Sankyo Seiki Mfg Co Ltd Image recognizing device
JP2003115070A (en) * 2001-10-04 2003-04-18 Nippon Telegr & Teleph Corp <Ntt> Currency selecting method and currency computer
JP2007257502A (en) * 2006-03-24 2007-10-04 Oki Electric Ind Co Ltd Money paying-in device
JP2007281825A (en) * 2006-04-05 2007-10-25 Fuji Xerox Co Ltd Image processing apparatus and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2560877A (en) * 2017-02-09 2018-10-03 Pye Robert Improvements in or relating to currency conversion

Also Published As

Publication number Publication date
JP6351932B2 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
US11704085B2 (en) Augmented reality quick-start and user guide
US10387742B2 (en) Extracting card data for simultaneous display with an image
US10176521B2 (en) Augmented reality virtual product for display
AU2018202908B2 (en) Controlling Access Based on Display Orientation
JP6557789B2 (en) Vending machine management system, vending machine management method, management apparatus, portable terminal, and program
JP6174369B2 (en) Information processing apparatus, information processing method, and information processing program
US9568955B2 (en) Merchant/customer POS interaction system
US9349063B2 (en) System and method for capturing token data with a portable computing device
US20150288464A1 (en) Methods and apparatus for consumer testing of an nfc device
CN114885613A (en) Tagging objects in augmented reality to track object data
WO2023026496A1 (en) Gate device, control method for gate device, program, and gate system
WO2019096200A1 (en) Electronic label-based self-service vending method and device
JP6351932B2 (en) Information processing apparatus, information processing method, and information processing program
US10679197B1 (en) Systems and methods for performing payment interface
WO2019096192A1 (en) Unmanned sales method and device based on electronic tags and identity recognition
US20230061377A1 (en) Product recognition system, product recognition apparatus, and method
US20190325511A1 (en) Augmented Reality Foreign Currency View
KR20130056386A (en) The code based lotto or sports lotto or printed lotto and service which can automatically recognize by camera sensor or direct input by user&#39;s hand in mobile phone
US9607418B1 (en) Method of transaction card recognition and interaction
TWM566367U (en) Trading device and trading system
US11887108B2 (en) System and user interface of a user device for managing tokens associated with a user
CN110864683B (en) Service handling guiding method and device based on augmented reality
KR20120000115A (en) The ss code or service which can recognize by camera sensor or direct input by user&#39;s hand
US20220398562A1 (en) Automatic Alerting Communications Systems and Methods
JP2016189043A (en) Vending machine device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180606

R150 Certificate of patent or registration of utility model

Ref document number: 6351932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees