JP4460611B2 - Product registration system and method - Google Patents

Product registration system and method Download PDF

Info

Publication number
JP4460611B2
JP4460611B2 JP2008021973A JP2008021973A JP4460611B2 JP 4460611 B2 JP4460611 B2 JP 4460611B2 JP 2008021973 A JP2008021973 A JP 2008021973A JP 2008021973 A JP2008021973 A JP 2008021973A JP 4460611 B2 JP4460611 B2 JP 4460611B2
Authority
JP
Japan
Prior art keywords
product
shape
image data
barcode
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008021973A
Other languages
Japanese (ja)
Other versions
JP2009181499A (en
Inventor
規彦 栗原
仁志 飯坂
祥也 山田
日出海 見原
修 土屋
英浩 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2008021973A priority Critical patent/JP4460611B2/en
Priority to US12/361,711 priority patent/US8074881B2/en
Priority to CN2009100084203A priority patent/CN101499200B/en
Publication of JP2009181499A publication Critical patent/JP2009181499A/en
Application granted granted Critical
Publication of JP4460611B2 publication Critical patent/JP4460611B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00Alarm indicators, e.g. bells
    • G07G3/006False operation
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47FSPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00Shop, bar, bank or like counters
    • A47F9/02Paying counters
    • A47F9/04Check-out counters, e.g. for self-service stores
    • A47F9/046Arrangement of recording means in or on check-out counters

Description

本発明は、商品に付された少なくともデータコードを撮像してその画像データを取得し、この取得された画像データからデータコードをデコードして商品の精算額等を求める精算処理を行う商品登録システム及びその方法に関する。   The present invention relates to a product registration system that performs at least a data code attached to a product, obtains the image data thereof, and performs a settlement process for obtaining a settlement amount of the product by decoding the data code from the acquired image data. And its method.

商品を販売する店舗には、商品の精算業務を行うための商品登録システムが設置されている。この商品登録システムは、例えばPOS端末と、このPOS端末に対して店内ローカルエリアネットワーク(LAN)を介して接続された店舗POSサーバとを備える。このうちPOS端末は、CCDスキャナ等を備える。このCCDスキャナは、商品に付されたデータコード、例えばバーコード又はQRコード(登録商標)を撮像してその画像データを出力する。POS端末は、CCDスキャナの撮像により取得された画像データからデータコードをデコードし、このデコード情報を店舗POSサーバに送信する。この店舗POSサーバは、予め複数の商品の商品名や単価等の商品情報を記憶し、POS端末からデコード情報を受け取ると、このデコード情報に対応する商品の単価等の商品情報を検索し、かつ例えば複数の商品の単価を合計した精算額情報を求めてPOS端末に返信する。POS端末は、店舗POSサーバから返信された精算額情報を例えば液晶ディスプレイ等に表示し、精算処理を行う。 A store that sells products is provided with a product registration system for performing product checkout. The product registration system includes, for example, a POS terminal and a store POS server connected to the POS terminal via an in-store local area network (LAN). Of these, the POS terminal includes a CCD scanner and the like. This CCD scanner images a data code attached to a product, such as a bar code or a QR code (registered trademark) , and outputs the image data. The POS terminal decodes the data code from the image data acquired by the imaging of the CCD scanner, and transmits this decoded information to the store POS server. This store POS server stores product information such as product names and unit prices of a plurality of products in advance, and receives decode information from the POS terminal, searches for product information such as unit prices of products corresponding to the decode information, and For example, the settlement amount information obtained by summing the unit prices of a plurality of products is obtained and returned to the POS terminal. The POS terminal displays the settlement amount information returned from the store POS server, for example, on a liquid crystal display or the like, and performs settlement processing.

このような商品登録システムにおいてCCDスキャナは、商品に付されたデータコードを撮像するが、このCCDスキャナによるデータコードの撮像(スキャニング)は、キャッシャが商品を把持し、この把持した状態で商品に付されているデータコードをCCDスキャナの撮像範囲内に配置する、いわゆるスキャニング作業により行われる。このようなスキャニング作業は、商品の精算処理業務の効率を向上するために迅速に行うことが要求される。精算処理業務等の迅速にするための技術として例えば特許文献1がある。この特許文献1は、商品の金額についての精算を行う精算装置の操作方法をガイダンスする操作ガイダンス表示装置を開示する。
特開2007−72803号公報
In such a merchandise registration system, the CCD scanner images the data code attached to the merchandise, and the data code is imaged (scanned) by the CCD scanner. This is performed by a so-called scanning operation in which the attached data code is arranged within the imaging range of the CCD scanner. Such scanning operations are required to be performed quickly in order to improve the efficiency of the product checkout process. For example, Patent Document 1 discloses a technique for speeding up a checkout process. This patent document 1 discloses an operation guidance display device that provides guidance for an operation method of a settlement apparatus that performs settlement on the amount of goods.
JP 2007-72803 A

ところが、キャッシャによる1回のスキャニング作業によって商品に付されているデータコードを撮像し、この撮像により取得された画像データからデータコードをデコードできないことがある。このような場合、キャッシャは、商品に付されているデータコードがデコードされるように、把持している商品を回転等させてCCDスキャナに対する商品の向きを変えて何回もスキャニング作業を行う。   However, there is a case where the data code attached to the product is imaged by one scanning operation by the cashier and the data code cannot be decoded from the image data obtained by this imaging. In such a case, the cashier performs the scanning operation many times by rotating the gripped product and changing the direction of the product with respect to the CCD scanner so that the data code attached to the product is decoded.

このため、商品に付されているデータコードがデコードできなければ、データコードがデコードできるまで何回もスキャニング作業を行うことになり、このようなスキャニング作業は、POS端末が持つ商品の精算処理業務の利便性を悪化させると共に、精算処理業務の効率も低下させてしまう。さらに、POS端末を操作するキャッシャに対して肉体的及び精神的に余計な労力を与えてしまう。   For this reason, if the data code attached to the product cannot be decoded, the scanning operation will be repeated many times until the data code can be decoded. As well as worsening the convenience, the efficiency of the checkout process is also reduced. In addition, extra physical and mental labor is applied to the cashier operating the POS terminal.

本発明の目的は、商品に付されているデータコードのデコードが確実に行えるような撮像の対処を支援して商品の精算処理業務の利便性を向上させると共に、精算処理業務の効率化を図ることができる商品登録システム及びその方法を提供することにある。   An object of the present invention is to improve the convenience of a product checkout process by supporting imaging processing that can reliably decode a data code attached to a product, and to improve the efficiency of the checkout process. An object of the present invention is to provide a commodity registration system and method thereof.

本発明の主要な局面に係る商品登録システムは、商品に付された少なくともデータコードを撮像してその画像データを取得し、この取得された前記画像データから前記データコードをデコードする商品登録システムであって、データコードのデコードに不具合が発生すると、当該不具合が発生していることの要因を解析するために画像データ中にデータコードが含まれなくてデコード情報が正常でないのか否かを判断し、画像データ中にデータコードが含まれないことを判断すると、画像データ中に含まれる商品の形状を認識し、商品の形状に応じてデータコードが商品に付されている位置情報に応じた対処情報を報知する対処情報報知部を具備する。 A product registration system according to a main aspect of the present invention is a product registration system that captures at least a data code attached to a product, acquires the image data, and decodes the data code from the acquired image data. If a defect occurs in the decoding of the data code, it is determined whether the decoding information is not normal because the data code is not included in the image data in order to analyze the cause of the occurrence of the defect. When it is determined that the data code is not included in the image data, the shape of the product included in the image data is recognized, and the action corresponding to the positional information attached to the product according to the shape of the product A coping information notifying unit for notifying information is provided.

本発明の主要な局面に係る商品登録方法は、商品に付された少なくともデータコードを撮像してその画像データを取得し、この取得された画像データからデータコードをデコードする商品登録方法であって、データコードのデコードに不具合が発生すると、当該不具合が発生していることの要因を解析するために画像データ中にデータコードが含まれなくてデコード情報が正常でないのか否かを判断し、画像データ中にデータコードが含まれないことを判断すると、画像データ中に含まれる商品の形状を認識し、商品の形状に応じてデータコードが商品に付されている位置情報に応じた対処情報を報知する。 A merchandise registration method according to a main aspect of the present invention is a merchandise registration method for imaging at least a data code attached to a merchandise, obtaining the image data, and decoding the data code from the obtained image data. When a defect occurs in the decoding of the data code, in order to analyze the cause of the occurrence of the defect , it is determined whether the decoding information is not normal because the data code is not included in the image data. If it is determined that the data code is not included in the data, the shape of the product included in the image data is recognized, and the action information corresponding to the position information attached to the product is determined according to the shape of the product. Inform.

本発明によれば、商品に付されているデータコードのデコードが確実に行えるような撮像の対処を支援して商品の精算処理業務の利便性を向上させると共に、精算処理業務の効率化を図ることができる商品登録システム及びその方法を提供できる。   According to the present invention, it is possible to improve the convenience of the checkout process of the product and to improve the efficiency of the checkout process by supporting the handling of imaging so that the data code attached to the product can be reliably decoded. A product registration system and a method for the same can be provided.

以下、本発明の一実施の形態について図面を参照して説明する。
図1は商品登録システムの構成図を示す。この商品登録システムは、例えばデータコード読取装置としてのPOS端末1と、このPOS端末1に対して店内ローカルエリアネットワーク(LAN)2を介して接続された店舗POSサーバ3とを備える。POS端末1は、CCDスキャナ4を備える。このCCDスキャナ4は、商品5に付されたデータコード、例えばバーコード6を撮像してその画像データを出力する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration diagram of a product registration system. This merchandise registration system includes, for example, a POS terminal 1 as a data code reading device and a store POS server 3 connected to the POS terminal 1 via an in-store local area network (LAN) 2. The POS terminal 1 includes a CCD scanner 4. The CCD scanner 4 images a data code attached to the product 5, for example, a barcode 6 and outputs the image data.

なお、商品5は、キャッシャによるスキャニング作業によりCCDスキャナ4の撮像範囲内に配置され、かつバーコード6が付されている商品5の面がCCDスキャナ4に対峙される。又、バーコード6は、台紙等のラベル上に印字され、このラベルが商品5に貼り付けられている。POS端末1は、CCDスキャナ4の撮像により取得された画像データからバーコード6をデコードし、このデコード情報を店内LAN2を介して店舗POSサーバ3に送信する。   The product 5 is placed in the imaging range of the CCD scanner 4 by the scanning operation by the cashier, and the surface of the product 5 to which the barcode 6 is attached is opposed to the CCD scanner 4. The bar code 6 is printed on a label such as a mount, and this label is attached to the product 5. The POS terminal 1 decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4 and transmits this decoded information to the store POS server 3 via the in-store LAN 2.

又、POS端末1には、操作キー7や購入商品表示部8、ガイダンス表示部9、スピーカ部10が備えられている。操作キー7は、キャッシャのマニュアル操作により例えば商品5に付されたバーコード6の数値コードを直接キー入力するためのものである。購入商品表示部8は、例えば商品5の名称や単価、個数、商品の精算額等を表示するためのものである。
ガイダンス表示部9は、バーコード6のデコードに不具合が発生したときにバーコード6のデコードを可能とするための対処情報、すなわちガイダンスメッセージを表示するためのものである。スピーカ部10は、バーコード6のデコードに不具合が発生したときにバーコード6のデコードを可能とするための対処情報、すなわちガイダンスメッセージを音声によりアナウンスするためのものである。
Further, the POS terminal 1 is provided with an operation key 7, a purchased product display unit 8, a guidance display unit 9, and a speaker unit 10. The operation key 7 is used to directly input a numeric code of the barcode 6 attached to the product 5, for example, by manual operation of the cashier. The purchased product display unit 8 is for displaying, for example, the name, unit price, number of products 5, and the payment amount of the product.
The guidance display unit 9 is for displaying countermeasure information for enabling decoding of the barcode 6 when a failure occurs in decoding of the barcode 6, that is, a guidance message. The speaker unit 10 is used for announcing the handling information for enabling the decoding of the barcode 6, that is, the guidance message, by voice when a failure occurs in the decoding of the barcode 6.

店舗POSサーバ3には、商品データベース11が備えられている。この商品データベース11には、複数の商品5の商品名、単価等の商品情報とデコード情報とが関係付けられて予め記憶されている。店舗POSサーバ3は、POS端末1から送信されたデコード情報を受け取り、商品データベース11を検索してデコード情報に対応する商品5の商品名、単価等の商品情報を取得し、この商品5の商品情報をPOS端末1に返信する。   The store POS server 3 includes a product database 11. In the product database 11, product information such as product names and unit prices of a plurality of products 5 and decode information are stored in advance in association with each other. The store POS server 3 receives the decode information transmitted from the POS terminal 1, searches the product database 11, acquires product information such as the product name and unit price of the product 5 corresponding to the decode information, and stores the product 5 Information is returned to the POS terminal 1.

又、店舗POSサーバ3は、バーコード6のデコードに不具合が発生したときにバーコード6のデコードを可能とするためのガイダンスメッセージを表示出力したり、音声によりアナウンスする対処情報報知部12を有する。
この対処情報報知部12は、POS端末1からバーコード6のデコードに不具合が発生したことの通知を受けると、これと共にCCDスキャナ4の撮像により取得された画像データを店内LAN2を介して受け取り、この画像データ中におけるバーコード6の撮像状況に応じてバーコード6のデコードの不具合を解析し、この解析結果に応じてPOS端末1においてバーコード6のデコードを可能とするガイダンスメッセージをガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知させる。
In addition, the store POS server 3 has a countermeasure information notification unit 12 that displays and outputs a guidance message for enabling decoding of the barcode 6 when a failure occurs in decoding of the barcode 6 or announces by voice. .
Upon receiving a notification from the POS terminal 1 that a failure has occurred in decoding the barcode 6, the handling information notification unit 12 receives image data acquired by the imaging of the CCD scanner 4 through the in-store LAN 2 together with the notification. A failure of decoding the barcode 6 is analyzed in accordance with the imaging state of the barcode 6 in the image data, and a guidance message for enabling the barcode 6 to be decoded in the POS terminal 1 is displayed in accordance with the analysis result. 9 is informed by either one or both of the display output and the voice announcement by the speaker unit 10.

具体的に対処情報報知部12には、参照画像データベース13と、バーコード位置データベース14と、ガイダンスデータベース15とが接続されている。このうち参照画像データベース13には、商品5の形状として少なくとも箱状、袋状、トレイ上に載置されたトレイ状、又は各生鮮品の形状等の図2乃至図5に示すような複数の参照画像データR1〜R4等が予め記憶されている。
図2は箱状に形成された商品5の参照画像データR1の一例を示す。この参照画像データR1は、商品5として例えば箱に入った菓子類である。この商品5は、例えば箱の側面にバーコード6が付されている。
図3は袋状に形成された商品5の参照画像データR2の一例を示す。この参照画像データR2は、商品5として例えば袋に入った菓子類である。この商品5は、例えば袋の裏面にバーコード6が付されている。
Specifically, a reference image database 13, a barcode position database 14, and a guidance database 15 are connected to the handling information notification unit 12. Among these, the reference image database 13 includes a plurality of products 5 as shown in FIGS. 2 to 5 such as at least a box shape, a bag shape, a tray shape placed on a tray, or a shape of each fresh product. Reference image data R1 to R4 and the like are stored in advance.
FIG. 2 shows an example of the reference image data R1 of the product 5 formed in a box shape. This reference image data R1 is, for example, confectionery in a box as the product 5. For example, the product 5 has a barcode 6 attached to the side of the box.
FIG. 3 shows an example of the reference image data R2 of the product 5 formed in a bag shape. This reference image data R2 is confectionery in a bag, for example, as the product 5. For example, the product 5 has a barcode 6 on the back surface of the bag.

図4はトレイ上に載置されたトレイ状の商品5の参照画像データR3の一例を示す。この参照画像データR3は、商品5として例えばトレイに載せられた魚類、野菜等である。この商品5は、例えばトレイに魚類、野菜等を載せた状態でラップ等が施され、このラップ等の表面にバーコード6が付されている。
図5は生鮮品等の商品5の参照画像データR4の一例を示す。この参照画像データR4は、商品5として例えばほうれん草、キャベツ等の生鮮品等である。この商品5は、例えば生鮮品等に帯状のラベルが施され、このラベルの表面にバーコード6が付されている。
FIG. 4 shows an example of the reference image data R3 of the tray-like product 5 placed on the tray. The reference image data R3 is, for example, fish or vegetables placed on a tray as the product 5. The product 5 is wrapped, for example, with fish, vegetables and the like placed on a tray, and a barcode 6 is attached to the surface of the wrap.
FIG. 5 shows an example of the reference image data R4 of the product 5 such as fresh products. The reference image data R4 is a fresh product such as spinach or cabbage as the product 5. For example, the product 5 is provided with a belt-like label on a fresh product or the like, and a barcode 6 is attached to the surface of the label.

又、参照画像データベース13には、画像データ中にバーコード6が含まれていても、当該画像データ中に含まれるバーコード6のデコードができない環境情報が予め記憶されている。この環境情報は、例えばバーコード6を付してあるラベル等に生じた皺によってバーコード6のデコードができない状態の参照画像データと、例えばキャッシャの手によってバーコード6を遮蔽してバーコード6のデコードができない状態の参照画像データと、バーコード6からの反射光の影響を受けてバーコード6のデコードができない状態の参照画像データと等である。   Further, the reference image database 13 stores in advance environment information that cannot decode the barcode 6 included in the image data even if the barcode 6 is included in the image data. This environmental information includes, for example, reference image data in a state where the barcode 6 cannot be decoded due to wrinkles generated on a label or the like to which the barcode 6 is attached, and the barcode 6 by shielding the barcode 6 with the hand of a cashier, for example. The reference image data in a state where the barcode 6 cannot be decoded, the reference image data in a state where the barcode 6 cannot be decoded due to the influence of the reflected light from the barcode 6, and the like.

バーコード位置データベース14には、商品5の形状として少なくとも箱状、袋状、トレイ上に載置されたトレイ状、又は各生鮮品の形状等に応じてバーコード6が商品5に付されている位置情報が予め記憶されている。この位置情報は、例えば箱状の商品5に対して箱の側面にバーコード6が付されているであり、袋状に形成された商品5に対して袋の裏面にバーコード6が付されているであり、トレイ状の商品5に対してラップ等の表面にバーコード6が付されているであり、生鮮品等の商品5に対して帯状のラベルの表面にバーコード6が付されているである。   In the barcode position database 14, a barcode 6 is attached to the product 5 according to at least the box shape, bag shape, tray shape placed on the tray, or the shape of each fresh product as the shape of the product 5. Position information is stored in advance. For example, the bar information 6 is attached to the side of the box for the box-shaped product 5, and the barcode 6 is attached to the back of the bag for the product 5 formed in a bag shape. The barcode 6 is attached to the surface of the wrap or the like for the tray-like product 5, and the barcode 6 is attached to the surface of the belt-like label for the product 5 such as fresh products. It is.

ガイダンスデータベース15には、商品5の形状として少なくとも箱状、袋状、トレイ上に載置されたトレイ状、又は生鮮品の形状等に応じたガイダンスメッセージが予め記憶されている。例えば、商品5の形状が箱状であれば、ガイダンスメッセージは、例えば「商品側面をかざす」である。商品5の形状が袋状であれば、ガイダンスメッセージは、例えば「商品裏面をかざす」である。商品5の形状がトレイ状であれば、ガイダンスメッセージは、例えば「商品正面の印字部をかざす」である。商品5の形状が生鮮品の形状であれば、ガイダンスメッセージは、例えば「帯の部分や印字部をかざす」である。   The guidance database 15 stores in advance a guidance message corresponding to at least a box shape, a bag shape, a tray shape placed on the tray, a fresh product shape, or the like as the shape of the product 5. For example, if the shape of the product 5 is a box shape, the guidance message is, for example, “hold the product side surface”. If the shape of the product 5 is a bag shape, the guidance message is, for example, “hold the back of the product”. If the shape of the product 5 is a tray shape, the guidance message is, for example, “hold the print part in front of the product”. If the shape of the product 5 is the shape of a fresh product, the guidance message is, for example, “hold the band portion or the print portion”.

又、ガイダンスデータベース15には、バーコード6のデコードを可能とする環境とするためのガイダンスメッセージが予め記憶されている。例えば、バーコード6を付してあるラベル等に生じた皺によってバーコード6のデコードができない状態であれば、ガイダンスメッセージは、例えば「皺を伸ばす」である。キャッシャの手によってバーコード6を遮蔽してバーコード6のデコードができない状態であれば、ガイダンスメッセージは、例えば「手の位置を変更する」である。バーコード6からの反射光の影響を受けてバーコード6のデコードができない状態であれば、ガイダンスメッセージは、例えば「傾け角度を変更する」等である。   The guidance database 15 stores in advance a guidance message for setting an environment that enables decoding of the barcode 6. For example, if the barcode 6 cannot be decoded due to a wrinkle generated on a label or the like to which the bar code 6 is attached, the guidance message is, for example, “stretch the wrinkle”. If the barcode 6 is blocked by the cashier's hand and the barcode 6 cannot be decoded, the guidance message is, for example, “change the hand position”. If the barcode 6 cannot be decoded due to the influence of the reflected light from the barcode 6, the guidance message is, for example, “change the tilt angle”.

対処情報報知部12は、CCDスキャナ4の撮像により取得された画像データを受け取り、この画像データ中にバーコード6が含まれないことを判断すると、画像データ中から商品5の形状を検出し、この商品5の形状と各参照画像データR1〜R4の各商品形状との各類似度を求め、これら類似度のうち最も高い類似度を示した参照画像データR1、R2、…、又はR4の商品5、例えば参照画像データR1に対する類似度が最も高ければ、CCDスキャナ4の撮像により取得された画像データ中の商品5の形状が参照画像データR1の商品5の形状、すなわち箱に入った菓子類と認識する。   When the handling information notification unit 12 receives the image data acquired by the imaging of the CCD scanner 4 and determines that the barcode 6 is not included in the image data, the handling information notification unit 12 detects the shape of the product 5 from the image data, The degree of similarity between the shape of the product 5 and the shape of each of the reference image data R1 to R4 is obtained, and the product of the reference image data R1, R2,. 5. For example, if the similarity to the reference image data R1 is the highest, the shape of the product 5 in the image data acquired by the imaging of the CCD scanner 4 is the shape of the product 5 of the reference image data R1, that is, the confectionery in the box. Recognize.

対処情報報知部12は、画像データ中に認識した商品5の形状に応じたガイダンスメッセージ、すなわち商品5の形状に応じてバーコード6が商品5に付されている位置情報から成るガイダンスメッセージをガイダンスデータベース15から検索し、この検索したガイダンスメッセージをガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知させる。   The coping information notifying unit 12 provides a guidance message according to the shape of the product 5 recognized in the image data, that is, a guidance message including position information where the barcode 6 is attached to the product 5 according to the shape of the product 5. The database 15 is searched, and the searched guidance message is displayed and output on the guidance display unit 9 or is announced by the speaker unit 10 by voice or by voice.

又、対処情報報知部12は、CCDスキャナ4の撮像により取得された画像データを受け取り、この画像データ中にバーコード6が含まれていても、当該画像データ中に含まれるバーコード6のデコードができないことを判断すると、この画像データと参照画像データベース13に記憶されている環境情報としての各参照画像データとを比較し、類似度の最も高い参照画像データからバーコード6のデコードができない環境情報、例えばバーコード6を付してあるラベル等に生じた皺によってバーコード6のデコードができない状態にあること、例えばキャッシャの手によってバーコード6を遮蔽してバーコード6のデコードができない状態にあること、又はバーコード6からの反射光の影響を受けてバーコード6のデコードができない状態にあることなどを認識する。   Further, the countermeasure information notification unit 12 receives image data acquired by the imaging of the CCD scanner 4 and decodes the barcode 6 included in the image data even when the barcode 6 is included in the image data. If it is determined that the image data cannot be decoded, the image data is compared with each reference image data as the environment information stored in the reference image database 13, and the barcode 6 cannot be decoded from the reference image data having the highest similarity. The barcode 6 cannot be decoded due to wrinkles generated on information, for example, a label attached with the barcode 6, for example, the barcode 6 cannot be decoded by shielding the barcode 6 with a cashier's hand. Or the barcode 6 cannot be decoded due to the reflected light from the barcode 6 Recognize, such as that there.

対処情報報知部12は、画像データ中にバーコード6が含まれていてもバーコード6のデコードができない環境情報に応じたガイダンスメッセージ、例えばバーコード6を印字したラベルに生じた例えば皺によりデコードができない場合に、例えば「皺を伸ばす」等のガイダンスメッセージをガイダンスデータベース15から検索し、この検索したガイダンスメッセージをガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知させる。   The handling information notification unit 12 decodes the guidance message according to the environmental information in which the barcode 6 cannot be decoded even if the barcode 6 is included in the image data, for example, the label generated by printing the barcode 6 If it is not possible, for example, a guidance message such as “stretch a heel” is searched from the guidance database 15, and the searched guidance message is displayed on the guidance display unit 9, or the speaker unit 10 makes an announcement by voice, or Inform both.

次に、上記の如く構成された商品登録システムの動作について図6に示す商品登録フローチャートに従って説明する。
キャッシャは、商品5を把持してCCDスキャナ4の撮像範囲内に配置し、商品5におけるバーコード6が付されている面をCCDスキャナ4に対峙するスキャニング作業を行う。このとき、CCDスキャナ4は、ステップS1において、商品5に付されたデータコード、例えばバーコード6を撮像してその画像データを出力する。
Next, the operation of the product registration system configured as described above will be described with reference to a product registration flowchart shown in FIG.
The cashier grips the product 5 and arranges it within the imaging range of the CCD scanner 4, and performs a scanning operation in which the surface of the product 5 to which the barcode 6 is attached faces the CCD scanner 4. At this time, in step S1, the CCD scanner 4 images the data code attached to the product 5, for example, the barcode 6, and outputs the image data.

次に、POS端末1は、ステップS2において、CCDスキャナ4の撮像により取得された画像データからバーコード6をデコードし、このデコード情報を店内LAN2を介して店舗POSサーバ3に送信する。   Next, in step S2, the POS terminal 1 decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4, and transmits this decoded information to the store POS server 3 via the in-store LAN 2.

店舗POSサーバ3は、ステップS3において、POS端末1から送信されたデコード情報を受信すると共に、受信したデコード情報が正常か否かを判断する。この判断の結果、受信したデコード情報が正常であれば、店舗POSサーバ3は、ステップS4に移り、商品データベース11を検索して受信したデコード情報に対応する商品5の商品名、単価等の商品情報を取得する。
次に、店舗POSサーバ3は、ステップS5において、商品データベース11を検索して取得したデコード情報に対応する商品5の商品名、単価等の商品情報を店内LAN2を介してPOS端末1に返信する。
In step S3, the store POS server 3 receives the decode information transmitted from the POS terminal 1, and determines whether or not the received decode information is normal. If the received decoding information is normal as a result of this determination, the store POS server 3 moves to step S4, searches the product database 11, and stores the product name, unit price, etc. of the product 5 corresponding to the received decoding information. Get information.
Next, in step S5, the store POS server 3 returns product information such as the product name and unit price of the product 5 corresponding to the decode information obtained by searching the product database 11 to the POS terminal 1 via the in-store LAN 2. .

次に、POS端末1は、ステップS6において、店舗POSサーバ3から返信された商品5の商品名、単価等の商品情報を受け取り、これら商品5の商品名、単価等の商品情報を購入商品表示部8に表示する。又、複数の商品5の精算処理を行う場合、POS端末1は、店舗POSサーバ3から返信された複数の商品5の商品名、単価等の商品情報や複数の商品5の精算額を受け取り、これら複数の商品5の商品名、単価等の商品情報や各商品5の精算額を購入商品表示部8に表示する。   Next, in step S6, the POS terminal 1 receives the product information such as the product name and the unit price of the product 5 returned from the store POS server 3, and displays the product information such as the product name and the unit price of the product 5 in the purchased product display. Displayed in part 8. Further, when the checkout process for a plurality of products 5 is performed, the POS terminal 1 receives the product information such as product names and unit prices of the plurality of products 5 returned from the store POS server 3 and the settlement amount of the plurality of products 5. Product information such as product names and unit prices of the plurality of products 5 and the settlement amount of each product 5 are displayed on the purchased product display unit 8.

一方、店舗POSサーバ3は、ステップS3において、POS端末1から送信されたデコード情報を受信すると共に、受信したデコード情報が正常か否かを判断する。このデコード情報が正常か否かの判断は、例えばPOS端末1から送信されたデコード情報の内容が予め設定されたデコード情報の形式等に合っているか否かで判断する。   On the other hand, in step S3, the store POS server 3 receives the decode information transmitted from the POS terminal 1 and determines whether or not the received decode information is normal. Whether the decode information is normal or not is determined, for example, based on whether or not the content of the decode information transmitted from the POS terminal 1 matches a preset format of the decode information.

この判断の結果、デコード情報が正常でなければ、店舗POSサーバ3は、ステップS7に移り、デコード情報に不具合が発生していることの要因を解析する。すなわち、対処情報報知部12は、CCDスキャナ4の撮像により取得された画像データを受け取り、この画像データ中にバーコード6が含まれなくてデコード情報が正常でないのか、又は画像データ中にバーコード6が含まれていても当該画像データ中に含まれるバーコード6のデコードができなくてデコード情報が正常でないのか否かを判断する。   If the result of this determination is that the decode information is not normal, the store POS server 3 moves to step S7 and analyzes the cause of the failure in the decode information. That is, the handling information notification unit 12 receives image data acquired by imaging of the CCD scanner 4, and the barcode 6 is not included in the image data and the decoding information is not normal, or the barcode is included in the image data. Even if 6 is included, it is determined whether or not the barcode 6 included in the image data cannot be decoded and the decoding information is not normal.

この判断の結果、画像データ中にバーコード6が含まれなくてデコード情報が正常でなければ、対処情報報知部12は、画像データ中から商品5の形状を検出し、この商品5の形状と参照画像データベース13に予め記憶されている図2乃至図5に示すような複数の参照画像データR1〜R4の各商品形状との各類似度を求める。   As a result of this determination, if the barcode data 6 is not included in the image data and the decoding information is not normal, the handling information notification unit 12 detects the shape of the product 5 from the image data, and the shape of the product 5 Each similarity with each product shape of a plurality of reference image data R1 to R4 as shown in FIGS. 2 to 5 stored in advance in the reference image database 13 is obtained.

次に、対処情報報知部12は、商品5の形状と各参照画像データR1〜R4の各商品形状との各類似度を求めた結果、例えば図2に示す参照画像データR1に対する類似度が最も高ければ、CCDスキャナ4の撮像により取得された画像データ中の商品5の形状が参照画像データR1の商品5の形状、すなわち箱に入った菓子類であると認識する。
なお、対処情報報知部12は、商品5の形状と図3に示す参照画像データR2に対する類似度が最も高ければ、画像データ中の商品5の形状が参照画像データR2の商品5の形状、すなわち例えば袋に入った菓子類であると認識する。又、対処情報報知部12は、商品5の形状と図4に示す参照画像データR3に対する類似度が最も高ければ、画像データ中の商品5の形状が参照画像データR3の商品5の形状、すなわち例えばトレイに載せられた魚類、野菜等であると認識する。又、対処情報報知部12は、商品5の形状と図5に示す参照画像データR4に対する類似度が最も高ければ、画像データ中の商品5の形状が参照画像データR4の商品5の形状、すなわち例えばほうれん草、キャベツ等の生鮮品等であると認識する。
Next, the countermeasure information notification unit 12 obtains the similarity between the shape of the product 5 and the product shapes of the reference image data R1 to R4. As a result, for example, the similarity to the reference image data R1 illustrated in FIG. If it is higher, the shape of the product 5 in the image data acquired by the imaging of the CCD scanner 4 is recognized as the shape of the product 5 of the reference image data R1, that is, the confectionery in the box.
If the similarity between the shape of the product 5 and the reference image data R2 shown in FIG. 3 is the highest, the handling information notification unit 12 determines that the shape of the product 5 in the image data is the shape of the product 5 of the reference image data R2, that is, For example, it is recognized as a confectionery in a bag. Further, if the degree of similarity between the shape of the product 5 and the reference image data R3 shown in FIG. 4 is the highest, the handling information notification unit 12 determines that the shape of the product 5 in the image data is the shape of the product 5 of the reference image data R3, that is, For example, it is recognized that it is a fish, a vegetable or the like placed on a tray. Further, if the degree of similarity between the shape of the product 5 and the reference image data R4 shown in FIG. 5 is the highest, the handling information notification unit 12 determines that the shape of the product 5 in the image data is the shape of the product 5 of the reference image data R4, that is, For example, it is recognized as fresh products such as spinach and cabbage.

次に、対処情報報知部12は、CCDスキャナ4の撮像により取得された画像データ中の商品5の形状が例えば図2に示すように箱に入った菓子類であると認識すると、バーコード位置データベース14を検索して箱に入った菓子類の商品5に対してバーコード6が付されている位置情報、すなわち箱の側面にバーコード6が付されている位置情報を取得する。
なお、対処情報報知部12は、図3に示すように商品5が袋状に形成されたものであれば、商品5に対して袋の裏面にバーコード6が付されている位置情報を取得する。又、対処情報報知部12は、図4に示すように商品5がトレイ状に形成されたものであれば、商品5に対してトレイ状の商品5に対してラップ等の表面にバーコード6が付されている位置情報を取得する。又、対処情報報知部12は、図5に示すように商品5が生鮮品等であれば、商品5に対して帯状のラベルの表面にバーコード6が付されている位置情報を取得する。
Next, when the countermeasure information notifying unit 12 recognizes that the shape of the product 5 in the image data acquired by the imaging of the CCD scanner 4 is, for example, confectionery in a box as shown in FIG. The database 14 is searched to obtain the position information with the barcode 6 attached to the confectionery product 5 in the box, that is, the position information with the barcode 6 attached to the side of the box.
If the product 5 is formed in a bag shape as shown in FIG. 3, the handling information notification unit 12 acquires position information in which the barcode 6 is attached to the back surface of the bag for the product 5. To do. Further, if the product 5 is formed in a tray shape as shown in FIG. 4, the handling information notification unit 12 has a barcode 6 on the surface of the tray 5 with respect to the product 5 on the surface such as a wrap. Get the location information marked with. Further, as shown in FIG. 5, if the product 5 is a fresh product or the like, the countermeasure information notification unit 12 acquires position information in which the barcode 6 is attached to the surface of the strip-shaped label with respect to the product 5.

次に、対処情報報知部12は、商品5に対して付されているバーコード6の位置情報を取得すると、ガイダンスデータベース15を検索し、商品5の形状やそのバーコード6の位置情報に応じたガイダンスメッセージを取得する。例えば、対処情報報知部12は、図2に示すように商品5の形状が箱状であれば、ガイダンスメッセージとして例えば「商品側面をかざす」を取得する。   Next, when the handling information notification unit 12 acquires the position information of the barcode 6 attached to the product 5, the handling information notification unit 12 searches the guidance database 15 according to the shape of the product 5 and the position information of the barcode 6. Get the guidance message. For example, if the shape of the product 5 is a box shape as illustrated in FIG. 2, the handling information notification unit 12 acquires, for example, “hold the product side face” as the guidance message.

次に、対処情報報知部12は、ステップS8において、商品5の形状が箱状である場合のガイダンスメッセージとして例えば「商品側面をかざす」をPOS端末1に送信する。これにより、店舗POSサーバ3は、店内LAN2を介してPOS端末1にガイダンスメッセージ「商品側面をかざす」を送信する。   Next, in step S8, the handling information notification unit 12 transmits, for example, “hold the product side” to the POS terminal 1 as a guidance message when the shape of the product 5 is box-shaped. As a result, the store POS server 3 transmits a guidance message “hold the product side” to the POS terminal 1 via the in-store LAN 2.

POS端末1は、ステップS9において、店舗POSサーバ3から送信されたガイダンスメッセージ「商品側面をかざす」を受信すると、このガイダンスメッセージ「商品側面をかざす」をガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知する。   When the POS terminal 1 receives the guidance message “Hold the product side face” transmitted from the store POS server 3 in step S9, the POS terminal 1 displays the guidance message “Holds the product side face” on the guidance display unit 9, or the speaker unit. 10 is notified by voice either or both of announcements.

キャッシャは、ガイダンス表示部9に表示出力されたガイダンスメッセージ「商品側面をかざす」を目視し、かつスピーカ部10から音声により発生されるガイダンスメッセージ「商品側面をかざす」のアナウンスを聞く。これにより、キャッシャは、ガイダンスメッセージに従って商品5の側面をCCDスキャナ4の撮像範囲内にかざすようにスキャニング作業を行う。この結果、POS端末1は、CCDスキャナ4の撮像により取得された画像データからバーコード6のデコードを正常に行うようになる。   The cashier looks at the guidance message “hold the product side” displayed on the guidance display unit 9 and listens to the announcement of the guidance message “hold the product side” generated by voice from the speaker unit 10. As a result, the cashier performs the scanning operation so that the side surface of the product 5 is held within the imaging range of the CCD scanner 4 in accordance with the guidance message. As a result, the POS terminal 1 normally decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4.

なお、対処情報報知部12は、図3に示すように商品5の形状が袋状であれば、ガイダンスメッセージとして例えば「商品裏面をかざす」を取得する。又、対処情報報知部12は、図4に示すように商品5の形状がトレイ状であれば、ガイダンスメッセージとして例えば「商品正面の印字部をかざす」を取得する。又、対処情報報知部12は、図5に示すように商品5の形状が生鮮品の形状であれば、ガイダンスメッセージとして例えば「帯の部分や印字部をかざす」を取得する。   If the shape of the product 5 is a bag as shown in FIG. 3, the handling information notification unit 12 acquires, for example, “hold the back of the product” as a guidance message. Further, if the shape of the product 5 is a tray as shown in FIG. 4, the handling information notification unit 12 acquires, for example, “hold the print unit in front of the product” as a guidance message. Further, as shown in FIG. 5, if the shape of the product 5 is a fresh product shape, the countermeasure information notification unit 12 acquires, for example, “hold the band portion or the printing portion” as a guidance message.

これにより、店舗POSサーバ3は、店内LAN2を介してPOS端末1にガイダンスメッセージ「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」を送信する。   As a result, the store POS server 3 transmits the guidance messages “hold the back of the product”, “hold the print part in front of the product”, or “hold the band part or print part” to the POS terminal 1 via the in-store LAN 2.

POS端末1は、店舗POSサーバ3から送信されたガイダンスメッセージ「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」を受信すると、このガイダンスメッセージ「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」をガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知する。   When the POS terminal 1 receives the guidance message “hold the back of the product”, “hold the print part in front of the product” or “hold the band part or print part” transmitted from the store POS server 3, this guidance message “product Hold the back side, hold the print part in front of the product, or hold the band part or print part on the guidance display unit 9 or notify the speaker unit 10 by voice or one of the announcements. .

しかるに、キャッシャは、ガイダンス表示部9に表示出力されたガイダンスメッセージ「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」を目視し、かつスピーカ部10から音声により発生されるガイダンスメッセージ「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」のアナウンスを聞く。これにより、キャッシャは、ガイダンスメッセージに従って商品5の裏面、商品6の正面の印字部又は帯の部分や印字部をCCDスキャナ4の撮像範囲内にかざすようにスキャニング作業を行う。この結果、POS端末1は、CCDスキャナ4の撮像により取得された画像データからバーコード6のデコードを正常に行うようになる。   Accordingly, the cashier visually observes the guidance messages “hold the back of the product”, “hold the print part in front of the product” or “hold the band part or the print part” displayed on the guidance display unit 9 and the speaker unit 10. Listen to the announcements of guidance messages "Hold the back of the product", "Hold the printed part in front of the product" or "Hold the band or printed part". Accordingly, the cashier performs a scanning operation according to the guidance message so that the back side of the product 5, the printed portion or the belt portion on the front side of the product 6, and the printed portion are held within the imaging range of the CCD scanner 4. As a result, the POS terminal 1 normally decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4.

一方、対処情報報知部12は、CCDスキャナ4の撮像により取得された画像データ中にバーコード6が含まれていても、当該画像データ中に含まれるバーコード6のデコードができなくてデコード情報が正常でないと判断すると、ステップS8において、POS端末1からの画像データと参照画像データベース13に記憶されている環境情報としての各参照画像データとを比較し、類似度の最も高い参照画像データからバーコード6のデコードができない環境情報、例えばバーコード6を付してあるラベル等に生じた皺によってバーコード6のデコードができない状態にあることを認識する。   On the other hand, the handling information notification unit 12 cannot decode the barcode 6 included in the image data even if the barcode 6 is included in the image data acquired by the imaging of the CCD scanner 4, and decode information. In step S8, the image data from the POS terminal 1 is compared with each reference image data as environment information stored in the reference image database 13, and the reference image data having the highest similarity is determined. It is recognized that the barcode 6 cannot be decoded by environmental information that the barcode 6 cannot be decoded, for example, a wrinkle generated on a label or the like to which the barcode 6 is attached.

なお、対処情報報知部12は、バーコード6のデコードができない環境情報として例えばキャッシャの手によってバーコード6を遮蔽してバーコード6のデコードができない状態にあること、又はバーコード6からの反射光の影響を受けてバーコード6のデコードができない状態にあることなどを認識する。   Note that the handling information notification unit 12 is in a state where the barcode 6 cannot be decoded by shielding the barcode 6 with the hand of the cashier, for example, as the environment information that the barcode 6 cannot be decoded, or the reflection from the barcode 6. It recognizes that the barcode 6 cannot be decoded due to the influence of light.

次に、対処情報報知部12は、ガイダンスデータベース15を検索し、例えばバーコード6を印字したラベルに生じた例えば皺によりデコードができない場合、ガイダンスメッセージとして例えば「皺を伸ばす」を取得する。
次に、対処情報報知部12は、ステップS8において、ラベルに生じた皺によりデコードができない場合のガイダンスメッセージとして例えば「皺を伸ばす」をPOS端末1に送信する。これにより、店舗POSサーバ3は、店内LAN2を介してPOS端末1にガイダンスメッセージ「皺を伸ばす」を送信する。
Next, the handling information notification unit 12 searches the guidance database 15 and, for example, obtains, for example, “stretch heel” as a guidance message when decoding cannot be performed due to, for example, heel generated on the label on which the barcode 6 is printed.
Next, in step S <b> 8, the handling information notification unit 12 transmits, for example, “stretch heel” to the POS terminal 1 as a guidance message when decoding cannot be performed due to the heel generated on the label. As a result, the store POS server 3 transmits a guidance message “stretch a bag” to the POS terminal 1 via the in-store LAN 2.

POS端末1は、ステップS9において、店舗POSサーバ3から送信されたガイダンスメッセージ「皺を伸ばす」を受信すると、このガイダンスメッセージ「皺を伸ばす」をガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知する。   When the POS terminal 1 receives the guidance message “stretch heel” transmitted from the store POS server 3 in step S 9, this guidance message “stretch heel” is displayed on the guidance display section 9 or is output by the speaker section 10. Announcement is made by voice, either or both.

キャッシャは、ガイダンス表示部9に表示出力されたガイダンスメッセージ「皺を伸ばす」を目視し、かつスピーカ部10から音声により発生されるガイダンスメッセージ「皺を伸ばす」のアナウンスを聞く。これにより、キャッシャは、ガイダンスメッセージに従って商品5のラベルに生じた皺を伸ばし、再度、商品5に付されたバーコード6をCCDスキャナ4の撮像範囲内にかざすようにスキャニング作業を行う。この結果、POS端末1は、CCDスキャナ4の撮像により取得された画像データからバーコード6のデコードを正常に行うようになる。   The cashier visually observes the guidance message “stretch heel” displayed and output on the guidance display section 9, and listens to the announcement of the guidance message “stretch heel” generated by voice from the speaker section 10. As a result, the cashier stretches the wrinkles generated on the label of the product 5 according to the guidance message, and performs the scanning operation so that the barcode 6 attached to the product 5 is held over the imaging range of the CCD scanner 4 again. As a result, the POS terminal 1 normally decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4.

なお、対処情報報知部12は、例えばキャッシャの手によってバーコード6を遮蔽してバーコード6のデコードができない場合、ガイダンスメッセージとして例えば「手の位置を変更する」を取得する。又、対処情報報知部12は、バーコード6からの反射光の影響を受けてバーコード6のデコードができない場合、ガイダンスメッセージとして例えば「傾け角度を変更する」を取得する。   For example, when the barcode 6 cannot be decoded by blocking the barcode 6 with the cashier's hand, the handling information notification unit 12 acquires, for example, “change hand position” as the guidance message. Further, when the barcode 6 cannot be decoded due to the influence of the reflected light from the barcode 6, the handling information notification unit 12 acquires “change tilt angle” as a guidance message, for example.

これにより、店舗POSサーバ3は、ステップS8において、店内LAN2を介してPOS端末1にガイダンスメッセージ「手の位置を変更する」又は「傾け角度を変更する」を送信する。   Thereby, the store POS server 3 transmits a guidance message “change the position of the hand” or “change the tilt angle” to the POS terminal 1 via the in-store LAN 2 in step S8.

POS端末1は、店舗POSサーバ3から送信されたガイダンスメッセージ「手の位置を変更する」又は「傾け角度を変更する」を受信すると、ステップS9において、ガイダンスメッセージ「手の位置を変更する」又は「傾け角度を変更する」をガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知する。   When the POS terminal 1 receives the guidance message “changes the position of the hand” or “changes the tilt angle” transmitted from the store POS server 3, in step S9, the POS terminal 1 changes the guidance message “changes the position of the hand” or “Change the tilt angle” is displayed on the guidance display unit 9 or is announced by the speaker unit 10 by voice or by voice.

しかるに、キャッシャは、ガイダンス表示部9に表示出力されたガイダンスメッセージ「手の位置を変更する」又は「傾け角度を変更する」を目視し、かつスピーカ部10から音声により発生されるガイダンスメッセージ「手の位置を変更する」又は「傾け角度を変更する」のアナウンスを聞く。これにより、キャッシャは、ガイダンスメッセージに従って商品5を把持する位置を変更したり、商品5の傾け角度を変更し、当該商品5に付されているバーコード6をCCDスキャナ4の撮像範囲内にかざすようにスキャニング作業を行う。この結果、POS端末1は、CCDスキャナ4の撮像により取得された画像データからバーコード6のデコードを正常に行うようになる。   Accordingly, the cashier visually observes the guidance message “changing the position of the hand” or “changing the tilt angle” displayed and output on the guidance display unit 9, and the guidance message “hand” generated from the speaker unit 10 by voice. Listen to the announcement “Change the position of” or “Change the tilt angle”. As a result, the cashier changes the position where the product 5 is gripped according to the guidance message, changes the tilt angle of the product 5, and holds the barcode 6 attached to the product 5 within the imaging range of the CCD scanner 4. Do the scanning work. As a result, the POS terminal 1 normally decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4.

このように上記一実施の形態によれば、バーコード6のデコードに不具合が発生すると、CCDスキャナ4の撮像により取得された画像データ中におけるバーコード6の撮像状況、例えば画像データ中にバーコード6が含まれなくてデコード情報が正常でないのか、又は画像データ中にバーコード6が含まれていても当該画像データ中に含まれるバーコード6のデコードができなくてデコード情報が正常でないのか否かを判断し、この判断の結果、画像データ中にバーコード6が含まれなくてデコード情報が正常でない場合、対処情報報知部12によって商品5の形状、例えば箱状、袋状、トレイ上に載置されたトレイ状、又は各生鮮品の形状等を認識し、これら商品5の形状に応じたガイダンスメッセージ「商品側面をかざす」「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」等をガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知する。   As described above, according to the embodiment, when a defect occurs in the decoding of the barcode 6, the imaging state of the barcode 6 in the image data acquired by the imaging of the CCD scanner 4, for example, the barcode in the image data. 6 is not included and the decoding information is not normal, or even if the barcode 6 is included in the image data, the barcode 6 included in the image data cannot be decoded and the decoding information is not normal. As a result of the determination, if the barcode data 6 is not included in the image data and the decoding information is not normal, the countermeasure information notification unit 12 sets the shape of the product 5 such as a box shape, a bag shape, or a tray. Recognize the shape of the placed tray or each perishable product, etc. Guidance messages corresponding to the shape of these products 5 Held over "," holding the printing portion of the product front "or" holding the part and printing part of the band "such as a display output to the guidance display unit 9, or notified by either or both of the announcement by voice through the speaker unit 10.

これにより、キャッシャは、例えば画像データ中にバーコード6が含まれなくてデコード情報が正常でないという不具合に応じたガイダンスメッセージ「商品側面をかざす」「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」等を目視し、かつスピーカ部10から音声により発生されるガイダンスメッセージ「商品裏面をかざす」「商品正面の印字部をかざす」又は「帯の部分や印字部をかざす」等のアナウンスを聞くことができる。そして、キャッシャは、このガイダンスメッセージに従って商品5の側面、裏面、正面の印字部又は帯の部分や印字部等をCCDスキャナ4の撮像範囲内にかざすようにスキャニング作業を行うことができる。この結果、POS端末1は、CCDスキャナ4の撮像により取得された画像データからバーコード6のデコードを正常に行うようになる。   As a result, the cashier, for example, displays the guidance messages “Hold the side of the product”, “Hold the back of the product”, “Print the print part on the front of the product” according to the problem that the barcode data 6 is not included in the image data and the decoding information is not normal. Guidance messages "Hold the back of the product" or "Hold the print on the front of the product" or "Strip of the product" You can hear announcements such as "Hold the print section up." Then, the cashier can perform a scanning operation according to the guidance message so that the side, back, front print portion or band portion or print portion of the product 5 is held within the imaging range of the CCD scanner 4. As a result, the POS terminal 1 normally decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4.

一方、画像データ中にバーコード6が含まれていても当該画像データ中に含まれるバーコード6のデコードができなくてデコード情報が正常でない場合、バーコード6のデコードができない環境情報、例えばバーコード6を付してあるラベル等に生じた皺によってバーコード6のデコードができない、キャッシャの手によってバーコード6を遮蔽してバーコード6のデコードができない、又はバーコード6からの反射光の影響を受けてバーコード6のデコードができないことを認識し、これらバーコード6のデコードができない環境情報に応じたガイダンスメッセージ、例えば「皺を伸ばす」「手の位置を変更する」又は「傾け角度を変更する」等をガイダンス表示部9に表示出力、又はスピーカ部10により音声によりアナウンスのいずれか一方又は両方で報知する。   On the other hand, even if the barcode 6 is included in the image data, if the barcode 6 included in the image data cannot be decoded and the decoding information is not normal, environment information that cannot be decoded, for example, the barcode The barcode 6 cannot be decoded due to the wrinkles generated on the label or the like to which the code 6 is attached, the barcode 6 cannot be decoded by shielding the barcode 6 with the hand of the cashier, or the reflected light from the barcode 6 cannot be decoded. Recognize that the barcode 6 cannot be decoded due to the influence, and guidance messages corresponding to environmental information in which the barcode 6 cannot be decoded, for example, “stretch the heel”, “change the position of the hand” or “tilt angle” ”Change” or the like is displayed on the guidance display unit 9 or announced by the speaker unit 10 by voice. Notifying at one or both.

これにより、キャッシャは、例えば画像データ中にバーコード6が含まれていても当該画像データ中に含まれるバーコード6のデコードができないという不具合に応じたガイダンスメッセージ「皺を伸ばす」「手の位置を変更する」又は「傾け角度を変更する」等を目視し、かつスピーカ部10から音声により発生されるガイダンスメッセージ「皺を伸ばす」「手の位置を変更する」又は「傾け角度を変更する」等のアナウンスを聞くことができる。そして、キャッシャは、このガイダンスメッセージに従って商品5のパッケージ等の皺を伸ばす、手の位置を変更する、又は商品5の傾け角度を変更する等を行って商品5に付されているバーコード6をCCDスキャナ4の撮像範囲内にかざすようにスキャニング作業を行うことができる。この結果、POS端末1は、CCDスキャナ4の撮像により取得された画像データからバーコード6のデコードを正常に行うようになる。   Thus, for example, the cashier can display guidance messages “stretch a heel”, “position of the hand” corresponding to a problem that the barcode 6 included in the image data cannot be decoded even if the barcode 6 is included in the image data. "Change the angle of inclination" or "Change the angle of inclination" and the like, and guidance messages "stretch the heel", "change the position of the hand" or "change the angle of inclination" generated by voice from the speaker unit 10 Etc. can be heard. Then, the cashier extends the bar of the product 5 according to the guidance message, changes the position of the hand, or changes the tilt angle of the product 5 to change the barcode 6 attached to the product 5. The scanning operation can be performed so as to be held within the imaging range of the CCD scanner 4. As a result, the POS terminal 1 normally decodes the barcode 6 from the image data acquired by the imaging of the CCD scanner 4.

この結果、商品5に付されているバーコード6のデコードが確実に行えるような撮像の対処のガイダンスメッセージを行うことによりCCDスキャナ4により商品5のバーコード6の撮像を容易に行うことができ、商品5に付されているバーコード6のデコードが確実に行え、かつ商品5の精算処理業務の利便性を向上させると共に、精算処理業務の効率化を図ることができる。   As a result, it is possible to easily capture the barcode 6 of the product 5 by the CCD scanner 4 by performing an imaging countermeasure guidance message so that the barcode 6 attached to the product 5 can be reliably decoded. In addition, the barcode 6 attached to the product 5 can be reliably decoded, the convenience of the settlement process of the product 5 can be improved, and the efficiency of the settlement process can be improved.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
例えば、上記一実施の形態は、商品5に付されているバーコード6のデコードについて説明したが、これに限らず、商品5に付されているQRコードのデコードについても適用可能である。
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
For example, in the above embodiment, the decoding of the barcode 6 attached to the product 5 has been described. However, the present invention is not limited to this, and the present invention can also be applied to the decoding of the QR code attached to the product 5.

又、参照画像データベース13に記憶される商品5の形状の参照画像データや、画像データ中にバーコード6が含まれていてもバーコード6のデコードができない環境情報は、箱状、袋状、トレイ状、各生鮮品の形状、さらにはバーコード6を付してあるラベル等に生じた皺、キャッシャの手によってバーコード6を遮蔽した状態、バーコード6からの反射光の影響を受けてバーコード6のデコードができない状態の参照画像データに限らず、他の商品5の形状の参照画像データや、他の環境情報の参照画像データを記憶してもよい。これに応じてガイダンスデータベース15に記憶するガイダンスメッセージの内容も各商品5の形状や他の環境情報に応じて追加してもよい。
対処情報報知部12は、店舗サーバ3に設けているが、これに限らず、POS端末1に設けてもよい。
The reference image data of the shape of the product 5 stored in the reference image database 13 and the environmental information that cannot be decoded even if the barcode 6 is included in the image data are box-shaped, bag-shaped, Tray-shaped, the shape of each fresh product, and the wrinkles generated on the label or the like with the barcode 6, the state where the barcode 6 is shielded by the hand of the cashier, and the influence of the reflected light from the barcode 6 Not only the reference image data in a state where the barcode 6 cannot be decoded, but also reference image data having a shape of another product 5 and reference image data of other environment information may be stored. Accordingly, the content of the guidance message stored in the guidance database 15 may be added according to the shape of each product 5 and other environmental information.
The handling information notification unit 12 is provided in the store server 3, but is not limited thereto, and may be provided in the POS terminal 1.

本発明に係る商品登録システムの一実施の形態を示す構成図。The block diagram which shows one Embodiment of the goods registration system which concerns on this invention. 同システムにより認識する箱状に形成された商品の参照画像データを示す摸式図。The model which shows the reference image data of the goods formed in the box shape recognized by the system. 同システムにより認識する袋状に形成された商品の参照画像データを示す摸式図。The model which shows the reference image data of the goods formed in the bag shape recognized by the system. 同システムにより認識するトレイ上に載置されたトレイ状の商品の参照画像データを示す摸式図。The model which shows the reference image data of the tray-shaped goods mounted on the tray recognized by the system. 同システムにより認識する生鮮品等の商品の参照画像データを示す摸式図。The model which shows the reference image data of goods, such as fresh goods recognized by the system. 同装置における商品登録フローチャート。The product registration flowchart in the same apparatus.

符号の説明Explanation of symbols

1:POS端末、2:店内ローカルエリアネットワーク(LAN)、3:店舗POSサーバ、4:CCDスキャナ、5:商品、6:バーコード、7:操作キー、8:購入商品表示部、9:ガイダンス表示部、10:スピーカ部、11:商品データベース、12:対処情報報知部、13:参照画像データベース、14:バーコード位置データベース、15:ガイダンスデータベース。   1: POS terminal, 2: in-store local area network (LAN), 3: store POS server, 4: CCD scanner, 5: product, 6: bar code, 7: operation key, 8: purchased product display section, 9: guidance Display unit, 10: speaker unit, 11: product database, 12: handling information notification unit, 13: reference image database, 14: barcode position database, 15: guidance database.

Claims (8)

商品に付された少なくともデータコードを撮像してその画像データを取得し、この取得された前記画像データから前記データコードをデコードする商品登録システムにおいて、
前記データコードのデコードに不具合が発生すると、当該不具合が発生していることの要因を解析するために前記画像データ中にデータコードが含まれなくてデコード情報が正常でないのか否かを判断し、前記画像データ中に前記データコードが含まれないことを判断すると、前記画像データ中に含まれる前記商品の形状を認識し、前記商品の形状に応じて前記データコードが前記商品に付されている位置情報に応じた対処情報を報知する対処情報報知部、
を具備することを特徴とする商品登録システム。
In a product registration system that captures at least a data code attached to a product, acquires the image data, and decodes the data code from the acquired image data.
When trouble occurs in the decoding of said data code, and determines whether the decoded information is not normal not contain data encoded in the image data in order to analyze the cause of that the failure has occurred, When it is determined that the data code is not included in the image data, the shape of the product included in the image data is recognized, and the data code is attached to the product according to the shape of the product. A coping information reporting unit for reporting coping information according to the position information ;
A product registration system comprising:
前記対処情報報知部は、前記画像データ中に前記データコードが含まれないことを判断すると、前記画像データ中から前記商品の形状を検出し、当該商品の形状と複数の参照画像データの商品の形状との各類似度を求め、前記類似度が最も高い前記参照画像データから前記商品の形状を認識し、前記商品の形状に応じた前記対処情報を報知することを特徴とする請求項1記載の商品登録システム。 If it is determined that the data code is not included in the image data , the handling information notification unit detects the shape of the product from the image data, and the shape of the product and a plurality of reference image data items. The degree of similarity with a shape is obtained, the shape of the product is recognized from the reference image data with the highest similarity, and the handling information according to the shape of the product is notified. Product registration system. 前記対処情報報知部は、前記商品の形状として少なくとも箱状、袋状、トレイ上に載置されたトレイ状、又は各生鮮品の形状を認識し、前記商品の形状に応じた前記対処情報を報知することを特徴とする請求項2記載の商品登録システム。 The handling information notification unit recognizes at least a box shape, a bag shape, a tray shape placed on a tray as a shape of the product, or a shape of each fresh product, and the handling information according to the shape of the product. The product registration system according to claim 2 , wherein notification is performed. 前記対処情報報知部は、前記対処情報をガイダンスメッセージとして表示出力又は音声により報知することを特徴とする請求項3記載の商品登録システム。 4. The product registration system according to claim 3, wherein the handling information notification unit notifies the handling information as a guidance message by display output or voice . 商品に付された少なくともデータコードを撮像してその画像データを取得し、この取得された前記画像データから前記データコードをデコードする商品登録方法において、
前記データコードのデコードに不具合が発生すると、当該不具合が発生していることの要因を解析するために前記画像データ中にデータコードが含まれなくてデコード情報が正常でないのか否かを判断し、前記画像データ中に前記データコードが含まれないことを判断すると、前記画像データ中に含まれる前記商品の形状を認識し、前記商品の形状に応じて前記データコードが前記商品に付されている位置情報に応じた対処情報を報知する、
ことを特徴とする商品登録方法
In the product registration method for capturing at least the data code attached to the product and acquiring the image data, and decoding the data code from the acquired image data,
When a defect occurs in the decoding of the data code, in order to analyze the cause of the occurrence of the defect, determine whether the decoding information is not normal because the data code is not included in the image data, When it is determined that the data code is not included in the image data, the shape of the product included in the image data is recognized, and the data code is attached to the product according to the shape of the product. Informing the coping information according to the location information,
Product registration how to, characterized in that.
前記画像データ中に前記データコードが含まれないことを判断すると、前記画像データ中から前記商品の形状を検出し、当該商品の形状と複数の参照画像データの商品の形状との各類似度を求め、前記類似度が最も高い前記参照画像データから前記商品の形状を認識し、前記商品の形状に応じた前記対処情報を報知することを特徴とする請求項5記載の商品登録方法 When it is determined that the data code is not included in the image data, the shape of the product is detected from the image data, and the similarity between the shape of the product and the shape of the products of the plurality of reference image data is determined. 6. The product registration method according to claim 5 , further comprising: recognizing the shape of the product from the reference image data having the highest similarity, and notifying the handling information according to the shape of the product . 前記商品の形状として少なくとも箱状、袋状、トレイ上に載置されたトレイ状、又は各生鮮品の形状を認識し、前記商品の形状に応じた前記対処情報を報知することを特徴とする請求項6記載の商品登録方法 Recognizing at least the box shape, the bag shape, the tray shape placed on the tray, or the shape of each fresh product as the shape of the product, and notifying the handling information according to the shape of the product The product registration method according to claim 6 . 前記対処情報をガイダンスメッセージとして表示出力又は音声により報知することを特徴とする請求項7記載の商品登録方法。 The product registration method according to claim 7, wherein the countermeasure information is notified as a guidance message by display output or voice .
JP2008021973A 2008-01-31 2008-01-31 Product registration system and method Expired - Fee Related JP4460611B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008021973A JP4460611B2 (en) 2008-01-31 2008-01-31 Product registration system and method
US12/361,711 US8074881B2 (en) 2008-01-31 2009-01-29 Merchandise checkout system
CN2009100084203A CN101499200B (en) 2008-01-31 2009-02-01 Merchandise register system and corresponding informing method for merchandise register

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008021973A JP4460611B2 (en) 2008-01-31 2008-01-31 Product registration system and method

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2009252108A Division JP5059083B2 (en) 2009-11-02 2009-11-02 Product registration system and method
JP2010028072A Division JP4995291B2 (en) 2010-02-10 2010-02-10 Product registration system and method

Publications (2)

Publication Number Publication Date
JP2009181499A JP2009181499A (en) 2009-08-13
JP4460611B2 true JP4460611B2 (en) 2010-05-12

Family

ID=40930698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008021973A Expired - Fee Related JP4460611B2 (en) 2008-01-31 2008-01-31 Product registration system and method

Country Status (3)

Country Link
US (1) US8074881B2 (en)
JP (1) JP4460611B2 (en)
CN (1) CN101499200B (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
JP5053396B2 (en) * 2010-02-15 2012-10-17 東芝テック株式会社 Code symbol reader and its control program
JP2011165139A (en) * 2010-02-15 2011-08-25 Toshiba Tec Corp Code symbol reading apparatus and control program
JP5596630B2 (en) * 2011-06-22 2014-09-24 東芝テック株式会社 Product list ticketing device
JP5194160B1 (en) 2011-10-19 2013-05-08 東芝テック株式会社 Information processing apparatus, information processing method, and program
JP2015099549A (en) * 2013-11-20 2015-05-28 東芝テック株式会社 Article-of-commerce recognition device and article-of-commerce recognition program
US10650368B2 (en) * 2016-01-15 2020-05-12 Ncr Corporation Pick list optimization method
JP6798831B2 (en) * 2016-09-07 2020-12-09 東芝テック株式会社 Information processing equipment and programs
US10192136B2 (en) * 2016-10-20 2019-01-29 Toshiba Tec Kabushiki Kaisha Image processing apparatus and image processing method
JP6336656B2 (en) * 2017-05-16 2018-06-06 東芝テック株式会社 Information processing apparatus, store system, and program
JP6547856B2 (en) * 2018-01-09 2019-07-24 カシオ計算機株式会社 Information display device, guidance display method and program
US11341342B2 (en) * 2018-02-14 2022-05-24 Aeolus Robotics Corporation Limited Optical encoder and method of operating the same
JP2020149639A (en) * 2019-03-15 2020-09-17 株式会社寺岡精工 Commodity registration system and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01270184A (en) 1988-04-21 1989-10-27 Toshiba Corp Character reader for document
JPH0442676A (en) 1990-06-07 1992-02-13 Mitsubishi Electric Corp Image pickup device
US5083638A (en) * 1990-09-18 1992-01-28 Howard Schneider Automated point-of-sale machine
US5393965A (en) * 1990-11-13 1995-02-28 Symbol Technologies, Inc. Flexible merchandise checkout and inventory management system
JP3123202B2 (en) 1992-04-27 2001-01-09 オムロン株式会社 Article code reader
CA2194500A1 (en) * 1994-07-05 1996-01-18 Charles W. Welch Security system and methods for preventing fraud in retail environments
US5691773A (en) * 1995-09-12 1997-11-25 Metanetics Corporation Anti-hand-jittering dataform readers and methods
US5770841A (en) * 1995-09-29 1998-06-23 United Parcel Service Of America, Inc. System and method for reading package information
EP1452997B1 (en) * 2003-02-25 2010-09-15 Canon Kabushiki Kaisha Apparatus and method for managing articles
US7118026B2 (en) 2003-06-26 2006-10-10 International Business Machines Corporation Apparatus, method, and system for positively identifying an item
JP2006011898A (en) 2004-06-28 2006-01-12 Matsushita Electric Ind Co Ltd Pos terminal
JP4830067B2 (en) 2005-09-07 2011-12-07 富士通フロンテック株式会社 Checkout system, operation guidance display program, operation guidance display method
JP4436872B2 (en) 2008-01-24 2010-03-24 東芝テック株式会社 Data code reader
JP4523975B2 (en) 2008-01-24 2010-08-11 東芝テック株式会社 Data code reader

Also Published As

Publication number Publication date
CN101499200B (en) 2011-07-13
JP2009181499A (en) 2009-08-13
CN101499200A (en) 2009-08-05
US20090194593A1 (en) 2009-08-06
US8074881B2 (en) 2011-12-13

Similar Documents

Publication Publication Date Title
JP4460611B2 (en) Product registration system and method
JP5297506B2 (en) Code reader and program
JP5000738B2 (en) Code reader and program
JP4538056B2 (en) Data code reader and product registration system
JP5166490B2 (en) Product code reader and program
JP5038456B2 (en) Sales registration device, checkout system and program
JP5502821B2 (en) Code reading device, sales data processing device, and program
JP2011154409A (en) Code reader and program
JP4523975B2 (en) Data code reader
JP2009289222A (en) Pos terminal
JP2012053701A (en) Code reader and program
JP4995291B2 (en) Product registration system and method
JP2014160493A (en) Self-pos device and operation method therefor
JP5256259B2 (en) Product code reading apparatus and product code reading method
JP5059083B2 (en) Product registration system and method
JP2012053712A (en) Store system and commodity code reading device
JP5349444B2 (en) Code reader and program
JP2013225331A (en) Code reader and program
JP2012022529A (en) Commodity code reader and program
JP2012256313A (en) Code reading device, and program
JP5066592B2 (en) Code reader and program
JP5255027B2 (en) Code reader and program
JP5183767B2 (en) Code reader and program
JP5377581B2 (en) Reading apparatus, merchandise sales information processing apparatus, and control program
JP2012048486A (en) Code reader and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees