JP2014160513A - Commodity recognition apparatus and method, and recognition dictionary adding program - Google Patents

Commodity recognition apparatus and method, and recognition dictionary adding program Download PDF

Info

Publication number
JP2014160513A
JP2014160513A JP2014109438A JP2014109438A JP2014160513A JP 2014160513 A JP2014160513 A JP 2014160513A JP 2014109438 A JP2014109438 A JP 2014109438A JP 2014109438 A JP2014109438 A JP 2014109438A JP 2014160513 A JP2014160513 A JP 2014160513A
Authority
JP
Japan
Prior art keywords
product
feature amount
image
recognition dictionary
declaration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014109438A
Other languages
Japanese (ja)
Other versions
JP5753929B2 (en
Inventor
Hiroshi Sugasawa
広志 菅澤
Hidehiro Naito
英浩 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2014109438A priority Critical patent/JP5753929B2/en
Publication of JP2014160513A publication Critical patent/JP2014160513A/en
Application granted granted Critical
Publication of JP5753929B2 publication Critical patent/JP5753929B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

PROBLEM TO BE SOLVED: To efficiently perform addition of feature quantity data into a recognition dictionary by an easy operation.SOLUTION: A commodity recognition apparatus compares appearance feature quantity of a commodity extracted from a photographed image with feature quantity data in a recognition dictionary file, and extracts candidates of a commodity included in the image. When a plurality of commodities is extracted, the apparatus receives selection input of the commodity included in the image from the plurality of candidate commodities. When receiving the selection input of any commodity, the apparatus receives input of declaration whether addition of the feature quantity data stored in the recognition dictionary file is performed for the selected commodity. When receiving the input of declaration to perform the addition, the apparatus adds the extracted appearance feature quantity data into the recognition dictionary file as the feature quantity data for the commodity whose selection is received.

Description

本発明の実施形態は、撮像手段で撮像された画像から商品を認識する商品認識装置及びこの装置が使用する認識辞書に特徴量データを追加する認識辞書追加プログラムに関する。   Embodiments described herein relate generally to a product recognition apparatus that recognizes a product from an image captured by an imaging unit, and a recognition dictionary addition program that adds feature amount data to a recognition dictionary used by the apparatus.

対象となる物品(オブジェクト)を撮像部で撮像した画像データから当該物品の特徴量を抽出し、認識辞書に登録された特徴量データと照合して類似度を算出し、この類似度に応じて当該物品の種別等を認識する技術がある。このような画像中に含まれる物品を認識する技術は、一般物体認識(generic object recognition)と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。   The feature quantity of the article is extracted from the image data obtained by imaging the target article (object) with the imaging unit, and the similarity is calculated by comparing with the feature quantity data registered in the recognition dictionary. There is a technique for recognizing the type of the article. Such a technique for recognizing an article included in an image is called generic object recognition. Regarding this general object recognition technique, various recognition techniques are described in the following documents.

柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット< URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット< URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf >
近年、例えば小売店の会計システム(POSシステム)において、顧客が買い上げる商品、特に、野菜、果物等のようにバーコードが付されていない商品の認識装置に、一般物体認識の技術を適用することが提案されている。この場合、認識辞書には、認識対象商品の外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表わす特徴量データが保存される。商品認識装置は、撮像手段によって撮像された商品の画像データから当該商品の外観上の特徴量を抽出し、この特徴量を認識辞書に登録されている各商品の特徴量データと照合する。そして商品認識装置は、特徴量データが類似している商品を認識商品候補として出力する。
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search August 10, 2010], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
Further, a technique for performing general object recognition by dividing an image into regions for each object is described in the following document.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [Search August 10, 2010], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = repl & type = pdf>
In recent years, for example, in a retail store accounting system (POS system), a general object recognition technique is applied to a recognition device for a product purchased by a customer, in particular, a product without a barcode such as a vegetable or a fruit. It has been proposed. In this case, feature amount data representing surface information such as the appearance shape, color, pattern, and unevenness of the product to be recognized as parameters is stored in the recognition dictionary. The product recognition device extracts feature quantities on the appearance of the product from the image data of the product imaged by the imaging unit, and collates the feature quantities with the feature value data of each product registered in the recognition dictionary. Then, the product recognition apparatus outputs a product having similar feature data as a recognized product candidate.

特開2010−237886号公報JP 2010-237886 A

一般物体認識の技術において、認識辞書への特徴量データの追加、すなわち認識処理の結果を基に認識辞書に特徴量のデータを追加することによって、認識精度が高められることは知られている。特に、一般物体認識の技術を商品認識装置に適用する場合、野菜や果物などの商品は、産地や季節等で外観が変化する。このため、認識辞書への特徴量データの追加は、認識精度を高める上で非常に有効である。   In the general object recognition technique, it is known that recognition accuracy can be improved by adding feature amount data to the recognition dictionary, that is, adding feature amount data to the recognition dictionary based on the result of recognition processing. In particular, when the general object recognition technique is applied to a product recognition apparatus, the appearance of products such as vegetables and fruits changes depending on the production area, season, and the like. For this reason, the addition of the feature amount data to the recognition dictionary is very effective for improving the recognition accuracy.

本発明が解決しようとする課題は、認識辞書への特徴量データの追加を簡単な操作で効率よく行うことができる商品認識装置及び当該装置が実装する認識辞書追加プログラムを提供しようとするものである。   The problem to be solved by the present invention is to provide a product recognition apparatus capable of efficiently adding feature quantity data to a recognition dictionary by a simple operation and a recognition dictionary addition program implemented by the apparatus. is there.

一実施形態において、商品認識装置は、特徴量抽出手段と、商品候補抽出手段と、商品選択受付手段と、追加宣言受付手段と、追加手段とを備える。特徴量抽出手段は、撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。商品候補抽出手段は、特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの特徴量データと照合して、画像に含まれる商品の候補を抽出する。商品選択受付手段は、商品候補抽出手段により複数の商品が画像に含まれる商品の候補として認識された場合に、この複数の商品の中から画像に含まれる商品の選択入力を受け付ける。追加宣言受付手段は、商品選択受付手段により複数の商品の中からいずれか1商品の選択入力を受け付けると、この選択された商品に対して認識辞書ファイルに保存されている特徴量データの追加を実行するか否かの宣言入力を受け付ける。追加手段は、追加宣言受付手段により追加を実行する旨の宣言入力を受け付けると、特徴量抽出手段により抽出された外観特徴量のデータを、商品選択受付手段により選択を受け付けた商品に対する特徴量データとして認識辞書ファイルに追加する。   In one embodiment, the product recognition apparatus includes a feature amount extraction unit, a product candidate extraction unit, a product selection reception unit, an additional declaration reception unit, and an addition unit. The feature amount extraction unit extracts the appearance feature amount of the product included in the image from the image captured by the imaging unit. The product candidate extraction means includes the feature quantity data of the recognition dictionary file in which the feature quantity data representing the surface information of the product for each product to be recognized is stored as the feature data extracted by the feature quantity extraction means. Collation is performed and product candidates included in the image are extracted. The product selection receiving unit receives a selection input of a product included in the image from the plurality of products when the product candidate extracting unit recognizes a plurality of products as candidates for the product included in the image. When the addition declaration accepting unit accepts a selection input of any one of a plurality of products by the product selection accepting unit, the addition declaration accepting unit adds the feature amount data stored in the recognition dictionary file for the selected product. Accepts declaration input for execution. When the adding means receives the declaration input for executing the addition by the addition declaration receiving means, the feature quantity data for the product whose selection is received by the product selection receiving means is used as the data of the appearance feature quantity extracted by the feature quantity extracting means. As a recognition dictionary file.

店舗会計システムの外観図。1 is an external view of a store accounting system. スキャナ装置とPOS端末とのハードウェア構成を示すブロック図。The block diagram which shows the hardware constitutions of a scanner apparatus and a POS terminal. 認識辞書ファイルに保存される辞書データの構造を示す模式図。The schematic diagram which shows the structure of the dictionary data preserve | saved at a recognition dictionary file. 商品認識装置としての機能を説明するためのブロック図。The block diagram for demonstrating the function as a goods recognition apparatus. 認識辞書追加機能を実現するために必要なメモリエリアを示す模式図。The schematic diagram which shows a memory area required in order to implement | achieve a recognition dictionary addition function. 商品認識プログラム及び認識辞書追加プログラムに従って商品認識装置のCPUが実行する情報処理手順の要部を示す流れ図。The flowchart which shows the principal part of the information processing procedure which CPU of a goods recognition apparatus performs according to a goods recognition program and a recognition dictionary addition program. 図6のステップST5で示す認識処理の具体的な手順を示す流れ図。The flowchart which shows the specific procedure of the recognition process shown by step ST5 of FIG. 登録商品選択画面の一例を示す図。The figure which shows an example of a registration goods selection screen. 追加可否選択画面の一例を示す図。The figure which shows an example of an addition propriety selection screen.

以下、商品認識装置に係る実施形態を、図面を用いて説明する。なお、本実施形態は、生鮮食品等を商品として取扱う小売店の店舗会計システムを構築するスキャナ装置1とPOS(Point Of Sales)端末2とに、商品認識装置としての機能を持たせた場合である。   Hereinafter, an embodiment according to a product recognition device will be described with reference to the drawings. This embodiment is a case where the scanner device 1 and the POS (Point Of Sales) terminal 2 for constructing a store accounting system of a retail store that handles fresh food as products are provided with a function as a product recognition device. is there.

図1は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置1と、顧客の代金支払いを処理する決済部としてのPOS(Point Of Sales)端末2とを含む。スキャナ装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を介して設置される。スキャナ装置1とPOS端末2とは、図示しない通信ケーブルによって電気的に接続される。   FIG. 1 is an external view of a store accounting system. This system includes a scanner device 1 as a registration unit for registering products purchased by a customer, and a POS (Point Of Sales) terminal 2 as a settlement unit for processing payment for the customer. The scanner device 1 is mounted on the accounting counter 3. The POS terminal 2 is installed on the cash register 4 via the drawer 5. The scanner device 1 and the POS terminal 2 are electrically connected by a communication cable (not shown).

スキャナ装置1は、キーボード11、タッチパネル12及び客用ディスプレイ13を備える。これらの表示・操作デバイス(キーボード11、タッチパネル12、客用ディスプレイ13)は、スキャナ装置1の本体を構成する薄型矩形形状のハウジング1Aに取り付けられる。   The scanner device 1 includes a keyboard 11, a touch panel 12, and a customer display 13. These display / operation devices (keyboard 11, touch panel 12, customer display 13) are attached to a thin rectangular housing 1A that constitutes the main body of the scanner device 1.

ハウジング1Aには、撮像手段としての撮像部14が内蔵される。また、矩形状の読取窓1Bが、ハウジング1Aの正面に形成される。撮像部14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓1Bから撮像レンズを通してCCD撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。   The housing 1A incorporates an imaging unit 14 as imaging means. A rectangular reading window 1B is formed in front of the housing 1A. The imaging unit 14 includes a CCD (Charge Coupled Device) imaging device that is an area image sensor and its drive circuit, and an imaging lens for forming an image of the imaging region on the CCD imaging device. The imaging region refers to a region of a frame image that forms an image on the area of the CCD imaging device from the reading window 1B through the imaging lens. The imaging unit 14 outputs an image of the imaging region formed on the CCD imaging device through the imaging lens.

POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。   The POS terminal 2 includes a keyboard 21, an operator display 22, a customer display 23, and a receipt printer 24 as devices necessary for payment.

会計カウンタ3は、その奥側の顧客通路に沿って細長い形状である。レジ台4は、会計カウンタ3に沿って移動する顧客の移動方向に対して下流側の会計カウンタ3の端部手前側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3の手前側とレジ台4の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。   The checkout counter 3 has an elongated shape along the customer passage on the back side. The cash register 4 is placed substantially perpendicular to the transaction counter 3 on the front side of the end of the transaction counter 3 on the downstream side with respect to the moving direction of the customer moving along the transaction counter 3. The front side of the accounting counter 3 and the front side of the cash register 4 serve as a space for so-called cashiers in charge of accounting.

会計カウンタ3の略中央には、スキャナ装置1のハウジング1Aが、キーボード11、タッチパネル12及び読取窓1Bをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置1の客用ディスプレイ13は、顧客通路側を向いてハウジング1Aに取り付けられる。   In the approximate center of the accounting counter 3, the housing 1A of the scanner device 1 is erected with the keyboard 11, the touch panel 12, and the reading window 1B facing the cashier side on the front side. The customer display 13 of the scanner device 1 is attached to the housing 1A so as to face the customer passage.

会計カウンタ3のスキャナ装置1を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Mが入れられた買物カゴ6を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置1により登録された商品Mを入れるための買物カゴ7を置くためのスペースとなる。   On the upstream side of the customer counter in the direction of customer movement across the scanner device 1 of the checkout counter 3 is a space for placing a shopping basket 6 containing unregistered products M to be purchased by the shopper. On the other hand, the downstream cargo receiving surface is a space for placing a shopping basket 7 into which the commodity M registered by the scanner device 1 is placed.

図2は、スキャナ装置1とPOS端末2とのハードウェア構成を示すブロック図である。スキャナ装置1は、スキャナ部101と操作・表示部102とを備える。スキャナ部101は、制御部本体としてCPU(Central Processing Unit)111を搭載する。そしてこのCPU111に、アドレスバス,データバス等のバスライン112を介して、ROM(Read Only Memory)113とRAM(Random Access Memory)114とが接続される。ROM113には、CPU111によって実行されるプログラムが記憶される。   FIG. 2 is a block diagram illustrating a hardware configuration of the scanner device 1 and the POS terminal 2. The scanner device 1 includes a scanner unit 101 and an operation / display unit 102. The scanner unit 101 includes a CPU (Central Processing Unit) 111 as a control unit main body. A ROM (Read Only Memory) 113 and a RAM (Random Access Memory) 114 are connected to the CPU 111 via a bus line 112 such as an address bus or a data bus. The ROM 113 stores a program executed by the CPU 111.

この他、バスライン112には、入出力回路(不図示)を介して前記撮像部14が接続される。また、接続インターフェース115及び接続インターフェース116を介して、前記キーボード11、タッチパネル12及び客用ディスプレイ13が、バスライン112に接続される。タッチパネル12は、例えば液晶ディスプレイを用いたパネル表示部121と、この表示部の画面上に重ねて配置されたタッチパネルセンサ122とを備える。   In addition, the imaging unit 14 is connected to the bus line 112 via an input / output circuit (not shown). The keyboard 11, the touch panel 12 and the customer display 13 are connected to the bus line 112 via the connection interface 115 and the connection interface 116. The touch panel 12 includes a panel display unit 121 using, for example, a liquid crystal display, and a touch panel sensor 122 arranged on the screen of the display unit.

前記接続インターフェース116と、前記キーボード11、タッチパネル12及び客用ディスプレイ13とは、前記操作・表示部102を構成する。操作・表示部102を構成する各部は、スキャナ部101のCPU111のみならず、後述するPOS端末2のCPU201によってもコントロールされる。   The connection interface 116, the keyboard 11, the touch panel 12, and the customer display 13 constitute the operation / display unit 102. Each unit constituting the operation / display unit 102 is controlled not only by the CPU 111 of the scanner unit 101 but also by a CPU 201 of the POS terminal 2 described later.

POS端末2も、制御部本体としてCPU201を搭載する。そしてこのCPU201に、バスライン202を介して、ROM203、RAM204、HDD(Hard Disk Drive)装置205、通信インターフェース206及び接続インターフェース207が接続される。また、バスライン202には、前記キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5の各部も、それぞれ入出力回路(不図示)を介して接続される。   The POS terminal 2 also includes a CPU 201 as a control unit main body. The CPU 201 is connected to a ROM 203, a RAM 204, an HDD (Hard Disk Drive) device 205, a communication interface 206, and a connection interface 207 via a bus line 202. Further, the keyboard 21, the operator display 22, the customer display 23, the printer 24, and the drawer 5 are connected to the bus line 202 through input / output circuits (not shown).

通信インターフェース206は、LAN(Local Area Network)等のネットワークを介して、店舗の中枢を担う店舗サーバ8と接続される。この接続により、POS端末2は、店舗サーバ8とデータの送受信が可能となる。かくしてPOS端末2は、店舗サーバ8が有する認識辞書ファイル9や商品データファイル(不図示)等にアクセスして、各ファイルに保存されているデータレコードを読み込んだり、データレコードを更新(追加、変更、削除)したりする。   The communication interface 206 is connected to the store server 8 serving as the center of the store via a network such as a LAN (Local Area Network). With this connection, the POS terminal 2 can exchange data with the store server 8. Thus, the POS terminal 2 accesses the recognition dictionary file 9 and the product data file (not shown) possessed by the store server 8 and reads the data record stored in each file or updates (adds or changes) the data record. , Delete).

接続インターフェース207は、通信ケーブルを介して、スキャナ装置1の両接続インターフェース115,116と接続される。この接続により、POS端末2は、スキャナ装置1のスキャナ部101で読み取られた情報を受信する。また、POS端末2は、スキャナ装置1の操作・表示部102を構成するキーボード11、タッチパネル12、客用ディスプレイ13との間でデータ信号を送受信する。   The connection interface 207 is connected to both connection interfaces 115 and 116 of the scanner device 1 via a communication cable. With this connection, the POS terminal 2 receives information read by the scanner unit 101 of the scanner device 1. The POS terminal 2 transmits and receives data signals to and from the keyboard 11, touch panel 12, and customer display 13 that constitute the operation / display unit 102 of the scanner device 1.

図3は、認識辞書ファイル9に保存される辞書データの構造を示す模式図である。図3に示すように、認識辞書ファイル9には、認識対象である商品毎に、その商品を識別する商品ID及び商品名と関連付けて、複数の特徴量データが保存される。特徴量データは、対応する商品IDで識別される商品の表面情報(外観形状、色合い、模様、凹凸等)である外観上の特徴量をパラメータで表わしたもので、1つの商品に対し、その商品を様々な方向から見たときの特徴量データ0〜Nがそれぞれ保存される。なお、1つの商品に対する特徴量データの数(N+1)は、固定ではない。また、特徴量データの数(N+1)は商品によって異なる。   FIG. 3 is a schematic diagram showing the structure of dictionary data stored in the recognition dictionary file 9. As shown in FIG. 3, the recognition dictionary file 9 stores a plurality of feature amount data in association with a product ID and a product name for identifying a product for each product to be recognized. The feature amount data represents the feature amount on the appearance, which is the surface information (appearance shape, hue, pattern, unevenness, etc.) of the product identified by the corresponding product ID. Feature quantity data 0 to N when the product is viewed from various directions are stored. Note that the number (N + 1) of feature amount data for one product is not fixed. Further, the number (N + 1) of feature amount data varies depending on the product.

店舗で販売される各商品には、固有の商品IDが割当てられている。商品データファイルには、各商品の商品IDと関連付けて、商品名、単価、プリセット画像等の商品情報が保存されている。   A unique product ID is assigned to each product sold in the store. In the product data file, product information such as product name, unit price, and preset image is stored in association with the product ID of each product.

図4は、前記スキャナ装置1とPOS端末2とによって構成される商品認識装置としての機能を説明するためのブロック図である。この機能は、特徴量抽出手段41、商品候補抽出手段42、商品選択受付手段43、追加宣言受付手段44及び追加手段45を含む。   FIG. 4 is a block diagram for explaining a function as a product recognition device constituted by the scanner device 1 and the POS terminal 2. This function includes a feature amount extraction unit 41, a product candidate extraction unit 42, a product selection reception unit 43, an addition declaration reception unit 44, and an addition unit 45.

特徴量抽出手段41は、撮像部14により撮像された画像からその画像に含まれる商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量(外観特徴量)を抽出する。商品候補抽出手段42は、特徴量抽出手段41により抽出された外観特徴量のデータを、前記認識辞書ファイル9に保存されている各商品の特徴量データと順次照合して、商品毎にデータの類似度を算出する。類似度の算出方法は、特に限定されるものではなく、例えば等しい文字数を持つ特徴量データどうしの対応する位置にある文字が異なっている数を計数するハミング距離の手法を用いて類似度を算出してもよい。商品候補抽出手段42は、類似度が基準より高い商品を、画像に含まれる商品の候補として抽出する。なお、類似度は、例えば、一致する度合いを示す一致度(一致率)や、どの程度相関するかを示す相関値等であってもよい。すなわち類似度は、撮像部14により撮像された画像の特徴量と認識辞書ファイル9に記憶されている特徴量とを基に得られる値であればよい。   The feature quantity extraction unit 41 extracts feature quantities (appearance feature quantities) on the appearance such as the shape, surface color, pattern, and unevenness of the product included in the image from the image captured by the imaging unit 14. The product candidate extracting unit 42 sequentially compares the feature data of the appearance extracted by the feature amount extracting unit 41 with the feature amount data of each product stored in the recognition dictionary file 9, and stores the data for each product. Calculate similarity. The method of calculating the similarity is not particularly limited. For example, the similarity is calculated using a Hamming distance method that counts the number of characters that are different from each other in the corresponding positions of feature data having the same number of characters. May be. The product candidate extraction unit 42 extracts products whose similarity is higher than the reference as candidates for products included in the image. Note that the degree of similarity may be, for example, a degree of coincidence (a coincidence rate) indicating a degree of coincidence, a correlation value indicating how much correlation is performed, and the like. That is, the similarity may be a value obtained based on the feature amount of the image captured by the imaging unit 14 and the feature amount stored in the recognition dictionary file 9.

商品候補抽出手段42により複数の商品が画像に含まれる商品の候補として認識されると、商品選択受付手段43は、この複数の商品の中から画像に含まれる商品の選択入力を受け付ける。商品選択受付手段43により複数の商品の中からいずれか1商品の選択入力を受け付けると、追加宣言受付手段44は、この選択された商品に対して認識辞書ファイル9に保存されている特徴量データの追加を実行するか否かの宣言入力を受け付ける。追加宣言受付手段44により追加を実行する旨の宣言入力を受け付けると、追加手段45は、特徴量抽出手段41により抽出された外観特徴量のデータを、商品選択受付手段43により選択を受け付けた商品に対する特徴量データとして認識辞書ファイル9に追加する。つまり商品認識装置(スキャナ装置1、POS端末2)は、認識処理の結果を基に認識辞書ファイル9に特徴量のデータを追加する認識辞書追加機能を有している。   When the product candidate extracting unit 42 recognizes a plurality of products as candidates for a product included in the image, the product selection receiving unit 43 receives a selection input of a product included in the image from the plurality of products. When the product selection receiving unit 43 receives a selection input of any one of a plurality of products, the additional declaration receiving unit 44 stores the feature amount data stored in the recognition dictionary file 9 for the selected product. Declaration input of whether to execute addition of is accepted. When the addition declaration accepting unit 44 accepts a declaration input indicating that the addition is to be performed, the adding unit 45 receives the appearance feature value data extracted by the feature value extracting unit 41 from the product selection accepting unit 43. Is added to the recognition dictionary file 9 as feature amount data. That is, the product recognition device (scanner device 1, POS terminal 2) has a recognition dictionary addition function for adding feature amount data to the recognition dictionary file 9 based on the result of recognition processing.

図5は、上記認識辞書追加機能を実現するために必要なメモリエリアを示す模式図である。メモリエリア51は、追加実行フラグFの記憶エリアである。商品認識装置は、追加実行フラグFがオンのとき認識辞書追加機能を有効とし、オフのとき同機能を無効とする。メモリエリア52は、認識辞書ファイル9の追加を実行するか否かの確認をとる条件(確認条件)をステータス(1or0)によって設定したテーブルエリアである。確認条件としては、「類似度差」と「候補順位」とがある。ステータスが“1”のとき、対応する確認条件が有効となる。追加実行フラグFがオンのとき、確認条件「類似度差」または「候補順位」のいずれか一方のステータスが“1”になる。   FIG. 5 is a schematic diagram showing a memory area necessary for realizing the recognition dictionary addition function. The memory area 51 is a storage area for the additional execution flag F. The product recognition apparatus validates the recognition dictionary addition function when the additional execution flag F is on, and invalidates the function when the addition execution flag F is off. The memory area 52 is a table area in which a condition (confirmation condition) for confirming whether or not to add the recognition dictionary file 9 is set by the status (1 or 0). The confirmation conditions include “similarity difference” and “candidate rank”. When the status is “1”, the corresponding confirmation condition is valid. When the additional execution flag F is on, the status of either the confirmation condition “similarity difference” or “candidate rank” is “1”.

前記追加宣言受付手段44は、前記商品選択受付手段43により選択入力を受け付けた商品の認識辞書ファイル9に保存される特徴量データと特徴量抽出手段41により抽出された外観特徴量のデータとの類似度が、商品候補抽出手段42により候補として抽出された他の商品の認識辞書ファイル9に保存される特徴量データと特徴量抽出手段41により抽出された外観特徴量のデータとの類似度と比較して低いとき、追加を実行するか否かの宣言入力を受け付ける。   The additional declaration receiving unit 44 includes the feature amount data stored in the product recognition dictionary file 9 for which the selection input is received by the product selection receiving unit 43 and the appearance feature amount data extracted by the feature amount extracting unit 41. The similarity between the feature quantity data stored in the recognition dictionary file 9 of another product extracted as a candidate by the product candidate extraction means 42 and the appearance feature quantity data extracted by the feature quantity extraction means 41 When the comparison is low, a declaration input as to whether or not to perform addition is accepted.

具体的には、選択入力を受け付けた商品の前記類似度と、候補として認識された他の商品の前記類似度のうち最も高い類似度との差が所定値以上であるとき、追加を実行するか否かの宣言入力を受け付ける。若しくは、選択入力を受け付けた商品の前記類似度が、候補として認識された全商品の前記類似度を高い順に並べた順位において1位以外の所定の順位以下に相当するとき、追加を実行するか否かの宣言入力を受け付ける。前者の追加宣言受付手段は、前記確認条件「類似度差」に対するステータスが“1”であるとき実行される。後者の追加宣言受付手段は、前記確認条件「候補順位」に対するステータスが“1”であるとき実行される。   Specifically, the addition is executed when the difference between the similarity of the product for which the selection input has been accepted and the highest similarity among the similarities of the other products recognized as candidates is equal to or greater than a predetermined value. Accepts declaration input of whether or not. Alternatively, whether the addition is executed when the similarity of the product for which the selection input has been received corresponds to a predetermined order other than the first in the order in which the similarities of all the products recognized as candidates are arranged in descending order Accept declarative input of no. The former additional declaration acceptance means is executed when the status for the confirmation condition “similarity difference” is “1”. The latter additional declaration acceptance means is executed when the status for the confirmation condition “candidate rank” is “1”.

メモリエリア51,52は、POS端末2のRAM204に形成される。スキャナ装置1のRAM114にメモリエリア51,52が形成されていてもよい。メモリエリア51の追加実行フラグFをオンするか否かは、POS端末2の設定業務の中で自動若しくは手動により実行される。同様に、メモリエリア51の確認条件別のステータスのうち、どちらのステータスを“1”にするかという設定も、POS端末2の設定業務の中で自動若しくは手動により実行される。   The memory areas 51 and 52 are formed in the RAM 204 of the POS terminal 2. Memory areas 51 and 52 may be formed in the RAM 114 of the scanner device 1. Whether to turn on the additional execution flag F in the memory area 51 is automatically or manually executed in the setting work of the POS terminal 2. Similarly, the setting of which status is set to “1” among the statuses for each confirmation condition in the memory area 51 is automatically or manually executed in the setting work of the POS terminal 2.

図6は、商品認識プログラム及び認識辞書追加プログラムに従って商品認識装置(スキャナ装置1、POS端末2)のCPU(CPU111、CPU201)が実行する情報処理手順の要部を示す流れ図である。同図において、ステップST1からステップST7までの処理は商品認識プログラムに従った処理であり、ステップST8からステップST14までの処理は認識辞書追加プログラムに従った処理である。   FIG. 6 is a flowchart showing the main part of the information processing procedure executed by the CPU (CPU 111, CPU 201) of the product recognition device (scanner device 1, POS terminal 2) according to the product recognition program and the recognition dictionary addition program. In the figure, the process from step ST1 to step ST7 is a process according to the product recognition program, and the process from step ST8 to step ST14 is a process according to the recognition dictionary addition program.

商品認識プログラムと認識辞書追加プログラムは、各々独立したプログラムであってもよいし、1本のプログラムであってもよい。商品認識プログラムと認識辞書追加プログラムは、POS端末2のROM203に格納される。上記プログラムの少なくとも一部がスキャナ装置1のROM113に格納されていてもよい。   The product recognition program and the recognition dictionary addition program may be independent programs or a single program. The product recognition program and the recognition dictionary addition program are stored in the ROM 203 of the POS terminal 2. At least a part of the program may be stored in the ROM 113 of the scanner device 1.

図6の処理が開始すると、CPU(CPU111またはCPU201:以下同)は、撮像部14に対して撮像オン信号を出力する(ST1)。例えば、CPU201がCPU111に対して撮像オンを指令し、この指令を受けたCPU111が、撮像部14に対して撮像オン信号を出力する。この撮像オン信号により、撮像部14が撮像領域の撮像を開始する。撮像部14で撮像された撮像領域のフレーム画像は、RAM114に順次保存される。   When the processing of FIG. 6 starts, the CPU (CPU 111 or CPU 201: the same applies hereinafter) outputs an imaging on signal to the imaging unit 14 (ST1). For example, the CPU 201 instructs the CPU 111 to turn on imaging, and the CPU 111 that has received this command outputs an imaging on signal to the imaging unit 14. In response to this imaging on signal, the imaging unit 14 starts imaging of the imaging region. Frame images of the imaging area captured by the imaging unit 14 are sequentially stored in the RAM 114.

CPUは、RAM114に保存されたフレーム画像のデータを取り込む(ST2)。そしてCPUは、このフレーム画像から商品が検出されるか否かを確認する(ST3)。具体的には、CPUは、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPUは、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、CPUは、その輪郭内の画像を商品とみなす。   The CPU takes in the frame image data stored in the RAM 114 (ST2). Then, the CPU confirms whether or not a product is detected from this frame image (ST3). Specifically, the CPU extracts a contour line and the like from an image obtained by binarizing the frame image. Then, the CPU tries to extract the contour of the object displayed in the frame image. When the contour of the object is extracted, the CPU regards the image within the contour as a product.

フレーム画像から商品が検出されない場合(ST3にてNO)、CPUは、RAM114から次のフレーム画像を取り込む(ST2)。そしてCPUは、このフレーム画像から商品が検出されるか否かを確認する(ST3)。   If no product is detected from the frame image (NO in ST3), the CPU captures the next frame image from RAM 114 (ST2). Then, the CPU confirms whether or not a product is detected from this frame image (ST3).

フレーム画像から商品が検出された場合には(ST3にてYES)、CPUは、その輪郭内の画像から商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量(外観特徴量)を抽出する(ST4:特徴量抽出手段41)。抽出された外観特徴量のデータは、RAM204のワークエリアに一時的に格納される。   When a product is detected from the frame image (YES in ST3), the CPU uses the image in the outline to determine the feature amount (appearance feature amount) such as the shape, surface color, pattern, and unevenness of the product. ) Is extracted (ST4: feature amount extraction means 41). The extracted appearance feature amount data is temporarily stored in the work area of the RAM 204.

特徴量を抽出し終えると、CPUは、図7の流れ図により具体的に示される手順の認識処理を実行する(ST5:商品候補抽出手段42)。先ず、CPUは、店舗サーバ8の認識辞書ファイル9を検索する(ST21)。そしてCPUは、認識辞書ファイル9から1商品のデータレコード(商品ID、商品名、複数の特徴量データ)を読み込む(ST22)。   When the feature amount extraction is completed, the CPU executes a procedure recognition process specifically shown by the flowchart of FIG. 7 (ST5: product candidate extraction means 42). First, the CPU searches the recognition dictionary file 9 of the store server 8 (ST21). Then, the CPU reads a data record of one product (product ID, product name, multiple feature data) from the recognition dictionary file 9 (ST22).

データレコードを読み込めたならば、CPUは、ステップST4の処理で抽出された外観特徴量のデータが、当該レコードの特徴量データに対してどの程度類似しているかを示す類似度を算出する(ST23)。類似度は、値が大きいほど類似率が高いと言える。本実施形態では、類似度の上限を“100”として、商品毎に特徴量データの類似度が算出される。   If the data record is read, the CPU calculates a similarity indicating how similar the appearance feature data extracted in the process of step ST4 is to the feature data of the record (ST23). ). It can be said that the similarity is higher as the value is higher. In the present embodiment, assuming that the upper limit of similarity is “100”, the similarity of feature amount data is calculated for each product.

CPUは、類似度が所定の基準閾値より高いか否かを確認する(ST24)。基準閾値は、登録商品候補として残すべき商品の類似度の下限である。前述したように類似度の上限値を“100”とした場合、基準閾値は、例えばその1/5の“20”と設定する。類似度が基準閾値より高いレベルにある場合(ST24にてYES)、CPUは、当該データレコードの商品ID及び商品名と、ステップST4の処理で抽出された外観特徴量のデータと、ステップST23の処理で算出された類似度とを、登録商品候補としてRAM204の所定エリアに格納する(ST25)。これに対し、類似度が基準閾値を超えない場合には(ST24にてNO)、CPUは、ステップST25の処理を実行しない。   The CPU confirms whether the similarity is higher than a predetermined reference threshold (ST24). The reference threshold is the lower limit of the similarity of products that should be left as registered product candidates. As described above, when the upper limit value of the similarity is “100”, the reference threshold value is set to “1/5”, for example, “20”. When the degree of similarity is higher than the reference threshold (YES in ST24), the CPU stores the product ID and product name of the data record, the appearance feature amount data extracted in step ST4, and step ST23. The similarity calculated in the process is stored as a registered product candidate in a predetermined area of the RAM 204 (ST25). On the other hand, when the similarity does not exceed the reference threshold value (NO in ST24), the CPU does not execute the process of step ST25.

しかる後、CPUは、認識辞書ファイル9に未処理のデータレコードが存在するか否かを確認する(ST26)。存在する場合(ST26にてYES)、CPUは、ステップST22の処理に戻る。すなわちCPUは、認識辞書ファイル9から未処理のデータレコードをさらに読み込んで、前記ステップST23〜ST26の処理を実行する。   Thereafter, the CPU confirms whether or not an unprocessed data record exists in the recognition dictionary file 9 (ST26). If it exists (YES in ST26), the CPU returns to the process of step ST22. That is, the CPU further reads an unprocessed data record from the recognition dictionary file 9 and executes the processes of steps ST23 to ST26.

こうして、認識辞書ファイル9に保存されている全ての商品のデータレコードについて、前記ステップST23〜ST26の処理が実行されると(ST26にてNO)、認識処理が終了する。認識処理が終了すると、CPUは、登録商品候補の有無を確認する(ST6)。   In this way, when the processes of steps ST23 to ST26 are executed for the data records of all the products stored in the recognition dictionary file 9 (NO in ST26), the recognition process ends. When the recognition process is completed, the CPU confirms whether or not there is a registered commodity candidate (ST6).

RAM204の所定エリアに登録商品候補となる商品データ(商品コード,商品名,外観特徴量、類似度)が1つも格納されていない場合、登録商品候補はない。この場合(ST6にてNO)、CPUは、ステップST2の処理に戻る。すなわちCPUは、RAM114から次のフレーム画像データを取り込む。そしてCPUは、この画像データについて、前記ステップST3〜ST6の処理を実行する。   If no product data (product code, product name, appearance feature, similarity) that is a registered product candidate is stored in a predetermined area of the RAM 204, there is no registered product candidate. In this case (NO in ST6), the CPU returns to the process in step ST2. That is, the CPU fetches the next frame image data from the RAM 114. Then, the CPU executes the processes of steps ST3 to ST6 for this image data.

一方、RAM204の所定エリアに登録商品候補となる商品データ(商品コード,商品名,外観特徴量、類似度)が1つでも格納されていた場合には、登録商品候補がある。この場合(ST6にてYES)、CPUは、登録商品を自動的に設定できるか否かを確認する(ST7)。具体的には、CPUは、登録商品候補となる商品データのなかで類似度が所定の決定閾値を超えるデータが1つのみ存在するか否かを確認する。決定閾値は、前記基準閾値よりも充分に大きい値であり、前述したように類似度の上限値を“100”とした場合、その半分より若干多い値、たとえば“60”と設定する。   On the other hand, if even one piece of product data (product code, product name, appearance feature, similarity) as a registered product candidate is stored in a predetermined area of the RAM 204, there is a registered product candidate. In this case (YES in ST6), the CPU confirms whether or not the registered product can be automatically set (ST7). Specifically, the CPU checks whether or not there is only one piece of data whose similarity exceeds a predetermined determination threshold among the product data that are registered product candidates. The decision threshold is a value sufficiently larger than the reference threshold. If the upper limit value of the similarity is “100” as described above, the decision threshold is set to a value slightly more than half, for example, “60”.

登録商品候補の中で類似度が決定閾値を超える商品が1つのみ存在する場合、この商品が登録商品として自動的に決定される。それ以外、つまりは類似度が決定閾値を超える商品が1つも存在しないか2つ以上存在する場合には、登録商品が決定されない。登録商品が決定された場合(ST7にてYES)、CPUは、ST8以降の処理、つまりは認識辞書追加プログラムの処理ルーチンをジャンプして、次の処理、つまりは自動決定された商品の登録処理ルーチンに移行する。   When only one product whose similarity exceeds the determination threshold among registered product candidates, this product is automatically determined as a registered product. In other cases, that is, in the case where there is no product that has a similarity that exceeds the determination threshold, or there are two or more products, the registered product is not determined. When the registered product is determined (YES in ST7), the CPU jumps to the processing after ST8, that is, the processing routine of the recognition dictionary addition program, and the next processing, that is, the registration processing of the automatically determined product. Move to routine.

これに対し、登録商品が決定されない場合には(ST7にてNO)、CPUは、タッチパネル12に登録商品選択画面60を表示させる(ST8:商品選択受付手段43)。   On the other hand, when the registered product is not determined (NO in ST7), the CPU displays the registered product selection screen 60 on the touch panel 12 (ST8: product selection receiving means 43).

登録商品選択画面60の一例を図8に示す。図示するように、登録商品選択画面60は、撮影画像表示領域61と、候補商品表示領域62とに区分される。また、「その他」ボタン63が登録商品選択画面60に表示される。撮影画像表示領域61には、ステップST2の処理で取り込んだフレーム画像が表示される。候補商品表示領域62は、さらに3つの領域621,622,623に細分化されており、画面の上から類似度の大きい順に登録商品候補となった商品のプリセット画像が表示される。   An example of the registered product selection screen 60 is shown in FIG. As illustrated, the registered product selection screen 60 is divided into a captured image display region 61 and a candidate product display region 62. In addition, an “other” button 63 is displayed on the registered product selection screen 60. In the captured image display area 61, the frame image captured in the process of step ST2 is displayed. The candidate product display area 62 is further subdivided into three regions 621, 622, and 623, and preset images of products that are registered product candidates are displayed in descending order of similarity from the top of the screen.

因みに、初期画面では、類似度が1位から3位までの商品のプリセット画像が候補商品表示領域62(621,622,623)に画面の上から順に表示される。この状態で、「その他」ボタン63がタッチ操作されると、候補商品表示領域62は、類似度が4位から6位までの商品のプリセット画像に切り替わる。以後、「その他」ボタン63がタッチ操作される毎に、領域62の画像は、類似度がより下位の商品のプリセット画像に切り替わる。なお、「その他」ボタン63が1回タッチ操作されると、「戻る」ボタンの画像が登録商品選択画面60に表示される。そして、この「戻る」ボタンがタッチ操作されると、タッチパネル12の画面は、直前の登録商品選択画面60に戻る。   Incidentally, on the initial screen, the preset images of the products having the first to third similarities are displayed in order from the top of the screen in the candidate product display area 62 (621, 622, 623). In this state, when the “others” button 63 is touch-operated, the candidate product display area 62 is switched to the preset images of products whose similarity is from the 4th place to the 6th place. Thereafter, each time the “others” button 63 is touched, the image in the region 62 is switched to a preset image of a product with a lower similarity. When the “other” button 63 is touched once, an image of the “return” button is displayed on the registered product selection screen 60. When this “return” button is touch-operated, the screen of the touch panel 12 returns to the previous registered product selection screen 60.

読取窓1Bに登録商品をかざしたユーザは、候補商品表示領域62のなかから登録商品を探す。そして、登録商品を見つけたならば、ユーザは、この商品のプリセット画像が表示されている領域621,622または623にタッチする。   The user who holds the registered product over the reading window 1B searches for the registered product in the candidate product display area 62. If the registered product is found, the user touches the area 621, 622, or 623 where the preset image of the product is displayed.

CPUは、候補商品表示領域62がタッチ操作されるのを待機する。候補商品表示領域62がタッチ操作されたならば、CPUは、そのタッチ領域にプリセット画像が表示されている商品の類似度の順位を確認する(ST9)。類似度が1位の商品が選択された場合(ST9にてYES)、CPUは、ST10以降の処理をジャンプして、次の処理、つまりは類似度が1位の商品の登録処理ルーチンに移行する。   The CPU waits for the candidate product display area 62 to be touched. If the candidate product display area 62 is touched, the CPU confirms the order of similarity of the products for which the preset image is displayed in the touch area (ST9). When the product with the highest similarity is selected (YES in ST9), the CPU jumps to the processing after ST10 and proceeds to the next processing, that is, the registration processing routine for the product with the highest similarity. To do.

これに対し、類似度が2位以下の商品が選択された場合には(ST9にてNO)、CPUは、追加実行フラグFをチェックする(ST10)。追加実行フラグFがオフの場合、認識辞書の追加は行われない。この場合(ST10にてNO)、CPUは、ST11以降の処理をジャンプして、次の処理、つまりは選択された商品の登録処理ルーチンに移行する。   On the other hand, when a product with the second highest similarity is selected (NO in ST9), the CPU checks the additional execution flag F (ST10). When the additional execution flag F is off, the recognition dictionary is not added. In this case (NO in ST10), the CPU jumps to the processing after ST11 and proceeds to the next processing, that is, the registration processing routine for the selected product.

これに対し、追加実行フラグFがオンの場合には、CPUは、追加実行の確認が必要か否かを判定する(ST11)。すなわちCPUは、メモリエリア52をチェックして、ステータスが“1”の確認条件を認識する。確認条件が「類似度差」であった場合、CPUは、選択された商品の類似度と1位の類似度との差分を計算し、この差分値が所定の閾値を超えるか否かを確認する。そしてCPUは、差分値が所定の閾値を超える場合にはユーザに確認する必要有りと決定し、差分値が所定の閾値以下の場合にはユーザに確認する必要なしと決定する。   On the other hand, if the additional execution flag F is on, the CPU determines whether confirmation of additional execution is necessary (ST11). That is, the CPU checks the memory area 52 and recognizes a confirmation condition whose status is “1”. When the confirmation condition is “similarity difference”, the CPU calculates the difference between the similarity of the selected product and the first similarity, and confirms whether the difference value exceeds a predetermined threshold value. To do. The CPU determines that it is necessary to confirm with the user when the difference value exceeds a predetermined threshold value, and determines that it is not necessary to confirm with the user when the difference value is equal to or less than the predetermined threshold value.

一方、確認条件が「候補順位」であった場合には、CPUは、選択された商品の類似度の順位が1位より低い所定の閾値順位(例えば3位)以下であるか否かを確認する。そしてCPUは、類似度の順位が閾値順位以下の場合にはユーザに確認する必要有りと決定し、類似度の順位が閾値順位より上の場合にはユーザに確認する必要なしと決定する。   On the other hand, when the confirmation condition is “candidate rank”, the CPU confirms whether or not the similarity rank of the selected product is equal to or lower than a predetermined threshold rank (eg, third rank) lower than the first rank. To do. Then, the CPU determines that it is necessary to confirm with the user when the similarity rank is lower than the threshold rank, and determines that it is not necessary to confirm with the user when the similarity rank is higher than the threshold rank.

ステップST11にて確認必要と判断された場合(ST11にてYES)、CPUは、タッチパネル12に追加可否選択画面70を表示させる(ST12:追加宣言受付手段44)。   If it is determined in step ST11 that confirmation is necessary (YES in ST11), the CPU displays an addition availability selection screen 70 on the touch panel 12 (ST12: addition declaration receiving means 44).

追加可否選択画面70の一例を図9に示す。図示するように、追加可否選択画面70は、撮影画像表示領域71と、選択商品表示領域72とに区分される。また、「する」ボタン73と「しない」ボタン74とが追加可否選択画面70に表示される。撮影画像表示領域71には、ステップST2の処理で取り込んだフレーム画像が表示される。選択商品表示領域72には、登録商品選択画面60で選択された商品のプリセット画像が表示される。図9は、図8の登録商品選択画面60において、領域622にプリセット画像が表示されている商品「洋ナシ」が選択された場合の追加可否選択画面70である。なお、選択商品表示領域72の位置は、図9に示す如く、登録商品選択画面60で選択された商品のプリセット画像が表示されている候補商品表示領域62と一致していてもよいし、異なっていてもよい。プリセット画像が表示されている候補商品表示領域62と同じ位置にて表示した場合には、選択されたことが一目でわかる。   An example of the addability selection screen 70 is shown in FIG. As shown in the drawing, the addition availability selection screen 70 is divided into a captured image display area 71 and a selected product display area 72. In addition, a “Yes” button 73 and a “No” button 74 are displayed on the addition availability selection screen 70. In the captured image display area 71, the frame image captured in the process of step ST2 is displayed. In the selected product display area 72, a preset image of the product selected on the registered product selection screen 60 is displayed. FIG. 9 is an addability selection screen 70 when the product “pear” whose preset image is displayed in the area 622 is selected on the registered product selection screen 60 of FIG. 8. Note that the position of the selected product display area 72 may or may not match the candidate product display area 62 in which the preset image of the product selected on the registered product selection screen 60 is displayed as shown in FIG. It may be. When it is displayed at the same position as the candidate product display area 62 where the preset image is displayed, it can be seen at a glance that it has been selected.

ユーザは、認識辞書への特徴量データの追加を実行する場合には「する」ボタン73にタッチする。これに対し、例えば商品を選択し間違えたために追加を実行しない場合には「しない」ボタンにタッチする。   The user touches the “Yes” button 73 when executing the addition of the feature amount data to the recognition dictionary. On the other hand, for example, when the product is selected and mistaken and the addition is not executed, the “do not” button is touched.

CPUは、「する」ボタン73と「しない」ボタン74のいずれかがタッチされるのを待機する(ST13)。ここで、「しない」ボタン74がタッチされた場合(ST13にてNO)、CPUは、ステップST13の処理をジャンプして次の処理に進む。ただし、選択された商品は誤りであったので、商品登録処理ルーチンには進まない。   The CPU waits for either the “Yes” button 73 or the “No” button 74 to be touched (ST13). If “NO” button 74 is touched (NO in ST13), the CPU jumps to the process in step ST13 and proceeds to the next process. However, since the selected product is an error, the product registration process routine is not executed.

「する」ボタン73がタッチされた場合(ST13にてYES)、あるいは、ステップST11の処理において確認不要と判断された場合には(ST11にてNO)、CPUは、認識辞書ファイル9への特徴量データの追加を実行する(ST14:追加手段45)。すなわちCPUは、選択された商品の商品データ(商品コード,商品名,外観特徴量、類似度)のなかから商品コードと外観特徴量のデータとを読み出す。そしてCPUは、認識辞書ファイル9にアクセスして、当該商品コードを含むデータレコードに当該外観特徴量のデータを新規の特徴量データとして追加する。しかる後、CPUは、次の処理、つまりは選択された商品の登録処理ルーチンに移行する。   When “Yes” button 73 is touched (YES in ST13), or when it is determined that confirmation is unnecessary in the process of step ST11 (NO in ST11), the CPU determines the characteristics of recognition dictionary file 9. Addition of quantity data is executed (ST14: addition means 45). That is, the CPU reads out the product code and the data of the appearance feature value from the product data (product code, product name, appearance feature value, similarity) of the selected product. Then, the CPU accesses the recognition dictionary file 9 and adds the appearance feature value data as new feature value data to the data record including the product code. Thereafter, the CPU proceeds to the next processing, that is, the registration processing routine of the selected product.

このように、本実施形態の店舗会計システムにおいては、ユーザがスキャナ装置1の読取窓1Bに商品をかざすと、撮像部14によってこの商品が撮影される。そして、この商品の画像から抽出される当該商品の外観特徴量のデータと、認識辞書ファイル9に登録されている各商品の特徴量データとから、商品毎に特徴量の類似度が算出される。そして、類似度の高い順に登録商品候補が決定され、そのリストがタッチパネル12に表示される。そこでユーザは、登録商品候補の中から、該当する商品を選択する。そうすると、店舗会計システムでは、この選択された商品の販売データが登録処理される。   As described above, in the store accounting system of the present embodiment, when a user holds a product over the reading window 1B of the scanner device 1, the product is photographed by the imaging unit 14. The feature similarity is calculated for each product from the appearance feature data of the product extracted from the product image and the feature data of each product registered in the recognition dictionary file 9. . Then, registered product candidates are determined in descending order of similarity, and the list is displayed on the touch panel 12. Therefore, the user selects a corresponding product from the registered product candidates. Then, in the store accounting system, the sales data of the selected product is registered.

ここで、選択された商品が類似度1位の商品であった場合には、認識辞書ファイル9に登録されている当該商品の特徴量データは、当該商品の外観特徴量に近似したものである。従って、認識辞書ファイル9への特徴量データの追加は必要ない。これに対して、選択された商品の類似度が選択されなかった他の商品の類似度よりも低い場合には、認識辞書ファイル9への特徴量データの追加が必要である。   Here, when the selected product is the product with the highest degree of similarity, the feature value data of the product registered in the recognition dictionary file 9 approximates the appearance feature value of the product. . Therefore, it is not necessary to add feature amount data to the recognition dictionary file 9. On the other hand, when the similarity of the selected product is lower than the similarity of the other products not selected, it is necessary to add feature amount data to the recognition dictionary file 9.

本実施形態の店舗会計システムにおいては、選択された商品が類似度1位の商品であった場合には、認識辞書ファイル9への特徴量データの追加は実行されない。選択された商品が類似度1位以外の商品であった場合には、認識辞書ファイル9への特徴量データの追加が実行される。ただし、追加実行フラグFが“0”にリセットされていた場合には、認識辞書ファイル9への特徴量データの追加が許可されていないので、たとえ類似度1位以外の商品が選択された場合でも認識辞書ファイル9への特徴量データの追加は実行されない。   In the store accounting system of the present embodiment, when the selected product is the product with the highest degree of similarity, the addition of the feature amount data to the recognition dictionary file 9 is not executed. When the selected product is a product other than the highest similarity, addition of feature amount data to the recognition dictionary file 9 is executed. However, when the addition execution flag F is reset to “0”, addition of feature amount data to the recognition dictionary file 9 is not permitted, and therefore a product other than the first similarity item is selected. However, the addition of the feature amount data to the recognition dictionary file 9 is not executed.

また、確認条件として「類似度差」が設定されていた場合、つまり確認条件「類似度差」に対応するステータスが“1”に設定されていた場合には、選択された商品の類似度と、登録商品候補として認識された商品の中で最も高い類似度との差分が算出される。そして、この差分が所定の閾値を超えるか否かが判定される。差分が閾値を超えない場合、つまり選択された商品の類似度が比較的高い場合には、認識辞書ファイル9への特徴量データの追加が実行される。   If “similarity difference” is set as the confirmation condition, that is, if the status corresponding to the confirmation condition “similarity difference” is set to “1”, the similarity of the selected product is The difference with the highest similarity among the products recognized as registered product candidates is calculated. Then, it is determined whether or not this difference exceeds a predetermined threshold value. When the difference does not exceed the threshold value, that is, when the degree of similarity of the selected product is relatively high, the feature amount data is added to the recognition dictionary file 9.

これに対し、差分が閾値を超える場合、つまり選択された商品の類似度が低い場合には、ユーザが誤った商品を選択してしまった可能性がある。そこで、タッチパネル14に追加可否選択画面70が表示される。この追加可否選択画面70を確認したユーザは、商品選択に誤りがないときには「する」ボタン73にタッチし、誤りがある場合には「しない」ボタン74にタッチする。その結果、商品選択に誤りがないときには認識辞書ファイル9への特徴量データの追加が実行されるが、誤りがある場合には認識辞書ファイル9への特徴量データの追加が実行されない。   On the other hand, when the difference exceeds the threshold value, that is, when the similarity of the selected product is low, the user may have selected the wrong product. Therefore, an addability selection screen 70 is displayed on the touch panel 14. The user who has confirmed the addition permission / inhibition selection screen 70 touches the “Yes” button 73 when there is no error in product selection, and touches the “No” button 74 when there is an error. As a result, when there is no error in product selection, addition of feature amount data to the recognition dictionary file 9 is executed, but when there is an error, addition of feature amount data to the recognition dictionary file 9 is not executed.

また、確認条件として「候補順位」が設定されていた場合、つまり確認条件「候補順位」に対応するステータスが“1”に設定されていた場合には、選択された商品の類似度が、登録商品候補として認識された商品の中で高い順に並べて何番目になるかが確認される。そして、1位より下位の所定の閾値順位より上位か下位かが判定される。その結果、閾値順位より上位若しくは同位の場合、つまり選択された商品の類似度が比較的高い場合には、認識辞書ファイル9への特徴量データの追加が実行される。   If “candidate rank” is set as the confirmation condition, that is, if the status corresponding to the confirmation condition “candidate rank” is set to “1”, the similarity of the selected product is registered. It is confirmed how many products are recognized as product candidates and arranged in descending order. Then, it is determined whether it is higher or lower than a predetermined threshold order lower than the first place. As a result, if it is higher than or equal to the threshold ranking, that is, if the degree of similarity of the selected product is relatively high, the feature amount data is added to the recognition dictionary file 9.

これに対し、閾値順位より下位の場合、つまり選択された商品の類似度が低い場合には、ユーザが誤った商品を選択してしまった可能性がある。そこで、タッチパネル14に追加可否選択画面70が表示される。この追加可否選択画面70を確認したユーザは、商品選択に誤りがないときには「する」ボタン73にタッチし、誤りがある場合には「しない」ボタン74にタッチする。その結果、商品選択に誤りがないときには認識辞書ファイル9への特徴量データの追加が実行されるが、誤りがある場合には認識辞書ファイル9への特徴量データの追加が実行されない。   On the other hand, if it is lower than the threshold ranking, that is, if the similarity of the selected product is low, the user may have selected the wrong product. Therefore, an addability selection screen 70 is displayed on the touch panel 14. The user who has confirmed the addition permission / inhibition selection screen 70 touches the “Yes” button 73 when there is no error in product selection, and touches the “No” button 74 when there is an error. As a result, when there is no error in product selection, addition of feature amount data to the recognition dictionary file 9 is executed, but when there is an error, addition of feature amount data to the recognition dictionary file 9 is not executed.

このように本実施形態によれば、認識辞書への特徴量データの追加を簡単な操作でしかも効率よく行うことができる。   As described above, according to the present embodiment, it is possible to efficiently add feature amount data to the recognition dictionary with a simple operation.

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、認識辞書ファイル9への特徴量データの追加を実行するか否かの確認条件として「類似度差」と「候補順位」の2種類を示したが、どちらか1種類のみであってもよい。あるいは、他の条件を採用してもよい。
The present invention is not limited to the above embodiment.
For example, in the above-described embodiment, two types of “similarity difference” and “candidate rank” are shown as confirmation conditions for determining whether or not to add feature amount data to the recognition dictionary file 9. It may be. Alternatively, other conditions may be adopted.

また、追加宣言受付手段44は、追加を実行するか否かの宣言入力を促すボタン画像73,74をタッチパネル12に表示して、追加を実行するか否かの宣言入力を受け付けたが、これに限定されるものではない。例えばキーボード11の所定のキーの入力により追加を実行するか否かの宣言入力を受け付けてもよい。商品選択受付手段43についても同様であり、登録商品選択画面60の入力操作に限定されるものではない。要は、登録商品候補として認識された複数の商品の中からユーザが選択できればよい。   In addition, the addition declaration receiving unit 44 displays button images 73 and 74 for prompting a declaration input as to whether or not to perform addition on the touch panel 12 and receives a declaration input as to whether or not to perform the addition. It is not limited to. For example, a declaration input indicating whether or not to perform addition may be received by inputting a predetermined key of the keyboard 11. The same applies to the merchandise selection receiving means 43, and is not limited to the input operation on the registered merchandise selection screen 60. In short, it is sufficient that the user can select from a plurality of products recognized as registered product candidates.

また、前記実施形態では、スキャナ装置1とPOS端末2とに、商品認識装置としての機能を持たせたが、スキャナ装置1またはPOS端末2の単体に商品認識装置としての機能を持たせてもよい。あるいは、スキャナ装置1がPOS端末2に組み込まれて一体となった装置に、商品認識装置の機能を持たせてもよい。   In the above-described embodiment, the scanner device 1 and the POS terminal 2 have a function as a product recognition device. However, the scanner device 1 or the POS terminal 2 may have a function as a product recognition device. Good. Alternatively, the function of the product recognition device may be provided in a device in which the scanner device 1 is integrated in the POS terminal 2.

また、スキャナ装置1とPOS端末2とサーバとから商品認識装置を構成し、商品認識機能をサーバに持たせて、つまりは商品認識プログラムをサーバに持たせて、サーバにて商品候補の認識処理を実行してもよい。具体的には、スキャナにて商品の画像を撮像し、このスキャナで撮像した商品画像をサーバに送信する。サーバは、商品画像の特徴量と認識辞書に記憶されている特徴量とを照合して商品候補の認識処理を実行し、このサーバでの認識結果をPOS端末2に出力する。   Further, a product recognition apparatus is configured from the scanner device 1, the POS terminal 2, and the server, and the product recognition function is provided in the server, that is, the product recognition program is provided in the server. May be executed. Specifically, an image of a product is captured by a scanner, and the product image captured by the scanner is transmitted to a server. The server collates the feature amount of the product image with the feature amount stored in the recognition dictionary, executes a product candidate recognition process, and outputs the recognition result at this server to the POS terminal 2.

なお、前記実施形態は、装置内部のプログラム記憶部であるROMに発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。   In the embodiment, a control program for realizing the functions of the invention is recorded in advance in a ROM which is a program storage unit in the apparatus. However, the present invention is not limited to this, and a similar program may be downloaded from the network to the apparatus. Alternatively, a similar program recorded on the recording medium may be installed in the apparatus. The recording medium may be in any form as long as it can store a program such as a CD-ROM or a memory card and can be read by the apparatus. Further, the function obtained by installing or downloading the program may be realized in cooperation with an OS (operating system) in the apparatus.

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   In addition, although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

1…スキャナ装置、2…POS端末、9…認識辞書ファイル、11…キーボード、12…タッチパネル、14…撮像部、41…特徴量抽出手段、42…商品候補抽出手段、43…商品選択受付手段、44…追加宣言受付手段、45…追加手段。   DESCRIPTION OF SYMBOLS 1 ... Scanner apparatus, 2 ... POS terminal, 9 ... Recognition dictionary file, 11 ... Keyboard, 12 ... Touch panel, 14 ... Imaging part, 41 ... Feature quantity extraction means, 42 ... Product candidate extraction means, 43 ... Product selection reception means, 44 ... Additional declaration receiving means, 45 ... Additional means.

本発明の実施形態は、撮像手段で撮像された画像から商品を認識する商品認識装置、方法及び商品認識装置が使用する認識辞書に特徴量データを追加する認識辞書追加プログラムに関する。 Embodiments described herein relate generally to a product recognition apparatus and method for recognizing a product from an image captured by an imaging unit, and a recognition dictionary addition program for adding feature data to a recognition dictionary used by the product recognition apparatus.

本発明が解決しようとする課題は、認識辞書への特徴量データの追加を簡単な操作で効率よく行うことができる商品認識装置、方法及び当該装置が実装する認識辞書追加プログラムを提供しようとするものである。 The problem to be solved by the present invention is to provide a product recognition apparatus and method capable of efficiently adding feature data to a recognition dictionary with a simple operation, and a recognition dictionary addition program implemented by the apparatus. Is.

一実施形態において、商品認識装置は、特徴量抽出手段と、認識手段と、受付手段と、追加手段とを備える。特徴量抽出手段は、撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。認識手段は、特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの特徴量データと照合して、画像に含まれる商品の候補を認識する。受付手段は、認識手段により認識された候補から画像に含まれる商品が特定されない場合、画像に含まれる商品を候補の中から特定するための入力を受け付ける。追加手段は、特徴量抽出手段により抽出された外観特徴量のデータを、受付手段で受け付けた入力により特定された商品に対する特徴量データとして認識辞書ファイルに追加する。 In one embodiment, the product recognition apparatus includes a feature amount extraction unit, a recognition unit, a reception unit, and an addition unit. Feature extraction means extracts the appearance feature amount of the product contained from the shooting image image to the image. The recognizing unit collates the appearance feature amount data extracted by the feature amount extracting unit with the feature amount data of the recognition dictionary file in which the feature amount data representing the surface information of the product is stored for each product to be recognized. Te, to recognize the candidate of the products included in the image. When the product included in the image is not specified from the candidates recognized by the recognition unit, the receiving unit receives an input for specifying the product included in the image from the candidates . The adding unit adds the appearance feature amount data extracted by the feature amount extracting unit to the recognition dictionary file as feature amount data for the product specified by the input received by the receiving unit .

Claims (6)

撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、
この特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を抽出する商品候補抽出手段と、
この商品候補抽出手段により複数の商品の候補が抽出された場合、この複数の商品の候補の中から前記画像に含まれる商品の選択入力を受け付ける商品選択受付手段と、
この商品選択受付手段により前記複数の商品の中からいずれか1商品の選択入力を受け付けると、この選択された商品に対して前記認識辞書ファイルに保存されている前記特徴量データの追加を実行するか否かの宣言入力を受け付ける追加宣言受付手段と、
この追加宣言受付手段により追加を実行する旨の宣言入力を受け付けると、前記特徴量抽出手段により抽出された前記外観特徴量のデータを、前記商品選択受付手段により選択を受け付けた商品に対する特徴量データとして前記認識辞書ファイルに追加する追加手段と、
を具備したことを特徴とする商品認識装置。
Feature quantity extraction means for extracting the appearance feature quantity of the product included in the image from the image taken by the imaging means;
The feature amount data extracted by the feature amount extraction means is collated with the feature amount data in the recognition dictionary file in which feature amount data representing the surface information of the product is stored for each product to be recognized, Product candidate extraction means for extracting product candidates included in the image;
When a plurality of product candidates are extracted by the product candidate extraction unit, a product selection receiving unit that receives a selection input of a product included in the image from the plurality of product candidates;
When the selection input of any one of the plurality of products is received by the product selection receiving unit, the feature amount data stored in the recognition dictionary file is added to the selected product. An additional declaration receiving means for receiving a declaration input of whether or not,
When a declaration input for executing addition is received by the additional declaration receiving unit, the feature data for the product whose selection is received by the product selection receiving unit is used as the data of the appearance feature amount extracted by the feature amount extracting unit. Adding means to add to the recognition dictionary file as
A product recognition apparatus comprising:
前記追加宣言受付手段は、前記商品選択受付手段により選択入力を受け付けた商品の前記認識辞書ファイルに保存される特徴量データと前記特徴量抽出手段により抽出された外観特徴量のデータとの類似度が、前記商品候補抽出手段により候補として抽出された他の商品の前記認識辞書ファイルに保存される特徴量データと前記特徴量抽出手段により抽出された外観特徴量のデータとの類似度と比較して低いとき、前記追加を実行するか否かの宣言入力を受け付けることを特徴とする請求項1記載の商品認識装置。   The additional declaration receiving means is a similarity between the feature value data stored in the recognition dictionary file of the product for which the selection input is received by the product selection receiving means and the appearance feature value data extracted by the feature value extracting means. Is compared with the similarity between the feature amount data stored in the recognition dictionary file of other products extracted as candidates by the product candidate extraction unit and the appearance feature amount data extracted by the feature amount extraction unit. The product recognition apparatus according to claim 1, wherein when it is low, a declaration input as to whether or not to perform the addition is accepted. 前記追加宣言受付手段は、前記商品選択受付手段により選択入力を受け付けた商品の前記類似度と、前記商品候補抽出手段により候補として抽出された他の商品の前記類似度のうち最も高い類似度との差が所定値以上であるとき、前記追加を実行するか否かの宣言入力を受け付けることを特徴とする請求項2記載の商品認識装置。   The additional declaration receiving unit is configured such that the similarity of the product for which selection input is received by the product selection receiving unit and the highest similarity among the similarities of the other products extracted as candidates by the product candidate extracting unit The product recognition apparatus according to claim 2, wherein when the difference is equal to or greater than a predetermined value, a declaration input as to whether or not to perform the addition is accepted. 前記追加宣言受付手段は、前記商品選択受付手段により選択入力を受け付けた商品の前記類似度が、前記商品候補抽出手段により候補として抽出された全商品の前記類似度を高い順に並べた順位において1位以外の所定の順位以下に相当するとき、前記追加を実行するか否かの宣言入力を受け付けることを特徴とする請求項2記載の商品認識装置。   The addition declaration accepting unit is configured such that the similarity of the products for which selection input is received by the product selection receiving unit is 1 in the order in which the similarities of all products extracted as candidates by the product candidate extracting unit are arranged in descending order. 3. The product recognition apparatus according to claim 2, wherein a declaration input as to whether or not to execute the addition is accepted when the order corresponds to a predetermined order other than the order. タッチパネルを備え、
前記追加宣言受付手段は、前記追加を実行するか否かの宣言入力を促すボタン画像を前記タッチパネルに表示することを特徴とする請求項1乃至4のうちいずれか1に記載の商品認識装置。
Equipped with a touch panel,
5. The product recognition apparatus according to claim 1, wherein the addition declaration receiving unit displays a button image for prompting a declaration input as to whether or not to perform the addition on the touch panel.
撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出し、抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を抽出する商品認識装置に、
複数の商品が前記画像に含まれる商品の候補として認識された場合に、この複数の商品の候補の中から前記画像に含まれる商品の選択入力を受け付ける機能と、
前記複数の商品の中からいずれか1商品の選択入力を受け付けると、この選択された商品に対して前記認識辞書ファイルに保存されている前記特徴量データの追加を実行するか否かの宣言入力を受け付ける機能と、
前記追加を実行する旨の宣言入力を受け付けると、前記画像に含まれる商品の外観特徴量のデータを、前記認識辞書ファイルの前記選択入力を受け付けた商品に対する特徴量データとして追加する機能と、
を実現させるための認識辞書追加プログラム。
The appearance feature amount of the product included in the image is extracted from the image captured by the imaging means, and the extracted appearance feature amount data is the feature amount data representing the surface information of the product for each product to be recognized. In the product recognition device that extracts the product candidates included in the image by comparing with the feature amount data of the recognition dictionary file to be stored,
A function of accepting selection input of a product included in the image from the plurality of product candidates when a plurality of products is recognized as a product candidate included in the image;
When a selection input of any one of the plurality of products is received, a declaration input indicating whether or not to add the feature amount data stored in the recognition dictionary file for the selected product A function to accept
When receiving a declaration input for performing the addition, a function of adding appearance feature data of a product included in the image as feature data for the product that has received the selection input of the recognition dictionary file;
Recognition dictionary addition program to realize.
JP2014109438A 2014-05-27 2014-05-27 Product recognition apparatus, method, and recognition dictionary addition program Active JP5753929B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014109438A JP5753929B2 (en) 2014-05-27 2014-05-27 Product recognition apparatus, method, and recognition dictionary addition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014109438A JP5753929B2 (en) 2014-05-27 2014-05-27 Product recognition apparatus, method, and recognition dictionary addition program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012162852A Division JP5553866B2 (en) 2012-07-23 2012-07-23 Product recognition device and recognition dictionary addition program

Publications (2)

Publication Number Publication Date
JP2014160513A true JP2014160513A (en) 2014-09-04
JP5753929B2 JP5753929B2 (en) 2015-07-22

Family

ID=51612099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014109438A Active JP5753929B2 (en) 2014-05-27 2014-05-27 Product recognition apparatus, method, and recognition dictionary addition program

Country Status (1)

Country Link
JP (1) JP5753929B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115284A (en) * 2014-12-17 2016-06-23 カシオ計算機株式会社 Commodity identification apparatus and commodity recognition navigation method
JP2019109692A (en) * 2017-12-18 2019-07-04 富士通株式会社 Data output program, apparatus and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320164A (en) * 1994-05-30 1995-12-08 Tec Corp Checkout system
JPH08227480A (en) * 1995-02-21 1996-09-03 Tec Corp Article sale registration data processor
JP2003067744A (en) * 2001-08-24 2003-03-07 Toshiba Corp Device and method for authenticating individual person
JP2010198137A (en) * 2009-02-23 2010-09-09 Nec Infrontia Corp Stationary scanner, pos terminal, to-be-paid merchandise selection method, to-be-paid merchandise selection program and program recording medium
JP2010237886A (en) * 2009-03-31 2010-10-21 Nec Infrontia Corp Self-pos device and method for operating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320164A (en) * 1994-05-30 1995-12-08 Tec Corp Checkout system
JPH08227480A (en) * 1995-02-21 1996-09-03 Tec Corp Article sale registration data processor
JP2003067744A (en) * 2001-08-24 2003-03-07 Toshiba Corp Device and method for authenticating individual person
JP2010198137A (en) * 2009-02-23 2010-09-09 Nec Infrontia Corp Stationary scanner, pos terminal, to-be-paid merchandise selection method, to-be-paid merchandise selection program and program recording medium
JP2010237886A (en) * 2009-03-31 2010-10-21 Nec Infrontia Corp Self-pos device and method for operating the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115284A (en) * 2014-12-17 2016-06-23 カシオ計算機株式会社 Commodity identification apparatus and commodity recognition navigation method
JP2019109692A (en) * 2017-12-18 2019-07-04 富士通株式会社 Data output program, apparatus and method
JP7159552B2 (en) 2017-12-18 2022-10-25 富士通株式会社 Data output program, device and method

Also Published As

Publication number Publication date
JP5753929B2 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
JP5553866B2 (en) Product recognition device and recognition dictionary addition program
US9990541B2 (en) Commodity recognition apparatus and commodity recognition method
US10108830B2 (en) Commodity recognition apparatus and commodity recognition method
JP5619095B2 (en) Product recognition apparatus and product recognition program
JP5826152B2 (en) Product recognition apparatus and product recognition program
JP5372191B2 (en) Product reading apparatus and product reading program
JP5826801B2 (en) Product recognition apparatus and product recognition program
JP5439623B2 (en) Product reading apparatus and product reading program
JP2013250768A (en) Article recognition device, and article recognition program
US10482447B2 (en) Recognition system, information processing apparatus, and information processing method
JP2015099549A (en) Article-of-commerce recognition device and article-of-commerce recognition program
JP2014092960A (en) Commodity recognition device and commodity recognition program
JP2017211881A (en) Information processing apparatus and program
JP6949611B2 (en) Product registration device and its program
JP2022009877A (en) Management device and program
JP2017211880A (en) Information processing apparatus and program
JP5760032B2 (en) Recognition dictionary creation device and recognition dictionary creation program
JP5753929B2 (en) Product recognition apparatus, method, and recognition dictionary addition program
JP5903516B2 (en) Product recognition apparatus and product recognition program
JP2015099550A (en) Article-of-commerce recognition device and article-of-commerce recognition program
JP6392406B2 (en) Product recognition apparatus and product recognition program
JP6133470B2 (en) Product recognition apparatus and product recognition program
JP6964166B2 (en) Recognition systems, information processing devices, and programs

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150525

R150 Certificate of patent or registration of utility model

Ref document number: 5753929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150