JP2014160513A - Commodity recognition apparatus and method, and recognition dictionary adding program - Google Patents
Commodity recognition apparatus and method, and recognition dictionary adding program Download PDFInfo
- Publication number
- JP2014160513A JP2014160513A JP2014109438A JP2014109438A JP2014160513A JP 2014160513 A JP2014160513 A JP 2014160513A JP 2014109438 A JP2014109438 A JP 2014109438A JP 2014109438 A JP2014109438 A JP 2014109438A JP 2014160513 A JP2014160513 A JP 2014160513A
- Authority
- JP
- Japan
- Prior art keywords
- product
- feature amount
- image
- recognition dictionary
- declaration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
本発明の実施形態は、撮像手段で撮像された画像から商品を認識する商品認識装置及びこの装置が使用する認識辞書に特徴量データを追加する認識辞書追加プログラムに関する。 Embodiments described herein relate generally to a product recognition apparatus that recognizes a product from an image captured by an imaging unit, and a recognition dictionary addition program that adds feature amount data to a recognition dictionary used by the apparatus.
対象となる物品(オブジェクト)を撮像部で撮像した画像データから当該物品の特徴量を抽出し、認識辞書に登録された特徴量データと照合して類似度を算出し、この類似度に応じて当該物品の種別等を認識する技術がある。このような画像中に含まれる物品を認識する技術は、一般物体認識(generic object recognition)と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。 The feature quantity of the article is extracted from the image data obtained by imaging the target article (object) with the imaging unit, and the similarity is calculated by comparing with the feature quantity data registered in the recognition dictionary. There is a technique for recognizing the type of the article. Such a technique for recognizing an article included in an image is called generic object recognition. Regarding this general object recognition technique, various recognition techniques are described in the following documents.
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット< URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット< URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf >
近年、例えば小売店の会計システム(POSシステム)において、顧客が買い上げる商品、特に、野菜、果物等のようにバーコードが付されていない商品の認識装置に、一般物体認識の技術を適用することが提案されている。この場合、認識辞書には、認識対象商品の外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表わす特徴量データが保存される。商品認識装置は、撮像手段によって撮像された商品の画像データから当該商品の外観上の特徴量を抽出し、この特徴量を認識辞書に登録されている各商品の特徴量データと照合する。そして商品認識装置は、特徴量データが類似している商品を認識商品候補として出力する。
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search August 10, 2010], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
Further, a technique for performing general object recognition by dividing an image into regions for each object is described in the following document.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [Search August 10, 2010], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = repl & type = pdf>
In recent years, for example, in a retail store accounting system (POS system), a general object recognition technique is applied to a recognition device for a product purchased by a customer, in particular, a product without a barcode such as a vegetable or a fruit. It has been proposed. In this case, feature amount data representing surface information such as the appearance shape, color, pattern, and unevenness of the product to be recognized as parameters is stored in the recognition dictionary. The product recognition device extracts feature quantities on the appearance of the product from the image data of the product imaged by the imaging unit, and collates the feature quantities with the feature value data of each product registered in the recognition dictionary. Then, the product recognition apparatus outputs a product having similar feature data as a recognized product candidate.
一般物体認識の技術において、認識辞書への特徴量データの追加、すなわち認識処理の結果を基に認識辞書に特徴量のデータを追加することによって、認識精度が高められることは知られている。特に、一般物体認識の技術を商品認識装置に適用する場合、野菜や果物などの商品は、産地や季節等で外観が変化する。このため、認識辞書への特徴量データの追加は、認識精度を高める上で非常に有効である。 In the general object recognition technique, it is known that recognition accuracy can be improved by adding feature amount data to the recognition dictionary, that is, adding feature amount data to the recognition dictionary based on the result of recognition processing. In particular, when the general object recognition technique is applied to a product recognition apparatus, the appearance of products such as vegetables and fruits changes depending on the production area, season, and the like. For this reason, the addition of the feature amount data to the recognition dictionary is very effective for improving the recognition accuracy.
本発明が解決しようとする課題は、認識辞書への特徴量データの追加を簡単な操作で効率よく行うことができる商品認識装置及び当該装置が実装する認識辞書追加プログラムを提供しようとするものである。 The problem to be solved by the present invention is to provide a product recognition apparatus capable of efficiently adding feature quantity data to a recognition dictionary by a simple operation and a recognition dictionary addition program implemented by the apparatus. is there.
一実施形態において、商品認識装置は、特徴量抽出手段と、商品候補抽出手段と、商品選択受付手段と、追加宣言受付手段と、追加手段とを備える。特徴量抽出手段は、撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。商品候補抽出手段は、特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの特徴量データと照合して、画像に含まれる商品の候補を抽出する。商品選択受付手段は、商品候補抽出手段により複数の商品が画像に含まれる商品の候補として認識された場合に、この複数の商品の中から画像に含まれる商品の選択入力を受け付ける。追加宣言受付手段は、商品選択受付手段により複数の商品の中からいずれか1商品の選択入力を受け付けると、この選択された商品に対して認識辞書ファイルに保存されている特徴量データの追加を実行するか否かの宣言入力を受け付ける。追加手段は、追加宣言受付手段により追加を実行する旨の宣言入力を受け付けると、特徴量抽出手段により抽出された外観特徴量のデータを、商品選択受付手段により選択を受け付けた商品に対する特徴量データとして認識辞書ファイルに追加する。 In one embodiment, the product recognition apparatus includes a feature amount extraction unit, a product candidate extraction unit, a product selection reception unit, an additional declaration reception unit, and an addition unit. The feature amount extraction unit extracts the appearance feature amount of the product included in the image from the image captured by the imaging unit. The product candidate extraction means includes the feature quantity data of the recognition dictionary file in which the feature quantity data representing the surface information of the product for each product to be recognized is stored as the feature data extracted by the feature quantity extraction means. Collation is performed and product candidates included in the image are extracted. The product selection receiving unit receives a selection input of a product included in the image from the plurality of products when the product candidate extracting unit recognizes a plurality of products as candidates for the product included in the image. When the addition declaration accepting unit accepts a selection input of any one of a plurality of products by the product selection accepting unit, the addition declaration accepting unit adds the feature amount data stored in the recognition dictionary file for the selected product. Accepts declaration input for execution. When the adding means receives the declaration input for executing the addition by the addition declaration receiving means, the feature quantity data for the product whose selection is received by the product selection receiving means is used as the data of the appearance feature quantity extracted by the feature quantity extracting means. As a recognition dictionary file.
以下、商品認識装置に係る実施形態を、図面を用いて説明する。なお、本実施形態は、生鮮食品等を商品として取扱う小売店の店舗会計システムを構築するスキャナ装置1とPOS(Point Of Sales)端末2とに、商品認識装置としての機能を持たせた場合である。
Hereinafter, an embodiment according to a product recognition device will be described with reference to the drawings. This embodiment is a case where the
図1は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置1と、顧客の代金支払いを処理する決済部としてのPOS(Point Of Sales)端末2とを含む。スキャナ装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を介して設置される。スキャナ装置1とPOS端末2とは、図示しない通信ケーブルによって電気的に接続される。
FIG. 1 is an external view of a store accounting system. This system includes a
スキャナ装置1は、キーボード11、タッチパネル12及び客用ディスプレイ13を備える。これらの表示・操作デバイス(キーボード11、タッチパネル12、客用ディスプレイ13)は、スキャナ装置1の本体を構成する薄型矩形形状のハウジング1Aに取り付けられる。
The
ハウジング1Aには、撮像手段としての撮像部14が内蔵される。また、矩形状の読取窓1Bが、ハウジング1Aの正面に形成される。撮像部14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓1Bから撮像レンズを通してCCD撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。
The
POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。
The
会計カウンタ3は、その奥側の顧客通路に沿って細長い形状である。レジ台4は、会計カウンタ3に沿って移動する顧客の移動方向に対して下流側の会計カウンタ3の端部手前側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3の手前側とレジ台4の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。 The checkout counter 3 has an elongated shape along the customer passage on the back side. The cash register 4 is placed substantially perpendicular to the transaction counter 3 on the front side of the end of the transaction counter 3 on the downstream side with respect to the moving direction of the customer moving along the transaction counter 3. The front side of the accounting counter 3 and the front side of the cash register 4 serve as a space for so-called cashiers in charge of accounting.
会計カウンタ3の略中央には、スキャナ装置1のハウジング1Aが、キーボード11、タッチパネル12及び読取窓1Bをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置1の客用ディスプレイ13は、顧客通路側を向いてハウジング1Aに取り付けられる。
In the approximate center of the accounting counter 3, the
会計カウンタ3のスキャナ装置1を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Mが入れられた買物カゴ6を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置1により登録された商品Mを入れるための買物カゴ7を置くためのスペースとなる。
On the upstream side of the customer counter in the direction of customer movement across the
図2は、スキャナ装置1とPOS端末2とのハードウェア構成を示すブロック図である。スキャナ装置1は、スキャナ部101と操作・表示部102とを備える。スキャナ部101は、制御部本体としてCPU(Central Processing Unit)111を搭載する。そしてこのCPU111に、アドレスバス,データバス等のバスライン112を介して、ROM(Read Only Memory)113とRAM(Random Access Memory)114とが接続される。ROM113には、CPU111によって実行されるプログラムが記憶される。
FIG. 2 is a block diagram illustrating a hardware configuration of the
この他、バスライン112には、入出力回路(不図示)を介して前記撮像部14が接続される。また、接続インターフェース115及び接続インターフェース116を介して、前記キーボード11、タッチパネル12及び客用ディスプレイ13が、バスライン112に接続される。タッチパネル12は、例えば液晶ディスプレイを用いたパネル表示部121と、この表示部の画面上に重ねて配置されたタッチパネルセンサ122とを備える。
In addition, the
前記接続インターフェース116と、前記キーボード11、タッチパネル12及び客用ディスプレイ13とは、前記操作・表示部102を構成する。操作・表示部102を構成する各部は、スキャナ部101のCPU111のみならず、後述するPOS端末2のCPU201によってもコントロールされる。
The
POS端末2も、制御部本体としてCPU201を搭載する。そしてこのCPU201に、バスライン202を介して、ROM203、RAM204、HDD(Hard Disk Drive)装置205、通信インターフェース206及び接続インターフェース207が接続される。また、バスライン202には、前記キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5の各部も、それぞれ入出力回路(不図示)を介して接続される。
The
通信インターフェース206は、LAN(Local Area Network)等のネットワークを介して、店舗の中枢を担う店舗サーバ8と接続される。この接続により、POS端末2は、店舗サーバ8とデータの送受信が可能となる。かくしてPOS端末2は、店舗サーバ8が有する認識辞書ファイル9や商品データファイル(不図示)等にアクセスして、各ファイルに保存されているデータレコードを読み込んだり、データレコードを更新(追加、変更、削除)したりする。
The
接続インターフェース207は、通信ケーブルを介して、スキャナ装置1の両接続インターフェース115,116と接続される。この接続により、POS端末2は、スキャナ装置1のスキャナ部101で読み取られた情報を受信する。また、POS端末2は、スキャナ装置1の操作・表示部102を構成するキーボード11、タッチパネル12、客用ディスプレイ13との間でデータ信号を送受信する。
The
図3は、認識辞書ファイル9に保存される辞書データの構造を示す模式図である。図3に示すように、認識辞書ファイル9には、認識対象である商品毎に、その商品を識別する商品ID及び商品名と関連付けて、複数の特徴量データが保存される。特徴量データは、対応する商品IDで識別される商品の表面情報(外観形状、色合い、模様、凹凸等)である外観上の特徴量をパラメータで表わしたもので、1つの商品に対し、その商品を様々な方向から見たときの特徴量データ0〜Nがそれぞれ保存される。なお、1つの商品に対する特徴量データの数(N+1)は、固定ではない。また、特徴量データの数(N+1)は商品によって異なる。
FIG. 3 is a schematic diagram showing the structure of dictionary data stored in the
店舗で販売される各商品には、固有の商品IDが割当てられている。商品データファイルには、各商品の商品IDと関連付けて、商品名、単価、プリセット画像等の商品情報が保存されている。 A unique product ID is assigned to each product sold in the store. In the product data file, product information such as product name, unit price, and preset image is stored in association with the product ID of each product.
図4は、前記スキャナ装置1とPOS端末2とによって構成される商品認識装置としての機能を説明するためのブロック図である。この機能は、特徴量抽出手段41、商品候補抽出手段42、商品選択受付手段43、追加宣言受付手段44及び追加手段45を含む。
FIG. 4 is a block diagram for explaining a function as a product recognition device constituted by the
特徴量抽出手段41は、撮像部14により撮像された画像からその画像に含まれる商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量(外観特徴量)を抽出する。商品候補抽出手段42は、特徴量抽出手段41により抽出された外観特徴量のデータを、前記認識辞書ファイル9に保存されている各商品の特徴量データと順次照合して、商品毎にデータの類似度を算出する。類似度の算出方法は、特に限定されるものではなく、例えば等しい文字数を持つ特徴量データどうしの対応する位置にある文字が異なっている数を計数するハミング距離の手法を用いて類似度を算出してもよい。商品候補抽出手段42は、類似度が基準より高い商品を、画像に含まれる商品の候補として抽出する。なお、類似度は、例えば、一致する度合いを示す一致度(一致率)や、どの程度相関するかを示す相関値等であってもよい。すなわち類似度は、撮像部14により撮像された画像の特徴量と認識辞書ファイル9に記憶されている特徴量とを基に得られる値であればよい。
The feature
商品候補抽出手段42により複数の商品が画像に含まれる商品の候補として認識されると、商品選択受付手段43は、この複数の商品の中から画像に含まれる商品の選択入力を受け付ける。商品選択受付手段43により複数の商品の中からいずれか1商品の選択入力を受け付けると、追加宣言受付手段44は、この選択された商品に対して認識辞書ファイル9に保存されている特徴量データの追加を実行するか否かの宣言入力を受け付ける。追加宣言受付手段44により追加を実行する旨の宣言入力を受け付けると、追加手段45は、特徴量抽出手段41により抽出された外観特徴量のデータを、商品選択受付手段43により選択を受け付けた商品に対する特徴量データとして認識辞書ファイル9に追加する。つまり商品認識装置(スキャナ装置1、POS端末2)は、認識処理の結果を基に認識辞書ファイル9に特徴量のデータを追加する認識辞書追加機能を有している。
When the product
図5は、上記認識辞書追加機能を実現するために必要なメモリエリアを示す模式図である。メモリエリア51は、追加実行フラグFの記憶エリアである。商品認識装置は、追加実行フラグFがオンのとき認識辞書追加機能を有効とし、オフのとき同機能を無効とする。メモリエリア52は、認識辞書ファイル9の追加を実行するか否かの確認をとる条件(確認条件)をステータス(1or0)によって設定したテーブルエリアである。確認条件としては、「類似度差」と「候補順位」とがある。ステータスが“1”のとき、対応する確認条件が有効となる。追加実行フラグFがオンのとき、確認条件「類似度差」または「候補順位」のいずれか一方のステータスが“1”になる。
FIG. 5 is a schematic diagram showing a memory area necessary for realizing the recognition dictionary addition function. The memory area 51 is a storage area for the additional execution flag F. The product recognition apparatus validates the recognition dictionary addition function when the additional execution flag F is on, and invalidates the function when the addition execution flag F is off. The
前記追加宣言受付手段44は、前記商品選択受付手段43により選択入力を受け付けた商品の認識辞書ファイル9に保存される特徴量データと特徴量抽出手段41により抽出された外観特徴量のデータとの類似度が、商品候補抽出手段42により候補として抽出された他の商品の認識辞書ファイル9に保存される特徴量データと特徴量抽出手段41により抽出された外観特徴量のデータとの類似度と比較して低いとき、追加を実行するか否かの宣言入力を受け付ける。
The additional
具体的には、選択入力を受け付けた商品の前記類似度と、候補として認識された他の商品の前記類似度のうち最も高い類似度との差が所定値以上であるとき、追加を実行するか否かの宣言入力を受け付ける。若しくは、選択入力を受け付けた商品の前記類似度が、候補として認識された全商品の前記類似度を高い順に並べた順位において1位以外の所定の順位以下に相当するとき、追加を実行するか否かの宣言入力を受け付ける。前者の追加宣言受付手段は、前記確認条件「類似度差」に対するステータスが“1”であるとき実行される。後者の追加宣言受付手段は、前記確認条件「候補順位」に対するステータスが“1”であるとき実行される。 Specifically, the addition is executed when the difference between the similarity of the product for which the selection input has been accepted and the highest similarity among the similarities of the other products recognized as candidates is equal to or greater than a predetermined value. Accepts declaration input of whether or not. Alternatively, whether the addition is executed when the similarity of the product for which the selection input has been received corresponds to a predetermined order other than the first in the order in which the similarities of all the products recognized as candidates are arranged in descending order Accept declarative input of no. The former additional declaration acceptance means is executed when the status for the confirmation condition “similarity difference” is “1”. The latter additional declaration acceptance means is executed when the status for the confirmation condition “candidate rank” is “1”.
メモリエリア51,52は、POS端末2のRAM204に形成される。スキャナ装置1のRAM114にメモリエリア51,52が形成されていてもよい。メモリエリア51の追加実行フラグFをオンするか否かは、POS端末2の設定業務の中で自動若しくは手動により実行される。同様に、メモリエリア51の確認条件別のステータスのうち、どちらのステータスを“1”にするかという設定も、POS端末2の設定業務の中で自動若しくは手動により実行される。
The
図6は、商品認識プログラム及び認識辞書追加プログラムに従って商品認識装置(スキャナ装置1、POS端末2)のCPU(CPU111、CPU201)が実行する情報処理手順の要部を示す流れ図である。同図において、ステップST1からステップST7までの処理は商品認識プログラムに従った処理であり、ステップST8からステップST14までの処理は認識辞書追加プログラムに従った処理である。
FIG. 6 is a flowchart showing the main part of the information processing procedure executed by the CPU (
商品認識プログラムと認識辞書追加プログラムは、各々独立したプログラムであってもよいし、1本のプログラムであってもよい。商品認識プログラムと認識辞書追加プログラムは、POS端末2のROM203に格納される。上記プログラムの少なくとも一部がスキャナ装置1のROM113に格納されていてもよい。
The product recognition program and the recognition dictionary addition program may be independent programs or a single program. The product recognition program and the recognition dictionary addition program are stored in the
図6の処理が開始すると、CPU(CPU111またはCPU201:以下同)は、撮像部14に対して撮像オン信号を出力する(ST1)。例えば、CPU201がCPU111に対して撮像オンを指令し、この指令を受けたCPU111が、撮像部14に対して撮像オン信号を出力する。この撮像オン信号により、撮像部14が撮像領域の撮像を開始する。撮像部14で撮像された撮像領域のフレーム画像は、RAM114に順次保存される。
When the processing of FIG. 6 starts, the CPU (
CPUは、RAM114に保存されたフレーム画像のデータを取り込む(ST2)。そしてCPUは、このフレーム画像から商品が検出されるか否かを確認する(ST3)。具体的には、CPUは、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPUは、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、CPUは、その輪郭内の画像を商品とみなす。 The CPU takes in the frame image data stored in the RAM 114 (ST2). Then, the CPU confirms whether or not a product is detected from this frame image (ST3). Specifically, the CPU extracts a contour line and the like from an image obtained by binarizing the frame image. Then, the CPU tries to extract the contour of the object displayed in the frame image. When the contour of the object is extracted, the CPU regards the image within the contour as a product.
フレーム画像から商品が検出されない場合(ST3にてNO)、CPUは、RAM114から次のフレーム画像を取り込む(ST2)。そしてCPUは、このフレーム画像から商品が検出されるか否かを確認する(ST3)。 If no product is detected from the frame image (NO in ST3), the CPU captures the next frame image from RAM 114 (ST2). Then, the CPU confirms whether or not a product is detected from this frame image (ST3).
フレーム画像から商品が検出された場合には(ST3にてYES)、CPUは、その輪郭内の画像から商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量(外観特徴量)を抽出する(ST4:特徴量抽出手段41)。抽出された外観特徴量のデータは、RAM204のワークエリアに一時的に格納される。
When a product is detected from the frame image (YES in ST3), the CPU uses the image in the outline to determine the feature amount (appearance feature amount) such as the shape, surface color, pattern, and unevenness of the product. ) Is extracted (ST4: feature amount extraction means 41). The extracted appearance feature amount data is temporarily stored in the work area of the
特徴量を抽出し終えると、CPUは、図7の流れ図により具体的に示される手順の認識処理を実行する(ST5:商品候補抽出手段42)。先ず、CPUは、店舗サーバ8の認識辞書ファイル9を検索する(ST21)。そしてCPUは、認識辞書ファイル9から1商品のデータレコード(商品ID、商品名、複数の特徴量データ)を読み込む(ST22)。
When the feature amount extraction is completed, the CPU executes a procedure recognition process specifically shown by the flowchart of FIG. 7 (ST5: product candidate extraction means 42). First, the CPU searches the
データレコードを読み込めたならば、CPUは、ステップST4の処理で抽出された外観特徴量のデータが、当該レコードの特徴量データに対してどの程度類似しているかを示す類似度を算出する(ST23)。類似度は、値が大きいほど類似率が高いと言える。本実施形態では、類似度の上限を“100”として、商品毎に特徴量データの類似度が算出される。 If the data record is read, the CPU calculates a similarity indicating how similar the appearance feature data extracted in the process of step ST4 is to the feature data of the record (ST23). ). It can be said that the similarity is higher as the value is higher. In the present embodiment, assuming that the upper limit of similarity is “100”, the similarity of feature amount data is calculated for each product.
CPUは、類似度が所定の基準閾値より高いか否かを確認する(ST24)。基準閾値は、登録商品候補として残すべき商品の類似度の下限である。前述したように類似度の上限値を“100”とした場合、基準閾値は、例えばその1/5の“20”と設定する。類似度が基準閾値より高いレベルにある場合(ST24にてYES)、CPUは、当該データレコードの商品ID及び商品名と、ステップST4の処理で抽出された外観特徴量のデータと、ステップST23の処理で算出された類似度とを、登録商品候補としてRAM204の所定エリアに格納する(ST25)。これに対し、類似度が基準閾値を超えない場合には(ST24にてNO)、CPUは、ステップST25の処理を実行しない。 The CPU confirms whether the similarity is higher than a predetermined reference threshold (ST24). The reference threshold is the lower limit of the similarity of products that should be left as registered product candidates. As described above, when the upper limit value of the similarity is “100”, the reference threshold value is set to “1/5”, for example, “20”. When the degree of similarity is higher than the reference threshold (YES in ST24), the CPU stores the product ID and product name of the data record, the appearance feature amount data extracted in step ST4, and step ST23. The similarity calculated in the process is stored as a registered product candidate in a predetermined area of the RAM 204 (ST25). On the other hand, when the similarity does not exceed the reference threshold value (NO in ST24), the CPU does not execute the process of step ST25.
しかる後、CPUは、認識辞書ファイル9に未処理のデータレコードが存在するか否かを確認する(ST26)。存在する場合(ST26にてYES)、CPUは、ステップST22の処理に戻る。すなわちCPUは、認識辞書ファイル9から未処理のデータレコードをさらに読み込んで、前記ステップST23〜ST26の処理を実行する。
Thereafter, the CPU confirms whether or not an unprocessed data record exists in the recognition dictionary file 9 (ST26). If it exists (YES in ST26), the CPU returns to the process of step ST22. That is, the CPU further reads an unprocessed data record from the
こうして、認識辞書ファイル9に保存されている全ての商品のデータレコードについて、前記ステップST23〜ST26の処理が実行されると(ST26にてNO)、認識処理が終了する。認識処理が終了すると、CPUは、登録商品候補の有無を確認する(ST6)。 In this way, when the processes of steps ST23 to ST26 are executed for the data records of all the products stored in the recognition dictionary file 9 (NO in ST26), the recognition process ends. When the recognition process is completed, the CPU confirms whether or not there is a registered commodity candidate (ST6).
RAM204の所定エリアに登録商品候補となる商品データ(商品コード,商品名,外観特徴量、類似度)が1つも格納されていない場合、登録商品候補はない。この場合(ST6にてNO)、CPUは、ステップST2の処理に戻る。すなわちCPUは、RAM114から次のフレーム画像データを取り込む。そしてCPUは、この画像データについて、前記ステップST3〜ST6の処理を実行する。
If no product data (product code, product name, appearance feature, similarity) that is a registered product candidate is stored in a predetermined area of the
一方、RAM204の所定エリアに登録商品候補となる商品データ(商品コード,商品名,外観特徴量、類似度)が1つでも格納されていた場合には、登録商品候補がある。この場合(ST6にてYES)、CPUは、登録商品を自動的に設定できるか否かを確認する(ST7)。具体的には、CPUは、登録商品候補となる商品データのなかで類似度が所定の決定閾値を超えるデータが1つのみ存在するか否かを確認する。決定閾値は、前記基準閾値よりも充分に大きい値であり、前述したように類似度の上限値を“100”とした場合、その半分より若干多い値、たとえば“60”と設定する。
On the other hand, if even one piece of product data (product code, product name, appearance feature, similarity) as a registered product candidate is stored in a predetermined area of the
登録商品候補の中で類似度が決定閾値を超える商品が1つのみ存在する場合、この商品が登録商品として自動的に決定される。それ以外、つまりは類似度が決定閾値を超える商品が1つも存在しないか2つ以上存在する場合には、登録商品が決定されない。登録商品が決定された場合(ST7にてYES)、CPUは、ST8以降の処理、つまりは認識辞書追加プログラムの処理ルーチンをジャンプして、次の処理、つまりは自動決定された商品の登録処理ルーチンに移行する。 When only one product whose similarity exceeds the determination threshold among registered product candidates, this product is automatically determined as a registered product. In other cases, that is, in the case where there is no product that has a similarity that exceeds the determination threshold, or there are two or more products, the registered product is not determined. When the registered product is determined (YES in ST7), the CPU jumps to the processing after ST8, that is, the processing routine of the recognition dictionary addition program, and the next processing, that is, the registration processing of the automatically determined product. Move to routine.
これに対し、登録商品が決定されない場合には(ST7にてNO)、CPUは、タッチパネル12に登録商品選択画面60を表示させる(ST8:商品選択受付手段43)。
On the other hand, when the registered product is not determined (NO in ST7), the CPU displays the registered
登録商品選択画面60の一例を図8に示す。図示するように、登録商品選択画面60は、撮影画像表示領域61と、候補商品表示領域62とに区分される。また、「その他」ボタン63が登録商品選択画面60に表示される。撮影画像表示領域61には、ステップST2の処理で取り込んだフレーム画像が表示される。候補商品表示領域62は、さらに3つの領域621,622,623に細分化されており、画面の上から類似度の大きい順に登録商品候補となった商品のプリセット画像が表示される。
An example of the registered
因みに、初期画面では、類似度が1位から3位までの商品のプリセット画像が候補商品表示領域62(621,622,623)に画面の上から順に表示される。この状態で、「その他」ボタン63がタッチ操作されると、候補商品表示領域62は、類似度が4位から6位までの商品のプリセット画像に切り替わる。以後、「その他」ボタン63がタッチ操作される毎に、領域62の画像は、類似度がより下位の商品のプリセット画像に切り替わる。なお、「その他」ボタン63が1回タッチ操作されると、「戻る」ボタンの画像が登録商品選択画面60に表示される。そして、この「戻る」ボタンがタッチ操作されると、タッチパネル12の画面は、直前の登録商品選択画面60に戻る。
Incidentally, on the initial screen, the preset images of the products having the first to third similarities are displayed in order from the top of the screen in the candidate product display area 62 (621, 622, 623). In this state, when the “others”
読取窓1Bに登録商品をかざしたユーザは、候補商品表示領域62のなかから登録商品を探す。そして、登録商品を見つけたならば、ユーザは、この商品のプリセット画像が表示されている領域621,622または623にタッチする。
The user who holds the registered product over the reading
CPUは、候補商品表示領域62がタッチ操作されるのを待機する。候補商品表示領域62がタッチ操作されたならば、CPUは、そのタッチ領域にプリセット画像が表示されている商品の類似度の順位を確認する(ST9)。類似度が1位の商品が選択された場合(ST9にてYES)、CPUは、ST10以降の処理をジャンプして、次の処理、つまりは類似度が1位の商品の登録処理ルーチンに移行する。
The CPU waits for the candidate
これに対し、類似度が2位以下の商品が選択された場合には(ST9にてNO)、CPUは、追加実行フラグFをチェックする(ST10)。追加実行フラグFがオフの場合、認識辞書の追加は行われない。この場合(ST10にてNO)、CPUは、ST11以降の処理をジャンプして、次の処理、つまりは選択された商品の登録処理ルーチンに移行する。 On the other hand, when a product with the second highest similarity is selected (NO in ST9), the CPU checks the additional execution flag F (ST10). When the additional execution flag F is off, the recognition dictionary is not added. In this case (NO in ST10), the CPU jumps to the processing after ST11 and proceeds to the next processing, that is, the registration processing routine for the selected product.
これに対し、追加実行フラグFがオンの場合には、CPUは、追加実行の確認が必要か否かを判定する(ST11)。すなわちCPUは、メモリエリア52をチェックして、ステータスが“1”の確認条件を認識する。確認条件が「類似度差」であった場合、CPUは、選択された商品の類似度と1位の類似度との差分を計算し、この差分値が所定の閾値を超えるか否かを確認する。そしてCPUは、差分値が所定の閾値を超える場合にはユーザに確認する必要有りと決定し、差分値が所定の閾値以下の場合にはユーザに確認する必要なしと決定する。
On the other hand, if the additional execution flag F is on, the CPU determines whether confirmation of additional execution is necessary (ST11). That is, the CPU checks the
一方、確認条件が「候補順位」であった場合には、CPUは、選択された商品の類似度の順位が1位より低い所定の閾値順位(例えば3位)以下であるか否かを確認する。そしてCPUは、類似度の順位が閾値順位以下の場合にはユーザに確認する必要有りと決定し、類似度の順位が閾値順位より上の場合にはユーザに確認する必要なしと決定する。 On the other hand, when the confirmation condition is “candidate rank”, the CPU confirms whether or not the similarity rank of the selected product is equal to or lower than a predetermined threshold rank (eg, third rank) lower than the first rank. To do. Then, the CPU determines that it is necessary to confirm with the user when the similarity rank is lower than the threshold rank, and determines that it is not necessary to confirm with the user when the similarity rank is higher than the threshold rank.
ステップST11にて確認必要と判断された場合(ST11にてYES)、CPUは、タッチパネル12に追加可否選択画面70を表示させる(ST12:追加宣言受付手段44)。
If it is determined in step ST11 that confirmation is necessary (YES in ST11), the CPU displays an addition
追加可否選択画面70の一例を図9に示す。図示するように、追加可否選択画面70は、撮影画像表示領域71と、選択商品表示領域72とに区分される。また、「する」ボタン73と「しない」ボタン74とが追加可否選択画面70に表示される。撮影画像表示領域71には、ステップST2の処理で取り込んだフレーム画像が表示される。選択商品表示領域72には、登録商品選択画面60で選択された商品のプリセット画像が表示される。図9は、図8の登録商品選択画面60において、領域622にプリセット画像が表示されている商品「洋ナシ」が選択された場合の追加可否選択画面70である。なお、選択商品表示領域72の位置は、図9に示す如く、登録商品選択画面60で選択された商品のプリセット画像が表示されている候補商品表示領域62と一致していてもよいし、異なっていてもよい。プリセット画像が表示されている候補商品表示領域62と同じ位置にて表示した場合には、選択されたことが一目でわかる。
An example of the
ユーザは、認識辞書への特徴量データの追加を実行する場合には「する」ボタン73にタッチする。これに対し、例えば商品を選択し間違えたために追加を実行しない場合には「しない」ボタンにタッチする。
The user touches the “Yes”
CPUは、「する」ボタン73と「しない」ボタン74のいずれかがタッチされるのを待機する(ST13)。ここで、「しない」ボタン74がタッチされた場合(ST13にてNO)、CPUは、ステップST13の処理をジャンプして次の処理に進む。ただし、選択された商品は誤りであったので、商品登録処理ルーチンには進まない。
The CPU waits for either the “Yes”
「する」ボタン73がタッチされた場合(ST13にてYES)、あるいは、ステップST11の処理において確認不要と判断された場合には(ST11にてNO)、CPUは、認識辞書ファイル9への特徴量データの追加を実行する(ST14:追加手段45)。すなわちCPUは、選択された商品の商品データ(商品コード,商品名,外観特徴量、類似度)のなかから商品コードと外観特徴量のデータとを読み出す。そしてCPUは、認識辞書ファイル9にアクセスして、当該商品コードを含むデータレコードに当該外観特徴量のデータを新規の特徴量データとして追加する。しかる後、CPUは、次の処理、つまりは選択された商品の登録処理ルーチンに移行する。
When “Yes”
このように、本実施形態の店舗会計システムにおいては、ユーザがスキャナ装置1の読取窓1Bに商品をかざすと、撮像部14によってこの商品が撮影される。そして、この商品の画像から抽出される当該商品の外観特徴量のデータと、認識辞書ファイル9に登録されている各商品の特徴量データとから、商品毎に特徴量の類似度が算出される。そして、類似度の高い順に登録商品候補が決定され、そのリストがタッチパネル12に表示される。そこでユーザは、登録商品候補の中から、該当する商品を選択する。そうすると、店舗会計システムでは、この選択された商品の販売データが登録処理される。
As described above, in the store accounting system of the present embodiment, when a user holds a product over the reading
ここで、選択された商品が類似度1位の商品であった場合には、認識辞書ファイル9に登録されている当該商品の特徴量データは、当該商品の外観特徴量に近似したものである。従って、認識辞書ファイル9への特徴量データの追加は必要ない。これに対して、選択された商品の類似度が選択されなかった他の商品の類似度よりも低い場合には、認識辞書ファイル9への特徴量データの追加が必要である。
Here, when the selected product is the product with the highest degree of similarity, the feature value data of the product registered in the
本実施形態の店舗会計システムにおいては、選択された商品が類似度1位の商品であった場合には、認識辞書ファイル9への特徴量データの追加は実行されない。選択された商品が類似度1位以外の商品であった場合には、認識辞書ファイル9への特徴量データの追加が実行される。ただし、追加実行フラグFが“0”にリセットされていた場合には、認識辞書ファイル9への特徴量データの追加が許可されていないので、たとえ類似度1位以外の商品が選択された場合でも認識辞書ファイル9への特徴量データの追加は実行されない。
In the store accounting system of the present embodiment, when the selected product is the product with the highest degree of similarity, the addition of the feature amount data to the
また、確認条件として「類似度差」が設定されていた場合、つまり確認条件「類似度差」に対応するステータスが“1”に設定されていた場合には、選択された商品の類似度と、登録商品候補として認識された商品の中で最も高い類似度との差分が算出される。そして、この差分が所定の閾値を超えるか否かが判定される。差分が閾値を超えない場合、つまり選択された商品の類似度が比較的高い場合には、認識辞書ファイル9への特徴量データの追加が実行される。
If “similarity difference” is set as the confirmation condition, that is, if the status corresponding to the confirmation condition “similarity difference” is set to “1”, the similarity of the selected product is The difference with the highest similarity among the products recognized as registered product candidates is calculated. Then, it is determined whether or not this difference exceeds a predetermined threshold value. When the difference does not exceed the threshold value, that is, when the degree of similarity of the selected product is relatively high, the feature amount data is added to the
これに対し、差分が閾値を超える場合、つまり選択された商品の類似度が低い場合には、ユーザが誤った商品を選択してしまった可能性がある。そこで、タッチパネル14に追加可否選択画面70が表示される。この追加可否選択画面70を確認したユーザは、商品選択に誤りがないときには「する」ボタン73にタッチし、誤りがある場合には「しない」ボタン74にタッチする。その結果、商品選択に誤りがないときには認識辞書ファイル9への特徴量データの追加が実行されるが、誤りがある場合には認識辞書ファイル9への特徴量データの追加が実行されない。
On the other hand, when the difference exceeds the threshold value, that is, when the similarity of the selected product is low, the user may have selected the wrong product. Therefore, an
また、確認条件として「候補順位」が設定されていた場合、つまり確認条件「候補順位」に対応するステータスが“1”に設定されていた場合には、選択された商品の類似度が、登録商品候補として認識された商品の中で高い順に並べて何番目になるかが確認される。そして、1位より下位の所定の閾値順位より上位か下位かが判定される。その結果、閾値順位より上位若しくは同位の場合、つまり選択された商品の類似度が比較的高い場合には、認識辞書ファイル9への特徴量データの追加が実行される。
If “candidate rank” is set as the confirmation condition, that is, if the status corresponding to the confirmation condition “candidate rank” is set to “1”, the similarity of the selected product is registered. It is confirmed how many products are recognized as product candidates and arranged in descending order. Then, it is determined whether it is higher or lower than a predetermined threshold order lower than the first place. As a result, if it is higher than or equal to the threshold ranking, that is, if the degree of similarity of the selected product is relatively high, the feature amount data is added to the
これに対し、閾値順位より下位の場合、つまり選択された商品の類似度が低い場合には、ユーザが誤った商品を選択してしまった可能性がある。そこで、タッチパネル14に追加可否選択画面70が表示される。この追加可否選択画面70を確認したユーザは、商品選択に誤りがないときには「する」ボタン73にタッチし、誤りがある場合には「しない」ボタン74にタッチする。その結果、商品選択に誤りがないときには認識辞書ファイル9への特徴量データの追加が実行されるが、誤りがある場合には認識辞書ファイル9への特徴量データの追加が実行されない。
On the other hand, if it is lower than the threshold ranking, that is, if the similarity of the selected product is low, the user may have selected the wrong product. Therefore, an
このように本実施形態によれば、認識辞書への特徴量データの追加を簡単な操作でしかも効率よく行うことができる。 As described above, according to the present embodiment, it is possible to efficiently add feature amount data to the recognition dictionary with a simple operation.
なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、認識辞書ファイル9への特徴量データの追加を実行するか否かの確認条件として「類似度差」と「候補順位」の2種類を示したが、どちらか1種類のみであってもよい。あるいは、他の条件を採用してもよい。
The present invention is not limited to the above embodiment.
For example, in the above-described embodiment, two types of “similarity difference” and “candidate rank” are shown as confirmation conditions for determining whether or not to add feature amount data to the
また、追加宣言受付手段44は、追加を実行するか否かの宣言入力を促すボタン画像73,74をタッチパネル12に表示して、追加を実行するか否かの宣言入力を受け付けたが、これに限定されるものではない。例えばキーボード11の所定のキーの入力により追加を実行するか否かの宣言入力を受け付けてもよい。商品選択受付手段43についても同様であり、登録商品選択画面60の入力操作に限定されるものではない。要は、登録商品候補として認識された複数の商品の中からユーザが選択できればよい。
In addition, the addition
また、前記実施形態では、スキャナ装置1とPOS端末2とに、商品認識装置としての機能を持たせたが、スキャナ装置1またはPOS端末2の単体に商品認識装置としての機能を持たせてもよい。あるいは、スキャナ装置1がPOS端末2に組み込まれて一体となった装置に、商品認識装置の機能を持たせてもよい。
In the above-described embodiment, the
また、スキャナ装置1とPOS端末2とサーバとから商品認識装置を構成し、商品認識機能をサーバに持たせて、つまりは商品認識プログラムをサーバに持たせて、サーバにて商品候補の認識処理を実行してもよい。具体的には、スキャナにて商品の画像を撮像し、このスキャナで撮像した商品画像をサーバに送信する。サーバは、商品画像の特徴量と認識辞書に記憶されている特徴量とを照合して商品候補の認識処理を実行し、このサーバでの認識結果をPOS端末2に出力する。
Further, a product recognition apparatus is configured from the
なお、前記実施形態は、装置内部のプログラム記憶部であるROMに発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。 In the embodiment, a control program for realizing the functions of the invention is recorded in advance in a ROM which is a program storage unit in the apparatus. However, the present invention is not limited to this, and a similar program may be downloaded from the network to the apparatus. Alternatively, a similar program recorded on the recording medium may be installed in the apparatus. The recording medium may be in any form as long as it can store a program such as a CD-ROM or a memory card and can be read by the apparatus. Further, the function obtained by installing or downloading the program may be realized in cooperation with an OS (operating system) in the apparatus.
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 In addition, although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
1…スキャナ装置、2…POS端末、9…認識辞書ファイル、11…キーボード、12…タッチパネル、14…撮像部、41…特徴量抽出手段、42…商品候補抽出手段、43…商品選択受付手段、44…追加宣言受付手段、45…追加手段。
DESCRIPTION OF
本発明の実施形態は、撮像手段で撮像された画像から商品を認識する商品認識装置、方法及び商品認識装置が使用する認識辞書に特徴量データを追加する認識辞書追加プログラムに関する。 Embodiments described herein relate generally to a product recognition apparatus and method for recognizing a product from an image captured by an imaging unit, and a recognition dictionary addition program for adding feature data to a recognition dictionary used by the product recognition apparatus.
本発明が解決しようとする課題は、認識辞書への特徴量データの追加を簡単な操作で効率よく行うことができる商品認識装置、方法及び当該装置が実装する認識辞書追加プログラムを提供しようとするものである。 The problem to be solved by the present invention is to provide a product recognition apparatus and method capable of efficiently adding feature data to a recognition dictionary with a simple operation, and a recognition dictionary addition program implemented by the apparatus. Is.
一実施形態において、商品認識装置は、特徴量抽出手段と、認識手段と、受付手段と、追加手段とを備える。特徴量抽出手段は、撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。認識手段は、特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの特徴量データと照合して、画像に含まれる商品の候補を認識する。受付手段は、認識手段により認識された候補から画像に含まれる商品が特定されない場合、画像に含まれる商品を候補の中から特定するための入力を受け付ける。追加手段は、特徴量抽出手段により抽出された外観特徴量のデータを、受付手段で受け付けた入力により特定された商品に対する特徴量データとして認識辞書ファイルに追加する。 In one embodiment, the product recognition apparatus includes a feature amount extraction unit, a recognition unit, a reception unit, and an addition unit. Feature extraction means extracts the appearance feature amount of the product contained from the shooting image image to the image. The recognizing unit collates the appearance feature amount data extracted by the feature amount extracting unit with the feature amount data of the recognition dictionary file in which the feature amount data representing the surface information of the product is stored for each product to be recognized. Te, to recognize the candidate of the products included in the image. When the product included in the image is not specified from the candidates recognized by the recognition unit, the receiving unit receives an input for specifying the product included in the image from the candidates . The adding unit adds the appearance feature amount data extracted by the feature amount extracting unit to the recognition dictionary file as feature amount data for the product specified by the input received by the receiving unit .
Claims (6)
この特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を抽出する商品候補抽出手段と、
この商品候補抽出手段により複数の商品の候補が抽出された場合、この複数の商品の候補の中から前記画像に含まれる商品の選択入力を受け付ける商品選択受付手段と、
この商品選択受付手段により前記複数の商品の中からいずれか1商品の選択入力を受け付けると、この選択された商品に対して前記認識辞書ファイルに保存されている前記特徴量データの追加を実行するか否かの宣言入力を受け付ける追加宣言受付手段と、
この追加宣言受付手段により追加を実行する旨の宣言入力を受け付けると、前記特徴量抽出手段により抽出された前記外観特徴量のデータを、前記商品選択受付手段により選択を受け付けた商品に対する特徴量データとして前記認識辞書ファイルに追加する追加手段と、
を具備したことを特徴とする商品認識装置。 Feature quantity extraction means for extracting the appearance feature quantity of the product included in the image from the image taken by the imaging means;
The feature amount data extracted by the feature amount extraction means is collated with the feature amount data in the recognition dictionary file in which feature amount data representing the surface information of the product is stored for each product to be recognized, Product candidate extraction means for extracting product candidates included in the image;
When a plurality of product candidates are extracted by the product candidate extraction unit, a product selection receiving unit that receives a selection input of a product included in the image from the plurality of product candidates;
When the selection input of any one of the plurality of products is received by the product selection receiving unit, the feature amount data stored in the recognition dictionary file is added to the selected product. An additional declaration receiving means for receiving a declaration input of whether or not,
When a declaration input for executing addition is received by the additional declaration receiving unit, the feature data for the product whose selection is received by the product selection receiving unit is used as the data of the appearance feature amount extracted by the feature amount extracting unit. Adding means to add to the recognition dictionary file as
A product recognition apparatus comprising:
前記追加宣言受付手段は、前記追加を実行するか否かの宣言入力を促すボタン画像を前記タッチパネルに表示することを特徴とする請求項1乃至4のうちいずれか1に記載の商品認識装置。 Equipped with a touch panel,
5. The product recognition apparatus according to claim 1, wherein the addition declaration receiving unit displays a button image for prompting a declaration input as to whether or not to perform the addition on the touch panel.
複数の商品が前記画像に含まれる商品の候補として認識された場合に、この複数の商品の候補の中から前記画像に含まれる商品の選択入力を受け付ける機能と、
前記複数の商品の中からいずれか1商品の選択入力を受け付けると、この選択された商品に対して前記認識辞書ファイルに保存されている前記特徴量データの追加を実行するか否かの宣言入力を受け付ける機能と、
前記追加を実行する旨の宣言入力を受け付けると、前記画像に含まれる商品の外観特徴量のデータを、前記認識辞書ファイルの前記選択入力を受け付けた商品に対する特徴量データとして追加する機能と、
を実現させるための認識辞書追加プログラム。 The appearance feature amount of the product included in the image is extracted from the image captured by the imaging means, and the extracted appearance feature amount data is the feature amount data representing the surface information of the product for each product to be recognized. In the product recognition device that extracts the product candidates included in the image by comparing with the feature amount data of the recognition dictionary file to be stored,
A function of accepting selection input of a product included in the image from the plurality of product candidates when a plurality of products is recognized as a product candidate included in the image;
When a selection input of any one of the plurality of products is received, a declaration input indicating whether or not to add the feature amount data stored in the recognition dictionary file for the selected product A function to accept
When receiving a declaration input for performing the addition, a function of adding appearance feature data of a product included in the image as feature data for the product that has received the selection input of the recognition dictionary file;
Recognition dictionary addition program to realize.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014109438A JP5753929B2 (en) | 2014-05-27 | 2014-05-27 | Product recognition apparatus, method, and recognition dictionary addition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014109438A JP5753929B2 (en) | 2014-05-27 | 2014-05-27 | Product recognition apparatus, method, and recognition dictionary addition program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012162852A Division JP5553866B2 (en) | 2012-07-23 | 2012-07-23 | Product recognition device and recognition dictionary addition program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014160513A true JP2014160513A (en) | 2014-09-04 |
JP5753929B2 JP5753929B2 (en) | 2015-07-22 |
Family
ID=51612099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014109438A Active JP5753929B2 (en) | 2014-05-27 | 2014-05-27 | Product recognition apparatus, method, and recognition dictionary addition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5753929B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016115284A (en) * | 2014-12-17 | 2016-06-23 | カシオ計算機株式会社 | Commodity identification apparatus and commodity recognition navigation method |
JP2019109692A (en) * | 2017-12-18 | 2019-07-04 | 富士通株式会社 | Data output program, apparatus and method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07320164A (en) * | 1994-05-30 | 1995-12-08 | Tec Corp | Checkout system |
JPH08227480A (en) * | 1995-02-21 | 1996-09-03 | Tec Corp | Article sale registration data processor |
JP2003067744A (en) * | 2001-08-24 | 2003-03-07 | Toshiba Corp | Device and method for authenticating individual person |
JP2010198137A (en) * | 2009-02-23 | 2010-09-09 | Nec Infrontia Corp | Stationary scanner, pos terminal, to-be-paid merchandise selection method, to-be-paid merchandise selection program and program recording medium |
JP2010237886A (en) * | 2009-03-31 | 2010-10-21 | Nec Infrontia Corp | Self-pos device and method for operating the same |
-
2014
- 2014-05-27 JP JP2014109438A patent/JP5753929B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07320164A (en) * | 1994-05-30 | 1995-12-08 | Tec Corp | Checkout system |
JPH08227480A (en) * | 1995-02-21 | 1996-09-03 | Tec Corp | Article sale registration data processor |
JP2003067744A (en) * | 2001-08-24 | 2003-03-07 | Toshiba Corp | Device and method for authenticating individual person |
JP2010198137A (en) * | 2009-02-23 | 2010-09-09 | Nec Infrontia Corp | Stationary scanner, pos terminal, to-be-paid merchandise selection method, to-be-paid merchandise selection program and program recording medium |
JP2010237886A (en) * | 2009-03-31 | 2010-10-21 | Nec Infrontia Corp | Self-pos device and method for operating the same |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016115284A (en) * | 2014-12-17 | 2016-06-23 | カシオ計算機株式会社 | Commodity identification apparatus and commodity recognition navigation method |
JP2019109692A (en) * | 2017-12-18 | 2019-07-04 | 富士通株式会社 | Data output program, apparatus and method |
JP7159552B2 (en) | 2017-12-18 | 2022-10-25 | 富士通株式会社 | Data output program, device and method |
Also Published As
Publication number | Publication date |
---|---|
JP5753929B2 (en) | 2015-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5553866B2 (en) | Product recognition device and recognition dictionary addition program | |
US9990541B2 (en) | Commodity recognition apparatus and commodity recognition method | |
US10108830B2 (en) | Commodity recognition apparatus and commodity recognition method | |
JP5619095B2 (en) | Product recognition apparatus and product recognition program | |
JP5826152B2 (en) | Product recognition apparatus and product recognition program | |
JP5372191B2 (en) | Product reading apparatus and product reading program | |
JP5826801B2 (en) | Product recognition apparatus and product recognition program | |
JP5439623B2 (en) | Product reading apparatus and product reading program | |
JP2013250768A (en) | Article recognition device, and article recognition program | |
US10482447B2 (en) | Recognition system, information processing apparatus, and information processing method | |
JP2015099549A (en) | Article-of-commerce recognition device and article-of-commerce recognition program | |
JP2014092960A (en) | Commodity recognition device and commodity recognition program | |
JP2017211881A (en) | Information processing apparatus and program | |
JP6949611B2 (en) | Product registration device and its program | |
JP2022009877A (en) | Management device and program | |
JP2017211880A (en) | Information processing apparatus and program | |
JP5760032B2 (en) | Recognition dictionary creation device and recognition dictionary creation program | |
JP5753929B2 (en) | Product recognition apparatus, method, and recognition dictionary addition program | |
JP5903516B2 (en) | Product recognition apparatus and product recognition program | |
JP2015099550A (en) | Article-of-commerce recognition device and article-of-commerce recognition program | |
JP6392406B2 (en) | Product recognition apparatus and product recognition program | |
JP6133470B2 (en) | Product recognition apparatus and product recognition program | |
JP6964166B2 (en) | Recognition systems, information processing devices, and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5753929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |