JP2022066264A - Article reading device and program - Google Patents
Article reading device and program Download PDFInfo
- Publication number
- JP2022066264A JP2022066264A JP2022025952A JP2022025952A JP2022066264A JP 2022066264 A JP2022066264 A JP 2022066264A JP 2022025952 A JP2022025952 A JP 2022025952A JP 2022025952 A JP2022025952 A JP 2022025952A JP 2022066264 A JP2022066264 A JP 2022066264A
- Authority
- JP
- Japan
- Prior art keywords
- article
- reading
- feature amount
- unit
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 description 80
- 230000008569 process Effects 0.000 description 73
- 238000012545 processing Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 10
- 230000007704 transition Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 235000013372 meat Nutrition 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
Description
本発明の実施形態は、物品読取装置およびプログラムに関する。 Embodiments of the present invention relate to article readers and programs.
従来、店舗において、販売する商品を売上登録する際に、店員は、商品に付されたバーコードを読み取ることによって当該商品を登録していた。また、バーコードが付されていない商品は、店員が、商品と、画面に表示された各商品に対応する複数の選択ボタンと、を比較して、商品と対応する選択ボタンを操作することによって、商品を登録していた。一方、商品の外観を撮像した撮像画像の中から当該商品の特徴量を抽出して、抽出した特徴量を予め用意された照合用のデータと比較することによって、商品の種別等を認識する一般物体認識(オブジェクト認識)を用いて商品の登録を行う技術が存在している。そして、バーコードに基づく商品の登録と、オブジェクト認識結果に基づく商品の登録とを、切り替え等の操作を行うことなく、ともに実行可能な装置が提案されている(例えば、特許文献1)。 Conventionally, when registering sales of a product to be sold at a store, a clerk has registered the product by reading a barcode attached to the product. For products without a barcode, the clerk compares the product with a plurality of selection buttons corresponding to each product displayed on the screen, and operates the selection button corresponding to the product. , The product was registered. On the other hand, in general, the type of the product is recognized by extracting the feature amount of the product from the captured image obtained by capturing the appearance of the product and comparing the extracted feature amount with the collation data prepared in advance. There is a technique for registering products using object recognition (object recognition). Then, a device has been proposed that can execute both the registration of a product based on a barcode and the registration of a product based on an object recognition result without performing an operation such as switching (for example, Patent Document 1).
このように、バーコードの読み取りとオブジェクト認識とを、切り替え等の操作を行うことなく実行可能な物品読取装置にあっては、商品登録の効率を上げるために、商品の登録を指示する選択ボタンと、実際に撮像した商品の画像と、を画面に同時に表示するのが望ましい。しかしながら、1つの画面内に異なる2つの情報が表示されるため、各々の表示範囲が小さくなって表示内容が見えにくくなり、これによって、登録操作の効率が低下するという課題があった。 In this way, in the case of an article reading device that can perform barcode reading and object recognition without performing operations such as switching, a selection button for instructing product registration is performed in order to improve the efficiency of product registration. It is desirable to simultaneously display the image of the product actually captured and the image of the product on the screen. However, since two different pieces of information are displayed on one screen, the display range of each is reduced and the displayed contents are difficult to see, which causes a problem that the efficiency of the registration operation is lowered.
本発明が解決しようとする課題は、バーコードの読み取りとオブジェクト認識とを、ともに実行可能な物品読取装置において、撮像した商品の画像を、必要に応じて、特別な操作を行うことなしに見やすく表示することができる物品読取装置およびプログラムを提供することである。 The problem to be solved by the present invention is that an image of a product captured by an article reading device capable of both reading a barcode and recognizing an object can be easily viewed without any special operation as necessary. It is to provide an article reader and a program that can be displayed.
実施形態の物品読取装置は、表示手段と、バーコード読取手段と、抽出手段と、オブジェクト認識手段と、判定手段と、表示制御手段と、を備える。表示手段は、登録対象となる物品を選択するための選択ボタンを配置した画面、または物品の外観を撮像した撮像画像を表示する。バーコード読取手段は、撮像画像の中から、物品に付されたコードシンボルを読み取る。抽出手段は、撮像画像の中から、物品が、予め登録された対象物品のいずれと類似しているかを認識するための第1の特徴量と、物品を第1の特徴量に基づいて認識するか、もしくは、バーコード読取手段の読み取り結果によって認識するかを判定するための第2の特徴量とを抽出する。オブジェクト認識手段は、物品の第1の特徴量と予め登録された対象物品の特徴量とを比較して、その類似度が所定の閾値以上である対象物品を、物品の候補として認識する。判定手段は、第2の特徴量、またはバーコード読取手段の読み取り結果に基づいて、物品がオブジェクト認識手段による認識の非対象物品であるかを判定する。表示制御手段は、判定手段の判定結果に応じて、画面に表示する撮像画像の表示状態を制御する。 The article reading device of the embodiment includes a display means, a bar code reading means, an extraction means, an object recognition means, a determination means, and a display control means. The display means displays a screen on which a selection button for selecting an article to be registered is arranged, or an image captured by capturing the appearance of the article. The barcode reading means reads the code symbol attached to the article from the captured image. The extraction means recognizes the article based on the first feature amount for recognizing which of the pre-registered target articles the article is similar to from the captured image and the article. Or, a second feature amount for determining whether to recognize by the reading result of the barcode reading means is extracted. The object recognition means compares the first feature amount of the article with the feature amount of the target article registered in advance, and recognizes the target article whose similarity is equal to or higher than a predetermined threshold value as a candidate for the article. The determination means determines whether the article is a non-target article recognized by the object recognition means based on the second feature amount or the reading result of the barcode reading means. The display control means controls the display state of the captured image to be displayed on the screen according to the determination result of the determination means.
(チェックアウトシステムの全体構成の説明)
以下、図面を参照して、物品読取装置およびプログラムの実施形態を詳細に説明する。本実施形態では、係る物品読取装置およびプログラムの一実施形態として、スーパーマーケット等の店舗に設けられた、物品読取装置101を備えたチェックアウトシステム1への適用例を示す。
(Explanation of the overall configuration of the checkout system)
Hereinafter, embodiments of the article reader and the program will be described in detail with reference to the drawings. In this embodiment, as one embodiment of the article reading device and the program, an application example to the
図1は、チェックアウトシステム1の一例を示す外観斜視図である。図1に示すように、チェックアウトシステム1は、売上登録を行う際に登録対象となる物品(商品)の画像を撮像して、撮像された物品の画像が有する特徴量(第1の特徴量)または物品に付されたバーコード等の識別情報を読み取る物品読取装置101を備える。また、チェックアウトシステム1は、物品読取装置101が読み取った商品を売上登録して精算処理を行う商品精算装置(POS(Point-of-Sales)端末)11を備える。POS端末11は、物品読取装置101から出力される物品の特徴量(第1の特徴量)に基づいて商品候補を選出する。また、POS端末11は、店員(キャッシャ)に商品候補を提示して、正しい商品を選択させる。なお、実施形態のチェックアウトシステム1にあっては、物品読取装置101は、野菜、果物、精肉等の自然物に対してはオブジェクト認識によって商品を特定する。そして、その他の商品(例えば人工物等)に対しては、商品に付されたバーコードを読み取ることによって商品を特定するものとする。
FIG. 1 is an external perspective view showing an example of the
図1の例において、POS端末11は、レジ台41の上に、ドロワ21に載置した状態で設けられる。POS端末11は、上面に、操作用の押下キーが配列されたキーボード22を有する。また、POS端末11は、キーボード22の上方に、キャッシャが登録情報の確認、および決済に必要な情報の入力に使用する第1の表示デバイス23と、客が登録情報の確認に使用する第2の表示デバイス24とを有する。第1の表示デバイス23は、液晶パネル等の表示パネル23aを有し、表示パネル23aにタッチパネル26が積層されたタッチ入力式のものである。第2の表示デバイス24は液晶パネル等の表示パネル24aを有する。第2の表示デバイス24は、POS端末11の上部に、客から見やすい方向に回転可能に立設されている。ドロワ21は、内部に紙幣や硬貨などを収納し、POS端末11からの指示により開放する。
In the example of FIG. 1, the
レジ台41の隣には、レジ台41と共にL状に配置されたサッカー台151を設けている。サッカー台151の上面には、買物カゴ153などを載置するための荷受面152が形成されている。図1は、買物カゴ153として、第1の買物カゴ153aと第2の買物カゴ153bとが載置された例を示している。第1の買物カゴ153aは、客が持ち込んだ買物カゴ、つまり読み取り前の物品(例えば物品G)の入った買い物カゴである。第2の買物カゴ153bは、読み取りを終えた物品Gを収納するための買物カゴである。キャッシャは、第1の買物カゴ153aから読み取り前の例えば物品Gを手に取り、物品読取装置101に物品Gを読み取らせた後、物品Gを第2の買物カゴ153bに移し替える。なお、買物カゴ153は、カゴ状のものに限らず、トレー状、箱状、袋状等であってもよい。
Next to the
物品読取装置101はサッカー台151の荷受面152の中央部に立設され、POS端末11と有線または無線によりデータ送受信可能に接続される。物品読取装置101は、ハウジング102に読取窓103が正面(キャッシャ側)に配置された読取ユニット110を備える。読取窓103は透光性を有する、例えば透明なガラス板等により構成されている。また、物品読取装置101は、ハウジング102の上部に、表示・操作ユニット104を備える。表示・操作ユニット104は、液晶パネル等の第3の表示デバイス106を有する。表示・操作ユニット104は、キャッシャが、読取ユニット110が読み取った画像等の情報の確認、および物品読取装置101が認識した商品候補の中から商品を選択する際の情報の入力等に使用する。第3の表示デバイス106の画面には、タッチパネル105が積層されて、タッチ入力が可能となっている。また、第3の表示デバイス106の右隣にはキーボード107が設けられて、キャッシャによるキーボード入力が可能となっている。さらに、物品読取装置101は、客が、物品Gの読み取り結果等を確認するための第4の表示デバイス109を、表示・操作ユニット104の背面側(客側)に備える。
The
読取ユニット110は、読取窓103の奥に、物品Gを撮像するための撮像部164(撮像手段)を備える。物品Gが撮像部164により撮像されると、読取ユニット110は、撮像された物品Gの画像(撮像画像)の中から物品Gの特徴量(第1の特徴量)を抽出し、抽出した特徴量をPOS端末11に対して出力する。また、読取ユニット110は、撮像画像の中に、物品Gを識別するバーコード等のコードシンボルが存在することを認識すると、当該バーコードの内容を読み取って物品Gを特定する。
The
表示・操作ユニット104は、POS端末11から出力された、プリセット画面や商品候補の選択画面等の各種画面を第3の表示デバイス106に表示する。プリセット画面は、商品を選択するための複数の選択ボタン等が配置された画面である。選択画面は、読取ユニット110が読み取った商品候補情報が表示された画面である。なお、詳細な画面構成について、詳しくは後述する。
The display /
また、表示・操作ユニット104は、撮像部164によって撮像された撮像画像を、表示手段の一例である第3の表示デバイス106に表示する。キャッシャは、第3の表示デバイス106に表示された撮像画像を確認することによって、物品Gが的確に撮像されたかを確認する。キャッシャは、第3の表示デバイス106に表示された撮像画像を確認して、物品Gのフレームアウトの発生や、ブレの発生等、読み取りを行うのに不適切な画像が撮像された際には、読取ユニット110に再度物品Gの読み取りを行わせる。
Further, the display /
(チェックアウトシステムのハードウェア構成の説明)
次に、POS端末11および物品読取装置101のハードウェア構成について説明する。図2は、POS端末11および物品読取装置101のハードウェア構成を示すハードウェアブロック図である。POS端末11は、CPU(Central Processing Unit)61、ROM(Read Only Memory)62、RAM(Random Access Memory)63、HDD(Hard Disk Drive)64、接続インタフェース65、プリンタ66、ドロワ21、キーボード22、第1の表示デバイス23、第2の表示デバイス24、通信インタフェース25、タッチパネル26などを備える。CPU61と、ROM62と、RAM63は、内部バス27により接続される。また、ドロワ21、キーボード22、第1の表示デバイス23、第2の表示デバイス24、通信インタフェース25、タッチパネル26、HDD64、接続インタフェース65、プリンタ66は、いずれも各種の入出力回路(いずれも不図示)を介して上記内部バス27に接続される。
(Explanation of hardware configuration of checkout system)
Next, the hardware configuration of the
CPU61は、POS端末11の全体の制御を司る中央演算処理装置である。ROM62は固定プログラムなどを格納する不揮発性メモリである。RAM63は、CPU61が作業エリアなどとして使用する揮発性メモリである。
The
HDD64は、各種プログラムや各種ファイルを記憶する記憶部である。各種プログラムには、商品候補を決定してその商品候補を示す情報を選択画面に表示するなどの処理を含む、商品販売データ処理のためのプログラムPRなどが含まれる。各種ファイルは、ストアコンピュータSCから配信されて格納されたPLUファイルF1などである。また、HDD64には、商品を登録するための登録テーブルや売上テーブルなどが記憶されている。
The
通信インタフェース25は、ストアコンピュータSCとデータ通信を行うためのネットワークカード等で構成される。ストアコンピュータSCは、店舗のバックヤード等に設置されたものである。ストアコンピュータSCは、HDD(不図示)に、POS端末11に配信するためのPLUファイルF1などを格納している。
The
接続インタフェース65は、物品読取装置101の接続インタフェース175や接続インタフェース176と通信を行うためのインタフェースである。通信は、有線または無線により行う。プリンタ66は、取引内容をレシート等に印字し、そのレシートを排出する印字装置である。
The
物品読取装置101は、読取ユニット110と表示・操作ユニット104とを備える。
このうち読取ユニット110は、CPU161と、ROM162と、RAM163と、撮像部164と、音声出力部165と、接続インタフェース175とを有する。また、表示・操作ユニット104は、接続インタフェース176と、タッチパネル105と、第3の表示デバイス106と、キーボード107と、第4の表示デバイス109とを有する。
The
Of these, the
CPU161と、ROM162と、RAM163は、内部バス166により接続される。また、撮像部164と、音声出力部165と、接続インタフェース175とは、いずれも各種の入出力回路(いずれも図示せず)を介して上記内部バス166に接続される。そして、タッチパネル105と、第3の表示デバイス106と、キーボード107と、第4の表示デバイス109とは、いずれも各種の入出力回路(いずれも不図示)を介して接続インタフェース176に接続される。
The
CPU161は、物品読取装置101の全体の制御を司る中央演算処理装置である。ROM162は制御プログラムなどを格納する不揮発性メモリである。制御プログラムには、撮像された撮像画像の中から特徴量(第1の特徴量)を抽出して、抽出した特徴量をPOS端末11に出力する処理等のプログラムなどが含まれる。RAM163は、CPU161が作業エリアなどとして使用する揮発性メモリである。
The
撮像部164は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有するカラーイメージセンサである。撮像部164は、CPU161からの撮像開始信号を受けて撮像を開始し、読取窓103に翳された物品Gを所定のフレームレート(例えば30fpsなど)で電気信号に変換し、撮像された画像を順次出力する。
The
音声出力部165は、予め設定された読取音(“ピッ”)や警告音や音声等を再生するための再生回路やスピーカ等を有する。音声出力部165は、CPU161からの制御信号により読取音や警告音や音声等を再生して、物品Gの読取状態等を音で報知する。
The
さらに、CPU161には接続インタフェース175が接続される。接続インタフェース175は、POS端末11の接続インタフェース65と通信接続し、物品読取装置101とPOS端末11との間のデータ送受信を行う。
Further, a connection interface 175 is connected to the
接続インタフェース176は、POS端末11の接続インタフェース65と通信接続し、物品読取装置101とPOS端末11との間のデータ送受信を行う。
The
ここで、PLUファイルF1について説明する。PLUファイルF1は、物品G毎に、商品情報とその商品の特徴量(第1の特徴量)とを対応付けたデータファイルである。商品情報は、商品を一意に識別するための商品識別情報(商品ID等)や、商品分類や、商品を示すイラスト画像や、単価などを示す情報である。特徴量は、それぞれの物品Gのサンプル画像から所定のアルゴリズムによって事前に抽出した、物品G毎の特徴を示す、例えば、色合いや表面の凹凸等の表面状態(テクスチャ)である。 Here, the PLU file F1 will be described. The PLU file F1 is a data file in which product information and a feature amount (first feature amount) of the product are associated with each article G. The product information is product identification information (product ID, etc.) for uniquely identifying a product, product classification, an illustration image showing a product, information indicating a unit price, and the like. The feature amount is a surface state (texture) such as a color tone or surface unevenness, which indicates the features of each article G, which are extracted in advance from the sample image of each article G by a predetermined algorithm.
図3は、PLUファイルF1のデータ構成の一例を示す図である。PLUファイルF1は、物品G毎に商品情報とその商品の特徴量(第1の特徴量)とを対応付けたデータを格納する。図3に示す例では、商品情報として、商品ID欄f1、商品分類欄f2、商品名欄f3、単価欄f4、イラスト画像欄f5等のデータを格納する。これらの商品情報に、商品の特徴量欄f6のデータが対応付けられている。特徴量欄f6に格納されるデータは、後述する類似度の判定の際に、照合用のデータとして用いられるものである。なお、商品ID欄f1に示すデータ「XXXXXXXX」は、各商品と一意に対応する値である。また、特徴量欄f6に示すデータ「YYYYYYYY」は、商品毎に算出された値である。 FIG. 3 is a diagram showing an example of the data structure of the PLU file F1. The PLU file F1 stores data in which the product information and the feature amount (first feature amount) of the product are associated with each article G. In the example shown in FIG. 3, data such as a product ID column f1, a product classification column f2, a product name column f3, a unit price column f4, and an illustration image column f5 are stored as product information. The data in the feature amount column f6 of the product is associated with the product information. The data stored in the feature amount column f6 is used as collation data when determining the degree of similarity, which will be described later. The data "XXXXXX" shown in the product ID column f1 is a value uniquely corresponding to each product. Further, the data "YYYYYYYY" shown in the feature amount column f6 is a value calculated for each product.
(チェックアウトシステムの機能構成の説明)
次に、チェックアウトシステム1を構成するPOS端末11および物品読取装置101の機能構成について説明する。図4は、POS端末11および物品読取装置101のそれぞれの機能ブロックの構成の一例を示す図である。物品読取装置101では、図2に示すCPU161が、ROM162に格納されたプログラムを適宜実行する。これにより、図4に示すように、CPU161の内部に、画像取込部51と、商品検知部52と、バーコード認識部53と、特徴量抽出部54と、オブジェクト認識適用判定部55とが機能部として実現される。また、POS端末11では、図2に示すCPU61が、ROM62に格納されたプログラム、およびHDD64に格納されたプログラムPRを適宜実行する。これにより、図4に示すように、CPU61の内部に、商品候補抽出部71と、表示制御部72と、入力受付部73と、売上登録部74とが機能部として実現される。
(Explanation of the functional configuration of the checkout system)
Next, the functional configurations of the
画像取込部51は、撮像部164(図2)に対して撮像開始信号を出力して、撮像部164に撮像動作を開始させる。その後、画像取込部51は、撮像部164が撮像して出力した画像を取り込み、RAM163(図2)に順次保存する。
The
商品検知部52は、撮像部164が撮像して出力した連続する複数の撮像画像に基づいて、物品Gが読取窓103(図1)に翳されたことを検知する。具体的に、商品検知部52は、撮像部164(図2)が出力した撮像画像をRAM163(図2)から読み出し、直近に読み出した撮像画像と、輝度を比較する。商品検知部52は、輝度の比較によって輝度階調に変化があったことを条件として、手や物品G等の何等かの写り込みがある撮像画像と判断する。さらに、商品検知部52は、写り込みのある撮像画像と連続する撮像画像を2値化して物品Gの輪郭線を抽出する。そして、商品検知部52は、連続する撮像画像の輪郭線の位置に変化があったときに、その輪郭線内の領域が、読取窓103に翳された物品Gを示す領域であると特定する。このようにして、商品検知部52は、物品Gが読取窓103に翳されたことを検知する。
The
なお、物品Gが翳されたことを特定する方法は上記に限らず、他の方法を用いてもよい。例えば、撮像画像内の物品Gの輪郭線ではなく、肌色領域の有無によって特定するようにしてもよい。すなわち、撮像画像内に肌色領域がある場合には、キャッシャの手の写り込みがあることが予想される。したがって、例えば、撮像画像の中から輪郭線を抽出して、手の形状を示す輪郭線のうち、物品を把持する位置の輪郭線の内側の領域を、物品Gを示す領域として特定してもよい。 The method for specifying that the article G has been held is not limited to the above, and other methods may be used. For example, it may be specified by the presence or absence of a skin color region instead of the contour line of the article G in the captured image. That is, when there is a flesh-colored region in the captured image, it is expected that the cashier's hand is reflected. Therefore, for example, even if the contour line is extracted from the captured image and the region inside the contour line at the position where the article is gripped is specified as the region showing the article G among the contour lines showing the shape of the hand. good.
バーコード認識部53は、バーコード読取手段の一例であり、撮像画像の中にバーコード等のコードシンボルが写っていることを認識する。また、バーコード認識部53は、認識したバーコードを読み取る読取処理を行い、読み取り結果を商品候補抽出部71に通知する。また、バーコード認識部53は、撮像画像にバーコード等のコードシンボルが写っていない場合には、バーコードが読み取れない旨を商品候補抽出部71に通知する。なお、撮像画像の中にバーコードが写っているかの判定方法、および撮像画像の中に写っているバーコードが有するコード情報の読み取り方法については、既に公知の技術として用いられているため、ここでは詳細な説明は省略する。
The barcode recognition unit 53 is an example of a barcode reading means, and recognizes that a code symbol such as a barcode is shown in a captured image. Further, the barcode recognition unit 53 performs a reading process for reading the recognized barcode, and notifies the product
特徴量抽出部54は、抽出手段の一例であり、撮像画像に写っている物品Gの領域から、オブジェクト認識による認識対象物品が有する特徴量80a(第1の特徴量)を抽出する。そして、特徴量抽出部54は、抽出した特徴量80aをPOS端末11の商品候補抽出部71に出力する。具体的に、特徴量抽出部54は、RAM163から撮像画像を読み出す。そして、特徴量抽出部54は、撮像画像の中から物品Gの領域を特定する。次に、特徴量抽出部54は、特定した領域の内部に対して、オブジェクト認識による認識対象物品が有する特徴量80aとして、予めPLUファイルF1に登録されている特徴量欄f6に相当する特徴量80aを抽出する。特徴量抽出部54は、抽出した特徴量80aを接続インタフェース175(図2)に出力する。接続インタフェース175は、受信した特徴量80aを接続インタフェース65(図2)に出力して、接続インタフェース65から商品候補抽出部71に特徴量80aを通知する。
The feature
また、特徴量抽出部54は、撮像画像に写っている物品Gの領域から、物品Gがオブジェクト認識の非対象物品であるかを判定するための特徴量80b(第2の特徴量)を抽出する。例えば、本実施例では、野菜、果物、精肉等の自然物に対してはオブジェクト認識によって商品を特定して、人工物に対しては商品に付されたバーコードによって商品を特定するものとする。そして、特徴量抽出部54は、撮像画像に写っている物品Gの領域が人工物であるか自然物であるかを判別するための特徴量80bを抽出する。具体的には、プラスチック、紙、布等の人工物に共通する特徴量のうち、野菜、果物、精肉等の自然物には存在しない特徴量80bを選定して使用する。
Further, the feature
オブジェクト認識適用判定部55は、判定手段の一例であり、特徴量抽出部54が抽出した特徴量80bに基づいて、撮像画像に写っている物品Gが、オブジェクト認識の非対象物品であるかを判定する。オブジェクト認識適用判定部55は、さらに、撮像画像の中に写っている物品Gが人工物、すなわち、オブジェクト認識の非対象物品であると判定されたことを条件として、物品Gを特定するためにバーコードの読み取りが必要であると判定する。一方、オブジェクト認識適用判定部55は、撮像画像の中に写っている物品Gが自然物、すなわち、オブジェクト認識の対象物品であると判定されたことを条件として、物品Gを特定するためにオブジェクト認識を行う必要があると判定する。なお、オブジェクト認識適用判定部55の判定結果は、商品候補抽出部71および表示制御部72に通知される。
The object recognition
商品候補抽出部71は、オブジェクト認識手段の一例であり、撮像画像内の物品Gを認識するためのオブジェクト認識処理を行う。具体的には、商品候補抽出部71は、特徴量抽出部54から通知された物品Gの特徴量80aをPLUファイルF1(図3)に登録されている各商品の特徴量欄f6と照合して類似度を算出する。さらに、商品候補抽出部71は、PLUファイルF1の中から、類似度が所定の閾値以上である商品を、物品Gの候補として選出する。そして、商品候補抽出部71は、選出した商品候補情報を表示制御部72に出力する。また、商品候補抽出部71は、バーコードが付された物品Gに対して、バーコード認識部53が読み取った商品ID欄f1をPLUファイルF1と照合することによって、商品を特定する。そして、商品候補抽出部71は、特定した商品情報を表示制御部72に出力する。
The product
なお、画像の中に含まれる物品Gを認識するオブジェクト認識は、一般物体認識(generic object recognition)とも呼ばれる。一般物体認識で用いられる各種認識技術については、下記の文献に詳しく解説されているため、説明は省略する。
柳井 啓司、“一般物体認識の現状と今後”、情報処理学会論文誌、Vol.48,No.SIG16 [平成28年8月5日検索]、インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
The object recognition for recognizing the article G contained in the image is also called general object recognition. Since various recognition techniques used in general object recognition are explained in detail in the following documents, the description thereof will be omitted.
Keiji Yanai, "Current Situation and Future of General Object Recognition", IPSJ Journal, Vol. 48, No. SIG16 [Search on August 5, 2016], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
Jamie Shottonら、“Semantic Texton Forests for Image Categorization and Segmentation”、[平成28年8月5日検索]、インターネット<URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf > Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [Searched August 5, 2016], Internet <URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings /2008-CVPR-semantic-texton-forests.pdf>
ここで、商品候補抽出部71がオブジェクト認識を行って物品Gを特定する際に算出する類似度は、例えばPLUファイルF1内の各物品の特徴量欄f6を100%=「類似度:1.0」とした場合に、撮像画像の中に写っている物品Gの特徴量80aがどの程度類似しているかを示すものである。なお、類似度は絶対評価で算出してもよいし、相対評価で算出してもよい。
Here, the similarity calculated when the product
例えば、類似度を絶対評価で算出するとする。その場合、撮像画像の中に写っている物品Gの特徴量80aと、PLUファイルF1に登録された各物品の特徴量欄f6とを1対1で比較し、この比較の結果算出される類似度をそのまま採用する。ここで、類似度95%を閾値にしたとする。その場合、商品候補抽出部71は、類似度95%以上の商品(商品候補情報)を類似度の順に順番付けを行って表示制御部72に出力する。
For example, assume that the similarity is calculated by absolute evaluation. In that case, the feature amount 80a of the article G shown in the captured image and the feature amount column f6 of each article registered in the PLU file F1 are compared on a one-to-one basis, and the similarity calculated as a result of this comparison is performed. Adopt the degree as it is. Here, it is assumed that the similarity is set to 95%. In that case, the product
また、類似度を相対評価で算出するとする。その場合、PLUファイルF1の各商品との類似度の総和が1.0(100%)となるよう算出する。例えば、PLUファイルF1に5つの商品(第1の商品、第2の商品、第3の商品、第4の商品、第5の商品)の特徴量が特徴量欄f6に登録されているものとする。その場合の類似度は、例えば第1の商品に対する類似度「0.6」、第2の商品に対する類似度「0.1」、第3の商品に対する類似度「0.1」、第4の商品に対する類似度「0.1」、第5の商品に対する類似度「0.1」等とし、類似度の総和が常に1.0になるようにする。ここで類似度0.5を閾値にしたとする。その場合、商品候補抽出部71は、類似度0.5以上の商品の商品情報(商品候補情報)を類似度の順に順番付けを行って表示制御部72に出力する。
Further, it is assumed that the degree of similarity is calculated by relative evaluation. In that case, the total degree of similarity of the PLU file F1 with each product is calculated to be 1.0 (100%). For example, it is assumed that the feature quantities of the five products (first product, second product, third product, fourth product, fifth product) are registered in the feature quantity column f6 in the PLU file F1. do. In that case, the similarity is, for example, the similarity "0.6" with respect to the first product, the similarity "0.1" with respect to the second product, the similarity "0.1" with respect to the third product, and the fourth. The similarity to the product is "0.1", the similarity to the fifth product is "0.1", etc., so that the total of the similarity is always 1.0. Here, it is assumed that the similarity degree of 0.5 is set as the threshold value. In that case, the product
表示制御部72は、表示制御手段の一例であり、いずれも図2に示した第1の表示デバイス23、第2の表示デバイス24、第3の表示デバイス106、および第4の表示デバイス109の表示状態をそれぞれ制御する。なお、表示制御部72は、第1の表示デバイス23および第2の表示デバイス24の表示状態を、内部バス27を介して制御する。また、表示制御部72は、第3の表示デバイス106および第4の表示デバイス109の表示状態を、接続インタフェース65および接続インタフェース176を介して制御する。以下、本発明の特徴的な構成である、表示制御部72が第3の表示デバイス106の表示状態を制御する構成について説明する。
The
表示制御部72は、第3の表示デバイス106に対して、商品を選択するための複数の選択ボタンなどが所定位置に配列されたプリセット画面G1(図5(a)参照)を表示させる。さらに、表示制御部72は、商品候補抽出部71から商品候補情報を受信すると、第3の表示デバイス106に対して、商品候補情報を含む選択画面G2(図5(b)参照)を表示させる。
The
具体的には、表示制御部72は、商品候補情報として選出された、例えば上位4件の商品候補の選択ボタンの表示の設定を、商品候補であることを示す設定として、プリセット画面G1の更新情報を生成する。そして、表示制御部72は、このプリセット画面G1の更新情報を、接続インタフェース65に出力する。出力された更新情報は、接続インタフェース65から接続インタフェース176を介して、第3の表示デバイス106に出力される。これにより、第3の表示デバイス106の表示画面は、プリセット画面G1から商品候補の選択画面G2に遷移する。
Specifically, the
また、表示制御部72は、オブジェクト認識適用判定部55が、撮像画像に写っている物品Gを特定するためにオブジェクト認識処理を行う必要があると判定したことを条件として、撮像部164が撮像した撮像画像を、第3の表示デバイス106に表示する際の表示形態を制御する。表示形態の具体的な制御内容については後述する。
Further, the
入力受付部73は、キーボード22、107、タッチパネル26、105などの入出力機器からの各種入力操作を受け付ける。例えば、第3の表示デバイス106に商品候補の選択画面が表示されている間に、キャッシャが、キーボード107の選択ボタンを押下したり、タッチパネル105の選択ボタンをタッチしたりしたとする。その場合、操作された選択ボタンの操作情報が、その入出力機器から接続インタフェース176に出力される。そして、その操作情報は、接続インタフェース176から接続インタフェース65に出力されて、接続インタフェース65を介して、入力受付部73に通知される。
The input receiving unit 73 receives various input operations from input / output devices such as
売上登録部74は、入力受付部73がキーボード107やタッチパネル105から受け付けた選択ボタンの操作情報に基づき、操作情報に対応する一商品の商品情報を登録テーブル等に売上登録する。また、売上登録部74は、入力受付部73がタッチパネル26などから受け付けた締めの操作情報に基づき、それまでに売上登録した一取引分の商品の精算処理を行って、その売上情報を売上テーブル等に登録する。
The sales registration unit 74 registers the product information of one product corresponding to the operation information in the registration table or the like based on the operation information of the selection button received from the
(表示画面の内容の説明)
次に、物品Gを登録する際に、チェックアウトシステム1が第3の表示デバイス106に表示する画面の内容について説明する。図5は、第3の表示デバイス106に表示される画面の一例を示す図である。図5(a)は、チェックアウトシステム1が動作を開始した際に表示されるプリセット画面G1の一例である。図5(b)は、撮像部164が撮像した物品Gの画像の中から、商品候補抽出部71が商品候補を抽出した際に表示される選択画面G2の一例である。図5(c)は、バーコード認識部53が、物品Gに付されたバーコードを読み取った際に表示される読取結果画面G3の一例である。図5(d)は、撮像部164が撮像した物品Gの画像の中から、商品候補抽出部71が商品候補を抽出できなかった際に表示される再認識選択画面G4の一例である。
(Explanation of the contents of the display screen)
Next, the contents of the screen displayed on the
図5(a)に示すように、プリセット画面G1は、タブT1、T2、…と、選択ボタン表示領域E1等を有する。タブT1、T2、…は、選択ボタンをカテゴリ別に切り替えて表示させるためのボタンである。選択ボタン表示領域E1は、タブT1、T2、…によって指定された一カテゴリの選択ボタンK1、K2、K3、K4、K5、…をそれぞれ決められた位置に表示する表示領域である。 As shown in FIG. 5A, the preset screen G1 has tabs T1, T2, ..., A selection button display area E1 and the like. The tabs T1, T2, ... Are buttons for switching and displaying the selection buttons by category. The selection button display area E1 is a display area for displaying one category of selection buttons K1, K2, K3, K4, K5, ... Designated by the tabs T1, T2, ... At predetermined positions.
前述したオブジェクト認識処理やバーコード読取処理を行わずに商品の売上登録を行う場合には、キャッシャは、画面のタッチ入力などにより、タブT1、T2、…の中からカテゴリを指定して、さらに、選択されたカテゴリに対応する選択ボタン表示領域E1の中から、該当する選択ボタンK1、K2、K3、K4、K5、…を選択する。この操作によって選択された選択ボタンK1、K2、K3、K4、K5、…の操作情報が、POS端末11の入力受付部73により受け付けられる。そして、操作された選択ボタンK1、K2、K3、K4、K5、…に対応する商品情報が、PLUファイルF1(図2)から呼び出されて、売上登録部74(図4)によって売上登録される。
When registering sales of a product without performing the object recognition process or barcode reading process described above, the cashier can specify a category from tabs T1, T2, ... By touch input on the screen, and further. , Select the corresponding selection buttons K1, K2, K3, K4, K5, ... From the selection button display area E1 corresponding to the selected category. The operation information of the selection buttons K1, K2, K3, K4, K5, ... Selected by this operation is received by the input receiving unit 73 of the
バーコード認識部53(図4)が物品Gのバーコードを読み取るバーコード読取処理を行って、バーコードの内容を認識した場合に、表示制御部72は、図5(c)に示す読取結果画面G3を表示する。すなわち、表示制御部72は、読取結果画面G3の選択ボタン表示領域E1の中に、認識されたバーコードの内容に対応する選択ボタン(この場合は選択ボタンK5)のみを、点灯に相当する状態で表示する。そして、表示制御部72は、読取結果画面G3に、選択ボタンK5以外の選択ボタンを消灯に相当する状態で表示する。キャッシャは、点灯に相当する状態で表示された選択ボタンK5が物品Gと対応していることを確認した上で選択ボタンK5を押下する。すると、選択ボタンK5の操作情報が、POS端末11の入力受付部73により受け付けられる。そして、操作された選択ボタンK5に対応する商品情報が、PLUファイルF1(図2)から呼び出されて、売上登録部74(図4)によって売上登録される。なお、ここでは、バーコード読取処理を行った結果を読取結果画面G3として表示して、キャッシャが、表示された内容を確認した上で売上登録を行う構成として説明したが、構成はこの限りではない。すなわち、バーコード読取処理を行った結果に基づいて物品Gを特定したことを条件として、物品Gの特定結果をキャッシャに再確認させることなく売上登録を行う構成としてもよい。
When the barcode recognition unit 53 (FIG. 4) performs a barcode reading process for reading the barcode of the article G and recognizes the content of the barcode, the
さらに、表示制御部72は、撮像画像に写った物品Gを特定するためにオブジェクト認識が必要である場合に、図5(b)に示すように、オブジェクト認識処理によって得られた商品候補を含む選択画面G2を表示する。なお、このとき、表示制御部72は、撮像画像表示領域E2の中に、撮像部164が撮像した物品Gの画像を同時に表示する。このとき、表示制御部72は、物品Gの画像に、商品候補抽出部71がオブジェクト認識した物品Gの位置を示すオブジェクト検出枠W1を重畳表示する。キャッシャは、表示された画像を見て、撮像画像表示領域E2の中に物品Gが的確に撮像されていること、およびオブジェクト検出枠W1が物品Gに正しく重畳されていることを確認する。
Further, the
表示制御部72は、選択画面G2の商品候補表示領域E3の中に、商品候補抽出部71(図4)が抽出した商品候補のうち、類似度が高い、例えば上位4件を表示する。すなわち、表示制御部72は、商品候補表示領域E3の中に、選択ボタン(K10、K11、K12、K13)を表示する。
The
また、表示制御部72は、撮像画像の中に写った物品Gがオブジェクト認識の対象物品であって、なおかつ、撮像画像の中から商品候補抽出部71が商品候補を抽出できないことを条件として、図5(d)に示す再認識の実行を促す再認識選択画面G4を表示する。すなわち、表示制御部72は、再認識選択画面G4の撮像画像表示領域E2の中に、再認識の実行を促すメッセージと、再認識開始ボタンK20とを表示する。さらに、表示制御部72は、再認識選択画面G4の商品候補表示領域E3の中を、消灯に相当する状態で表示する。
Further, the
(第3の表示デバイスにおける画面遷移の説明)
次に、チェックアウトシステム1が第3の表示デバイス106に表示する画面遷移について説明する。図6は、チェックアウトシステム1が第3の表示デバイス106に表示する画面の画面遷移の一例を示す状態遷移図である。
(Explanation of screen transition in the third display device)
Next, the screen transition displayed by the
第3の表示デバイス106にプリセット画面G1(図5(a))が表示されている状態(ノードN1)において、オブジェクト認識適用判定部55が、物品Gをオブジェクト認識の対象物品であると判定すると、商品候補抽出部71がオブジェクト認識処理を行う。そして、商品候補が抽出される(アークA1)と、表示制御部72は、第3の表示デバイス106に、撮像画像と商品候補を含む選択画面G2を表示させる(ノードN2)。
When the preset screen G1 (FIG. 5A) is displayed on the third display device 106 (node N1), the object recognition
一方、ノードN1の状態において、商品候補抽出部71がオブジェクト認識処理を行い、商品候補が抽出されない(アークA2)と、表示制御部72は、第3の表示デバイス106に再認識選択画面G4を表示させる(ノードN4)。
On the other hand, in the state of the node N1, when the product
さらに、ノードN1の状態において、オブジェクト認識適用判定部55が、物品Gをオブジェクト認識の非対象物品であると判定すると、バーコード認識部53はバーコード読取処理を行う(アークA3)。そして、表示制御部72は、第3の表示デバイス106に読取結果画面G3を表示させる(ノードN3)。
Further, when the object recognition
第3の表示デバイス106に選択画面G2が表示されている状態(ノードN2)において、キャッシャが選択画面G2で物品Gに対応する選択ボタン(K10、K11、K12、K13)(図5(b))を押下する登録操作を行う(アークA4)と、売上登録部74(図4)は、当該物品Gを購入商品として登録する。そして、表示制御部72は、第3の表示デバイス106にプリセット画面G1を表示させる(ノードN1)。
In a state where the selection screen G2 is displayed on the third display device 106 (node N2), the cashier has a selection button (K10, K11, K12, K13) corresponding to the article G on the selection screen G2 (FIG. 5B). ) Is performed (Arc A4), and the sales registration unit 74 (FIG. 4) registers the article G as a purchased item. Then, the
第3の表示デバイス106に再認識選択画面G4が表示されている状態(ノードN4)において、キャッシャが再認識開始ボタンK20(図5(d))を押下すると、物品読取装置101は、再度オブジェクト認識処理を行う。その結果、商品候補が抽出される(アークA5)と、表示制御部72は、第3の表示デバイス106に、撮像画像と商品候補を含む選択画面G2を表示させる(ノードN2)。
When the cashier presses the re-recognition start button K20 (FIG. 5 (d)) while the re-recognition selection screen G4 is displayed on the third display device 106 (node N4), the
一方、ノードN4の状態において、再度オブジェクト認識処理を行った結果、商品候補が抽出されない場合(アークA6)には、表示制御部72は、第3の表示デバイス106に、再び、再認識選択画面G4を表示させる(ノードN4)。
On the other hand, when the product candidate is not extracted as a result of performing the object recognition process again in the state of the node N4 (arc A6), the
第3の表示デバイス106に読取結果画面G3が表示されている状態(ノードN3)において、キャッシャが読取結果画面G3上で、バーコード読取処理によって選択された選択ボタンK5(図5(c))を押下する登録操作を行う(アークA7)と、売上登録部74は、当該物品Gを購入商品として登録する。そして、表示制御部72は、第3の表示デバイス106に、プリセット画面G1を表示させる(ノードN1)。
In the state where the reading result screen G3 is displayed on the third display device 106 (node N3), the selection button K5 (FIG. 5 (c)) selected by the cashier by the barcode reading process on the reading result screen G3. When the registration operation is performed by pressing (Arc A7), the sales registration unit 74 registers the article G as a purchased item. Then, the
(チェックアウトシステムの動作の説明)
次に、チェックアウトシステム1の動作例について説明する。図7は、チェックアウトシステム1の商品登録および精算処理の一取引分の処理の一例を示すシーケンス図である。なお、以下の説明において、POS端末11では、CPU61によって、ROM62に格納されたプログラムやHDD64に格納されたプログラムPRが実行されて、商品候補抽出部71、表示制御部72、入力受付部73、売上登録部74などの機能部が立ち上がっているものとする。また、物品読取装置101では、CPU161によって、ROM162に格納されたプログラムが実行されて、画像取込部51、商品検知部52、バーコード認識部53、特徴量抽出部54、オブジェクト認識適用判定部55などの機能部が立ち上がっているものとする。さらに、物品読取装置101では、第3の表示デバイス106にプリセット画面G1(図5(a))が表示されて、撮像部164も常時起動されているものとする。
(Explanation of checkout system operation)
Next, an operation example of the
まず、物品読取装置101は、読取窓103に物品Gが翳されたことを検知して、物品Gの読取処理を行う(ステップS1)。具体的には、キャッシャが、図1に示した第1の買物カゴ153aから読取前の物品Gを手に取り、第2の買物カゴ153bに移す際に、物品Gを読取窓103に翳して商品の外観を撮像部164(図2)に読み取らせる。物品読取装置101は、撮像部164により撮像された画像を画像取込部51(図4)から取り込んでRAM163に保存する。そして、商品検知部52が、その画像の中から物品Gを検知する。そして、このときに、特徴量抽出部54が、検知された物品Gの特徴量80b(第2の特徴量)を抽出するとともに、オブジェクト認識適用判定部55が、特徴量80bに基づいて物品Gがオブジェクト認識の非対象物品であるかを判定する。
First, the
次に、物品読取装置101のCPU161は、特徴量抽出部54が抽出した特徴量80a(第1の特徴量)を、POS端末11の商品候補抽出部71に通知する(ステップS2)。そして、さらに、CPU161は、オブジェクト認識適用判定部55の判定結果に基づいて、物品Gがオブジェクト認識の非対象物品でないことを条件として、オブジェクト認識処理を行う必要がある旨を商品候補抽出部71に通知する。
Next, the
POS端末11では、商品候補抽出部71が、オブジェクト認識処理を行って、物品読取装置101から通知された特徴量80aを基にPLUファイルF1の中から類似度の高い順に商品情報(商品候補情報)を抽出する。そして、商品候補抽出部71は、抽出した商品候補情報を表示制御部72に出力する(ステップS3)。出力する商品候補情報の数は、適宜設定してよい。本実施形態では上位4点の商品候補情報を抽出する。
In the
さらに、POS端末11では、表示制御部72が、商品候補情報として抽出された上位4点の商品候補に対応する選択ボタン(K10、K11、K12、K13)(図5(b))を、プリセット画面G1の更新情報として、物品読取装置101の第3の表示デバイス106に向けて出力する(ステップS4)。
Further, in the
物品読取装置101は、表示制御部72により出力された更新情報に基づき、第3の表示デバイス106に、商品候補の選択画面G2(図5(b))を表示させる(ステップS5)。
The
キャッシャは、入力受付部73であるタッチパネル105(またはキーボード107)を介して、選択画面G2の商品候補に対応する選択ボタン(図5(b)のK10、K11、K12、K13のいずれか)を選択する。すると、物品読取装置101は、その操作情報をタッチパネル105(またはキーボード107)の入出力回路(不図示)がPOS端末11の入力受付部73に通知する(ステップS6)。
The cashier presses the selection button (any of K10, K11, K12, and K13 in FIG. 5B) corresponding to the product candidate on the selection screen G2 via the touch panel 105 (or keyboard 107) which is the input receiving unit 73. select. Then, the input / output circuit (not shown) of the touch panel 105 (or the keyboard 107) notifies the input receiving unit 73 of the
POS端末11の入力受付部73は、キャッシャが選択した物品Gに対応する商品情報を受け付けると、売上登録部74は、その商品情報を登録テーブル等に登録する(ステップS7)。
When the input receiving unit 73 of the
以上のステップS1からステップS7までの処理が、図1に示した第1の買物カゴ153a内の物品Gの全てに対して行われる。その後、キャッシャは、POS端末11において、キーボード22やタッチパネル26の締めキーを押下する。POS端末11の入力受付部73は、押下操作がなされたという通知を受けて、売上登録部74が、一取引分の商品の精算処理を行い、その売上情報を売上テーブル等に登録する(ステップS8)。
The above processes from step S1 to step S7 are performed on all of the articles G in the
(チェックアウトシステムが行う処理の流れの説明)
次に、チェックアウトシステム1が行う処理の流れについて説明する。図8は、チェックアウトシステム1が行う一連の処理の流れを示すフローチャートである。
(Explanation of the processing flow performed by the checkout system)
Next, the flow of processing performed by the
表示制御部72は、第3の表示デバイス106に、所定の選択ボタン(K1、K2、…)を配置したプリセット画面G1(図5(a))を表示する(ステップS10)。
The
画像取込部51は、撮像部164(図2)を制御することによって、物品Gの画像を撮像する撮像処理を行う(ステップS12)。
The
商品検知部52は、商品を検知したかを判定する(ステップS14)。商品検知部52が商品を検知したとき(ステップS14:Yes)はステップS16に進み、それ以外のとき(ステップS14:No)はステップS12に戻る。
The
オブジェクト認識適用判定部55(判定手段)は、撮像画像の中に写っている物品Gの特徴量80b(第2の特徴量)に基づいて、物品Gがオブジェクト認識の非対象物品であるかを判定する(ステップS16)。オブジェクト認識の非対象物品であるとき(ステップS16:Yes)はステップS18に進み、それ以外のとき(ステップS16:No)はステップS30に進む。 The object recognition application determination unit 55 (determination means) determines whether the article G is a non-target article for object recognition based on the feature amount 80b (second feature amount) of the article G shown in the captured image. Determination (step S16). When it is a non-target article for object recognition (step S16: Yes), the process proceeds to step S18, and when it is not the case (step S16: No), the process proceeds to step S30.
バーコード認識部53(バーコード読取手段)は、撮像画像に対して、バーコードの内容を読み取るバーコード読取処理を行う(ステップS18)。 The barcode recognition unit 53 (bar code reading means) performs a barcode reading process for reading the contents of the barcode on the captured image (step S18).
バーコード認識部53は、バーコードの内容を読み取ったかを判定する(ステップS20)。バーコードの内容を読み取ったとき(ステップS20:Yes)はステップS22に進み、それ以外のとき(ステップS20:No)はステップS26に進む。 The barcode recognition unit 53 determines whether or not the content of the barcode has been read (step S20). When the content of the barcode is read (step S20: Yes), the process proceeds to step S22, and at other times (step S20: No), the process proceeds to step S26.
表示制御部72(表示制御手段)は、第3の表示デバイス106に読取結果画面G3(図5(c))を表示する(ステップS22)。 The display control unit 72 (display control means) displays the reading result screen G3 (FIG. 5 (c)) on the third display device 106 (step S22).
売上登録部74は、キャッシャが入力受付部73に対して、バーコード読取処理によって読み取った商品を選択する操作を行ったことを受けて、商品登録処理を行う(ステップS24)。その後、図8の処理を終了する。なお、図8のフローチャートには記載しないが、未登録の商品が残っている場合は、ステップS10に戻って、同じ処理を繰り返す。また、前述したように、バーコード認識部53がバーコードの内容を読み取った際に、読取結果画面G3を表示させることなく商品登録処理を行う構成にしてもよい。 The sales registration unit 74 performs the product registration process in response to the cashier performing an operation of selecting the product read by the bar code reading process on the input reception unit 73 (step S24). After that, the process of FIG. 8 is terminated. Although not shown in the flowchart of FIG. 8, if unregistered products remain, the process returns to step S10 and the same process is repeated. Further, as described above, when the barcode recognition unit 53 reads the content of the barcode, the product registration process may be performed without displaying the reading result screen G3.
ステップS20において、バーコード認識部53が、バーコードの内容を読み取っていないと判定したとき(ステップS20:No)は、バーコード認識部53は、所定時間が経過したかを判定する(ステップS26)。所定時間が経過したとき(ステップS26:Yes)はステップS28に進み、所定時間が経過していないとき(ステップS26:No)は、ステップS18に戻る。 When the barcode recognition unit 53 determines in step S20 that the content of the barcode has not been read (step S20: No), the barcode recognition unit 53 determines whether a predetermined time has elapsed (step S26). ). When the predetermined time has elapsed (step S26: Yes), the process proceeds to step S28, and when the predetermined time has not elapsed (step S26: No), the process returns to step S18.
所定時間が経過してもバーコード認識部53がバーコードを読み取らないとき(ステップS26:Yes)は、表示制御部72は、第3の表示デバイス106に、例えば「商品を翳す向きを変えて下さい」等のガイダンス表示を行って(ステップS28)、バーコードの読み取りを促す。その後、ステップS18に戻る。
When the barcode recognition unit 53 does not read the barcode even after the lapse of a predetermined time (step S26: Yes), the
ステップS16において、オブジェクト認識適用判定部55が、撮像画像の中に写っている物品Gが、オブジェクト認識の非対象物品でないと判定したとき(ステップS16:No)は、商品候補抽出部71がオブジェクト認識処理を行う(ステップS30)。
In step S16, when the object recognition
表示制御部72は、第3の表示デバイス106に、撮像画像を表示する(ステップS32)。
The
商品候補抽出部71は、オブジェクト認識処理を行った結果、商品候補が得られたかを判定する(ステップS34)。商品候補が得られたとき(ステップS34:Yes)はステップS36に進み、商品候補が得られないとき(ステップS34:No)はステップS40に進む。
The product
表示制御部72は、第3の表示デバイス106に、類似度が高い順に上位4件の商品候補を含む選択画面G2(図5(b))を表示する(ステップS36)。
The
入力受付部73は、選択画面G2の中から商品が選択されたかを判定する(ステップS38)。商品が選択されたとき(ステップS38:Yes)はステップS24に進み、それ以外のとき(ステップS38:No)はステップS36に戻る。 The input receiving unit 73 determines whether or not a product has been selected from the selection screen G2 (step S38). When a product is selected (step S38: Yes), the process proceeds to step S24, and when the product is not selected (step S38: No), the process returns to step S36.
ステップS34において、商品候補が得られないとき(ステップS34:No)は、表示制御部72は、第3の表示デバイス106に、再認識の実行を促す再認識選択画面G4(図5(d))を表示する(ステップS40)。
When a product candidate cannot be obtained in step S34 (step S34: No), the
入力受付部73は、再認識が指示されたかを判定する(ステップS42)。再認識が指示されたとき(ステップS42:Yes)はステップS30に戻り、それ以外のとき(ステップS42:No)はステップS40に戻る。 The input receiving unit 73 determines whether the re-recognition is instructed (step S42). When re-recognition is instructed (step S42: Yes), the process returns to step S30, and at other times (step S42: No), the process returns to step S40.
なお、本実施形態では、表示制御部72は、第3の表示デバイス106に、オブジェクト認識を実行したタイミングで、それまで表示されていなかった撮像画像を表示して、商品候補を選択したタイミングで、物品Gの画像を消去した。表示制御部72が行う表示制御は、これに限定されるものではない。すなわち、表示制御部72は、撮像部164が撮像した撮像画像を、第3の表示デバイス106の表示画面内に所定のサイズで常時表示しておき、オブジェクト認識を実行したタイミングで、撮像画像の表示サイズを拡大する表示制御を行うようにしてもよい。このとき、表示制御部72は、拡大表示された撮像画像を、キャッシャが商品候補を選択したタイミングで所定のサイズに戻す。
In the present embodiment, the
(チェックアウトシステムが行う処理の変形例の流れの説明)
次に、チェックアウトシステム1が行う一連の処理の変形例について、図9を用いて説明する。なお、この変形例の構成は前述したチェックアウトシステム1の構成と同一であるため、各構成要素は同じ符号を用いて説明する。
(Explanation of the flow of modified examples of processing performed by the checkout system)
Next, a modified example of a series of processes performed by the
この変形例は、オブジェクト認識適用判定部55(判定部)の作用のみが、前述した構成と異なっている。すなわち、前述した構成(図8)では、オブジェクト認識適用判定部55は、撮像画像の中に写っている物品Gの特徴量80b(第2の特徴量)に基づいて、物品Gがオブジェクト認識の非対象物品であるかを判定した。これに対して、後述する変形例(図9)では、オブジェクト認識適用判定部55は、物品Gに対するバーコード読み取り結果に基づいて、物品Gがオブジェクト認識の非対象物品であるかを判定する。
In this modification, only the action of the object recognition application determination unit 55 (determination unit) is different from the above-described configuration. That is, in the above-described configuration (FIG. 8), the object recognition
図9は、チェックアウトシステム1が行う一連の処理の流れの変形例を示すフローチャートである。表示制御部72は、第3の表示デバイス106に、所定の選択ボタン(K1、K2、…)を配置したプリセット画面G1(図5(a))を表示する(ステップS50)。
FIG. 9 is a flowchart showing a modified example of the flow of a series of processes performed by the
画像取込部51は、撮像部164(図2)を制御することによって、物品Gの画像を撮像する撮像処理を行う(ステップS52)。
The
商品検知部52は、商品を検知したかを判定する(ステップS54)。商品検知部52が商品を検知したとき(ステップS54:Yes)はステップS56に進み、それ以外のとき(ステップS54:No)はステップS52に戻る。
The
バーコード認識部53(バーコード読取手段)は、撮像画像に対して、バーコードの内容を読み取るバーコード読取処理を行う(ステップS56)。 The barcode recognition unit 53 (bar code reading means) performs a barcode reading process for reading the contents of the barcode on the captured image (step S56).
バーコード認識部53は、バーコードの内容を読み取ったかを判定する(ステップS58)。バーコードの内容を読み取ったとき(ステップS58:Yes)はステップS60に進み、それ以外のとき(ステップS58:No)はステップS64に進む。 The barcode recognition unit 53 determines whether or not the content of the barcode has been read (step S58). When the content of the barcode is read (step S58: Yes), the process proceeds to step S60, and at other times (step S58: No), the process proceeds to step S64.
表示制御部72(表示制御手段)は、第3の表示デバイス106に読取結果画面G3(図5(c))を表示する(ステップS60)。 The display control unit 72 (display control means) displays the reading result screen G3 (FIG. 5 (c)) on the third display device 106 (step S60).
売上登録部74は、キャッシャが入力受付部73に対して、バーコード読取処理によって読み取った商品を選択する操作を行ったことを受けて、商品登録処理を行う(ステップS62)。その後、図9の処理を終了する。なお、図9のフローチャートには記載しないが、未登録の商品が残っている場合は、ステップS50に戻って、同じ処理を繰り返す。また、バーコード認識部53がバーコードの内容を読み取った際に、読取結果画面G3を表示させることなく商品登録処理を行う構成にしてもよい。 The sales registration unit 74 performs the product registration process in response to the cashier performing an operation of selecting the product read by the bar code reading process on the input reception unit 73 (step S62). After that, the process of FIG. 9 is terminated. Although not shown in the flowchart of FIG. 9, if unregistered products remain, the process returns to step S50 and the same process is repeated. Further, when the barcode recognition unit 53 reads the content of the barcode, the product registration process may be performed without displaying the reading result screen G3.
ステップS58において、バーコード認識部53が、バーコードの内容を読み取っていないと判定したとき(ステップS58:No)は、バーコード認識部53は、所定時間が経過したかを判定する(ステップS64)。所定時間が経過したとき(ステップS64:Yes)はステップS66に進み、所定時間が経過していないとき(ステップS64:No)は、ステップS56に戻る。 When the barcode recognition unit 53 determines in step S58 that the content of the barcode has not been read (step S58: No), the barcode recognition unit 53 determines whether a predetermined time has elapsed (step S64). ). When the predetermined time has elapsed (step S64: Yes), the process proceeds to step S66, and when the predetermined time has not elapsed (step S64: No), the process returns to step S56.
ステップS64において、バーコード認識部53が、所定時間が経過してもバーコードの内容を読み取らないと判定したとき(ステップS64:Yes)は、オブジェクト認識適用判定部55が、撮像画像の中に写っている物品Gが、オブジェクト認識の対象物品であると判定して、商品候補抽出部71がオブジェクト認識処理を行う(ステップS66)。
When the barcode recognition unit 53 determines in step S64 that the content of the barcode is not read even after a predetermined time has elapsed (step S64: Yes), the object recognition
表示制御部72は、第3の表示デバイス106に、撮像画像を表示する(ステップS68)。
The
商品候補抽出部71は、オブジェクト認識処理を行った結果、商品候補が得られたかを判定する(ステップS70)。商品候補が得られたとき(ステップS70:Yes)はステップS72に進み、商品候補が得られないとき(ステップS70:No)はステップS76に進む。
The product
表示制御部72は、第3の表示デバイス106に、類似度が高い順に上位4件の商品候補を含む選択画面G2(図5(b))を表示する(ステップS72)。
The
入力受付部73は、選択画面G2の中から商品が選択されたかを判定する(ステップS74)。商品が選択されたとき(ステップS74:Yes)はステップS62に進み、それ以外のとき(ステップS74:No)はステップS72に戻る。 The input receiving unit 73 determines whether or not a product has been selected from the selection screen G2 (step S74). When the product is selected (step S74: Yes), the process proceeds to step S62, and when the product is not selected (step S74: No), the process returns to step S72.
ステップS70において、商品候補が得られないとき(ステップS70:No)は、表示制御部72は、第3の表示デバイス106に、再認識の実行を促す再認識選択画面G4(図5(d))を表示する(ステップS76)。
When a product candidate cannot be obtained in step S70 (step S70: No), the
入力受付部73は、再認識が指示されたかを判定する(ステップS78)。再認識が指示されたとき(ステップS78:Yes)はステップS66に戻り、それ以外のとき(ステップS78:No)はステップS76に戻る。 The input receiving unit 73 determines whether the re-recognition is instructed (step S78). When re-recognition is instructed (step S78: Yes), the process returns to step S66, and at other times (step S78: No), the process returns to step S76.
以上説明したように、実施形態に係るチェックアウトシステム1によれば、オブジェクト認識適用判定部55(判定手段)が、物品Gの外観を撮像した撮像画像の中から、特徴量抽出部54(抽出手段)が抽出した物品Gの特徴量80b(第2の特徴量)に基づいて、物品Gが、登録を行う際に商品候補抽出部71(オブジェクト認識手段)の認識結果を必要とする対象物品であるか、もしくは、バーコード認識部53(バーコード読取手段)の読み取り結果を必要とする対象物品であるかを判定する。そして、オブジェクト認識適用判定部55の判定結果に基づいて、表示制御部72(画像表示制御手段)が、第3の表示デバイス106(表示手段)への撮像画像の表示状態を制御する。したがって、商品登録を行う際に商品候補抽出部71の認識結果を必要とする対象物品である場合には、物品Gの撮像画像を見やすく表示することができる。これによって、物品Gの画像を撮像する際に、商品の撮像範囲からのはみ出しを防止して、認識しやすい画像を撮像することができる。
As described above, according to the
また、実施形態に係るチェックアウトシステム1によれば、オブジェクト認識適用判定部55(判定手段)は、特徴量抽出部54(抽出手段)が抽出した、オブジェクト認識の非対象物品らしさを表す特徴量80b(第2の特徴量)に基づいて、物品Gがオブジェクト認識の非対象物品かを判別する。したがって、物品Gの登録を行う際に、オブジェクト認識が必要であるかを確実に判定することができる。
Further, according to the
そして、実施形態に係るチェックアウトシステム1によれば、オブジェクト認識適用判定部55(判定手段)は、バーコード認識部53(バーコード読取手段)が物品Gのコードシンボルの読み取りを開始してから所定時間内にコードシンボルを読み取ることができないことを条件として、物品Gをオブジェクト認識の対象物品であると判定する。したがって、物品Gの登録を行う際に、オブジェクト認識が必要であるかを確実に判定することができる。
Then, according to the
さらに、実施形態に係るチェックアウトシステム1によれば、表示制御部72(表示制御手段)は、オブジェクト認識適用判定部55(判定手段)が、物品Gをオブジェクト認識の対象物品であると判定したことを条件として、第3の表示デバイス106(表示手段)に物品Gの撮像画像を表示する。そして、オブジェクト認識適用判定部55が、物品Gをオブジェクト認識の非対象物品であると判定したことを条件として、第3の表示デバイス106(表示手段)に物品Gの撮像画像を表示しない。したがって、オブジェクト認識処理が必要であるときには、特別な操作を行うことなしに、撮像した物品Gの画像を見やすく表示することができる。
Further, according to the
また、実施形態に係るチェックアウトシステム1によれば、表示制御部72(表示制御手段)は、オブジェクト認識適用判定部55(判定手段)が、物品Gをオブジェクト認識の非対象物品であると判定したことを条件として、第3の表示デバイス106(表示手段)に撮像画像を所定の表示サイズで表示する。そして、オブジェクト認識適用判定部55が、物品Gをオブジェクト認識の対象物品であると判定したことを条件として、第3の表示デバイス106(表示手段)に撮像画像を所定の表示サイズよりも拡大して表示する。したがって、オブジェクト認識処理が必要であるときには、特別な操作を行うことなしに、撮像した商品の画像を見やすく表示することができる。
Further, according to the
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described above, this embodiment is presented as an example and is not intended to limit the scope of the invention. This novel embodiment can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
1 チェックアウトシステム
11 POS端末
53 バーコード認識部(バーコード読取手段)
54 特徴量抽出部(抽出手段)
55 オブジェクト認識適用判定部(判定手段)
71 商品候補抽出部(オブジェクト認識手段)
72 表示制御部(表示制御手段)
80a 特徴量(第1の特徴量)
80b 特徴量(第2の特徴量)
101 物品読取装置
106 第3の表示デバイス(表示手段)
1
54 Feature extraction unit (extraction means)
55 Object recognition application judgment unit (judgment means)
71 Product candidate extraction unit (object recognition means)
72 Display control unit (display control means)
80a Feature (first feature)
80b Feature (second feature)
101
Claims (6)
前記撮像画像の中から、前記物品に付されたコードシンボルを読み取ることによって前記物品を認識するバーコード読取手段と、
前記撮像画像の中から、前記物品が、予め登録された対象物品のいずれと類似しているかを認識するための第1の特徴量と、前記物品を前記第1の特徴量に基づいて認識するか、もしくは、前記バーコード読取手段の読み取り結果によって認識するかを判定するための第2の特徴量とを抽出する抽出手段と、
前記物品の前記第1の特徴量と前記対象物品の特徴量とを比較して、その類似度が所定の閾値以上である前記対象物品を、前記物品の候補として認識するオブジェクト認識手段と、
前記第2の特徴量、または前記バーコード読取手段の読み取り結果に基づいて、前記物品が前記オブジェクト認識手段による認識の非対象物品であるかを判定する判定手段と、
前記判定手段の判定結果に応じて、前記画面に表示する前記撮像画像の表示状態を制御する表示制御手段と、を備える
ことを特徴とする物品読取装置。 A screen on which a selection button for selecting an article to be registered is arranged, or a display means for displaying an image captured by capturing the appearance of the article, and a display means.
A barcode reading means for recognizing the article by reading a code symbol attached to the article from the captured image.
From the captured image, the first feature amount for recognizing which of the pre-registered target articles the article is similar to, and the article are recognized based on the first feature amount. Or, an extraction means for extracting a second feature amount for determining whether to recognize by the reading result of the barcode reading means, and
An object recognition means for comparing the first feature amount of the article with the feature amount of the target article and recognizing the target article whose similarity is equal to or higher than a predetermined threshold value as a candidate for the article.
A determination means for determining whether the article is a non-target article recognized by the object recognition means based on the second feature amount or the reading result of the barcode reading means.
An article reading device comprising: a display control means for controlling a display state of the captured image displayed on the screen according to a determination result of the determination means.
ことを特徴とする請求項1に記載の物品読取装置。 The article reading device according to claim 1, wherein the determination means determines whether the article is a non-target article recognized by the object recognition means based on the second feature amount.
ことを特徴とする請求項1に記載の物品読取装置。 The determination means recognizes the article by the object recognition means, provided that the barcode reading means cannot read the code symbol within a predetermined time after starting reading the code symbol. The article reading device according to claim 1, wherein the article is determined to be an article.
前記判定手段が、前記物品を前記オブジェクト認識手段による認識の対象物品であると判定したことを条件として、前記画面に前記撮像画像を表示して、
前記判定手段が、前記物品を前記オブジェクト認識手段による認識の非対象物品であると判定したことを条件として、前記画面に前記撮像画像を表示しない
ことを特徴とする請求項1から請求項3のいずれか1項に記載の物品読取装置。 The display control means is
The captured image is displayed on the screen on condition that the determination means determines that the article is an article to be recognized by the object recognition means.
Claims 1 to 3 are characterized in that the captured image is not displayed on the screen on condition that the determination means determines that the article is a non-target article recognized by the object recognition means. The article reading device according to any one of the following items.
前記判定手段が、前記物品を前記オブジェクト認識手段による認識の非対象物品であると判定したことを条件として、前記画面に前記撮像画像を所定の表示サイズで表示して、
前記判定手段が、前記物品を前記オブジェクト認識手段による認識の対象物品であると判定したことを条件として、前記画面に前記撮像画像を前記所定の表示サイズよりも拡大して表示する
ことを特徴とする請求項1から請求項3のいずれか1項に記載の物品読取装置。 The display control means is
On the condition that the determination means determines that the article is a non-target article recognized by the object recognition means, the captured image is displayed on the screen in a predetermined display size.
The feature is that the captured image is enlarged and displayed on the screen on the screen, provided that the determination means determines that the article is an article to be recognized by the object recognition means. The article reading device according to any one of claims 1 to 3.
登録対象となる物品を選択するための選択ボタンを配置した画面、または前記物品の外観を撮像した撮像画像を表示する表示手段と、
前記撮像画像の中から、前記物品に付されたコードシンボルを読み取ることによって前記物品を認識するバーコード読取手段と、
前記撮像画像の中から、前記物品が、予め登録された対象物品のいずれと類似しているかを認識するための第1の特徴量と、前記物品を前記第1の特徴量に基づいて認識するか、もしくは、前記バーコード読取手段の読み取り結果によって認識するかを判定するための第2の特徴量とを抽出する抽出手段と、
前記物品の前記第1の特徴量と前記対象物品の特徴量とを比較して、その類似度が所定の閾値以上である前記対象物品を、前記物品の候補として認識するオブジェクト認識手段と、
前記第2の特徴量、または前記バーコード読取手段の読み取り結果に基づいて、前記物品が前記オブジェクト認識手段による認識の非対象物品であるかを判定する判定手段と、
前記判定手段の判定結果に応じて、前記画面に表示する前記撮像画像の表示状態を制御する表示制御手段と、
して機能させるためのプログラム。 Computer,
A screen on which a selection button for selecting an article to be registered is arranged, or a display means for displaying an image captured by capturing the appearance of the article.
A barcode reading means for recognizing the article by reading a code symbol attached to the article from the captured image.
From the captured image, the first feature amount for recognizing which of the pre-registered target articles the article is similar to, and the article are recognized based on the first feature amount. Or, an extraction means for extracting a second feature amount for determining whether to recognize by the reading result of the barcode reading means, and
An object recognition means for comparing the first feature amount of the article with the feature amount of the target article and recognizing the target article whose similarity is equal to or higher than a predetermined threshold value as a candidate for the article.
A determination means for determining whether the article is a non-target article recognized by the object recognition means based on the second feature amount or the reading result of the barcode reading means.
A display control means for controlling the display state of the captured image to be displayed on the screen according to the determination result of the determination means, and a display control means.
A program to make it work.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022025952A JP7281569B2 (en) | 2020-12-16 | 2022-02-22 | Article reader and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020208557A JP7030946B2 (en) | 2020-12-16 | 2020-12-16 | Article reader and program |
JP2022025952A JP7281569B2 (en) | 2020-12-16 | 2022-02-22 | Article reader and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020208557A Division JP7030946B2 (en) | 2020-12-16 | 2020-12-16 | Article reader and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022066264A true JP2022066264A (en) | 2022-04-28 |
JP2022066264A5 JP2022066264A5 (en) | 2022-05-13 |
JP7281569B2 JP7281569B2 (en) | 2023-05-25 |
Family
ID=87885168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022025952A Active JP7281569B2 (en) | 2020-12-16 | 2022-02-22 | Article reader and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7281569B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013089084A (en) * | 2011-10-19 | 2013-05-13 | Toshiba Tec Corp | Commodity data processing apparatus, commodity data processing method, and control program |
JP2013178750A (en) * | 2012-01-30 | 2013-09-09 | Toshiba Tec Corp | Product reader and product reading program |
JP2013210935A (en) * | 2012-03-30 | 2013-10-10 | Toshiba Tec Corp | Article information processing system and computer program |
JP2016095801A (en) * | 2014-11-17 | 2016-05-26 | 東芝テック株式会社 | Information processing device, store system and program |
JP2016095765A (en) * | 2014-11-17 | 2016-05-26 | 東芝テック株式会社 | Information processing device, sales data processing device and program |
-
2022
- 2022-02-22 JP JP2022025952A patent/JP7281569B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013089084A (en) * | 2011-10-19 | 2013-05-13 | Toshiba Tec Corp | Commodity data processing apparatus, commodity data processing method, and control program |
JP2013178750A (en) * | 2012-01-30 | 2013-09-09 | Toshiba Tec Corp | Product reader and product reading program |
JP2013210935A (en) * | 2012-03-30 | 2013-10-10 | Toshiba Tec Corp | Article information processing system and computer program |
JP2016095801A (en) * | 2014-11-17 | 2016-05-26 | 東芝テック株式会社 | Information processing device, store system and program |
JP2016095765A (en) * | 2014-11-17 | 2016-05-26 | 東芝テック株式会社 | Information processing device, sales data processing device and program |
Also Published As
Publication number | Publication date |
---|---|
JP7281569B2 (en) | 2023-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6813310B2 (en) | Article reader and program | |
JP5619095B2 (en) | Product recognition apparatus and product recognition program | |
JP6838903B2 (en) | Article reader and program | |
JP2013117872A (en) | Store system and program | |
JP6745646B2 (en) | Recognition system, information processing device, and program | |
JP6747873B2 (en) | Information processing device and program | |
JP6122805B2 (en) | Information processing apparatus and program | |
JP2013250768A (en) | Article recognition device, and article recognition program | |
JP2018055716A (en) | Information processing apparatus and program | |
EP3144854B1 (en) | Image recognition system that displays a user-friendly graphical user interface | |
US10210495B2 (en) | Image recognition system that performs code detection and image recognition concurrently | |
JP2016212915A (en) | Information processing apparatus and program | |
JP2017211880A (en) | Information processing apparatus and program | |
JP6867182B2 (en) | Information processing equipment and programs | |
JP7030946B2 (en) | Article reader and program | |
JP7281569B2 (en) | Article reader and program | |
JP6339542B2 (en) | Information processing apparatus and program | |
JP6609018B2 (en) | Information processing apparatus and program | |
US20170083891A1 (en) | Information processing apparatus and information processing method | |
JP2018136621A (en) | Information processor and program | |
US20190370774A1 (en) | Information processing apparatus and method of controlling an information processing apparatus | |
JP6392927B2 (en) | Information processing apparatus and program | |
JP2020024737A (en) | Information processor and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7281569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |