JP2015041157A - Product recognition device and control program of the same - Google Patents
Product recognition device and control program of the same Download PDFInfo
- Publication number
- JP2015041157A JP2015041157A JP2013170751A JP2013170751A JP2015041157A JP 2015041157 A JP2015041157 A JP 2015041157A JP 2013170751 A JP2013170751 A JP 2013170751A JP 2013170751 A JP2013170751 A JP 2013170751A JP 2015041157 A JP2015041157 A JP 2015041157A
- Authority
- JP
- Japan
- Prior art keywords
- product
- candidate
- display
- cpu
- products
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
本発明の実施形態は、商品認識装置およびその制御プログラムに関する。 Embodiments described herein relate generally to a commodity recognition apparatus and a control program therefor.
POS(point-of-sale)端末などにおいて売上登録の対象となる商品(登録対象商品)の判定は、一般的にバーコードのような光学式マークの読み取りにより行われている。 In a POS (point-of-sale) terminal or the like, a product to be registered for sales (a product to be registered) is generally determined by reading an optical mark such as a barcode.
一方で、オブジェクト認識技術を利用したオブジェクト認識スキャナも提案されている。オブジェクト認識スキャナは、商品の外観の特徴に基づいて当該商品を認識する。 On the other hand, an object recognition scanner using object recognition technology has also been proposed. The object recognition scanner recognizes the product based on the appearance characteristics of the product.
オブジェクト認識スキャナは、辞書登録されている全ての商品について、それが登録対象商品と同一商品である度合いを表した信頼度をそれぞれ求める。そして、このように求まる信頼度の比較により、登録対象商品の候補と考えられる候補商品を選定する。そして、オブジェクト認識スキャナでの認識結果に基づく売上登録を行う場合には、複数の候補商品の一覧を表した画像を表示し、その一覧のなかからの登録対象商品の指定を操作者に行わせる。 The object recognition scanner obtains a reliability representing the degree to which all the products registered in the dictionary are the same products as the registration target products. Then, candidate products that are considered candidates for the registration target product are selected based on the comparison of reliability obtained in this way. When performing sales registration based on the recognition result of the object recognition scanner, an image representing a list of a plurality of candidate products is displayed, and the operator is allowed to specify a registration target product from the list. .
ところでオブジェクト認識スキャナは、操作者が手に持ってかざした登録対象商品をカメラにより撮像した画像についての認識処理を行う。このため、操作者による登録対象商品のカメラへのかざし方によって、認識の結果が異なることがある。 By the way, the object recognition scanner performs recognition processing on an image obtained by capturing an image of a registration target product held by the operator with a hand. For this reason, the recognition result may differ depending on how the operator holds the registration target product over the camera.
そこでオブジェクト認識スキャナは、例えば数百ミリ秒といった短い間隔で、認識処理を繰り返し実行する。つまり、この短い間隔毎に、認識結果が得られることとなる。 Therefore, the object recognition scanner repeatedly executes recognition processing at short intervals such as several hundred milliseconds. That is, a recognition result is obtained at every short interval.
このように短い間隔毎に得られる認識結果をそのまま表示していると、操作者に提示される候補商品が目まぐるしく変化してしまう場合があり、操作性の面で好ましくない。 If the recognition results obtained at short intervals are displayed as they are, the candidate products presented to the operator may change rapidly, which is not preferable in terms of operability.
このような事情から、オブジェクト認識による認識結果を分かり易く操作者に提示することが望まれていた。 For these reasons, it has been desired to present the recognition result by object recognition to the operator in an easy-to-understand manner.
本発明が解決しようとする課題は、オブジェクト認識による認識結果を分かり易く操作者に提示することができる商品認識装置およびその制御プログラムを提供することである。 The problem to be solved by the present invention is to provide a product recognition apparatus and its control program that can easily present the recognition result by object recognition to the operator.
実施形態の商品認識装置は、撮像手段、選択手段、制御手段および決定手段を備える。撮像手段は、商品を一定時間間隔で撮像する。選択手段は、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する。制御手段は、選択手段により選択された候補商品を、候補商品の信頼度に応じた表示形態で表示するべく表示デバイスを制御する。決定手段は、選択手段により選択された候補商品のうち、指定された商品を登録対象商品として決定する。 The product recognition apparatus according to the embodiment includes an imaging unit, a selection unit, a control unit, and a determination unit. The imaging means images the product at regular time intervals. The selection means selects a predetermined number of candidate products from among the plurality of products based on a plurality of reliability levels each representing a degree that each of the plurality of products is the same product as the registration target product. The control unit controls the display device to display the candidate product selected by the selection unit in a display form corresponding to the reliability of the candidate product. The determining unit determines a designated product as a registration target product among the candidate products selected by the selecting unit.
以下、商品認識装置の実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケット等の店舗に設けられた会計カウンタに設置される店舗会計システムに適用した場合である。 Hereinafter, an embodiment of a product recognition device will be described with reference to the drawings. This embodiment is a case where the present invention is applied to a store accounting system installed in an accounting counter provided in a store such as a supermarket.
図1は本実施形態に係る店舗会計システムの外観図である。この店舗会計システムは、商品認識装置100およびPOS(point of sales)端末200を含む。商品認識装置100は、会計カウンタ300の上に取り付けられる。POS端末200は、レジ台400に載置されたドロワ500の上に設置される。商品認識装置100とPOS端末200とは、図示しない通信ケーブルにより電気的に接続される。ドロワ500に代えて、自動釣銭機が設置される場合もある。
FIG. 1 is an external view of a store accounting system according to the present embodiment. This store accounting system includes a
商品認識装置100は、ハウジング101、キーボード102、タッチパネル103、客用ディスプレイ104および撮像部105を含む。
The
ハウジング101は、平型の箱状をなし、会計カウンタ300の上に立つ。ハウジング101は、上端においてキーボード102、タッチパネル103、客用ディスプレイ104を支持し、内部において撮像部105を支持する。ハウジング101は、撮像部105に対向して読取窓101aを有し、読取窓101aの前に位置する物体(オブジェクト)を読取窓101aを介して撮像部105により撮像可能とする。
The
POS端末200は、ハウジング201、キーボード202、オペレータ用ディスプレイ203、客用ディスプレイ204およびプリンタ205を含む。
The
ハウジング201は、キーボード202をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ203および客用ディスプレイ204を外部に位置する状態で支持し、プリンタ205を内部にて支持する。
The
会計カウンタ300は、細長い天板300aを含む。会計カウンタ300は、天板の長手方向に沿った顧客通路(図1における奥側)とオペレータスペース(図1における手前側)とを分ける。ハウジング101は、天板300aの長手方向の略中央に位置し、キーボード102、タッチパネル103および読取窓101aをそれぞれオペレータスペース側に向けるとともに、客用ディスプレイ104を顧客通路側に向ける。天板300aの上面は、商品認識装置100を挟んで顧客移動方向の上流側の領域は、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用され、また、下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。 レジ台400は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ300の端部に並ぶようにオペレータスペース側に位置する。
The
図2は図1に示す店舗会計システムにおける電気的要素のブロック図である。なお、図2に示される要素のうちで図1に示されるのと同一の要素には図1と同一の符号を付する。 FIG. 2 is a block diagram of electrical elements in the store accounting system shown in FIG. Of the elements shown in FIG. 2, the same elements as those shown in FIG.
商品認識装置100は電気的要素として、キーボード102、タッチパネル103、客用ディスプレイ104のほかに、撮像デバイス105a、CPU(central processing unit)106、ROM(read-only memory)107、RAM(random-access memory)108、キーボードインタフェース(キーボードI/F)109、パネルインタフェース(パネルI/F)110、表示インタフェース(表示I/F)111、撮像インタフェース(撮像I/F)112、POS端末インタフェース(POS端末I/F)113およびバスライン114を含む。なお、バスライン114は、アドレスバスおよびデータバスなどを含み、CPU106、ROM107、RAM108、キーボードインタフェース109、パネルインタフェース110、表示インタフェース111、撮像インタフェース112およびPOS端末インタフェース113を互いに接続する。
In addition to the
キーボード102は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
The
タッチパネル103は、例えばLCD(liquid crystal display)などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル103は、CPU106の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル103は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル103は、オペレータに対して提示するべき各種の情報を表した画像を表示したり、オペレータの操作を入力するために利用される。
The
客用ディスプレイ104は、CPU106の制御の下に任意の文字列または画像を表示する。客用ディスプレイ104は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ104としては、例えば蛍光管表示器またはLCDが利用できる。
The
撮像デバイス105aは、図示しない撮像レンズとともに撮像部105に含まれる。撮像デバイス105aは、エリアイメージセンサであるCCD(charge coupled device)撮像素子とその駆動回路とを含む。撮像レンズは、撮像領域の画像をCCD撮像素子に結像する。撮像領域とは、読取窓101aから撮像レンズを通してCCD撮像素子のエリアに結像する領域を指す。撮像デバイス105aは、撮像領域の画像(フレーム画像)を表すフレームデータを一定の時間間隔で取得し、当該フレームデータを出力する。
The imaging device 105a is included in the
CPU106は、コンピュータの中枢部分に相当する。CPU106は、ROM107およびRAM108に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品認識装置100としての各種の動作を実現するべく商品認識装置100の各要素を制御する。
The
ROM107は、上記コンピュータの主記憶部分に相当する。ROM107は、上記のオペレーティングシステムを記憶する。ROM107は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またROM107は、CPU106が各種の処理を行う上で参照するデータを記憶する場合もある。
The
RAM108は、上記コンピュータの主記憶部分に相当する。RAM108は、CPU106が各種の処理を行う上で参照するデータを記憶する。さらにRAM108は、CPU106が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。RAM108の記憶領域の一部は、認識結果テーブルおよび表示状態テーブルとして利用される。
The
認識結果テーブルは、後述するオブジェクト認識処理での認識結果を一時的に記憶するために利用される。 The recognition result table is used for temporarily storing a recognition result in an object recognition process described later.
図3は認識結果テーブルの一例を模式的に示す図である。 FIG. 3 is a diagram schematically illustrating an example of the recognition result table.
認識結果テーブルは、0から始まる整数として定めた順位コードを見出しとし、この順位コードに商品名と信頼度(類似度)とを関連付けて記述するデータレコードの集合である。信頼度は、後述するオブジェクト認識処理によって求められ、関連付けられた商品名の商品が登録対象商品と同一商品である度合いを表す。 The recognition result table is a set of data records in which a rank code defined as an integer starting from 0 is used as a headline, and a product name and reliability (similarity) are associated with the rank code. The reliability is obtained by an object recognition process described later, and represents the degree to which the product with the associated product name is the same product as the registration target product.
表示状態テーブルは、タッチパネル103の表示画面を分割して定められた複数の表示エリアのそれぞれについての表示状態を管理するために利用される。
The display state table is used to manage the display state for each of a plurality of display areas determined by dividing the display screen of the
例えば、図4に示すようにタッチパネル103の表示画面103aを4等分して「エリア0」〜「エリア3」の4つの表示エリアを設定することとする。そしてこれらの表示エリアのそれぞれに、登録対象商品の候補となる候補商品を操作者に認識させるための候補画像を必要に応じて表示する。なお、表示エリアの数やその配置は任意であって良い。
For example, as shown in FIG. 4, the display screen 103a of the
図5は表示状態テーブルの一例を模式的に示す図である。 FIG. 5 is a diagram schematically showing an example of the display state table.
表示状態テーブルは、表示エリアのそれぞれを区別する0〜3のエリア番号を見出しとし、このエリア番号に、状態コードおよび商品名を関連付けて記述したデータレコードの集合である。エリア番号の変数をZとし、状態コードの変数をMとする。状態コードは、関連付けられた表示エリアにおける表示状態を表すものであり、本実施形態においては0,1,2のいずれかをとる。状態コードの0は候補画像を表示していない状態を示し、1は候補画像をフェードアウト表示中である状態を示し、また2は候補画像を通常表示する状態を示す。
The display state table is a set of data records in which 0 to 3 area numbers for distinguishing display areas are used as headings, and state codes and product names are associated with the area numbers. The area number variable is Z, and the status code variable is M. The status code represents the display status in the associated display area, and takes 0, 1, or 2 in this embodiment. The
ROM107に記憶されるアプリケーションプログラムには、後述する商品読取処理に関して記述した制御プログラムを含む。なお、商品認識装置100の譲渡は、一般的に制御プログラムがROM107に記憶された状態にて行われる。商品認識装置100にEEPROM(electric erasable programmable read-only memory)、ハードディスクドライブ、あるいはSSD(solid state drive)などの補助記憶デバイスを設けて、この補助記憶デバイスに制御プログラムを記憶した状態にて商品認識装置100の譲渡がなされても良い。しかし、制御プログラムがROM107や補助記憶デバイスに記憶されない状態で商品認識装置100が譲渡されるとともに、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して制御プログラムが譲渡され、この制御プログラムが上記の別途に譲渡された商品認識装置100の補助記憶デバイスに書き込まれても良い。
The application program stored in the
キーボードインタフェース109は、キーボード102とCPU106とのデータの授受を仲介する。キーボードインタフェース109としては、例えばPS/2規格またはUSB(universal serial bus)規格に準拠した周知のデバイスを利用できる。
The keyboard interface 109 mediates data exchange between the
パネルインタフェース110は、タッチパネル103とCPU106とのデータおよび映像信号の授受を仲介する。パネルインタフェース110は、表示デバイス用のインタフェースとタッチセンサ用のインタフェースとを含む。表示デバイス用のインタフェースとしては、例えばVGA(video graphics array)規格(アナログRGB規格)、DVI(digital video interface)規格またはLVDS(low voltage differential signaling)規格に準拠した周知のデバイスを利用できる。タッチセンサ用のインタフェースとしては、例えばUSB規格またはRS(recommended standard)−232C規格に準拠した周知のデバイスを利用できる。
表示インタフェース111は、客用ディスプレイ104とCPU106との映像信号の授受を仲介する。表示インタフェース111としては、客用ディスプレイ104が蛍光表示器である場合には例えばUSB規格またはRS−232C規格に準拠した周知のデバイスを利用でき、客用ディスプレイ104がLCDである場合には例えばVGA規格、DVI規格またはLVDS規格に準拠した周知のデバイスを利用できる。
The display interface 111 mediates exchange of video signals between the
撮像インタフェース112は、撮像デバイス105aとCPU106とのデータの授受を仲介する。撮像インタフェース112としては、例えばUSB規格またはIEEE(institute of electrical and electronic engineers)1394規格に準拠した周知のデバイスを利用できる。
The
POS端末インタフェース113は、POS端末200とCPU106とのデータの授受を仲介する。POS端末インタフェース113としては、例えばUSB規格またはRS−232C規格に準拠した周知のデバイスを利用できる。
The
POS端末200は電気的要素として、キーボード202、オペレータ用ディスプレイ203、客用ディスプレイ204およびプリンタ205のほかに、CPU206、ROM207、RAM208、補助記憶ユニット209、キーボードインタフェース210、表示インタフェース(表示I/F)211,212、プリンタインタフェース(プリンタI/F)213、読取装置インタフェース(読取装置I/F)214、ドロワインタフェース(ドロワI/F)215、通信デバイス216およびバスライン217を含む。なお、バスライン217は、アドレスバスおよびデータバスなどを含み、CPU206、ROM207、RAM208、補助記憶ユニット209、キーボードインタフェース210、表示インタフェース211、表示インタフェース212、プリンタインタフェース213、読取装置インタフェース214、ドロワインタフェース215および通信デバイス216を互いに接続する。
In addition to the
キーボード202は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
The
オペレータ用ディスプレイ203は、CPU206の制御の下に任意の画像を表示する。オペレータ用ディスプレイ203は、オペレータに対して提示するべき各種の画像を表示するために利用される。オペレータ用ディスプレイ203としては、例えばLCDが利用できる。
The
客用ディスプレイ204は、CPU206の制御の下に任意の文字列または画像を表示する。客用ディスプレイ204は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ204としては、例えば蛍光管表示器またはLCDが利用できる。
The
プリンタ205は、CPU206の制御の下に、取引の内容を表したレシート画像をレシート用紙に対してプリントする。プリンタ205としては、周知の各種方式の既存のプリンタが利用できる。プリンタ205は、例えばサーマルプリンタである。
Under the control of the
CPU206は、コンピュータの中枢部分に相当する。CPU206は、ROM207およびRAM208に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、POS端末200としての各種の動作を実現するべく各部を制御する。
The
ROM207は、上記コンピュータの主記憶部分に相当する。ROM207は、上記のオペレーティングシステムを記憶する。ROM207は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またROM207は、CPU206が各種の処理を行う上で参照するデータを記憶する場合もある。
The
RAM208は、上記コンピュータの主記憶部分に相当する。RAM208は、CPU206が各種の処理を行う上で参照するデータを記憶する。さらにRAM208は、CPU206が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。RAM208の記憶領域の一部は、売上登録された商品についての情報を管理するための商品リストエリアとして使用される。
A
補助記憶ユニット209は、上記コンピュータの補助記憶部分に相当する。例えばハードディスクドライブやSSDなどであり、CPU206が各種の処理を行う上で使用するデータや、CPU206での処理によって生成されたデータを保存する。
The
キーボードインタフェース210は、キーボード202とCPU206とのデータの授受を仲介する。キーボードインタフェース210としては、例えばPS/2規格またはUSB規格に準拠した周知のデバイスを利用できる。
The
表示インタフェース211は、オペレータ用ディスプレイ203とCPU106との映像信号の授受を仲介する。表示インタフェース211としては、例えばVGA規格、DVI規格またはLVDS規格に準拠した周知のデバイスを利用できる。
The
表示インタフェース212は、客用ディスプレイ204とCPU206との映像信号の授受を仲介する。表示インタフェース212としては、客用ディスプレイ204が蛍光表示器である場合には例えばUSB規格またはRS−232C規格に準拠した周知のデバイスを利用でき、客用ディスプレイ204がLCDである場合には例えばVGA規格、DVI規格またはLVDS規格に準拠した周知のデバイスを利用できる。
The
プリンタインタフェース213は、プリンタ205とCPU206とのデータの授受を仲介する。プリンタインタフェース213としては、例えばUSB規格、RS−232C規格またはIEEE1284規格(いわゆるセントロニクス仕様)などに準拠した周知のデバイスを利用できる。
The
読取装置インタフェース214は、商品認識装置100とCPU206とのデータの授受を仲介する。読取装置インタフェース214としては、POS端末インタフェース113が準拠する規格に準拠した周知のデバイスを利用できる。
The
ドロワインタフェース215は、CPU206からドロワ開放が指示されたことに応じてドロワ500を開放させるための駆動信号をドロワ500に対して出力する。
The
通信デバイス216は、通信ネットワーク600を介してサーバ700と通信する。通信デバイス216としては、例えば既存のLAN通信デバイスを適用できる。
The
次に以上のように構成された店舗会計システムにおける商品認識装置100の動作について説明する。なお、ここでは商品認識装置100の動作の一部のみについて説明する。商品認識装置100と同種の既存の装置が備える機能を商品認識装置100も備えるが、その機能に関わる動作の説明は省略する。またPOS端末200は、それと同種の既存の装置が備える機能を備えるが、その機能に関わる動作の説明は省略する。
Next, operation | movement of the
図6および図7は商品読取処理のフローチャートである。 6 and 7 are flowcharts of the commodity reading process.
商品認識装置100が起動されると、CPU106は図6,7に示す商品読取処理を開始する。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
When the
Act1においてCPU106は、図5に示すような表示状態テーブルをRAM108に生成する。ただしCPU106は、精製した表示状態テーブルにおける状態コードをすべて0とする。
In Act1, the
Act2においてCPU106は、変数Y,Zをともに0とする。なお、変数Yは順位コードを、変数Zはエリア番号をそれぞれ示す。
In
Act3においてCPU106は、オブジェクト認識処理を実行する。
In
具体的にはCPU106は、まず、撮像デバイス105aが出力するフレームデータをRAM108に保存する。CPU106は、RAM108に保存したフレームデータを解析して、当該フレームデータが表すフレーム画像に含まれる商品が存在することを認識する。言い換えるとCPU106は、フレーム画像中に含まれる商品を検出する。具体的には、CPU106は先ず、フレーム画像から肌色領域の検出を試みる。肌色領域を検出できた場合、すなわちオペレータの手がフレーム画像に映り込んでいる場合にCPU106は、フレーム画像を二値化した上で、これにより得られた二値化画像から輪郭線などを抽出する。これにより、CPU106は、オペレータの手が把持していると想定される商品の輪郭を抽出する。このようにしてCPU106は、商品を識別すべきオブジェクトとして検出する。なお、オブジェクトは、次の手法により直接的に検出しても良い。すなわちCPU106はまず、RAM108に保存したフレームデータを解析して、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPU106は、フレーム画像に映し出されているオブジェクトの輪郭抽出を試み、オブジェクトの輪郭が抽出できたならば、物体が存在することを検出する。
Specifically, the
次にCPU106は、上記のようにして検出した物体を登録対象商品として、それがどの商品であるかを、オブジェクト認識技術を使用して判断する。
Next,
具体的には、CPU106は、登録対象商品について、商品の形状、表面の色合い、模様、凹凸状況等の特徴量を読み取る。そしてCPU106は、読み取った特徴量と、多数の商品(以下、辞書登録商品と称する)のそれぞれに関して認識辞書ファイルに登録された特徴量とに基づいて、辞書登録商品のそれぞれが登録対象商品と同一商品である度合いを表した信頼度をそれぞれ求める。本実施形態では、信頼度は1から10までの整数とし、上記の度合いが最大である場合を10とする。
Specifically, the
そしてCPU106は、辞書登録商品を、信頼度に基づいて降順にソートし、図5に示すような認識結果テーブルをRAM108に生成する。認識結果テーブルへは、辞書登録商品の全てを含めても良いし、上位から予め定めた数の辞書登録商品に限って含めても良い。
The
なお、ここでのオブジェクト認識処理には、一般物体認識(generic object recognition)と呼ばれる技術を利用できる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されており、この技術を上記のオブジェクト認識に利用できる。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット< URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されており、この技術も上記のオブジェクト認識処理に利用できる。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット< URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf >
Act4においてCPU106は、表示状態テーブルでエリア番号Zに関連付けられた状態コードMが1以上であるか否かを確認する。状態コードMは、0である場合にのみ、候補画像を表示していない状態を表す。従ってCPU106は、番号Zのエリアにおける候補画像の表示が行われているか否かを確認することとなる。そして、番号Zのエリアにおける候補画像の表示が行われていないために、Act4でNOと判定したならばCPU106は、Act17へ進む。
Note that a technique called generic object recognition can be used for the object recognition processing here. Regarding this general object recognition technique, various recognition techniques are described in the following literature, and this technique can be used for the above object recognition.
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search August 10, 2010], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
Further, a technique for performing general object recognition by dividing an image into regions for each object is described in the following document, and this technique can also be used for the object recognition process described above.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [Search August 10, 2010], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = repl & type = pdf>
In
Act17においてCPU106は、変数Zの値を1つ増加させた上で、この増加後の変数Zが4であるか否かを確認する。そして変数Zが4ではないために、Act17でNOと判定したならばCPU106は、Act4に戻る。
In
さて、初期状態や、ある時間に渡って撮像デバイス105aが撮像した画像に物体が映り込まない状態においては、4つの表示エリアの全てにおいて候補画像の表示が行われない。この状態においては、表示状態テーブルに記述された状態コードは、いずれも0である。従ってこの状態においては、Act4およびAct17が繰り返されて、変数Zが4に到達する。そしてこれによってCPU106は、Act17にてYESと判定し、図7のAct18へと進む。
In the initial state or in a state where no object is reflected in the image captured by the imaging device 105a over a certain period of time, the candidate image is not displayed in all the four display areas. In this state, the status codes described in the display status table are all 0. Therefore, in this state, Act4 and Act17 are repeated, and the variable Z reaches 4. Then, the
Act18においてCPU106は、変数Zを0にクリアする。
In Act 18, the
Act19においてCPU106は、表示状態テーブルでエリア番号Zに関連付けられた状態コードMが0であるか否かを確認する。つまりCPU106は、番号Zのエリアが非表示状態であるか否かを確認する。そして、該当する状態コードMが0であるために、Act19でYESと判定したならばCPU106は、Act20へ進む。
In Act 19, the
Act20においてCPU106は、認識結果テーブルで順位コードYに関連付けられた信頼度が4以上であるか否かを確認する。そして該当する信頼度が4以上であるために、Act20でYESと判定したならばCPU106は、Act21へ進む。なお、Act20でYESと判定された場合、順位コードYに関連付けられた商品名の商品が候補商品の1つとなる。
In Act 20, the
Act21においてCPU106は、認識結果テーブルで順位コードYに関連付けられた信頼度、すなわち着目中の候補商品の信頼度が7以上であるか否かを確認する。そして該当する信頼度が7以上であるためにAct21でYESと判定したならばCPU106は、Act22へ進む。
In Act 21, the
Act22においてCPU106は、着目中の候補商品を操作者に提示するための候補画像を第1の形態にて生成する。第1の形態の候補画像は、白い背景に、商品名を太文字にて表す画像とする。つまりCPU106は、認識結果テーブルで順位コードYに関連付けられた商品名を太文字にて白い背景中に表した画像を候補画像として生成する。候補画像を生成し終えたならばCPU106は、Act24へ進む。かくしてCPU106は、制御プログラムの実行により、選択手段および生成手段として機能している。
In Act 22, the
さて、認識結果テーブルで順位コードYに関連付けられた信頼度が4,5,6のいずれかである場合、Act21にてCPU106はNOと判定することになる。そしてこの場合にCPU106は、Act21からAct23へ進む。
If the reliability associated with the rank code Y in the recognition result table is any of 4, 5, and 6, the
Act23においてCPU106は、着目中の候補商品を操作者に提示するための候補画像を第2の形態にて生成する。第2の形態の候補画像は、白い背景に、商品名を細文字にて表す画像とする。つまりCPU106は、認識結果テーブルで順位コードYに関連付けられた商品名を細文字にて白い背景中に表した画像を候補画像として生成する。候補画像を生成し終えたならばCPU106は、Act24へ進む。かくしてCPU106は、制御プログラムの実行により、選択手段および生成手段として機能している。
In Act 23, the
Act24においてCPU106は、着目中の候補商品についての候補画像が既表示であるか否かを確認する。具体的には、1以上の状態コードに着目中の候補商品を関連付けて記述したデータレコードが表示状態テーブルに含まれるか否かを確認する。そして該当するデータレコードが見つかったために、Act24でYESと判定したならばCPU106は、Act25へと進む。
In Act 24, the
Act25においてCPU106は、着目中の候補商品についての候補画像を既に表示している表示エリアに、Act22またはAct23で生成した候補画像を表示するようにタッチパネル103を制御する。つまりCPU106は、Act24において見つかったデータレコードのエリア番号で特定される表示エリアにAct22またはAct23で生成した候補画像を表示するようにタッチパネル103を制御する。これにより、既に表示されていた着目中の候補商品についての候補画像が同じ候補商品について新たに生成された候補画像に更新される。ただし、既表示の候補画像と新たな候補画像との表示形態が同じ場合もあり、この場合は操作者からの見た目は何等変わらない。かくしてCPU106は、制御プログラムの実行により、制御手段として機能している。
In Act 25, the
Act26においてCPU106は、変数Mを2とする。そしてこの後にCPU106は、Act29へ進む。
In Act 26, the
一方、Act24にて該当するデータレコードが見つからなかったためにNOと判定したならばCPU106は、Act27へと進む。
On the other hand, if it is determined NO because the corresponding data record was not found in Act 24, the
Act27においてCPU106は、番号Zのエリアに、Act22またはAct23で生成した候補画像を表示するようにタッチパネル103を制御する。つまりCPU106は、候補画像を表示していなかった表示エリアにAct22またはAct23で生成した候補画像を新たに表示するようにタッチパネル103を制御する。かくしてCPU106は、制御プログラムの実行により、制御手段として機能している。
In Act 27, the
Act28においてCPU106は、変数Mを2とする。そしてこの後にCPU106は、Act29へ進む。
In Act 28, the
Act29においてCPU106は、変数Yを1つ増加する。
In Act 29, the
Act30においてCPU106は、変数Yが認識結果テーブルに含まれた商品の数Ymaxと等しいか否かを確認する。そして、変数YがYmaxに到達していないために、Act30でNOと判定したならばCPU106は、Act31へ進む。
In Act 30, the
なお、番号Zのエリアが既に表示状態であるために状態コードMが0ではないならば、CPU106はAct19にてNOと判定し、Act20〜Act30をパスしてAct31へ進む。つまり、番号Zのエリアが既に表示状態であるならば、番号Zのエリアには候補画像を新たに表示することができないので、CPU106はAct20〜Act30をパスする。
If the status code M is not 0 because the area with the number Z is already in the display state, the
Act31においてCPU106は、変数Zの値を1つ増加させた上で、この増加後の変数Zが4であるか否かを確認する。そして変数Zが4ではないために、Act31でNOと判定したならばCPU106は、Act19に戻る。つまりこの場合にCPU106は、次のエリア番号の表示エリアを候補画像の新規の表示エリアとして定めた状態でAct19〜Act30を上記と同様に実行する。
In Act 31, the
一方で、増加後の変数Zが4であるためにAct31にてYESと判定したならばCPU106は、Act32へ進む。
On the other hand, since the variable Z after the increase is 4, if it is determined YES in Act 31, the
なお、認識結果テーブルで順位コードYに関連付けられた信頼度が4未満であるためにAct20にてNOと判定したならばCPU106は、Act21〜Act31をパスしてAct32へ進む。認識結果テーブルで順位コードYに関連付けられた信頼度が4未満となったならば、それ以降の順位コードに関連付けられた信頼度も4未満であるから、それらの順位コードに関連付けられた商品名の商品は候補商品とはせず、従ってAct21〜Act31も実行しない。
Note that if the reliability associated with the rank code Y in the recognition result table is less than 4 and it is determined NO in Act 20, the
Act32においてCPU106は、開始タイミングが到来したか否かを確認する。開始タイミングは、オブジェクト認識処理を次に開始すべきタイミングである。つまり本実施形態では、例えば数百ミリ秒程度に予め定めた時間の間隔でオブジェクト認識処理を繰り返し実行することとし、例えば前回にAct3を開始した時刻から上記の時間が経過した時刻として開始タイミングが定まる。開始タイミングが到来していないためにNOと判定したならばCPU106は、Act32に戻る。かくしてCPU106は、開始タイミングが到来するのを待ち受ける。そして開始タイミングが到来したためにYESと判定したならばCPU106は、Act32からAct2へと戻り、Act2以降の処理を前述したのと同様に実行する。
In Act 32, the
図8はタッチパネル103の表示画面103aにおける表示の遷移の一例を示す図である。なお、図8はあくまでも商品読取処理の結果を顕著に表したものであり、実際のオブジェクト認識の結果の変遷に準じたものではない。
FIG. 8 is a diagram showing an example of display transition on the display screen 103 a of the
まず、表示11においては、4つの表示エリアのいずれもが非表示状態である状態を示す。なお、図8における太線のハッチングは、黒地の表示を表す。
First, the
1回目のオブジェクト認識処理において、信頼度が4以上である辞書登録商品として、「梨(幸水)」および「りんご(王林)」の2つが見つかり、それらの信頼度が7以上および7未満であったとする。この場合にCPU106は、これらを候補商品としてそれぞれ表す2つの候補画像をエリア0,1に表示するべく、表示12に更新する。エリア0の候補画像は第1の形態であり、エリア1の候補画像は第2の形態である。「梨(幸水)」が太文字であり、「りんご(王林)」が細文字であるから、信頼度がより高い「梨(幸水)」が、「りんご(王林)」よりも強調して表される。エリア2,3は、非表示状態のままである。図8は、候補商品を、商品名にて表示しているが、これに限らず、商品のイラスト画像や、商品の写真を、商品名と共に表示するようにしてもよい。
In the first object recognition process, two “Pear (Yoshimizu)” and “Apple (Wang Lin)” are found as dictionary-registered products with a reliability of 4 or higher, and their reliability is 7 or higher and lower than 7. Suppose that In this case, the
さて、番号Zのエリアに候補画像が表示された状態においては、表示状態テーブルでエリア番号Zに関連付けられた状態コードMが1以上であるため、その状態でのAct3(図6参照)におけるオブジェクト認識処理の終了後におけるAct4においては、CPU106はYESと判定することになる。そしてこの場合にCPU106は、Act5へと進む。
Now, in the state where the candidate image is displayed in the area of the number Z, since the state code M associated with the area number Z is 1 or more in the display state table, the object in Act3 (see FIG. 6) in that state In
Act5においてCPU106は、表示状態テーブルでエリア番号Zに関連付けられた商品名について認識結果テーブルに記述された信頼度が7以上であるか否かを確認する。そして該当する信頼度が7以上であるために、Act5でYESと判定したならばCPU106は、Act6へ進む。
In
Act6においてCPU106は、表示状態テーブルでエリア番号Zに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第1の形態にて生成する。かくしてCPU106は、制御プログラムの実行により、選択手段および生成手段として機能している。
In
Act7においてCPU106は、エリア番号Zに関連付けられた状態コードMを2とする。そしてこの後にCPU106は、Act16へ進む。
In
一方、該当する信頼度が7未満であるためにAct5にてNOと判定したならばCPU106は、Act8へ進む。
On the other hand, if the corresponding reliability is less than 7 and it is determined NO in
Act8においてCPU106は、表示状態テーブルでエリア番号Zに関連付けられた商品名について認識結果テーブルに記述された信頼度が4以上であるか否かを確認する。そして該当する信頼度が4,5,6のいずれかであるために、Act8でYESと判定したならばCPU106は、Act9へ進む。
In Act 8, the
Act9においてCPU106は、表示状態テーブルでエリア番号Zに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第2の形態にて生成する。かくしてCPU106は、制御プログラムの実行により、選択手段および生成手段として機能している。
In Act 9, the
Act10においてCPU106は、エリア番号Zに関連付けられた状態コードMを2とする。そしてこの後にCPU106は、Act16へ進む。
In
ところで、該当する信頼度が4未満であるためにAct8にてNOと判定したならばCPU106は、Act11へ進む。
By the way, if the corresponding reliability is less than 4 and it is determined NO in Act 8, the
Act11においてCPU106は、変数Mが2であるか否かを確認する。そして変数Mが2であるためにYESと判定したならばCPU106は、Act12へ進む。
In
Act12においてCPU106は、表示状態テーブルでエリア番号Zに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第3の形態にて生成する。第3の形態の候補画像は、グレーの背景に、商品名を細文字にて表す画像とする。つまりCPU106は、表示状態テーブルでエリア番号Zに関連付けられた商品名を細文字にてグレーの背景中に表した画像を候補画像として生成する。
In
Act13においてCPU106は、エリア番号Zに関連付けられた状態コードMを1とする。そしてこの後にCPU106は、Act16へ進む。
In
さて、変数Mが1または0であるためにAct11にてNOと判定したならばCPU106は、Act14へ進む。
Now, if the variable M is 1 or 0 and it is determined NO in
Act14においてCPU106は、候補画像を第4の形態にて生成する。第4の形態の候補画像は、黒い背景のみであり、商品名を表さない画像とする。従って第4の形態の候補画像は、便宜的に候補画像と称しているが、候補商品を操作者に提示するものではなく、第1〜第3の候補画像とは異なる。
In
Act15においてCPU106は、エリア番号Zに関連付けられた状態コードMを0とする。そしてこの後にCPU106は、Act16へ進む。
In
Act16においてCPU106は、Act6,9,12,14のいずれかにおいて生成した候補画像を番号Zのエリアに配置する。そしてCPU106は、これにより更新された表示画像を表示するようにタッチパネル103を制御する。かくして、表示状態テーブルでエリア番号Zに関連付けられた商品名の商品に対して新たに求められた信頼度が7以上のままであるならば、番号Zのエリアにおける候補画像は変更されない。同信頼度が7以上から4,5,6のいずれかに低下した場合には、番号Zのエリアにおける候補画像の表示形態が第1の形態から第2の形態に変更される。同信頼度が4以上から4未満まで低下した場合には、番号Zのエリアにおける候補画像の表示形態が第1または第2の形態から第3の形態に変更される。同信頼度が4未満であり、かつ番号Zのエリアにおける候補画像の表示形態が第3の形態である場合には、番号Zのエリアにおける候補画像の表示形態が第4の形態に変更される。そして、エリア番号Zに関連付けられた状態コードMは、番号Zのエリアの表示形態が第1または第2の形態である場合に2、第3の形態である場合に1、そして第4の形態である場合に0とされる。かくしてCPU106は、制御プログラムの実行により、制御手段として機能している。
In
Act16を終えたならば、CPU106はAct17へ進み、Act17以降の処理を上述と同様にして実行する。
When
上記を踏まえて、図8に示した表示の遷移の説明を続ける。 Based on the above, the description of the display transition shown in FIG. 8 will be continued.
2回目の認識処理においては、「梨(幸水)」および「りんご(王林)」の信頼度がいずれも4未満に下がり、代わりに信頼度が4以上である辞書登録商品として、「リンゴ(ふじ)」および「りんご(紅玉)」の2つが見つかり、それらの信頼度がいずれも7以上であったとする。この場合にCPU106は、表示13に変更する。つまりCPU106は、エリア0およびエリア1は、いずれも「梨(幸水)」および「りんご(王林)」の候補画像をそれぞれ配置したままとするが、その表示形態はいずれも第3の形態に変更する。なお、図8において、細線のハッチングはグレーの背景を表す。またCPU106は、エリア2,3は非表示状態であったために、このエリア2,3に、新たに見つかった「リンゴ(ふじ)」および「りんご(紅玉)」の候補画像をそれぞれ配置する。「リンゴ(ふじ)」および「りんご(紅玉)」の信頼度はいずれも7以上であるので、それらの候補画像はいずれも第1の形態である。表示13においては、信頼度がいずれも4未満である「梨(幸水)」および「りんご(王林)」の候補画像が残るものの、その表示形態は第3の形態であって、信頼度が7以上である「リンゴ(ふじ)」および「りんご(紅玉)」の候補画像とは明確に区別される。
In the second recognition process, the reliability of both “Pear (Yoshimizu)” and “Apple (Wanglin)” has been reduced to less than 4, and instead, “Ringo” (Fuji) ”and“ Apple (Kodama) ”are found, and their reliability is 7 or more. In this case, the
3回目の認識処理においては、「りんご(紅玉)」の信頼度が7以上のままであり、その他の辞書登録商品の信頼度はいずれも4未満であったとする。この場合にCPU106は、表示14に変更する。つまりCPU106は、第3の形態であった「梨(幸水)」および「りんご(王林)」の候補画像を、いずれも第4の形態に変更し、エリア0,1を非表示状態とする。またCPU106は、エリア2は、「りんご(ふじ)」の候補画像を配置したままとするが、その表示形態は第3の形態に変更する。なおCPU106は、エリア3は「りんご(紅玉)」の候補画像を配置したままとし、かつその表示形態も変更しない。
In the third recognition process, it is assumed that the reliability of “apple (red bean)” remains 7 or more, and the reliability of other dictionary registered products is less than 4. In this case, the
このようにして、信頼度として一旦は4以上が求められて候補商品となった商品の候補画像は、その信頼度が4以下となると認識処理の2周期分の時間をかけて徐々に見づらくする(フェードアウト)。 In this way, a candidate image of a product that has been obtained as a candidate product once a reliability level of 4 or higher is gradually made difficult to recognize over a period of two cycles of recognition processing when the reliability level is 4 or lower. (Fade out).
4回目の認識処理においては、「りんご(紅玉)」の信頼度が7以上のままであり、「りんご(むつ)の信頼度が7以上まで上昇し、「りんご(王林)」の信頼度が4,5,6のいずれかまで上昇し、「りんご(ふじ)」の信頼度が4未満のままであったとする。この場合にCPU106は、表示15に変更する。つまりCPU106は、第3の形態であった「りんご(ふじ)」の候補画像を、第4の形態に変更し、エリア2を非表示状態とする。またCPU106は、「りんご(むつ)」を第1の形態で表す候補画像をエリア0に、かつ「りんご(王林)」を第2の形態で表す候補画像をエリア1にそれぞれ配置する。CPU106は、エリア3は「りんご(紅玉)」の候補画像を配置したままとし、かつその表示形態も変更しない。
In the fourth recognition process, the reliability of “apple” remains 7 or higher, the reliability of “apple” rises to 7 or higher, and the reliability of “apple”. Is raised to any of 4, 5 and 6, and the reliability of “apple” remains below 4. In this case, the
5回目の認識処理においては、「りんご(紅玉)」の信頼度が7以上のままであり、「りんご(むつ)および「りんご(王林)」の信頼度が4未満まで低下し、その他の辞書登録商品についての信頼度がいずれも4未満のままであったとする。この場合にCPU106は、表示16に変更する。つまりCPU106は、エリア0およびエリア1は、いずれも「りんご(むつ)」および「りんご(王林)」の候補画像をそれぞれ配置したままとするが、その表示形態はいずれも第3の形態に変更する。CPU106は、エリア3は「りんご(紅玉)」の候補画像を配置したままとし、かつその表示形態も変更しない。エリア2は新たな候補画像を表示することが可能な状態であるが、エリア3にて候補画像が既表示である「りんご(紅玉)」以外には候補商品が存在しないので、CPU106はエリア3を非表示状態のままとする。
In the fifth recognition process, the reliability of “apple (red ball)” remains 7 or more, the reliability of “apple (mutsu)” and “apple (wanglin)” drops to less than 4, It is assumed that the reliability of the dictionary registration product remains less than 4. In this case, the
6回目の認識処理においては、「りんご(紅玉)」の信頼度が7以上のままであり、その他の辞書登録商品についての信頼度が全て4未満のままであったとする。この場合にCPU106は、表示17に変更する。つまりCPU106は、第3の形態であった「りんご(むつ)」および「りんご(王林)」のそれぞれの候補画像を、いずれも第4の形態に変更し、エリア0,1をそれぞれ非表示状態とする。エリア3は「りんご(紅玉)」の候補画像を配置したままとし、かつその表示形態も変更しない。エリア2は新たな候補画像を表示することが可能な状態であるが、エリア3にて候補画像が既表示である「りんご(紅玉)」以外には候補商品が存在しないので、CPU106はエリア3を非表示状態のままとする。
In the sixth recognition process, it is assumed that the reliability of “apple (red bean)” remains 7 or more, and the reliability of all other dictionary registered products remains less than 4. In this case, the
なお、CPU106は、商品読取処理とは別タスクの処理によって候補商品のうちから登録対象商品を決定する。つまりCPU106は、タッチパネル103を操作者がタッチした場合に、そのタッチの対象となった表示エリアについて表示状態テーブルにて状態コードとして1以上が記述されているならば、同表示エリアについて表示状態テーブルに記述された商品名の商品を登録対象商品として決定する。つまり、第1〜第3の形態の候補画像が表示された表示エリアが操作者によりタッチされたのならば、そのタッチされた候補画像の表示形態に拘わらずに、候補画像により提示された商品を登録対象商品として決定する。かくしてCPU106は、制御プログラムの実行により、決定手段として機能している。
Note that the
このようにして登録対象商品を決定したならばCPU106は、この登録対象商品をPOS端末200へと通知するための通知情報をPOS端末インタフェース113から送出する。そうすると、この通知情報は読取装置インタフェース214により受領されて、RAM208へと保存される。そしてCPU206は、このようにしてRAM208に保存された通知情報を利用して、売上登録のための処理を実行する。この処理は、周知の処理であって良い。
If the registration target product is determined in this way, the
かくして、信頼度が4以上である辞書登録商品のうちで信頼度が大きいものから最大4つが候補商品とされて、それを提示するための候補画像が4つの表示エリアに適宜に表示される。そして、繰り返し実行されるオブジェクト認識処理により各商品の信頼度に変化が生じた場合でも、既表示の候補画像に関する商品が候補商品であり続けるならば、その候補画像を表示する表示エリアは変更しない。そして、新たに候補商品とするべき商品が存在する場合には、非表示状態である表示エリアが存在する場合にのみ、その商品が候補商品とされ、この候補商品に関する候補画像は上記の非表示状態であった表示エリアに配置される。従って、1つの表示エリアに配置ずみの候補画像が、別の商品に関する候補画像に即座に置き換えられてしまうことがない。 Thus, among the dictionary registered products having a reliability level of 4 or more, a maximum of four items having a high reliability level are set as candidate products, and candidate images for presenting them are appropriately displayed in the four display areas. Even if the reliability of each product changes due to the object recognition process that is repeatedly executed, if the product related to the displayed candidate image remains a candidate product, the display area for displaying the candidate image is not changed. . When there is a new product that should be a candidate product, only when there is a display area that is in a non-display state, the product is selected as a candidate product. Arranged in the display area that was in the state. Therefore, a candidate image arranged in one display area is not immediately replaced with a candidate image related to another product.
さて、操作者が、タッチパネル103での表示画面に示された候補画像に登録対象商品に関するものが存在することを認識してから、該当する候補画像をタッチするまでにはある程度の時間を要する。このため、1つの表示エリアに配置ずみの候補画像が、別の商品に関する候補画像に即座に置き換えられてしまうと、操作者が意図しない商品が登録対象商品として決定されてしまう恐れがある。しかしながら商品認識装置100によれば、このような誤操作を防止することができる。
Now, it takes some time until the operator touches the candidate image after recognizing that the candidate image shown on the display screen on the
ただし、以上のような表示においては、表示順序によって信頼度の高さの違いを操作者に認識させることができない。しかしながら商品認識装置100によれば、候補画像の表示形態が信頼度の大きさに応じて第1または第2の形態とされるので、信頼度の大きさを操作者に認識させることが可能である。
However, in the display as described above, it is not possible for the operator to recognize a difference in reliability depending on the display order. However, according to the
ところで、表示エリアを非表示状態とする期間を挟んで異なる商品に関する候補画像を表示すれば、操作者が意図しない商品が登録対象商品として決定されてしまうことを防止することは可能である。しかしながら候補画像の表示を瞬時に止めてしまうと、前述したような操作のタイムラグにより、操作者が意図する商品を登録対象商品として決定できなくなってしまう恐れがある。 By the way, if candidate images relating to different products are displayed across a period in which the display area is hidden, it is possible to prevent a product unintended by the operator from being determined as a registration target product. However, if the display of the candidate image is stopped instantaneously, the product intended by the operator may not be determined as the registration target product due to the time lag of the operation described above.
しかしながら、商品認識装置100によれば、第1または第2の形態で示されていた候補画像に関する商品の信頼度が4未満に低下した場合には、該当する候補画像は第3の形態とされる。このように第3の形態とされた候補画像に関する商品は、信頼度が4未満であるから、本来的には候補商品ではない。しかしながら、第3の形態で表示中である候補画像がタッチされた場合にも、第1または第2の形態で表示中の候補画像がタッチされた場合と同様に、その候補画像に関する商品を登録対象商品として決定する。つまり、フェードアウトの途上にある候補画像がタッチされた場合でも、その候補画像に関する商品を登録対象商品として決定する。
However, according to the
さて、数百ミリ秒の間隔で実行するオブジェクト認識処理の結果によりタッチパネル103での表示画面を完全に置き換えていたのでは、前述したような操作のタイムラグにより、操作者の意思に反して登録対象商品が決定されてしまうおそれがある。
Now, if the display screen on the
しかしながら商品認識装置100によれば、上記のように、フェードアウト表示を行いつつ、フェードアウトの途上にある候補画像がタッチされた場合でも、その候補画像に関する商品を登録対象商品として決定するので、上記のような操作のタイムラグによる誤操作が生じることを防止できる。
However, according to the
この実施形態は、次のような種々の変形実施が可能である。 This embodiment can be variously modified as follows.
オブジェクト認識処理を行う別の装置で得られた認識結果に基づいて前述したような表示および登録対象商品の決定を行う装置として実現することも可能である。 It can also be realized as a device that performs display and registration target product determination as described above based on a recognition result obtained by another device that performs object recognition processing.
前記実施形態では、複数の候補画像に共通の要素である背景の色と、複数の候補画像に共通の要素である文字の形状(線の太さ)とを変更することによって表示形態を変更している。しかしながら、その他に、文字の線の色、候補画像の枠線の色、文字のフォント、文字の大きさ、候補画像の枠線の形状、あるいは候補画像の大きさなどを変更することによって表示形態を変更しても良い。またこれらのうちの複数をそれぞれ変更することによって表示形態を変更しても良い。 In the embodiment, the display form is changed by changing the background color, which is an element common to a plurality of candidate images, and the character shape (line thickness), which is an element common to the plurality of candidate images. ing. However, in addition, the display form can be changed by changing the color of the character line, the color of the frame of the candidate image, the font of the character, the size of the character, the shape of the frame of the candidate image, or the size of the candidate image. May be changed. Further, the display form may be changed by changing a plurality of these.
前記実施形態では、説明の簡略化のためにオブジェクト認識処理の2周期分の時間をかけてフェードアウトする例を挙げた。しかしながら、例えばオブジェクト認識処理を300ミリ秒の間隔で行うとするならば、600ミリ秒でフェードアウトが完了してしまうことになり、操作者の操作のタイムラグを許容する幅が小さくなってしまう。そこで、第3の形態に代えて背景色の濃さが段階的に異なる複数の形態を用意しておき、これらの形態を順次に適用することによってより長い時間でフェードアウトさせても良い。一例としては、オブジェクト認識処理の間隔を300ミリ秒とするとともに、フェードアウト用の表示形態を6段階用意しておき、およそ2秒をかけて非表示状態まで移行させることが考えられる。なお、第3の形態を複数回連続で適用することによってフェードアウトの期間を延長することもできる。 In the above-described embodiment, an example of fading out over the time corresponding to two cycles of object recognition processing has been given for the sake of simplicity of explanation. However, for example, if the object recognition process is performed at an interval of 300 milliseconds, the fade-out is completed in 600 milliseconds, and the width for allowing the time lag of the operation of the operator is reduced. Therefore, instead of the third mode, a plurality of modes with different background color densities may be prepared, and these modes may be sequentially applied to fade out in a longer time. As an example, it is conceivable that the interval of object recognition processing is set to 300 milliseconds, and six stages of fade-out display modes are prepared, and the transition to the non-display state takes about 2 seconds. Note that the fade-out period can be extended by applying the third embodiment a plurality of times in succession.
商品認識装置100とPOS端末200とを一体化した装置として実現することも可能である。上述では、商品認識装置100のCPU106が、コンピュータの中枢部分に相当し、各種制御を行うと説明しているが、これに限らず、POS端末200のCPU206が、コンピュータの中枢部分に相当し、各種制御を行う構成であっても良い。
It is also possible to realize the
候補画像のフェードアウト表示は行わなくても良い。 The fade-out display of the candidate image may not be performed.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
100…商品認識装置、101…ハウジング、101a…読取窓、102…キーボード、103…タッチパネル、103a…表示画面、104…客用ディスプレイ、105a…撮像デバイス、105…撮像部、106…CPU、107…ROM、108…RAM、200…POS端末。
DESCRIPTION OF
Claims (6)
前記撮像手段にて撮像された商品において、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する選択手段と、
前記選択手段により選択された前記候補商品を、候補商品の信頼度に応じた表示形態で表示する表示デバイスを制御する制御手段と、
前記選択手段により選択された前記候補商品のうち、指定された商品を前記登録対象商品として決定する決定手段とを具備したことを特徴とする商品認識装置。 Imaging means for imaging products at regular time intervals;
In the products imaged by the imaging means, a predetermined number of candidate products are determined based on a plurality of reliability levels each representing a degree that each of the plurality of products is the same product as the registration target product. A selection means for selecting from among products;
Control means for controlling a display device that displays the candidate product selected by the selection means in a display form according to the reliability of the candidate product;
A product recognition apparatus comprising: a determination unit that determines a specified product as the registration target product among the candidate products selected by the selection unit.
前記制御手段は、前記選択手段が候補商品として選択していた商品を選択しなくなった場合には、当該候補商品に対応する候補表示を、前記信頼度が複数回求められる時間をかけて徐々に見づらくすることを特徴とする請求項3に記載の商品認識装置。 The selection means reselects the candidate product every time a plurality of reliability levels for one registration target product are newly obtained,
When the selection unit stops selecting the product that has been selected as the candidate product, the control unit gradually displays the candidate display corresponding to the candidate product over the time when the reliability is obtained a plurality of times. The product recognition device according to claim 3, wherein the product recognition device is difficult to see.
商品を一定時間間隔で撮像する撮像手段と、
前記撮像手段にて撮像された商品において、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する選択手段と、
前記選択手段により選択された前記候補商品を、候補商品の信頼度に応じた表示形態で表示する前記表示デバイスを制御する制御手段と、
前記選択手段により選択された前記候補商品のうち、指定された商品を前記登録対象商品として決定する決定手段として機能させることを特徴とする制御プログラム。 A computer provided in the product recognition apparatus together with the display device,
Imaging means for imaging products at regular time intervals;
In the products imaged by the imaging means, a predetermined number of candidate products are determined based on a plurality of reliability levels each representing a degree that each of the plurality of products is the same product as the registration target product. A selection means for selecting from among products;
Control means for controlling the display device that displays the candidate product selected by the selection means in a display form according to the reliability of the candidate product;
A control program that functions as a determination unit that determines a designated product as the registration target product among the candidate products selected by the selection unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013170751A JP2015041157A (en) | 2013-08-20 | 2013-08-20 | Product recognition device and control program of the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013170751A JP2015041157A (en) | 2013-08-20 | 2013-08-20 | Product recognition device and control program of the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015041157A true JP2015041157A (en) | 2015-03-02 |
Family
ID=52695305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013170751A Pending JP2015041157A (en) | 2013-08-20 | 2013-08-20 | Product recognition device and control program of the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015041157A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017058977A (en) * | 2015-09-16 | 2017-03-23 | 東芝テック株式会社 | Information processing device and program |
JP2017201437A (en) * | 2016-05-02 | 2017-11-09 | 日本放送協会 | News material extractor and program |
JP2018136621A (en) * | 2017-02-20 | 2018-08-30 | 東芝テック株式会社 | Information processor and program |
JP2020154419A (en) * | 2019-03-18 | 2020-09-24 | 東芝テック株式会社 | Checkout system and lane system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013117872A (en) * | 2011-12-02 | 2013-06-13 | Toshiba Tec Corp | Store system and program |
-
2013
- 2013-08-20 JP JP2013170751A patent/JP2015041157A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013117872A (en) * | 2011-12-02 | 2013-06-13 | Toshiba Tec Corp | Store system and program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017058977A (en) * | 2015-09-16 | 2017-03-23 | 東芝テック株式会社 | Information processing device and program |
JP2017201437A (en) * | 2016-05-02 | 2017-11-09 | 日本放送協会 | News material extractor and program |
JP2018136621A (en) * | 2017-02-20 | 2018-08-30 | 東芝テック株式会社 | Information processor and program |
JP2020154419A (en) * | 2019-03-18 | 2020-09-24 | 東芝テック株式会社 | Checkout system and lane system |
JP7233992B2 (en) | 2019-03-18 | 2023-03-07 | 東芝テック株式会社 | Checkout system and lane system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105608808B (en) | Information processing unit and its control method, store system | |
US9811816B2 (en) | Commodity identification device and commodity recognition navigation method | |
JP5656796B2 (en) | Product data processing apparatus, product data processing method and control program | |
CN102456123B (en) | Commodity information reading apparatus | |
US20140177912A1 (en) | Commodity reading apparatus, commodity sales data processing apparatus and commodity reading method | |
JP5760022B2 (en) | Product information display device and computer program | |
US10482447B2 (en) | Recognition system, information processing apparatus, and information processing method | |
US20200334656A1 (en) | Product recognition apparatus, sales data processing apparatus, and control method | |
JP2013250768A (en) | Article recognition device, and article recognition program | |
JP5572651B2 (en) | Product reading apparatus and product reading program | |
JP5622756B2 (en) | Product reading apparatus and product reading program | |
JP5551140B2 (en) | Information processing apparatus and program | |
EP3002739A2 (en) | Information processing apparatus and information processing method by the same | |
JP6263483B2 (en) | Article recognition apparatus, sales data processing apparatus, and control program | |
US20190108503A1 (en) | Reading apparatus, reading method, and computer readable medium | |
JP5865316B2 (en) | Product registration device and program | |
JP2015041157A (en) | Product recognition device and control program of the same | |
US20170344851A1 (en) | Information processing apparatus and method for ensuring selection operation | |
EP3144854B1 (en) | Image recognition system that displays a user-friendly graphical user interface | |
JP5640112B2 (en) | Product recognition apparatus and product recognition program | |
CN111046683A (en) | Reading apparatus, control method, computer-readable storage medium, and electronic device | |
JP6376955B2 (en) | Information processing apparatus, sales data processing apparatus, and program | |
JP2016031599A (en) | Information processor and program | |
US9355395B2 (en) | POS terminal apparatus and commodity specification method | |
US20180240093A1 (en) | Information processing apparatus and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150828 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151015 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151110 |