JP2015041157A - Product recognition device and control program of the same - Google Patents
Product recognition device and control program of the same Download PDFInfo
- Publication number
- JP2015041157A JP2015041157A JP2013170751A JP2013170751A JP2015041157A JP 2015041157 A JP2015041157 A JP 2015041157A JP 2013170751 A JP2013170751 A JP 2013170751A JP 2013170751 A JP2013170751 A JP 2013170751A JP 2015041157 A JP2015041157 A JP 2015041157A
- Authority
- JP
- Japan
- Prior art keywords
- product
- candidate
- display
- cpu
- products
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
本発明の実施形態は、商品認識装置およびその制御プログラムに関する。 Embodiments described herein relate generally to a commodity recognition apparatus and a control program therefor.
ＰＯＳ（point-of-sale）端末などにおいて売上登録の対象となる商品（登録対象商品）の判定は、一般的にバーコードのような光学式マークの読み取りにより行われている。 In a POS (point-of-sale) terminal or the like, a product to be registered for sales (a product to be registered) is generally determined by reading an optical mark such as a barcode.
一方で、オブジェクト認識技術を利用したオブジェクト認識スキャナも提案されている。オブジェクト認識スキャナは、商品の外観の特徴に基づいて当該商品を認識する。 On the other hand, an object recognition scanner using object recognition technology has also been proposed. The object recognition scanner recognizes the product based on the appearance characteristics of the product.
オブジェクト認識スキャナは、辞書登録されている全ての商品について、それが登録対象商品と同一商品である度合いを表した信頼度をそれぞれ求める。そして、このように求まる信頼度の比較により、登録対象商品の候補と考えられる候補商品を選定する。そして、オブジェクト認識スキャナでの認識結果に基づく売上登録を行う場合には、複数の候補商品の一覧を表した画像を表示し、その一覧のなかからの登録対象商品の指定を操作者に行わせる。 The object recognition scanner obtains a reliability representing the degree to which all the products registered in the dictionary are the same products as the registration target products. Then, candidate products that are considered candidates for the registration target product are selected based on the comparison of reliability obtained in this way. When performing sales registration based on the recognition result of the object recognition scanner, an image representing a list of a plurality of candidate products is displayed, and the operator is allowed to specify a registration target product from the list. .
ところでオブジェクト認識スキャナは、操作者が手に持ってかざした登録対象商品をカメラにより撮像した画像についての認識処理を行う。このため、操作者による登録対象商品のカメラへのかざし方によって、認識の結果が異なることがある。 By the way, the object recognition scanner performs recognition processing on an image obtained by capturing an image of a registration target product held by the operator with a hand. For this reason, the recognition result may differ depending on how the operator holds the registration target product over the camera.
そこでオブジェクト認識スキャナは、例えば数百ミリ秒といった短い間隔で、認識処理を繰り返し実行する。つまり、この短い間隔毎に、認識結果が得られることとなる。 Therefore, the object recognition scanner repeatedly executes recognition processing at short intervals such as several hundred milliseconds. That is, a recognition result is obtained at every short interval.
このように短い間隔毎に得られる認識結果をそのまま表示していると、操作者に提示される候補商品が目まぐるしく変化してしまう場合があり、操作性の面で好ましくない。 If the recognition results obtained at short intervals are displayed as they are, the candidate products presented to the operator may change rapidly, which is not preferable in terms of operability.
このような事情から、オブジェクト認識による認識結果を分かり易く操作者に提示することが望まれていた。 For these reasons, it has been desired to present the recognition result by object recognition to the operator in an easy-to-understand manner.
本発明が解決しようとする課題は、オブジェクト認識による認識結果を分かり易く操作者に提示することができる商品認識装置およびその制御プログラムを提供することである。 The problem to be solved by the present invention is to provide a product recognition apparatus and its control program that can easily present the recognition result by object recognition to the operator.
実施形態の商品認識装置は、撮像手段、選択手段、制御手段および決定手段を備える。撮像手段は、商品を一定時間間隔で撮像する。選択手段は、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する。制御手段は、選択手段により選択された候補商品を、候補商品の信頼度に応じた表示形態で表示するべく表示デバイスを制御する。決定手段は、選択手段により選択された候補商品のうち、指定された商品を登録対象商品として決定する。 The product recognition apparatus according to the embodiment includes an imaging unit, a selection unit, a control unit, and a determination unit. The imaging means images the product at regular time intervals. The selection means selects a predetermined number of candidate products from among the plurality of products based on a plurality of reliability levels each representing a degree that each of the plurality of products is the same product as the registration target product. The control unit controls the display device to display the candidate product selected by the selection unit in a display form corresponding to the reliability of the candidate product. The determining unit determines a designated product as a registration target product among the candidate products selected by the selecting unit.
以下、商品認識装置の実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケット等の店舗に設けられた会計カウンタに設置される店舗会計システムに適用した場合である。 Hereinafter, an embodiment of a product recognition device will be described with reference to the drawings. This embodiment is a case where the present invention is applied to a store accounting system installed in an accounting counter provided in a store such as a supermarket.
図１は本実施形態に係る店舗会計システムの外観図である。この店舗会計システムは、商品認識装置１００およびＰＯＳ（point of sales）端末２００を含む。商品認識装置１００は、会計カウンタ３００の上に取り付けられる。ＰＯＳ端末２００は、レジ台４００に載置されたドロワ５００の上に設置される。商品認識装置１００とＰＯＳ端末２００とは、図示しない通信ケーブルにより電気的に接続される。ドロワ５００に代えて、自動釣銭機が設置される場合もある。
FIG. 1 is an external view of a store accounting system according to the present embodiment. This store accounting system includes a
商品認識装置１００は、ハウジング１０１、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４および撮像部１０５を含む。
The
ハウジング１０１は、平型の箱状をなし、会計カウンタ３００の上に立つ。ハウジング１０１は、上端においてキーボード１０２、タッチパネル１０３、客用ディスプレイ１０４を支持し、内部において撮像部１０５を支持する。ハウジング１０１は、撮像部１０５に対向して読取窓１０１ａを有し、読取窓１０１ａの前に位置する物体（オブジェクト）を読取窓１０１ａを介して撮像部１０５により撮像可能とする。
The
ＰＯＳ端末２００は、ハウジング２０１、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５を含む。
The
ハウジング２０１は、キーボード２０２をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ２０３および客用ディスプレイ２０４を外部に位置する状態で支持し、プリンタ２０５を内部にて支持する。
The
会計カウンタ３００は、細長い天板３００ａを含む。会計カウンタ３００は、天板の長手方向に沿った顧客通路（図１における奥側）とオペレータスペース（図１における手前側）とを分ける。ハウジング１０１は、天板３００ａの長手方向の略中央に位置し、キーボード１０２、タッチパネル１０３および読取窓１０１ａをそれぞれオペレータスペース側に向けるとともに、客用ディスプレイ１０４を顧客通路側に向ける。天板３００ａの上面は、商品認識装置１００を挟んで顧客移動方向の上流側の領域は、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用され、また、下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。 レジ台４００は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ３００の端部に並ぶようにオペレータスペース側に位置する。
The
図２は図１に示す店舗会計システムにおける電気的要素のブロック図である。なお、図２に示される要素のうちで図１に示されるのと同一の要素には図１と同一の符号を付する。 FIG. 2 is a block diagram of electrical elements in the store accounting system shown in FIG. Of the elements shown in FIG. 2, the same elements as those shown in FIG.
商品認識装置１００は電気的要素として、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４のほかに、撮像デバイス１０５ａ、ＣＰＵ（central processing unit）１０６、ＲＯＭ（read-only memory）１０７、ＲＡＭ（random-access memory）１０８、キーボードインタフェース（キーボードＩ／Ｆ）１０９、パネルインタフェース（パネルＩ／Ｆ）１１０、表示インタフェース（表示Ｉ／Ｆ）１１１、撮像インタフェース（撮像Ｉ／Ｆ）１１２、ＰＯＳ端末インタフェース（ＰＯＳ端末Ｉ／Ｆ）１１３およびバスライン１１４を含む。なお、バスライン１１４は、アドレスバスおよびデータバスなどを含み、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、キーボードインタフェース１０９、パネルインタフェース１１０、表示インタフェース１１１、撮像インタフェース１１２およびＰＯＳ端末インタフェース１１３を互いに接続する。
In addition to the
キーボード１０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
The
タッチパネル１０３は、例えばＬＣＤ（liquid crystal display）などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル１０３は、ＣＰＵ１０６の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル１０３は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル１０３は、オペレータに対して提示するべき各種の情報を表した画像を表示したり、オペレータの操作を入力するために利用される。
The
客用ディスプレイ１０４は、ＣＰＵ１０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ１０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ１０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
The
撮像デバイス１０５ａは、図示しない撮像レンズとともに撮像部１０５に含まれる。撮像デバイス１０５ａは、エリアイメージセンサであるＣＣＤ（charge coupled device）撮像素子とその駆動回路とを含む。撮像レンズは、撮像領域の画像をＣＣＤ撮像素子に結像する。撮像領域とは、読取窓１０１ａから撮像レンズを通してＣＣＤ撮像素子のエリアに結像する領域を指す。撮像デバイス１０５ａは、撮像領域の画像（フレーム画像）を表すフレームデータを一定の時間間隔で取得し、当該フレームデータを出力する。
The imaging device 105a is included in the
ＣＰＵ１０６は、コンピュータの中枢部分に相当する。ＣＰＵ１０６は、ＲＯＭ１０７およびＲＡＭ１０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品認識装置１００としての各種の動作を実現するべく商品認識装置１００の各要素を制御する。
The
ＲＯＭ１０７は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ１０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ１０７は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する場合もある。
The
ＲＡＭ１０８は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。ＲＡＭ１０８の記憶領域の一部は、認識結果テーブルおよび表示状態テーブルとして利用される。
The
認識結果テーブルは、後述するオブジェクト認識処理での認識結果を一時的に記憶するために利用される。 The recognition result table is used for temporarily storing a recognition result in an object recognition process described later.
図３は認識結果テーブルの一例を模式的に示す図である。 FIG. 3 is a diagram schematically illustrating an example of the recognition result table.
認識結果テーブルは、０から始まる整数として定めた順位コードを見出しとし、この順位コードに商品名と信頼度（類似度）とを関連付けて記述するデータレコードの集合である。信頼度は、後述するオブジェクト認識処理によって求められ、関連付けられた商品名の商品が登録対象商品と同一商品である度合いを表す。 The recognition result table is a set of data records in which a rank code defined as an integer starting from 0 is used as a headline, and a product name and reliability (similarity) are associated with the rank code. The reliability is obtained by an object recognition process described later, and represents the degree to which the product with the associated product name is the same product as the registration target product.
表示状態テーブルは、タッチパネル１０３の表示画面を分割して定められた複数の表示エリアのそれぞれについての表示状態を管理するために利用される。
The display state table is used to manage the display state for each of a plurality of display areas determined by dividing the display screen of the
例えば、図４に示すようにタッチパネル１０３の表示画面１０３ａを４等分して「エリア０」〜「エリア３」の４つの表示エリアを設定することとする。そしてこれらの表示エリアのそれぞれに、登録対象商品の候補となる候補商品を操作者に認識させるための候補画像を必要に応じて表示する。なお、表示エリアの数やその配置は任意であって良い。
For example, as shown in FIG. 4, the display screen 103a of the
図５は表示状態テーブルの一例を模式的に示す図である。 FIG. 5 is a diagram schematically showing an example of the display state table.
表示状態テーブルは、表示エリアのそれぞれを区別する０〜３のエリア番号を見出しとし、このエリア番号に、状態コードおよび商品名を関連付けて記述したデータレコードの集合である。エリア番号の変数をＺとし、状態コードの変数をＭとする。状態コードは、関連付けられた表示エリアにおける表示状態を表すものであり、本実施形態においては０，１，２のいずれかをとる。状態コードの０は候補画像を表示していない状態を示し、１は候補画像をフェードアウト表示中である状態を示し、また２は候補画像を通常表示する状態を示す。
The display state table is a set of data records in which 0 to 3 area numbers for distinguishing display areas are used as headings, and state codes and product names are associated with the area numbers. The area number variable is Z, and the status code variable is M. The status code represents the display status in the associated display area, and takes 0, 1, or 2 in this embodiment. The
ＲＯＭ１０７に記憶されるアプリケーションプログラムには、後述する商品読取処理に関して記述した制御プログラムを含む。なお、商品認識装置１００の譲渡は、一般的に制御プログラムがＲＯＭ１０７に記憶された状態にて行われる。商品認識装置１００にＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ハードディスクドライブ、あるいはＳＳＤ（solid state drive）などの補助記憶デバイスを設けて、この補助記憶デバイスに制御プログラムを記憶した状態にて商品認識装置１００の譲渡がなされても良い。しかし、制御プログラムがＲＯＭ１０７や補助記憶デバイスに記憶されない状態で商品認識装置１００が譲渡されるとともに、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して制御プログラムが譲渡され、この制御プログラムが上記の別途に譲渡された商品認識装置１００の補助記憶デバイスに書き込まれても良い。
The application program stored in the
キーボードインタフェース１０９は、キーボード１０２とＣＰＵ１０６とのデータの授受を仲介する。キーボードインタフェース１０９としては、例えばＰＳ／２規格またはＵＳＢ（universal serial bus）規格に準拠した周知のデバイスを利用できる。
The keyboard interface 109 mediates data exchange between the
パネルインタフェース１１０は、タッチパネル１０３とＣＰＵ１０６とのデータおよび映像信号の授受を仲介する。パネルインタフェース１１０は、表示デバイス用のインタフェースとタッチセンサ用のインタフェースとを含む。表示デバイス用のインタフェースとしては、例えばＶＧＡ（video graphics array）規格（アナログＲＧＢ規格）、ＤＶＩ（digital video interface）規格またはＬＶＤＳ（low voltage differential signaling）規格に準拠した周知のデバイスを利用できる。タッチセンサ用のインタフェースとしては、例えばＵＳＢ規格またはＲＳ（recommended standard）−２３２Ｃ規格に準拠した周知のデバイスを利用できる。
表示インタフェース１１１は、客用ディスプレイ１０４とＣＰＵ１０６との映像信号の授受を仲介する。表示インタフェース１１１としては、客用ディスプレイ１０４が蛍光表示器である場合には例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用でき、客用ディスプレイ１０４がＬＣＤである場合には例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
The display interface 111 mediates exchange of video signals between the
撮像インタフェース１１２は、撮像デバイス１０５ａとＣＰＵ１０６とのデータの授受を仲介する。撮像インタフェース１１２としては、例えばＵＳＢ規格またはＩＥＥＥ（institute of electrical and electronic engineers）１３９４規格に準拠した周知のデバイスを利用できる。
The
ＰＯＳ端末インタフェース１１３は、ＰＯＳ端末２００とＣＰＵ１０６とのデータの授受を仲介する。ＰＯＳ端末インタフェース１１３としては、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。
The
ＰＯＳ端末２００は電気的要素として、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５のほかに、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース（表示Ｉ／Ｆ）２１１，２１２、プリンタインタフェース（プリンタＩ／Ｆ）２１３、読取装置インタフェース（読取装置Ｉ／Ｆ）２１４、ドロワインタフェース（ドロワＩ／Ｆ）２１５、通信デバイス２１６およびバスライン２１７を含む。なお、バスライン２１７は、アドレスバスおよびデータバスなどを含み、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース２１１、表示インタフェース２１２、プリンタインタフェース２１３、読取装置インタフェース２１４、ドロワインタフェース２１５および通信デバイス２１６を互いに接続する。
In addition to the
キーボード２０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
The
オペレータ用ディスプレイ２０３は、ＣＰＵ２０６の制御の下に任意の画像を表示する。オペレータ用ディスプレイ２０３は、オペレータに対して提示するべき各種の画像を表示するために利用される。オペレータ用ディスプレイ２０３としては、例えばＬＣＤが利用できる。
The
客用ディスプレイ２０４は、ＣＰＵ２０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ２０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ２０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
The
プリンタ２０５は、ＣＰＵ２０６の制御の下に、取引の内容を表したレシート画像をレシート用紙に対してプリントする。プリンタ２０５としては、周知の各種方式の既存のプリンタが利用できる。プリンタ２０５は、例えばサーマルプリンタである。
Under the control of the
ＣＰＵ２０６は、コンピュータの中枢部分に相当する。ＣＰＵ２０６は、ＲＯＭ２０７およびＲＡＭ２０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、ＰＯＳ端末２００としての各種の動作を実現するべく各部を制御する。
The
ＲＯＭ２０７は、上記コンピュータの主記憶部分に相当する。ＲＯＭ２０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ２０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ２０７は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する場合もある。
The
ＲＡＭ２０８は、上記コンピュータの主記憶部分に相当する。ＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。ＲＡＭ２０８の記憶領域の一部は、売上登録された商品についての情報を管理するための商品リストエリアとして使用される。
A
補助記憶ユニット２０９は、上記コンピュータの補助記憶部分に相当する。例えばハードディスクドライブやＳＳＤなどであり、ＣＰＵ２０６が各種の処理を行う上で使用するデータや、ＣＰＵ２０６での処理によって生成されたデータを保存する。
The
キーボードインタフェース２１０は、キーボード２０２とＣＰＵ２０６とのデータの授受を仲介する。キーボードインタフェース２１０としては、例えばＰＳ／２規格またはＵＳＢ規格に準拠した周知のデバイスを利用できる。
The
表示インタフェース２１１は、オペレータ用ディスプレイ２０３とＣＰＵ１０６との映像信号の授受を仲介する。表示インタフェース２１１としては、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
The
表示インタフェース２１２は、客用ディスプレイ２０４とＣＰＵ２０６との映像信号の授受を仲介する。表示インタフェース２１２としては、客用ディスプレイ２０４が蛍光表示器である場合には例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用でき、客用ディスプレイ２０４がＬＣＤである場合には例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
The
プリンタインタフェース２１３は、プリンタ２０５とＣＰＵ２０６とのデータの授受を仲介する。プリンタインタフェース２１３としては、例えばＵＳＢ規格、ＲＳ−２３２Ｃ規格またはＩＥＥＥ１２８４規格（いわゆるセントロニクス仕様）などに準拠した周知のデバイスを利用できる。
The
読取装置インタフェース２１４は、商品認識装置１００とＣＰＵ２０６とのデータの授受を仲介する。読取装置インタフェース２１４としては、ＰＯＳ端末インタフェース１１３が準拠する規格に準拠した周知のデバイスを利用できる。
The
ドロワインタフェース２１５は、ＣＰＵ２０６からドロワ開放が指示されたことに応じてドロワ５００を開放させるための駆動信号をドロワ５００に対して出力する。
The
通信デバイス２１６は、通信ネットワーク６００を介してサーバ７００と通信する。通信デバイス２１６としては、例えば既存のＬＡＮ通信デバイスを適用できる。
The
次に以上のように構成された店舗会計システムにおける商品認識装置１００の動作について説明する。なお、ここでは商品認識装置１００の動作の一部のみについて説明する。商品認識装置１００と同種の既存の装置が備える機能を商品認識装置１００も備えるが、その機能に関わる動作の説明は省略する。またＰＯＳ端末２００は、それと同種の既存の装置が備える機能を備えるが、その機能に関わる動作の説明は省略する。
Next, operation | movement of the
図６および図７は商品読取処理のフローチャートである。 6 and 7 are flowcharts of the commodity reading process.
商品認識装置１００が起動されると、ＣＰＵ１０６は図６，７に示す商品読取処理を開始する。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
When the
Ａｃｔ１においてＣＰＵ１０６は、図５に示すような表示状態テーブルをＲＡＭ１０８に生成する。ただしＣＰＵ１０６は、精製した表示状態テーブルにおける状態コードをすべて０とする。
In Act1, the
Ａｃｔ２においてＣＰＵ１０６は、変数Ｙ，Ｚをともに０とする。なお、変数Ｙは順位コードを、変数Ｚはエリア番号をそれぞれ示す。
In
Ａｃｔ３においてＣＰＵ１０６は、オブジェクト認識処理を実行する。
In
具体的にはＣＰＵ１０６は、まず、撮像デバイス１０５ａが出力するフレームデータをＲＡＭ１０８に保存する。ＣＰＵ１０６は、ＲＡＭ１０８に保存したフレームデータを解析して、当該フレームデータが表すフレーム画像に含まれる商品が存在することを認識する。言い換えるとＣＰＵ１０６は、フレーム画像中に含まれる商品を検出する。具体的には、ＣＰＵ１０６は先ず、フレーム画像から肌色領域の検出を試みる。肌色領域を検出できた場合、すなわちオペレータの手がフレーム画像に映り込んでいる場合にＣＰＵ１０６は、フレーム画像を二値化した上で、これにより得られた二値化画像から輪郭線などを抽出する。これにより、ＣＰＵ１０６は、オペレータの手が把持していると想定される商品の輪郭を抽出する。このようにしてＣＰＵ１０６は、商品を識別すべきオブジェクトとして検出する。なお、オブジェクトは、次の手法により直接的に検出しても良い。すなわちＣＰＵ１０６はまず、ＲＡＭ１０８に保存したフレームデータを解析して、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１０６は、フレーム画像に映し出されているオブジェクトの輪郭抽出を試み、オブジェクトの輪郭が抽出できたならば、物体が存在することを検出する。
Specifically, the
次にＣＰＵ１０６は、上記のようにして検出した物体を登録対象商品として、それがどの商品であるかを、オブジェクト認識技術を使用して判断する。
Next,
具体的には、ＣＰＵ１０６は、登録対象商品について、商品の形状、表面の色合い、模様、凹凸状況等の特徴量を読み取る。そしてＣＰＵ１０６は、読み取った特徴量と、多数の商品（以下、辞書登録商品と称する）のそれぞれに関して認識辞書ファイルに登録された特徴量とに基づいて、辞書登録商品のそれぞれが登録対象商品と同一商品である度合いを表した信頼度をそれぞれ求める。本実施形態では、信頼度は１から１０までの整数とし、上記の度合いが最大である場合を１０とする。
Specifically, the
そしてＣＰＵ１０６は、辞書登録商品を、信頼度に基づいて降順にソートし、図５に示すような認識結果テーブルをＲＡＭ１０８に生成する。認識結果テーブルへは、辞書登録商品の全てを含めても良いし、上位から予め定めた数の辞書登録商品に限って含めても良い。
The
なお、ここでのオブジェクト認識処理には、一般物体認識（generic object recognition）と呼ばれる技術を利用できる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されており、この技術を上記のオブジェクト認識に利用できる。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されており、この技術も上記のオブジェクト認識処理に利用できる。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
Ａｃｔ４においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた状態コードＭが１以上であるか否かを確認する。状態コードＭは、０である場合にのみ、候補画像を表示していない状態を表す。従ってＣＰＵ１０６は、番号Ｚのエリアにおける候補画像の表示が行われているか否かを確認することとなる。そして、番号Ｚのエリアにおける候補画像の表示が行われていないために、Ａｃｔ４でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１７へ進む。
Note that a technique called generic object recognition can be used for the object recognition processing here. Regarding this general object recognition technique, various recognition techniques are described in the following literature, and this technique can be used for the above object recognition.
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search August 10, 2010], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
Further, a technique for performing general object recognition by dividing an image into regions for each object is described in the following document, and this technique can also be used for the object recognition process described above.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [Search August 10, 2010], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = repl & type = pdf>
In
Ａｃｔ１７においてＣＰＵ１０６は、変数Ｚの値を１つ増加させた上で、この増加後の変数Ｚが４であるか否かを確認する。そして変数Ｚが４ではないために、Ａｃｔ１７でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ４に戻る。
In
さて、初期状態や、ある時間に渡って撮像デバイス１０５ａが撮像した画像に物体が映り込まない状態においては、４つの表示エリアの全てにおいて候補画像の表示が行われない。この状態においては、表示状態テーブルに記述された状態コードは、いずれも０である。従ってこの状態においては、Ａｃｔ４およびＡｃｔ１７が繰り返されて、変数Ｚが４に到達する。そしてこれによってＣＰＵ１０６は、Ａｃｔ１７にてＹＥＳと判定し、図７のＡｃｔ１８へと進む。
In the initial state or in a state where no object is reflected in the image captured by the imaging device 105a over a certain period of time, the candidate image is not displayed in all the four display areas. In this state, the status codes described in the display status table are all 0. Therefore, in this state, Act4 and Act17 are repeated, and the variable Z reaches 4. Then, the
Ａｃｔ１８においてＣＰＵ１０６は、変数Ｚを０にクリアする。
In Act 18, the
Ａｃｔ１９においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた状態コードＭが０であるか否かを確認する。つまりＣＰＵ１０６は、番号Ｚのエリアが非表示状態であるか否かを確認する。そして、該当する状態コードＭが０であるために、Ａｃｔ１９でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２０へ進む。
In Act 19, the
Ａｃｔ２０においてＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた信頼度が４以上であるか否かを確認する。そして該当する信頼度が４以上であるために、Ａｃｔ２０でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２１へ進む。なお、Ａｃｔ２０でＹＥＳと判定された場合、順位コードＹに関連付けられた商品名の商品が候補商品の１つとなる。
In Act 20, the
Ａｃｔ２１においてＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた信頼度、すなわち着目中の候補商品の信頼度が７以上であるか否かを確認する。そして該当する信頼度が７以上であるためにＡｃｔ２１でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２２へ進む。
In Act 21, the
Ａｃｔ２２においてＣＰＵ１０６は、着目中の候補商品を操作者に提示するための候補画像を第１の形態にて生成する。第１の形態の候補画像は、白い背景に、商品名を太文字にて表す画像とする。つまりＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた商品名を太文字にて白い背景中に表した画像を候補画像として生成する。候補画像を生成し終えたならばＣＰＵ１０６は、Ａｃｔ２４へ進む。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
In Act 22, the
さて、認識結果テーブルで順位コードＹに関連付けられた信頼度が４，５，６のいずれかである場合、Ａｃｔ２１にてＣＰＵ１０６はＮＯと判定することになる。そしてこの場合にＣＰＵ１０６は、Ａｃｔ２１からＡｃｔ２３へ進む。
If the reliability associated with the rank code Y in the recognition result table is any of 4, 5, and 6, the
Ａｃｔ２３においてＣＰＵ１０６は、着目中の候補商品を操作者に提示するための候補画像を第２の形態にて生成する。第２の形態の候補画像は、白い背景に、商品名を細文字にて表す画像とする。つまりＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた商品名を細文字にて白い背景中に表した画像を候補画像として生成する。候補画像を生成し終えたならばＣＰＵ１０６は、Ａｃｔ２４へ進む。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
In Act 23, the
Ａｃｔ２４においてＣＰＵ１０６は、着目中の候補商品についての候補画像が既表示であるか否かを確認する。具体的には、１以上の状態コードに着目中の候補商品を関連付けて記述したデータレコードが表示状態テーブルに含まれるか否かを確認する。そして該当するデータレコードが見つかったために、Ａｃｔ２４でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２５へと進む。
In Act 24, the
Ａｃｔ２５においてＣＰＵ１０６は、着目中の候補商品についての候補画像を既に表示している表示エリアに、Ａｃｔ２２またはＡｃｔ２３で生成した候補画像を表示するようにタッチパネル１０３を制御する。つまりＣＰＵ１０６は、Ａｃｔ２４において見つかったデータレコードのエリア番号で特定される表示エリアにＡｃｔ２２またはＡｃｔ２３で生成した候補画像を表示するようにタッチパネル１０３を制御する。これにより、既に表示されていた着目中の候補商品についての候補画像が同じ候補商品について新たに生成された候補画像に更新される。ただし、既表示の候補画像と新たな候補画像との表示形態が同じ場合もあり、この場合は操作者からの見た目は何等変わらない。かくしてＣＰＵ１０６は、制御プログラムの実行により、制御手段として機能している。
In Act 25, the
Ａｃｔ２６においてＣＰＵ１０６は、変数Ｍを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ２９へ進む。
In Act 26, the
一方、Ａｃｔ２４にて該当するデータレコードが見つからなかったためにＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ２７へと進む。
On the other hand, if it is determined NO because the corresponding data record was not found in Act 24, the
Ａｃｔ２７においてＣＰＵ１０６は、番号Ｚのエリアに、Ａｃｔ２２またはＡｃｔ２３で生成した候補画像を表示するようにタッチパネル１０３を制御する。つまりＣＰＵ１０６は、候補画像を表示していなかった表示エリアにＡｃｔ２２またはＡｃｔ２３で生成した候補画像を新たに表示するようにタッチパネル１０３を制御する。かくしてＣＰＵ１０６は、制御プログラムの実行により、制御手段として機能している。
In Act 27, the
Ａｃｔ２８においてＣＰＵ１０６は、変数Ｍを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ２９へ進む。
In Act 28, the
Ａｃｔ２９においてＣＰＵ１０６は、変数Ｙを１つ増加する。
In Act 29, the
Ａｃｔ３０においてＣＰＵ１０６は、変数Ｙが認識結果テーブルに含まれた商品の数Ｙmaxと等しいか否かを確認する。そして、変数ＹがＹmaxに到達していないために、Ａｃｔ３０でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ３１へ進む。
In Act 30, the
なお、番号Ｚのエリアが既に表示状態であるために状態コードＭが０ではないならば、ＣＰＵ１０６はＡｃｔ１９にてＮＯと判定し、Ａｃｔ２０〜Ａｃｔ３０をパスしてＡｃｔ３１へ進む。つまり、番号Ｚのエリアが既に表示状態であるならば、番号Ｚのエリアには候補画像を新たに表示することができないので、ＣＰＵ１０６はＡｃｔ２０〜Ａｃｔ３０をパスする。
If the status code M is not 0 because the area with the number Z is already in the display state, the
Ａｃｔ３１においてＣＰＵ１０６は、変数Ｚの値を１つ増加させた上で、この増加後の変数Ｚが４であるか否かを確認する。そして変数Ｚが４ではないために、Ａｃｔ３１でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１９に戻る。つまりこの場合にＣＰＵ１０６は、次のエリア番号の表示エリアを候補画像の新規の表示エリアとして定めた状態でＡｃｔ１９〜Ａｃｔ３０を上記と同様に実行する。
In Act 31, the
一方で、増加後の変数Ｚが４であるためにＡｃｔ３１にてＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ３２へ進む。
On the other hand, since the variable Z after the increase is 4, if it is determined YES in Act 31, the
なお、認識結果テーブルで順位コードＹに関連付けられた信頼度が４未満であるためにＡｃｔ２０にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ２１〜Ａｃｔ３１をパスしてＡｃｔ３２へ進む。認識結果テーブルで順位コードＹに関連付けられた信頼度が４未満となったならば、それ以降の順位コードに関連付けられた信頼度も４未満であるから、それらの順位コードに関連付けられた商品名の商品は候補商品とはせず、従ってＡｃｔ２１〜Ａｃｔ３１も実行しない。
Note that if the reliability associated with the rank code Y in the recognition result table is less than 4 and it is determined NO in Act 20, the
Ａｃｔ３２においてＣＰＵ１０６は、開始タイミングが到来したか否かを確認する。開始タイミングは、オブジェクト認識処理を次に開始すべきタイミングである。つまり本実施形態では、例えば数百ミリ秒程度に予め定めた時間の間隔でオブジェクト認識処理を繰り返し実行することとし、例えば前回にＡｃｔ３を開始した時刻から上記の時間が経過した時刻として開始タイミングが定まる。開始タイミングが到来していないためにＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ３２に戻る。かくしてＣＰＵ１０６は、開始タイミングが到来するのを待ち受ける。そして開始タイミングが到来したためにＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ３２からＡｃｔ２へと戻り、Ａｃｔ２以降の処理を前述したのと同様に実行する。
In Act 32, the
図８はタッチパネル１０３の表示画面１０３ａにおける表示の遷移の一例を示す図である。なお、図８はあくまでも商品読取処理の結果を顕著に表したものであり、実際のオブジェクト認識の結果の変遷に準じたものではない。
FIG. 8 is a diagram showing an example of display transition on the display screen 103 a of the
まず、表示１１においては、４つの表示エリアのいずれもが非表示状態である状態を示す。なお、図８における太線のハッチングは、黒地の表示を表す。
First, the
１回目のオブジェクト認識処理において、信頼度が４以上である辞書登録商品として、「梨（幸水）」および「りんご（王林）」の２つが見つかり、それらの信頼度が７以上および７未満であったとする。この場合にＣＰＵ１０６は、これらを候補商品としてそれぞれ表す２つの候補画像をエリア０，１に表示するべく、表示１２に更新する。エリア０の候補画像は第１の形態であり、エリア１の候補画像は第２の形態である。「梨（幸水）」が太文字であり、「りんご（王林）」が細文字であるから、信頼度がより高い「梨（幸水）」が、「りんご（王林）」よりも強調して表される。エリア２，３は、非表示状態のままである。図８は、候補商品を、商品名にて表示しているが、これに限らず、商品のイラスト画像や、商品の写真を、商品名と共に表示するようにしてもよい。
In the first object recognition process, two “Pear (Yoshimizu)” and “Apple (Wang Lin)” are found as dictionary-registered products with a reliability of 4 or higher, and their reliability is 7 or higher and lower than 7. Suppose that In this case, the
さて、番号Ｚのエリアに候補画像が表示された状態においては、表示状態テーブルでエリア番号Ｚに関連付けられた状態コードＭが１以上であるため、その状態でのＡｃｔ３（図６参照）におけるオブジェクト認識処理の終了後におけるＡｃｔ４においては、ＣＰＵ１０６はＹＥＳと判定することになる。そしてこの場合にＣＰＵ１０６は、Ａｃｔ５へと進む。
Now, in the state where the candidate image is displayed in the area of the number Z, since the state code M associated with the area number Z is 1 or more in the display state table, the object in Act3 (see FIG. 6) in that state In
Ａｃｔ５においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名について認識結果テーブルに記述された信頼度が７以上であるか否かを確認する。そして該当する信頼度が７以上であるために、Ａｃｔ５でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ６へ進む。
In
Ａｃｔ６においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第１の形態にて生成する。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
In
Ａｃｔ７においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
In
一方、該当する信頼度が７未満であるためにＡｃｔ５にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ８へ進む。
On the other hand, if the corresponding reliability is less than 7 and it is determined NO in
Ａｃｔ８においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名について認識結果テーブルに記述された信頼度が４以上であるか否かを確認する。そして該当する信頼度が４，５，６のいずれかであるために、Ａｃｔ８でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ９へ進む。
In Act 8, the
Ａｃｔ９においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第２の形態にて生成する。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
In Act 9, the
Ａｃｔ１０においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
In
ところで、該当する信頼度が４未満であるためにＡｃｔ８にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１１へ進む。
By the way, if the corresponding reliability is less than 4 and it is determined NO in Act 8, the
Ａｃｔ１１においてＣＰＵ１０６は、変数Ｍが２であるか否かを確認する。そして変数Ｍが２であるためにＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ１２へ進む。
In
Ａｃｔ１２においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第３の形態にて生成する。第３の形態の候補画像は、グレーの背景に、商品名を細文字にて表す画像とする。つまりＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名を細文字にてグレーの背景中に表した画像を候補画像として生成する。
In
Ａｃｔ１３においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを１とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
In
さて、変数Ｍが１または０であるためにＡｃｔ１１にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１４へ進む。
Now, if the variable M is 1 or 0 and it is determined NO in
Ａｃｔ１４においてＣＰＵ１０６は、候補画像を第４の形態にて生成する。第４の形態の候補画像は、黒い背景のみであり、商品名を表さない画像とする。従って第４の形態の候補画像は、便宜的に候補画像と称しているが、候補商品を操作者に提示するものではなく、第１〜第３の候補画像とは異なる。
In
Ａｃｔ１５においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを０とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
In
Ａｃｔ１６においてＣＰＵ１０６は、Ａｃｔ６，９，１２，１４のいずれかにおいて生成した候補画像を番号Ｚのエリアに配置する。そしてＣＰＵ１０６は、これにより更新された表示画像を表示するようにタッチパネル１０３を制御する。かくして、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品に対して新たに求められた信頼度が７以上のままであるならば、番号Ｚのエリアにおける候補画像は変更されない。同信頼度が７以上から４，５，６のいずれかに低下した場合には、番号Ｚのエリアにおける候補画像の表示形態が第１の形態から第２の形態に変更される。同信頼度が４以上から４未満まで低下した場合には、番号Ｚのエリアにおける候補画像の表示形態が第１または第２の形態から第３の形態に変更される。同信頼度が４未満であり、かつ番号Ｚのエリアにおける候補画像の表示形態が第３の形態である場合には、番号Ｚのエリアにおける候補画像の表示形態が第４の形態に変更される。そして、エリア番号Ｚに関連付けられた状態コードＭは、番号Ｚのエリアの表示形態が第１または第２の形態である場合に２、第３の形態である場合に１、そして第４の形態である場合に０とされる。かくしてＣＰＵ１０６は、制御プログラムの実行により、制御手段として機能している。
In
Ａｃｔ１６を終えたならば、ＣＰＵ１０６はＡｃｔ１７へ進み、Ａｃｔ１７以降の処理を上述と同様にして実行する。
When
上記を踏まえて、図８に示した表示の遷移の説明を続ける。 Based on the above, the description of the display transition shown in FIG. 8 will be continued.
２回目の認識処理においては、「梨（幸水）」および「りんご（王林）」の信頼度がいずれも４未満に下がり、代わりに信頼度が４以上である辞書登録商品として、「リンゴ（ふじ）」および「りんご（紅玉）」の２つが見つかり、それらの信頼度がいずれも７以上であったとする。この場合にＣＰＵ１０６は、表示１３に変更する。つまりＣＰＵ１０６は、エリア０およびエリア１は、いずれも「梨（幸水）」および「りんご（王林）」の候補画像をそれぞれ配置したままとするが、その表示形態はいずれも第３の形態に変更する。なお、図８において、細線のハッチングはグレーの背景を表す。またＣＰＵ１０６は、エリア２，３は非表示状態であったために、このエリア２，３に、新たに見つかった「リンゴ（ふじ）」および「りんご（紅玉）」の候補画像をそれぞれ配置する。「リンゴ（ふじ）」および「りんご（紅玉）」の信頼度はいずれも７以上であるので、それらの候補画像はいずれも第１の形態である。表示１３においては、信頼度がいずれも４未満である「梨（幸水）」および「りんご（王林）」の候補画像が残るものの、その表示形態は第３の形態であって、信頼度が７以上である「リンゴ（ふじ）」および「りんご（紅玉）」の候補画像とは明確に区別される。
In the second recognition process, the reliability of both “Pear (Yoshimizu)” and “Apple (Wanglin)” has been reduced to less than 4, and instead, “Ringo” (Fuji) ”and“ Apple (Kodama) ”are found, and their reliability is 7 or more. In this case, the
３回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、その他の辞書登録商品の信頼度はいずれも４未満であったとする。この場合にＣＰＵ１０６は、表示１４に変更する。つまりＣＰＵ１０６は、第３の形態であった「梨（幸水）」および「りんご（王林）」の候補画像を、いずれも第４の形態に変更し、エリア０，１を非表示状態とする。またＣＰＵ１０６は、エリア２は、「りんご（ふじ）」の候補画像を配置したままとするが、その表示形態は第３の形態に変更する。なおＣＰＵ１０６は、エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。
In the third recognition process, it is assumed that the reliability of “apple (red bean)” remains 7 or more, and the reliability of other dictionary registered products is less than 4. In this case, the
このようにして、信頼度として一旦は４以上が求められて候補商品となった商品の候補画像は、その信頼度が４以下となると認識処理の２周期分の時間をかけて徐々に見づらくする（フェードアウト）。 In this way, a candidate image of a product that has been obtained as a candidate product once a reliability level of 4 or higher is gradually made difficult to recognize over a period of two cycles of recognition processing when the reliability level is 4 or lower. (Fade out).
４回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、「りんご（むつ）の信頼度が７以上まで上昇し、「りんご（王林）」の信頼度が４，５，６のいずれかまで上昇し、「りんご（ふじ）」の信頼度が４未満のままであったとする。この場合にＣＰＵ１０６は、表示１５に変更する。つまりＣＰＵ１０６は、第３の形態であった「りんご（ふじ）」の候補画像を、第４の形態に変更し、エリア２を非表示状態とする。またＣＰＵ１０６は、「りんご（むつ）」を第１の形態で表す候補画像をエリア０に、かつ「りんご（王林）」を第２の形態で表す候補画像をエリア１にそれぞれ配置する。ＣＰＵ１０６は、エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。
In the fourth recognition process, the reliability of “apple” remains 7 or higher, the reliability of “apple” rises to 7 or higher, and the reliability of “apple”. Is raised to any of 4, 5 and 6, and the reliability of “apple” remains below 4. In this case, the
５回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、「りんご（むつ）および「りんご（王林）」の信頼度が４未満まで低下し、その他の辞書登録商品についての信頼度がいずれも４未満のままであったとする。この場合にＣＰＵ１０６は、表示１６に変更する。つまりＣＰＵ１０６は、エリア０およびエリア１は、いずれも「りんご（むつ）」および「りんご（王林）」の候補画像をそれぞれ配置したままとするが、その表示形態はいずれも第３の形態に変更する。ＣＰＵ１０６は、エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。エリア２は新たな候補画像を表示することが可能な状態であるが、エリア３にて候補画像が既表示である「りんご（紅玉）」以外には候補商品が存在しないので、ＣＰＵ１０６はエリア３を非表示状態のままとする。
In the fifth recognition process, the reliability of “apple (red ball)” remains 7 or more, the reliability of “apple (mutsu)” and “apple (wanglin)” drops to less than 4, It is assumed that the reliability of the dictionary registration product remains less than 4. In this case, the
６回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、その他の辞書登録商品についての信頼度が全て４未満のままであったとする。この場合にＣＰＵ１０６は、表示１７に変更する。つまりＣＰＵ１０６は、第３の形態であった「りんご（むつ）」および「りんご（王林）」のそれぞれの候補画像を、いずれも第４の形態に変更し、エリア０，１をそれぞれ非表示状態とする。エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。エリア２は新たな候補画像を表示することが可能な状態であるが、エリア３にて候補画像が既表示である「りんご（紅玉）」以外には候補商品が存在しないので、ＣＰＵ１０６はエリア３を非表示状態のままとする。
In the sixth recognition process, it is assumed that the reliability of “apple (red bean)” remains 7 or more, and the reliability of all other dictionary registered products remains less than 4. In this case, the
なお、ＣＰＵ１０６は、商品読取処理とは別タスクの処理によって候補商品のうちから登録対象商品を決定する。つまりＣＰＵ１０６は、タッチパネル１０３を操作者がタッチした場合に、そのタッチの対象となった表示エリアについて表示状態テーブルにて状態コードとして１以上が記述されているならば、同表示エリアについて表示状態テーブルに記述された商品名の商品を登録対象商品として決定する。つまり、第１〜第３の形態の候補画像が表示された表示エリアが操作者によりタッチされたのならば、そのタッチされた候補画像の表示形態に拘わらずに、候補画像により提示された商品を登録対象商品として決定する。かくしてＣＰＵ１０６は、制御プログラムの実行により、決定手段として機能している。
Note that the
このようにして登録対象商品を決定したならばＣＰＵ１０６は、この登録対象商品をＰＯＳ端末２００へと通知するための通知情報をＰＯＳ端末インタフェース１１３から送出する。そうすると、この通知情報は読取装置インタフェース２１４により受領されて、ＲＡＭ２０８へと保存される。そしてＣＰＵ２０６は、このようにしてＲＡＭ２０８に保存された通知情報を利用して、売上登録のための処理を実行する。この処理は、周知の処理であって良い。
If the registration target product is determined in this way, the
かくして、信頼度が４以上である辞書登録商品のうちで信頼度が大きいものから最大４つが候補商品とされて、それを提示するための候補画像が４つの表示エリアに適宜に表示される。そして、繰り返し実行されるオブジェクト認識処理により各商品の信頼度に変化が生じた場合でも、既表示の候補画像に関する商品が候補商品であり続けるならば、その候補画像を表示する表示エリアは変更しない。そして、新たに候補商品とするべき商品が存在する場合には、非表示状態である表示エリアが存在する場合にのみ、その商品が候補商品とされ、この候補商品に関する候補画像は上記の非表示状態であった表示エリアに配置される。従って、１つの表示エリアに配置ずみの候補画像が、別の商品に関する候補画像に即座に置き換えられてしまうことがない。 Thus, among the dictionary registered products having a reliability level of 4 or more, a maximum of four items having a high reliability level are set as candidate products, and candidate images for presenting them are appropriately displayed in the four display areas. Even if the reliability of each product changes due to the object recognition process that is repeatedly executed, if the product related to the displayed candidate image remains a candidate product, the display area for displaying the candidate image is not changed. . When there is a new product that should be a candidate product, only when there is a display area that is in a non-display state, the product is selected as a candidate product. Arranged in the display area that was in the state. Therefore, a candidate image arranged in one display area is not immediately replaced with a candidate image related to another product.
さて、操作者が、タッチパネル１０３での表示画面に示された候補画像に登録対象商品に関するものが存在することを認識してから、該当する候補画像をタッチするまでにはある程度の時間を要する。このため、１つの表示エリアに配置ずみの候補画像が、別の商品に関する候補画像に即座に置き換えられてしまうと、操作者が意図しない商品が登録対象商品として決定されてしまう恐れがある。しかしながら商品認識装置１００によれば、このような誤操作を防止することができる。
Now, it takes some time until the operator touches the candidate image after recognizing that the candidate image shown on the display screen on the
ただし、以上のような表示においては、表示順序によって信頼度の高さの違いを操作者に認識させることができない。しかしながら商品認識装置１００によれば、候補画像の表示形態が信頼度の大きさに応じて第１または第２の形態とされるので、信頼度の大きさを操作者に認識させることが可能である。
However, in the display as described above, it is not possible for the operator to recognize a difference in reliability depending on the display order. However, according to the
ところで、表示エリアを非表示状態とする期間を挟んで異なる商品に関する候補画像を表示すれば、操作者が意図しない商品が登録対象商品として決定されてしまうことを防止することは可能である。しかしながら候補画像の表示を瞬時に止めてしまうと、前述したような操作のタイムラグにより、操作者が意図する商品を登録対象商品として決定できなくなってしまう恐れがある。 By the way, if candidate images relating to different products are displayed across a period in which the display area is hidden, it is possible to prevent a product unintended by the operator from being determined as a registration target product. However, if the display of the candidate image is stopped instantaneously, the product intended by the operator may not be determined as the registration target product due to the time lag of the operation described above.
しかしながら、商品認識装置１００によれば、第１または第２の形態で示されていた候補画像に関する商品の信頼度が４未満に低下した場合には、該当する候補画像は第３の形態とされる。このように第３の形態とされた候補画像に関する商品は、信頼度が４未満であるから、本来的には候補商品ではない。しかしながら、第３の形態で表示中である候補画像がタッチされた場合にも、第１または第２の形態で表示中の候補画像がタッチされた場合と同様に、その候補画像に関する商品を登録対象商品として決定する。つまり、フェードアウトの途上にある候補画像がタッチされた場合でも、その候補画像に関する商品を登録対象商品として決定する。
However, according to the
さて、数百ミリ秒の間隔で実行するオブジェクト認識処理の結果によりタッチパネル１０３での表示画面を完全に置き換えていたのでは、前述したような操作のタイムラグにより、操作者の意思に反して登録対象商品が決定されてしまうおそれがある。
Now, if the display screen on the
しかしながら商品認識装置１００によれば、上記のように、フェードアウト表示を行いつつ、フェードアウトの途上にある候補画像がタッチされた場合でも、その候補画像に関する商品を登録対象商品として決定するので、上記のような操作のタイムラグによる誤操作が生じることを防止できる。
However, according to the
この実施形態は、次のような種々の変形実施が可能である。 This embodiment can be variously modified as follows.
オブジェクト認識処理を行う別の装置で得られた認識結果に基づいて前述したような表示および登録対象商品の決定を行う装置として実現することも可能である。 It can also be realized as a device that performs display and registration target product determination as described above based on a recognition result obtained by another device that performs object recognition processing.
前記実施形態では、複数の候補画像に共通の要素である背景の色と、複数の候補画像に共通の要素である文字の形状（線の太さ）とを変更することによって表示形態を変更している。しかしながら、その他に、文字の線の色、候補画像の枠線の色、文字のフォント、文字の大きさ、候補画像の枠線の形状、あるいは候補画像の大きさなどを変更することによって表示形態を変更しても良い。またこれらのうちの複数をそれぞれ変更することによって表示形態を変更しても良い。 In the embodiment, the display form is changed by changing the background color, which is an element common to a plurality of candidate images, and the character shape (line thickness), which is an element common to the plurality of candidate images. ing. However, in addition, the display form can be changed by changing the color of the character line, the color of the frame of the candidate image, the font of the character, the size of the character, the shape of the frame of the candidate image, or the size of the candidate image. May be changed. Further, the display form may be changed by changing a plurality of these.
前記実施形態では、説明の簡略化のためにオブジェクト認識処理の２周期分の時間をかけてフェードアウトする例を挙げた。しかしながら、例えばオブジェクト認識処理を３００ミリ秒の間隔で行うとするならば、６００ミリ秒でフェードアウトが完了してしまうことになり、操作者の操作のタイムラグを許容する幅が小さくなってしまう。そこで、第３の形態に代えて背景色の濃さが段階的に異なる複数の形態を用意しておき、これらの形態を順次に適用することによってより長い時間でフェードアウトさせても良い。一例としては、オブジェクト認識処理の間隔を３００ミリ秒とするとともに、フェードアウト用の表示形態を６段階用意しておき、およそ２秒をかけて非表示状態まで移行させることが考えられる。なお、第３の形態を複数回連続で適用することによってフェードアウトの期間を延長することもできる。 In the above-described embodiment, an example of fading out over the time corresponding to two cycles of object recognition processing has been given for the sake of simplicity of explanation. However, for example, if the object recognition process is performed at an interval of 300 milliseconds, the fade-out is completed in 600 milliseconds, and the width for allowing the time lag of the operation of the operator is reduced. Therefore, instead of the third mode, a plurality of modes with different background color densities may be prepared, and these modes may be sequentially applied to fade out in a longer time. As an example, it is conceivable that the interval of object recognition processing is set to 300 milliseconds, and six stages of fade-out display modes are prepared, and the transition to the non-display state takes about 2 seconds. Note that the fade-out period can be extended by applying the third embodiment a plurality of times in succession.
商品認識装置１００とＰＯＳ端末２００とを一体化した装置として実現することも可能である。上述では、商品認識装置１００のＣＰＵ１０６が、コンピュータの中枢部分に相当し、各種制御を行うと説明しているが、これに限らず、ＰＯＳ端末２００のＣＰＵ２０６が、コンピュータの中枢部分に相当し、各種制御を行う構成であっても良い。
It is also possible to realize the
候補画像のフェードアウト表示は行わなくても良い。 The fade-out display of the candidate image may not be performed.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１００…商品認識装置、１０１…ハウジング、１０１ａ…読取窓、１０２…キーボード、１０３…タッチパネル、１０３ａ…表示画面、１０４…客用ディスプレイ、１０５ａ…撮像デバイス、１０５…撮像部、１０６…ＣＰＵ、１０７…ＲＯＭ、１０８…ＲＡＭ、２００…ＰＯＳ端末。
DESCRIPTION OF
Claims (6)
前記撮像手段にて撮像された商品において、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する選択手段と、
前記選択手段により選択された前記候補商品を、候補商品の信頼度に応じた表示形態で表示する表示デバイスを制御する制御手段と、
前記選択手段により選択された前記候補商品のうち、指定された商品を前記登録対象商品として決定する決定手段とを具備したことを特徴とする商品認識装置。 Imaging means for imaging products at regular time intervals;
In the products imaged by the imaging means, a predetermined number of candidate products are determined based on a plurality of reliability levels each representing a degree that each of the plurality of products is the same product as the registration target product. A selection means for selecting from among products;
Control means for controlling a display device that displays the candidate product selected by the selection means in a display form according to the reliability of the candidate product;
A product recognition apparatus comprising: a determination unit that determines a specified product as the registration target product among the candidate products selected by the selection unit.
前記制御手段は、前記選択手段が候補商品として選択していた商品を選択しなくなった場合には、当該候補商品に対応する候補表示を、前記信頼度が複数回求められる時間をかけて徐々に見づらくすることを特徴とする請求項３に記載の商品認識装置。 The selection means reselects the candidate product every time a plurality of reliability levels for one registration target product are newly obtained,
When the selection unit stops selecting the product that has been selected as the candidate product, the control unit gradually displays the candidate display corresponding to the candidate product over the time when the reliability is obtained a plurality of times. The product recognition device according to claim 3, wherein the product recognition device is difficult to see.
商品を一定時間間隔で撮像する撮像手段と、
前記撮像手段にて撮像された商品において、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する選択手段と、
前記選択手段により選択された前記候補商品を、候補商品の信頼度に応じた表示形態で表示する前記表示デバイスを制御する制御手段と、
前記選択手段により選択された前記候補商品のうち、指定された商品を前記登録対象商品として決定する決定手段として機能させることを特徴とする制御プログラム。 A computer provided in the product recognition apparatus together with the display device,
Imaging means for imaging products at regular time intervals;
In the products imaged by the imaging means, a predetermined number of candidate products are determined based on a plurality of reliability levels each representing a degree that each of the plurality of products is the same product as the registration target product. A selection means for selecting from among products;
Control means for controlling the display device that displays the candidate product selected by the selection means in a display form according to the reliability of the candidate product;
A control program that functions as a determination unit that determines a designated product as the registration target product among the candidate products selected by the selection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170751A JP2015041157A (en) | 2013-08-20 | 2013-08-20 | Product recognition device and control program of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170751A JP2015041157A (en) | 2013-08-20 | 2013-08-20 | Product recognition device and control program of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015041157A true JP2015041157A (en) | 2015-03-02 |
Family
ID=52695305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013170751A Pending JP2015041157A (en) | 2013-08-20 | 2013-08-20 | Product recognition device and control program of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015041157A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017058977A (en) * | 2015-09-16 | 2017-03-23 | 東芝テック株式会社 | Information processing device and program |
| JP2017201437A (en) * | 2016-05-02 | 2017-11-09 | 日本放送協会 | News material extractor and program |
| JP2018136621A (en) * | 2017-02-20 | 2018-08-30 | 東芝テック株式会社 | Information processor and program |
| JP2020154419A (en) * | 2019-03-18 | 2020-09-24 | 東芝テック株式会社 | Checkout system and lane system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013117872A (en) * | 2011-12-02 | 2013-06-13 | Toshiba Tec Corp | Store system and program |
-
2013
- 2013-08-20 JP JP2013170751A patent/JP2015041157A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013117872A (en) * | 2011-12-02 | 2013-06-13 | Toshiba Tec Corp | Store system and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017058977A (en) * | 2015-09-16 | 2017-03-23 | 東芝テック株式会社 | Information processing device and program |
| JP2017201437A (en) * | 2016-05-02 | 2017-11-09 | 日本放送協会 | News material extractor and program |
| JP2018136621A (en) * | 2017-02-20 | 2018-08-30 | 東芝テック株式会社 | Information processor and program |
| JP2020154419A (en) * | 2019-03-18 | 2020-09-24 | 東芝テック株式会社 | Checkout system and lane system |
| JP7233992B2 (en) | 2019-03-18 | 2023-03-07 | 東芝テック株式会社 | Checkout system and lane system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105608808B (en) | Information processing unit and its control method, store system | |
| US9811816B2 (en) | Commodity identification device and commodity recognition navigation method | |
| JP5656796B2 (en) | Product data processing apparatus, product data processing method and control program | |
| CN102456123B (en) | Commodity information reading apparatus | |
| US20140177912A1 (en) | Commodity reading apparatus, commodity sales data processing apparatus and commodity reading method | |
| JP5760022B2 (en) | Product information display device and computer program | |
| US10482447B2 (en) | Recognition system, information processing apparatus, and information processing method | |
| US20200334656A1 (en) | Product recognition apparatus, sales data processing apparatus, and control method | |
| JP2013250768A (en) | Article recognition device, and article recognition program | |
| JP5572651B2 (en) | Product reading apparatus and product reading program | |
| JP5622756B2 (en) | Product reading apparatus and product reading program | |
| JP5551140B2 (en) | Information processing apparatus and program | |
| EP3002739A2 (en) | Information processing apparatus and information processing method by the same | |
| JP6263483B2 (en) | Article recognition apparatus, sales data processing apparatus, and control program | |
| US20190108503A1 (en) | Reading apparatus, reading method, and computer readable medium | |
| JP5865316B2 (en) | Product registration device and program | |
| JP2015041157A (en) | Product recognition device and control program of the same | |
| US20170344851A1 (en) | Information processing apparatus and method for ensuring selection operation | |
| EP3144854B1 (en) | Image recognition system that displays a user-friendly graphical user interface | |
| JP5640112B2 (en) | Product recognition apparatus and product recognition program | |
| CN111046683A (en) | Reading apparatus, control method, computer-readable storage medium, and electronic device | |
| JP6376955B2 (en) | Information processing apparatus, sales data processing apparatus, and program | |
| JP2016031599A (en) | Information processor and program | |
| US9355395B2 (en) | POS terminal apparatus and commodity specification method | |
| US20180240093A1 (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151015 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151110 |