JP2016177433A - 商品登録装置および商品登録方法 - Google Patents

Abstract

【課題】顧客が商品登録処理に感じる負担感（ストレス）を低減できる。【解決手段】商品登録装置１は、商取引における商品の登録を行うものであって、同時に取得した情報から複数の商品を認識する商品認識処理手段としてのオブジェクト認識処理部１２０と、前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力手段としての顧客用情報出力部１７２と、を備える。認識結果出力手段は、例えば、前記複数の商品の認識結果を一定の時間間隔で出力するか、前記複数の商品の認識結果を徐々に短い時間間隔で出力するか、または前記複数の商品の認識結果を徐々に長い時間間隔で出力する。【選択図】図３

Description

本発明は、商品登録装置および商品登録方法に関する。

従来、物品を撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する商品登録装置が提案されている（特許文献１参照）。ここで、特許文献１に記載される技術を用いれば、例えば、トレー上に置かれた複数のパン（商品）を撮影し、撮影した画像からパンの種類を識別して売上登録することも可能である。商品登録装置は、例えば、商品の認識結果を顧客用ディスプレイに表示し、顧客は自身が買った商品が正確に登録されているかを顧客用ディスプレイに表示される商品名や金額等で確認する。

特開２０１４−２３２５３８号公報

しかしながら、従来の商品登録装置は、顧客による商品の確認作業が行い易いものであるとはいえなかったので、顧客が商品登録処理に負担感（ストレス）を感じる場合があった。
例えば、従来の商品登録装置では、すべての商品の認識結果が出るまで個々の商品についての認識結果を表示していなかった。その為、顧客は、商品の識別結果が表示されるとすべての商品の確認作業を瞬時に行わなければならないので、商品の数が増えるに従って顧客の目が追い付かないという問題があった。なお、ＲＦＩＤなどの技術を用いて一瞬のうちにすべての商品の認識結果を顧客用ディスプレイに表示する場合も同様である。
また、商品の数が増えるに従って認識処理に要すよう時間が長くなり、それに伴って認識結果を画面に表示するまでの時間も長くなってしまうという問題があった。この場合、商品の認識結果が画面に表示されるまでがわずかな時間であっても、顧客は店員（オペレータ）に商品を渡してから手持ちぶさたになるので、待たされているという事をより強く感じることになる。

本発明は、前記問題に鑑みてなされたものであり、顧客が商品登録処理に感じる負担感（ストレス）を低減できる商品登録装置および商品登録方法を提供することを課題とする。

前記課題を解決するため、本発明に係る商品登録装置は、同時に取得した情報から複数の商品を認識する商品認識処理手段と、前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、を備えることを特徴とする。

また、本発明に係る登録方法は、商取引における商品の登録を行う商品登録装置の商品登録方法であって、同時に取得した情報から複数の商品を認識する商品認識ステップ、前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、ことを特徴とする。

本発明によれば、顧客が商品登録処理に感じる負担感（ストレス）を低減できる。

本発明の実施形態における商品登録装置を示す外観斜視図である。 本発明の実施形態における商品登録装置を示す概略の構成図である。 本発明の実施形態における商品登録装置を示す論理ブロック図である。 本発明の実施形態における商品登録装置が行う、商品の判定処理を説明するための図である。 本発明の実施形態に係る商品マスタ情報のデータ構成例を示す図である。 本発明の実施形態に係る商品販売登録情報のデータ構成例を示す図である。 本発明の実施形態に係る顧客用表示処理を説明するための図であり、（ａ）はオブジェクト認識した時刻の例示であり、（ｂ）は一定の時間間隔で商品を顧客用表示画面に表示した場合を示しており、（ｃ）は商品を徐々に短い時間間隔で表示する場合を示しており、（ｄ）は商品を徐々に長い時間間隔で表示する場合を示している。 本発明の実施形態における商品登録処理の顧客用表示画面の遷移を例示した図であり、（ａ）は一つ目の商品を顧客用表示画面に表示した状態を示し、（ｂ）は二つ目の商品を顧客用表示画面に表示した状態を示している。 本発明の実施形態における商品登録処理の顧客用表示画面の遷移を例示した図であり、（ａ）は三つ目の商品を顧客用表示画面に表示した状態を示し、（ｂ）はすべての商品を顧客用表示画面に表示した後の状態を示している。 本発明の実施形態における商品登録装置の商品登録処理の全体動作を示すフローチャートを例示した図である。 本発明の実施形態における商品登録装置の顧客用表示処理の全体動作を示すフローチャートを例示した図である。

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

＜実施形態に係る商品登録装置の構成＞
図１は、本発明の実施形態に係る商品登録装置１の外観の概略図である。図１に示すように、商品登録装置１は、顧客用ディスプレイ１１、タッチディスプレイ１２、キャッシュドロワ１３、プリンタ１４、撮影装置１５、撮影台１６、バックライト光源１７を備え、商品販売店のカウンタ台２に設置される。なお、商品の会計を行う際、商品登録装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立ち、商品を購入する顧客はカウンタ台２の図面奥側に立つ。
商品登録装置１は、ＰＯＳレジスタ端末として機能し、商品の種類（識別情報）や個数等の情報を受け付け、合計代金等の表示や、販売管理・売上実績管理等のための情報を入出力する。

顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥を向いている。顧客用ディスプレイ１１は、顧客に対して商品の会計に関する情報（商品名、金額など）を表示する。
タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２参照）の表面にタッチパネル１２Ｂ（図２参照）が積層されたものであり、オペレータ側である図面手前を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額など）を表示するとともに、オペレータによるタッチ操作入力を受け付ける。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券などを保管する引き出しである。
プリンタ１４は、商品の会計時に会計の内容（商品名、金額など）をレシートに印字する。

撮影装置１５は、撮影台１６に置かれたトレー３上の商品を撮影する。この撮影装置１５には、照明装置（不図示）が隣接して取り付けられており、撮影装置１５の撮影領域１５１を照射する。
撮影台１６は、商品を購入する顧客が会計時に商品を載せたトレー３を置く台である。
撮影領域１５１は、撮影台１６における撮影装置１５によって撮影可能な領域である。

バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によってトレー３上の商品を撮影する際に商品の撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。
また、トレー３は、光を透過するように半透明になっている。そして、トレー３に載った状態の商品を撮影装置１５により撮影する際には、照明装置から照射光が照射されるとともに、トレー３の下からは、バックライト光源１７によりバックライトが上向きに照射される。これにより、商品の周囲に形成される影を可及的に排除し得る。

次に、図２を参照（適宜図１も参照）して、商品登録装置１の構成について説明する。
図２は、本発明の実施形態に係る商品登録装置１のハードウェア構成を示す図である。
商品登録装置１は、図１において示した構成以外に、ＣＰＵ（Central Processing Unit）２０、ＲＡＭ（Random Access Memory）２１、ＲＯＭ（Read Only Memory）２２、記憶部２３を備えている。なお、各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ２０は、中央制御装置であり、商品登録装置１全体の制御を司る。
ＲＡＭ２１は、ＣＰＵ２０によって使用される一時記憶手段である。ＣＰＵ２０が実行するプログラムに係る画像データ等を一時的に記憶する。
ＲＯＭ２２は、不揮発性の記憶手段であり、ＣＰＵ２０によって実行されるプログラム等を記憶する。

顧客用ディスプレイ１１は、ＣＰＵ２０によって制御され、顧客に対して商品等の撮影画像や商品の会計に関する情報（商品名、金額など）を表示する。
ディスプレイ１２Ａは、ＣＰＵ２０によって制御され、オペレータに対して商品等の撮影画像や商品の会計に関する情報（商品名、金額など）を表示する。
タッチパネル１２Ｂは、ディスプレイ１２Ａにより表示した情報に対するオペレータのタッチ操作入力を受け付ける。

記憶部２３は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により構成され、各種プログラムや各種ファイルを記憶する。記憶部２３に記憶されている各種プログラムや各種ファイルは、商品登録装置１の起動時に、その全部または一部がＲＡＭ２１にコピーされてＣＰＵ２０により実行される。記憶部２３には、図３を参照して後記する、商品マスタ情報１００および商品販売登録情報４００等が記憶されている。

撮影装置１５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成され、ＣＰＵ２０の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ２１に保存される。

バックライト光源１７は、ＣＰＵ２０の制御の下で、撮影装置１５によってトレー３やトレー３上の商品を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、撮影装置１５に隣接して取り付けられた照明装置等によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。バックライト光源１７によるバックライト照射のタイミングは、例えば、撮影装置１５の撮影のタイミングに合わせてもよいし、常時でもよい。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券などを保管し、ＣＰＵ２０の指示により開放される。
プリンタ１４は、例えば、熱転写プリンタであり、レシートを印字する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ２０の指示により、会計の内容をレシートに印字する。

次に、図３を参照（適宜図１、２も参照）して、商品登録装置１の機能について説明する。図３は、本発明の実施形態に係る商品登録装置１の機能ブロック図である。
商品登録装置１のＣＰＵ２０は、ＲＯＭ２２に格納されたプログラムを実行することにより、処理部１０の各機能を具現化する。処理部１０は、撮影手段によって撮影された物体を撮影画像に基づき認識し、認識した商品を登録する。この処理部１０は、画像記憶部１１０、オブジェクト認識処理部１２０、入力取得部１５０、販売情報登録部１６０および情報出力部１７０を備える。

画像記憶部１１０は、撮影装置１５によって撮影されＲＡＭ２１に保存されたフレーム画像（カラーデジタル画像）を順次取り込む。この画像記憶部１１０によるフレーム画像の取り込みは、ＲＡＭ２１に保存された順に行われる。

オブジェクト認識処理部１２０は、画像記憶部１１０が取り込んだフレーム画像について、パターンマッチング技術などを用いて、商品の画像を背景から分離することで、物体を検出する。この背景分離技術は、具体的には、例えば、フレーム画像を二値化して各輪郭線を抽出、確定してそれらの領域の画像を区画分離することで実行される。なお、商品の画像を背景から分離した状態の画像を、以下、物体認識画像や分離画像と称することがある。以下、具体的に説明する。

このオブジェクト認識処理部１２０は、物体領域判定部１２１と、商品検出部１２２とを含んで構成される。
物体領域判定部１２１は、画像記憶部１１０が取り込んだフレーム画像について、オブジェクト認識することにより、所定の領域（例えば、トレー３の縁部３０（図４参照））と重なる物体であるか否かを判定する。そして、物体領域判定部１２１は、所定の領域と重ならないと判定した物体については、その物体が商品であるとして、その物体認識画像（分離画像）を商品検出部１２２に引き渡す。

図４は、本発明の実施形態に係る商品登録装置１が行う、商品の判定処理を説明するための図である。図４は、商品が物体ａ（カレーパン）、物体ｂ（メロンパン）、物体ｃ（あんパン）の場合を示す。図４に示す例においては、物体領域判定部１２１は、３つの物体（物体ａ、物体ｂ、物体ｃ）およびトレー３（縁部３０）を認識する。そして、物体領域判定部１２１は、物体ａ、物体ｂおよび物体ｃを商品であると判定して、その物体認識画像（分離画像）を商品検出部１２２に引き渡す。

図３に戻り、商品検出部１２２は、商品に対するオブジェクト（物体）認識の全体を司り、商品類似度演算部１２３および商品類似度判断部１２４を備える。
商品類似度演算部１２３は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。商品類似度演算部１２３はさらに、演算した分離画像の特徴量と、記憶部２３内の商品マスタ情報１００（後記する、図５参照）の一部として予め記憶されている各商品の特徴量と比較し、類似度を算出する。ここで、類似度とは、商品マスタ情報１００に記憶されている商品が想定する特徴量を１００％の類似度とした場合に、物体認識画像（分離画像）がどの程度まで類似しているかを示すものである。なお、類似度を算出する際、特徴量が複数種類ある場合には、複数の特徴量に基づいて総合評価するが、そのとき、特徴量ごとに重み付けをしてもよい。

図５は、本発明の実施形態に係る商品マスタ情報１００のデータ構成例を示す図である。図５に示すように、商品マスタ情報１００には、商品ＩＤに対応付けて、商品名、その商品の単価、特徴量が格納される。ここで、特徴量は、その商品の代表画像であってもよいし、形状、大きさ、色合い等の特徴を示すデータであってもよく、商品類似度演算部１２３の類似度の算出方法に適した情報の形式で格納される。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、さらにその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２７年３月２日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクト（物体）ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２７年３月２日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮影された商品の画像と、商品マスタ情報１００に登録された登録商品の商品画像（代表画像）等の類似度の算出方法は特に問わないものとする。例えば、撮影された商品の画像と、商品マスタ情報１００に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、商品マスタ情報１００に記憶された各商品の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。

また、類似度を相対評価として算出する場合には、各商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、商品マスタ情報１００として商品Ａ、Ｂ、Ｃ、Ｄの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．６５、商品Ｂに対しては類似度が０．２、商品Ｃに対しては類似度が０．１、商品Ｄに対しては類似度が０．０５、などのように算出する。

図３に戻り、商品類似度判断部１２４は、物体の分離画像ごとに、商品類似度演算部１２３が算出した類似度に基づいて、例えば、対応する商品等に関して次の３択で判断する。
（１）分離画像に対応する商品が一意に決定された。
（２）分離画像に対応する商品の候補が１つ以上存在する。
（３）分離画像に対応する商品が無いと決定する。

この判断のための条件として、例えば、記憶部２３は、条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい商品の類似度が９０％以上」、かつ、「類似度の一番大きい商品の類似度と、類似度の二番目に大きい商品の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度９５％の商品Ａで、その次が類似度６０％の商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する商品Ａは、一意に決定される。

条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の商品が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい商品が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在する。

条件Ｘ、Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ、Ｙは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

入力取得部１５０は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（１）または（２）と判断され、商品の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付ける。なお、商品の確定は、入力取得部１５０を介して、オペレータによる入力操作を受け付けることにより行われてもよい。

販売情報登録部１６０は、入力取得部１５０により確定された商品や販売関連情報について、記憶部２３内の商品販売登録情報４００に登録を行う。図６は、本発明の実施形態に係る商品販売登録情報４００のデータ構成例を示す図である。図６に示すように、商品販売登録情報４００には、販売ＩＤ、販売時刻、商品ＩＤ、商品名、単価（定価）、値引き額、個数、売上金額、客層情報などが登録される。
ここで、販売情報登録部１６０は、販売ＩＤおよび販売時刻に対応付けて、販売が確定された商品について、商品マスタ情報１００を参照し、商品ＩＤ、商品名、単価（定価）を取得して登録する。そして、販売情報登録部１６０は、確定された商品毎の販売個数に基づき、売上金額を計算して登録する。

情報出力部１７０は、撮影装置１５で撮影された撮影画像や、前記のようにして認識された商品の商品名、単価等を顧客用ディスプレイ１１、ディスプレイ１２Ａに表示し、また、プリンタ１４に出力する。ここで、情報出力部１７０は、オペレータ用情報出力部１７１と、顧客用情報出力部１７２とを有する。
オペレータ用情報出力部１７１は、商品検出部１２２が検出した商品の情報（商品の識別情報や単価等）をオペレータが使用するディスプレイ１２Ａに表示する。オペレータ用情報出力部１７１がこれらの情報を表示するタイミングは特に限定されずに、例えば、各々の商品が認識されたタイミングで各商品を表示してもよいし、または、すべての商品の認識が完了した時点ですべての商品を表示してもよい。

顧客用情報出力部１７２は、商品検出部１２２が検出した商品の情報（商品の識別情報や単価等）を、予め決められた所定の時間間隔で顧客用ディスプレイ１１に表示する。また、顧客用情報出力部１７２は、すべての商品の表示が終了した時点で商品の表示が終了したことを示す情報をオペレータが使用するディスプレイ１２Ａに表示するのがよい。顧客用情報出力部１７２は、すべての商品の表示が終了する前の時点で商品の表示を行っている最中であることを示す情報（例えば、砂時計のマークのような処理中を示す画像）をオペレータが使用するディスプレイ１２Ａに表示してもよい。図７を参照して、認識された商品を顧客用情報出力部１７２が顧客用ディスプレイ１１に表示するタイミングについて説明する。

図７（ａ）は、オブジェクト認識処理部１２０が商品を認識するタイミングの例示であり、ここでは、商品Ａ〜Ｅの５つの商品を「商品Ａ→商品Ｂ→商品Ｃ→商品Ｄ→商品Ｅ」の順番に認識している。商品を認識するタイミングは、例えば、（１）分離画像に対応する商品が一意に決定されたときにはその時点、また、分離画像に対応する商品の候補が１つ以上存在するときには、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付けた時点である。図７（ａ）では、オブジェクト認識処理部１２０が、商品の認識処理を開始してから時間ｔ_Ａ後に商品Ａを認識し、商品Ａの認識から時間ｔ_Ｂ後に商品Ｂを認識し、商品Ｂの認識から時間ｔ_Ｃ後に商品Ｃを認識し、商品Ｃの認識から時間ｔ_Ｄ後に商品Ｄを認識し、商品Ｄの認識から時間ｔ_Ｅ後に商品Ｅを認識している。

図７（ｂ）〜（ｄ）は、顧客用情報出力部１７２が商品を顧客用ディスプレイ１１に表示するタイミングの例示であり、ここでは、商品Ａ〜Ｅの５つの商品を「商品Ａ→商品Ｂ→商品Ｃ→商品Ｄ→商品Ｅ」の順番に表示している。ここで、商品を表示するタイミングは、商品が認識した時刻よりも遅く、かつ、顧客が認識された商品の確認作業を行い易い所定の時間間隔にするのがよい。商品を表示するタイミングは、例えば、実験により最適な時間間隔を導き出しておき、図示しないタイマを用いて管理してもよい。

なお、表示する商品の順番は、特に限定されない。例えば、商品を認識した順番に合わせてもよいし、また、同一種類の商品を認識済みの場合には、同一商品の表示が連続するようにしてもよい。後者の場合、同一種類の商品を表示する時間間隔は、他の商品を表示する時間間隔よりも短くしてもよいし、同時に表示してもかまわない。

図７（ｂ）では、顧客用情報出力部１７２が、商品を等間隔（同じ時間間隔）で表示する場合を示している。つまり、ここでは、顧客用情報出力部１７２が、商品の認識処理を開始してから時間Ｔ_Ａ後に商品Ａを表示し、商品Ａの表示から時間Ｔ_Ｂ後に商品Ｂを表示し、商品Ｂの表示から時間Ｔ_Ｃ後に商品Ｃを表示し、商品Ｃの表示から時間ｔ_Ｄ後に商品Ｄを表示し、商品Ｄの表示から時間ｔ_Ｅ後に商品Ｅを表示しており、商品を表示する時間間隔はすべて同じである（Ｔ_Ａ＝Ｔ_Ｂ＝Ｔ_Ｃ＝Ｔ_Ｄ＝Ｔ_Ｅ）。

図７（ｃ）では、顧客用情報出力部１７２が、商品を徐々に短い時間間隔で表示する場合を示している。つまり、ここでは、顧客用情報出力部１７２が、商品の認識処理を開始してから時間Ｔ_Ａ後に商品Ａを表示し、商品Ａの表示から時間Ｔ_Ｂ後に商品Ｂを表示し、商品Ｂの表示から時間Ｔ_Ｃ後に商品Ｃを表示し、商品Ｃの表示から時間ｔ_Ｄ後に商品Ｄを表示し、商品Ｄの表示から時間ｔ_Ｅ後に商品Ｅを表示しており、商品を表示する時間間隔は徐々に短くなっている（Ｔ_Ａ＞Ｔ_Ｂ＞Ｔ_Ｃ＞Ｔ_Ｄ＞Ｔ_Ｅ）。

図７（ｄ）では、顧客用情報出力部１７２が、商品を徐々に長い時間間隔で表示する場合を示している。つまり、ここでは、顧客用情報出力部１７２が、商品の認識処理を開始してから時間Ｔ_Ａ後に商品Ａを表示し、商品Ａの表示から時間Ｔ_Ｂ後に商品Ｂを表示し、商品Ｂの表示から時間Ｔ_Ｃ後に商品Ｃを表示し、商品Ｃの表示から時間ｔ_Ｄ後に商品Ｄを表示し、商品Ｄの表示から時間ｔ_Ｅ後に商品Ｅを表示しており、商品を表示する時間間隔は徐々に長くなっている（Ｔ_Ａ＜Ｔ_Ｂ＜Ｔ_Ｃ＜Ｔ_Ｄ＜Ｔ_Ｅ）。

次に、図８および図９を参照して、顧客用情報出力部１７２が顧客用ディスプレイ１１に表示する顧客用表示画面９００について説明する。顧客用表示画面９００は、撮影画像表示部９１０と、商品情報表示部９２０とからなる。撮影画像表示部９１０には、撮影装置１５で撮影された撮影画像が表示される。商品情報表示部９２０には、撮影画像表示部９１０に表示される商品の情報がリスト（認識結果リスト）として表示される。
ここでは、商品「カレーパン」、「メロンパン」、「あんパン」の三つの商品の登録を行う場合を想定して説明する。これらの商品は、オブジェクト認識処理部１２０によって「カレーパン」→「メロンパン」→「あんパン」の順番に認識されるものとする。

顧客用情報出力部１７２は、商品「カレーパン」が認識された後に、図８（ａ）に示すように、撮影画像表示部９１０に表示される商品「カレーパン」の画像を強調して表示する。また、顧客用情報出力部１７２は、商品「カレーパン」の名称および単価を撮影画像表示部９１０ならびに商品情報表示部９２０に表示する。この際に、撮影画像表示部９１０に表示される商品「カレーパン」の画像と商品情報表示部９２０に表示される商品「カレーパン」の領域とを矢印等で関連付けるのがよい。これにより、顧客は、商品「カレーパン」が認識されたことを一目で理解できるので、確認作業が容易となる。これで、一つ目の商品「カレーパン」の顧客用表示処理が終了する。

続いて、顧客用情報出力部１７２は、商品「メロンパン」が認識された後であり、かつ一つ目の商品「カレーパン」を表示してから所定時間が経過した後に、図８（ｂ）に示すように、撮影画像表示部９１０に表示される商品「メロンパン」の画像を強調して表示する。また、顧客用情報出力部１７２は、商品「メロンパン」の名称および単価を撮影画像表示部９１０ならびに商品情報表示部９２０に表示する。この際に、撮影画像表示部９１０に表示される商品「メロンパン」の画像と商品情報表示部９２０に表示される商品「メロンパン」の領域とを矢印等で関連付けるのがよい。顧客の確認作業が容易にするためである。これで、二つ目の商品「メロンパン」の顧客用表示処理が終了する。なお、撮影画像表示部９１０への商品の名称および単価の表示は、画面が煩雑になってしまう場合等には行わなくてもよい。

続いて、顧客用情報出力部１７２は、商品「あんパン」が認識された後であり、かつ二つ目の商品「メロンパン」を表示してから所定時間が経過した後に、図９（ａ）に示すように、撮影画像表示部９１０に表示される商品「あんパン」の画像を強調して表示する。また、顧客用情報出力部１７２は、商品「あんパン」の名称および単価を撮影画像表示部９１０ならびに商品情報表示部９２０に表示する。この際に、撮影画像表示部９１０に表示される商品「あんパン」の画像と撮影画像表示部９１０に表示される商品「あんパン」の領域とを矢印等で関連付けるのがよい。顧客の確認作業が容易にするためである。これで、三つ目の商品「あんパン」の顧客用表示処理が終了する。

続いて、顧客用情報出力部１７２は、消費税の金額および合計金額を商品情報表示部９２０に表示する。そして、顧客用情報出力部１７２は、すべての商品の表示が終了したことをオペレータが使用するディスプレイ１２Ａに表示する。これによって、オペレータは、顧客が商品の確認作業を完了したと判断できるので、顧客に対して会計作業を依頼するタイミングを知ることができる。

＜実施形態に係る商品登録装置の動作＞
次に、商品登録装置１を用いた商品登録処理について説明する。図１０は、本発明の実施形態に係る商品登録装置１の商品登録処理の流れを示すフローチャートである。
商品登録装置１は、撮影台１６の撮影領域１５１を撮影装置１５によって、常時撮影し続ける。または、顧客がトレー３を撮影台１６に載せ、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすることにより、商品登録装置１の処理部１０が撮影装置１５からの画像を取り込み、一連の処理を開始する。

先ず、処理部１０は、撮影装置１５からの画像のキャプチャを開始する（ステップＳ１０）。画像記憶部１１０は、撮影装置１５が撮影したフレーム画像（撮影画像）をＲＡＭ２１に記憶する。
次に、オブジェクト認識処理部１２０は、画像記憶部１１０が記憶したフレーム画像に対して、オブジェクト認識処理を行う。具体的には、オブジェクト認識処理部１２０の物体領域判定部１２１が、撮影画像上のオブジェクト（商品）を背景から分離することで、物体認識画像（分離画像）を生成する（ステップＳ１１）。

次に、商品検出部１２２は、物体領域判定部１２１から取得したオブジェクト（物体認識画像）ごとに次のステップＳ１２〜Ｓ１５の処理を繰り返す。
まず、商品検出部１２２の商品類似度演算部１２３は、取得した物体認識画像（分離画像）について、形状、大きさ、色合い等の特徴量を演算し、記憶部２３内の商品マスタ情報１００（図５参照）と比較することにより類似度を算出する（ステップＳ１３）。

続いて、商品検出部１２２の商品類似度判断部１２４は、商品類似度演算部１２３が算出した類似度に基づいて、物体認識画像（分離画像）に対応する商品を検出する（ステップＳ１４）。ここで、対応する商品が複数検出された場合には、その候補の商品の画像をディスプレイ１２Ａや顧客用ディスプレイ１１に表示し、入力取得部１５０が、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付けることにより、商品を選択する。

そして、商品検出部１２２は、物体領域判定部１２１から取得した物体認識画像（分離画像）のすべてについて処理を繰り返したかを判断する（ステップＳ１５）。商品検出部１２２は、取得したすべての物体認識画像（分離画像）について処理を繰り返していなかったならば、ステップＳ１２の処理に戻り、取得したすべての物体認識画像（分離画像）について処理を繰り返したならば、ステップＳ１６に進む。
ステップＳ１６において、オペレータ用情報出力部１７１は、商品検出部１２２が検出した商品の情報（商品の識別情報や単価、個数、合計金額等）を、ディスプレイ１２Ａに表示する。

続いて、処理部１０は、会計内容が確定されたか否かを判断する（ステップＳ１７）。そして、会計内容が確定されていないと処理部１０が判断したならば（ステップＳ１７→Ｎｏ）、ステップＳ１０に戻り処理を続ける。一方、会計内容が確定したと判断したならば（ステップＳ１７→Ｙｅｓ）、次のステップＳ１８に進む。
ステップＳ１８において、販売情報登録部１６０は、確定された商品の情報と販売関連情報について、記憶部２３内の商品販売登録情報４００（図１２参照）に登録を行い、処理を終了する。

次に、商品登録装置１を用いた顧客用表示画面の表示処理ついて説明する。図１１は、本発明の実施形態に係る商品登録装置１の顧客用表示画面の表示処理の流れを示すフローチャートである。
図１１に示す処理は、図１０で示した商品登録処理と並行して行われる。この一連の処理は、例えば、商品検出部１２２によるステップＳ１２〜Ｓ１５の処理が開始されるのと同時に開始される。

先ず、顧客用情報出力部１７２は、顧客用ディスプレイ１１に開始画面を表示する（ステップＳ３１）。開始画面の構成は、特に限定されるものではなく、様々な構成であってよい。例えば、認識した商品が順番に表示されることを顧客に説明する文章を表示してもよいし、何れの商品も認識していない状態の顧客用表示画面９００（図８参照）を表示してもよい。

次に、顧客用情報出力部１７２は、開始画面の表示から所定時間だけ待機する（ステップＳ３２）。待機する時間は、図７で説明した顧客が認識された商品の確認作業を行い易い時間間隔であるのがよい。
所定時間が経過した後、顧客用情報出力部１７２は、商品の認識結果を顧客用表示画面９００に画像として表示する（ステップＳ３３）。具体的には、顧客用情報出力部１７２は、撮影画像表示部９１０に表示される商品の中から商品検出部１２２の処理により認識された商品の画像を強調して表示する（図８参照）。また、顧客用情報出力部１７２は、商品の認識結果を顧客用表示画面９００にリスト（認識結果リスト）として表示する（ステップＳ３４）。具体的には、顧客用情報出力部１７２は、認識した商品の名称および単価を商品情報表示部９２０に表示する（図８参照）。なお、ステップＳ３３およびステップＳ３４の処理は、同時に行ってもよい。そして、顧客用情報出力部１７２は、現在までの小計金額を顧客用表示画面９００の商品情報表示部９２０に表示する（ステップＳ３５）。

次に、顧客用情報出力部１７２は、すべての商品の表示が終了したか否かを判断する（ステップＳ３６）。顧客用情報出力部１７２は、すべての商品の表示が終了していなかったならば、ステップＳ３２の処理に戻り、商品検出部１２２の処理により次に認識された商品の顧客用ディスプレイ１１への表示を行う。一方、すべての商品の表示が終了したならば、ステップＳ３７に進む。
ステップＳ３７において、顧客用情報出力部１７２は、顧客用表示画面９００の商品情報表示部９２０に合計金額を表示する（ステップＳ３７）。

以上のように、実施形態に係る商品登録装置１は、顧客が商品の確認作業を行い易い時間間隔で顧客用ディスプレイ１１に商品の認識結果を表示する。したがって、実施形態に係る商品登録装置１では、顧客が余裕を持って商品の確認作業を行える。
また、実施形態に係る商品登録装置１では、すべての商品の認識処理が終了する前に順番に商品の認識結果を表示する。したがって、顧客が待たされていると感じることなく商品を順番に確認することができるので、すべての商品を認識する実際の処理時間に対して顧客が直感的に感じる認識処理に要する体感速度も向上する。
これにより、実施形態に係る商品登録装置１は、顧客が商品登録処理に感じる負担感（ストレス）を低減できる。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。各実施形態の変形例を以下に示す。

実施形態では、オブジェクト認識処理部１２０が一般物体認識技術を用いて撮影画像中に含まれる商品を認識していたが、商品を認識する方法はこれに限定されるものではない。例えば、複数の商品のバーコードを撮影し、撮影画像中のバーコードを読み取ることで商品を認識してもよい。また、ＲＦＩＤ（Radio Frequency Identification）技術を用いて、商品に取り付けられたＲＦタグからＩＤ（Identification）情報を電波（電磁波）によって同時に読み取り、読み取った情報から商品を認識してもよい。

また、実施形態では、トレー３上の複数の商品を撮影装置１５によって上方から撮影することで、商品認識の基になる商品情報を同時に取得していた。しかしながら、商品情報を取得するタイミングはこれに限定されるものではない。例えば、撮影装置１５の撮影領域内にオペレータが商品を一つずつ運び入れることにより、商品の情報を手操作で順次取得するようにしてもよい。この場合でも、実施形態で説明した通りに、商品を認識する処理時間に拘わらず、顧客（人間）が確認作業を行い易い時間間隔で商品の認識結果を顧客用ディスプレイ１１に表示する。

また、実施形態では、顧客用ディスプレイ１１に商品の認識結果を表示するタイミングを予め決定していたが、これに限定されるものではない。例えば、すべての商品を認識するまでの時間を商品数等から予測し、予測した時間を商品数で割る等して各商品の認識結果を表示する時刻を決定してもよい。また、顧客の特徴（例えば、年齢）に応じて商品の認識結果を表示するタイミングを調整してもよい。例えば、１０〜３０歳の顧客に比べて３０〜５０歳の顧客の時間間隔を長くし、５０歳以上の顧客の時間間隔をさらに長くするようにしてもよい。

また、実施形態では、顧客用ディスプレイ１１に商品を表示することを想定していたが、他の手段で商品の認識結果を伝えてもよい。例えば、音声を用いて商品の認識結果を顧客に伝えてもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
商取引における商品の登録を行う商品登録装置であって、
同時に取得した情報から複数の商品を認識する商品認識処理手段と、
前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、
を備えることを特徴とする商品登録装置。
＜請求項２＞
商取引における商品を認識して商品登録を行う商品登録装置であって、
複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識処理手段と、
前記商品認識処理手段で認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、
を備えることを特徴とする商品登録装置。
＜請求項３＞
前記認識結果出力手段は、
前記複数の商品の認識結果を一定の時間間隔で出力するか、前記複数の商品の認識結果を徐々に短い時間間隔で出力するか、または前記複数の商品の認識結果を徐々に長い時間間隔で出力する、
ことを特徴とする請求項１または請求項２に記載の商品登録装置。
＜請求項４＞
前記出力手段は、前記複数の商品を撮影した撮影画像および各商品の認識結果をまとめた認識結果リストを並べて表示する表示手段であって、
前記認識結果出力手段は、
前記表示手段に表示される撮影画像の各商品に対してそれぞれの認識処理が終了したことを表示すると共に、当該商品の認識結果を前記撮影画像に関連付けて前記認識結果リストに表示する、
ことを特徴とする請求項１ないし請求項３の何れか一項に記載の商品登録装置。
＜請求項５＞
前記複数の商品のうち何れかの商品の認識が完了した時点で、当該商品の認識結果を他の出力手段に出力する他の認識結果出力手段をさらに備える、
ことを特徴とする請求項１ないし請求項４の何れか一項に記載の商品登録装置。
＜請求項６＞
前記認識結果出力手段は、
前記複数の商品の認識結果の出力が完了したこと、または、前記複数の商品の認識結果の出力を行っている最中であることの何れか一方を示す情報を前記他の出力手段に出力する、
ことを特徴とする請求項５に記載の商品登録装置。
＜請求項７＞
商取引における商品の登録を行う商品登録装置の商品登録方法であって、
同時に取得した情報から複数の商品を認識する商品認識ステップ、
前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、
ことを特徴とする商品登録方法。
＜請求項８＞
商取引における商品を認識して商品登録を行う商品登録装置の商品登録方法であって、
複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識ステップ、
認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、
ことを特徴とする商品登録方法。

１ 商品登録装置
１１ 顧客用ディスプレイ（出力手段）
１２ タッチディスプレイ（他の出力手段）
１２０ オブジェクト認識処理部（商品認識処理手段）
１７０ 情報出力部
１７１ オペレータ用情報出力部（他の認識結果出力手段）
１７２ 顧客用情報出力部（認識結果出力手段）

Claims (8)

1. 商取引における商品の登録を行う商品登録装置であって、
   同時に取得した情報から複数の商品を認識する商品認識処理手段と、
   前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、
   を備えることを特徴とする商品登録装置。
2. 商取引における商品を認識して商品登録を行う商品登録装置であって、
   複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識処理手段と、
   前記商品認識処理手段で認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力手段と、
   を備えることを特徴とする商品登録装置。
3. 前記認識結果出力手段は、
   前記複数の商品の認識結果を一定の時間間隔で出力するか、前記複数の商品の認識結果を徐々に短い時間間隔で出力するか、または前記複数の商品の認識結果を徐々に長い時間間隔で出力する、
   ことを特徴とする請求項１または請求項２に記載の商品登録装置。
4. 前記出力手段は、前記複数の商品を撮影した撮影画像および各商品の認識結果をまとめた認識結果リストを並べて表示する表示手段であって、
   前記認識結果出力手段は、
   前記表示手段に表示される撮影画像の各商品に対してそれぞれの認識処理が終了したことを表示すると共に、当該商品の認識結果を前記撮影画像に関連付けて前記認識結果リストに表示する、
   ことを特徴とする請求項１ないし請求項３の何れか一項に記載の商品登録装置。
5. 前記複数の商品のうち何れかの商品の認識が完了した時点で、当該商品の認識結果を他の出力手段に出力する他の認識結果出力手段をさらに備える、
   ことを特徴とする請求項１ないし請求項４の何れか一項に記載の商品登録装置。
6. 前記認識結果出力手段は、
   前記複数の商品の認識結果の出力が完了したこと、または、前記複数の商品の認識結果の出力を行っている最中であることの何れか一方を示す情報を前記他の出力手段に出力する、
   ことを特徴とする請求項５に記載の商品登録装置。
7. 商取引における商品の登録を行う商品登録装置の商品登録方法であって、
   同時に取得した情報から複数の商品を認識する商品認識ステップ、
   前記複数の商品の認識結果を所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、
   ことを特徴とする商品登録方法。
8. 商取引における商品を認識して商品登録を行う商品登録装置の商品登録方法であって、
   複数の商品から取得した情報に基づいて、その複数の商品を順次認識処理する商品認識ステップ、
   認識処理された前記複数の商品の認識結果を、その各商品の認識処理の処理時間に拘わらず、顧客が識別可能な所定の時間間隔で順番に出力手段に出力する認識結果出力ステップを含む、
   ことを特徴とする商品登録方法。

Images