JP2015130097A - 情報処理装置、店舗システム及びプログラム - Google Patents

Abstract

【課題】商品のかざし方の適否を表示することができる情報処理装置、店舗システム及びプログラムを提供する。【解決手段】情報処理装置は、画像取込手段と、検出手段と、判定手段と、表示制御手段と、を備える。前記画像取込手段は、かざされた物品を撮像する撮像部が撮像した画像を取り込む。前記検出手段は、前記画像取込手段が取り込んだ前記画像に含まれる前記物品を検出する。前記判定手段は、前記検出手段によって検出された前記物品のかざし方の適否を判定する。前記表示制御手段は、前記画像とともに前記判定手段が判定したかざし方の適否を、当該画像に重ねて表示部に表示させる。【選択図】図６

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。

従来、イメージセンサデバイスにより撮像した画像データから抽出した対象物品の特徴量と、予め用意された辞書における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。

上記した一般物体認識においては、商品のかざし方によって撮像される画像データが異なる。

しかしながら、商品を正しくかざしていないと商品を識別することができず、商品登録に非常に時間がかかってしまうことがある。

本発明が解決しようとする課題は、商品のかざし方の適否を表示することができる情報処理装置、店舗システム及びプログラムを提供することである。

実施形態の情報処理装置は、画像取込手段と、検出手段と、判定手段と、表示制御手段と、を備える。前記画像取込手段は、かざされた物品を撮像する撮像部が撮像した画像を取り込む。前記検出手段は、前記画像取込手段が取り込んだ前記画像に含まれる前記物品を検出する。前記判定手段は、前記検出手段によって検出された前記物品のかざし方の適否を判定する。前記表示制御手段は、前記画像とともに前記判定手段が判定したかざし方の適否を、当該画像に重ねて表示部に表示させる。

図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末の機能構成を示すブロック図である。 図５は、チェックアウトシステムが実行するかざし方判定処理の流れを示すフローチャートである。 図６は、適切なかざし方を示す枠線が重ねて表示された精度チェック画面の一例を示す説明図である。 図７は、不適切なかざし方を示す枠線が重ねて表示された精度チェック画面の一例を示す説明図である。 図８は、中止実行画面の一例を示す説明図である。 図９は、セルフＰＯＳの構成を示す外観斜視図である。 図１０は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置される。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられる。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層される。表示デバイス２３よりも更に奥側には、顧客用表示デバイス２４が回転可能に立設される。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置される。カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示部である表示デバイス１０６が設けられる。表示デバイス１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置される。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置する。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ａが収納される。第１の買物カゴ１５３ａ内の商品Ａは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ａを撮像する。

商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成される。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続される。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続される。ＨＤＤ６４には、プログラムや各種ファイルが記憶される。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用プログラムＰＲ１やかざし方判定用プログラムＰＲ２である。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品を識別するための照合用データ（特徴量）を、複数の商品について記憶する。辞書は、ＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）は紐付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた識別情報である商品ＩＤ、商品Ａが属する商品分類、商品名、単価等の商品に関する情報と、その商品Ａを示すイラスト画像と、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の特徴量とを、その商品Ａの商品情報として格納するファイルである。尚、特徴量は、後述する類似度の判定に用いられる照合用のデータである。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成される。

加えて、ＰＬＵファイルＦ１は、図３に示すように、ガイダンス情報を各商品に対して記憶する。ガイダンス情報は、商品Ａを撮像部１６４にかざす際に、撮像部１６４が撮像する物品の特徴毎の注意点を表したガイダンスを表示するための情報である。

撮像対象商品の特徴毎の注意点を表したガイダンス表示としては、例えば以下に示すガイダンスが挙げられる。
１．撮像対象となる全商品に共通するものであって、撮像部１６４に対する撮像距離を示すガイダンス。
２．リンゴのように球形の物品（オブジェクト）について、くるくる回しながら、物品全体を撮像するように案内するガイダンス。
３．大根やネギのように長い物品（オブジェクト）について、長手方向を軸としてくるくる回しながら、物品全体を長手方向に流して撮像するように案内するガイダンス。
４．スダチのように小さい物品（オブジェクト）について、物品（オブジェクト）を把持している店員の手が撮像部１６４による撮像画像内にできるだけ入らないように撮像するように案内するガイダンス。

図３の最上段に示された「にんじん」は、ガイダンス情報として１と３とが設定された状態を示すものである。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納される。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続される。接続インターフェース６５には、商品読取装置１０１が接続される。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続される。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成される。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶される。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも不図示）を介して接続される。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続される。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓ（Flame Per Second）の画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。すなわち、撮像部１６４は、かざされた商品Ａを撮像する。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続される。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ６１がプログラム（商品販売データ処理用プログラムＰＲ１、かざし方判定用プログラムＰＲ２）を実行することで実現されるＣＰＵ６１の機能構成について説明する。

図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。図４に示すように、ＰＯＳ端末１１のＣＰＵ６１は、商品販売データ処理用プログラムＰＲ１およびかざし方判定用プログラムＰＲ２を実行することにより、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８、売上登録処理手段である売上登録部５９、かざし方判定部９１、表示制御部９２、表示選択部９３、としての機能を備える。

（商品登録処理および売上登録処理）
まず、ＰＯＳ端末１１の画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８による一般物体認識（オブジェクト認識）に応じた商品登録処理、および売上登録部５９による売上登録処理についての概要を説明する。

画像取込部５１は、画像取込手段として機能するものであって、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部５２は、検出手段として機能するものであって、撮像部１６４が撮像し、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ａを検出して、特徴量を抽出する。商品検出部５２は、フレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術等を用いて検出することにより、撮像された商品Ａの特徴量を抽出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品Ａを検出する。

なお、商品Ａを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合に、商品検出部５２は、この物体の輪郭から商品Ａを検出する。

また、商品検出部５２は、検出された商品Ａの全部または一部の画像から、商品Ａの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、商品検出部５２は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。

類似度算出部５３は、ＰＬＵファイルＦ１に登録されている各商品（以下、登録商品という）の商品画像の色合いや表面の凹凸状況等の表面の状態である特徴量と、商品検出部５２が商品Ａを検出し、抽出した特徴量とをそれぞれ比較することで、商品ＡとＰＬＵファイルＦ１に登録された登録商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品登録時の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ａの画像と、ＰＬＵファイルＦ１に登録された登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ａの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ａの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＡＡ、ＡＢ、ＡＣ、ＡＤ、ＡＥ）が登録されていたとすると、撮像された商品Ａは、商品ＡＡに対して類似度が０．６、商品ＡＢに対しては類似度が０．１、商品ＡＣに対しては類似度が０．１、商品ＡＤに対しては類似度が０．１、商品ＡＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

類似度判定部５４は、画像取込部５１が取り込んだフレーム画像ごとに、商品Ａの画像と、ＰＬＵファイルＦ１に登録されている登録商品との類似度を比較する。本実施形態では、登録商品の商品画像と商品Ａの画像との類似度について複数の条件が段階的に設けられており、類似度判定部５４は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件ａ〜ｄを用いる場合について説明する。

ここで、条件ａおよび条件ｂは、本実施形態に係る第１の条件であり、撮像部１６４が撮像した商品ＡをＰＬＵファイルＦ１に登録された登録商品のうち一の商品として確定するための条件である。また、条件ｃは、本実施形態に係る第２の条件であり、ＰＬＵファイルＦ１に登録された登録商品中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれていない場合に、撮像部１６４が撮像した商品Ａの候補を抽出するための条件である。更に、条件ｄは、本実施形態に係る第３の条件であり、条件ｃを満たした商品Ａの候補中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれている場合に、撮像部１６４が撮像した商品Ａの候補を抽出するための条件である。

類似度判定部５４は、条件ａまたは条件ｂを満たす登録商品を、撮像部１６４が撮像した商品Ａに一対一で対応する商品（以下、確定商品という）であると判定（確定）する。また、類似度判定部５４は、条件ｃを満たす登録商品については、確定商品ではなく、撮像部１６４が撮像した商品Ａの候補（以下、商品候補という）であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｃを満たす登録商品を抽出することにより、商品Ａに対する商品候補を抽出する。

また、類似度判定部５４は、条件ｄを満たす登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）についても、確定商品ではなく、撮像部１６４が撮像した商品Ａの候補であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｄを満たす登録商品を抽出することにより、商品Ａに対する商品候補を抽出する。

条件ａ〜ｃは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件ａ〜ｃを設けることができる。ここでは、第１閾値〜第３閾値によって条件ａ〜ｃを設定する場合について説明する。なお、第１〜３閾値の大小関係は、第１閾値＞第２閾値＞第３閾値とする。

類似度判定部５４は、登録商品との類似度が予め定められた第１閾値（例えば９０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ａが満たされたと判定する。尚、第１閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を１回として条件ａを判定してもよい。

また、類似度判定部５４は、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった場合に条件ｂが満たされたと判定する。そして、条件ｂを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｂが満たされたと判定してもよい。

更に、類似度判定部５４は、登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上である場合に、条件ｃが満たされたと判定する。なお、更には登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｃが満たされたと判定してもよい。

なお、各条件ａ〜ｃは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件ａ〜ｃの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。

加えて、類似度判定部５４は、条件ｃを満たした登録商品中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれている場合には、当該複数の品種の類似度を合算し、複数の品種の類似度を合算したカテゴリ（商品）の類似度が予め定められた第２閾値（例えば７５％）以上となった場合、条件ｄが満たされたと判定する。

商品提示部５５は、撮像部１６４によって撮像された商品が、条件ａまたは条件ｂを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。

情報入力部５８は、上述のようにして確定された確定商品について、その商品Ａを示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介して入力する。

なお、情報入力部５８は、タッチパネル１０５またはキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。

売上登録部５９は、情報入力部５８から入力された商品ＩＤと販売個数とに基づいて、対応する商品Ａの売上登録を行う。具体的には、売上登録部５９は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

（オブジェクト認識に際してのかざし方判定処理）
次いで、ＰＯＳ端末１１の画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、かざし方判定部９１、表示制御部９２、表示選択部９３によるオブジェクト認識に際してのかざし方判定処理について説明する。

上述したように、ＰＯＳ端末１１は、撮像部１６４により撮像した画像データから抽出した対象となる物品（オブジェクト）の特徴量と、予め用意された辞書であるＰＬＵファイルＦ１における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）を採用している。

一般物体認識においては、商品Ａのかざし方によって撮像される画像データが異なる。よって、商品Ａを正しくかざしていないと商品Ａを識別することができず、商品登録に非常に時間がかかってしまうことがある。

そこで、本実施形態のＰＯＳ端末１１は、オブジェクト認識における商品Ａのかざし方の適否を表示することができるようにしたものである。すなわち、ＰＯＳ端末１１のＣＰＵ６１は、かざし方判定用プログラムＰＲ２を実行することにより、図４に示すように、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、かざし方判定部９１、表示制御部９２、表示選択部９３としての機能を備える。以下において、オブジェクト認識に際してのかざし方判定処理における各部について説明する。

先ず、商品登録処理と同様に、画像取込部５１は、撮像部１６４が撮像したフレーム画像を取り込む。そして、商品登録処理と同様に、商品検出部５２、類似度算出部５３、および類似度判定部５４は、画像取込部５１が取り込んだ画像に含まれる商品Ａを識別する。

かざし方判定部９１は、判定手段として機能するものであって、商品検出部５２によって検出された商品Ａが適切なかざし方で、撮像部１６４にかざされているか否かを判定する。

先ず、不適切なかざし方について説明を行う。以下に示すものが、不適切なかざし方の代表例である。
（１）物品を検出したが、位置や大きさが不適切なため商品Ａを識別できなかった場合。
（２）物品を検出したが、商品Ａを持つ手が商品Ａを覆ってしまっているために、商品Ａを識別できなかった場合。
（３）物品を検出し、識別した結果、商品登録する物品ではなかった場合。

上述の（１）に記載した不適切なかざし方の判定処理について説明を行う。物品の位置の適否については、かざし方判定部９１は、検出した物品の中心点を算出する。その後、かざし方判定部９１は、物品の中心点がある座標が、フレーム画像の中心付近にあるか否かを判定する。物品中心点の座標が中心付近にない場合に、かざし方判定部９１は、不適切と判定する。大きさが不適切な場合とは、物品が撮像部１６４から離れており、物品が小さくフレーム画像に撮像されている場合に、かざし方判定部９１は、不適切なかざし方であると判定する。

上述の（２）に記載した不適切なかざし方の判定処理について説明を行う。フレーム画像に撮像された物品と、物品を持つ手との割合が一定以上に達した場合に、かざし方判定部９１は、不適切なかざし方であると判定する。

上述の（３）に記載した不適切なかざし方の判定処理について説明を行う。予め設定された商品登録対象外の物品であった場合に、かざし方判定部９１は、不適切と判定する。具体的には、衝撃から守るために果物に被せられたフルーツキャップなどである。すなわち、本来、フルーツキャップを外してかざさなければならないが、フルーツキャップを被せたまま、かざしているため、不適切なかざし方であると判定する。

次に、かざし方判定部９１が適切なかざし方と判定する場合について説明を行う。以下に示すものが、適切なかざし方の代表例である。
（１）物品を検出し、類似度判定部５４によって確定商品であると判定された場合。
（２）物品を検出し、類似度判定部５４によって商品候補であると判定された場合。
（３）物品を検出し、商品識別を行ったが候補となる登録商品が無かった場合。

上述の（１）に記載した適切なかざし方の判定処理について説明を行う。商品検出部５２によって物品が検出され、検出された物品が、類似度判定部５４によって確定商品であると判定された場合に、かざし方判定部９１は、適切なかざし方であると判定する。

上述の（２）に記載した適切なかざし方の判定処理について説明を行う。商品検出部５２によって物品が検出され、検出された物品が、類似度判定部５４によって商品候補であると判定された場合に、かざし方判定部９１は、適切なかざし方であると判定する。

上述の（３）に記載した適切なかざし方の判定処理について説明を行う。商品検出部５２によって物品が検出され、検出された物品が、商品識別を行ったが候補となる登録商品が無かった場合に、かざし方判定部９１は、適切なかざし方であると判定する。具体的には、類似度判定部５４に商品候補がないと判定された場合である。物品を識別することはできなかったが、かざし方自体には問題がないため、かざし方判定部９１は、適切なかざし方であると判定する。

表示制御部９２は、表示制御手段として機能するものであって、撮像部１６４が撮像し、画像取込部５１によって取り込まれたフレーム画像を表示デバイス１０６に表示させる制御を行う。その際、表示制御部９２は、フレーム画像にかざし方判定部９１が判定したかざし方の適否を重ねて表示させる。具体的には、表示制御部９２は、かざし方判定部９１が判定したかざし方の適否として、判定結果によって異なる態様の枠線を重ねて表示デバイス１０６に表示させる。

この時、表示制御部９２は、フレーム画像に含まれる物品のうち、識別する対象として規定された物品の外径に枠線を表示する。これにより、オペレータは、一般物体認識の対象となっている物品を把握することができる。

例えば、表示制御部９２は、かざし方判定部９１が、適切なかざし方であると判定した場合には青色の枠線を表示し、不適切なかざし方であると判定した場合には赤色の枠線を表示させる。これにより、オペレータは、表示デバイス１０６を見ることで、撮像部１６４にかざした商品Ａのかざし方の適否を知ることができる。また、枠線の表示方法は、表示選択部９３によって任意の枠線が選択可能となっている。

表示選択部９３は、選択手段として機能するものであって、表示制御部９２によって表示される、枠線の表示方法を選択させる。具体的には、表示選択部９３は、予め定められた複数の種類の線から任意の線を選択させる。その際、表示選択部９３は、適切なかざし方を示す枠線と、不適切なかざし方を示す枠線との２種類について、それぞれ選択させる。線の種類とは、実線や、破線や、点線や、鎖線や、二重線や、太線や、細線などである。

さらに、表示選択部９３は、枠線に任意の色を選択させることができる。その際、表示選択部９３は、線の色も同様に、適切なかざし方を示す枠線と、不適切なかざし方を示す枠線との２種類について、それぞれ選択させる。色の指定方法は、ＲＧＢ値を指定することで色を指定する。ＲＧＢ値とは、赤（ＲＥＤ）、緑（ＧＲＥＥＮ）、青（ＢＬＵＥ）の各色が含まれている量を示す値であり、これにより様々な色を指定することができる。表示選択部９３は、ＲＧＢ値の赤と、緑と、青との各色を０〜２５５までの値で指定することができる。色の指定は、色相環において反対に位置する補色を指定することが好ましい。これにより、オペレータは、違いを認識しやすくなる。

具体的には、適切なかざし方を示す枠線は青色（ＲＧＢ値；１１５、２１９、２５４）を設定し、不適切なかざし方を示す枠線は赤色（ＲＧＢ値；２５５、１１１、３２）を設定するなどが好ましい。そして、前述したＲＧＢ値のように、黄色の要素を加えることで、色を識別することが困難なオペレータにとっても識別が容易になる。

さらに、表示選択部９３は、任意の枠線の形状を選択させることができる。枠線の形状とは、識別する対象として規定された物品の外径に表示される枠線の形状である。後述する図６および図７では、枠線Ｗ１、Ｗ２が矩形形状の場合について記載されているが、枠線の形状は、これ以外であってもよい。具体的には、枠線の形状は、卵形や、長円形や、楕円形などの円形でもよいし、三角形や、五角形や、六角形などの多角形であってもよい。

次に、かざし方判定処理におけるチェックアウトシステム１の動作について詳細に説明する。図５は、チェックアウトシステム１が実行するかざし方判定処理の流れを示すフローチャートである。

なお、図５に示すフローチャートは、前述の辞書に記憶されている照合用データ（特徴量）の精度を確認する精度チェック処理における画面を示したものである。しかし、かざし方の判定処理は、商品Ａをかざす全ての処理に用いることができる。例えば、商品登録処理（認識処理）や、辞書に照合用データ（特徴量）を登録する処理（学習処理）などにおいても用いることができる。

まず、ＰＯＳ端末１１のＣＰＵ６１は、精度チェック画面Ｇ１（図６及び図７参照）を表示させる（ステップＳ１１）。次いで、ＰＯＳ端末１１のＣＰＵ６１は、撮像部１６４を用いて商品Ａを撮像させる（ステップＳ１２）。

次いで、ＰＯＳ端末１１のＣＰＵ６１は（商品検出部５２）、フレーム画像から商品Ａを検出できるか否かを判定する（ステップＳ１３）。フレーム画像から商品Ａを検出できない場合に（ステップＳ１３；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は（商品検出部５２）、ステップＳ１２に戻る。

一方、フレーム画像から商品Ａを検出した場合に（ステップＳ１３；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は（かざし方判定部９１）、フレーム画像に含まれる商品Ａのかざし方が適切であるか否かを判定する（ステップＳ１４）。

適切なかざし方の場合に（ステップＳ１４；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は（表示制御部９２）、適切なかざし方を示す枠線が重ねて表示された精度チェック画面Ｇ１を表示させる（ステップＳ１５）。

図６は、適切なかざし方を示す枠線が重ねて表示された精度チェック画面Ｇ１の一例を示す説明図である。精度チェック画面Ｇ１は、大別すると、商品表示領域Ｒ１１と、通常認識判定領域Ｒ１２と、リアルタイム認識判定領域Ｒ１３と、中止ボタンＢ１とを備える。

商品表示領域Ｒ１１は、かざし方判定処理の対象商品を撮像部１６４が撮像して画像取込部５１によって取り込まれた画像を表示する領域である。商品表示領域Ｒ１１は、商品名領域Ｒ１１１と、撮像領域Ｒ１１２とを備える。商品名領域Ｒ１１１は、予め選択したかざし方判定処理を行う対象商品の商品名が表示される領域である。撮像領域Ｒ１１２は、撮像部１６４が撮像した商品Ａの画像を表示する領域である。また、撮像領域Ｒ１１２は、かざし方判定部９１が判定した判定結果であるかざし方の適否が重ねて表示される。

すなわち、撮像領域Ｒ１１２は、商品Ａと、枠線Ｗ１と、状態メッセージＭ１ａと、適切表示説明Ｍ２と、不適切表示説明Ｍ３とを備える。商品Ａは、撮像対象の商品Ａである。図６においては、商品Ａとしてキャベツが表示されている。枠線Ｗ１は、識別する対象として規定された商品Ａの外径に矩形形状で表示された枠線である。図６においては、キャベツの外径に青色の枠線が表示して適切なかざし方であることを示している。状態メッセージＭ１ａは、現在の処理状態について表示したメッセージである。図６においては、判定中とのメッセージを表示して、商品Ａを識別する判定中である旨を示している。適切表示説明Ｍ２は、適切なかざし方の場合に表示される枠線について説明したメッセージである。不適切表示説明Ｍ３は、不適切なかざし方の場合に表示される枠線について説明したメッセージである。

通常認識判定領域Ｒ１２は、照合データ（類似度）の精度をチェックする商品認識精度チェック機能の判定結果が表示される領域である。リアルタイム認識判定領域Ｒ１３は、シングルフレームでの認識結果を表示することにより、リアルタイムで認識結果を表示する領域である。リアルタイム認識判定領域Ｒ１３は、撮像対象商品の特徴毎の注意点が示されたガイダンス情報を表示する。図６は、ガイダンス情報として「くるくるまんべんなくまわして確認できます」と表示している状態を示す。中止ボタンＢ１は、精度チェック処理を終了する場合に押下するボタンである。

一方、不適切なかざし方の場合に（ステップＳ１４；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は（表示制御部９２）、不適切なかざし方を示す枠線が重ねて表示された精度チェック画面Ｇ１を表示させる（ステップＳ１６）。

図７は、不適切なかざし方を示す枠線が重ねて表示された精度チェック画面Ｇ１の一例を示す説明図である。図７は、商品Ａの中心点がある座標が、フレーム画像の左側にあるために不適切なかざし方であること示す枠線Ｗ２を重ねて表示している。すなわち、図７は、状態メッセージＭ１ｂと、枠線Ｗ２とを、図６に示された状態メッセージＭ１ａと、枠線Ｗ１とに変えて表示している。

具体的には、状態メッセージＭ１ｂは、不適切なかざし方であることから、読取ＮＧとのメッセージを表示して、商品Ａを識別することができない旨を表示している。枠線Ｗ２は、商品Ａの外径に矩形形状で表示された枠線である。図７においては、キャベツの外径に赤色の枠線が表示して不適切なかざし方であることを示している。

次いで、ＰＯＳ端末１１のＣＰＵ６１は、精度チェック画面Ｇ１に備えられた中止ボタンＢ１の押下を検出するか否かを判定する（ステップＳ１７）。中止ボタンＢ１の押下を検出しない場合に（ステップＳ１７；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ１２に戻る。一方、中止ボタンＢ１の押下を検出した場合に（ステップＳ１７；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、中止実行画面Ｇ２を表示させる（ステップＳ１８）。

図８は、中止実行画面Ｇ２の一例を示す説明図である。中止実行画面Ｇ２は、中止ボタンＢ１が押下された場合に、精度チェック処理を中止することを確認する画面である。よって、中止実行画面Ｇ２は、「精度チェックを中止してもよろしいですか？」とのメッセージを表示する。中止実行画面Ｇ２は、はいボタンＢ２１と、いいえボタンＢ２２とを備える。はいボタンＢ２１は、精度チェック処理を中止する場合に押下するボタンである。いいえボタンＢ２２は、精度チェック処理の中止を取り止める場合に押下するボタンである。

次いで、ＰＯＳ端末１１のＣＰＵ６１は、中止実行画面Ｇ２に備えられたはいボタンＢ２１の押下が検出されるか否かを判定する（ステップＳ１９）。はいボタンＢ２１の押下が検出されない場合に（ステップＳ１９；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、中止実行画面Ｇ２に備えられたいいえボタンＢ２２の押下が検出されるか否かを判定する（ステップＳ２０）。

いいえボタンＢ２２の押下が検出されない場合に（ステップＳ２０；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ１９に戻る。一方、いいえボタンＢ２２の押下が検出された場合に（ステップＳ２０；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ１２に戻る。

一方、中止実行画面Ｇ２に備えられたはいボタンＢ２１の押下が検出された場合に（ステップＳ１９；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、精度チェック処理を終了する。

以上のように、本実施形態によれば、かざされた商品Ａを撮像する撮像部１６４が撮像した画像は、画像取込部５１によって取り込まれる。商品検出部５２によって画像に含まれる商品Ａが検出される。かざし方判定部９１は検出された商品Ａのかざし方の適否について判定し、表示制御部９２はかざし方の適否について表示デバイス１０６に表示させる。よって、ユーザは、商品Ａのかざし方の適否を確認しながら作業を行うことが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、上記実施形態では、情報処理装置としてＰＯＳ端末１１を例にあげて説明している。しかし、情報処理装置は、ＰＯＳ端末１１に限らない。例えば、パーソナルコンピュータやタブレット端末などであってもよい。この場合には、パーソナルコンピュータやタブレット端末に、スキャナなどの撮像装置を接続すればよい。

また、上記実施形態では、情報処理装置であるＰＯＳ端末１１のＣＰＵ６１は、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８、売上登録部５９、かざし方判定部９１、表示制御部９２、及び表示選択部９３としての機能を有していると説明した。しかし、これらの機能は、ＰＯＳ端末１１のＣＰＵ６１以外が備えていてもよい。例えば、商品読取装置１０１のＣＰＵ１６１に、前述の機能の全部または一部が備えられていてもよい。

また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用したがこれに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図９はセルフＰＯＳ２００の構成を示す外観斜視図、図１０はセルフＰＯＳ２００のハードウェア構成を示すブロック図である。尚、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図９および図１０に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品Ａの種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品Ａの合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品Ａに付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側にはかごに入った未精算の商品Ａを置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品Ａを置くための商品載置台２０４が設けられ、精算済みの商品Ａを入れるための袋を掛ける袋掛けフック２０５や、精算済みの商品Ａを袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３、２０４には計量器２０７、２０８がそれぞれ備えられており、精算の前後で商品Ａの重量が同じであることを確認する機能を有している。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。

このような構成のセルフＰＯＳ２００を店舗システムに適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１１ ＰＯＳ端末
５２ 商品検出部
５３ 類似度算出部
９１ かざし方判定部
９２ 表示制御部
９３ 表示選択部
１６４ 撮像部
Ｆ１ ＰＬＵファイル
Ｇ１ 精度チェック画面
ＰＲ２ かざし方判定用プログラム

特開２００３−１７３３６９号公報

Claims (6)

1. かざされた物品を撮像する撮像部が撮像した画像を取り込む画像取込手段と、
   前記画像取込手段が取り込んだ前記画像に含まれる前記物品を検出する検出手段と、
   前記検出手段によって検出された前記物品のかざし方の適否を判定する判定手段と、
   前記画像とともに前記判定手段が判定したかざし方の適否を、当該画像に重ねて表示部に表示させる表示制御手段と、
   を備えた情報処理装置。
2. 前記表示制御手段は、前記判定手段が判定したかざし方の適否として、判定結果によって異なる態様の枠線によって、前記画像に含まれる物品を規定して表示部に表示させる、
   請求項１に記載の情報処理装置。
3. 前記判定手段が判定したかざし方の適否として表示させる枠線の表示方法を選択する選択手段をさらに備えた、
   請求項２に記載の情報処理装置。
4. 前記選択手段は、前記枠線の表示方法として色と、形状と、線の種類との少なくとも何れか一つから任意のものを選択させる、
   請求項３に記載の情報処理装置。
5. かざされた物品を撮像する撮像部が撮像した画像を取り込む画像取込手段と、
   前記画像取込手段が取り込んだ前記画像に含まれる前記物品を検出する検出手段と、
   前記検出手段によって検出された前記物品のかざし方の適否を判定する判定手段と、
   前記画像とともに前記判定手段が判定したかざし方の適否を、当該画像に重ねて表示部に表示させる表示制御手段と、
   前記物品を識別するための特徴量を用いて前記撮像部が撮像した商品を識別して売上登録処理を実行する売上登録手段と、
   を備えた店舗システム。
6. コンピュータを、
   かざされた物品を撮像する撮像部が撮像した画像を取り込む画像取込手段と、
   前記画像取込手段が取り込んだ前記画像に含まれる前記物品を検出する検出手段と、
   前記検出手段によって検出された前記物品のかざし方の適否を判定する判定手段と、
   前記画像とともに前記画像に前記判定手段が判定したかざし方の適否を、当該画像に重ねて表示部に表示させる表示制御手段と、
   として機能させるプログラム。

Images