JP2016115295A - 商品識別装置および商品認識ナビゲーション方法 - Google Patents

Abstract

【課題】取引の対象商品の候補の絞り込み精度を向上させる。【解決手段】商品識別装置２は、取扱商品毎に取扱商品の外観を表す基準画像と取扱商品の特徴部分を示す補助情報（補助画像やメッセージ情報など）とが記憶された記憶部と、オペレータが翳した物体を撮影して物体の撮像画像を取得するカメラ２７と、カメラ２７によって取得された撮像画像から物体を検出する物体検出部９１と、物体検出部９１で検出された物体と各取扱商品の基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み部９３と、絞り込み部９３で、所定条件の下で対象商品の候補が絞り込まれる場合に、絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分をカメラ２７に翳させる誘導を行う誘導部９４と、を備える。【選択図】図３

Description

本発明は、売上登録する商品を識別する商品識別装置および商品認識ナビゲーション方法に関する。

従来、電子式キャッシュレジスタ（商品登録装置）は、各商品を識別する商品識別装置と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末とを備えている。商品識別装置は、バーコード読み取り部によって商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品識別装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことでキャッシュレジスタのオペレータの負担を軽減することができる。

しかしながら、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。そのため、従来は、青果品などに対して、商品を指し示すボタンや画面タッチまたは別途用意されたバーコード表から該当商品のコードを選んでスキャナで読み取る、という運用がなされていた。

近年では、青果品などをオブジェクト認識して識別する商品識別装置を有し、商品識別装置で識別された商品を売上登録する商品登録装置が普及しはじめている（例えば、特許文献１参照）。この商品登録装置の商品識別装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、商品の外観にかかる特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。この商品識別装置は、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品を識別することができるので、店舗側の負担を軽減することができる。

特開２０１３−１８２３２３号公報（図８と段落００６８）

しかしながら、従来の商品登録装置の商品識別装置は、以下に説明するように、取引の対象商品の候補の絞り込み精度を向上させることが望まれている、という課題があった。

例えば、顧客は、スーパーマーケットで商品を購入する場合に、買物カゴなどに商品を入れた後、買物カゴをキャッシュレジスタに持って行き、買物カゴをキャッシュレジスタのオペレータに渡して、商品代金の精算を依頼する。

このとき、オペレータは、この顧客が持ってきた買物カゴ（以下、「第１の買物カゴ」という）に入っている各商品を順番に商品登録装置の商品識別装置に読み込ませることによって、その商品の商品情報を売上情報に仮登録させ、その商品を別の買物カゴ（以下、「第２の買物カゴ」という）に入れる、という動作を繰り返すことによって、第１の買物カゴに入っている各商品を売上登録する。

その際、商品識別装置は、即座に商品を認識できない場合がある。例えば、バーコード付き商品のバーコード部分がうまく撮影できない場合、商品識別装置は、即座に商品を認識できない。この場合に、オペレータは、商品識別装置のカメラに商品をできるだけ近づける操作により、商品識別装置に商品をオブジェクト認識させる。

このとき、商品識別装置は、カメラで取得された物体の撮像画像と記憶部に予め記録された各商品の外観を表す基準画像との類似度を判断する。そして、商品登録装置は、商品識別装置によって商品の候補を一意に絞り込むことができた場合に、その商品の候補を取引の対象商品として仮登録する。一方、商品識別装置は、商品の候補を一意に絞り込むことができなかった場合に、対象商品の確認画面を表示部に表示したり、または、対象商品の選択画面を表示部に表示したりしていた。

ここで、「対象商品の確認画面」とは、例えば、撮像画像に写る物体との類似度が比較的高い１つの商品を対象商品の候補とし、その候補が正しいか否かをオペレータに確認させて、正しければその候補を対象商品として仮登録させ、正しくなければ他の候補を検索させる構成になっている画面を意味している。また、「対象商品の選択画面」とは、例えば、撮像画像に写る物体との類似度が比較的高い複数の商品を対象商品の候補とし、複数の候補の中から対象商品をオペレータに選択させる構成になっている画面を意味している。

しかしながら、対象商品の確認画面や選択画面などの画面が表示された場合に、オペレータは、何らかの情報の入力操作を行う必要がある。そのため、オペレータは、入力操作のための時間と手間とが必要になる。したがって、商品識別装置としては、対象商品の確認画面や選択画面などの画面の表示をできるだけ抑制することが好ましく、これらの画面の表示が抑制されるように、取引の対象商品の候補の絞り込み精度を向上させることが望まれていた。

そこで、本発明は、商品の候補の絞り込み精度を向上させる商品識別装置および商品認識ナビゲーション方法を提供することを課題とする。

第１の発明は、上記目的を達成するため、
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、
オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、
前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出手段と、
前記物体検出手段で検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み手段と、
前記絞り込み手段で、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導手段と、を備える
ことを特徴とする商品識別装置である。

また第２の発明は、上記目的を達成するため、
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、を備える商品識別装置の制御手段が、前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出ステップと、
前記制御手段が、前記物体検出ステップで検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込みステップと、
前記制御手段が、前記絞り込みステップで、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導ステップと、を含む
ことを特徴とする商品認識ナビゲーション方法である。

本発明によれば、取引の対象商品の候補の絞り込み精度を向上させる商品識別装置および商品認識ナビゲーション方法を提供することが可能となる。

実施形態に係る商品識別装置を含む商品登録装置の外観を示す斜視図である。 実施形態に係る商品識別装置を含む商品登録装置の概略を示す構成図である。 実施形態に係る商品識別装置を含む商品登録装置の概略を示す機能ブロック図である。 実施形態に係る商品識別装置の正面図である。 実施形態で用いる特徴量ファイルの構成を示す図である。 ウサギのぬいぐるみの基準画像と抽出用画像と補助画像の一例を示す図である。 クマのぬいぐるみの基準画像と抽出用画像と補助画像の一例を示す図である。 実施形態に係る商品識別装置を含む商品登録装置の動作を示すフローチャートである。 表示画面の一例を示す説明図である。

以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

［実施形態］
本実施形態に係る商品識別装置は、店舗に陳列して販売する取扱商品の特徴部分を示す補助情報を記憶手段に予め記憶している。具体的には、商品識別装置は、取扱商品の特徴量の比較的多い領域（以下、「高特徴領域」という）を取扱商品の特徴部分とし、高特徴領域（特徴部分）を含む画像をオブジェクト認識の際に補助的に用いる補助画像とし、補助画像を補助情報として記憶手段に予め記憶している。

そして、商品識別装置は、基準画像に基づいて物体（商品）のオブジェクト認識を行った場合で、かつ、所定条件の下で、取引の対象商品の候補が絞り込まれるとき（例えば、物体に対する類似度が閾値以下であるものの、対象商品の候補が１つに絞り込まれるとき）に、絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の高特徴領域（特徴部分）を撮影手段に翳させる誘導を行う。これによって、商品識別装置は、高特徴領域を含む撮像画像を取得し、取得された撮像画像と補助画像との類似度に基づいて、対象商品の候補を一意に絞り込む。その結果、商品識別装置は、対象商品の候補の絞り込み精度を向上させることができる。

なお、本実施形態では、補助情報が商品の特徴部分を示す補助画像情報（以下、単に「補助画像」という）である場合を想定して説明する。しかしながら、補助情報は、補助画像と、取扱商品の特徴部分を示すメッセージ情報とを含むようにしてもよい。

＜商品登録装置の外部構成＞
以下、図１を参照して、実施形態に係る商品識別装置２を含む商品登録装置１の外部構成につき説明する。図１は、実施形態に係る商品識別装置２を含む商品登録装置１の外観を示す斜視図である。

図１に示すように、商品登録装置１は、各商品を識別する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。
商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。

ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図２参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。

ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、現金の収納部であり、ＰＯＳ端末３によって開放動作の制御を受ける。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。

ＰＯＳ端末３が載置されているチェックアウト台６とＬ字を形成するようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。顧客は、図１の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台５の荷受け面には、商品を収納する第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとが載置される。以下、第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。

第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２に翳（かざ）される。このとき、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮影して商品の撮像画像を取得する。

商品識別装置２では、カメラ２７により取得された撮像画像に含まれる物体（商品）が、後記する特徴量ファイル３６１（図２参照）に記録されたどの商品（取扱商品）に対応するかを識別してディスプレイ２２１に表示する。商品識別装置２は、更に、識別された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価などの売上登録に係る商品情報を、売上マスタファイル（不図示）などに記録して、売上登録を行う。

＜商品登録装置の内部構成＞
以下、図２を参照して、商品登録装置１の内部構成につき説明する。図２は、商品登録装置１の概略を示す構成図である。
図２に示すように、商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１にＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２とＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３とがバス接続されて構成されている。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。

表示・操作部２２は、ディスプレイ２２１と、タッチパネル２２２と、顧客用ディスプレイ２４と、キーボード２３とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する表示手段である。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。

カメラ２７は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサなどを備える撮影手段である。カメラ２７は、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）に翳された物体（商品）の撮影を行う。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮影を行う。カメラ２７が所定のフレームレートで順次撮影したフレーム画像（撮像画像）は、ＲＡＭ２１３に保存される。

スピーカ２８は、予め設定された警告音などを発生する音声出力手段である。スピーカ２８は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。
電源２９は、この商品識別装置２の各部に電力を供給する。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。

ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。

ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。

ＨＤＤ３６は、プログラムや各種ファイルが記憶された記憶手段である。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、例えば、商品販売データ処理用のプログラムや、特徴量ファイル３６１などが格納される。

特徴量ファイル３６１は、店舗に陳列して販売する取扱商品の各々について、取扱商品の売上登録にかかる情報と、取扱商品の外観を表す画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する。「取扱商品の外観を表す画像」は、カメラ２７で撮像されたフレーム画像（撮像画像）に写る物体のオブジェクト認識を行う際に、物体と取扱商品との類似度を算出するための基準として用いられる。以下、取扱商品の外観を表す画像を「基準画像」という。

インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。
プリンタ３８は、レシートなどに印字を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御の下で、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。

図３は、商品登録装置の概略を示す機能ブロック図である。以下の説明では、適宜図１と図２とを参照する。
図３に示すように、商品識別装置２のＣＰＵ２１１（図２参照）は、ＲＯＭ２１２（図２参照）に格納されるプログラムを実行することにより、画像取得部９０と、物体検出部９１、類似度演算部９２、絞り込み部９３、誘導部９４、確定通知部９５、入力取得部９６、情報出力部９７の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１（図２参照）は、ＨＤＤ３６（図２参照）に格納されるプログラムを実行することにより、売上登録部９９を具現化する。ＰＯＳ端末３のＨＤＤ３６（図２参照）には、更に、特徴量ファイル３６１が格納される。

画像取得部９０は、カメラ２７に撮像オン信号を出力して、このカメラ２７に撮像動作を開始させる。更に、画像取得部９０は、カメラ２７が撮影してＲＡＭ２１３に保存されたフレーム画像（撮像画像）を順次取り込む。画像取得部９０によるフレーム画像の取り込みは、ＲＡＭ２１３に保存された順に行われる。

物体検出部９１は、画像取得部９０によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品を撮影してフレーム画像を取得する。物体検出部９１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出（認識）する。

別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品および手の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、オペレータの手が検出された場合に、物体検出部９１は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部９１は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。

類似度演算部９２は、カメラ２７が撮影した物体（商品）のフレーム画像（撮像画像）から、この物体（商品）の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。このとき、類似度演算部９２は、この物体（商品）の輪郭や大きさを考慮しない。これにより類似度演算部９２は、処理時間を短縮することができる。
類似度演算部９２は、更に、特徴量ファイル３６１に記録された各取扱商品の基準画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、フレーム画像（撮像画像）に含まれている物体（商品）の特徴量と基準画像に含まれている各取扱商品の特徴量とをそれぞれ比較することで、撮影した物体（商品）と特徴量ファイル３６１に記録された取扱商品との類似度を算出する。ここで、「類似度」とは、特徴量ファイル３６１に記録されている各取扱商品が想定する基準画像を１００％の類似度とした場合に、物体（商品）の全部または一部の画像が取扱商品の基準画像とどの程度まで類似しているかを示すものである。なお、類似度演算部９２は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。

このように、フレーム画像（撮像画像）中に含まれる物体を認識することは一般物体認識（ｇｅｎｅｒｉｃ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，［ｏｎｌｉｎｅ］、情報処理学会論文誌，２００７年１１月１５日，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６、１−２４頁，［平成２６年９月８日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｍｍ．ｃｓ．ｕｅｃ．ａｃ．ｊｐ／ＩＰＳＪ−ＴＣＶＩＭ−Ｙａｎａｉ．ｐｄｆ＞

また、フレーム画像（撮像画像）をオブジェクト毎に領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Ｊａｍｉｅ Ｓｈｏｔｔeｎら，“Ｓｅｍａｎｔｉｃ Ｔｅｘｔｏｎ Ｆｏｒｅｓｔｓ ｆｏｒ Ｉｍａｇｅ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ”， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００８． ＣＶＰＲ ２００８． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，［平成２６年９月８日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒｘ．ｉｓｔ．ｐｓｕ．ｅｄｕ／ｖｉｅｗｄｏｃ／ｄｏｗｎ１ｏａｄ？ｄｏｉ＝１０．１．１．１４５．３０３６＆ｒｅｐ＝ｒｅｐ１＆ｔｙｐｅ＝ｐｄｆ＞

なお、撮影された物体（商品）のフレーム画像（撮像画像）と特徴量ファイル３６１に記録された取扱商品の基準画像との類似度の算出方法は、特に問わないものとする。例えば、商品の撮像画像と、特徴量ファイル３６１に記録された各取扱商品の基準画像との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合は、撮影された物体（商品）のフレーム画像（撮像画像）と、特徴量ファイル３６１に記録された各取扱商品の基準画像とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合は、各取扱商品に対する類似度の総和が１．０（１００％）となるように算出する。例えば、特徴量ファイル３６１に４つの取扱商品＃１〜＃４が記録されていたとする。このとき撮影された物体（商品）は、例えば、取扱商品＃１に対する類似度が０．６５、取扱商品＃２に対する類似度が０．２、取扱商品＃３に対する類似度が０．１、取扱商品＃４に対する類似度が０．０５などのように算出する。

絞り込み部９３は、画像取得部９０が取り込んだフレーム画像（撮像画像）毎に、物体（商品）のフレーム画像（撮像画像）と、特徴量ファイル３６１に記録されている各取扱商品の基準画像との類似度を比較することによって、取引の対象となる対象商品を検索して、撮像画像上の物体（商品）に該当する対象商品の候補を絞り込む。

本実施形態では、取扱商品の基準画像と、物体（商品）のフレーム画像（撮像画像）との類似度は、複数の条件が設けられている。絞り込み部９３は、これら満たされる条件に応じて取扱商品の確定あるいは商品認識のナビゲーション（誘導）を選定する。類似度に関する条件は特に限定されるものではないが、以下では、それぞれ、閾値ＳＭ，ＳＮ（ただし、ＳＭ＞ＳＮ）を規定する条件Ｍ，Ｎを用いる場合について説明する。

ここで、条件Ｍは、フレーム画像（撮像画像）上の物体を、特徴量ファイル３６１に記録された取扱商品のうちの一つとして一意に絞り込む（確定する）ための閾値ＳＭを規定する条件である。また、条件Ｎは、特徴量ファイル３６１に記録された全ての取扱商品の中から、フレーム画像（撮像画像）上の物体に該当するいくつかの対象商品の候補を抽出する（絞り込む）ための閾値ＳＮを規定する条件である。各閾値ＳＭ，ＳＮは、運用に応じて、任意の値に適宜設定することができる。

絞り込み部９３は、例えば、条件Ｍを満たす取扱商品（すなわち、物体との類似度が条件Ｍによって規定された閾値ＳＭを超える取扱商品）を、フレーム画像（撮像画像）上の物体に対して一意に絞り込まれた（確定された）商品であると判定する。そして、絞り込み部９３は、特徴量ファイル３６１に記録された各取扱商品の中から条件Ｍを満たす取扱商品を抽出することにより、撮影した物体（商品）に該当する１つ取扱商品を対象商品の候補として絞り込むことができる。

また、絞り込み部９３は、条件Ｍを満たさないものの、条件Ｎを満たす取扱商品（すなわち、物体に対する類似度が、条件Ｍによって規定された閾値ＳＭ以下であるものの、条件Ｎによって規定された閾値ＳＮを超える取扱商品）を、取引の対象商品として確定した確定商品ではなく、カメラ２７が撮影した物体（商品）に該当するいくつかの取扱商品の候補のうちの一つであると判定する。そして、絞り込み部９３は、特徴量ファイル３６１に記録された各取扱商品の中から条件Ｎを満たす取扱商品を抽出することにより、撮影した物体（商品）に該当するいくつかの取扱商品の候補を対象商品の候補として絞り込むことができる。このとき、絞り込み部９３は、例えば、条件Ｍによって規定された閾値ＳＭ以下であるものの、物体に対する類似度が最も高い１つの取扱商品を、対象商品の候補として絞り込むこともできる。

誘導部９４は、絞り込み部９３で所定条件Ｍ，Ｎの下で対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報（補助画像やメッセージ情報など）に基づいて、オペレータに対して物体の高特徴領域（特徴部分）をカメラ２７に翳させる誘導を行う。

本実施形態では、補助情報が補助画像として構成されており、誘導部９４は、絞り込まれた候補に対応する補助画像に基づいて誘導画像ＧＰ（図９（ｂ）参照）を作成し、作成された誘導画像ＧＰをディスプレイ２２１に表示させるものとして説明する。

より詳細には、誘導部９４は、撮像画像に写っている物体との類似度が最も高い取扱商品に該当する特徴量ファイル３６１の誘導時参照欄３６１ｇ（図５参照）を参照して、その取扱商品の抽出用画像と補助画像とを取得し、取得された抽出用画像と補助画像とをフレーム画像（撮像画像）に合成して誘導画像ＧＰ（図９（ｂ）参照）を作成し、作成された誘導画像ＧＰをディスプレイ２２１に表示させる。

なお、誘導画像ＧＰがディスプレイ２２１に表示されていても、画像取得部９０による画像の取得処理と、物体検出部９１による物体の検出処理と、類似度演算部９２による類似度の演算処理とは、継続される。

ただし、誘導部９４は、例えば、「ぬいぐるみの尻尾部分をカメラに翳して下さい」などのメッセージ情報が補助情報の中に含まれている場合に、メッセージ情報をディスプレイ２２１にテキスト表示することによって、誘導を行うようにしてもよい。また、誘導部９４は、このような場合に、メッセージ情報に対応する音声をスピーカ２８（図２参照）から出力することによって、誘導を行うようにしてもよい。

確定通知部９５は、カメラ２７によって撮影された物体（商品）が、条件を満たした取扱商品であり、取引の対象商品として一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。

より詳細には、確定通知部９５は、条件を満たす取引の対象商品が、カメラ２７によって撮影された物体（商品）として抽出された場合に、取引の対象商品が確定商品として一意的に確定されたことを示す確定画面をディスプレイ２２１に表示させるとともに、確定商品に関する情報をスピーカ２８に出力する。スピーカ２８は、入力された情報を音声で出力することにより、確定商品を示す情報をオペレータや客に報知する。

入力取得部９６は、タッチパネル２２２またはキーボード２３を介してディスプレイ２２１の表示に対応する各種入力操作を受け付ける。
情報出力部９７は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。

なお、情報出力部９７は、タッチパネル２２２またはキーボード２３を介して別途入力された販売個数を、商品ＩＤなどと共にＰＯＳ端末３に出力してもよい。また、情報出力部９７がＰＯＳ端末３に出力する情報としては、情報出力部９７が特徴量ファイル３６１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、基準画像、写真画像のファイル名をＰＯＳ端末３に通知してもよい。

ＰＯＳ端末３の売上登録部９９は、情報出力部９７から出力された商品ＩＤと販売個数とに基づいて、取引の対象商品の売上登録を行う。具体的にいうと、売上登録部９９は、特徴量ファイル３６１を参照して、通知された商品ＩＤと、これに対応する商品分類や、商品名、単価、販売個数を売上マスタファイルなどに記録して、取引の対象商品の売上登録（仮登録）を行う。

＜商品識別装置のディスプレイ周りの構成＞
以下、図４を参照して、商品識別装置２のディスプレイ２２１周りの構成につき説明する。図４は、実施形態に係る商品識別装置２の正面図である。

図４に示すように、商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（撮影手段）とが配置される。認識領域８Ｍは、カメラ２７が物体を撮影し、この物体を検知して商品を識別する領域である。
この商品識別装置２は、カメラ２７による物体を検知し、物体の商品名などを識別し、ＰＯＳ端末３に商品登録処理を行わせる。

＜主な情報の概要＞
以下、図５〜図７を参照して、実施形態で用いる主な情報の概要につき説明する。図５は、実施形態で用いる特徴量ファイル３６１の構成を示す図である。図６は、ウサギのぬいぐるみの基準画像と抽出用画像と補助画像の一例を示す図である。図７は、クマのぬいぐるみの基準画像と抽出用画像と補助画像の一例を示す図である。ここでは、顧客が購入しようとしている商品（取引の対象商品）が「ウサギのぬいぐるみ」であり、商品識別装置２が「ウサギのぬいぐるみ」のオブジェクト認識を行い、その結果、「ウサギのぬいぐるみ」と「クマのぬいぐるみ」とが取引の対象商品の候補として抽出される場合を想定して説明する。本実施形態では、「ウサギのぬいぐるみ」の尻尾部分と「クマのぬいぐるみ」の尻尾部分の形状が相違しており、尻尾部分が高特徴領域になっているものとして説明する。

図５に示すように、特徴量ファイル３６１の各レコードは、特徴量欄３６１ａ、画像リンク欄３６１ｂ、種別欄３６１ｃ、商品ＩＤ欄３６１ｄ、単価欄３６１ｅ、商品名欄３６１ｆ、誘導時参照欄３６１ｇの各欄を含んでいる。この特徴量ファイル３６１には、商品毎に、オブジェクト認識の際に用いる各商品の基準画像や、高特徴領域を抽出するための抽出用画像、高特徴領域を含む補助画像などの画像と、各画像の特徴量との組み合わせが格納される。

特徴量欄３６１ａは、この商品に対応する画像の特徴量を格納する欄である。特徴量欄３６１ａの格納情報は、後記する画像リンク欄３６１ｂの画像を分析して得られるものである。

画像リンク欄３６１ｂは、この商品に対応する画像のリンク情報を格納する欄である。例えば、図５に示す例では、商品ＩＤが「Ｎ０００１」となっている取扱商品に対し、基準画像（Ｎ０００１Ｆ．ｊｐｇ）と抽出用画像（Ｎ０００１Ｂ．ｊｐｇ）と補助画像（Ｎ０００１ＳＰ．ｊｐｇ）とを対応付けるリンク情報が格納されている。なお、各画像を表す符号の末尾に付された英文字について、「Ｆ」が取扱商品の正面画像を意味しており、「Ｂ」が取扱商品の背面画像を意味しており、「ＳＰ」が取扱商品の高特徴領域の拡大画像を意味している。

ここでは、取扱商品の正面画像が基準画像になっている場合を想定して説明する。しかしながら、取扱商品によっては、他の方向の画像が基準画像になる場合もある。また、ここでは、取扱商品の高特徴領域が取扱商品の背面画像の中に含まれている場合を想定して説明する。しかしながら、取扱商品の高特徴領域が他の方向の画像（例えば、正面画像）の中に含まれている場合もある。仮に、取扱商品の高特徴領域が正面画像中に含まれている場合に、その正面画像が抽出用画像となるため、その正面画像のリンク情報が抽出用画像の画像リンク欄３６１ｂに登録される。

本実施形態では、リンク情報によって各取扱商品の商品ＩＤにリンク付けされた「補助画像」が「補助情報」として用いられている。なお、特徴量ファイル３６１は、例えば、各取扱商品の商品ＩＤに対応して「ぬいぐるみの尻尾部分をカメラに翳して下さい」などのメッセージ情報を「補助情報」として含むようにしてもよい。

種別欄３６１ｃは、画像リンク欄３６１ｂでリンクされた画像（以下、「リンク画像」という）の種別情報を格納する欄である。例えば、図５に示す例では、種別欄３６１ｃには、リンク画像が基準画像であることを表す「基準」、リンク画像が抽出用画像であることを表す「抽出用」、リンク画像が補助画像であることを表す「補助」の３種類の種別情報が格納されている。

商品ＩＤ欄３６１ｄは、この商品を識別する情報を格納する欄である。
単価欄３６１ｅは、この商品の単価を格納する欄である。
商品名欄３６１ｆは、この商品の名称を格納する欄である。

誘導時参照欄３６１ｇは、誘導部９４によって誘導画像ＧＰ（図９（ｂ）参照）が作成される際に参照される画像（以下、「参照画像」と称する）を指定する参照情報が格納されている。例えば、図５に示す例では、商品ＩＤが「Ｎ０００１」となっている取扱商品の誘導時参照欄３６１ｇには、基準画像（Ｎ０００１Ｆ．ｊｐｇ）に対して抽出用画像（Ｎ０００１Ｂ．ｊｐｇ）を指定する参照情報が格納されており、また、抽出用画像（Ｎ０００１Ｂ．ｊｐｇ）に対して補助画像（Ｎ０００１ＳＰ．ｊｐｇ）を指定する参照情報が格納されている。これらの参照情報は、補助画像が取扱商品のどこの部位の画像であるのかを指し示す情報となっている。

図６（ａ）は、「ウサギのぬいぐるみ」の正面方向の基準画像（Ｎ０００１Ｆ．ｊｐｇ）を示しており、また、図６（ｂ）は、「ウサギのぬいぐるみ」の抽出用画像（Ｎ０００１Ｂ．ｊｐｇ）を示しており、また、図６（ｃ）は、「ウサギのぬいぐるみ」の補助画像（Ｎ０００１ＳＰ．ｊｐｇ）を示している。図６（ｃ）に示す補助画像（Ｎ０００１ＳＰ．ｊｐｇ）は、図６（ｂ）に示す抽出用画像（Ｎ０００１Ｂ．ｊｐｇ）に含まれている高特徴領域ＳＰ１を撮影した画像である。

一方、図７（ａ）は、「クマのぬいぐるみ」の正面方向の基準画像（Ｎ０００２Ｆ．ｊｐｇ）を示しており、また、図７（ｂ）は、「クマのぬいぐるみ」の抽出用画像（Ｎ０００２Ｂ．ｊｐｇ）を示しており、また、図７（ｃ）は、「クマのぬいぐるみ」の補助画像（Ｎ０００２ＳＰ．ｊｐｇ）を示している。図７（ｃ）に示す補助画像（Ｎ０００２ＳＰ．ｊｐｇ）は、図７（ｂ）に示す抽出用画像（Ｎ０００２Ｂ．ｊｐｇ）に含まれている高特徴領域ＳＰ２を撮影した画像である。

一般的に、ぬいぐるみなどは、正面方向の基準画像が最もオブジェクト認識に適した方向である。商品識別装置２は、撮像画像に写っている物体（ここでは、顧客の購入しようとしている「ウサギのぬいぐるみ」）のオブジェクト認識を行う場合に、特徴量ファイル３６１の画像リンク欄３６１ｂのリンク情報で指定された基準画像に基づいて商品検索を行って、対象商品を絞り込む。

この絞り込みにおいて、例えば、物体に対する類似度が閾値以下であるものの、対象商品の候補が１つに絞り込まれる場合に、商品識別装置２は、１つに絞り込まれた候補の補助画像に基づいて対象商品の候補を一意に絞り込む（確定する）ことを試みる。また、この絞り込みにおいて、例えば、物体に対する類似度が閾値を超えるいくつかの取扱商品の候補に絞り込まれる場合に、商品識別装置２は、物体に対する類似度が最も高い候補の補助画像に基づいて対象商品を一意に絞り込む（確定する）ことを試みる。これにより、商品識別装置２は、対象商品の候補の絞り込み精度を向上させる。

＜商品登録装置の動作＞
本実施形態では、商品登録装置１の商品識別装置２は、基準画像に基づいて物体（商品）のオブジェクト認識を行った場合で、かつ、所定条件の下で対象商品の候補が絞り込まれるとき（例えば、物体に対する類似度が閾値以下であるものの、商品の候補が１つに絞り込まれるとき）に、補助画像に基づくオブジェクト認識で対象商品の候補を一意に絞り込むことを試みる。その際に、商品識別装置２は、補助情報に基づいて、物体の高特徴領域をカメラ２７に翳すように、オペレータに対して誘導を行う。

以下、図８及び図９を参照して、商品登録装置１の動作につき説明する。図８は、商品登録装置１の動作を示すフローチャートである。図９は、商品識別装置２のディスプレイ２２１（図１参照）に表示される表示画面の一例を示す説明図である。

商品登録装置１は、オペレータによって商品登録処理の開始が指示されることにより、動作を開始する。実施形態の商品仮登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）に入っている物品（商品）であるウサギのぬいぐるみを取り出して、読取窓５２のカメラ２７に翳して、このウサギのぬいぐるみを取引の対象商品として仮登録して第２の買物カゴ４Ｒに入れるまでの一連の処理である。

図８に示すように、ステップＳ１１において、画像取得部９０は、カメラ２７に撮像オン信号を出力してカメラ２７による商品のフレーム画像（撮像画像）のキャプチャ（撮像）を開始する。画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む。

商品登録装置１の商品識別装置２は、画像取得部９０に取り込まれたフレーム画像（撮像画像）をディスプレイ２２１（図１参照）に表示する。ここでは、商品識別装置２が撮像画像ＣＰ（図９（ａ）参照）をディスプレイ２２１に表示した場合を想定して説明する。

ステップＳ１２において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。これにより、物体検出部９１は、物体検出処理を行う。

ステップＳ１３において、物体検出部９１は、商品である物体の全部または一部の認識に成功したか否かを判断する。商品である物体の認識に成功した（Ｙｅｓ）場合に、処理は、ステップＳ１４に進み、一方、商品である物体の認識に成功しなかった（Ｎｏ）場合に、処理は、ステップＳ１１に戻る。
ステップＳ１１〜Ｓ１３を具体的にいうと、オペレータが商品を読取窓５２のカメラ２７に翳し、商品識別装置２が、この商品である物体の検出（認識）に成功する一連の処理である。

ステップＳ１４において、類似度演算部９２は、商品の全部または一部の画像から商品の特徴量を読み取る。更に、絞り込み部９３は、物体に対する類似度が閾値ＳＭを超える取扱商品が特徴量ファイル３６１にあるか否かを判定する。また、絞り込み部９３は、物体に対する類似度が閾値ＳＭ以下であるものの、閾値ＳＮを超える取扱商品が特徴量ファイル３６１にあるか否かを判定する。そして、絞り込み部９３は、該当する１乃至複数の取扱商品がある場合に、各取扱商品を対象商品の候補とし、対象商品の候補の商品ＩＤや商品名、商品単価、などの商品情報を検索して呼び出す。そして、類似度演算部９２は、絞り込み処理を行って、対象商品の候補の絞り込みを試みる。

ステップＳ１５において、絞り込み部９３は、候補を絞り込めたか否かを判定する。ステップＳ１５において、候補を絞り込めた（Ｙｅｓ）と判定された場合に、処理は、ステップＳ１６に進み、一方、候補を絞り込められなかった（Ｎｏ）と判定された場合に、ステップＳ１１に戻る。

ここで、「候補を絞り込めた（Ｙｅｓ）と判定された場合」とは、物体に対する類似度が閾値ＳＭを超えるいくつかの取扱商品を抽出することができた場合と、物体に対する類似度が閾値ＳＭ以下であるものの、閾値ＳＮを超えるいくつかの取扱商品を抽出することができた場合との双方を意味している。

また、「候補を絞り込められなかった（Ｎｏ）と判定された場合」とは、物体に対する類似度が閾値ＳＮ以下である取扱商品しか抽出することができなかった場合を意味している。

ステップＳ１５で候補を絞り込められなかった（Ｎｏ）と判定された場合に、ステップＳ１６において、誘導部９４は、絞り込み部９３によって抽出された対象商品の候補のうち、撮像画像ＣＰに写っている物体との類似度が最も高い取扱商品（ここでは、商品ＩＤを「Ｎ０００１」とする「ウサギのぬいぐるみ」）に該当する特徴量ファイル３６１の誘導時参照欄３６１ｇ（図５参照）を参照する。

次に、ステップＳ１７において、誘導部９４は、その取扱商品の抽出用画像（Ｎ０００１Ｂ．ｊｐｇ（図６（ｂ）参照））と補助画像（Ｎ０００１ＳＰ．ｊｐｇ（図６（ｃ）参照））とを取得する。

そして、ステップＳ１８において、誘導部９４は、対象商品の候補の絞り込み精度を向上させるために、取得された抽出用画像（Ｎ０００１Ｂ．ｊｐｇ）と補助画像（Ｎ０００１ＳＰ．ｊｐｇ）とをフレーム画像（撮像画像）ＣＰに合成して誘導画像ＧＰ（図９（ｂ）参照）を作成し、作成された誘導画像ＧＰを商品のナビゲーションとしてディスプレイ２２１に表示させる。これにより、誘導部９４は、オペレータに対して誘導処理を行う。

このとき、誘導部９４は、商品のナビゲーションとして、例えば、「ぬいぐるみの尻尾部分をカメラに翳して下さい」などのメッセージ情報をディスプレイ２２１にテキスト表示したり、メッセージ情報に対応する音声をスピーカ２８（図２参照）から出力したりすることによって、誘導処理を行ってもよい。

オペレータは、商品のナビゲーション（例えば、誘導画像ＧＰの表示）に従って、物体の高特徴領域をカメラ２７に翳すように、物体の向きを変えたり又は移動させたりする操作を行う。これにより、商品登録装置１は、物体の高特徴領域が写っているフレーム画像（撮像画像）を取得する。そして、絞り込み部９３は、物体検出部９１で検出された物体を類似度の最も高い取扱商品の補助画像と比較して類似度を判断することによって、対象商品の候補を一意に絞り込むことを試みる。

次に、ステップＳ１９において、絞り込み部９３は、補助画像に基づく類似度の判断において、物体に対する類似度が所定閾値を超えるか否かを判定することにより、対象商品の候補を一意に絞り込めたか否かを判断する。

ステップＳ１９で対象商品の候補を一意に絞り込められなかった（Ｎｏ）場合に、処理は、ステップＳ１１に戻る。一方、ステップＳ１９で対象商品の候補を一意に絞り込めた（Ｙｅｓ）場合に、処理は、ステップＳ２１に進む。この場合に、ステップＳ２１において、確定通知部９５は、一意に絞り込まれた対象商品の候補を確定商品とし、確定商品の画像とともに、商品名と単価とをウインドウ表示し、確定商品に関する情報をスピーカ２８に出力する。これにより確定通知部９５は、対象商品の候補を一意に絞り込めたこと（すなわち、確定商品を確定したこと）をオペレータに知らせることができる。

ステップＳ２２において、情報出力部９７は、確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力し、図８の処理を終了する。ＰＯＳ端末３は、この商品を仮登録し、精算の指示と共に商品マスタファイルに登録する。

係る構成において、商品識別装置２は、基準画像に基づいて物体（商品）のオブジェクト認識を行った場合で、かつ、所定条件の下で対象商品の候補が絞り込まれるとき（例えば、物体に対する類似度が閾値以下であるものの、対象商品の候補が１つに絞り込まれるときや、物体に対する類似度が閾値を超える少数の対象商品の候補に絞り込まれるとき）に、補助情報に基づいて、物体の高特徴領域をカメラ２７に翳すように、オペレータに対して誘導を行う。これによって、商品識別装置２は、高特徴領域を含む撮像画像を取得し、取得された撮像画像と補助画像との類似度に基づいて、対象商品の候補を一意に絞り込むことを試みることができる。その結果、商品識別装置２は、対象商品の候補の絞り込み精度（特定精度）を向上させることができる。

なお、特徴量ファイル３６１や抽出画像、補助画像などの内容は、取扱商品に応じて、また、運用に応じて適宜変更することができる。例えば、補助画像は、１つだけでなく、複数あってもよい。また、補助画像は、取扱商品の上面や、下面、右面、左面、及び、背面などの各部位の中のいずれかの１乃至複数の部位の画像であってもよい。

また、商品識別装置２は、類似度の高低の判断結果にかかわらず、オペレータがカメラ２７の前で物体（商品）の翳し操作を行っている場合に、撮像画像を逐次モニタリングし、対象商品の候補がある程度推定されるときに、どのように物体（商品）の翳し操作を行えばよいのかを示す誘導画面をディスプレイ２２１に表示させるようにしてもよい。

以上の通り、本実施形態に係る商品識別装置２によれば、対象商品の候補の絞り込み精度を向上させることができる。

なお、本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。

例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本発明は、実施形態の構成の一部を他の構成に置き換えることができる。また、本発明は、実施形態の構成から一部の構成を削除することができる。

また、例えば、商品識別装置２は、撮像画像として物体の正面画像を取得している場合で、かつ、物体の高特徴領域（特徴部分）が物体の正面側にあるときに、その高特徴領域がカメラ２７に翳されるように、物体を水平移動させたり又はカメラ２７に近づけさせたりする内容の誘導画面ＧＰをディスプレイ２２１に表示してもよい。

また、例えば、本発明は、店員がオペレータとなって操作するキャッシュレジスタに限定されるものではなく、所謂「セルフレジ」と称される、顧客自らがオペレータとなって操作するキャッシュレジスタに適用してもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、
オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、
前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出手段と、
前記物体検出手段で検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み手段と、
前記絞り込み手段で、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導手段と、を備える
ことを特徴とする商品識別装置。
＜請求項２＞
請求項１に記載の商品識別装置において、
前記所定条件は、前記物体に対する類似度の閾値を規定しており、
前記絞り込み手段は、前記物体に対する類似度が前記閾値以下であるものの、前記物体に対する類似度が最も高い１つの取扱商品を、前記対象商品の候補として絞り込む
ことを特徴とする商品識別装置。
＜請求項３＞
請求項１又は請求項２に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示す補助画像を含んでおり、
前記誘導手段は、前記撮像画像と前記補助画像とが合成された誘導画像を生成して、当該誘導画像を表示手段に表示することによって、前記誘導を行う
ことを特徴とする商品識別装置。
＜請求項４＞
請求項１乃至請求項３のいずれか一項に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、
前記誘導手段は、前記メッセージ情報を表示手段にテキスト表示することによって、前記誘導を行う
ことを特徴とする商品識別装置。
＜請求項５＞
請求項１乃至請求項４のいずれか一項に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、
前記誘導手段は、前記メッセージ情報に対応する音声を音声出力手段から出力することによって、前記誘導を行う
ことを特徴とする商品識別装置。
＜請求項６＞
請求項１乃至請求項５のいずれか一項に記載の商品識別装置において、
前記補助情報は、前記特徴部分を示す補助画像を含んでおり、
前記絞り込み手段は、前記誘導手段による誘導後に、前記物体検出手段で検出された前記物体を類似度の最も高い取扱商品の前記補助画像と比較して類似度を判断することによって、前記対象商品の候補を一意に絞り込む
ことを特徴とする商品識別装置。
＜請求項７＞
取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、を備える商品識別装置の制御手段が、前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出ステップと、
前記制御手段が、前記物体検出ステップで検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込みステップと、
前記制御手段が、前記絞り込みステップで、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導ステップと、を含む
ことを特徴とする商品認識ナビゲーション方法。

１ 商品登録装置
２ 商品識別装置
２１ マイクロコンピュータ （制御手段）
２１１ ＣＰＵ
２１２ ＲＯＭ
２１３ ＲＡＭ
２２ 表示・操作部
２２１ ディスプレイ （表示手段）
２２２ タッチパネル
２７ カメラ （撮影手段）
３ ＰＯＳ端末
３６ ＨＤＤ（記憶手段）
３６１ 特徴量ファイル
９０ 画像取得部
９１ 物体検出部（物体検出手段）
９２ 類似度演算部
９３ 絞り込み部（絞り込み手段）
９４ 誘導部（誘導手段）
９５ 確定通知部
９６ 入力取得部
９７ 情報出力部
９９ 売上登録部
ＣＰ 撮像画像
ＧＰ 誘導画像
Ｎ０００１Ｆ．ｊｐｇ，Ｎ０００２Ｆ．ｊｐｇ 基準画像
Ｎ０００１Ｂ．ｊｐｇ，Ｎ０００２Ｂ．ｊｐｇ 抽出用画像
Ｎ０００１ＳＰ．ｊｐｇ，Ｎ０００２ＳＰ．ｊｐｇ 補助画像
ＳＰ１，ＳＰ２ 高特徴領域

Claims (7)

1. 取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、
   オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、
   前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出手段と、
   前記物体検出手段で検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込み手段と、
   前記絞り込み手段で、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導手段と、を備える
   ことを特徴とする商品識別装置。
2. 請求項１に記載の商品識別装置において、
   前記所定条件は、前記物体に対する類似度の閾値を規定しており、
   前記絞り込み手段は、前記物体に対する類似度が前記閾値以下であるものの、前記物体に対する類似度が最も高い１つの取扱商品を、前記対象商品の候補として絞り込む
   ことを特徴とする商品識別装置。
3. 請求項１又は請求項２に記載の商品識別装置において、
   前記補助情報は、前記特徴部分を示す補助画像を含んでおり、
   前記誘導手段は、前記撮像画像と前記補助画像とが合成された誘導画像を生成して、当該誘導画像を表示手段に表示することによって、前記誘導を行う
   ことを特徴とする商品識別装置。
4. 請求項１乃至請求項３のいずれか一項に記載の商品識別装置において、
   前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、
   前記誘導手段は、前記メッセージ情報を表示手段にテキスト表示することによって、前記誘導を行う
   ことを特徴とする商品識別装置。
5. 請求項１乃至請求項４のいずれか一項に記載の商品識別装置において、
   前記補助情報は、前記特徴部分を示すメッセージ情報を含んでおり、
   前記誘導手段は、前記メッセージ情報に対応する音声を音声出力手段から出力することによって、前記誘導を行う
   ことを特徴とする商品識別装置。
6. 請求項１乃至請求項５のいずれか一項に記載の商品識別装置において、
   前記補助情報は、前記特徴部分を示す補助画像を含んでおり、
   前記絞り込み手段は、前記誘導手段による誘導後に、前記物体検出手段で検出された前記物体を類似度の最も高い取扱商品の前記補助画像と比較して類似度を判断することによって、前記対象商品の候補を一意に絞り込む
   ことを特徴とする商品識別装置。
7. 取扱商品毎に当該取扱商品の外観を表す基準画像と当該取扱商品の特徴部分を示す補助情報とが記憶された記憶手段と、オペレータが翳した物体を撮影して当該物体の撮像画像を取得する撮影手段と、を備える商品識別装置の制御手段が、前記撮影手段によって取得された撮像画像から前記物体を検出する物体検出ステップと、
   前記制御手段が、前記物体検出ステップで検出された前記物体と各取扱商品の前記基準画像との類似度により取引の対象商品の候補を絞り込む絞り込みステップと、
   前記制御手段が、前記絞り込みステップで、所定条件の下で前記対象商品の候補が絞り込まれる場合に、当該絞り込まれた候補に対応する補助情報に基づいて、オペレータに対して物体の特徴部分を前記撮影手段に翳させる誘導を行う誘導ステップと、を含む
   ことを特徴とする商品認識ナビゲーション方法。

Images