JP2015099550A - 商品認識装置及び商品認識プログラム - Google Patents

Abstract

【課題】商品を認識できずに無反応状態になっていることをオペレータに知らしめる。【解決手段】商品認識装置は、撮像された画像からその画像に写し出された物体を検出し、物体の画像から当該物体の外観特徴量を抽出する。商品認識装置は、抽出された外観特徴量を、認識対象商品毎にその商品の表面情報を表す特徴量データが保存された辞書ファイルの特徴量データと照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。そして商品認識装置は、算出された類似度に基づき物体が商品であるか否かを認識し、物体が商品であると認識されない場合に、操作者に対して物体の画像領域を報知する。【選択図】 図８

Description

本発明の実施形態は、撮像画像から商品を認識する商品認識装置及びコンピュータを当該商品認識装置にとして機能させるための商品認識プログラムに関する。

対象となる物品（オブジェクト）を撮像部で撮像して得られる画像データから当該物品の外観特徴量を抽出し、認識辞書ファイルに予め登録された各物品の基準画像の特徴量データと照合して特徴量の類似度を算出し、この類似度に応じて当該物品を認識する技術がある。このような技術は、一般物体認識（generic object recognition）と呼ばれており、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
近年、例えば小売店の会計システム（ＰＯＳシステム）において、顧客が買い上げる商品、特に、野菜、果物等のようにバーコードが付されていない商品の認識装置に、上述した一般物体認識の技術を適用することが提案されている。この場合、オペレータ（店員または客）は撮像部に向けて認識対象の商品を翳す。そうすると、商品認識装置では、撮像画像から商品が認識されて、認識結果を示す情報（例えば商品名）が表示部に表示される。

しかし、必ずしも商品が認識されるとは限らない。例えば、オペレータが手で商品を隠していたために商品が認識されない場合がある。あるいは、類似する特徴量データが認識辞書ファイルに登録されていないために商品が認識されない場合もある。また、商品認識プログラムがフリーズしたために商品が認識されない場合もある。

商品が認識されない場合、商品認識装置は無反応である。このため、商品を認識中であるのか認識できなかったのかの判断が難しく、多くのオペレータは、商品をかざす位置を変えたり、かざす向きを変えたりして試行していたため、ストレスを感じていた。

特開２０１３−０８９０８５号公報

一実施形態が解決しようとする課題は、商品を認識できずに無反応状態になっていることをオペレータに知らしめることができる商品認識装置を提供しようとするものである。

一実施形態において、商品認識装置は、検出手段、抽出手段、算出手段、認識手段及び報知手段を含む。検出手段は、撮像された画像からその画像に写し出された物体を検出する。抽出手段は、検出手段で検出された物体の画像から当該物体の外観特徴量を抽出する。算出手段は、抽出手段で抽出された外観特徴量を、認識対象商品毎にその商品の表面情報を表す特徴量データが保存された辞書ファイルの特徴量データと照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。認識手段は、算出手段で算出された類似度に基づき物体が商品であるか否かを認識する。報知手段は、認識手段で物体が商品であると認識されない場合に、操作者に対して物体の画像領域を報知する。

店舗会計システムの外観図。 スキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 スキャナ装置のＲＡＭに形成される主要なメモリエリアを示す模式図。 商品認識プログラムに従い、スキャナ装置のＣＰＵが実行する主要な情報処理手順を示す流れ図。 商品の認識が行われたときのタッチパネルの画面例を示す模式図。 商品の認識が行われないときのタッチパネルの画面例を示す模式図。 物体が商品であると認識されない場合の報知画面の一例を示す模式図。 物体が商品であると認識されない場合の報知画面の他の例を示す模式図。 物体が商品であると認識されない場合の報知画面の他の例を示す模式図。

以下、商品認識装置の実施形態について、図面を用いて説明する。なお、本実施形態は、野菜，果物等を商品として取扱う小売店の店舗会計システムを構築するスキャナ装置１に、商品認識装置としての機能を持たせた場合である。

図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。スキャナ装置１とＰＯＳ端末２とは、通信ケーブル３００（図２を参照）によって電気的に接続される。

スキャナ装置１は、キーボード１１、商品の読取に必要なデバイスとしてタッチパネル１２及び客用ディスプレイ１３を備える。これらのデバイスは、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、撮像部１４はCMOS(complementary metal oxide semiconductor)イメージセンサであってもよい。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。これらのデバイスのうち、キーボード２１、オペレータ用ディスプレイ２２及び客用ディスプレイ２３は、ＰＯＳ端末２の本体を構成する筐体の上面に配置される。レシートプリンタ２４は、上記筐体に内蔵され、このプリンタによって印字されたレシートが筐体正面に形成されるレシート発行口から発行される。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、スキャナ部１０１と操作・出力部１０２とを備える。スキャナ部１０１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３及び接続インターフェース１１４を備える。そしてスキャナ部１０１は、アドレスバス，データバスを含むバスライン１１５により、上記ＣＰＵ１１１と、ＲＯＭ１１２，ＲＡＭ１１３及び接続インターフェース１１４とを接続する。またスキャナ部１０１は、上記バスライン１１５に、図示しない入出力回路を介して前記撮像部１４を接続する。

ＣＰＵ１１１は、コンピュータの中枢部分に相当する。ＣＰＵ１１１は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置１としての各種の機能を実現するべく各部を制御する。

ＲＯＭ１１２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１１２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ１１２は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを記憶する場合もある。

ＲＡＭ１１３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１１３は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ１１３は、撮像部１４で撮像されたフレーム画像を格納する等、ＣＰＵ１１１が各種の処理を行う際のワークエリアとしても利用される。

操作・出力部１０２は、接続インターフェース１１６を含む。そして操作・出力部１０２は、この接続インターフェース１１６にバスライン１１７を接続し、さらにこのバスライン１１７に、図示しない入出力回路を介して前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３を接続して、操作・出力部１０２としての機能を発揮する。タッチパネル１２は、パネル型のディスプレイ１２ａと、このディスプレイ１２ａの画面上に重ねて配置されたタッチパネルセンサ１２ｂとを備える。また操作・出力部１０２は、バスライン１１７に音声合成部１１８を接続する。音声合成部１１８は、バスライン１１７を介して入力されるコマンドに応じて音声信号をスピーカ１７に出力する。スピーカ１７は、音声信号を音声に変換して出力する。

スキャナ部１０１の接続インターフェース１１４と、操作・出力部１０２の接続インターフェース１１６とは、通信ケーブル３００を介して接続される。この接続により、スキャナ部１０１からのデータ信号が操作・出力部１０２に与えられ、操作・出力部１０２の動作が制御される。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、補助記憶部２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担う店舗サーバ（不図示）と接続される。この接続により、ＰＯＳ端末２は、店舗サーバとデータの送受信が可能となる。

接続インターフェース２０７は、通信ケーブル３００を介して、スキャナ装置１の両接続インターフェース１１４，１１６と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１のスキャナ部１０１から情報を受信する。一方、スキャナ装置１は、ＰＯＳ端末２の補助記憶部２０５に保存されているデータファイルにアクセスする。

補助記憶部２０５は、例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置であって、種々のプログラムの他、認識辞書ファイル３０、ＰＬＵファイル４０等のデータファイルを保存する。

図３は、認識辞書ファイル３０に保存される商品別辞書データの構造を示す模式図である。図３に示すように、認識辞書ファイル３０には、認識対象である商品毎に、その商品を識別する商品ＩＤ及び商品名と関連付けて、複数の特徴量データが保存される。特徴量データは、対応する商品ＩＤで識別される商品を撮影した基準画像から、その商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたもので、１つの商品に対し、その商品を様々な方向から見たときの特徴量データ１〜Ｎがそれぞれ保存される。なお、１つの商品に対する特徴量データの数Ｎは、固定ではない。また、特徴量データの数Ｎは商品によって異なる。また、商品名は必ずしも商品別辞書データに含まれていなくてもよい。

ＰＬＵファイル４０は、各商品の商品ＩＤに関連付けて、その商品１点当たりの価格である単価等の商品データを保存する。ＣＰＵ２０１は、スキャナ装置１において販売商品の商品ＩＤが特定されると、この商品ＩＤに関連付けられた単価をＰＬＵファイル４０から呼び出し、この単価で当該販売商品の売上げデータを登録処理する。なお、認識辞書ファイル３０に保存される商品別辞書データとＰＬＵファイル４０に保存される商品別データとを統合して、１つのデータファイルで管理することも可能である。

かかる構成の店舗会計システムにおいて、スキャナ装置１の撮像部１４は、操作者（店員）によって読取窓１Ｂにかざされた商品を撮像する撮像手段として機能する。タッチパネル１２は、上記撮像手段（撮像部１４）で撮像された画像を表示する表示手段として機能する。ＣＰＵ１１１は、検出手段、抽出手段、算出手段、認識手段及び報知手段として機能する。

検出手段は、撮像部１４で撮像された画像からその画像に写し出された物体を検出する。抽出手段は、撮像画像から検出された物体の画像を解析して、当該物体の外観特徴量を抽出する。算出手段は、物体画像から抽出された当該物体の外観特徴量を、認識辞書ファイル３０に保存された認識対象商品毎の特徴量データと照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。認識手段は、算出された認識対象商品毎の類似度に基づき、物体が商品であるか否かを認識する。報知手段は、物体が商品であると認識されない場合に、操作者に対して物体の画像領域を報知する。

これらの手段は、スキャナ装置１のＣＰＵ１１１が、商品認識プログラムに従って処理を実行することで実現される。商品認識プログラムは、例えばＲＯＭ１１２に格納されている。また、この処理を実行するうえで必要なメモリエリアとしてスキャナ装置１は、図４に示すように、確定商品メモリ４１、確認商品メモリ４２及び候補商品メモリ４３をＲＡＭ１１３に形成する。

各メモリ４１，４２，４３は、いずれも商品ＩＤと後述する類似度とを対について格納するエリアを有する。特に、確定商品メモリ４１及び確認商品メモリ４２は、商品ＩＤと類似度とを一対だけ格納する。一方、候補商品メモリ４３は、複数対の商品ＩＤと類似度とを格納可能である。具体的には、確定商品メモリ４１は、類似度が第１のしきい値Ａを超える商品の商品ＩＤとその類似度とを格納する。確認商品メモリ４２は、類似度が第１のしきい値Ａ以下であり、かつ該第１のしきい値Ａより小さい第２のしきい値Ｂを超える商品の商品ＩＤとその類似度とを格納する。候補商品メモリ４３は、類似度が第２のしきい値Ｂ以下であり、かつ該第２のしきい値Ｂより小さい第３のしきい値Ｃを超える商品の商品ＩＤとその類似度とを格納する。

商品認識プログラムが起動すると、ＣＰＵ１１１は、図５の流れ図に示す手順を開始する。なお、図５に示すとともに以下に説明する処理の手順は一例であって、同様な結果を得ることが可能な様々な処理手順を適宜に利用できる。

先ずＣＰＵ１１１は、撮像部１４に対して撮像オン信号を出力する（Act１）。この撮像オン信号により、撮像部１４は、撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１１３に順次保存される。

撮像オン信号を出力したＣＰＵ１１１は、ＲＡＭ１１３に保存されたフレーム画像を順に取り込み、ディスプレイ１２ａに表示させる（Act２）。そしてＣＰＵ１１１は、このフレーム画像からその画像に映し出されている物体を検出する(Act３：検出手段)。例えばＣＰＵ１１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１１１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ１１１は、フレーム画像から物体を検出できたとみなす（Act４）。

フレーム画像から物体を検出できなかった場合(Act４にてＮＯ)、ＣＰＵ１１１は、Act２の処理に戻る。すなわちＣＰＵ１１１は、次のフレーム画像を取り込む。そしてＣＰＵ１１１は、このフレーム画像から物体の検出を試みる。

フレーム画像から物体を検出できた場合（Act４にてＹＥＳ）、ＣＰＵ１１１は、その物体の輪郭を含む最小限の例えば矩形状の画像領域を、物体の画像領域として特定する(Act５)。そしてＣＰＵ１１１は、この領域内の画像から物体の形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（Act６：抽出手段）。

外観特徴量を抽出できたならば、ＣＰＵ１１１は、接続インターフェース１１５を介してＰＯＳ端末２にアクセスする。そしてＣＰＵ１１１は、この外観特徴量を、認識辞書ファイル３０に保存されている各認識対象商品の特徴量データと順次照合して、外観特徴量に対する類似度を認識対象商品毎に算出する（ＳＴ７:算出手段）。

このとき、前記第１のしきい値Ａを超える類似度が算出された場合、ＣＰＵ１１１は、その商品の商品ＩＤと類似度とを、確定商品メモリ４１に書き込む。なお、既に確定商品メモリ４１にデータが書き込まれていた場合、ＣＰＵ１１１は、類似度の大きい方を確定商品メモリ４１に残す。

前記第１のしきい値Ａ以下であるが、前記第２のしきい値Ｂを超える類似度が算出された場合には、ＣＰＵ１１１は、その商品の商品ＩＤと類似度とを、確認商品メモリ４２に書き込む。この場合も、既に確認商品メモリ４２にデータが書き込まれていた場合、ＣＰＵ１１１は、類似度の大きい方を確認商品メモリ４２に残す。

前記第２のしきい値Ｂ以下であるが、前記第３のしきい値Ｃを超える類似度が算出された場合、ＣＰＵ１１１は、その商品の商品ＩＤと類似度とを、候補商品メモリ４３に書き込む。このとき、既に候補商品メモリ４３にデータが書き込まれていた場合、ＣＰＵ１１１は、候補商品メモリ４３内のデータを、類似度の高い順にソートする。

ＣＰＵ１１１は、第３のしきい値Ｃを超える類似度を算出できたか否かを確認する（Act８：認識手段）。確定商品メモリ４１、確認商品メモリ４２及び候補商品メモリ４３のいずれにもデータが書き込まれていない場合、第３のしきい値Ｃを超える類似度は算出されていない。この場合（Act８にてＮＯ）、ＣＰＵ１１１は、操作者に対して物体の画像領域を報知する（Act９：報知手段）。

具体的には、ＣＰＵ１１１は、ディスプレイ１２ａに表示されているフレーム画像を、操作者が物体の画像領域を特定可能な画像とすることで報知する。例えば、物体の画像領域を矩形状の枠線で囲った画像を表示させることで、操作者に物体の画像領域を特定させる。

しかる後、ＣＰＵ１１１は、Act２の処理に戻り、次のフレーム画像を取り込む。そしてＣＰＵ１１１は、Act３以降の処理を再度実行する。

第３のしきい値Ｃを超える類似度が算出された場合（Act８にてＹＥＳ）、ＣＰＵ１１１は、Act９の処理で行った報知を停止する（Act１０）。しかる後、ＣＰＵ１１１は、確定処理を実行する（Act１１）。確定処理は、確定商品メモリ４１にデータが書き込まれている場合と、確認商品メモリ４２にデータが書き込まれている場合と、候補商品メモリ４３にデータが書き込まれている場合とで、処理内容が異なる。

確定商品メモリ４１にデータが書き込まれている場合、ＣＰＵ１１１は、その確定商品メモリ４１に格納された商品ＩＤで特定される商品を、読取窓１Ｂにかざされた商品として確定する。そしてＣＰＵ１１１は、スピーカ１７から商品が確定したことを知らせる音を発生させる。

確認商品メモリ４２にデータが書き込まれている場合、ＣＰＵ１１１は、その確定商品メモリ４１に格納された商品ＩＤで特定される商品の名称をボタン枠内に表示した名称ボタンの画像をディスプレイ１２ａに表示させる。そしてＣＰＵ１１１は、その名称ボタンがタッチ操作されるのを待機する。タッチパネルセンサ１２ｂで検出した信号により、名称ボタンがタッチ操作されたことを検知したならば、ＣＰＵ１１１は、確認商品メモリ４２に格納された商品ＩＤで特定される商品を、読取窓１Ｂにかざされた商品として確定する。そしてＣＰＵ１１１は、スピーカ１７から商品が確定したことを知らせる音を発生させる。これに対し、名称ボタン以外の画面領域がタッチ操作されたことを検知した場合には、ＣＰＵ１１１は、名称ボタンの画像を消去する。このとき、商品は確定されない。

候補商品メモリ４３にデータが書き込まれている場合、ＣＰＵ１１１は、その候補商品メモリ４３に格納された商品ＩＤで特定される商品の名称をボタン枠内に表示した名称ボタンの画像をディスプレイ１２ａに表示させる。そしてＣＰＵ１１１は、いずれかの名称ボタンがタッチ操作されるのを待機する。タッチパネルセンサ１２ｂで検出した信号により、いずれかの名称ボタンがタッチ操作されたことを検知したならば、ＣＰＵ１１１は、その名称ボタンに表示された名称の商品を、読取窓１Ｂにかざされた商品として確定する。そしてＣＰＵ１１１は、スピーカ１７から商品が確定したことを知らせる音を発生させる。これに対し、名称ボタン以外の領域がタッチ操作されたことを検知した場合には、ＣＰＵ１１１は、名称ボタンの画像を消去する。このとき、商品は確定されない。

ＣＰＵ１１１は、商品が確定された否かを判断する（Act１２）。商品が確定されていない場合（Act１２にてＮＯ）、ＣＰＵ１１１は、Act２の処理に戻り、次のフレーム画像を取り込む。そしてＣＰＵ１１１は、Act３以降の処理を再度実行する。

商品が確定された場合（Act１２にてＹＥＳ）、ＣＰＵ１１１は、その確定された商品の商品ＩＤを、接続インターフェース１１５を介してＰＯＳ端末２に出力する（Act１３）。

今、図６に示すように、店員が物品Ｍ１を読取窓１Ｂにかざしたとする。そうすると、撮像部１４では、物品Ｍ１の略全体が撮像される。そしてスキャナ装置１では、物品Ｍ１の外観特徴量が抽出され、認識辞書ファイル３０に保存されている各商品の特徴量データと比較される。

ここで、認識辞書ファイル３０に、商品「バナナ」の特徴量データとして、物品Ｍ１の外観特徴量との類似度が第１のしきい値Ａを超える特徴量データが設定されていたとする。その場合、スキャナ装置１では、読取窓１Ｂにかざされた物品Ｍ１が商品「バナナ」であると確定され、商品「バナナ」の商品ＩＤがＰＯＳ端末２に出力される。その結果、ＰＯＳ端末２では、商品「バナナ」の販売データが登録処理される。

また、商品「バナナ」の特徴量データと物品Ｍ１の外観特徴量との類似度が、第２のしきい値Ｂは超えるが第１のしきい値Ａには達しない場合には、スキャナ装置１では、図６に示すように、商品「バナナ」のボタン画像Ｎ１がタッチパネル１２に表示される。ここで、店員がボタン画像Ｎ１にタッチすると、商品「バナナ」の商品ＩＤがＰＯＳ端末２に出力される。その結果、ＰＯＳ端末２では、商品「バナナ」の販売データが登録処理される。

一方、図７に示すように、店員が物品Ｍ２をほとんど手で隠した状態で、読取窓１Ｂにかざしたとする。そうすると、スキャナ装置１では、物品Ｍ２を含む手の甲全体が１つの物体として認識される。そしてこの物体の外観特徴量が抽出され、認識辞書ファイル３０に保存されている各商品の特徴量データと比較される。

このとき、大抵は、物体の外観特徴量との類似度が第３のしきい値Ｃを超える特徴量データは、認識辞書ファイル３０に設定されていない。この場合、従来は、タッチパネル１２の画面に変化がなかった。また、スピーカから音が発せられることもなく、いわゆる無反応の状態であった。このため店員は、商品を認識中であるのか、認識できなかったのか判断がつかず、ストレスとなっていた。

これに対して本実施形態では、図８に示すように、物体の認識領域を囲うように矩形状の枠線Ｌ１がタッチパネル１２に表示される。したがって、この枠線Ｌ１を確認することによって、店員は、認識できなかったことを容易に知ることができる。そしてこの場合、枠線Ｌ１で囲われた画像はその大部分が手の甲であるので、店員は、商品のかざし方に問題があって認識できなかったということを推定できる。また、枠線Ｌ１が表示されることによって、店員は、プログラムがフリーズしてはいないということも確信できる。

なお、本実施形態では、物体の画像領域を操作者が特定可能であるようにするために、物体の画像領域を枠線Ｌ１で囲うようにしたが、特定可能な画像は、枠線Ｌ１の表示に限定されるものではない。

例えば図９に示すように、物体の画像領域以外をグレイアウトすることで、物体の画像領域を際立たせて特定可能としてもよい。また、図１０に示すように、物体の画像領域がタッチパネル１２の画面のほぼ全域に表示されるように拡大表示することによって、物体の画像領域を特定可能としてもよい。

また、枠線Ｌ１を表示させる場合においても、枠線Ｌ１の形状は矩形に限定されるものではない。円形や楕円形でもよいし、ひし形などであってもよい。また、枠線Ｌ１を点滅させるなどして操作者に注意を喚起するようにしてもよい。

なお、商品認識装置の譲渡は一般に、商品認識プログラム等のプログラムがＲＯＭ１１２に記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された商品認識プログラム等がユーザなどの操作に応じて書き込まれてもよい。商品認識プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…スキャナ装置、１Ｂ…読取窓、２…ＰＯＳ端末、１１…キーボード、１２…タッチパネル、１３…客用ディスプレイ、１４…撮像部、３０…認識辞書ファイル、４０…ＰＬＵファイル、１１１…ＣＰＵ。

Claims (6)

1. 撮像された画像からその画像に写し出された物体を検出する検出手段と、
   前記検出手段で検出された前記物体の画像から当該物体の外観特徴量を抽出する抽出手段と、
   前記抽出手段で抽出された前記外観特徴量を、認識対象商品毎にその商品の表面情報を表す特徴量データが保存された辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する算出手段と、
   前記算出手段で算出された前記類似度に基づき前記物体が商品であるか否かを認識する認識手段と、
   前記認識手段で前記物体が商品であると認識されない場合に、操作者に対して前記物体の画像領域を報知する報知手段と、
   を具備したことを特徴とする商品認識装置。
2. 操作者によって読取窓にかざされた商品を撮像する撮像手段と、
   前記撮像手段で撮像された画像を表示する表示手段と、
   をさらに具備し、
   前記報知手段は、前記認識手段で前記物体が商品であると認識されない場合に、前記表示手段で表示される画像を、前記操作者が前記物体の画像領域を特定可能な画像とすることで報知することを特徴とする請求項１記載の商品認識装置。
3. 前記操作者が前記物体の画像領域を特定可能な画像は、前記物体の画像領域を枠で囲った画像であることを特徴とする請求項２記載の商品認識装置。
4. 前記操作者が前記物体の画像領域を特定可能な画像は、前記物体の画像領域以外をグレイアウトさせた画像であることを特徴とする請求項２記載の商品認識装置。
5. 前記操作者が前記物体の画像領域を特定可能な画像は、前記物体の画像領域を画面フルサイズに拡大して表示する画像であることを特徴とする請求項２記載の商品認識装置。
6. コンピュータに、
   撮像された画像からその画像に写し出された物体を検出する機能、
   検出された前記物体の画像から当該物体の外観特徴量を抽出する機能、
   抽出された前記外観特徴量を、認識対象商品毎にその商品の表面情報を表す特徴量データが保存された辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する機能、
   算出された前記類似度に基づき前記物体が商品であるか否かを認識する機能、及び
   前記物体が商品であると認識されない場合に、操作者に対して前記物体の画像領域を報知する機能、
   を実現させるための商品認識プログラム。