JP2014109924A - 商品認識装置及び商品認識プログラム - Google Patents

Abstract

【課題】バーコード等の光学符号が付されていない商品の認識作業に要するオペレータの負担を軽減する。
【解決手段】商品認識装置は、画像インターフェースと、プロセッサとを備える。画像インターフェースは、カメラによって撮影された商品の画像を取り込む。プロセッサは、画像インターフェースを介して取り込まれた画像から商品画像を検出する。そしてプロセッサは、この商品画像から抽出される特徴量により商品候補を認識する商品認識処理と、同商品画像から商品識別コードを読み取るコード読取処理とを並列的に行う。その結果、コード読取処理によって商品識別コードが読取られると、プロセッサは、当該商品識別コードを確定する。商品識別コードが読み取られないまま商品の撮影期間が終了すると、プロセッサは、商品認識処理の結果を出力する。
【選択図】 図１３

Description

本発明の実施形態は、カメラを用いた商品認識装置及びコンピュータを前記商品認識装置として機能させるための商品認識プログラムに関する。

商品に付される光学符号の一種にバーコードがある。スーパーマーケット等で販売される商品には、大抵、商品識別コードを含むバーコードが付されている。このバーコードをスキャナでスキャニングすることにより商品識別コードを認識する商品認識装置は広く普及している。

しかしながら、全ての商品にバーコードが付されるとは限らない。例えば、ばら売りの野菜，果物，惣菜などには、バーコードが付されないことが多い。そこで、バーコードが付されない商品にも対応するために、表示デバイスをタッチパネルとした商品認識装置がある。この装置は、タッチパネルの画面にバーコードが付されない商品の画像を表示させる。オペレータのタッチ入力により商品の画像が選択されると、商品認識装置は、選択された商品の画像に関連付けられた商品識別コードを確定する。

特開２０００−３３９５５０号公報

商品にバーコードが付されている場合、オペレータ（店員または客）は、商品認識装置の読取窓にバーコードをかざせばよい。しかし、商品にバーコードが付されていない場合には、オペレータは、タッチパネルの画面から商品を選択する必要がある。この際、画面に所望の商品が表示されていないと、オペレータは、タッチ操作により画面を切り替えて商品を探さなければならない。このため、従来の商品認識装置は、バーコード等の光学符号が付されていない商品の認識作業に要するオペレータの負担が大きい。

本発明が解決しようとする課題は、バーコード等の光学符号が付されていない商品の認識作業に要するオペレータの負担を軽減できる商品認識装置を提供しようとするものである。

一実施形態において、商品認識装置は、カメラによって撮影された商品の画像を取り込む画像インターフェースと、外部機器とデータ通信を行う接続インターフェースと、画像インターフェースを介して取り込まれた商品画像から認識される候補商品を表示するディスプレイと、商品画像から認識される候補商品の情報を保持するメモリと、プロセッサと、を備える。
プロセッサは、画像インターフェースを介して取り込んだ商品画像から、その画像に映し出されている商品の候補を認識する。そしてプロセッサは、認識された候補商品の中から画像に映し出されている商品を特定し、この特定商品の情報を、接続インターフェースを介して外部機器へ出力するとともに、候補商品の情報を、当該候補商品の中から特定された特定商品に関する情報と関連付けてメモリに格納する。特定商品の選択要求を受け付けると、プロセッサは、当該特定商品に関する情報と関連付けてメモリに保持されている候補商品の情報に基づき候補商品をディスプレイに表示させる。

店舗会計システムの外観図。 商品認識装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 候補商品メモリのエリア構造を示す模式図。 認識結果保持メモリのエリア構造を示す模式図。 商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理の一手順を示す流れ図。 商品認識処理の手順を具体的に示す流れ図。 認識結果処理の手順を具体的に示す流れ図。 登録行入力に対する割込処理の手順を具体的に示す流れ図。 決済完了コマンドに対する割込処理の手順を具体的に示す流れ図。 登録画面の一例を示す平面図。 登録画面に商品候補が表示された一例を示す平面図。 候補商品再利用画面の一例を示す平面図。 商品データを修正した後の登録画面の一例を示す平面図。 商品画像保持メモリのエリア構造を示す模式図。 認識結果処理の手順を具体的に示す流れ図。 登録行入力に対する割込処理の手順を具体的に示す流れ図。

本実施形態は、小売店の店舗会計システムに含まれる商品認識装置に本発明に係る機能を適用した場合である。

はじめに、本実施形態の商品認識装置は、一般物体認識（generic object recognition）の技術を採用する。一般物体認識とは、対象となる物品（オブジェクト）をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
［第１の実施形態］
図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を認識する商品認識装置１と、商品認識装置１で認識された商品の販売データを登録して、商取引を決済するＰＯＳ端末２とを含む。商品認識装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。商品認識装置１とＰＯＳ端末２とは、通信ケーブル４００（図２を参照）によって電気的に接続される。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

商品認識装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・入力デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、商品認識装置１の本体を構成するハウジング１Ａに取り付けられる。薄型の矩形形状を有するハウジング１Ａは、会計カウンタ３の略中央に立設される。キーボード１１とタッチパネル１２は、それぞれ操作面をキャッシャ側に向けてハウジング１Ａに取り付けられる。客用ディスプレイ１３は、表示面を顧客通路側に向けてハウジング１Ａに取り付けられる。

ハウジング１Ａには、カメラ１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面（キャッシャ側）に形成される。カメラ１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。カメラ１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

なお、カメラ１４は、上記構成のものに限定されるものではない。本実施形態では、商品を撮像する機能を有しているものは全てカメラ１４の範疇に入る。

会計カウンタ３の商品認識装置１を挟んで一方の荷受面、すなわち顧客移動方向に対して上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方の荷受面、すなわち顧客移動方向に対して下流側の荷受面は、商品認識装置１により認識された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、商品認識装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。商品認識装置１は、主制御部、主記憶部及び入出力部で構成される。ＣＰＵ（Central Processing Unit）１１１は主制御部である。ＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３は主記憶部である。画像インターフェース１１４、デバイスインターフェース１１５及び接続インターフェース１１６は入出力部である。ＣＰＵ１１１は、アドレスバス，データバス等のバスライン１１７を介して、ＲＯＭ１１２、ＲＡＭ１１３及び各インターフェース１１４，１１５，１１６を接続する。

なお、主制御部は、ＣＰＵ以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。

画像インターフェース１１４には、前記カメラ１４が接続される。このカメラ１４によって撮像された画像は、画像インターフェース１１４介して商品認識装置１に取り込まれ、ＲＡＭ１１３に格納される。デバイスインターフェース１１５には、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３が接続される。タッチパネル１２は、パネル表示部１２ａとタッチパネルセンサ１２ｂとからなる。タッチパネルセンサ１２ｂは、パネル表示部１２ａの画面の上に重ねて配置される。

ＰＯＳ端末２は、主制御部、主記憶部、補助記憶部及び入出力部で構成される。ＣＰＵ２１１は主制御部である。ＲＯＭ２１２及びＲＡＭ２１３は主記憶部である。ＨＤＤ（Hard Disk Drive）２１４は補助記憶部である。デバイスインターフェース２１５、通信インターフェース２１６及び接続インターフェース２１７は入出力部である。ＣＰＵ２１１は、アドレスバス，データバス等のバスライン２１８を介して、前記ＲＯＭ２１２、ＲＡＭ２１３、ＨＤＤ２１４及び各インターフェース２１５，２１６，２１７を接続する。

なお、主制御部は、ＣＰＵ以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。また、補助記憶部は、ＨＤＤ２１４に限定されない。例えば、ＳＳＤ（Solid State Drive）を補助記憶部として用いてもよい。

デバイスインターフェース２１５には、図２では省略するが、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５が接続される。キーボード２１には、商取引の決済を宣言する締めキーが配設される。締めキーには、現金取引による決済を宣言する預／現計キーや、信用取引による決済を宣言する信計キー等が存在する。

通信インターフェース２１６には、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担うストアコンピュータ３００が接続される。この接続により、ＰＯＳ端末２は、ストアコンピュータ３００とデータの送受信が可能となる。例えばＰＯＳ端末２は、通信インターフェース２１６を介してストアコンピュータ３００から後述する認識辞書ファイル５００を受信する。認識辞書ファイル５００は、ＨＤＤ２１４に保存される。

接続インターフェース２１７には、通信ケーブル４００を介して、商品認識装置１の接続インターフェース１１６が接続される。この接続により、ＰＯＳ端末２は、商品販売データを商品認識装置１のタッチパネル１２及び客用ディスプレイ１３に表示させる。商品認識装置１は、ＰＯＳ端末２のＨＤＤ２１４に保存される認識辞書ファイル５００に対してアクセスが可能となる。

本実施形態では、光学符号であるバーコードが付されていない商品を認識対象商品とする。認識辞書ファイル５００は、認識対象商品毎に辞書データを保存する。図３は、辞書データの構造を示す模式図である。図３に示すように、認識辞書ファイル５００には、認識対象商品毎に、商品ＩＤ及び商品名と関連付けて、複数対の基準画像データ０〜Ｎと特徴量データ０〜Ｎとが保存される。商品ＩＤは、商品を識別する商品識別コードである。商品に付されるバーコードには、上記商品ＩＤが含まれる。

基準画像データ０〜Ｎは、対応する商品ＩＤで識別される商品を様々な方向から撮影した画像のデータである。特徴量データ０〜Ｎは、対応する商品の基準画像０〜Ｎからその商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータ化したデータである。

なお、１つの商品に対する基準画像データ及び特徴量データの数（Ｎ＋１）は、固定ではない。データ数（Ｎ＋１）は商品によって異なる。また、基準画像データ０〜Ｎを全て認識辞書ファイル５００で保存するのでなく、いずれか１つの基準画像データを認識辞書ファイル５００が保存してもよい。

商品認識装置１は、カメラ１４の撮像領域に翳された商品Ｍを販売商品として確定するまでの機能として、画像検出機能、読取機能、特徴量抽出機能、類似度算出機能、商品認識機能、出力機能、保存機能、再表示機能、再利用機能及びクリア機能を有する。

また商品認識装置１は、上記各機能の実現のために必要なメモリエリアとして、図４に示すエリア構造の候補商品メモリ６１０と、図５に示すエリア構造の認識結果保持メモリ６２０とを、ＲＡＭ１１３に形成する。なお、上記候補商品メモリ６１０及び認識結果保持メモリ６２０は、ＲＡＭ１１３以外の記憶媒体、例えばＰＯＳ端末２のＲＡＭ２１３またはＨＤＤ２１４に形成してもよい。

候補商品メモリ６１０は、図４に示すように、１位から５位までの順位毎に、商品ＩＤ、商品名、基準画像及び類似度の各データを格納するための領域を有する。なお、候補商品メモリ６００において、順位は１位から５位までに限定されるものではない。例えば何位までのデータを格納するのかを、システムのユーザが任意に設定できるようにしてもよい。

認識結果保持メモリ６２０は、図５に示すように、商取引を一意に特定するための情報である取引日付、レジ番号及び取引番号を格納するための領域と、登録番号と関連付けて候補商品情報を格納するための領域とを有する。なお、商取引を一意に特定するための情報は、取引日付、レジ番号及び取引番号の全てに限定されるものではない。これらの一部または他の要素を含めて商取引を一意に特定してもよい。

画像検出機能は、カメラ１４で撮影された商品の画像から商品画像を検出する。読取機能は、画像検出機能により検出された商品画像からバーコードを読み取る。なお、読取機能は、バーコードの代わりに他の光学符号、例えば二次元データコードを読み取るものであってもよい。

特徴量抽出機能は、画像検出機能により検出された商品画像からその商品の外観特徴量を抽出する。類似度算出機能は、特徴量抽出機能により抽出された外観特徴量を、認識辞書ファイル５００に記憶されている認識対象商品毎の特徴量データと照合する。そして類似度算出機能は、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を、認識対象商品毎に算出する。商品認識機能は、類似度算出機能により算出された認識対象商品別の類似度に基づいて、カメラ１４で撮影された商品の候補を認識する。認識された候補商品の情報（商品ＩＤ、商品名、基準画像、類似度）は、候補商品メモリ６１０に格納される。

出力機能は、読取機能によりバーコードが読み取られた場合には、そのバーコードを解析して得られる商品ＩＤをカメラ１４で撮影された商品の商品ＩＤとして接続インターフェース１１６を介してＰＯＳ端末２に出力する。また出力機能は、商品認識機能により認識された候補商品の中から前記商品画像に映し出されている商品が特定されると、この特定商品の商品ＩＤをカメラ１４で撮影された商品の商品ＩＤとして接続インターフェース１１６を介してＰＯＳ端末２に出力する。

保存機能は、候補商品メモリ６１０に格納された候補商品の情報を、登録番号と関連付けて認識結果保持メモリ６２０に格納する。登録番号は、当該候補商品の中から特定された特定商品に関する情報に相当する。

再表示機能は、ＰＯＳ端末２から特定商品の選択要求を受け付けると、当該特定商品に関する情報（登録番号）と関連付けて認識結果保持メモリ６２０に保持されている候補商品の情報を読み出す。そして再表示機能は、読み出された候補商品の情報を基に、候補商品の再利用が可能な画面をタッチパネル１２に表示させる。再利用機能は、上記画面を介して入力されたデータに基づいて、商品の修正または追加を処理する。クリア機能は、ＰＯＳ端末２において、特定商品を含む商取引の決済が完了した後である所定のタイミングで、認識結果保持メモリ６２０をクリアする。

かかる機能を実現させるために、商品認識装置１は、ＲＯＭ１１２に商品認識プログラムを保存する。商品認識装置１のＣＰＵ１１１は、上記商品認識プログラムに従って、図６の流れ図に示す手順の情報処理を実行する。

はじめに、ＣＰＵ１１１は、ステップＳＴ１〜ＳＴ５の各処理を実行する。ステップＳＴ１では、ＣＰＵ１１１は、取引番号カウンタＹを“１”だけカウントアップする。ステップＳＴ２では、ＣＰＵ１１１は、登録番号カウンタＡを“０”にリセットする。取引番号カウンタＹ及び登録番号カウンタＡは、例えばＲＡＭ１１３に記憶されている。ステップＳＴ３では、ＣＰＵ１１１は、候補商品メモリ６００をクリアする。ステップＳＴ４では、ＣＰＵ１１１は、認識処理フラグＦを“０”にリセットする。認識処理フラグＦは、例えばＲＡＭ１１３に記憶されている。ステップＳＴ５では、ＣＰＵ１１１は、タッチパネル１２のパネル表示部１２ａに登録画面７００を表示させる。

登録画面７００の一例が図１１に示される。登録画面７００は、明細エリア７０１と、合計エリア７０２と、候補エリア７０３とを含む。明細エリア７０１は、複数の行に区分される。そして明細エリア７１０の各行には、一連の行番号に対応して、販売商品として登録された商品の商品名、単価、数量、金額が表示される。合計エリア７０２には、登録された商品の合計点数及び合計金額が表示される。候補エリア７０３には、候補商品メモリ６１０に格納された商品名及び基準画像が、１位から順番に表示される。

ＣＰＵ１１１は、カメラ１４で撮影されている画像（フレーム画像）を、画像インターフェース１１４を介して取り込む（ＳＴ６）。取り込まれた撮影画像は、ＲＡＭ１１３の画像バッファに格納される。

ＣＰＵ１１１は、画像バッファに格納された撮影画像を解析して、この撮影画像から商品画像を検出する（ＳＴ７：画像検出機能）。具体的には、ＣＰＵ１１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１１１は、画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ１１１は、その輪郭内を商品画像とみなす。

ＣＰＵ１１１は、撮影画像から商品画像が検出されたか否かを確認する（ＳＴ８）。商品画像が検出されない場合（ＳＴ８にてＮＯ）、ＣＰＵ１１１は、認識処理フラグＦの状態を確認する（ＳＴ９）。この時点では、認識処理フラグＦは“０”にリセットされている。このためＣＰＵ１１１は、ステップＳＴ６の処理に戻る。すなわちＣＰＵ１１１は、カメラ１４から次のフレーム画像を取り込み、商品画像の検出処理を実行する。

このように、ＣＰＵ１１１は、カメラ１４からフレーム画像を取り込む毎に、商品画像の検出処理を実行する。読取窓１Ｂに商品が翳されると、フレーム画像から商品画像が検出される。商品画像が検出されたならば（ＳＴ８にてＹＥＳ）、ＣＰＵ１１１は、この商品画像を解析してバーコードの読取りを試行する（ＳＴ１０：読取機能）。画像解析によるバーコードの読取技術は、例えば特開２００８−０３３６４０号公報に記載されている。

ＣＰＵ１１１は、商品画像からバーコードを読み取れたか否かを確認する（ＳＴ１１）。バーコードを読み取れた場合（ＳＴ１１にてＹＥＳ）、ＣＰＵ１１１は、そのバーコードをデコードする（ＳＴ１２）。そしてＣＰＵ１１１は、バーコードをデコードできた否かを確認する（ＳＴ１３）。バーコードをデコードできた場合（ＳＴ１３にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ１４とステップＳＴ１５の各処理を実行する。ステップＳＴ１４では、ＣＰＵ１１１は、登録番号カウンタＡを“１”だけカウンタアップする。ステップＳＴ１５では、ＣＰＵ１１１は、バーコードのデコード結果を、接続インターフェース１１６を介してＰＯＳ端末２に出力する（出力機能）。

ステップＳＴ１１にて、商品画像からバーコードを読み取れなかった場合（ＳＴ１１にてＮＯ）、または、ステップＳＴ１３にてバーコードをデコードできなかった場合には（ＳＴ１３にてＮＯ）、ＣＰＵ１１１は、商品認識処理を実行する（ＳＴ１６）。

図７は、商品認識処理の手順を具体的に示す流れ図である。先ず、ＣＰＵ１１１は、ステップＳＴ７の処理にて検出された商品画像から商品の外観特徴量を抽出する（ＳＴ３１：特徴量抽出機能）。外観特徴量には、商品の形状、表面の色合い、模様、凹凸状況等が含まれる。商品の外観特徴量が抽出されると、ＣＰＵ１１１は、ＰＯＳ端末２のＨＤＤ２１４にアクセスして、認識辞書ファイル５００を検索する（ＳＴ３２）。そしてＣＰＵ１１１は、認識辞書ファイル５００から１商品のデータレコード（商品ＩＤ、商品名、基準画像０〜Ｎ、特徴量データ０〜Ｎ）を読み込む（ＳＴ３３）。

１商品のデータレコードが読み込まれたならば、ＣＰＵ１１１は、当該レコードの特徴量データ０〜Ｎ毎に類似度を算出する。類似度は、特徴量データ０〜ＮがステップＳＴ３１の処理で抽出された商品の外観特徴量とどの程度類似しているかを示す値である。ＣＰＵ１１１は、特徴量データ０〜Ｎ毎に算出された類似度の最大値を、当該レコードの商品ＩＤで特定される認識対象商品と、カメラ１４で撮影された商品との類似度として決定する（ＳＴ３４：類似度算出機能）。なお、特徴量データ０〜Ｎ毎に算出された類似度の合計値あるいは平均値を、認識対象商品と撮影された商品との類似度として決定してもよい。

ＣＰＵ１１１は、ステップＳＴ３４の処理で決定された類似度が、予め設定された候補閾値Ｌｍｉｎを超えるか否かを確認する（ＳＴ３５）。候補閾値Ｌｍｉｎは、認識対象商品を候補商品として残す類似度の下限値である。類似度が候補閾値Ｌｍｉｎを超えていない場合（ＳＴ３５にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ３７の処理に進む。

類似度が候補閾値Ｌｍｉｎを超えている場合には（ＳＴ３５にてＹＥＳ）、ＣＰＵ１１１は、この類似度を、当該レコードの商品ＩＤ、商品名及び基準画像とともにＲＡＭ１１３の候補バッファに格納する（ＳＴ３６）。基準画像は、例えば類似度が最大となった特徴量データと対になっている基準画像が選択される。しかる後、ＣＰＵ１１１は、ステップＳＴ３７の処理に進む。

ステップＳＴ３７では、ＣＰＵ１１１は、認識辞書ファイル５００に未処理のデータレコードが存在するか否かを確認する。存在する場合（ＳＴ３７にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ３３の処理に戻る。すなわちＣＰＵ１１１は、認識辞書ファイル３０から未処理のデータレコードを読み込み、前記ステップＳＴ３４〜ＳＴ３６の処理を再度実行する。
認識辞書ファイル５００に未処理のデータレコードが存在しない場合（ＳＴ３７にてＮＯ）、商品認識処理は終了する。

商品認識処理が終了すると、ＣＰＵ１１１は、認識処理フラグＦの状態を調べる（ＳＴ１７）。認識処理フラグＦが“０”にリセットされている場合（ＳＴ１７にてＹＥＳ）、ＣＰＵ１１１は、この認識処理フラグＦを“１”にセットする（ＳＴ１８）。認識処理フラグＦが既に“１”にセットされている場合には（ＳＴ１７にてＮＯ）、ステップＳＴ１８の処理は実行されない。ＣＰＵ１１１は、ステップＳＴ６の処理に戻る。すなわちＣＰＵ１１１は、カメラ１４から次のフレーム画像を取り込み、商品画像の検出処理を実行する。

読取窓１Ｂに商品が翳されてから、この商品がカメラ１４の撮像領域を外れるまでの間、フレーム画像から商品画像が検出される。したがってその間は、ＣＰＵ１１１は、ステップＳＴ１０以降の処理を実行する。すなわちＣＰＵ１１１は、フレーム画像から検出された商品画像を用いて、バーコード読取処理と商品認識処理とを並列的に実行する。そして、バーコード読取処理によりバーコードが読み取られたならば、ＣＰＵ１１１は、そのバーコードからデコードされた商品ＩＤをＰＯＳ端末２に出力する。

バーコードが読み取られることなく商品Ｍがカメラ１４の撮像領域を外れると、フレーム画像から商品画像が検出されなくなる。この時点では、認識処理フラグＦは“１”にセットされている（ＳＴ９にてＹＥＳ）。このためＣＰＵ１１１は、登録番号カウンタＡを“１”だけカウントアップした後（ＳＴ１９）、認識結果処理を実行する（ＳＴ２０）。

図８は、認識結果処理の手順を具体的に示す流れ図である。先ず、ＣＰＵ１１１は、候補バッファにデータ（商品ＩＤ、商品名、基準画像、類似度）が格納されているか否かを確認する（ＳＴ４１）。候補バッファにデータが１つも格納されていない場合（ＳＴ４１にてＮＯ）、ＣＰＵ１１１は、登録画面７００の候補エリア７０３に「候補無し」のメッセージを表示させる（ＳＴ４２）。

候補バッファにデータが格納されている場合には（ＳＴ４１にてＹＥＳ）、ＣＰＵ１１１は、候補バッファのデータを類似度の大きい順に並べ替える。そしてＣＰＵ１１１は、類似度が１位から５位までのデータ（商品ＩＤ、商品名、基準画像、類似度）を選択し、１位から順に候補商品メモリ６００に登録する（ＳＴ４３：商品認識機能）。データを登録し終えると、ＣＰＵ１１１は、候補バッファをクリアする。

次に、ＣＰＵ１１１は、候補商品メモリ６００の１位に登録されたデータの類似度、すなわち最大類似度が、予め設定された確定閾値Ｌｍａｘ（Ｌｍａｘ＞Ｌｍｉｎ）を超えるか否かを確認する（ＳＴ４４）。確定閾値Ｌｍａｘは、認識対象商品を読取窓１Ｂに翳された商品として確定できる類似度の下限値である。

最大類似度が確定閾値Ｌｍａｘを超える場合（ＳＴ４４にてＹＥＳ）、ＣＰＵ１１１は候補商品メモリ６００から１位に登録されたデータの商品ＩＤを読出す。この商品ＩＤで識別される商品は、最大類似度が確定閾値Ｌｍａｘを越えており、読取窓１Ｂに翳された商品として特定できる。ＣＰＵ１１１は、候補商品メモリ６００から読み出した商品ＩＤを、接続インターフェース１１６を介してＰＯＳ端末２に出力する（ＳＴ４５：出力機能）。しかる後、ＣＰＵ１１１は、ステップＳＴ４９の処理を実行する。

最大類似度が確定閾値Ｌｍａｘ以下の場合には（ＳＴ４４にてＮＯ）、ＣＰＵ１１１は、候補商品メモリ６００に登録された順に候補商品の画像を候補エリア７０３に表示させる（ＳＴ４６）。

候補商品画像を表示した登録画面７００の一例が図１２に示される。この例は、候補商品として「リンゴ」、「柿」及び「モモ」が認識された場合である。類似度は、「リンゴ」が最も大きく、「モモ」が最も小さい。この場合、図１２に示すように、「リンゴ」を選択するためのボタン画像７１１と、「柿」を選択するためのボタン画像７１２と、「モモ」を選択するためのボタン画像７１３とが、候補エリア７０３に表示される。

候補商品のボタン画像７１１，７１２，７１３が表示されると、ＣＰＵ１１１は、候補商品の中からいずれか１商品が選択されたか否かを確認する（ＳＴ４７）。いずれか１つのボタン画像がタッチ入力されると、ＣＰＵ１１１は、そのボタン画像に表示されている商品が、読取窓１Ｂに翳された商品であると特定する。ＣＰＵ１１１は、この商品の商品ＩＤを、接続インターフェース１１６を介してＰＯＳ端末２に出力する（ＳＴ４８：出力機能）。しかる後、ＣＰＵ１１１は、ステップＳＴ４９の処理を実行する。

ＰＯＳ端末２のＣＰＵ２１１は、商品認識装置１から商品ＩＤを受信する毎に、この商品ＩＤで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。ＣＰＵ２１１は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。またＣＰＵ２１１は、商品名、単価、数量、金額の各データを、接続インターフェース２１７を介して商品認識装置１に送信する。商品認識装置１のＣＰＵ１１１は、パネル表示部１２ａに表示されている登録画面７００の明細エリア７０１と客用ディスプレイ１３とに、ＰＯＳ端末２から受信した商品名、単価、数量、金額の各データを表示させる。このとき、明細エリア７０１においては、登録番号カウンタＡの値に一致する行番号の行にデータが表示される。

ステップＳＴ４９では、ＣＰＵ１１１は、認識結果保持メモリ６２０に登録番号カウンタＡの値と候補商品情報とを格納する。候補商品情報は、候補商品メモリ６１０に格納されている各候補商品のデータ（商品ＩＤ，商品名，基準画像及び類似度）である。すなわちＣＰＵ１１１は、各候補商品のデータを、この候補商品のなかから特定された商品のデータ（商品名、単価、数量、金額）が表示されている明細エリア７０１の行番号（登録番号）と関連付けて格納する（保存機能）。

商品が選択されない場合（ＳＴ４７にてＮＯ）、ＣＰＵ１１１は、登録画面７００の候補エリア７０３に、「候補無し」のメッセージを表示させる（ＳＴ４２）。以上で、認識結果処理は終了する。

ステップＳＴ１５にてバーコードのデコード結果が出力されるか、ステップＳＴ２０にて認識結果処理が終了すると、ＣＰＵ１１１は、ステップＳＴ２１の処理に進む。ステップＳＴ２１では、キーボード１１またはタッチパネル１２の操作入力有無を確認する。操作入力がない場合（ＳＴ２１にてＮＯ）、ＣＰＵ１１１は、ＰＯＳ端末２からのコマンド入力有無を確認する（ＳＴ２２）。コマンド入力がない場合（ＳＴ２２にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ３の処理に進む。

すなわちＣＰＵ１１１は、候補商品メモリ６００をクリアする。またＣＰＵ１１１は、認識処理フラグＦを“０”にリセットする。登録画面７００は既に表示されているので、ステップＳＴ５の処理は実行されない。ＣＰＵ１１１は、カメラ１４で撮影されている画像（フレーム画像）を、画像インターフェース１１４を介して取り込む（ＳＴ６）。そしてＣＰＵ１１１は、ステップＳＴ７以降の処理を再度実行する。

一方、キーボード１１またはタッチパネル１２の操作入力が検知された場合には（ＳＴ２１にてＹＥＳ）、ＣＰＵ１１１は、その操作入力に応じた割込処理を実行する（ＳＴ２３）。同様に、接続インターフェース１１６を介してＰＯＳ端末２からコマンドを受信した場合には（ＳＴ２２にてＹＥＳ）、ＣＰＵ１１１は、そのコマンドに応じた割込処理を実行する（ＳＴ２４）。

操作入力に応じた割込処理の１つに、登録行入力に対する割込処理がある。この処理は、登録画面７００の明細エリア７０１がタッチ操作されたことをタッチパネルセンサ１２ｂからの信号により検知すると、起動する。

この割込処理の手順は、図９の流れ図によって示される。先ず、ＣＰＵ１１１は、明細エリア７０１のタッチ位置にある行の行番号Ｂを検出する（ＳＴ５１）。ＣＰＵ１１１は、行番号Ｂが登録番号カウンタＡの値以下か否かを確認する（ＳＴ５２）。行番号Ｂが登録番号カウンタＡの値より大きい場合、商品明細データが表示されていない行をタッチした誤操作である。この場合（ＳＴ５２にてＮＯ）、登録行入力処理は終了する。

行番号Ｂが登録番号カウンタＡの値以下の場合（ＳＴ５２にてＹＥＳ）、ＣＰＵ１１１は、この行番号Ｂの行に表示されている商品の選択要求があったとみなす。そしてＣＰＵ１１１は、認識結果保持メモリ７１を検索して、行番号Ｂと一致する登録番号に関連付けられて記憶されている候補商品情報を読み込む（ＳＴ５３）。ＣＰＵ１１１は、この候補商品情報に基づいて候補商品再利用画面８００を編集し、パネル表示部１２ａに表示させる（ＳＴ５４：再表示機能）。

候補商品再利用画面８００の一例が図１３に示される。候補商品再利用画面８００は、候補商品リスト８０１と、候補商品別の「修正」ボタン８０２及び「追加」ボタン８０３と、「閉じる」ボタン８０４の各ボタン画像を含む。候補商品リスト８０１には、各候補商品の名称とその商品の類似度とが表示される。

ＣＰＵ１１１は、候補商品再利用画面８００のいずれかのボタン画像がタッチ入力されるのを待機する（ＳＴ５５，ＳＴ５６，ＳＴ５７）。タッチパネルセンサ１２ｂの信号により「修正」ボタン８０２がタッチ入力されたことを検知すると（ＳＴ５５にてＹＥＳ）、ＣＰＵ１１１は候補商品情報を検索して、タッチ入力された「修正」ボタン８０２に対応する商品の商品ＩＤを検出する（ＳＴ５８）。そしてＣＰＵ１１１は、行番号Ｂの商品ＩＤ（変更前の商品ＩＤ）を、タッチ入力された「修正」ボタン８０２に対応する商品の商品ＩＤ（変更後の商品ＩＤ）に変更する変更コマンドを生成し、この変更コマンドを、接続インターフェース１１６を介してＰＯＳ端末２に送信する（ＳＴ５９：再利用機能）。その後、ＣＰＵ１１１は、再び、候補商品再利用画面８００のいずれかのボタン画像がタッチ入力されるのを待機する（ＳＴ５５，ＳＴ５６，ＳＴ５７）。

上記変更コマンドを受信したＰＯＳ端末２のＣＰＵ２１１は、変更前の商品ＩＤで識別される商品の販売データを取消処理する。またＣＰＵ２１１は、変更後の商品ＩＤで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。そしてＣＰＵ２１１は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。さらにＣＰＵ２１１は、変更後の商品ＩＤで識別される商品の商品名、単価、数量、金額の各データを、接続インターフェース２１７を介して商品認識装置１に送信する。商品認識装置１のＣＰＵ１１１は、登録画面７００における明細エリア７０１の行番号Ｂの行に、ＰＯＳ端末２から受信した商品名、単価、数量、金額の各データを表示させる。

タッチパネルセンサ１２ｂの信号により「追加」ボタン８０３がタッチ入力されたことを検知した場合には（ＳＴ５６にてＹＥＳ）、ＣＰＵ１１１は、登録番号カウンタＡを“１”だけカウントアップする（ＳＴ６０）。またＣＰＵ１１１は、候補商品情報を検索して、タッチ入力された「追加」ボタン８０３に対応する商品の商品ＩＤを検出する（ＳＴ６１）。そしてＣＰＵ１１１は、この商品ＩＤを追加する追加コマンドを生成し、この追加コマンドを、接続インターフェース１１６を介してＰＯＳ端末２に送信する（ＳＴ６２）。その後、ＣＰＵ１１１は、再び、候補商品再利用画面８００のいずれかのボタン画像がタッチ入力されるのを待機する（ＳＴ５５，ＳＴ５６，ＳＴ５７）。

上記追加コマンドを受信したＰＯＳ端末２のＣＰＵ２１１は、追加された商品ＩＤで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。そしてＣＰＵ２１１は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。さらにＣＰＵ２１１は、商品名、単価、数量、金額の各データを、接続インターフェース２１７を介して商品認識装置１に送信する。商品認識装置１のＣＰＵ１１１は、登録画面７００の明細エリア７０１と客用ディスプレイ１３とに、ＰＯＳ端末２から受信した商品名、単価、数量、金額の各データを表示させる。このとき、明細エリア７０１においては、登録番号カウンタＡの値に一致する行番号の行にデータが表示される。

タッチパネルセンサ１２ｂの信号により「閉じる」ボタン８０４がタッチ入力されたことを検知した場合には（ＳＴ５７にてＹＥＳ）、ＣＰＵ１１１は、候補商品再利用画面８００を消去する。しかる後、ＣＰＵ１１１は、ステップＳＴ２１の処理に戻り、キーボード１１またはタッチパネル１２の操作入力有無を確認する。

ＰＯＳ端末２からのコマンドに応じた割込処理の１つに、決済完了コマンドの受信割込処理がある。決済完了コマンドは、ＰＯＳ端末２において、キーボード２１の締めキーが操作入力された際に、ＰＯＳ端末２から商品認識装置１に送信される。

この割込処理の手順は、図１０の流れ図によって示される。先ず、ＣＰＵ１１１は、認識結果保持メモリ６２０に取引日付、レジ番号及び取引番号の取引識別情報をセットする（ＳＴ７１）。取引日付及びレジ番号は、予め商品認識装置１のＲＡＭ１１３に設定されている。取引番号は、取引番号カウンタＹの値である。

認識結果保持メモリ６２０に取引識別情報がセットされたならば、ＣＰＵ１１１は、この認識結果保持メモリ６２０のデータをバックアップファイルに書き込む。そしてＣＰＵ１１１は、このバックアップファイルを、接続インターフェース１１６を介してＰＯＳ端末２に送信してＨＤＤ２１４に保存する（ＳＴ７２）。しかる後、ＣＰＵ１１１は、認識結果保持メモリ６２０をクリアする（ＳＴ７３：クリア機能）。以上で、１商取引に対する商品認識装置１の情報処理が終了する。

本実施形態において、商品認識装置１のオペレータは、買物カゴ６から商品Ｍを１品ずつ取り出す毎に、その商品Ｍにバーコードが付されているか否かを確認する。バーコードが付されている場合には、オペレータは、商品Ｍのバーコードが付されている面を読取窓１Ｂに翳す。バーコードが付されていない場合には、オペレータは、商品Ｍのいずれか１面を読取窓１Ｂに翳す。

読取窓１Ｂに翳された商品Ｍは、カメラ１４によって撮影される。商品認識装置１においては、カメラ１４で撮影されたフレーム画像から商品画像が検出されると、この商品画像でバーコードの読取処理と商品認識処理とが実行される。その結果、バーコードが読み取られると、このバーコードからデコードされた商品ＩＤがＰＯＳ端末２に送信される。

バーコードが読み取られない場合には、認識結果処理が実行される。すなわち商品認識処理において認識された候補商品の最大類似度が確定閾値Ｌｍａｘを超えた場合には、この最大類似度を有する商品が、読取窓１Ｂに翳された商品Ｍとして特定される。最大類似度が確定閾値Ｌｍａｘを超えない場合には、類似度が候補閾値Ｌｍｉｎを超える候補商品のリストがタッチパネル１２に表示される。候補商品の中から１つの商品が選択されると、この商品が、読取窓１Ｂに翳された商品Ｍとして特定される。

読取窓１Ｂに翳された商品Ｍが特定されると、この商品Ｍの商品ＩＤが商品認識装置１からＰＯＳ端末２に送信される。また商品認識装置１では、商品Ｍを読取窓１Ｂに翳したときの商品認識処理によって認識された候補商品の情報が、登録番号カウンタＡの値と関連付けられて、認識結果保持メモリ６２０に格納される。

ＰＯＳ端末２では、商品認識装置１から商品ＩＤを受信する毎に、この商品ＩＤで識別される商品の販売データが登録処理される。一方、商品認識装置１では、タッチパネル１２に表示されている登録画面７００の明細エリア７０１に、各商品の商品名、単価、数量、金額の各データが、登録処理された順に表示される。

図１２は、１品目として商品「牛乳」が登録処理され、２品目として商品「たまねぎ」が登録処理され、３品目としてオペレータが商品「リンゴ」を読取窓１Ｂに翳したときの登録画面７００である。商品「たまねぎ」には、バーコードが付されていない。このため認識結果保持メモリ６２０には、登録番号「２」に関連付けて、商品「たまねぎ」を読取窓１Ｂに翳したときに実行される商品認識処理によって認識された候補商品の情報が保存されている。

図１２の画面において、読取窓１Ｂに翳した商品が「リンゴ」の場合、オペレータは、ボタン画像７１１にタッチする。そうするとＰＯＳ端末２では、商品「リンゴ」の販売データが登録処理される。商品認識装置１では、明細エリア７０１の行番号「３」の行に、商品「リンゴ」の名称、単価、数量、金額が表示される。また認識結果保持メモリ６２０には、登録番号「３」に関連付けて、候補商品「リンゴ」，「柿」，「モモ」の情報が保存される。

このとき、オペレータが誤ってボタン画像７１２にタッチしてしまうと、ＰＯＳ端末２では、商品「柿」の販売データが登録処理されてしまう。この場合も、認識結果保持メモリ６２０には、登録番号「３」に関連付けて、候補商品「リンゴ」，「柿」，「モモ」の情報が保存される。

今、同様な誤操作により、２品目の商品が「たまねぎ」ではなく「ジャガイモ」であったことにオペレータが気付いたとする。この場合、オペレータは、明細エリア７０１の行番号「２」の行にタッチする。そうすると商品認識装置１では、タッチパネル１２のパネル表示部１２ａに、登録番号「２」に関連付けて認識結果保持メモリ６２０に保存されている候補商品の情報を基に編集された候補商品再利用画面８００が表示される。

図１３は、候補商品再利用画面８００の一例である。この例は、商品「ジャガイモ」を読取窓１Ｂに翳したときに、候補商品として類似度か高い順に「たまねぎ」、「ジャガイモ」、「さといも」、「レモン」、「にんにく」が認識された場合である。候補商品再利用画面８００を確認したオペレータは、画面の「ジャガイモ」に対応した「修正」ボタン８０２にタッチする。そうすると、商品認識装置１では、商品「たまねぎ」の商品ＩＤが変更前の商品ＩＤであり、商品「ジャガイモ」の商品ＩＤが変更後の商品ＩＤである変更コマンドが生成されて、ＰＯＳ端末２に送信される。

ＰＯＳ端末２では、商品「たまねぎ」の販売データが取消処理され、その代わりに商品「ジャガイモ」の販売データが登録処理される。商品認識装置１では、図１４に示すように、明細エリア７０１の行番号「２」に対応した行に、商品「ジャガイモ」の品名、単価、数量、金額が表示される。

次に、例えば４品目が「さといも」であったとする。この場合、オペレータは明細エリア７０１の行番号「２」の行にタッチする。そうすると、図１３に示す候補商品再利用画面８００がパネル表示部１２ａに表示されるので、オペレータは、画面の「さといも」に対応した「追加」ボタン８０３にタッチする。そうすると、商品認識装置１では、商品「さといも」の商品ＩＤを含む追加コマンドが生成されて、ＰＯＳ端末２に送信される。

ＰＯＳ端末２では、商品「さといも」の販売データが登録処理される。商品認識装置１では、明細エリア７０１の行番号「４」に対応した行に、商品「さといも」の品名、単価、数量、金額が表示される。

このように本実施形態の商品認識装置１は、商品認識処理により認識された候補商品の情報を当該候補商品の中から特定された前記特定商品に関する情報（登録番号）と関連付けて認識結果保持メモリ６２０で保持する。そして、タッチパネル１２に表示される登録画面７００のタッチ入力により前記特定商品の選択要求を受け付けると、当該特定商品に関する情報と関連付けて前記認識結果保持メモリ６２０に保持されている候補商品の情報に基づき候補商品再利用画面８００を前記タッチパネル１２に表示させる。したがって、商品を読取窓１Ｂに再度翳さなくても、当該商品の撮像画像に対する商品認識処理により認識された候補商品の情報を確認することができる。

また、候補商品再利用画面８００には、各候補商品に対応させて「修正」ボタン８０２と「追加」ボタン８０３とが表示される。そして、「修正」ボタン８０２が入力されると、商品認識装置１では選択要求のあった特定商品の販売データが取消処理される。そして、その代わりに「修正」ボタン８０２に対応する候補商品の販売データが登録処理される。したがって、バーコードのない商品の販売データを修正する場合に、この商品を読取窓１Ｂに再度翳す手間なく修正することができる。

「追加」ボタンが入力された場合には、商品認識装置１では、この「追加」ボタン８０３に対応する候補商品の商品ＩＤがＰＯＳ端末２に出力される。ＰＯＳ端末２では、当該商品ＩＤで識別される商品の販売データが登録処理される。したがって、バーコードのない商品であっても候補商品のリストに挙げられた類似商品であれば、商品を読取窓１Ｂに翳すことなく商品販売データを登録処理することができる。

［第２の実施形態］
図１５は、第２の実施形態における認識結果保持メモリ６３０のエリア構造を示す模式図である。第１の実施形態では、候補商品の情報を当該候補商品の中から特定された特定商品に関する情報と関連付けて認識結果保持メモリ６２０に格納した。第２の実施形態では、図１５に示すように、候補商品の情報の代わりに商品画像を格納する。

なお、店舗会計システムの外観図、商品認識装置とＰＯＳ端末とのハードウェア構成を示すブロック図、認識辞書ファイルに保存される商品別辞書データの構造を示す模式図、候補商品メモリのエリア構造を示す模式図は、第１の実施形態と同一なので、図１〜５をそのまま用いる。また、商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理の一手順を示す流れ図、商品認識処理の手順を具体的に示す流れ図、決済完了コマンドに対する割込処理の手順を具体的に示す流れ図も第１の実施形態と同一なので、図６，７，１０をそのまま用いる。

図１６は、第２の実施形態における認識結果処理の手順を具体的に示す流れ図である。図１６において、図８に示す第１の実施形態の同処理と共通する処理ステップには同一符号を付している。図８と図１６とを対比すれば明らかなように、第２の実施形態が第１の実施形態と異なるのは、ステップＳＴ４５またはＳＴ４８の処理の後のステップである。

すなわち第１の実施形態では、ＣＰＵ１１１は、認識結果保持メモリ６２０に登録番号カウンタＡの値と候補商品情報とを格納する（ＳＴ４９）。第２の実施形態では、ＣＰＵ１１１は、認識結果保持メモリ６２０に登録番号カウンタＡの値と商品画像とを格納する（ＳＴ８１）。商品画像は、最新のステップＳＴ７の処理で撮影画像から検出された商品画像の全部または一部である。

図１７は、第２の実施形態における登録行入力に対する割込処理の手順を具体的に示す流れ図である。なお、図９に示す第１の実施形態の同処理と共通する処理ステップには同一符号を付している。図９と図１７とを対比すれば明らかなように、第２の実施形態が第１の実施形態と異なるのは、ステップＳＴ５３の処理に代えて、ステップＳＴ９１〜ＳＴ９３の処理を実行するようにした点である。

すなわち第１の実施形態では、明細エリア７０１のタッチ位置にある行の行番号Ｂを検出する（ＳＴ５１）。行番号Ｂが登録番号カウンタＡの値以下の場合（ＳＴ５２にてＹＥＳ）、ＣＰＵ１１１は、認識結果保持メモリ７１を検索して、行番号Ｂと一致する登録番号に関連付けられて記憶されている候補商品情報を読み込む（ＳＴ５３）。

第２の実施形態では、行番号Ｂが登録番号カウンタＡの値以下の場合（ＳＴ５２にてＹＥＳ）、ＣＰＵ１１１は、認識結果保持メモリ７１を検索して、行番号Ｂと一致する登録番号に関連付けられて記憶されている商品画像を読み込む（ＳＴ９１）。次いで、ＣＰＵ１１１は、この商品画像を用いて、第１の実施形態と同様の商品認識処理（図７を参照）を実行する（ＳＴ９２）。次いで、ＣＰＵ１１１は、図１６の流れ図で示される手順の認識結果処理を実行する（ＳＴ９３）。しかしてＣＰＵ１１１は、認識結果処理により得られた候補商品情報に基づいて候補商品再利用画面８００を編集し、パネル表示部１２ａに表示させる（ＳＴ５４）。

その後、ＣＰＵ１１１は、候補商品再利用画面８００のいずれかのボタン画像がタッチ入力されるのを待機する（ＳＴ５５，ＳＴ５６，ＳＴ５７）。ここで、「修正」ボタン８０２、「追加」ボタン８０３または「閉じる」ボタン８０４が操作入力された後の処理は、第１の実施形態と同様である。

このような構成の第２の実施形態においても、第１の実施形態と同様な作用効果を奏し得る。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、タッチパネル１２に表示される登録画面７００の明細エリア７０１がタッチ入力されたことを検知すると、特定商品の選択要求を受け付ける場合を例示した。特定商品の選択要求を受け付ける形態は、これに限定されるものではない。例えば、キーボード１１のキー操作により行番号Ｂが入力されたことを検知すると、特定商品の選択要求を受け付けるようにしてもよい。あるいは、ＰＯＳ端末２のキー操作により生成されるコマンドの入力により、特定商品の選択要求を受け付けるように構成することも可能である。

また、前記実施形態では、ＰＯＳ端末２からの決済完了コマンドを受信したことに応じて、認識結果保持メモリ６２０をクリアした。認識結果保持メモリ６２０をクリアするタイミングは、これに限定されるものではない。例えば、決済完了コマンドを受信してから所定時間が経過した後の時点で、認識結果保持メモリ６２０をクリアしてもよい。あるいは、決済完了コマンドを所定の複数回数受信した時点で、認識結果保持メモリ６２０をクリアしてもよい。

また、ＨＤＤ２１４のバックアップファイルに保存した認識結果保持メモリ６２０のデータについても、一営業日の営業時間終了後や所定の営業日数が経過した段階でクリアすることが、記憶容量の節約の観点から望ましい。

また、前記実施形態では、商品認識装置１のＣＰＵ１１１が、プロセッサとしての機能（プログラム）を全て有する。商品認識装置１のＣＰＵ１１１とＰＯＳ端末２のＣＰＵ２１１とが、プロセッサとしての機能を分散して有してもよい。あるいは、商品認識装置１をＰＯＳ端末２に組み込んで一体的に構成し、ＰＯＳ端末２のＣＰＵ２１１がプロセッサとしての機能を有してもよい。この場合、候補商品メモリ６１０及び認識結果保持メモリ６２０，６３０としての領域は、ＰＯＳ端末２のＲＡＭ２１３に確保される。

また、これらのメモリ領域は、ＲＡＭ以外の記憶媒体、例えばＨＤＤ２１４に形成されていてもよい。本実施形態では、商品画像から認識される候補商品の情報または上記商品画像を保持する記憶媒体は全てメモリの範疇に入る。

また、前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ１１２に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるＰＤＡのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…商品認識装置、２…ＰＯＳ端末、１１…キーボード、１２…タッチパネル、１４…カメラ、１１１，２１１…ＣＰＵ、１１２，２１２…ＲＯＭ、１１３，２１３…ＲＯＭ、１１４…画像インターフェース、１１６，２１６…接続インターフェース、２１４…ＨＤＤ、５００…認識辞書ファイル、６１０…候補商品メモリ、６２０，６３０…認識結果保持メモリ。

Claims (6)

1. カメラによって撮影された商品の画像を取り込む画像インターフェースと、
   外部機器を接続してデータ通信を行う接続インターフェースと、
   前記画像インターフェースを介して取り込まれた商品画像から認識される候補商品を表示するディスプレイと、
   前記商品画像から認識される候補商品の情報を保持するメモリと、
   前記商品画像からその画像に映し出されている商品の候補を認識し、この候補商品の中から前記画像に映し出されている商品を特定してこの特定商品の情報を前記接続インターフェースを介して前記外部機器へ出力するとともに前記候補商品の情報を当該候補商品の中から特定された前記特定商品に関する情報と関連付けて前記メモリに格納し、前記特定商品の選択要求を受け付けると、当該特定商品に関する情報と関連付けて前記メモリに保持されている候補商品の情報に基づき候補商品を前記ディスプレイに表示させるプロセッサと、
   を具備したことを特徴とする商品認識装置。
2. カメラによって撮影された商品の画像を取り込む画像インターフェースと、
   外部機器とデータ通信を行う接続インターフェースと、
   前記画像インターフェースを介して取り込まれた商品画像から認識される候補商品を表示するディスプレイと、
   前記商品画像を保持するメモリと、
   前記商品画像からその画像に映し出されている商品の候補を認識し、この候補商品の中から前記画像に映し出されている商品を特定してこの特定商品の情報を前記接続インターフェースを介して前記外部機器へ出力するとともに前記商品画像の全部または一部をこの画像から認識された候補商品の中から特定された前記特定商品に関する情報と関連付けて前記メモリに格納し、前記特定商品の選択要求を受け付けると、当該特定商品に関する情報と関連付けて前記メモリに保持されている商品画像から候補商品を認識してこの候補商品を前記ディスプレイに表示させるプロセッサと、
   を具備したことを特徴とする商品認識装置。
3. 前記プロセッサは、所定のタイミングで前記メモリをクリアすることを特徴とする請求項１または２記載の商品認識装置。
4. 前記外部機器は、商取引の決済を処理する決済端末であり、
   前記所定のタイミングは、前記特定商品を含む商取引の決済が前記外部機器で完了した後であることを特徴とする請求項３記載の商品認識装置。
5. カメラによって撮影された商品の画像を取り込む画像インターフェースと、外部機器とデータ通信を行う接続インターフェースと、前記画像インターフェースを介して取り込まれた商品画像から認識される候補商品を表示するディスプレイと、前記商品画像から認識される候補商品の情報を保持するメモリとを備えた前記コンピュータに、
   前記商品画像からその画像に映し出されている商品の候補を認識する機能、
   候補商品の中から前記画像に映し出されている商品を特定してこの特定商品の情報を前記接続インターフェースを介して前記外部機器へ出力する機能、
   前記候補商品の情報を当該候補商品の中から特定された前記特定商品に関する情報と関連付けて前記メモリに格納する機能、
   前記特定商品の選択要求を受け付けると、当特定商品に関する情報に関連付けて前記メモリに保持されている候補商品の情報に基づき候補商品を前記ディスプレイに表示させる機能、
   を実現させるための商品認識プログラム。
6. 前記コンピュータに、
   所定のタイミングで前記メモリをクリアする機能、
   をさらに実現させるための請求項５記載の商品認識プログラム。

Images