JP2015018506A - 商品認識装置及び商品認識プログラム - Google Patents

Abstract

【課題】撮影画像から商品を認識する。【解決手段】商品認識装置は、撮像部で撮影された画像に商品を囲うための枠を表示させる。そして商品認識装置は、枠によって囲われた領域内の画像の特徴量から枠内に映し出されている商品の候補を認識し、最有力候補の商品に係る情報を出力する。候補の変更指示を受け付けると、商品認識装置は、候補の中から選出された最有力候補以外の商品に係る情報を出力する。【選択図】 図１４

Description

本発明の実施形態は、カフェテリア形式の食堂施設等で利用される商品認識装置及びコンピュータを当該商品認識装置として機能させるための商品認識プログラムに関する。

カフェテリア形式の食堂施設では、予め用意された料理を利用者自身がトレイに盛り付け、若しくは給仕員に盛り付けてもらい、最後に会計を行う。会計は、通常、キャッシャがトレイに盛られた料理を１品ずつ金銭登録装置に登録して行う。このため、カフェテリア形式の食堂施設では会計に時間を要するという問題があり、この問題を解決するために様々な提案がなされている。しかしながら、従来提案されている認識装置は、商品（料理）が盛り付けられた容器を認識する。このため、容器は認識装置で認識可能なものに制約される。このように容器に自由度がないため、運用しづらい。

特開平８−１８００９９号公報 特開２００１−２１６５７１号公報

本発明の実施形態が解決しようとする課題は、効率よく運用され、認識結果に誤りがあった場合でも、簡単な操作で容易に訂正することができる商品認識装置及び商品認識プログラムを提供することである。

一実施形態において、商品認識装置は、画像表示手段、枠表示手段、認識手段、第１の出力手段、変更受付手段及び第２の出力手段を含む。画像表示手段は、撮像部で撮影された画像を表示部に表示させる。枠表示手段は、表示部に表示される画像上の任意の１乃至複数箇所に商品を囲うための枠を表示させる。認識手段は、枠によって囲われた領域内の画像の特徴量から枠内に映し出されている商品の候補を認識する。第１の出力手段は、認識手段により認識された商品の候補のなかで最有力候補の商品に係る情報を出力する。変更受付手段は、候補の変更指示を受け付ける。第２の出力手段は、候補の変更指示を受け付けると、候補の中から選出された最有力候補以外の商品に係る情報を出力する。

商品認識装置の一実施形態を示す外観図。 同商品認識装置の要部構成を示すブロック図。 認識辞書ファイルのデータ構造を示す模式図。 同商品認識装置の機能ブロック図。 同商品認識装置のＲＡＭに形成される主要なメモリエリアを示す模式図。 同商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理手順の要部を示す流れ図。 図６における画像認識処理の手順を具体的に示す流れ図。 図６の判断ブロックAct１３にてＹＥＳと判断された後の情報処理手順の示す流れ図。 図６の判断ブロックAct１４にてＹＥＳと判断された後の情報処理手順の示す流れ図。 図６の判断ブロックAct７にてＹＥＳと判断された後の情報処理手順の示す流れ図。 商品認識装置のパネル表示部に表示される画面の一例を示す模式図。 図１１に示す画面から料理品目がタッチされた後の画面例を示す模式図。 図１２に示す画面から料理品目が認識された後の画面例を示す模式図。 図１３に示す画面から別の料理品目がタッチされた後の画面例を示す模式図。 図１４に示す画面から料理品目が認識された後の画面例を示す模式図。 図１５に示す画面から枠内がタッチされた後の画面例を示す模式図。 図１６に示す画面から料理品目が認識された後の画面例を示す模式図。

以下、商品認識装置の実施形態について説明する。
なお、本実施形態は、社員食堂や学生食堂のようにカフェテリア形式の食堂施設に設置される場合である。

はじめに、本実施形態の商品認識装置は、一般物体認識（generic object recognition）の技術を採用する。一般物体認識とは、対象となる物品（オブジェクト）をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
図１は、本実施形態に係る商品認識装置１の外観図である。会計カウンタ２の卓面２Ａ上に設置される商品認識装置１は、板状のボディ部１１Ａと庇部１１Ｂとを含む。ボディ部１１Ａは、正面が手前側を向くように卓面２Ａの奥側の縁に沿って立設される。庇部１１Ｂは、ボディ部１１Ａの正面上端部から、上記正面に対して略直交する方向に突出する。このため庇部１１Ｂの下面は、卓面２Ａと対向する。

庇部１１Ｂは、撮像部１２を内蔵する。また庇部１１Ｂは、下面に読取窓（不図示）を形成する。撮像部１２は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、上記読取窓から撮像レンズを通してＣＣＤ撮像素子のエリアに結像する画像の領域を指す。撮像部１２は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、撮像部１２は、ＣＣＤ撮像素子を用いたものに限定されるものではなく、例えばＣＭＯＳ(complementary metal oxide semiconductor)イメージセンサを用いたものであってもよい。

商品認識装置１は、さらに操作パネル１３とＩＣカードリーダ・ライタ（以下、カードＲＷと略称する）１８とを含む。操作パネル１３は、ボディ部１１Ａの頂部に取り付けられる。操作パネル１３は、ボディ部１１Ａの正面側を操作面とする。そして操作パネル１３は、上記操作面に、キーボード１４、タッチパネル１５及びレシート発行口１６を配置する。レシート発行口１６は、操作パネル１３内に内蔵されたレシートプリンタ１７で印字されたレシートを発行する。

カードＲＷ１８は、操作パネル１３の一側面に取り付けられる。カードＲＷ１８は、ＩＣカードに対してデータの読み取り及び書き込みを実施する。ＩＣカードは、固有のユーザＩＤと電子マネーデータとを記憶する。すなわちＩＣカードは、ユーザＩＤ機能と電子マネー機能とを有する。食堂施設を利用するユーザ（社員、学生等）は、自己のＩＣカードを所持する。

卓面２Ａにおけるボディ部１１Ａの手前側の領域２Ｂは、商品である料理が盛り付けられた容器３を載置するためのスペースとなる。この領域２Ｂは、前記撮像部１２の撮像領域に含まれる。すなわち撮像部１２は、料理が盛り付けられた容器３を撮影する。なお、図１では容器３として楕円状の１枚のトレイを例示しているが、容器３の形状や数は特に限定されるものではない。要は、食堂施設の利用者が予め用意された料理を盛り付けて会計カウンタ２まで持ってくることができる食器またはトレイであり、かつ、領域２Ｂの範囲内に置くことができればよい。

図２は、商品認識装置１の要部構成を示すブロック図である。商品認識装置１は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３及び補助記憶デバイス２４を備える。そして商品認識装置１は、アドレスバス，データバス等のバスライン２５を介して、ＣＰＵ２１と、ＲＯＭ２２、ＲＡＭ２３及び補助記憶デバイス２４とを接続する。

ＣＰＵ２１は、コンピュータの中枢部分に相当する。ＣＰＵ２１は、オペレーティングシステムやアプリケーションプログラムに従って、商品認識装置１としての各種の機能を実現するべく各部を制御する。

ＲＯＭ２２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ２２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ２２は、ＣＰＵ２１が各種の処理を実行する上で必要なデータを記憶する場合もある。

ＲＡＭ２３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ２３は、ＣＰＵ２１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ２３は、ＣＰＵ２１が各種の処理を行う際のワークエリアとしても利用される。

補助記憶デバイス２４は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス２４は、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ハードディスクドライブ、あるいはＳＳＤ（solid state drive）などである。補助記憶デバイス２４は、ＣＰＵ２１が各種の処理を行う上で使用するデータや、ＣＰＵ２１での処理によって生成されたデータを保存する。補助記憶デバイス１１は、上記のアプリケーションプログラムを記憶する場合もある。

商品認識装置１は、バスライン２５に通信インターフェース２６を接続する。そして商品認識装置１は、この通信インターフェース２６を介してデータベースサーバ４１にアクセスする。データベースサーバ４１は、ユーザデータベース４０を備える。ユーザデータベース４０は、各ユーザのユーザＩＤに関連付けて、性別，年齢等の個人情報や、当該食堂施設の利用履歴に関する情報等を記憶する。

商品認識装置１は、図示しない入出力回路を介して、撮像部１２、キーボード１４、タッチパネル１５、レシートプリンタ１７及びカードＲＷ１８を接続する。タッチパネル１５は、パネル表示部１５１と、このパネル表示部１５１の画面上に重ねて配置されたタッチパネルセンサ１５２とからなる。

かかる構成の商品認識装置１は、認識辞書ファイル５０を有する。認識辞書ファイル５０は、補助記憶デバイス２４に保存される。なお、認識辞書ファイル５０の保存先は、補助記憶デバイス２４に限定されるものではない。例えばＲＡＭ２３であってもよい。あるいは、通信インターフェース２６を介して接続される外部機器の記憶装置に保存されていてもよい。

図３は、認識辞書ファイル５０のデータ構造を示す模式図である。認識辞書ファイル５０は、当該食堂施設でユーザに提供される料理品目毎の認識辞書データを記憶する。認識辞書データは、メニューＩＤ、メニュー名称、価格、熱量及び外観特徴パラメータの各項目を含む。メニューＩＤは、料理品目を個々に識別するコードである。メニュー名称は、対応するメニューＩＤで識別される料理品目の固有名称である。価格は、対応するメニューＩＤで識別される料理品目の１単位量当たりの販売価格(円)である。熱量は、対応するメニューＩＤで識別される料理品目の標準分量に対して導出されるパラメータである。外観特徴パラメータは、対応するメニューＩＤで識別される料理品目の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

かかる構成の商品認識装置１は、図４に示すように、取込手段６１、画像表示手段６２、枠表示手段６３、認識手段６４、第１の出力手段６５、変更受付手段６６、第２の出力手段６７、入力受付手段６８及び判定手段６９を含む。

取込手段６１は、撮像部１２で撮影された画像を取り込む。画像表示手段６２は、取込手段６１により取り込んだ画像を表示部であるタッチパネル１５に表示させる。枠表示手段６３は、タッチパネル１５に表示される画像上の任意の１乃至複数箇所に商品（料理）を囲うための枠を表示させる。認識手段６４は、枠によって囲われた領域内の画像の特徴量から枠内に映し出されている商品の候補を認識する。第１の出力手段６５は、認識手段６４により認識された商品の候補のなかで最有力候補の商品に係る情報を出力する。変更受付手段６６は、第１の出力手段６５で出力された商品の候補の変更指示を受け付ける。第２の出力手段６７は、変更受付手段６６による商品の候補の変更指示を受け付けると、商品の候補の中から選出された最有力候補以外の商品に係る情報を出力する。入力受付手段６８は、タッチパネル１５に表示される画像上の任意の箇所への指示入力を受け付ける。判定手段６９は、入力受付手段６８により指示入力を受付けた箇所が、枠表示手段６３により表示された枠の内側か否かを判定する。そして、枠の外側と判定された場合には枠表示手段６３が動作し、枠の内側と判定された場合には変更受付手段６６が動作する。

かかる機能を実現するために、商品認識装置１は、ＲＯＭ２２または補助記憶デバイス２４に商品認識プログラムを記憶する。また商品認識装置１は、図５に示すように、カウント値ｎの品数カウンタ７１と、候補メモリ７２と、明細メモリ７３とを、ＲＡＭ２３に形成する。

候補メモリ７２は、枠番号の順に、後述する画像認識処理により第１候補から第４候補まで認識されたメニュー品目のメニューＩＤを格納する領域７２１と、候補番号ｍを格納する領域７２２とを有する。

明細メモリ７３は、枠番号の順に、削除マーク座標（Ｘ０，Ｙ０）、メニューＩＤ、メニュー名称、価格、熱量からなる明細レコードを格納する領域７３１と、合計価格及び合計熱量を格納する領域７３２とを有する。各項目については、後述する。

商品認識プログラムが起動すると、ＣＰＵ２１は、図６〜図１０の流れ図に示す手順の処理を開始する。なお、図６〜図１０に示すとともに以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

ＣＰＵ２１は、カードＲＷ１８で前記ＩＣカードが読み取られるのを待機する（Act１）。ＩＣカードが読み取られるまでは（Act１にてＮＯ）、Act２の処理に進まない。ＩＣカードが読み取られると（Act１にてＹＥＳ）、ＣＰＵ２１は、Act２の処理に進む。すなわちＣＰＵ２１は、品数カウンタ７１を“０”にリセットする（Act２）。

ＣＰＵ２１は、撮像部１２で撮影されている画像（フレーム画像）を取り込む（Act３：取込手段６１）。そしてＣＰＵ２１は、この撮影画像をタッチパネル１５のパネル表示部１５１に表示させる（Act４：画像表示手段６２）。

図１１は、撮影画像８１が表示されたパネル表示部１５１の一画面例である。図示するように画面には、撮影画像８１の他に、合計金額欄８２、総カロリー欄８３、確定ボタン８４及び取消ボタン８５が表示される。

パネル表示部１５１の画面に撮影画像８１が表示されると、ＣＰＵ２１は、その画面がタッチされたか否かを確認する（Act５）。画面がタッチされていない場合（Act５にてＮＯ）、ＣＰＵ２１は、品数カウンタ７１を調べる（Act６）。品数カウンタ７１が“０”にリセットされていた場合（Act６にてＮＯ）、ＣＰＵ２１は、Act３の処理に戻る。すなわちＣＰＵ２１は、撮像部１２から次の撮影画像を取込み（Act３）、パネル表示部１５１に表示させる（Act４）。

ＣＰＵ２１は、画面がタッチされるまで撮影画像の取込みと表示とを繰り返す。画面がタッチされると（Act５にてＹＥＳ）、ＣＰＵ２１は、画面のどの領域がタッチされたかを調べる（Act７，Act８）。確定ボタン８４または取消ボタン８５の領域ではなく（Act７にてＮＯ）、撮影画像８１の領域でもない場合（Act８にてＮＯ）、ＣＰＵ２１は、Act５の処理に戻る。すなわち、タッチ入力は無視される。

撮影画像８１の領域がタッチされた場合（Act８にてＹＥＳ）、ＣＰＵ２１は、タッチ位置の座標（Ｘ，Ｙ）を検出する（Act９：入力受付手段６８）。座標（Ｘ，Ｙ）は、基準点、例えば撮影画像８１の領域の左下角を二次元座標の原点（０，０）とし、この原点（０，０）から右方向をＸ方向、上方向をＹ方向と定義する。そしてＣＰＵ２１は、原点（０，０）からタッチ位置までのＸ方向の距離とＹ方向の距離とを求め、座標（Ｘ，Ｙ）に変換する。

ＣＰＵ２１は、品数カウンタ７１を調べる（Act１０）。品数カウンタ７１が“０”にリセットされている場合（Act１０にてＮＯ）、ＣＰＵ２１は、画像の認識領域を決定し、その領域を囲う枠９１を撮影画像８１の領域内に表示する。すなわちＣＰＵ２１は、図１２に示すように、タッチ位置座標（Ｘ，Ｙ）を中心として、縦の長さがａで横の長さがｂの四角形の枠９１を表示させる（Act１１：枠表示手段６３）。このときの枠９１の色は、デフォルトの色、例えば黒とする。

ＣＰＵ２１は、画像認識処理を実行する（Act１２）。図７は、画像認識処理の具体的手順を示す流れ図である。先ず、ＣＰＵ２１は、品数カウンタ７１を“１”だけカウントアップする（Act２１）。また、ＣＰＵ２１は、枠９１で囲われた画像から、輪郭形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（Act２２）。そしてＣＰＵ２１は、認識辞書ファイル５０に登録されている全てのメニュー品目のレコードについて、上記特徴量が当該レコードの外観特徴パラメータとどの程度類似しているかを示す類似度を算出する（Act２３）。

全メニュー品目に対して類似度を算出したならば、ＣＰＵ２１は、類似度の高い順に１位から４位までのメニュー品目を選択する。そしてこれら１位から４位までのメニュー品目のメニューＩＤを、候補メモリ７２における枠番号ｎ（ｎは、品数カウンタ７１のカウント値）の第１候補から第４候補までの領域７２１に順次格納する（Act２４：認識手段６４）。すなわち、類似度が最も高いメニュー品目のメニューＩＤを第１候補の領域に格納し、２番目に高いメニュー品目のメニューＩＤを第２候補の領域に格納する。以下、３番目に高いメニュー品目のメニューＩＤを第３候補の領域に格納し、４番目に高いメニュー品目のメニューＩＤを第４候補の領域に格納する。

ＣＰＵ２１は、候補メモリ７２における枠番号ｎの候補番号ｍを“１”とする（Act２５）。そしてＣＰＵ２１は、第ｍ候補（ｍは候補番号）のメニューＩＤで特定されるメニュー品目の情報（メニューＩＤ、メニュー名称、価格及び熱量）を認識辞書ファイル５０から取得する（Act２６）。またＣＰＵ２１は、枠９１の右上角の座標を削除マーク座標（Ｘ０，Ｙ０）として算出する（Act２７）。

ＣＰＵ２１は、明細メモリ７３の枠番号ｎの明細レコードに、上記削除マーク座標（Ｘ０，Ｙ０）とメニュー品目情報とをセットする（Act２８）。次いでＣＰＵ２１は、図１３に示すように、削除マーク座標（Ｘ０，Ｙ０）のポジションに削除マーク９２を表示させる。また、ＣＰＵ２１は、枠９１内に当該メニュー品目情報のメニュー名称、価格及び熱量を表示させる（Act２９：第１の出力手段６５）。さらにＣＰＵ２１は、明細メモリ７３のデータから合計金額と合計熱量とを算出し、画面の合計金額欄８２と総カロリー欄８３とにそれぞれ表示させる（Act３０）。以上で、画像認識処理は終了する。

画像認識処理が終了すると、ＣＰＵ２１は、Act５の処理に戻る。すなわちＣＰＵ２１は、パネル表示部１５１の画面がタッチされたか否かを確認する（Act５）。そして、画面がタッチされていない場合には（Act５にてＮＯ）、ＣＰＵ２１は、品数カウンタ７１を調べる（Act６）。

このとき、品数カウンタ７１はカウントアップされているので（Act６にてＹＥＳ）、ＣＰＵ２１は、Act５の処理に戻る。したがってＣＰＵ２１は、撮影画像の取り込みを行わない。その結果、パネル表示部１５１には、前回取り込んだ撮影画像がそのまま静止画として表示される。

画面がタッチされた場合（Act５にてＹＥＳ）、ＣＰＵ２１は、画面のどの領域がタッチされたかを調べる（Act７，Act８）。ここで、再び撮影画像８１の領域がタッチされた場合（Act８にてＹＥＳ）、ＣＰＵ２１は、タッチ位置の座標（Ｘ，Ｙ）を検出する（Act９）。このとき、品数カウンタ７１はカウントアップされている。したがって、Act１０の処理では“ＹＥＳ”に進む。すなわちＣＰＵ２１は、削除マーク９２がタッチされたのか、認識領域の枠９１内がタッチされたのか、枠９１外がタッチされたのかを判断する（Act１３，１４：判定手段６９）。

具体的にＣＰＵ２１は、タッチ位置座標（Ｘ，Ｙ）を明細メモリ７３に格納されている各明細レコードの削除マーク座標（Ｘ０，Ｙ０）と照合する。そして、タッチ位置座標（Ｘ，Ｙ）と略一致する削除マーク座標（Ｘ０，Ｙ０）が存在する場合には、削除マーク９２がタッチされたと判断する。また、タッチ位置座標（Ｘ，Ｙ）がいずれかの枠９１の領域内の座標と一致する場合には、枠９１内がタッチされたと判断する。タッチ位置座標（Ｘ，Ｙ）が上記のいずれでもない場合には、枠９１外がタッチされたと判断する。

枠９１外がタッチされたと判断された場合（Act１３，１４にてＮＯ）、ＣＰＵ２１は、Act１１の処理に進む。すなわちＣＰＵ２１は、図１４に示すように、そのタッチ位置座標（Ｘ，Ｙ）を中心として、縦の長さがａで横の長さがｂの四角形の枠９１ａを表示させる（Act１１：枠表示手段６３）。そしてＣＰＵ２１は、この枠９１ａ内の画像認識処理を実行する。その結果、品番カウンタｎがさらにカウントアップされる。そして、候補メモリ７２の枠番号ｎの第１候補から第４候補までの領域７２１に、類似度の高い順に１位から４位までのメニュー品目のメニューＩＤが格納される。また、明細メモリ７３の枠番号ｎの明細レコードに、削除マーク座標（Ｘ０，Ｙ０）とともに第１候補（類似度１位）のメニュー品目の情報がセットされる。そして、図１５に示すように、枠９１ａ内に当該メニュー品目情報のメニュー名称、価格及び熱量が表示される。また、合計金額と合計熱量とが更新される。

削除マーク９２がタッチされたと判断された場合（Act１３にてＹＥＳ）、ＣＰＵ２１は、図８の流れ図に示す処理に進む。すなわちＣＰＵ２１は、タッチ位置座標（Ｘ，Ｙ）と略一致する削除マーク座標（Ｘ０，Ｙ０）を含む明細レコードから、枠番号Ｐを検出する（Act４１）。そしてＣＰＵ２１は、この枠番号Ｐで識別される枠９１を画面から消去する（Act４２：消去手段６８）。またＣＰＵ２１は、明細メモリ７３から当該枠番号Ｐのレコードを消去する（Act４３）。さらにＣＰＵ２１は、明細メモリ７３のデータから合計金額と合計熱量とを再計算し、合計金額欄８２と総カロリー欄８３の表示を更新する（Act４４）。

しかる後、ＣＰＵ２１は、品数カウンタ７１を“１”だけカウントダウンする（Act４５）。そしてＣＰＵ２１は、品数カウンタ７１のカウント値ｎが“０”であるか否かを確認する（Act４６）。カウント値ｎが“０”でない場合（Act４６にてＮＯ）、ＣＰＵ２１は、Act５の処理に戻る。カウント値ｎが“０”になった場合には（Act４６にてＹＥＳ）、ＣＰＵ２１は、Act３の処理に戻る。

したがって、カウント値ｎが“０”でない場合には、ＣＰＵ２１は、新たな撮影画像の取り込みを行わない。このためパネル表示部１５１に表示されている撮影画像は変化しない。しかし、カウント値ｎが“０”になった場合には、ＣＰＵ２１は、撮影画像の取り込みを再開する。このため、パネル表示部１５１に表示される撮影画像が最新の画像に更新される。

枠９１内がタッチされたと判断された場合（Act１３にてＮＯ、Act１４にてＹＥＳ：変更受付手段６６）、図９の流れ図に示す処理に進む。すなわちＣＰＵ２１は、タッチ位置座標（Ｘ，Ｙ）が存在する枠９１を形成する削除マーク座標（Ｘ０，Ｙ０）を含む明細レコードから、枠番号Ｑを検出する（Act５１）。そしてＣＰＵ２１は、候補メモリ７２の当該枠番号Ｑに対応した候補番号ｍを“１”だけ加算する（Act５２）。

ＣＰＵ２１は、候補番号ｍが候補数の最大値Ｍ（本実施形態では”４”）を超えたか否かを判断する（Act５３）。そして候補番号ｍが最大値Ｍを超えた場合（Act５３にてＹＥＳ）、ＣＰＵ２１は、候補番号ｍを“１”に戻す（Act５４）。候補番号ｍが最大値Ｍを超えない場合には（Act５３にてＮＯ）、候補番号ｍは変更しない。

ＣＰＵ２１は、第ｍ候補（ｍは候補番号）のメニューＩＤで特定されるメニュー品目の情報（メニューＩＤ、メニュー名称、価格及び熱量）を認識辞書ファイル５０から取得する（Act５５）。そしてＣＰＵ２１は、明細メモリ７３の枠番号ｎの明細レコードにおけるメニュー品目情報を今回のメニュー品目情報に書き換える（Act５６：第２の出力手段６７）。またＣＰＵ２１は、枠番号Ｑの枠９１内に表示されているメニュー名称、価格及び熱量を、今回のメニュー品目情報に変更する（Act５７）。そしてＣＰＵ２１は、明細メモリ７３のデータから合計金額と合計熱量とを再算出し、合計金額欄８２と総カロリー欄８３の値を更新する（Act５８）。さらにＣＰＵ２１は、枠番号Ｑの枠９１の色を第ｍ候補に対応した色に変更する（Act５９）。すなわち本実施形態では、枠９１の色として少なくとも４種類を用意しており、この枠９１内に表示されるメニュー品目の候補順位に応じて、枠９１の色を変更する。しかる後、ＣＰＵ２１は、Act２１の処理に戻る。

したがって、ユーザが枠９１内をタッチする毎に、その枠内のメニュー品目情報が、候補順位１位から順に下位のメニュー品目の情報に切り替わる。そして候補順位が最下位のメニュー品目情報が表示された枠内をさらにタッチすると、枠内のメニュー品目情報は
候補順位１位のメニュー品目の情報に戻る。

ボタン画像がタッチされた場合（Act７にてＹＥＳ）、ＣＰＵ２１は、確定ボタン８４または取消ボタン８５のどちらがタッチされたかを確認する（Act６１）。確定ボタン８４がタッチされた場合（Act３１にて「確定」）、ＣＰＵ２１は、Act６２〜Act６４の各処理を実行する。

Act６２では、ＣＰＵ２１は、電子マネーによる決済処理を実行する。すなわちＣＰＵ２１は、カードＲＷ１８を介してＩＣカードの電子マネーデータから合計価格分のデータを減じる。Act６３では、ＣＰＵ２１は、明細メモリ７３のデータに基づいてレシートデータを編集する。そしてＣＰＵ２１は、レシートデータをプリンタ１７に出力して、レシートの発行を制御する。Act６４では、ＣＰＵ２１は、明細メモリ７３のデータとＩＣカードのユーザＩＤとでユーザ履歴情報を編集する。そしてＣＰＵ２１は、通信インターフェース２６を介してユーザ履歴情報をデータベースサーバ４１に送信する。データベースサーバ４１では、ユーザデータベース４０にユーザ履歴情報がユーザＩＤ別に蓄積される。

Act６２〜Act６４の処理が終了すると、ＣＰＵ２１は、パネル表示部１５１の画面を初期化する（Act６５）。またＣＰＵ２１は、候補メモリ７２と明細メモリ７３とをクリアする（Act６６）。

これに対し、取消ボタン８５がタッチされた場合には（Act６１にて「取消」）、ＣＰＵ２１は、上記Act６２〜Act６４の処理を実行しない。ＣＰＵ２１は、パネル表示部１５１の画面を初期化する（Act６５）。またＣＰＵ２１は、候補メモリ７２と明細メモリ７３とをクリアする（Act６６）。以上で、１ユーザに対する商品認識プログラムの処理が終了する。

本実施形態の商品認識装置１が設置されたカフェテリア形式の食堂施設では、ユーザは、料理が盛り付けられた容器３を会計カウンタ２の領域２Ｂ内に置く。そしてユーザは、自らのＩＣカードのデータをカードＲＷ１８に読み取らせる。そうすると、図１１に示すように、タッチパネル１５の画面に撮影画像８１が表示されるので、ユーザは、容器３に盛り付けられた料理の画像に１品ずつタッチする。

今、ユーザが容器３の左上に盛られた料理の画像にタッチしたとする。そうすると、図１２に示すように、タッチ位置座標（Ｘ，Ｙ）を中心とする枠９１が撮影画像８１上に表示される。そして商品認識装置１では、この枠９１内の料理の認識処理が実行されて、類似度が高い順に候補順位１位から４位までのメニュー品目が選択される。そして、図１３に示すように、候補順位１位のメニュー品目の名称、価格、熱量が枠９１内に表示される。また、枠９１には削除マーク９２が表示される。認識された料理の合計金額及び総カロリーも表示される。

次に、ユーザが容器３の中央上側に盛られた料理の画像にタッチしたとする。そうすると、図１４に示すように、タッチ位置座標（Ｘ，Ｙ）を中心とする枠９１ａが撮影画像８１上に表示される。そして商品認識装置１では、この枠９１ａ内の料理の認識処理が実行されて、類似度が高い順に候補順位１位から４位までのメニュー品目が選択される。そして、図１５に示すように、候補順位１位のメニュー品目の名称、価格、熱量が枠９１ａ内に表示される。また、枠９１ａには削除マーク９２が表示される。認識された料理の合計金額及び総カロリーも合算される。

ここでユーザが、枠９１内に表示されたメニュー品目の情報が容器３の左上に盛られた料理の情報ではないと気付いたとする。その場合、枠９１の削除マーク９２にタッチして、画像の認識処理をやり直す方法と、枠９１内をタッチして候補順位が下位のメニュー品目の情報を表示させる方法とがある。

削除マーク９２にタッチした場合、枠９１が消去される。そこでユーザは、料理画像の別の箇所をタッチして、認識処理をやり直す。そうすると、タッチ位置座標（Ｘ，Ｙ）を中心とする枠９１が撮影画像８１上に再び表示される。そして商品認識装置１では、この枠９１内の料理の認識処理が実行されて、類似度が高い順に候補順位１位から４位までのメニュー品目が選択され、候補順位１位のメニュー品目の名称、価格、熱量が枠９１内に表示される。タッチ位置の違いにより認識画像の領域が異なるため、再度の認識処理によって、料理画像からメニュー品目が正しく認識される可能性は高い。

一方、図１６に示すように、枠９１内をタッチした場合には、図１７に示すように、枠９１内の表示内容が、候補順位が下位のメニュー品目の情報に切り替わる。また、認識された料理の合計金額及び総カロリーも更新される。したがって、正しいメニュー品目が候補順位２位以下で認識されていた場合には、簡単な操作で枠９１内の情報を正しいメニュー品目の情報に訂正することができる。

ユーザは、容器３に盛り付けられた全ての料理が正しく認識されるまで、上述したタッチ操作を繰り返す。そして、全ての料理が認識されたならば、ユーザは確定ボタン８４にタッチする。そうすると、容器３に盛り付けられた料理に対して電子マネーによる決済処理が実行され、レシート発行口１６からレシートが発行される。また、商品認識装置１からデータベースサーバ４１にユーザ履歴情報が送信されて、データベース４０に保存されている当該ユーザの利用履歴情報が更新される。

このように商品認識装置１は、料理が盛り付けられた容器３を認識するのではなく、容器３に盛り付けられた料理を１品目ずつ認識する。したがって、容器３と料理とを１対１で対応させたり、容器３に格別な情報媒体を付したりする等の制約が不要となるため、カフェテリア形式の食堂施設が効率よく運用される。

また、商品認識装置１は、容器に盛られた料理を認識するだけでなく、その料理の価格を合計して合計金額を算出する。そして商品認識装置１は、カードＲＷ１８で読み取ったＩＣカードの電子マネーデータを用いて、認識された料理の代金を自動精算する。したがって、料理の認識だけでなく代金の精算まで含めて、カフェテリア形式の食堂施設が効率よく運用される。

また、商品認識装置１の認識結果に誤りがあった場合でも、簡単な操作で容易に訂正することができる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、変更受付手段６６により候補の変更指示を受付けると、今より１段階下位のメニュー品目に係る情報を表示出力したが、今より下位の全てのメニュー品目に係る情報を表示出力し、そのなかからユーザが適宜選択した情報を枠９１内に表示出力させるようにしてもよい。

また前記実施形態では、電子マネー決済に対応した商品認識装置１を例示したが、決済方法は特に限定されるものではなく、クレジットカード決済や現金決済に対応したものであってもよい。あるいは、商品認識装置１から決済機能を省略してもよい。この場合、商品認識装置１は、ＰＯＳ（Point Of Sales）端末等の決済端末を通信回線で接続する。そして商品認識装置１は、認識された料理品目の情報をＰＯＳ端末に送信出力すればよい。

また、前記実施形態では、商品認識装置１の補助記憶デバイス２４にて認識辞書ファイル５０を記憶したが、認識辞書ファイル５０の記憶場所は補助記憶デバイス２４に限定されるものではない。例えば、商品認識装置１に外付けされた記憶装置に認識辞書ファイル５０を記憶させ、必要に応じてＣＰＵ２１が記憶装置にアクセスすることで、認識辞書ファイル５０のデータを検索してもよい。

また、前記実施形態では、枠９１を縦の長さがａで横の長さがｂの四角形としたが、枠９１のサイズ及び形状は特に限定されるものではない。また、パネル表示部１５１に表示された枠のサイズや大きさを、変更する機能を付加してもよい。この機能を持たせることにより、料理の画像を正しく枠で囲うことができるので、認識率が高まる効果を期待できる。

また、前記実施形態では、画像がタッチされる毎にその画像からメニュー品目を認識するようにプログラムしたが、必ずしもこれに限定されるものではない。例えばタッチされた位置の座標を順次記憶し、認識開始の操作入力があったならば、各座標で特定される領域内の画像からメニュー品目を順次認識するようにプログラムしてもよい。こうすることにより、ユーザが複数の料理をタッチしてから画像認識が行われるようになる。

また、前記実施形態では、容器に盛り付けられた料理を認識する場合を示したが、料理以外のパン等の商品を認識対象としてもよい。また、前記実施形態では、商品の標準分量に対して導出されるパラメータとして熱量を例示したが、パラメータは熱量に限定されるものではない。例えばたんぱく質、脂質、カルシウム等の栄養成分等であってもよい。

なお前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ２２または補助記憶デバイス２４に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるＰＤＡのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…情報認識装置、１２…撮像部、１３…操作パネル、１５…タッチパネル、１７…レシート発行口、１８…カードＲＷ、２１…ＣＰＵ、５０…認識辞書ファイル、７１…品数カウンタ、７２…候補メモリ、３…明細メモリ。

Claims (6)

1. 撮像部で撮影された画像を表示部に表示させる画像表示手段と、
   前記表示部に表示される画像上の任意の１乃至複数箇所に商品を囲うための枠を表示させる枠表示手段と、
   前記枠によって囲われた領域内の画像の特徴量から前記枠内に映し出されている商品の候補を認識する認識手段と、
   この認識手段により認識された商品の候補のなかで最有力候補の商品に係る情報を出力する第１の出力手段と、
   前記第１の出力手段で出力された候補の変更指示を受け付ける変更受付手段と、
   前記変更指示手段が商品の候補の変更指示を受け付けると、前記候補の中から選出された最有力候補以外の商品に係る情報を出力する第２の出力手段と、
   を具備したことを特徴とする商品認識装置。
2. 前記認識手段は、各商品の外観特徴量を示すパラメータと前記枠線によって囲われた領域内の画像の特徴量との類似度を商品毎に算出して類似度の高い順に候補を認識し、
   前記第１の出力手段は、最も類似度が高い商品を最有力候補の商品として当該商品に係る情報を出力し、
   前記第２の出力手段は、前記変更受付手段により変更指示を受付ける毎に類似度が低くなる下位の候補の商品を順次選出して当該商品に係る情報を出力する、
   ことを特徴とする請求項１記載の商品認識装置。
3. 前記表示部に表示される画像上の任意の箇所への指示入力を受け付ける入力受付手段、をさらに具備し、
   前記枠表示手段は、前記入力受付手段により指示入力を受け付けた箇所を中心に前記枠を表示させることを特徴とする請求項１または２記載の商品認識装置。
4. 前記入力受付手段により指示入力を受付けた箇所が、前記枠表示手段により表示された枠の内側か否かを判定する判定手段、をさらに具備し、
   前記枠の外側と判定された場合には前記枠表示手段が動作し、前記枠の内側と判定された場合には前記変更受付手段が動作することを特徴とする請求項３記載の商品認識装置。
5. 前記第１，第２の出力手段は、それぞれ商品に係る情報を前記枠内に表示出力する手段であり、かつ、
   前記第２の出力手段は、前記枠の表示形態を前記第１の出力手段で前記商品に係る情報が内部に表示出力される枠と異ならせることを特徴とする請求項１乃至４のうちいずれか１に記載の商品認識装置。
6. 撮像部と表示部とを接続してなるコンピュータに、
   前記撮像部で撮影された画像を前記表示部に表示させる機能と、
   前記表示部に表示される画像上の任意の１乃至複数箇所に商品を囲うための枠を表示させる機能と、
   前記枠によって囲われた領域内の画像の特徴量から前記枠内に映し出されている商品の候補を認識する機能と、
   認識された商品のなかで最有力候補の商品に係る情報を出力する機能と、
   候補の変更指示を受け付ける機能と、
   前記候補の変更指示を受け付けると、前記候補の中から選出された最有力候補以外の商品に係る情報を出力する機能と、
   を実現させるための商品認識プログラム。

Images