JP2017059272A - 商品認識装置及び商品認識プログラム - Google Patents

Abstract

【課題】撮影画像から商品を認識する。【解決手段】商品認識装置は、撮像部で撮影された画像を取込み、表示部に表示させる。商品認識装置は、表示部に表示される画像上の任意の箇所への選択入力を受け付け、表示部に表示される画像上の入力を受け付けた箇所に固定サイズの枠線を表示させる。そして商品認識装置は、枠線によって囲われた領域内の画像の特徴量から枠線内に存在する商品を認識する。商品認識装置は、認識された商品の情報を出力する。【選択図】 図１２

Description

本発明の実施形態は、カフェテリア形式の食堂施設等で利用される商品認識装置及びコンピュータを当該商品認識装置として機能させるための商品認識プログラムに関する。

カフェテリア形式の食堂施設では、予め用意された料理を利用者自身がトレイに盛り付け、若しくは給仕員に盛り付けてもらい、最後に会計を行う。会計は、通常、キャッシャがトレイに盛られた料理を１品ずつ金銭登録装置に登録して行う。このため、カフェテリア形式の食堂施設では会計に時間を要するという問題があり、この問題を解決するために様々な提案がなされている。

特開平８−１８００９９号公報 特開２００１−２１６５７１号公報

しかしながら、従来提案されている認識装置は、商品（料理）が盛り付けられた容器を認識する。このため、容器は認識装置で認識可能なものに制約される。このように容器に自由度がないため、運用しづらい。

一実施形態において、商品認識装置は、画像取込手段、画像表示手段、入力受付手段、枠線表示手段、認識手段及び出力手段を含む。画像取込手段は、撮像部で撮影された画像を取り込む。画像表示手段は、撮像部から取り込んだ画像を表示部に表示させる。入力受付手段は、表示部に表示される画像上の任意の箇所への選択入力を受け付ける。枠線表示手段は、表示部に表示される画像上の入力受付手段により入力を受け付けた箇所に固定サイズの枠線を表示させる。認識手段は、枠線によって囲われた領域内の画像の特徴量から枠線内に存在する商品を認識する。出力手段は、認識手段で認識された商品の情報を出力する。

商品認識装置の一実施形態を示す外観図。 同商品認識装置の要部構成を示すブロック図。 認識辞書ファイルのデータ構造を示す模式図。 同商品認識装置のＲＡＭに形成される品数カウンタと明細メモリとを示す模式図。 同商品認識装置の機能ブロック図。 同商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理手順の要部を示す流れ図。 図６のステップＳＴ１３にてＹＥＳと判断された後の情報処理手順の示す流れ図。 図６のステップＳＴ７にてＹＥＳと判断された後の情報処理手順を示す流れ図。 図６のステップＳＴ１２で示される画面認識処理の手順を具体的に示す流れ図。 商品認識装置のパネル表示部に表示される画面の一例を示す模式図。 図１０に示す画面から料理品目がタッチされた後の画面例を示す模式図。 図１１に示す画面から料理品目が認識された後の画面例を示す模式図。 図１２に示す画面から別の料理品目がタッチされた後の画面例を示す模式図。 図１３に示す画面から料理品目が認識された後の画面例を示す模式図。 第２の実施形態において、商品認識装置のＲＡＭに形成されるメニュー品目数メモリを示す模式図。 同第２の実施形態において、商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理手順の要部を示す流れ図。 同第２の実施形態において、ステップＳＴ７にてＹＥＳと判断された後の情報処理手順を示す流れ図。

以下、商品認識装置の実施形態について説明する。
なお、本実施形態は、社員食堂や学生食堂のように利用者が限られているカフェテリア形式の食堂施設に設置される場合である。

はじめに、本実施形態の商品認識装置は、一般物体認識（generic object recognition）の技術を採用する。一般物体認識とは、対象となる物品（オブジェクト）をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞［第１の実施形態］
図１は、本実施形態に係る商品認識装置１の外観図である。会計カウンタ２の卓面２Ａ上に設置される商品認識装置１は、板状のボディ部１１Ａと庇部１１Ｂとを含む。ボディ部１１Ａは、正面が手前側を向くように卓面２Ａの奥側の縁に沿って立設される。庇部１１Ｂは、ボディ部１１Ａの正面上端部から、上記正面に対して略直交する方向に突出する。このため庇部１１Ｂの下面は、卓面２Ａと対向する。

庇部１１Ｂは、撮像部１２を内蔵する。また庇部１１Ｂは、下面に読取窓（不図示）を形成する。撮像部１２は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、上記読取窓から撮像レンズを通してＣＣＤ撮像素子のエリアに結像する画像の領域を指す。撮像部１２は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、撮像部１２は、ＣＣＤ撮像素子を用いたものに限定されるものではなく、例えばＣＭＯＳ(complementary metal oxide semiconductor)イメージセンサを用いたものであってもよい。

商品認識装置１は、さらに操作パネル１３とＩＣカードリーダ・ライタ（以下、カードＲＷと略称する）１８とを含む。操作パネル１３は、ボディ部１１Ａの頂部に取り付けられる。操作パネル１３は、ボディ部１１Ａの正面側を操作面とする。そして操作パネル１３は、上記操作面に、キーボード１４、タッチパネル１５及びレシート発行口１６を配置する。レシート発行口１６は、操作パネル１３内に内蔵されたレシートプリンタ１７で印字されたレシートを発行する。

カードＲＷ１８は、操作パネル１３の一側面に取り付けられる。カードＲＷ１８は、ＩＣカードに対してデータの読み取り及び書き込みを実施する。ＩＣカードは、固有のユーザＩＤと電子マネーデータとを記憶する。すなわちＩＣカードは、ユーザＩＤ機能と電子マネー機能とを有する。食堂施設を利用するユーザ（社員、学生等）は、自己のＩＣカードを携帯する。

卓面２Ａにおけるボディ部１１Ａの手前側の領域２Ｂは、商品である料理が盛り付けられた容器３０を載置するためのスペースとなる。この領域２Ｂは、前記撮像部１２の撮像領域に含まれる。すなわち撮像部１２は、料理が盛り付けられた容器３０を撮影する。なお、図１では容器３０として楕円状の１枚のトレイを例示しているが、容器３０の形状や数は特に限定されるものではない。要は、食堂施設の利用者が予め用意された料理を盛り付けて会計カウンタ２まで持ってくることができる食器またはトレイであり、かつ、領域２Ｂの範囲内に置くことができればよい。

図２は、商品認識装置１の要部構成を示すブロック図である。商品認識装置１は、コンピュータの主体をなすＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３及び補助記憶部２４を備える。そして商品認識装置１は、アドレスバス，データバス等のバスライン２５を介して、ＣＰＵ２１と、ＲＯＭ２２、ＲＡＭ２３及び補助記憶部２４とを接続する。

また商品認識装置１は、バスライン２５に通信インターフェース２６を接続する。そして商品認識装置１は、この通信インターフェース２６を介して、ユーザデータベース４０を備えるデータベースサーバ４１とアクセスする。ユーザデータベース４０は、各ユーザのユーザＩＤに関連付けて、性別，年齢等の個人情報や、当該食堂施設の利用履歴に関する情報等を記憶する。

さらに商品認識装置１は、図示しない入出力回路を介して、撮像部１２、キーボード１４、タッチパネル１５、レシートプリンタ１７及びカードＲＷ１８を接続する。タッチパネル１５は、パネル表示部１５１と、この表示部１５１の画面上に重ねて配置されたタッチパネルセンサ１５２とからなる。

ＣＰＵ２１は、商品認識装置１の主制御部を構成する。ＲＯＭ２２は、プログラムや設定データ等の固定的データを記憶する。ＲＡＭ２３は、可変的なデータを記憶するための種々のメモリエリアを有する。補助記憶部２４は、プログラムや大容量のデータファイル等を記憶する媒体であり、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等が用いられる。商品認識装置１は、補助記憶部２４にて認識辞書ファイル５０を保存する。

図３は、認識辞書ファイル５０のデータ構造を示す模式図である。認識辞書ファイル５０は、当該食堂施設でユーザに提供される料理品目毎の認識辞書データを記憶する。認識辞書データは、メニューＩＤ、メニュー名称、価格、熱量及び外観特徴パラメータの各項目を含む。メニューＩＤは、料理品目を個々に識別するコードである。メニュー名称は、対応するメニューＩＤで識別される料理品目の固有名称である。価格は、対応するメニューＩＤで識別される料理品目の１単位量当たりの販売価格(円)である。熱量は、対応するメニューＩＤで識別される料理品目の標準分量に対して導出されるパラメータである。及び熱量（Kcal）外観特徴パラメータは、対応するメニューＩＤで識別される料理品目の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

かかる構成の商品認識装置１は、図５に示すように、画像取込手段６１、画像表示手段６２、枠線表示手段６３、認識手段６４、出力手段６５、入力受付手段６６、終了宣言受付手段６７及び消去手段６８としての機能を有する。

画像取込手段６１は、撮像部１２で撮影された画像を取り込む。画像表示手段６２は、撮像部１２から取り込んだ画像を、タッチパネル１５のパネル表示部１５１に表示させる。枠線表示手段６３は、パネル表示部１５１に表示された画像上の任意の１乃至複数箇所に、商品（料理品目）を囲うための枠線を表示させる。認識手段６４は、枠線によって囲われた領域内の画像の特徴量から、枠線内に存在する商品（料理品目）を認識する。出力手段６５は、認識された商品（料理品目）の情報を出力する。

入力受付手段６６は、パネル表示部１５１に表示された画像上の任意の箇所への選択入力を受け付ける。前記枠線表示手段６３は、入力受付手段６６により入力を受け付けた箇所に枠線を表示させる。

終了宣言受付手段６７は、商品（料理品目）の認識終了宣言を受け付ける。消去手段６８は、パネル表示部１５１に表示された枠線を消去する。画像取込手段６１は、枠線表示手段６３によって画像に枠線が表示されるまでは画像の取込みを繰り返す。そして枠線が表示されると、画像取込手段６１は、画像の取込みを停止する。その後、終了宣言受付手段６７により認識終了宣言を受け付けるか、消去手段６８により画像から全ての枠線が消去されると、画像取込手段６１は、画像の取込みを再開する。

かかる機能を実現するために、商品認識装置１は、ＲＯＭ２２または補助記憶部２４に商品認識プログラムを記憶する。また商品認識装置１は、図４に示すように、ＲＡＭ２３に品数カウンタ７１と明細メモリ７２とを形成する。明細メモリ７２は、枠線番号、削除マーク座標（Ｘ０，Ｙ０）、メニューＩＤ、メニュー名称、価格、熱量からなる明細レコードを蓄積する領域７２１と、合計価格及び合計熱量を記憶する領域７２２とを有する。枠線番号及び削除マーク座標（Ｘ０，Ｙ０）についは後述する。

商品認識プログラムが起動すると、ＣＰＵ２１は、図６〜図８の流れ図に示す手順の処理を開始する。先ずＣＰＵ２１は、カードＲＷ１８で前記ＩＣカードが読み取られるのを待機する（ＳＴ１）。ＩＣカードが読み取られるまでは（ＳＴ１にてＮＯ）、ステップＳＴ２の処理に進まない。ＩＣカードが読み取られると（ＳＴ１にてＹＥＳ）、ＣＰＵ２１は、品数カウンタ７１を“０”にリセットする（ＳＴ２）。

次いでＣＰＵ２１は、撮像部１２で撮影されている画像（フレーム画像）を取り込む（ＳＴ３：画像取込手段６１）。そしてＣＰＵ２１は、この撮影画像をタッチパネル１５のパネル表示部１５１に表示させる（ＳＴ４：画像表示手段６２）。

図１０は、撮影画像８１が表示されたパネル表示部１５１の一画面例である。図示するように画面には、撮影画像８１の他に、合計金額欄８２、総カロリー欄８３、確定ボタン８４及び取消ボタン８５が表示される。

パネル表示部１５１の画面に撮影画像８１が表示されると、ＣＰＵ２１は、その画面がタッチされたか否かを確認する（ＳＴ５）。タッチパネルセンサ１５２からの信号が変化していないと、画面がタッチされていない。この場合（ＳＴ５にてＮＯ）、ＣＰＵ２１は、品数カウンタ７１を調べる（ＳＴ６）。品数カウンタ７１が“０”にリセットされていると（ＳＴ６にてＮＯ）、ＣＰＵ２１は、ステップＳＴ３の処理に戻る。すなわちＣＰＵ２１は、撮像部１２から次の撮影画像を取込み（ＳＴ３）、パネル表示部１５１に表示させる（ＳＴ４）。

ＣＰＵ２１は、画面がタッチされるまで撮影画像の取込みと表示とを繰り返す。画面がタッチされると（ＳＴ５にてＹＥＳ）、ＣＰＵ２１は、画面のどの領域がタッチされたかを確認する（ＳＴ７，ＳＴ８）。確定ボタン８４または取消ボタン８５の領域でなく（ＳＴ７にてＮＯ）、撮影画像８１の領域でもない場合には（ＳＴ８にてＮＯ）、ＣＰＵ２１は、ステップＳＴ５の処理に戻る。すなわちＣＰＵ２１は、画面がタッチされたか否かを確認し（ＳＴ５）、タッチされていない場合には（ＳＴ５にてＮＯ）、ＣＰＵ２１は、品数カウンタ７１を調べる（ＳＴ６）。そして品数カウンタ７１が“０”にリセットされている場合には（ＳＴ６にてＮＯ）、ＣＰＵ２１は、ステップＳＴ３の処理に戻る。

撮影画像８１の領域がタッチされた場合（ＳＴ８にてＹＥＳ）、ＣＰＵ２１は、タッチ位置座標（Ｘ，Ｙ）を検出する。タッチ位置座標（Ｘ，Ｙ）は、基準点、例えば撮影画像８１の領域の左下角を二次元座標の原点（０，０）とし、この原点（０，０）から右方向をＸ方向、上方向をＹ方向と定義する。そしてＣＰＵ２１は、原点（０，０）からタッチ位置までのＸ方向の距離とＹ方向の距離とを求め、座標（Ｘ，Ｙ）に変換する（ＳＴ９）。

ＣＰＵ２１は、画面に表示された撮影画像がタッチ入力されたことを検出すると、画像取込み処理を停止する。取込み処理が停止すると、撮影画像８１が動画から静止画像に切り替わる。オペレータは、撮影画像８１が静止画になったことにより、画像の取込みが行われていないことがわかる。なお、取込んだ画像を表示せずに破棄することで、撮影画像８１を静止画としてもよい。

ＣＰＵ２１は、品数カウンタ７１を調べる（ＳＴ１０）。品数カウンタ７１が“０”にリセットされている場合（ＳＴ１０にてＮＯ）、ＣＰＵ２１は、画像の認識領域を決定し、その領域を囲う枠線９１を、撮影画像８１の領域内に表示する。すなわちＣＰＵ２１は、図１１に示すように、タッチ位置座標（Ｘ，Ｙ）を中心として、縦の長さがａで横の長さがｂの四角形の枠線９１を表示させる（ＳＴ１１：枠線表示手段）。

ＣＰＵ２１は、画面認識処理を実行する（ＳＴ１２）。図９は、画面認識処理の具体的手順を示す流れ図である。先ず、ＣＰＵ２１は、枠線９１で囲われた枠内の画像から、輪郭形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（ＳＴ４１）。次いでＣＰＵ２１は、認識辞書ファイル５０に登録されている全てのメニュー品目のレコードについて、上記特徴量が当該レコードの外観特徴パラメータとどの程度類似しているかを示す類似度を算出する。

全メニュー品目に対して類似度が算出されたならば、ＣＰＵ２１は、最大類似度が確定閾値Ｌを超えるか否かを確認する（ＳＴ４３：認識手段６４）。確定閾値Ｌは、最大類似度が当該閾値を超える場合に、認識領域内の画像に映し出されている物品が最大類似度を有するメニュー品目であると確定できる類似度の最小値である。

最大類似度が確定閾値Ｌを超えない場合（ＳＴ４３にてＮＯ）、ＣＰＵ２１は、ステップＳＴ４４〜ＳＴ４５の処理を実行する。このステップＳＴ４４〜ＳＴ４５の処理の手順は、特に限定されるものではない。ステップＳＴ４４では、ＣＰＵ２１は、パネル表示部１５１に認識不可を意味する所定のメッセージを表示させる。ステップＳＴ４５では、ＣＰＵ２１は、画面から枠線９１を消去する。以上で、画像認識処理は終了する。

これに対し、最大類似度が確定閾値Ｌを超える場合には（ＳＴ４３にてＹＥＳ）、ＣＰＵ２１は、ステップＳＴ４６〜ＳＴ４８の処理を実行する。このステップＳＴ４６〜ＳＴ４８の処理の手順は、特に限定されるものではない。ステップＳＴ４６では、ＣＰＵ２１は、品数カウンタ７１を“１”だけカウントアップする。ステップＳＴ４７では、ＣＰＵ２１は、最大類似度を有するメニュー品目の情報（メニューＩＤ、メニュー名称、価格及び熱量）を認識辞書ファイル５０から取得する。ステップＳＴ４８では、枠線９１の右上角の座標を削除マーク座標（Ｘ０，Ｙ０）として算出する。

ステップＳＴ４６〜ＳＴ４８の処理が終了すると、ＣＰＵ２１は、明細メモリ７２の枠線番号ｎ（ｎは品数カウンタ７１のカウント値）の明細レコードに、上記削除マーク座標（Ｘ０，Ｙ０）とメニュー品目情報とをセットする（ＳＴ４９）。次いでＣＰＵ２１は、図１２に示すように、削除マーク座標（Ｘ０，Ｙ０）のポジションに削除マーク９２を表示させる。また、ＣＰＵ２１は、枠線９１内に当該メニュー品目情報のメニュー名称、価格及び熱量を表示させる（ＳＴ５０：出力手段（個別出力手段）６５）。さらにＣＰＵ２１は、明細メモリ７２のデータから合計金額と合計熱量とを算出し、画面の合計金額欄８２と総カロリ欄８３とにそれぞれ表示させる（ＳＴ５１：出力手段（全体出力手段）６５）。以上で、画像認識処理は終了する。

画像認識処理が終了すると、ＣＰＵ２１は、ステップＳＴ５の処理に戻る。すなわちＣＰＵ２１は、パネル表示部１５１の画面がタッチされたか否かを確認する（ＳＴ５）。そして、画面がタッチされていない場合には（ＳＴ５にてＮＯ）、ＣＰＵ２１は、品数カウンタ７１を調べる（ＳＴ６）。

このとき、品数カウンタ７１が“０”にリセットされている場合には（ＳＴ６にてＮＯ）、ＣＰＵ２１は、ステップＳＴ３の処理に戻る。しかし、品数カウンタ７１がカウントアップされている場合には（ＳＴ６にてＹＥＳ）、ＣＰＵ２１は、ステップＳＴ５の処理に戻る。

したがって、品数カウンタ７１が“０”にリセットされている場合には、ＣＰＵ２１は、新たな撮影画像を取り込む。しかし、品数カウンタ７１がカウントアップされている場合には、ＣＰＵ２１は、撮影画像の取り込みを行わない。すなわちＣＰＵ２１は、画像の取込みを停止する。その結果、パネル表示部１５１には、前回取り込んだ撮影画像が静止画として表示される。

また、ステップＳＴ１０にて品数カウンタ７１がカウントアップされている場合には（ＳＴ１０にてＹＥＳ）、ＣＰＵ２１は、削除マーク９２がタッチされたか否かを確認する（ＳＴ１３）。すなわちＣＰＵ２１は、タッチ位置座標（Ｘ，Ｙ）を明細メモリ７２に格納されている各明細レコードの削除マーク座標（Ｘ０，Ｙ０）と照合する。その結果、削除マーク９２がタッチされていない場合には（ＳＴ１３にてＮＯ）、ＣＰＵ１１は、前述したステップＳＴ１１〜ＳＴ１２の各処理を実行する。

削除マーク９２がタッチされた場合（ＳＴ１３にてＹＥＳ）、ＣＰＵ３１は、タッチ位置座標（Ｘ，Ｙ）に相当する削除マーク座標（Ｘ０，Ｙ０）を含む明細レコードから枠線番号を検出する（ＳＴ２１）。そしてＣＰＵ２１は、この枠線番号で識別される枠線９１を画面から消去する（ＳＴ２２：消去手段６８）。またＣＰＵ２１は、明細メモリ７２から当該枠線番号のレコードを消去する（ＳＴ２３）。さらにＣＰＵ２１は、明細メモリ７２のデータから合計金額と合計熱量とを再計算し、合計金額欄８２と総カロリー欄８３の表示を更新する（ＳＴ２４）。

ＣＰＵ２１は、品数カウンタ７１を“１”だけカウントダウンプする（ＳＴ２５）。そしてＣＰＵ２１は、品数カウンタ７１のカウント値ｎが“０”であるか否かを確認する（ＳＴ２６）。カウント値ｎが“０”でない場合（ＳＴ２６にてＮＯ）、ＣＰＵ２１は、ステップＳＴ５の処理に戻る。しかし、カウント値ｎが“０”になった場合には（ＳＴ２６にてＹＥＳ）、ＣＰＵ２１は、ステップＳＴ３の処理に戻る。

したがって、カウント値ｎが“０”でない場合には、ＣＰＵ２１は、新たな撮影画像の取り込みを行わない。このためパネル表示部１５１に表示されている撮影画像は変化しない。しかし、カウント値ｎが“０”になった場合には、ＣＰＵ２１は、撮影画像の取り込みを再開する。このため、パネル表示部１５１に表示される撮影画像が最新の画像に更新される。

ボタン画像がタッチされた場合（ＳＴ７にてＹＥＳ）、ＣＰＵ２１は、確定ボタン８４または取消ボタン８５のどちらがタッチされたかを確認する（ＳＴ３１）。確定ボタン８４がタッチされた場合（ＳＴ３１にて「確定」：終了宣言受付手段６７）、ステップＳＴ３２〜ＳＴ３４の各処理を実行する。

ステップＳＴ３２では、ＣＰＵ２１は、電子マネーによる決済処理を実行する。すなわちＣＰＵ２１は、カードＲＷ１８を介してＩＣカードの電子マネーデータから合計価格分のデータを減じる。ステップＳＴ３３では、ＣＰＵ２１は、明細メモリ７２のデータに基づいてレシートデータを編集する。そしてＣＰＵ２１は、レシートデータをプリンタ１７に出力して、レシートの発行を制御する。ステップＳＴ３４では、ＣＰＵ２１は、明細メモリ７２のデータとＩＣカードのユーザＩＤとでユーザ履歴情報を編集する。そしてＣＰＵ２１は、通信インターフェース２６を介してユーザ履歴情報をデータベースサーバ４１に送信する。データベースサーバ４１では、ユーザデータベース４０にユーザ履歴情報がユーザＩＤ別に蓄積される。

ステップＳＴ３２〜ＳＴ３４の処理が終了すると、ＣＰＵ２１は、パネル表示部１５１の画面を初期化する（ＳＴ３５）。またＣＰＵ２１は、明細メモリ７２をクリアする（ＳＴ３６）。

これに対し、取消ボタン８５がタッチされた場合には（ＳＴ３１にて「取消」）、ＣＰＵ２１は、上記ステップＳＴ３２〜ＳＴ３４の処理を実行しない。ＣＰＵ２１は、パネル表示部１５１の画面を初期化する（ＳＴ３５）。またＣＰＵ２１は、明細メモリ７２をクリアする（ＳＴ３６）。以上で、１ユーザに対する商品認識プログラムの処理が終了する。

本実施形態の商品認識装置１が設置されたカフェテリア形式の食堂施設では、ユーザは、料理が盛り付けられた容器３０を会計カウンタ２の領域２Ｂ内に置く。そしてユーザは、自らのＩＣカードのデータをカードＲＷ１８に読み取らせる。そうすると、図１０に示すように、タッチパネル１５の画面に撮影画像８１が表示されるので、ユーザは、容器３０に盛り付けられた料理の画像に１品ずつタッチする。

今、ユーザが容器３０の左上に盛られた料理の画像にタッチしたとする。そうすると、図１１に示すように、タッチ位置座票（Ｘ，Ｙ）を中心とする枠線９１が撮影画像８１上に表示される。そして商品認識装置１では、この枠線９１内の料理の認識処理が実行される。

例えばタッチ位置が料理の端の方であり、枠線９１内の画像では料理を認識できなかった場合、枠線９１が消去される。また、認識不可を示すメッセージがパネル表示部１５１に表示される。この場合、ユーザは、料理画像の別の箇所をタッチして、認識処理をやり直しさせる。

枠線９１内の画像から料理が認識された場合、図１２に示すように、枠線９１内に認識された料理品目の名称、価格、熱量が表示される。また、枠線９１には削除マーク９２が表示される。認識された料理の合計金額及び総カロリも更新される。

ユーザは、枠線９１内の表示が正しいかどうかを確認する。正しくない場合、削除マーク９２にタッチする。そうすると、枠線９１が消去される。そこでユーザは、料理画像の別の箇所をタッチして、認識処理をやり直しさせる。

枠線９１内の表示が正しい場合、ユーザは２品目の画像にタッチする。例えばユーザが容器３０の中央上側に盛られた料理の画像にタッチしたとする。そうすると、図１３に示すように枠線９１ａが撮影画像８１上に表示される。そして商品認識装置１では、この枠線９１ａ内の料理の認識処理が実行される。その結果、料理が認識された場合、図１４に示すように、枠線９１ａ内に認識された料理品目の名称、価格、熱量が表示される。また、枠線９１には削除マーク９２が表示される。認識された料理の合計金額及び総カロリも更新される。

ユーザは、容器３０に盛り付けられた全ての料理が認識されるまで、上述したタッチ操作を繰り返す。そして、全ての料理が認識されたならば、ユーザは確定ボタン８４にタッチする。そうすると、容器３０に盛り付けられた料理に対して電子マネーによる決済処理が実行され、発行口１６からレシートが発行される。また、商品認識装置１からデータベースサーバ４１にユーザ履歴情報が送信されて、データベース４０に保存されている当該ユーザの利用履歴情報が更新される。

このように商品認識装置１は、料理が盛り付けられた容器３０を認識するのではなく、容器３０に盛り付けられた料理を１品目ずつ認識する。したがって、容器３０と料理とを１対１で対応させたり、容器３０に格別な情報媒体を付したりする等の制約が不要となるため、カフェテリア形式の食堂施設が効率よく運用される。

また、商品認識装置１は、容器に盛られた料理を認識するだけでなく、その料理の価格を合計して合計金額を算出する。そして商品認識装置１は、カードＲＷ１８で読み取ったＩＣカードの電子マネーデータを用いて、認識された料理の代金を自動精算する。したがって、料理の認識だけでなく代金の精算まで含めて、カフェテリア形式の食堂施設が効率よく運用される。

また、商品認識装置１は、容器に盛られた料理を認識するだけでなく、その料理の熱量を合計して総カロリを算出する。そして商品認識装置１は、カードＲＷ１８で読み取ったＩＣカードのユーザＩＤに関連付けて総カロリを含むユーザ履歴情報をデータベースサーバ４１に送信する。したがって、ユーザ毎に栄養管理するサービスが容易に実現される。

［第２の実施形態］
第１の実施形態では、容器３０に盛り付けられた料理の認識処理が完了しているか否かに係らず、確定ボタン８４がタッチされると、決済処理が実行される。第２の実施形態では、容器３０に盛り付けられた料理の認識処理が完了しないと、決済処理が実行されない。このような第２の実施形態について、図１５〜図１７を用いて説明する。なお、第２の実施形態も、商品認識装置１の外観及び内部構成は第１の実施形態と同様なので、共通する部分には同一符号を付し、詳しい説明は省略する。

図１５は、メニュー品目数メモリ７３を示す模式図である。第２の実施形態では、商品認識装置１は、前記品数カウンタ７１及び明細メモリ７２に加えて、メニュー品目数メモリ７３をＲＡＭ２３に形成する。

図１６は、商品認識プログラムの起動によりＣＰＵ２１が実行する情報処理手順の要部を示す流れ図である。すなわち第２の実施形態では、ＣＰＵ２１は、ステップＳＴ３の処理で取り込んだ撮影画像をパネル表示部１５１に表示させた後、その画像を解析して、容器３０に盛り付けられている料理の品目数Ｍを検出する（ＳＴ６１：品目数検出手段）。

具体的には、予め料理が盛り付けられていない容器３０の画像が背景画像として補助記憶部２４に記憶されている。ＣＰＵ２１は、撮影画像と背景画像との差分から料理が盛り付けられている領域の輪郭を認識する。ＣＰＵ２１は、輪郭の形状から料理の品目数Ｍを検出する。品目数Ｍは、メニュー品目数メモリ７３に格納される。
品目数Ｍが検出されると、ＣＰＵ２１は、第１の実施形態のステップＳＴ５の処理に進む。

図１７は、ステップＳＴ７の処理にてボタン画像がタッチされたことを検知した後のＣＰＵ２１の情報処理手順を示す流れ図である。すなわち第２の実施形態では、ＣＰＵ２１は、タッチされたボタン画像が確定ボタン８４の画像であることを確認すると（ＳＴ３１にて「確定」）、ＣＰＵ２１は、品目数計数手段である品数カウンタ７１のカウント値ｎがメニュー品目数メモリ７３の値Ｍと一致するか否かを確認する（ＳＴ７１：比較手段）。一致する場合（ＳＴ７１にてＹＥＳ）、ＣＰＵ２１は、ステップＳＴ３２の決済処理に進む。

これに対し、品数カウンタ７１のカウント値ｎがメニュー品目数メモリ７３の値Ｍと一致しない場合には（ＳＴ７１にてＮＯ）、ＣＰＵ２１は、料理品目の認識が完了していないことを警告するメッセージを、パネル表示部１５１に表示させる（ＳＴ７２）。しかる後、ＣＰＵ２１は、ステップＳＴ５の処理に戻る。

したがって、第２の実施形態の商品認識装置１によれば、品数カウンタ７１のカウント値ｎがメニュー品目数メモリ７３の値Ｍと一致しない限り、決済を行うことができない。このため、容器３０に盛り付けられた料理の認識処理が完了する前に決済処理が実行される不具合を未然に防止できる。

なお、本発明は、前記第１，第２の実施形態に限定されるものではない。例えば、商品認識装置１の設置場所やハードウェア構成は、種々変形して実施することが可能である。

また前記実施形態では、電子マネー決済に対応した商品認識装置１を例示したが、決済方法は特に限定されるものではなく、クレジットカード決済や現金決済に対応したものであってもよい。あるいは、商品認識装置１から決済機能を省略してもよい。この場合、商品認識装置１は、ＰＯＳ（Point Of Sales）端末等の決済端末を通信回線で接続する。そして商品認識装置１は、認識された料理品目の情報をＰＯＳ端末に送信出力すればよい。

また、前記実施形態では、商品認識装置１の補助記憶部２４にて認識辞書ファイル５０を記憶したが、認識辞書ファイル５０の記憶場所は補助記憶部２４に限定されるものではない。例えば、商品認識装置１に外付けされた記憶装置に認識辞書ファイル５０を記憶させ、必要に応じてＣＰＵ２１が記憶装置にアクセスすることで、認識辞書ファイル５０のデータを検索してもよい。

また、前記実施形態では、枠線９１を縦の長さがａで横の長さがｂの四角形としたが、枠線９１のサイズ及び形状は特に限定されるものではない。また、パネル表示部１５１に表示された枠線のサイズや大きさを、変更する機能を付加してもよい。この機能を持たせることにより、料理の画像を正しく枠線で囲うことができるので、認識率が高まる効果を期待できる。

また、前記実施形態では、削除マーク９２がタッチされた場合に枠線９１を削除したが、削除マーク９２を含む枠線９１がタッチされたことを検出して、当該枠線９１を削除するようにしてもよい。

また、前記実施形態では、商品の標準分量に対して導出されるパラメータとして熱量を例示したが、パラメータは熱量に限定されるものではない。例えばたんぱく質、脂質、カルシウム等の栄養成分等であってもよい。

また、前記実施形態では、画像取込手段６１は、画像に枠線９１が表示されるまでは画像の取込みを繰り返し、枠線９１が表示されると画像の取込みを停止したが、取り込んだ画像を破棄することで表示画像を静止画とする場合も、画像取込手段６１の一形態として含まれる。

また、第２の実施形態では、品数カウンタ７１のカウント値ｎがメニュー品目数メモリ７３の値Ｍと一致しない場合の警告手段としてメッセージを表示させる手段を例示したが、警告手段はこれに限定されるものではない。例えば音声手段により警告を発するようにしてもよい。

また前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ２２または補助記憶部２４に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるＰＤＡのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…情報認識装置、１２…撮像部、１３…操作パネル、１５…タッチパネル、１７…レシート発行口、１８…カードＲＷ、２１…ＣＰＵ、５０…認識辞書ファイル、７１…品数カウンタ、７２…明細メモリ、７３…メニュー品目数メモリ。

一実施形態において、商品認識装置は、画像表示手段、枠線表示手段、認識手段、品目数検出手段、品目数計数手段、比較手段及び制御手段を含む。画像表示手段は、撮像部で撮影された画像を表示部に表示させる。枠線表示手段は、表示部に表示される画像上の任意の箇所への選択入力によりその選択入力された箇所に枠線を表示させる。認識手段は、枠線によって囲われた領域内の画像の特徴量から枠線内に存在する商品を認識する。品目数検出手段は、画像からその画像に映し出されている商品の数を検出する。品目数計数手段は、認識手段により認識された商品の数を計数する。比較手段は、品目数検出手段により検出された商品の数と品目数計数手段により計数された商品の数とを比較する。制御手段は、比較手段により双方の商品の数が一致する場合、決済処理を許容する。

終了宣言受付手段６７は、商品（料理品目）の認識終了宣言を受け付ける。消去手段６８は、パネル表示部１５１に表示された枠線を消去する。画像取込手段６１は、枠線表示手段６３によって画像に枠線が表示されるまでは画像の取込みを繰り返す。そして枠線が表示されると、画像取込手段６１は、画像の取込みを停止する。その後、消去手段６８により画像から全ての枠線が消去されると、画像取込手段６１は、画像の取込みを再開する。

今、ユーザが容器３０の左上に盛られた料理の画像にタッチしたとする。そうすると、図１１に示すように、タッチ位置座標（Ｘ，Ｙ）を中心とする枠線９１が撮影画像８１上に表示される。そして商品認識装置１では、この枠線９１内の料理の認識処理が実行される。

１…商品認識装置、１２…撮像部、１３…操作パネル、１５…タッチパネル、１７…レシート発行口、１８…カードＲＷ、２１…ＣＰＵ、５０…認識辞書ファイル、７１…品数カウンタ、７２…明細メモリ、７３…メニュー品目数メモリ。

Claims (9)

1. 撮像部で撮影された画像を取り込む画像取込手段と、
   この画像取込手段により前記撮像部から取り込んだ前記画像を表示部に表示させる画像表示手段と、
   前記表示部に表示される画像上の任意の箇所への選択入力を受け付ける入力受付手段と、
   前記表示部に表示される画像上の前記入力受付手段により入力を受け付けた箇所に固定サイズの枠線を表示させる枠線表示手段と、
   前記枠線によって囲われた領域内の画像の特徴量から前記枠線内に存在する商品を認識する認識手段と、
   この認識手段で認識された前記商品の情報を出力する出力手段と、
   を具備したことを特徴とする商品認識装置。
2. 前記枠線表示手段は、前記表示部に表示される画像上の前記入力受付手段により入力を受け付けた箇所に、その箇所を中心に固定サイズの枠線を表示させることを特徴とする請求項１記載の商品認識装置。
3. 前記商品の認識終了宣言を受け付ける終了宣言受付手段、をさらに具備し、
   前記画像取込手段は、前記枠線表示手段によって前記画像に前記枠線が表示されるまでは前記画像の取込みを繰り返し、前記枠線が表示されると前記画像の取込みを停止し、前記終了宣言受付手段により前記認識終了宣言を受け付けると前記画像の取込みを再開することを特徴とする請求項１または２記載の商品認識装置。
4. 前記表示部に表示された枠線を消去する消去手段、をさらに具備し、
   前記画像取込手段は、前記枠線表示手段によって前記画像に前記枠線が表示されるまでは前記画像の取込みを繰り返し、前記枠線が表示されると前記画像の取込みを停止し、前記消去手段により前記画像から全ての前記枠線が消去されると前記画像の取込みを再開することを特徴とする請求項１乃至３のうちいずれか１記載の商品認識装置。
5. 前記出力手段は、前記認識手段で認識された前記商品の情報を個別に出力する個別出力手段と、前記認識手段で認識された全ての前記商品の合計情報を出力する合計出力手段と、を含むことを特徴とする請求項１乃至４のうちいずれか１記載の商品認識装置。
6. 前記商品の情報は、その商品に対して設定された単価であり、前記商品の合計情報は、各商品の単価を合算した合計金額であることを特徴とする請求項５記載の商品認識装置。
7. 前記商品の情報は、その商品の標準分量に対して導出されるパラメータであり、前記商品の合計情報は、各商品のパラメータを合算した合計パラメータであることを特徴とする請求項５記載の商品認識装置。
8. 画像取込手段により前記撮像部から取り込んだ前記画像からその画像に映し出されている商品の数を検出する品目数検出手段と、
   前記認識手段により認識される商品の数を計数する品目数計数手段と、
   前記品目数検出手段により検出される品目数と前記品目数計数手段により計数される品目数とを比較する比較手段と、
   を具備したことを特徴とする請求項１乃至７のうちいずれか１に記載の商品認識装置。
9. コンピュータに、
   撮像部で撮影された画像を取り込む機能と、
   前記撮像部から取り込んだ前記画像を表示部に表示させる機能と、
   前記表示部に表示される画像上の任意の箇所への選択入力を受け付ける機能と、
   前記表示部に表示される画像上の前記入力を受け付けた箇所に固定サイズの任意の１乃至複数箇所に商品を囲うための枠線を表示させる機能と、
   前記枠線によって囲われた領域内の画像の特徴量から前記枠線内に存在する商品を認識する機能と、
   認識された前記商品の情報を出力させる機能と、
   を実現させるための商品認識プログラム。