JP2013069259A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】撮像画像から商品の産地、サイズ、個数、重量、等級、階級などを特定可能とする。
【解決手段】本実施形態の情報処理装置は、品種認識手段と、特徴認識手段と、特定手段とを有する。品種認識手段は、入力された撮像画像から商品の品種を認識する。特徴認識手段は、入力された撮影画像から前記商品に付加される所定の付加物の特徴を認識する。特定手段は、前記品種認識手段が認識した商品の品種および前記特徴認識手段が認識した所定の付加物の特徴から、前記商品に係る所定情報を特定する。
【選択図】図３

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、撮像装置が撮像した商品の画像と、予めデータベースに登録されている画像とを比較することにより、商品の種別（野菜、果物、魚、肉など）や商品名（鯵、鰯、大根、キャベツ、バナナなど）を特定することが可能な技術（例えば、特許文献１参照）が知られている。

しかしながら、従来では、撮像装置が撮像した商品の画像から商品の種別や商品名を特定することはできるものの、撮像装置が撮像した商品の画像から商品（例えば、りんご）の産地、サイズ、個数、重量、等級、階級などを特定するのは困難であるという課題がある。

本実施形態の情報処理装置は、品種認識手段と、特徴認識手段と、特定手段とを有する。品種認識手段は、入力された撮像画像から商品の品種を認識する。特徴認識手段は、入力された撮影画像から前記商品に付加される所定の付加物の特徴を認識する。特定手段は、前記品種認識手段が認識した商品の品種および前記特徴認識手段が認識した所定の付加物の特徴から、前記商品に係る所定情報を特定する。

図１は、本実施形態に係る情報処理装置およびプログラムを適用したチェックアウトシステムの外観構成を示す斜視図である。 図２は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。 図３は、各ＣＰＵの機能構成を示すブロック図である。 図４は、商品に付加される付加物の一構成例を示す模式図である。 図５は、情報特定テーブルの一構成例を示す模式図である。 図６は、ＰＬＵファイルの一構成例を示す模式図である。 図７は、商品読取装置における処理動作の流れを示すフローチャートである。 図８は、ＰＯＳ端末における処理動作の流れを示すフローチャートである。 図９は、オペレータ用の表示デバイスに表示される表示画面の一構成例を示す模式図である。

以下、実施形態について添付図面を参照して説明する。

なお、本実施形態に係る情報処理装置およびプログラムは、概略的には、撮像装置で撮像した撮像画像から、商品の品種および商品に付加される所定の付加物の特徴を認識し、該認識した商品の品種および付加物の特徴から、商品の産地、サイズ、個数、重量、等級および階級などの所定情報を自動的に識別し、商品の価格を自動的に求めることが可能な装置およびプログラムである。

図１は、本実施形態に係る情報処理装置およびプログラムを適用したチェックアウトシステム１の外観構成を示す斜視図である。

図１に示すように、このチェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。

ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。

なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。

ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部（撮像装置）１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。

図２は、ＰＯＳ端末１１および商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。

ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１（図６参照）である。ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報が設定されたファイルである。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された撮像画像から認識された商品Ａの品種および商品Ａに付加される付加物ＡＴの特徴に基づいて特定された商品の所定情報（産地、サイズ、個数などを示す情報）と、商品の品種を示す品種情報とは、接続インタフェース１７５を介して出力され、接続インタフェース６５を介してＰＯＳ端末１１に入力される。

ここで、上記説明したチェックアウトシステム１を構成する本実施形態のＰＯＳ端末１１および商品読取装置１０１の概略的な機能について説明する。

即ち、本実施形態の商品読取装置１０１は、撮像部１６４が撮像した撮像画像から商品Ａの品種および商品Ａに付加される付加物ＡＴの特徴を認識し、当該商品Ａの産地、サイズまたは個数などを示す所定情報を特定し、商品Ａの品種を示す品種情報と上記特定した所定情報をＰＯＳ端末１１に送信する。一方、本実施形態のＰＯＳ端末１１は、商品読取装置１０１から受信した情報（上記品種情報および上記所定情報）に基づいて、商品Ａの単価を示す価格情報を取得し、一取引にかかる商品の会計処理を実行する。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図３を参照して説明する。図３は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。

図３に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、表示処理部１６１ａと、操作入力部１６１ｂと、撮像画像取込部１６１ｃと、品種認識部１６１ｄと、特徴認識部１６１ｅと、所定情報特定部１６１ｆと、値引き情報特定部１６１ｈと、情報送信部１６１ｇとしての機能を備える。

ここで、表示処理部１６１ａは、オペレータ用の表示デバイス１０６に情報を表示するものであり、本実施形態では、図９に示す商品特定画面Ｓを表示するものである。図９は、表示デバイス１０６に表示される商品特定画面Ｓの一構成例を示す模式図である。図９に示すように、この商品特定画面Ｓは、撮像部（撮像装置）１６４が撮像した商品Ａの画像（撮像画像）Ｐを表示する撮像エリアＡ１と、撮像エリアＡ１に表示される商品Ａの品種の認識候補（商品候補）Ｉを表示する候補表示エリアＡ２とを有している。

操作入力部１６１ｂは、キーボード１０７やタッチパネル１０５からのオペレータの操作を入力するものであり、本実施形態では、図９に示す商品特定画面Ｓにおいてオペレータによる商品候補の選択操作を受け付ける。

撮像画像取込部１６１ｃは、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させるとともに、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を順次取り込むものである。なお、撮像画像取込部１６１ｃによるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

品種認識部１６１ｄは、撮影部１６４が撮像した撮像画像から商品Ａの品種を認識するものである。より具体的には、この品種認識部１６１ｄは、撮像画像から、特徴量として商品Ａの表面の状態（表面の色合い、模様（パターン）、凸凹状況など）を読み取って、予め登録されている商品Ａの品種毎の特徴量と比較することにより、特定の物体としての商品Ａの品種を認識するものである。

なお、上記のように画像中に含まれる商品を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

特徴認識部１６１ｅは、撮影部１６４が撮影した撮像画像から商品Ａに付加される所定の付加物ＡＴ（図４参照）と、付加物ＡＴに付加された所定の付加マークＭ（図４参照）の特徴を認識するものである。ここで、所定の付加物ＡＴとは、例えば、商品Ａを載置する部材（トレイ）や、商品Ａに貼付される部材（シール）や、商品Ａを収容する部材（ネット）などであり、所定の付加マークＭとは、例えば、付加物ＡＴに貼付される部材（シール）や、付加物ＡＴに結び付けられる部材（紐）などであり、特徴認識部１６１ｅは、それら各部材の色や形状などの特徴を認識する。なお、図４は、商品Ａに付加される付加物ＡＴの一構成例を示す模式図である。図４の例では、付加物ＡＴが、複数の商品Ａを一つに纏めたパック商品ＰＡのトレイである場合を示している。なお、この例では、付加物ＡＴとしてのトレイの色が「オレンジ色」となっている。

所定情報特定部１６１ｆは、品種認識部１６１ｄが認識した商品Ａの品種および特徴認識部１６１ｅが認識した付加物ＡＴおよび付加マークＭの特徴（色や形状など）から、商品Ａの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を特定するものである。

より具体的には、この所定情報特定部１６１ｆは、上記認識された商品Ａの品種および付加物ＡＴの特徴をもとに、予め記憶している情報特定テーブルＴ１（図５参照）を参照して、上記商品Ａの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を特定する。図５は、情報特定テーブルＴ１の一構成例を示す模式図である。図５に示すように、情報特定テーブルＴ１は、商品Ａの品種と付加物ＡＴの特徴とに対応付けて商品Ａの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報を登録するテーブルである。なお、図５の例では、商品Ａの品種「りんご（ふじ）」と、付加物ＡＴがパック商品ＰＡのトレイである場合の付加物ＡＴの色「オレンジ色」および付加物ＡＴに付加される付加マークＭ「丸マーク」とに対応付けて所定情報として「青森県産、サイズＳ、３個」が登録され、商品Ａの品種「松茸」と、付加物ＡＴがパック商品ＰＡのトレイである場合の付加物ＡＴの色「ブルー色」および付加物ＡＴに付加される付加マークＭ「四角マーク」とに対応付けて所定情報として「中国産、重量３００ｇ」が登録されている様子を示している。

値引き情報特定部１６１ｈは、上記した一般物体認識技術などを用いて、撮影部１６４が撮像した撮像画像からパック商品ＰＡに付加される値引きラベルＡＬが示す値引き情報（例えば、５０円引き）を特定するものである。具体的には、この値引き額特定部１６１ｈは、撮像画像から、特徴量として値引きラベルＡＬの表面の状態｛表面の色合い、「５０円引きなどのパック商品ＰＡに関する値引き額を示す値引き情報を含む模様（パターン）など｝を読み取って、予め登録されている値引きラベルＡＬの特徴量と比較することにより、値引きラベルＡＬが示す値引き情報を特定するものである。

情報送信部１６１ｇは、品種認識部１６１ｄが認識した商品Ａの品種を示す品種情報、所定情報特定部１６１ｆが特定した商品Ａの産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す所定情報、値引き情報特定部１６１ｈが特定した値引き情報などをＰＯＳ端末１１に送信するものである。

また、図３に示すように、ＣＰＵ６１は、プログラムを順次実行することにより、情報受信部６１ａ、単価取得部６１ｂ、商品価格算出部６１ｃ、売上登録部６１ｄ、会計処理部６１ｅとしての機能を備える。

情報受信部６１ａは、商品読取装置１０１の情報送信部１６１ｇから送信される情報、即ち、上記品種情報、上記所定情報、上記値引き情報などを含む情報を受信するものである。

単価取得部６１ｂは、情報受信部６１ａが受信した情報（即ち、商品Ａの品種を示す品種情報と、商品Ａの産地、サイズを示す情報やパック商品ＰＡの重量を示す情報）をもとに、上記品種情報で特定される商品Ａの単価を示す価格情報を図６に示すＰＬＵファイルＦ１から検索して取得するものである。図６は、ＰＬＵファイルＦ１の一構成例を示す模式図である。図６に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ（商品コード）、商品名、単価などの商品Ａに関する情報などを格納するファイルである。

商品価格算出部６１ｃは、単価取得部６１ｂが取得した単価情報、情報受信部６１ａが受信した情報に含まれる個数を示す個数情報、値引き情報などからパック商品ＰＡなどの複数の商品Ａが一つに纏められた商品の販売価格を算出するものである。

売上登録部６１ｄは、商品読取装置１０１が読み取り、商品として特定された商品Ａの商品ＩＤ（商品コード）、商品名、単価などを売上マスタファイルなどに記録して売上登録を行うものである。

会計処理部６１ｅは、売上登録部６１ｄにより登録された一取引に係る商品の会計処理を行うものである。

次に、上記した構成を有するチェックアウトシステム１における処理動作の詳細について説明する。

まず、最初に商品読取装置１０１の処理動作について説明する。図７は、商品読取装置１０１における処理動作の流れを示すフローチャートである。

図７に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１ｃは、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。続いて、撮像画像取込部１６１ｃは、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。

続いて、品種認識部１６１ｄは、取り込んだ撮像画像から商品Ａの品種｛りんご（ふじ）など｝を認識する（ステップＳ３）。

ここで、ステップＳ３における認識の結果、商品Ａの品種の認識候補が複数出てくる場合がある。そこで、商品Ａの品種の認識候補が複数ある場合には（ステップＳ４：Ｙｅｓ）、ＣＰＵ１６１は、表示デバイス１０６に図９に示すような商品特定画面Ｓを表示し、その商品特定画面Ｓに含まれる候補表示エリアＡ２に商品Ａの品種の認識候補（商品候補）を表示して（ステップＳ５）、オペレータ（キャッシャ）に商品候補が複数あることを報知する。

その後、ＣＰＵ１６１は、オペレータがタッチパネル１０５を介して正しいと思われる商品候補を選択したと判定すると（ステップＳ６：Ｙｅｓ）、処理をステップＳ７に進める。

一方、商品Ａの品種の認識候補が複数ない場合、即ち、一つの品種に絞り込めた場合には（ステップＳ４：Ｎｏ）、ＣＰＵ１６１は、上記ステップＳ５、Ｓ６の処理は実行せずに、処理をそのままステップＳ７に進める。

続いて、ステップＳ７において、特徴認識部１６１ｅが、取り込んだ撮像画像から商品Ａに付加される所定の付加物ＡＴの特徴（色や形状など）を認識する。なお、このステップＳ７の処理において、付加物ＡＴの特徴を認識できなかった場合、即ち、付加物ＡＴが撮像部１６４で撮像されなかった場合には、オペレータ用の表示デバイス１０６が表示する商品特定画面Ｓ（図９参照）上に、「トレイを読取窓１０３にかざして下さい。」や「商品Ａを読取窓１０３の前で回転させて下さい。」などオペレータ（キャッシャ）に付加物ＡＴを撮像部１６４に撮像させるための指示情報を表示するのが好ましい。

その後、所定情報特定部１６１ｆが、ステップＳ３で認識した商品Ａの品種と、ステップＳ７で認識した付加物ＡＴの特徴をもとに、情報特定テーブルＴ１を参照し、該当する所定情報（産地、サイズ、個数、重量、等級、階級などを示す情報）を特定する（ステップＳ８）。

続いて、値引き額特定部１６１ｈが、ステップＳ２で取り込んだ撮像画像中にパック商品ＰＡに付加される値引きラベルＡＬの画像が含まれている場合、撮像画像から値引きラベルＡＬが示す値引き情報（例えば、５０円引き）を特定する（ステップＳ１２）。

続いて、情報送信部１６１ｇが、ステップＳ３で認識した商品Ａの品種を示す品種情報、ステップＳ８で特定された所定情報、ステップＳ１２で特定された値引き額を示す値引き情報などをＰＯＳ端末１１に送信する（ステップＳ９）。

続いて、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ１０）。ここで、業務を継続する場合（ステップＳ１０：Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。他方、業務を終了する場合（ステップＳ１０：Ｙｅｓ）、撮像画像取込部１６１ｃは、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ１１）、処理を終了する。

次に、ＰＯＳ端末１１の処理動作について説明する。図８は、ＰＯＳ端末１１における処理動作の流れを示すフローチャートである。

図８に示すように、ＰＯＳ端末１１では、情報受信部６１ａが、商品読取装置１０１から上記品種情報、上記所定情報、上記値引き情報などを含む情報や商品コードを示す情報などを受信すると（ステップＳ２１）、続いて、単価取得部６１ｂが、上記受信した情報をもとに、ＰＬＵファイルＦ１を参照し、上記品種情報で特定される商品Ａの単価を示す価格情報などを含む登録情報を取得する（ステップＳ２２）。

その後、ＰＯＳ端末１１では、売上登録部６１ｄが、ステップＳ２２で取得した登録情報に基づいて商品の売上情報を売上マスタファイルなどに登録する処理を実行する（ステップＳ２３）。

なお、ステップＳ２１において値引き情報を受信していた場合には、このステップＳ２３において、単価取得部６１ｂが取得した価格情報とステップＳ２１で受信した値引き情報とから算出したパック商品ＰＡの販売価格を売上情報として売上マスタファイルに登録する。例えば、単価取得部６１ｂが取得した価格情報が「１５０円」で、ステップＳ２１で受信した所定情報に含まれる個数情報が「３個」で、ステップＳ２１で受信した値引き情報が「５０円引き」であった場合には、売上登録部６１ｄは、｛３（個）×１５０（円）｝−５０（円）という計算式から、パック商品ＰＡの販売価格を４００（円）として算出する。

続いて、ＰＯＳ端末１１では、ＣＰＵ６１が、キーボード２２の操作指示（締めキー２２ｆの押下操作など）による売上登録の終了などによる業務終了の有無を判定する（ステップＳ２４）。ここで、業務を終了する場合（ステップＳ２４：Ｙｅｓ）、会計処理部６１ｅが、一取引にかかる売上対象の商品Ａの会計処理を実行し（ステップＳ２５）、該会計処理終了後、ＣＰＵ６１は、処理を終了する。他方、業務を継続する場合（ステップＳ２４：Ｎｏ）、ＣＰＵ６１は、ステップＳ２１へ処理を戻して処理を継続させる。

次に、上記図７および図８の具体的な処理の一例について説明する。

例えば、客が、図４に示すパック商品ＰＡ｛即ち、商品Ａとしての３個のりんご（ふじ）が丸マークが付加されたオレンジ色のトレイＡＴに入れられ、ラップＬで収容された商品｝を一つのみ入れた買物カゴ１５３をカウンタ台１５１に持ってきて会計する場合であって、上記パック商品ＰＡに含まれる商品Ａの品種を特定できた場合（即ち、一つの品種に絞り込めた場合）の処理について説明する。

この場合、まず、オペレータ（キャッシャ）が、キーボード２２などを用いて、ＰＯＳ端末１１による商品登録の開始指示を行い、続いて、買物カゴ１５３から上記パック商品ＰＡを取り上げて読取窓１０３に向け、パック商品ＰＡを撮像部１６４に撮像させる。即ち、このとき、商品読取装置１０１では、ステップＳ１において、撮像画像取込部１６１ｃが、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始し、ステップＳ２において、撮像画像取込部１６１ｃが、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）、即ち、パック商品ＰＡの撮像画像を取り込む。

続いて、ステップＳ３において、品種認識部１６１ｄが、取り込んだ撮像画像からパック商品ＰＡに含まれる商品Ａの品種として「りんご（ふじ）」を認識する。その後、ステップＳ７において、特徴認識部１６１ｅが、取り込んだ撮像画像から商品Ａに付加される所定の付加物ＡＴの色として「オレンジ色」を認識し、付加マークＭの形状として「丸」を認識する。

その後、ステップＳ８において、所定情報特定部１６１ｆが、ステップＳ３で認識した商品Ａの品種「りんご（ふじ）」と、ステップＳ７で認識した付加物ＡＴの特徴「オレンジ色」および付加マークＭの特徴「丸」をもとに、情報特定テーブルＴ１を参照し、該当する所定情報として「青森県産、サイズＳ、３個」を特定する。

続いて、ステップＳ９において、情報送信部１６１ｇが、ステップＳ３で認識した商品Ａの品種「りんご（ふじ）」を示す品種情報と、ステップＳ８で特定された所定情報、即ち、「青森県産、サイズＳ、３個」を示す情報とをＰＯＳ端末１１に送信する。

一方、ＰＯＳ端末１１では、ステップＳ２１において、情報受信部６１ａが、商品読取装置１０１から上記品種情報（即ち、商品Ａの品種「りんご（ふじ）」を示す情報）および上記所定情報（即ち、「青森県産、サイズＳ、３個」を示す情報）を含む情報を受信すると、続いて、ステップＳ２２において、単価取得部６１ｂが、上記受信した情報、即ち、商品Ａの品種「りんご（ふじ）」を示す情報および「青森県産、サイズＳ」を示す所定情報をもとに、ＰＬＵファイルＦ１を参照し、上記品種情報で特定される商品Ａの単価を示す単価情報「１５０円」を含む登録情報を取得する。

その後、ステップＳ２３において、売上登録部６１ｄが、ステップＳ２２で取得した登録情報に基づいて商品の売上情報を登録し、その後、ステップＳ２４において、業務終了と判定された場合（ステップＳ２４：Ｙｅｓ）、続く、ステップＳ２５において、会計処理部６１ｅが、一取引にかかる商品の会計処理を実行する。即ち、この場合、会計処理部６１ｅは、ステップＳ２２で取得した単価情報「１５０円」と、ステップＳ２１で受信した情報に含まれる個数情報「３個」とから、パック商品ＰＡの価格を算出して会計処理（釣銭算出処理やレシート発行処理など）を実行する。

次に、その他の具体的な処理の一例について説明する。

例えば、客が、中国産の松茸が四角マークが付加されたブルー色のトレイＡＴに入れられ、ラップＬで収容されたパック商品ＰＡを一つのみ入れた買物カゴ１５３をカウンタ台１５１に持ってきて会計する場合であって、上記パック商品ＰＡに含まれる商品Ａの品種を特定できた場合（即ち、一つの品種に絞り込めた場合）の処理について説明する。

この場合、ステップＳ３において、品種認識部１６１ｄが、取り込んだ撮像画像からパック商品ＰＡに含まれる商品Ａの品種として「松茸」を認識する。その後、ステップＳ７において、特徴認識部１６１ｅが、取り込んだ撮像画像から商品Ａに付加される所定の付加物ＡＴの色として「ブルー色」を認識し、付加マークＭの形状として「四角」を認識する。

その後、ステップＳ８において、所定情報特定部１６１ｆが、ステップＳ３で認識した商品Ａの品種「松茸」と、ステップＳ７で認識した付加物ＡＴの特徴「ブルー色」および付加マークＭの特徴「四角」をもとに、情報特定テーブルＴ１を参照し、該当する所定情報として「中国産、重量３００ｇ」を特定する。

続いて、ステップＳ９において、情報送信部１６１ｇが、ステップＳ３で認識した商品Ａの品種「松茸」を示す品種情報と、ステップＳ８で特定された所定情報、即ち、「中国産、重量３００ｇ」を示す情報とをＰＯＳ端末１１に送信する。

一方、ＰＯＳ端末１１では、ステップＳ２１において、情報受信部６１ａが、商品読取装置１０１から上記品種情報（即ち、商品Ａの品種「松茸」を示す情報）および上記所定情報（即ち、「中国産、重量３００ｇ」を示す情報）を含む情報を受信すると、続いて、ステップＳ２２において、単価取得部６１ｂが、上記受信した情報、即ち、商品Ａの品種「松茸」を示す情報および「中国産、重量３００ｇ」を示す所定情報をもとに、ＰＬＵファイルＦ１を参照し、上記品種情報で特定される商品Ａの単価を示す単価情報「１，０００円」を含む登録情報を取得する。

その後、ステップＳ２３において、売上登録部６１ｄが、ステップＳ２２で取得した登録情報に基づいて商品の売上情報を登録し、その後、ステップＳ２４において、業務終了と判定された場合（ステップＳ２４：Ｙｅｓ）、続く、ステップＳ２５において、会計処理部６１ｅが、一取引にかかる商品の会計処理を実行する。即ち、この場合、会計処理部６１ｅは、ステップＳ２２で取得した単価情報「１，０００円」から、パック商品ＰＡの価格を「１，０００円」として会計処理（釣銭算出処理やレシート発行処理など）を実行する。

以上説明した実施形態によれば、撮像部（撮像装置）１６４が撮像した商品の画像（撮像画像）から商品の産地、サイズ、個数などの所定情報を特定することが可能となる。また、本実施形態によれば、特定した商品の産地、サイズ、個数などの所定情報に基づいて、商品の価格を求めることが可能となる。

即ち、本実施形態によれば、ＰＯＳ端末１１が商品の産地、サイズ、個数などの所定情報を自動的に特定し、商品の価格を自動的に求める構成となっているため、オペレータ（キャッシャ）が目視により商品の産地、サイズ、個数などを認識し、該認識結果と所定の価格表とに基づいてＰＯＳ端末１１に商品の価格を手入力するというオペレータにとって煩わしい操作を省略させることが可能である。

また、本実施形態によれば、産地や、サイズなどを認識し難い商品の産地や、サイズをＰＯＳ端末１１が自動的に認識するように構成したため、会計時におけるオペレータの作業を軽減することが可能である。

以上、例示的な実施形態に基づいて説明したが、本発明は、上記した実施形態により限定されるものではない。

例えば、上記した実施形態では、商品Ａに付加される所定の付加物ＡＴとして、商品Ａを載置する部材としてのパック商品ＰＡの「トレイ」の場合について説明したが、これに限定されず、付加物ＡＴとして、商品Ａに貼付される部材としての「シール」や、商品Ａを収容する部材としての「ネット」などのその他の付加物を適用することも可能である。

また、上記した実施形態では、所定の付加物ＡＴとして付加マークＭが付加されている付加物ＡＴを用い、付加物ＡＴおよび付加マークＭの特徴（色、形状など）を認識する形態について説明したが、付加マークＭが付加されていない付加物ＡＴを用い、付加物ＡＴの特徴（色、形状など）のみを認識するような形態とすることも可能である。

また、上記した実施形態では、付加物ＡＴに付加される付加物として付加マークＭの場合について説明したが、これに限定されず、タグや紐などのその他の付加物を利用することも可能である。

また、上記した実施形態では、付加物ＡＴおよび付加マークＭの特徴として、付加物ＡＴの「色」や付加マークＭの「形状」を認識する形態について説明したが、これに限定されず、付加物ＡＴの形状｛例えば、付加物ＡＴがシールである場合におけるシールの形状（丸、三角、四角など）など｝や付加マークＭの色を認識する形態とすることも可能である。

また、上記した実施形態では、値引き情報特定部１６１ｈが商品ＰＡに付加される値引きラベルＡＬから値引き情報を特定する形態について説明したが、これに限定されず、例えば、付加物ＡＴの特徴（色）や付加マークＭの特徴（形状）に対応付けて情報特定テーブルＴ１（図５参照）が記憶する所定情報の中に値引き情報（例えば、５０円引き）を含ませておき、所定情報特定部１６１ｆが、特徴認識部１６１ｅが認識した付加物ＡＴおよび付加マークＭの特徴から、値引き情報を含む所定情報を特定するような形態とすることも可能である。

また、上記した実施形態では、商品読取装置１０１において商品Ａの産地、サイズおよび個数の少なくとも一つを示す所定情報を特定する処理（処理Ａ）を行い、ＰＯＳ端末１１において商品読取装置１０１から受信した情報に基づいて商品Ａまたは複数の商品Ａを一つに纏めた商品（パック商品ＰＡ）の価格を求める処理（処理Ｂ）を行う形態について説明したが、これに限定されるものではない。即ち、上記処理Ａおよび処理Ｂの両方を、商品読取装置１０１またはＰＯＳ端末１１のいずれか一方で行わせても良い。

また、上記した実施形態では、図５に示す情報特定テーブルＴ１および図６に示すＰＬＵファイルＦ１を利用して、商品Ａの産地や、サイズや、個数や、重量や、等級や、階級などの所定情報を特定するとともに、商品Ａまたは複数の商品Ａを一つに纏めた商品（パック商品ＰＡ）の価格を求める形態について説明したが、これに限定されず、図５および図６に示すテーブル、ファイルとは異なる構成のテーブル、ファイルを利用することも可能である。

例えば、情報特定テーブルＴ１として、商品Ａの品種と付加物ＡＴの特徴とに対応付けて商品コードを登録するテーブルを採用し、他方、ＰＬＵファイルＦ１として、商品コードに対応付けてパック商品やネット商品の商品名（例えば、「りんご（ふじ） 青森県産 サイズＳ ３個入り」や、「りんご（ふじ） 長野県産 サイズＳ ３個入り」など）と、価格（例えば、４５０円や、３６０円など）とを登録するファイルを採用し、商品読取装置１０１が商品コードを特定し、その特定した商品コードをＰＯＳ端末１１に送信し、ＰＯＳ端末１１が受信した商品コードに対応付けられた商品Ａの価格を求めるような形態とすることも可能である。

また、上記した実施形態では、所定情報特定部１６１ｆが特定する所定情報として、商品Ａの産地、サイズ、個数、重量、等級、階級などの情報である場合について説明したが、これに限定されず、その他の情報であっても良いものとする。

また、上記した実施形態では、店員（キャッシャ）が使用するＰＯＳ端末１１および商品読取装置１０１から構成されるチェックアウトシステムに適用した場合について説明したが、これに限定されず、従来から一般的に知られているセルフチェックアウトシステムにも適用することが可能である。

また、上記した実施形態では、本実施形態に係る情報処理装置およびプログラムをＰＯＳ端末１１および商品読取装置１０１に適用した場合について説明したが、これに限定されず、その他の情報処理装置に適用することも可能である。

また、上記した実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、ＲＯＭなどの記憶部に予め組み込んで提供することが可能である。また、上記プログラムは、インストール可能な形式または実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体に記憶して提供することが可能である。更に、上記プログラムは、インターネットなどのネットワーク経由で提供または配布したりすることも可能である。

また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ チェックアウトシステム
１１ ＰＯＳ端末（情報処理装置）
１０１ 商品読取装置（情報処理装置）
６１、１６１ ＣＰＵ
１６１ａ 表示処理部
１６１ｂ 操作入力部
１６１ｃ 撮像画像取込部
１６１ｄ 品種認識部（品種認識手段）
１６１ｅ 特徴認識部（付加物認識手段）
１６１ｆ 所定情報特定部（特定手段、記憶手段）
１６１ｇ 情報送信部
１６１ｈ 値引き情報特定部（値引き情報特定手段）
６１ａ 情報受信部
６１ｂ 単価取得部
６１ｃ 商品価格算出部（取得手段）
６１ｄ 売上登録部
６１ｅ 会計処理部
Ａ 商品
ＡＴ 付加物
Ｍ 付加マーク
Ｔ１ 情報特定テーブル
Ｆ１ ＰＬＵファイル

特開２００５−９２５６５号公報

Claims (8)

1. 入力された撮像画像から商品の品種を認識する品種認識手段と、
   入力された撮影画像から前記商品に付加される所定の付加物の特徴を認識する特徴認識手段と、
   前記品種認識手段が認識した商品の品種および前記特徴認識手段が認識した所定の付加物の特徴から、前記商品に係る所定情報を特定する特定手段と、
   を有する情報処理装置。
2. 前記特定手段は、商品の産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す前記所定情報を特定する、請求項１に記載の情報処理装置。
3. 前記特定手段が特定した所定情報から当該商品の価格を取得する取得手段、
   を更に有する、請求項１または２に記載の情報処理装置。
4. 前記商品に付加される所定の付加物から値引き情報を特定する値引き情報特定手段と、
   前記取得手段で取得した価格と前記値引き情報特定手段で特定した値引き情報とから前記商品の販売価格を算出する商品価格算出手段と、
   を更に有する、請求項３に記載の情報処理装置。
5. 前記特定手段は、商品の重量を示す前記所定情報を特定し、
   前記取得手段は、前記特定手段が特定した商品の重量を示す所定情報から当該商品の価格を取得する、請求項３に記載の情報処理装置。
6. 前記所定の付加物は、商品を載置する部材、商品に貼付される部材、或いは、商品を収容する部材として構成され、
   前記特徴認識手段は、前記部材の色や形状を識別する、請求項１〜５のいずれか一項に記載の情報処理装置。
7. 商品の品種と付加物の特徴とに対応付けて前記商品の産地、サイズ、個数、重量、等級および階級の少なくとも一つを示す前記所定情報を登録するテーブルを記憶する記憶手段、
   を更に有し、
   前記特定手段は、前記商品認識手段が認識した商品の品種および前記特徴認識手段が認識した所定の付加物の特徴をもとに前記テーブルを参照して前記所定情報を特定する、請求項１〜６のいずれか一項に記載の情報処理装置。
8. コンピュータを、
   入力された撮像画像から商品の品種を認識する品種認識手段と、
   入力された撮影画像から前記商品に付加される所定の付加物の特徴を認識する特徴認識手段と、
   前記品種認識手段が認識した商品の品種および前記特徴認識手段が認識した所定の付加物の特徴から、前記商品に係る所定情報を特定する特定手段と、
   して機能させるプログラム。

Images