JP2016062548A - 商品登録装置、商品登録方法、および商品登録プログラム - Google Patents

Abstract

【課題】商取引における商品の登録を行う際に、商品の品質を確認して処理することができる。
【解決手段】撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置２であって、前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定部６５と、品質判定部６５による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理部６６と、を備える。品質判定部６５は、例えば、商品のキズの有無、変色の有無および変形の有無の内の少なくとも何れか一つを品質として判定する。
【選択図】図７

Description

本発明は、商取引における商品の登録を行う商品登録装置、商品登録方法、および商品登録プログラムに関する。

従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている（特許文献１参照）。

特許５５１８９１８号公報

しかしながら、特許文献１に記載される技術では、商品の特定はできるものの、商品の品質を特定することができなかった。商品の品質とは、使用目的を満たしているかどうかを決定するための評価の対象となる固有の性質や性能をいうが、ここでは特に、外観で判定可能なもの（例えば、キズの有無など）を想定している。低品質の商品（例えば、キズのある商品）は、商取引後の顧客の満足度に影響を与えるので、顧客が低品質の商品であることを知らずに購入するのを防止することが望ましい。

本発明は、前記問題に鑑みてなされたものであり、商取引における商品の登録を行う際に、商品の品質を確認して処理することができる商品登録装置、商品登録方法、および商品登録プログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る商品登録装置は、
撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置であって、
前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段と、
前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段と、
を備えることを特徴とする商品登録装置である。

本発明によれば、商取引における商品の登録を行う際に、商品の品質を確認して処理することができる。

本発明の第１実施形態に係る商品識別装置を用いたチェックアウトシステムの外観概略図である。 本発明の第１実施形態に係る商品識別装置およびＰＯＳ端末のハードウェア構成を示すブロック図である。 特徴量ファイルのデータ構成を例示した概略図である。 品質管理ファイルのデータ構成を例示した概略図である。 売上マスタファイルのデータ構成を例示した概略図である。 プリンタが印刷するレシートを例示した概略図である。 本発明の第１実施形態に係る商品識別装置およびＰＯＳ端末の機能を示すブロック図である。 本発明の第１実施形態に係る商品識別装置によって撮影した撮像画面を例示した図である。 本発明の第１実施形態に係る商品識別装置によって品質の判定結果を表示した判定結果画面を例示した図である。 本発明の第１実施形態に係る商品識別装置の商品登録処理の全体動作を示すフローチャートを例示した図である。 本発明の第１実施形態に係る商品識別装置の品質処理の動作を示すフローチャートを例示した図である。 ＰＯＳ端末の動作を示すフローチャートを例示した図である。 本発明の第２実施形態に係る商品識別装置およびＰＯＳ端末の機能を示すブロック図である。 品質管理ファイルのデータ構成を例示した概略図である。 本発明の第２実施形態に係る商品識別装置によって品質の判定結果を表示した判定結果画面を例示した図である。 本発明の第２実施形態に係る商品識別装置の商品登録処理の全体動作を示すフローチャートを例示した図である。 本発明の第２実施形態に係る商品識別装置の品質処理の動作を示すフローチャートを例示した図である。

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

［第１実施形態］
図１は、第１実施形態における商品識別装置とＰＯＳ端末の外観を示す斜視図である。
図１に示すように、チェックアウトシステム１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。この商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。商品識別装置２とＰＯＳ端末３とは、データ通信可能に接続されている。なお、特許請求の範囲の商品登録装置は、チェックアウトシステム１を構成する商品識別装置２またはＰＯＳ端末３の単体の各装置やチェックアウトシステム１の全体を含む概念である。

商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の矩形状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図２参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。

ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、ＰＯＳ端末３によって開放動作の制御を受ける。ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向（水平方向）に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。

ＰＯＳ端末３が載置されているチェックアウト台６とＬ字を形成するようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。荷受け面には、商品を収納する第１の買物カゴ４Ｒと、第２の買物カゴ４Ｌとが載置される。以下、第１の買物カゴ４Ｒと、第２の買物カゴ４Ｌとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

第１の買物カゴ４Ｒは、例えば、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｌは、第１の買物カゴ４Ｒから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｒ内の商品は、商品識別装置２を操作するオペレータにより第２の買物カゴ４Ｌに移動される。この移動過程で、商品が商品識別装置２の読取窓５２に向けられる。この際、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。

商品識別装置２では、カメラ２７により撮像された画像に含まれる商品が、後記ずる特徴量ファイル３６１（図２参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部２２に表示する。商品識別装置２は更に、指定された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル３６３（図２参照）などに記録して、売上登録を行う。そして、プリンタ３８は、売上登録された取引内容をレシートに印字する。

図２は、第１実施形態における商品識別装置とＰＯＳ端末の概略を示す構成図である。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Central Processing Unit）２１１にＲＯＭ（Read Only Memory）２１２とＲＡＭ（Random Access Memory）２１３とがバス接続されて構成されている。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。

表示・操作部２２は、ディスプレイ２２１と、タッチパネル２２２と、キーボード２３と、顧客用ディスプレイ２４とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。

カメラ２７は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）からの撮像を行う撮像手段である。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮像を行う。カメラ２７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）は、ＲＡＭ２１３に保存される。
スピーカ２８は、予め設定された警告音などを発生する。スピーカ２８は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。

ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Hard Disk Drive）と、ドロワ３７とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。

ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。
インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。

ＨＤＤ３６には、プログラムや各種ファイルが記憶されている。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、特徴量ファイル３６１と、品質管理ファイル３６２と、売上マスタファイル３６３とが記憶されるが、商品販売データ処理用のプログラムが記憶されてもよい。なお、特徴量ファイル３６１および品質管理ファイル３６２は、予め作成されており、売上マスタファイル３６３は、商取引が行われた時点で更新される。

図３は、特徴量ファイル３６１のデータ構成を例示する概念図である。図３に示すように、特徴量ファイル３６１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、商品が属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像（基準画像）とを格納するファイルである。商品画像は、商品の類似度の判定に用いられる商品の撮像画像（写真）である。特徴量ファイル３６１は、インタフェース３５を介して、商品識別装置２が読み出し可能に構成されている。

図４は、品質管理ファイル３６２のデータ構成を例示する概念図である。図４に示すように、品質管理ファイル３６２は、商品ごとに、商品ＩＤ、商品名等の商品を識別する情報と、商品の品質の判定を行う項目を示す品質確認情報とを格納するファイルである。商品の品質とは、使用目的を満たしているかどうかを決定するための評価の対象となる固有の性質や性能をいうが、ここでは特に、外観で判定可能なものを想定している。その為、品質確認情報としては、例えば、キズの有無、変色の有無、変形の有無などが該当する。品質管理ファイル３６２には、品質にばらつきが多い商品や、時間の経過に伴い品質が低下する商品、例えば、生鮮食品を登録しておくとよい。品質管理ファイル３６２は、インタフェース３５を介して、商品識別装置２が読み出し可能になっている。

図５は、売上マスタファイル３６３のデータ構成を例示する概念図である。図５に示すように、売上マスタファイル３６３は、取引番号（取引Ｎｏ．）、取引区分、レジ番号（レジＮｏ．）、取引日時、責任者番号（責任者Ｎｏ．）、責任者名、商品販売データ、値引きデータ、小計金額、外税対象額、外税額、合計金額、内税額、合計点数の各項目データを含む。

取引番号（取引Ｎｏ．）は、そのＰＯＳ端末３で商取引を処理する毎に発番される固有の番号である。取引区分は、当該商取引が売上登録によるものなのか返品登録によるものなのかを区分する。レジ番号（レジＮｏ．）は、当該ＰＯＳ端末３に対して予め付与された固有の番号である。取引日時は、当該商取引が実施された日付及び時刻である。責任者番号（責任者Ｎｏ．）及び責任者名は、当該商取引を処理したキャッシャ固有のＩＤ番号とその氏名である。

商品販売データは、商品ごとの商取引の内容であり、例えば、商品ＩＤ、商品名、単価、点数、金額、証拠画像等で構成される。商品ＩＤは商品を識別する情報であり、商品名は商品の名称である。単価は商品一つあたりの価格であり、点数は購入した商品の数であり、金額は単価に点数を掛けたものである。証拠画像は、商品識別装置２のカメラ２７（図２参照）で品質管理対象の商品（品質管理ファイル３６２に登録された商品）を撮影した画像である。
値引きデータは、商取引において低品質の商品を値引き処理した場合に作成されるものであり、例えば、商品ＩＤ、値引き理由、値引き情報等で構成される。値引き理由は、値引きを行う理由であって、例えば、商品にキズがある場合や、商品が変形・変色している場合である。値引き情報は、例えば、値引き額（例えば、３０円引き）や値引き率（例えば、１０％引き）である。

小計金額は、当該商取引で売上処理または返品処理された商品の合計額である。外税対象額は、当該商取引で売上処理または返品処理された外税対象商品の合計額である。外税額は、前記外税対象額に対して賦課される外税の金額である。合計金額は、当該商取引で売上処理または返品処理された商品の合計額に前記外税額を加算した金額である。内税額は、前記合計金額に含まれる内税の金額である。合計点数は、当該商取引で売上処理または返品処理された商品の点数である。

図２に示すプリンタ３８は、ＣＰＵ３１１の制御のもとで、各取引の取引内容をレシートに印字する。その場合に、プリンタ３８は、レシートに値引き情報についても印字する。また、プリンタ３８は、値引き理由（「キズあり」等）や値引き理由のマーク（アイコン）を印刷してもよい。さらに、値引きを行う商品を撮影した証拠画像をレシートに印刷してもよい。プリンタ３８が印刷するレシートを例示した概略図を図６に示す。図６では、商品名「もも」の左側に「値引」が印字されており、「もも」が値引商品であることを明示している。また、商品名「もも」の下側に「キズ １０％割」が印字されており、「もも」にキズがあるので１０％（２０円）の値引きが行われたことを明示している。なお、レシートの下部には証拠画像が印刷されているので、顧客は、商品を購入した時点での商品の状態を後ほど確認することができる。また、レシートの上部には、取引Ｎｏが印字されており、オペレータは、この取引Ｎｏを用いて売上マスタファイルとレシートの情報との照合を行うことが可能である。これにより、商品を購入した後で顧客による品質のクレームがあった場合に、レシートに印字された取引Ｎｏをキーにして売上マスタファイルの証拠画像を参照することで、購入時点での商品の詳細な状態を確認できると共に、品質に基づいた値引きを行っていることを顧客に対して説明することができる。

図７は、第１実施形態における商品識別装置とＰＯＳ端末の概略を示す機能ブロック図である。
商品識別装置２は、ＲＯＭ２１２（図２参照）に格納されるプログラムをＣＰＵ２１１（図２参照）で実行することにより、画像取得部６１と、物体検出部６２、類似度演算部６３、類似度判断部６４、品質判定部６５、品質処理部６６、品質報知部６７、情報出力部６８の各部を具現化する。また、同様に、ＰＯＳ端末３は、ＨＤＤ３６（図２参照）に格納されるプログラムをＣＰＵ３１１（図２参照）で実行することにより、売上登録部７１を具現化する。

画像取得部６１は、カメラ２７に撮像オン信号を出力してカメラ２７（図２参照）に撮像動作を開始させる。更に画像取得部６１は、カメラ２７が撮像してＲＡＭ２１３に保存されたフレーム画像を順次取り込む。画像取得部６１によるフレーム画像の取り込みは、ＲＡＭ２１３に保存された順に行われる。画像取得部６１によって取り込まれたフレーム画像の一例を図８に示す。図８では、桃を撮影した様子を示している。

物体検出部６２は、画像取得部６１によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部６１は、カメラ２７によって、この商品の画像を撮影する。物体検出部６２は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。

別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部６１は、カメラ２７によって、この商品および手の画像を撮影する。物体検出部６２は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部６２は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部６２は、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度演算部６３は、カメラ２７が撮像した商品の画像から、この商品の表面の凹凸状況、色合い、輪郭や大きさ等の商品の状態を特徴量として読み取る。なお、類似度演算部６３は、処理時間の短縮を図るため、これらの特徴量の一部のみを読み取り、例えば、商品の輪郭や大きさを考慮しないものとしてもよい。

類似度演算部６３は更に、特徴量ファイル３６１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の表面の凹凸状況、色合い、形状（輪郭や大きさ）等の商品の状態を特徴量として読み取り、商品の特徴量とそれぞれ比較することで、商品と特徴量ファイル３６１に登録された商品との類似度を算出する。ここで類似度とは、特徴量ファイル３６１に記憶されている各商品が想定する商品画像を１００％の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部６３は、例えば、特徴量の種類ごとに重み付けをして類似度を算出してもよい。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。柳井 啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井 啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，2007年11月15日， Vol.48，No.SIG16、1-24頁，[平成２６年９月８日検索]，インターネット

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年９月８日検索]，インターネット

なお、撮像された商品の画像と、特徴量ファイル３６１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル３６１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル３６１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。特徴量ファイル３６１に４つの商品（商品ＩＤ「XXXX0001〜XXXX0004」）が登録されていたとすると、撮像された商品は、例えば、商品ＩＤ「XXXX0001」の商品に対して類似度が０．６５、商品ＩＤ「XXXX0002」の商品に対しては類似度が０．２、商品ＩＤ「XXXX0003」の商品に対しては類似度が０．１、商品ＩＤ「XXXX0004」の商品に対しては類似度が０．０５などのように算出する。

類似度判断部６４は、画像取得部６１が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル３６１に登録されている商品画像との類似度を比較する。本実施形態では、登録商品の商品画像と商品の画像との類似度について複数の条件が段階的に設けられており、類似度判断部６４は、満たされる条件に応じて登録商品の確定または商品の候補の選定を行う。

類似度判断部６４は、例えば、登録商品との類似度が予め定められた第１閾値（例えば７５％）以上となった回数をカウントし、この回数が所定回数以上となった場合に登録商品であると確定する。そして、類似度判断部６４は、確定した登録商品を表す情報（撮影した画像、イラストや商品名等）をディスプレイ２２１（図２参照）および顧客用ディスプレイ２４（図２参照）に表示する。なお、特定の類似度の回数が所定回数以上となった場合（例えば、類似度が９０％〜７５％）に、オペレータによる確認操作を行うようにしてもよい。

また、類似度判断部６４は、登録商品との類似度が第１閾値（例えば７５％）未満、かつ、第１閾値より小さい第２閾値（例えば１０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に商品候補であると判定し、商品候補を表す情報を（撮影した画像、イラストや商品名等）をディスプレイ２２１に表示する。また、類似度判断部６４は、表示した商品候補の中からのオペレータによる選択操作により、登録商品を確定する。そして、類似度判断部６４は、確定した登録商品を表す情報（撮影した画像、イラストや商品名等）をディスプレイ２２１および顧客用ディスプレイ２４に表示する。

品質判定部６５は、期待される品質を備える商品（正規品）に比べて実際に商取引を行う商品の品質の度合いを判定するものである。商品の品質とは、使用目的を満たしているかどうかを決定するための評価の対象となる固有の性質や性能をいうが、ここでは特に、外観で判定可能なもの（例えば、キズの有無、変色・変形の有無など）を想定している。顧客が低品質の商品（例えば、キズのある商品や変色・変形している商品）とは知らずに商取引を行った場合には、商取引後の顧客の満足度を低下させてしまう。

品質判定部６５は、品質管理ファイル３６２に登録される品質確認情報に関連する種類の特徴量を、特徴量ファイル３６１に登録された登録商品の商品画像および撮像された商品のフレーム画像から読み取って比較することで、特定の種類の特徴量に基づく類似度を判定する。品質判定部６５は、特徴量の種類ごとに重み付けをして類似度を算出してもよい。そして、品質判定部６５は、算出した類似度が離れる程（類似度が低い程）に品質が低いと判定し、品質が一定以下のもの（低品質の商品）を特定する。ここで、比較対象のフレーム画像は、任意のものでよいが、類似度判断部６４の処理で登録商品の商品画像との類似度が最も高いと判定されたものを用いるのがよい。なお、類似度演算部６３で読み取った特徴量を用いてもよいし、新たに登録商品の商品画像およびフレーム画像から特徴量を読み取ってもよい。なお、品質判定部６５は、品質を判定したフレーム画像（品質管理ファイル３６２に登録された商品のフレーム画像）を証拠画像として商品ＩＤに関連付けて保存しておく。

品質管理ファイル３６２（図４参照）の品質確認情報として「キズの有無」が登録されている商品の場合を説明する。品質判定部６５は、「キズの有無」に関連する特徴量として、特徴量ファイル３６１に登録された登録商品の商品画像、および、撮像された商品のフレーム画像から商品の表面の凹凸状況や商品の色合いなどの特徴量を読み取る。そして、登録商品の商品画像から読み取った特徴量とフレーム画像から読み取った特徴量とを比較して、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を判定する。

品質管理ファイル３６２（図４参照）の品質確認情報として「変色の有無」が登録されている商品の場合を説明する。品質判定部６５は、「変色の有無」に関連する特徴量として、特徴量ファイル３６１に登録された登録商品の商品画像、および、撮像された商品のフレーム画像からも商品の表面の凹凸状況や商品の色合いなどの特徴量を読み取る。そして、登録商品の商品画像から読み取った特徴量とフレーム画像から読み取った特徴量とを比較して、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を判定する。

品質管理ファイル３６２（図４参照）の品質確認情報として「変形の有無」が登録されている商品の場合を説明する。品質判定部６５は、「変形の有無」に関連する特徴量として、特徴量ファイル３６１に登録された登録商品の商品画像、および、撮像された商品のフレーム画像からも商品の形状（輪郭や大きさ）などの特徴量を読み取る。そして、登録商品の商品画像から読み取った特徴量とフレーム画像から読み取った特徴量とを比較して、商品の形状（輪郭や大きさ）などに基づく類似度を判定する。

品質処理部６６は、商品の品質に基づいて、顧客満足度を高める処理を実行するものである。品質処理部６６は、例えば、品質判定部６５によって期待される品質を備える商品（正規品）に比べて高品質または低品質であると特定された商品について、正規品とは異なる処理を実行する。ここでは、低品質の商品の値段を正規品に比べて安くする（値引きする）ことを想定する。その為、図７では、品質処理部６６は、値引き処理部６６１として構成されている。

値引き処理部６６１は、品質判定部６５によって低品質であると特定された商品について、商品の値引きに関する値引き情報（例えば、値引き額、値引き率など）を作成するものである。値引き処理部６６１は、例えば、類似度が９０％の場合に１０％引き、類似度が８０％の場合に２０％引き、類似度が７０％の場合に３０％引きのように、類似度が離れる程（類似度が低い程）に値引き率や値引き額を大きくするように算出する。また、値引き処理部６６１は、値引き情報を作成した商品について、値引き理由（例えば、「キズあり」、「変色あり」、「変形あり」など）を値引き情報に関連付けて保存しておく。

品質報知部６７は、品質判定部６５によって低品質であると特定された商品について、その旨をオペレータや顧客に報知する。品質報知部６７は、例えば、登録商品を表す情報（撮影した画像、イラストや商品名等）をディスプレイ２２１（図２参照）および顧客用ディスプレイ２４（図２参照）に表示する際に、その画面の一部に値引き理由と共に値引き情報を表示する。品質報知部６７によって表示された画面の一例を図９に示す。図９では、登録商品として桃が確定した場合に、桃のイラストの右側に値引き理由（キズあり）および値引き情報（１０％引き）を表示している。
また、品質報知部６７は、ディスプレイ２２１（図２参照）にオペレータによる「値引き」および「キャンセル」の選択を受け付ける各種ボタンを表示するようにする。値引きボタンが選択された場合には、情報出力部６８は、上述のようにして確定された登録商品について、値引き理由および値引き情報をインタフェース２５（図２参照）を介してＰＯＳ端末３に出力する。一方、キャンセルボタンが選択された場合には、当該商品の登録を中止して、オペレータが次の商品の登録処理を行う。

情報出力部６８は、上述のようにして確定された登録商品について、その商品を示す情報（例えば、商品ＩＤ等）、タッチパネル２２２（図２参照）やキーボード２３（図２参照）を介して別途入力された販売点数、および品質処理を行った商品の証拠画像を、インタフェース２５（図２参照）を介してＰＯＳ端末３に出力する。また、情報出力部６８は、値引き処理を行った商品について、値引き理由および値引き情報をインタフェース２５（図２参照）を介してＰＯＳ端末３に出力する。

ＰＯＳ端末３の売上登録部７１は、情報出力部６８から出力された商品ＩＤ、販売点数、値引き理由、値引き情報、および証拠画像に基づいて、対応する商品の売上登録を行う。具体的に、売上登録部７１は、特徴量ファイル３６１を参照して、商品販売データ（図５参照）を作成して売上マスタファイル３６３に登録する。また、売上登録部７１は、通知された商品ＩＤ、値引き理由、値引き情報、および証拠画像を用いて、値引きデータ（図５参照）を作成して売上マスタファイル３６３に登録する。

次に、チェックアウトシステム１の売上登録処理について図１０を参照して説明する（適宜、図２、３参照）。図１０は、商品識別装置２の商品登録処理の全体動作を示すフローチャートを例示した図である。
ＰＯＳ端末３による商品登録の開始等に応じて処理が開始されると、画像取得部６１は、カメラ２７に撮像オン信号を出力してカメラ２７による撮像を開始する（ステップＳ１０）。

画像取得部６１は、カメラ２７が撮像してＲＡＭ２１３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２０）。続いて、物体検出部６２は、画像取得部５１が取り込んだ画像から商品の検出を行う（ステップＳ３０）。具体的にいうと、オペレータが商品をカメラ２７にかざすことによって、この商品がオブジェクトとして認識される。続いて、類似度演算部６３は、商品の画像から商品の特徴量を読み取り、特徴量ファイル３６１に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する（ステップＳ４０）。

類似度判断部６４は、例えば、ステップＳ４０で算出した類似度に応じて商品候補を表す情報をディスプレイ２２１に表示し、オペレータによる選択操作により登録商品を確定する（ステップＳ５０）。続いて、確定した商品が低品質である場合に、品質処理が実行される（ステップＳ６０）。この処理については、図１１を参照して後述する。続いて、類似度判断部６４は、確定した登録商品を表す情報（確定画面）をディスプレイ２２１および顧客用ディスプレイ２４に表示する（ステップＳ７０）。また、ステップＳ６０で品質処理が行われた場合、品質報知部６７は、ディスプレイ２２１および顧客用ディスプレイ２４に商取引を行った商品が低品質である旨（値引き理由）および値引き情報等を表示する（図９参照）。オペレータは、この画面を見て、値引きと購入キャンセルのどちらを希望するか顧客に確認し、顧客が希望した処理のボタンを選択する。

続いて、商品識別装置２のＣＰＵ２１１は、ステップＳ６０で品質処理が実行されているか否かを判定する（ステップＳ７３）。品質処理が実行された場合（ステップＳ７３で“Ｙｅｓ”）、ＣＰＵ２１１はステップＳ７５に処理を進め、また、品質処理が実行されていない場合（ステップＳ７３で“Ｎｏ”）、ＣＰＵ２１１はステップＳ７８に処理を進める。
ステップＳ７３で“Ｙｅｓ”と判定された場合、商品識別装置２のＣＰＵ２１１は、オペレータにより「値引き」と「購入キャンセル」の何れの処理が選択されたのかを判定する（ステップＳ７５）。「購入キャンセル」が選択された場合（ステップＳ７５で“キャンセル”）、ＣＰＵ２１１は、ステップＳ２０へ処理を戻して次の処理を継続させる。具体的にいうと、オペレータは、次の商品の画像データの取り込みを行う（ステップＳ２０）。一方、「値引き」が選択された場合（ステップＳ７５で“値引き”）、ＣＰＵ２１１は、ステップＳ８０へ処理を進める。
ステップＳ７３で“Ｎｏ”と判定された場合、情報出力部６８は、確定された登録商品について、その商品を示す情報（例えば、商品ＩＤ等）、販売個数、証拠画像等をＰＯＳ端末３に出力する（ステップＳ７８）。一方、ステップＳ７５で“値引き”と判定された場合、情報出力部６８は、確定された登録商品について、その商品を示す情報（例えば、商品ＩＤ等）、販売個数、証拠画像、値引き情報等をＰＯＳ端末３に出力する（ステップＳ８０）。ＰＯＳ端末３の処理については、図１２を参照して後述する。

続いて、ＣＰＵ２１１は、オペレータの指示によりＰＯＳ端末３から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ９０）。業務を継続する場合（ステップＳ９０で“Ｎｏ”）、ＣＰＵ２１１は、ステップＳ２０へ処理を戻して次の処理を継続させる。オペレータの指示により業務を終了する場合（ステップＳ９０で“Ｙｅｓ”）、画像取得部６１は、カメラ２７に撮像オフ信号を出力してカメラ２７による撮像を終了する（ステップＳ１００）。
このように処理することで、低品質の商品を特定した場合に、顧客にその旨を報知することができる。その為、顧客満足度が低下する虞がない。

次に、ステップＳ６０の品質処理について図１１を参照して説明する（適宜、図２、３参照）。図１１は、商品識別装置２の品質処理の動作を示すフローチャートを例示した図である。
品質判定部６５は、ステップＳ５０で確定した商品が品質処理の対象商品であるか否か、ここでは、ステップＳ５０で確定した商品が品質管理ファイル３６２に登録されているか否かを判定する（ステップＳ６１）。品質処理の対象でない場合（ステップＳ６１で“Ｎｏ”）、品質判定部６５は、ステップＳ７０へ処理を進めて次の処理を継続させる。

品質処理の対象である場合（ステップＳ６１で“Ｙｅｓ”）、品質判定部６５は、キズの有無による値引きの判定が必要であるか否か、ここでは、品質管理ファイル３６２の品質確認情報に「キズの有無」が登録されているか否かを判定する（ステップＳ６２）。キズの有無による値引きの判定が必要でない場合（ステップＳ６２で“Ｎｏ”）、品質判定部６５は、ステップＳ６４へ処理を進めて次の処理を継続させる。キズの有無による値引きの判定が必要である場合（ステップＳ６２で“Ｙｅｓ”）、値引き処理部６６１は、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を算出し、類似度が９０％の場合に１０％引き、類似度が８０％の場合に２０％引き、類似度が７０％の場合に３０％引きのように、類似度から値引き情報を作成する（ステップＳ６３）。

続いて、品質判定部６５は、変色の有無による値引きの判定が必要であるか否か、ここでは、品質管理ファイル３６２の品質確認情報に「変色の有無」が登録されているか否かを判定する（ステップＳ６４）。変色の有無による値引きの判定が必要でない場合（ステップＳ６４で“Ｎｏ”）、品質判定部６５は、ステップＳ６６へ処理を進めて次の処理を継続させる。変色の有無による値引きの判定が必要である場合（ステップＳ６４で“Ｙｅｓ”）、値引き処理部６６１は、商品の表面の凹凸状況や商品の色合いなどに基づく類似度を算出し、類似度が９０％の場合に１０％引き、類似度が８０％の場合に２０％引き、類似度が７０％の場合に３０％引きのように、類似度から値引き情報を作成する（ステップＳ６５）。

続いて、品質判定部６５は、変形の有無による値引きの判定が必要であるか否か、ここでは、品質管理ファイル３６２の品質確認情報に「変形の有無」が登録されているか否かを判定する（ステップＳ６６）。変形の有無による値引きの判定が必要でない場合（ステップＳ６６で“Ｎｏ”）、品質判定部６５は、ステップＳ６０の処理を終了し、ステップＳ７０へ処理を進めて次の処理を継続させる。変形の有無による値引きの判定が必要である場合（ステップＳ６６で“Ｙｅｓ”）、値引き処理部６６１は、形状などに基づく類似度を算出し、類似度が９０％の場合に１０％引き、類似度が８０％の場合に２０％引き、類似度が７０％の場合に３０％引きのように、類似度から値引き情報を作成する（ステップＳ６７）。

このように処理することで、低品質の商品を特定した場合に、低品質の商品の値段を正規品に比べて安くする（値引きする）ことができる。その為、顧客満足度が低下する虞がない。なお、ステップＳ６３、ステップＳ６５、ステップＳ６７で重複して値引き情報が作成された場合は、例えば、値引き率や値引き額を合算してもよいし、最大値を当該商品の値引き率や値引き額としてもよい。

次に、チェックアウトシステム１の売上登録処理におけるＰＯＳ端末３側の動作について図１２を参照して説明する（適宜、図２、３参照）。図１２は、ＰＯＳ端末３の動作を示すフローチャートを例示した図である。
ＰＯＳ端末３の売上登録部７１は、ステップＳ７８やステップＳ８０で情報出力部６８が出力したその商品を示す情報（例えば、商品ＩＤ等）、販売個数、証拠画像、値引き理由、値引き情報等を受信する（ステップＳ２１０）。続いて、売上登録部７１は、ステップＳ２１０で受信した情報を用いて商品販売データおよび値引きデータを作成し（ステップＳ２２０）、売上マスタファイル３６３に登録する（ステップＳ２３０）。

続いて、売上登録部７１は、オペレータによるキーボード３３の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ２４０）。業務を継続する場合（ステップＳ２４０で“Ｎｏ”）、売上登録部７１は、ステップＳ２１０へ戻り次の商品の処理を継続させる。オペレータの指示により業務を終了する場合（ステップＳ２４０で“Ｙｅｓ”）、売上登録部７１は、売上登録の処理を終了する。

以上のように、第１実施形態に係る商品識別装置２は、特徴量ファイル３６１に登録された登録商品の商品画像および撮像された商品のフレーム画像から読み取って比較することで、特定の種類の特徴量に基づく類似度を判定する。そして、類似度が離れる程（類似度が低い程）に品質が低いと判定し、品質が一定以下のもの（低品質の商品）を特定する。その為、商品識別装置２は、商取引における商品の登録を行う際に、低品質の商品を特定することができる。なお、特徴量ファイル３６１に予め商品固有の特徴量を情報として登録しておき、その情報を用いる類似度を判定することも可能である。

また、第１実施形態に係る商品識別装置２は、低品質の商品を特定した場合に、顧客にその旨を報知すると共に、低品質の商品の値段を正規品に比べて安くする（値引きする）。その為、顧客満足度が低下する虞がない。
また、第１実施形態に係る商品識別装置２は、売上マスタファイル３６３（電子ジャーナル）に値引き理由や証拠画像を残しておく。その為、月毎の締め処理や週毎の締め処理で、売上マスタファイル３６３を参照することで、品質管理の検証作業を行うことが可能である。

［第２実施形態］
図１３は、第２の実施形態における商品識別装置とＰＯＳ端末の概略を示す機能ブロック図である。
第２実施形態では、ＰＯＳ端末３Ａの品質管理ファイル３６２Ａの内容が第１実施形態と異なっている。また、商品識別装置２Ａの品質処理部６６が、値引き処理部６６１に加えて取替処理部６６２をさらに備えていると共に、品質報知部６７Ａの内容が第１実施形態と異なっている。以下では、第１実施形態との違いについて説明する。

図１４は、品質管理ファイル３６２Ａのデータ構成を例示する概念図である。図１４に示すように、品質管理ファイル３６２Ａは、商品ごとに、商品ＩＤ、商品名等の商品を識別する情報と、商品の品質の判定を行う項目を示す品質確認情報と、商品が低品質であると判定された場合に商品の取り替えを促すか否かを示す取替可否情報とを格納するファイルである。取替可否情報に「可」が登録されている商品については、商品が低品質であった場合に取り替えを促すことを示す。一方、取替可否情報に「否」が登録されている商品については、商品が低品質であった場合に取り替えを促さないことを示す。

取替処理部６６２は、品質判定部６５によって低品質であると特定された商品について、商品の取り替えが可能であるか否かを判定する。取替処理部６６２は、例えば、品質管理ファイル３６２Ａの取替可否情報として「可」が登録されていた商品に対して、類似度が予め設定した閾値を超えた場合に取り替えが可能であると判定してもよいし、値引き処理部６６１によって算出された値引き率や値引き額が予め設定した閾値を超えた場合に取り替えが可能であると判定してもよい。

品質報知部６７Ａは、品質判定部６５によって低品質であると特定された商品について、その旨をオペレータや顧客に報知する。品質報知部６７Ａは、例えば、登録商品を表す情報（撮影した画像、イラストや商品名等）をディスプレイ２２１（図２参照）および顧客用ディスプレイ２４に表示する際に、その画面の一部に値引き理由と共に値引き情報および商品の取り替えが可能である旨を表示する。品質報知部６７Ａによって表示された画面の一例を図１５に示す。図１５では、登録商品として桃が確定した場合に、桃のイラストの右側に値引き理由（キズあり）、値引き情報（１０％引き）および商品の取り替えが可能である旨を表示している。

また、品質報知部６７Ａは、ディスプレイ２２１（図２参照）にオペレータによる「値引き」、「取替」および「キャンセル」の選択を受け付ける各種ボタンを表示するようにする。値引きボタンが選択された場合には、第１実施形態で説明した通りに、情報出力部６８は、上述のようにして確定された登録商品について、値引き理由および値引き情報を、インタフェース２５（図２参照）を介してＰＯＳ端末３に出力する。一方、取替ボタンが選択された場合には、当該商品の登録を中止して、例えば、オペレータが新たな商品と当該低品質の商品とを取り替えた後に、再度、新たな商品で登録処理を行うようにする。また、キャンセルボタンが選択された場合には、当該商品の登録を中止して、オペレータが次の商品の登録処理を行う。

次に、商品識別装置２Ａの商品登録処理について図１６を参照して説明する（適宜、図１３参照）。図１６は、商品識別装置２の商品登録処理の全体動作を示すフローチャートを例示した図である。
ステップＳ１０〜ステップＳ５０の処理は、第１実施形態と同じなので説明を省略する。ステップＳ５０に続いて、確定した商品が低品質である場合に、品質処理が実行される（ステップＳ６０Ａ）。この処理については、図１７を参照して後述する。続いて、類似度判断部６４は、確定した登録商品を表す情報（確定画面）をディスプレイ２２１および顧客用ディスプレイ２４に表示する（ステップＳ７０Ａ）。また、ステップＳ６０Ａで品質処理が行われた場合、品質報知部６７Ａは、ディスプレイ２２１および顧客用ディスプレイ２４に商取引を行った商品が低品質である旨（値引き理由）、値引き情報（１０％引き）および取替が可能である旨を表示する（図１５参照）。オペレータは、この画面を見て、値引き、取り替え、購入キャンセルの何れを希望するか顧客に確認し、顧客が希望した処理のボタンを選択する。

続いて、商品識別装置２のＣＰＵ２１１は、ステップＳ６０Ａで品質処理が実行されているか否かを判定する（ステップＳ７３Ａ）。品質処理が実行された場合（ステップＳ７３で“Ｙｅｓ”）、ＣＰＵ２１１はステップＳ７５Ａに処理を進め、また、品質処理が実行されていない場合（ステップＳ７３Ａで“Ｎｏ”）、ＣＰＵ２１１はステップＳ７８に処理を進める。
ステップＳ７３Ａで“Ｙｅｓ”と判定された場合、商品識別装置２のＣＰＵ２１１は、オペレータにより「値引き」、「取替」、「キャンセル」の何れが選択されたのかを判定する（ステップＳ７５Ａ）。「取替」または「キャンセル」が選択された場合（ステップＳ７５Ａで“取替”または“キャンセル”）、ＣＰＵ２１１は、ステップＳ２０へ処理を戻して次の処理を継続させる。具体的にいうと、オペレータは、「取替」を選択した場合には、同じ商品が展示してある売り場に新たな商品を取りに行き、新たな商品をカメラ２７にかざすことによって、ステップＳ２０の画像データの取り込みを行う。一方、オペレータは、「キャンセル」を選択した場合には、次の商品の画像データの取り込みを行う（ステップＳ２０）。一方、「値引き」が選択された場合（ステップＳ７５Ａで“値引き”）、ＣＰＵ２１１は、ステップＳ８０へ処理を進める。なお、ステップＳ７８〜ステップＳ１００の処理は、第１実施形態と同じなので説明を省略する。

次に、ステップＳ６０Ａの品質処理について図１７を参照して説明する（適宜、図１３参照）。図１７は、商品識別装置２Ａの品質処理の動作を示すフローチャートを例示した図である。
ステップＳ６１〜ステップＳ６７の処理は、第１実施形態と同じなので説明を省略する。ステップＳ６７に続いて、取替処理部６６２は、品質管理ファイル３６２Ａの取替可否情報として「可」が登録されていた商品に対して商品の取り替えが可能であるか否かを判定する（ステップＳ６８）。ステップＳ６８で商品の取り替えが可能であると判定された場合に、品質報知部６７Ａは、ディスプレイ２２１（図２参照）に商品の取り替えが可能である旨やオペレータによる「取替」の選択を受け付けるボタンを表示する。

以上のように、第２実施形態に係る商品識別装置２Ａは、低品質の商品を特定した場合に、低品質の商品の値段を正規品に比べて安くする（値引きする）か、または、新たな商品に取り替えるかを顧客に選択させることができる。その為、顧客満足度が低下する虞がさらにない。なお、新たな商品への取り替えるのみを提案するようにすることも可能である。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。各実施形態の変形例を以下に示す。

第１実施形態では、低品質の商品の値引きを行い、第２実施形態では、低品質の商品の値引きまたは取り替えを行っていた。しかしながら、顧客満足度を高める処理はこれに限定されるものではなく、種々の処理を実行することが可能である。例えば、低品質の商品を購入した場合に、おまけ（買い物補助券、割引券等）を発券するようにしてもよいし、会社や店舗毎に行っているポイントサービスにおいてポイントを追加するようにしてもよい。
また、高品質の商品の場合（正規品よりも品質が高い場合）、その事を顧客に対して積極的にアピールすることにより顧客満足度をより高めるようにしてもよい。例えば、高品質の商品については、「この商品優良品」等のメッセージをレシートに明示するようにしてもよい。商品が高品質であるか否かの判定は、例えば、特徴量ファイル３６１に高品質な商品を撮像した商品画像（高品質基準画像）を格納し、カメラ２７で撮影した商品の特徴量と高品質基準画像から読み取った特徴量との比較をすることで類似度を算出し、算出した類似度から商品の品質を判定するようにしてもよい。
なお、高品質の判定方法として、上記では高品質画像との比較を行っているが、他の方法として、大きさの比較がある。大きさは、純粋には品質とは関係がないが、大きいものはお得であり、ある意味、「優良品＝高品質商品」と言える。具体的には、標準品画像の大きさ情報を持ち、画像認識時に大きさも判定し（キャッシャが持っている手のサイズとの比較で判定できる）、標準品画像のサイズと比較して大きい場合、顧客にとってはお得なので、この商品はお得品（優良品：純粋な意味の高品質とは若干異なる）として提示しても良い。
また、上記を加味すれば、低品質商品は、標準品画像との比較のみで類似度に応じた値引等を行ったが、大きさも考慮し、標準品よりも小さい商品を値引対象とするようにしても良い。

また、各実施形態では、商品登録用に撮影したフレーム画像（撮像画像）を用いて、商品の品質の判定を行っていた。しかしながら、商品の品質の判定は、これに限定されるものではない。例えば、商品登録用に撮影したフレーム画像（撮像画像）とは異なる条件で撮影したフレーム画像（撮像画像）を用いて商品の品質の判定を行うようにしてもよい。具体的には、商品に照射する光の強さを変えたり、波長を変えたり（可視光線、赤外線等）してもよい。また、商品を撮影する位置や方向を変えたり、解像度を変えたりしてもよい。
また、品質の判定を複数回行うようにしてもよい。その場合に、１回目の品質の判定において低品質とされた場合に、前記説明したように撮影条件を変更した撮影をさらに行って、詳細な品質の判定を２回目として行うようにするのがよい。

また、各実施形態では、ＰＯＳ端末３，３Ａ側で、特徴量ファイル３６１および品質管理ファイル３６２，３６２Ａを保有していたが、商品識別装置２，２Ａ側でこれらの情報を保有するようにしてもよい。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置であって、
前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段と、
前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段と、
を備えることを特徴とする商品登録装置。
［請求項２］
前記品質判定手段は、期待される品質を備える正規品の特徴量と前記撮像画像から算出した特徴量とを比較した類似度から前記商品の品質を判定する、
ことを特徴とする請求項１に記載の商品登録装置。
［請求項３］
前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として商品の品質に基づいた値引きを行う、
ことを特徴とする請求項１または請求項２に記載の商品登録装置。
［請求項４］
商取引を記録した売上マスタファイルを有するＰＯＳ端末に対して、値引きを行った商品の前記撮像画像を証拠画像として送信する情報出力部をさらに備える、
ことを特徴とする請求項３に記載の商品登録装置。
［請求項５］
前記商取引の情報および前記値引きを行った商品を示す情報を紙媒体に印刷する画像形成手段をさらに備える、
ことを特徴とする請求項３または請求項４に記載の商品登録装置。
［請求項６］
オペレータへの指示手段をさらに備え、
前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として、商品の品質に基づいた値引きが可能であることを示す情報あるいは商品の取り替えが可能であることを示す情報を前記指示手段に表示する、
ことを特徴とする請求項１または請求項２に記載の商品登録装置。
［請求項７］
オペレータへの指示手段をさらに備え、
前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として前記指示手段を介して商品の取り替えをオペレータに指示する、
ことを特徴とする請求項１または請求項２に記載の商品登録装置。
［請求項８］
前記品質判定手段は、商品の登録を行うために撮像した前記撮像画像とは異なる条件で撮像した新たな撮像画像から前記商品の品質を判定する、
ことを特徴とする請求項１ないし請求項７の何れか一項に記載の商品登録装置。
［請求項９］
前記品質判定手段は、前記商品のキズの有無、変色の有無および変形の有無の内の少なくとも何れか一つを品質として判定する、
ことを特徴とする請求項１ないし請求項８の何れか一項に記載の商品登録装置。
［請求項１０］
撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置の商品登録方法であって、
前記撮像手段によって撮像された撮像画像から前記商品の品質を判定し、
判定結果に基づいて、当該商品の品質に関する対応処理を行う、
ことを特徴とする商品登録方法。
［請求項１１］
請求項１０に記載の商品登録方法を商品登録装置としてコンピュータに実行させるための商品登録プログラム。

１ チェックアウトシステム（商品登録装置）
２，２Ａ 商品識別装置（商品登録装置）
３，３Ａ ＰＯＳ端末（商品登録装置）
２１ マイクロコンピュータ
２２ 表示・操作部（報知手段）
２５ インタフェース
２７ カメラ（撮像手段）
２８ スピーカ（報知手段）
３１ マイクロコンピュータ
３３ キーボード
３４ 顧客用ディスプレイ
３５ インタフェース
３６ ＨＤＤ
３６１ 特徴量ファイル
３６２ 品質管理ファイル
３６３ 売上マスタファイル
３８ プリンタ（画像形成手段）
６１ 画像取得部
６２ 物体検出部
６３ 類似度演算部
６４ 類似度判断部
６５ 品質判定部
６６ 品質処理部
６６１ 値引き処理部
６６２ 取替処理部
６７，６７Ａ 品質報知部
６８ 情報出力部
７１ 売上登録部

Claims (11)

1. 撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置であって、
   前記撮像手段によって撮像された撮像画像から前記商品の品質を判定する品質判定手段と、
   前記品質判定手段による判定結果に基づいて、当該商品の品質に関する対応処理を行う品質処理手段と、
   を備えることを特徴とする商品登録装置。
2. 前記品質判定手段は、期待される品質を備える正規品の特徴量と前記撮像画像から算出した特徴量とを比較した類似度から前記商品の品質を判定する、
   ことを特徴とする請求項１に記載の商品登録装置。
3. 前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として商品の品質に基づいた値引きを行う、
   ことを特徴とする請求項１または請求項２に記載の商品登録装置。
4. 商取引を記録した売上マスタファイルを有するＰＯＳ端末に対して、値引きを行った商品の前記撮像画像を証拠画像として送信する情報出力部をさらに備える、
   ことを特徴とする請求項３に記載の商品登録装置。
5. 前記商取引の情報および前記値引きを行った商品を示す情報を紙媒体に印刷する画像形成手段をさらに備える、
   ことを特徴とする請求項３または請求項４に記載の商品登録装置。
6. オペレータへの指示手段をさらに備え、
   前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として、商品の品質に基づいた値引きが可能であることを示す情報あるいは商品の取り替えが可能であることを示す情報を前記指示手段に表示する、
   ことを特徴とする請求項１または請求項２に記載の商品登録装置。
7. オペレータへの指示手段をさらに備え、
   前記品質処理手段は、前記品質が低いと判定された場合に、前記商品の品質に関する対応処理として前記指示手段を介して商品の取り替えをオペレータに指示する、
   ことを特徴とする請求項１または請求項２に記載の商品登録装置。
8. 前記品質判定手段は、商品の登録を行うために撮像した前記撮像画像とは異なる条件で撮像した新たな撮像画像から前記商品の品質を判定する、
   ことを特徴とする請求項１ないし請求項７の何れか一項に記載の商品登録装置。
9. 前記品質判定手段は、前記商品のキズの有無、変色の有無および変形の有無の内の少なくとも何れか一つを品質として判定する、
   ことを特徴とする請求項１ないし請求項８の何れか一項に記載の商品登録装置。
10. 撮像手段を用いて商品を撮像することで、商取引における前記商品の登録を行う商品登録装置の商品登録方法であって、
    前記撮像手段によって撮像された撮像画像から前記商品の品質を判定し、
    判定結果に基づいて、当該商品の品質に関する対応処理を行う、
    ことを特徴とする商品登録方法。
11. 請求項１０に記載の商品登録方法を商品登録装置としてコンピュータに実行させるための商品登録プログラム。

Images