JP2016091360A - 商品販売データ処理装置、読取装置、及びプログラム - Google Patents

Abstract

【課題】商品の外観画像にバーコードが含まれる場合の認識精度の低下を改善することのできる商品販売データ処理装置、読取装置、及びプログラムを提供することである。
【解決手段】実施形態の商品販売データ処理装置は、商品を撮像して該商品の外観画像を出力する撮像手段と、上記撮像手段により出力された商品の外観画像からバーコード情報を抽出する抽出手段と、上記撮像手段により出力された商品の外観画像を対象にオブジェクト認識処理を行うオブジェクト認識手段と、上記抽出手段により商品の外観画像からバーコード情報が抽出された場合に、該商品の外観画像を、上記オブジェクト認識手段による上記オブジェクト認識処理の対象から除外する除外手段と、売上登録する上記商品を上記オブジェクト認識処理の結果に基づいて確定する確定手段と、上記確定手段により確定された商品の売上登録を行う売上登録手段と、を備える。
【選択図】図１

Description

本発明の実施形態は、商品販売データ処理装置、読取装置、及びプログラムに関する。

従来、ＰＯＳ（point-of-sale）システムにおける買上商品の判定のためにオブジェクト認識スキャナが利用されている。オブジェクト認識スキャナは、商品の外観を示す情報をＣＣＤ（Charge Coupled Device）などのイメージングセンサデバイスによって取得し、その情報の画像処理を行って、商品がいずれの商品に該当するのかを自動確定或いはユーザの選択により確定する処理を行うものである。商品の確定は、商品画像の特徴量の比較に基づいて行われる。オブジェクト認識スキャナは、画像処理によって当該商品の特徴量を生成し、この特徴量と辞書データに含まれる各商品の特徴量との類似度を計算する。自動確定では、全ての商品の中で類似度の高い商品を当該商品として確定する。また、ユーザの指定によるものでは、類似度の高い商品を商品候補として画面に表示し、その中からユーザが当該商品を選択することで確定する。

商品の多くはバーコードが付されている。イメージングセンサデバイスの読取面に、商品のバーコードのある側の面を読み取らせると、その商品のバーコード部を含む外観画像が画像処理部に送られることになる。この場合、画像処理部では、バーコード部を含む画像を対象に、画像処理が行われることになる。この画像は、バーコード部により、商品の特徴が一部欠落している。これが認識精度の低下を招く大きな要因となっている。

つまり、キャッシャがバーコードのある向きに商品を読み取らせてしまうと、バーコードがない向きに比べて類似度が変化する。これにより商品の認識精度が低下する。認識精度が大きく低下すると、商品が自動確定されない、画面に表示される商品候補の中に該当商品が含まれないなどの問題も起こりうる。一つの商品を読み取らせる操作で、読取中に商品の向きを変えると、バーコードのある向きとバーコードの無い向きとで、商品候補の順序が入れ替わるなど、商品の確定に不便も生じる。このため、バーコードを含む商品を読み取らせる場合の処理の改善が望まれている。

本発明が解決しようとする課題は、商品の外観画像にバーコードが含まれる場合の認識精度の低下を改善することのできる商品販売データ処理装置、読取装置、及びプログラムを提供することである。

実施形態の商品販売データ処理装置は、商品を撮像して該商品の外観画像を出力する撮像手段と、上記撮像手段により出力された商品の外観画像からバーコード情報を抽出する抽出手段と、上記撮像手段により出力された商品の外観画像を対象にオブジェクト認識処理を行うオブジェクト認識手段と、上記抽出手段により商品の外観画像からバーコード情報が抽出された場合に、該商品の外観画像を、上記オブジェクト認識手段による上記オブジェクト認識処理の対象から除外する除外手段と、売上登録する上記商品を上記オブジェクト認識処理の結果に基づいて確定する確定手段と、上記確定手段により確定された商品の売上登録を行う売上登録手段と、を備える。

図１は、セルフＰＯＳの構成を示す概念図である。 図２は、セルフＰＯＳの一例を示す斜視図である。 図３は、セルフＰＯＳのハードウェア構成を示すブロック図である。 図４は、セルフＰＯＳの機能構成を示すブロック図である。 図５は、セルフＰＯＳの商品読み取りの一連の動作の例を示すフロー図である。 図６は、商品読取部の動作の例を示すフロー図である。 図７は、変形例１のセルフＰＯＳの機能構成を示すブロック図である。 図８は、セルフＰＯＳの商品読み取りの一連の動作の例を示すフロー図である。 図９は、商品読取部の動作の例を示すフロー図である。

以下、添付図面を参照して、商品販売データ処理装置、読取装置、及びプログラムの実施形態を詳細に説明する。

本実施形態では、係る商品販売データ処理装置として、商品をオブジェクト認識により登録する商品登録部と商品登録部により登録された商品の決済処理を行う決済処理部とを有するセルフＰＯＳへの適用例を示す。

商品登録部は、商品の外観情報（輪郭形状・色・模様・凹凸状況など）をカラーＣＣＤ（Charge Coupled Device）やカラーＣＭＯＳ（Complementary MOS）などの撮像部から画像として取り込み、その画像（外観画像）を対象にオブジェクト認識処理を行う。オブジェクト認識処理は、後に詳しく説明するが、商品の外観画像からの照合データ（特徴量）の抽出や辞書データに登録されている各商品の特徴量との比較などの処理を含む、商品候補を提示するための処理のことである。

商品登録部は、オブジェクト認識で得た商品候補から当該商品に該当するものを自動又はユーザ指定により確定し、確定した商品を売上商品として登録する。
また、決済処理部は、商品登録部により登録された商品についての決済処理を行う。

図１は、セルフＰＯＳ１の、バーコードの付された商品のオブジェクト認識を行うための構成を示す概念図である。図１に示す実線矢印は、データの流れを示している。破線矢印は、制御を示している。

図１に示すように、セルフＰＯＳ１は、撮像手段１０と、バーコード抽出手段（抽出手段）１１と、除外手段１２と、オブジェクト認識手段１３と、確定手段１４と、売上登録手段１５とを有する。

撮像手段１０は、上記撮像部により商品を撮像して商品や背景を含む画像を出力するものである。

バーコード抽出手段１１は、撮像手段１０が出力した画像からバーコード情報を抽出するものである。バーコード情報の抽出は、バーコードの印刷されたシールや、バーコードを構成するバー、スペースなどの輪郭をパターンマッチングにより探索することにより行う。本実施形態では、バーやスペースなどの輪郭が探索された場合、更に、そのバーやスペースなどで組み合わされる図形を対象にデコードを行い、バーコード情報を生成する。

除外手段１２は、バーコード抽出手段１１が画像からバーコード情報を抽出した場合に限り、バーコード情報を含む画像をオブジェクト認識処理の対象から除外する。除外手段１２は、例えば、バーコード抽出手段１１からの制御信号により、画像からバーコード情報が生成されたことを検出する。そして、除外手段１２は、撮像手段１０から出力された当該画像をオブジェクト認識手段１３に渡す前に（入力させずに）消去するなどしてオブジェクト認識処理の対象から除外する。或いは、オブジェクト認識処理を実行しないことをオブジェクト認識手段１３に通知することにより、オブジェクト認識手段１３に渡した（入力した）当該画像をオブジェクト認識処理の対象から除外する。

オブジェクト認識手段１３は、撮像手段１０が出力した画像に対してオブジェクト認識処理（前段処理）を行うものである。オブジェクト認識処理（前段処理）では、画像から商品の領域を特定し、その領域に含まれる商品の色や模様や凹凸状況などの傾向を示す情報を特徴量として算出する。

確定手段１４は、オブジェクト認識処理（後段処理）として、オブジェクト認識処理（前段処理）により生成された特徴量に基づいて商品を確定させるものである。確定手段１４は、オブジェクト認識処理（前段処理）により生成された特徴量を、例えば辞書データの各商品の特徴量と比較し、その内の類似度が高い商品を当該商品の商品候補にする。そして、商品候補の中の一商品を当該商品として確定させる。商品候補の中の一商品の確定は、例えば画面に表示させた商品候補の中からキャッシャが一商品を選択することにより行う。或いは、各商品の特徴量との比較の結果、所定の類似度を超え、類似度の最も高かった商品を当該商品として自動確定する。

売上登録手段１５は、商品の売上登録を行うものである。売上登録手段１５は、確定手段１４が確定した商品を売上商品として売上マスタファイルなどに登録する。

次に、セルフＰＯＳの全体構成について説明する。
図２は、セルフＰＯＳ１の一例を示す斜視図である。

セルフＰＯＳ１は、例えばスーパーマーケット等の店舗に設置されて用いられる。セルフＰＯＳ１の本体２０は、タッチ入力式のディスプレイ２１や商品の画像を読み取る商品読取部２３を備える。

タッチ入力式のディスプレイ２１は、タッチパネル２１０や表示デバイス２１１などを備える。表示デバイス２１１としては例えば液晶表示器が用いられる。タッチパネル２１０はその表示画面に重ねて設けられる。表示デバイス２１１は、セルフＰＯＳ１の操作の案内画面や、操作のための各種の入力キーなどを表示する。案内画面には、商品読取部２３で読み取った商品の商品候補をイラスト画像などで示す商品選択画面や、売上登録された商品についての合計金額や、預かり金額、釣銭額等を表示し、支払い方法を選択する精算画面等が含まれる。

商品読取部２３は、読取窓２３０の奥側に撮像部４４（図３参照）を備える。商品読取部２３は、客が商品に付されたバーコードを商品読取部２３の読取窓２３０にかざすことにより撮像部４４が商品を撮像し、商品の画像を形成する。この商品読取部２３は、接続インターフェース４６（図３参照）により本体に電気接続される、本体（オブジェクト認識処理装置を含む）２０からの取り外しが可能な読取装置（ユニット）である。なお、商品読取部２３は、本体２０に一体に設けても良い。

また、本体２０の右側には、かごに入った未精算の商品を置くための商品載置台２４が設けられる。本体２０の左側には、精算済みの商品を置くための商品載置台２５が設けられる。商品載置台２５には、精算済みの商品を入れるための袋を掛ける袋掛けフック２６や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２７が設けられる。商品載置台２４、２５には、計量器３５−１、３５−２（図３参照）がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ１の本体２０には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための紙幣入出金口２８−１、精算時に硬貨を投入するための硬貨投入口２８−２、釣り硬貨を受け取るための硬貨取出口２８−３等が設けられる。また、本体２０には、レシートを発行するレシート発行口２９が設けられる。

顧客によって持ち込まれた買物カゴ（不図示）は、商品載置台２４に載置される。買物カゴ内の商品は、客により商品載置台２５の精算用の空の買物カゴ（不図示）に移動される。この移動過程で、客が商品を商品読取部の読取窓２３０にかざすと、読取窓２３０内に配置された撮像部４４（図３参照）がその商品を撮像する。

図３は、セルフＰＯＳ１のハードウェア構成を示すブロック図である。セルフＰＯＳ１は、情報処理を実行する情報処理部としてのマイクロコンピュータ３０を備える。マイクロコンピュータ３０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）３１に、ＲＯＭ（Read Only Memory）３２とＲＡＭ（Random Access Memory）３３とがバス接続されて構成される。マイクロコンピュータ３０は、商品読取時には、主にオブジェクト認識処理に係るオブジェクト認識処理部として動作する。

ＣＰＵ３１には、前述した紙幣入出金口２８−１、硬貨投入口２８−２、及び硬貨取出口２８−３を有する釣り銭器３４、商品載置台２４、２５に載置された買物カゴの中の商品の重さを計量する計量器３５−１、３５−２が接続されている。また、ＣＰＵ３１には、前述したレシート発行口２９を有するプリンタ３６が接続されている。これらは、ＣＰＵ３１により制御される。

また、ＣＰＵ３１には、ＨＤＤ３７（Hard Disk Drive）が接続される。ＨＤＤ３７は、プログラムや各種ファイルを記憶する。ＨＤＤ３７に記憶されているプログラムや各種ファイルは、セルフＰＯＳ１の起動時に、その全部または一部がＲＡＭ３３にコピーされてＣＰＵ３１により実行される。ＨＤＤ３７に記憶されているプログラムの一例は、商品販売データ処理用プログラムＰＲ１である。ＨＤＤ３７に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１や辞書ファイルＦ２である。また、不図示の売上マスタファイルなどが記憶されている。なお、ＨＤＤ３７は、記憶装置であればよく、ＳＳＤ（Solid State Drive）などの他の記憶媒体で構成された記憶装置であってもよい。

ＰＬＵファイルＦ１は、店舗に陳列して販売する各商品についての売上登録に係る情報を格納する商品ファイルである。辞書ファイルＦ２は、複数の商品の特徴量を照合用データとして記憶するものである。撮像された商品から特徴量が算出されると、ＣＰＵ３１は、撮像された商品の特徴量と、辞書ファイルＦ２に記憶されている各商品の特徴量を照合する。そして、撮像された商品の特徴量に対する類似度を商品ごとに算出する。

ＰＬＵファイルＦ１は、商品ごとに、商品ＩＤと、商品に関する情報を格納するファイルである。辞書ファイルＦ２は、商品ごとに、それぞれのイラスト画像と、特徴量とを格納するファイルである。商品ＩＤは、商品を識別可能な識別情報である。商品に関する情報は、商品Ａが属する商品分類、商品名、品種、単価等の情報である。イラスト画像は、その商品を示す画像である。

ＣＰＵ３１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース３８が接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）には、セルフＰＯＳ１に配信されるＰＬＵファイルＦ１が格納される。

更に、セルフＰＯＳ１のＣＰＵ３１には、商品読取部（ユニット）２３やタッチ入力式のディスプレイ２１との間でデータ送受信を可能にする接続インターフェース３９が接続される。接続インターフェース３９には、商品読取部２３やタッチ入力式のディスプレイ２１などが接続される。

タッチ入力式のディスプレイ２１は、タッチパネル２１０、表示デバイス２１１、及び接続インターフェース４７を備える。

商品読取部２３は、マイクロコンピュータ４０を備える。マイクロコンピュータ４０は、ＣＰＵ４１にＲＯＭ４２とＲＡＭ４３とがバス接続されて構成される。マイクロコンピュータ４０は、主に商品の撮像やオブジェクト認識のための前処理を行う処理部として動作する。ＲＯＭ４２には、ＣＰＵ４１によって実行されるプログラム（除外プログラムＰｒｏ２等）が記憶される。ＣＰＵ４１には、撮像部４４、音声出力部４５が接続される。撮像部４４、音声出力部４５は、ＣＰＵ４１によって動作が制御される。

撮像部４４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを有する。撮像部４４は、ＣＰＵ４１の制御の下、読取窓２３０の内部から所定のフレームレートで商品を撮像する。例えば撮像部４４は３０ｆｐｓ（Flame Per Second）の画像の撮像を行う。撮像部４４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ４３に順次保存される。

音声出力部４５は、予め設定された音声や警告音等を発生するための音声回路とスピーカ等である。音声出力部４５は、ＣＰＵ４１の制御の下で音声や警告音等による報知を行う。

更に、ＣＰＵ４１には、ＣＰＵ３１との間でデータ送受信を可能にする接続インターフェース４６が接続される。本体２０の接続インターフェース３９に接続インターフェース４６が接続される。

次に、セルフＰＯＳ１の機能構成について説明する。
図４は、セルフＰＯＳ１の機能構成を示すブロック図である。図中の実線矢印は、指示の向きを示すものである。
先ず、ＣＰＵ３１の機能について説明する。

ＣＰＵ３１は、モード入力受付部３００、撮像指示部３０１、フレーム画像検出部３０２、オブジェクト認識部３０３、及び商品候補提示部３０４として機能する。更に、入力受付部３０５、売上登録部３０６、報知部３０７、及び表示制御部３０８として機能する。

これらの機能は、ＣＰＵ３１がプログラム（商品販売データ処理用プログラムＰＲ１）を実行することで実現される。

モード入力受付部３００は、商品認識処理を示すモードである、オブジェクト認識モード又はバーコード認識モードの内の何れか一方の指定入力を受け付ける。モード入力受付部３００は、例えば、表示デバイス２１１の画面に各モードの選択キーを提供し、ユーザに選択キーの押下によるモード指定を促す。そして、ユーザが押下したキーに該当するモードを商品認識処理のモードとして受け付ける。

撮像指示部３０１は、モード入力受付部３００で受け付けたモードでの撮像処理の開始を商品読取部２３に対して指示する。具体的に、撮像指示部３０１は、モード入力受付部３００で受け付けたモードのモード情報と撮像開始命令とを商品読取部２３に出力する。

フレーム画像検出部３０２は、商品のフレーム画像が撮像開始後に商品読取部２３から転送されてＲＡＭ３３へ保存されるのを検出する。

オブジェクト認識部３０３は、フレーム画像検出部３０２が検出したフレーム画像に対するオブジェクト認識処理（前段処理）を行う。オブジェクト認識処理（前段処理）は、例えばフレーム画像内の商品画像の領域を特定し、その領域に示される商品の色合いや模様や表面の凹凸状況などの外観情報を特徴量として抽出する処理を行う。

商品候補提示部３０４は、オブジェクト認識部３０３で抽出した商品の特徴量に基づいて当該商品の商品候補を客に提示する、オブジェクト認識処理（後段処理）を行う。商品候補提示部３０４は、ここでは、当該商品の特徴量を辞書ファイルＦ２の各商品の特徴量と比較し、類似度を計算する。そして、類似度のより高い商品を優先して、そのイラスト画像を表示画面に商品候補として提供する。これにより、当該商品の商品候補を客に提示する。

ここで、類似度とは、辞書ファイルＦ２に登録されているそれぞれの商品が当該商品に対してどの程度類似しているのかを数値で表したものである。この数値が高いものほど商品により類似することを表す。

類似度の算出方法は、一例としては、当該商品と、辞書データＦ２に登録されている各商品との類似度を絶対評価で算出する方法と、相対評価で算出する方法とがある。

類似度を絶対評価で算出する場合、商品候補提示部３０４は、当該商品の特徴量と辞書ファイルＦ２の各商品の特徴量とを１対１で比較し、導出した類似度をそのまま採用する。他方の、類似度を相対評価で算出する場合、商品候補提示部３０４は、辞書ファイルＦ２の各商品の類似度の総和が１．０（１００％）となるように各商品の類似度を算出する。

商品候補としては、各商品の類似度の算出結果に基づいて、類似度が所定の閾値を上回るものを対象とするものとする。

以上のオブジェクト認識処理に見られる物体認識は一般物体認識（generic object recognition）と呼ばれている。一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

入力受付部３０５は、表示画面に表示された入力キーからの入力を受け付ける。そして、入力に応じて処理を振り分ける。ここでは、特に、商品候補提示部３０４により提示された商品候補の中から一商品を確定する入力を受け付ける。例えば、表示画面に表示された複数の商品候補（イラスト画像キー）の中から客が一商品を押下する。入力受付部３０５は、この押下信号を受け付け、客が押下したイラスト画像キーに対応する商品候補を当該商品として確定する。

売上登録部３０６は、オブジェクト認識処理又はバーコード認識処理によって確定された商品を売上登録する。売上登録部３０６は、商品がオブジェクト認識処理によって確定される場合は、入力受付部３０５で受け付けられた商品を売上登録する。他方のバーコード認識モードによって確定される場合は、商品読取部２３においてバーコードがデコードされた情報で示される商品を売上登録する。なお、本例の売上登録部３０６は、商品が確定されると、ＰＬＵファイルＦ１のデータを参照する。そして、ＰＬＵファイルＦ１から、確定された商品についての分類や、商品名や、商品価格などの商品データを取得する。そして、それらのデータを売上マスタファイル等に記録して売上登録を行う。

報知部３０７は、売上登録部３０６が商品を売上登録した場合に報知する。報知部３０７は、例えば、音声出力部におけるブザー音の発生や表示デバイス２１１における報知画面の表示により商品の売上登録を報知する。

表示制御部３０８は、表示デバイス２１１に対する操作画面、エラー画面、商品候補の一覧画面などの表示を制御する。

次に、商品読取部２３のＣＰＵ４１の機能について説明する。
ＣＰＵ４１は、撮像モード受付部４００、バーコード検出部４０１、デコード部４０２、フレーム消去部４０３、フレーム転送部４０４、及びデコード情報転送部４０５として機能する。
これらの機能は、ＣＰＵ４１がプログラム（除外プログラムＰｒｏ２等）を実行することで実現される。

撮像モード受付部４００は、撮像指示部３０１から商品認識処理のモード情報を受け付ける。そして、撮像部４４に撮像オン信号を出力することにより商品の撮像を開始する。

バーコード検出部４０１は、撮像開始後のＲＡＭ４３に保存されたフレーム画像を対象に、バーコードのパターンマッチング処理を行い、フレーム画像内のバーコード部を検出する。バーコード検出部４０１は、例えば、フレーム画像に対してバーコードの印刷されたシールの輪郭形状によりパターンマッチングを行う。そして、フレーム画像内にシールの輪郭形状に一致するものを検出（仮抽出）した場合に当該フレーム画像がバーコード部を含むものと仮の確定を行う。この他、バーコードを構成するバーやスペースなどの輪郭形状によりパターンマッチングを行う。そして、フレーム画像内にそれらの形状に一致するものを検出（仮抽出）した場合に当該フレーム画像がバーコード部を含むものと仮の確定を行う。

デコード部４０２は、バーコード検出部４０１でバーコード部が検出された場合の機能である。デコード部４０２は、フレーム画像に含まれるバーコード部を対象にバーコード情報をデコードする。デコード部４０２は、バーコード部のデコードを終えると、デコードされたもの（デコード情報）が商品識別のコードに対応するものか否かをチェックする。そして、デコード情報が商品識別のコードに対応するものであった場合、当該フレーム画像がバーコード部を含むものと本確定する。商品識別のコードに当たるものか否かのチェックは、例えばコードの桁数やコードに含まれる数字のとる値などにより行う。

フレーム消去部４０３は、オブジェクト認識モードの機能である。フレーム消去部４０３は、フレーム画像がバーコード部を含むと本確定された場合に、当該フレーム画像をＲＡＭ４３から消去する。オブジェクト認識モードでは、バーコード部を含むフレーム画像をフレーム消去部４０３が消去することにより、オブジェクト認識部３０３におけるフレーム画像の認識処理からバーコード部を含むフレーム画像の処理を除外する。

フレーム転送部４０４も、オブジェクト認識モードの機能である。フレーム転送部４０４は、デコード部４０２によりフレーム画像がバーコード部を含まないものと判定された場合に、ＣＰＵ３１にフレーム画像の転送を通知し、当該フレーム画像をＲＡＭ４３からＲＡＭ３３に転送する。

デコード情報転送部４０５は、バーコード認識モードの機能である。デコード情報転送部４０５は、デコード部４０２でデコード情報が生成されると、ＣＰＵ３１にその旨を通知し、当該デコード情報の処理を売上登録部３０６に渡す。

本例では、バーコード検出部４０１においてバーコード部があるものと仮の確定をさせた後にデコード部４０２によるデコードによりバーコード部の有無を本確定させる。しかし、実施形態のセルフＰＯＳ１は、この態様に限定されるものではない。バーコード検出部４０１においてバーコード画像があるものと仮の確定をさせたことを以って、バーコード画像有りと本確定しても良い。

次に、セルフＰＯＳ１の動作について説明する。
セルフＰＯＳ１の画面案内に従って客が登録及び決済処理の開始をセルフＰＯＳ１に指示すると、セルフＰＯＳ１は商品登録処理による商品の読み取り動作を開始する。

図５及び図６は、セルフＰＯＳ１の商品の読み取りの一連の動作の例を示すフロー図である。
図５に示す各処理は、ＣＰＵ３１がＲＯＭ３２やＨＤＤ３７等の各種のプログラムを実行し、セルフＰＯＳ１の各部を制御するなどして行われる。また、図６に示す商品読取部２３の処理は、ＣＰＵ４１がＲＯＭ４２のプログラムを実行し、商品読取部２３の各部を制御するなどして行われる。

先ず、ＣＰＵ３１（モード入力受付部３００）は、商品認識処理についてのモードの指定を受け付ける（Ｓ１）。ここでは、画面に表示されたモードの選択キー（例えばオブジェクト認識モード「以下、“モード１”とも呼ぶ」の指定キー及びバーコード認識モード「以下、“モード２”とも呼ぶ」の指定キー）の何れかを客が商品登録の開始時などに押下する。これにより、ＣＰＵ３１（モード入力受付部３００）は、押下された選択キーに対応するモード（モード１又はモード２）での商品認識処理の実行指示を受け付ける。

ステップＳ１において、モード１が選択された場合、ＣＰＵ３１（撮像指示部３０１）は、商品認識処理のモードがモード１であることを商品読取部２３に通知して撮像開始を指示する（Ｓ２）。この指示に基づき、商品読取部２３は撮像により商品のフレーム画像を取得する。そして、商品読取部２３は、モード１の手順として、その取得したフレーム画像を商品読取部２３からＲＡＭ３３に転送する。

また、ステップＳ１において、モード２が選択された場合、ＣＰＵ３１（撮像指示部３０１）は、商品認識処理のモードがモード２であることを商品読取部２３に通知して撮像開始を指示する（Ｓ１５）。この指示に基づき、商品読取部２３は撮像により商品のフレーム画像を取得する。そして、商品読取部２３は、モード２の手順として、フレーム画像に含まれるバーコード部のデコード情報を生成し、生成したデコード情報を商品読取部２３から売上登録部３０６に転送する。
なお、商品読取部２３における一連の処理は後に詳しく説明する。

モード１の商品認識処理では、ステップＳ２の処理後、ＣＰＵ３１（フレーム画像検出部３０２）は、商品読取部２３からＲＡＭ３３へのフレーム画像の転送を知らせる通知を検出する（Ｓ３）。ステップＳ３において通知を検出すると（Ｙｅｓ判定）、ＣＰＵ３１（オブジェクト認識部３０３）は、所定枚数のフレーム画像を商品読取部２３から取得し、ＲＡＭ３３に展開する。そして、最適なフレーム画像を対象に特徴量抽出処理を行う（Ｓ４）。この処理では、所定枚数のフレーム画像の中から商品が画像の中央に収まったもの、輪郭がはっきりしたものなど、最適なフレーム画像を選択する。そして、その選択したフレーム画像に含まれる商品領域を特定し、特定した商品領域に対して既知の特徴量の抽出処理を施す。これにより、フレーム画像内の商品部分の特徴量を抽出する。

次に、ＣＰＵ３１（商品候補提示部３０４）は、ステップＳ４で得られた商品の特徴量を基に類似度算出処理を行う（Ｓ５）。この処理では、ステップＳ４で得られた当該商品の特徴量と辞書ファイルＦ２の各商品の特徴量とを比較する。そして、その比較から、当該商品を対象とする各商品の類似度を求める。

次に、ＣＰＵ３１（商品候補提示部３０４、表示制御部３０８）は、商品候補を表示画面に表示する（Ｓ６）。この処理では、ステップＳ５で得られた各商品の類似度に基づき、商品候補を示す商品のイラスト画像を類似度の高い順に整列して画面表示する処理を行う。

次に、ＣＰＵ３１（入力受付部３０５）は、商品候補の中から当該商品として一商品が確定されたか否かを判定する（Ｓ７）。具体的に、表示画面に表示された複数の商品候補（商品のイラスト画像）の中から、客が指定した一商品のイラスト画像キーの入力をＣＰＵ３１（入力受付部３０５）が受け付ける。これにより、ＣＰＵ３１（入力受付部３０５）は、一商品が確定されたものと判定（Ｙｅｓ判定）する。一方、客がイラスト画像キーを指定しないなど、イラスト画像キーの入力をＣＰＵ３１（入力受付部３０５）が受け付けない場合には、商品が確定されないものと判定（Ｎｏ判定）する。

ステップＳ７でＮｏ判定の場合、ＣＰＵ３１（入力受付部３０５）は、認識処理のやり直しの指示があったか否かを判定する（Ｓ８）。具体的に、表示画面に表示されたやり直しキーを客が押下すると、その入力をＣＰＵ３１（入力受付部３０５）が受け付ける。これにより、ＣＰＵ３１（入力受付部３０５）は、やり直しの指示があったものと判定（Ｙｅｓ判定）する。この場合、ＣＰＵ３１（入力受付部３０５）は、ステップＳ１の処理に戻る。ステップＳ８でＮｏ判定の場合、ステップＳ７の判定に戻る。

ステップＳ７でＹｅｓ判定になると、続いて、ＣＰＵ３１（売上登録部３０６）は商品登録処理を行う（Ｓ９）。この処理で、ＣＰＵ３１（売上登録部３０６）はステップＳ７で確定された商品についての商品データをＰＬＵファイルＦ１から取得する、そして、その商品データを売上マスタファイルなどに登録する。また、登録の際に、ＣＰＵ３１（報知部３０７）は、商品を売上登録したことをブザー音や画面表示により客に報知する。

次に、ＣＰＵ３１（入力受付部３０５）は表示画面上の会計キーの押下状態をチェックし、登録された商品の決済を行うか否かを判定する（Ｓ１０）。客が会計キーを押下しない場合、ステップＳ１０の判定はＮｏ判定となり、ＣＰＵ３１はステップＳ１からの処理を繰り返す。つまり、ステップＳ１において入力モードを検出し、同じ入力モード１の場合には、ステップＳ３において二つ目の商品のフレーム画像を取得し、その商品を対象にステップＳ３〜ステップＳ９の処理を行う。また、客がモード選択キーを押下するなどして、モードがモード１からモード２に切り替えられた場合には、ステップＳ１の判定処理後、ステップＳ１５からのバーコード認識に係る処理（後述するモード２の処理）を行う。

客が買物カゴの中の全商品の登録を終えるなどして会計キーを押下したならば、ステップＳ１０の判定でＹｅｓ判定となる。この場合、ＣＰＵ３１は商品読取部２３に対して撮像終了のための指示信号を出力する（Ｓ１１）。そして、ＣＰＵ３１は、売上マスタファイルに登録した商品の決済処理を行って（Ｓ１２）、本処理を終了する。

以上は、モード１の動作である。他方のモード２の動作は次のようになる。

ステップＳ１において、モード２が選択された場合、ＣＰＵ３１（撮像指示部３０１）は商品認識モードがモード２であることを商品読取部２３に通知すると共に撮像開始を指示する（Ｓ１５）。その後、商品読取部２３からバーコード部のデコード情報を取得する（Ｓ１６）。ステップＳ１６の処理後は、ＣＰＵ３１は、処理をステップＳ９の処理に移し、商品登録処理を行う。つまり、ＣＰＵ３１（売上登録部３０６）が、上記デコード情報に対応する商品データをＰＬＵファイルＦ１から取得し、その商品データを売上マスタファイルなどに登録する。その後の処理の流れについては、既に説明した通りであるので説明を省略する。

次に、図６に示す商品読取部２３の動作について説明する。

商品読取部２３のＣＰＵ４１(撮像モード受付部４００)は、先ず、ＣＰＵ３１（撮像指示部３０１）が撮像開始を指示したか否かを判定する（Ｓ２１）。図５のステップＳ２又はステップＳ１５では、ＣＰＵ３１（撮像指示部３０１）から商品読取部２３に撮像開始命令が出力される。商品読取部２３のＣＰＵ４１（撮像モード受付部４００）は、その撮像開始命令を検出する。これにより、ＣＰＵ３１（撮像指示部３０１）が撮像開始を指示したものと判定（Ｙｅｓ判定）する。Ｎｏ判定の場合、Ｙｅｓ判定となるまで、判定処理を繰り返す。

ステップＳ２１でＹｅｓ判定の場合、更にＣＰＵ４１（撮像モード受付部４００）は、撮像部４４の撮像信号をオンにし、撮像部４４での撮像を開始する（Ｓ２２）。客は、商品読取部２３の読取窓２３０に商品をかざし、撮像部４４から商品の外観画像を読み取らせる。ＣＰＵ４１（撮像モード受付部４００）は、撮像部４４から読み取られた商品についてのフレーム画像をＲＡＭ４３に順次保存する。

次に、ＣＰＵ４１（撮像モード受付部４００）は商品認識処理のモードを判定する（Ｓ２３）。図５のステップＳ２又はステップＳ１５では、ＣＰＵ３１（撮像指示部３０１）から撮像開始命令の他に商品認識処理のモード情報が出力される。ＣＰＵ４１（撮像モード受付部４００）は、このモード情報を例えばモード状態を示すレジスタで保持し、そのモード情報を読み取ることにより、モードがモード１であるのかモード２であるのかを判定する。レジスタで保持するモード状態は、ＣＰＵ３１（撮像指示部３０１）から商品認識処理のモード情報が出力される度に書き換えられるものとする。

ステップＳ２３において商品認識処理のモードがモード１と判定された場合、ＣＰＵ４１は、ＲＡＭ４３に保存したフレーム画像がオブジェクト認識による処理の対象のものかどうかを、次に示す処理でチェックする。

先ず、ＣＰＵ４１（バーコード検出部４０１）は、ＲＡＭ４３に保存された先頭のフレーム画像に対してパターンマッチング処理を行う（Ｓ２４）。このパターンマッチング処理では、例えば、フレーム画像に対してバーコードの印刷されたシールの輪郭形状によりパターンマッチングを行う。或いは、バーコードを構成するバーやスペースなどの輪郭形状によりパターンマッチングを行う。

更に、ＣＰＵ４１（バーコード検出部４０１）は、パターンに一致するものがフレーム画像中に含まれるか否かを判定する（Ｓ２５）。この判定が、パターンに一致するものが含まれないとする判定（Ｎｏ判定）の場合、ＣＰＵ４１（フレーム転送部４０４）は、ＣＰＵ３１に転送を通知し、そのフレーム画像をＲＡＭ４３からＲＡＭ３３に転送する（Ｓ２６）。このとき、ＣＰＵ３１がオブジェクト認識処理の実行などにより通知を受け付けない場合、このフレーム画像を破棄する。ＣＰＵ３１が通知を受け付けると、このフレーム画像は、ステップＳ４において所定枚数のフレーム画像の一つとしてオブジェクト認識の対象とされる。

一方、ステップＳ２５において、ＣＰＵ４１（バーコード検出部４０１）が、フレーム画像中にパターンに一致するものが含まれると判定（Ｙｅｓ判定）した場合、ＣＰＵ４１（デコード部４０２）は、そのフレーム画像に対してデコード処理を行う（Ｓ２７）。この処理では、フレーム画像中に含まれるスペースやバーの幅などを読み取り、バーコードを数字列などにデコードする。更に、デコードにより得た数字列などのデコード情報が商品識別コードに対応するものか否かを確認処理する。例えば、デコード情報の桁数や数字のとる値などが商品識別コードのものであるか否かをマッチング処理により確認する。

更に、ＣＰＵ４１（デコード部４０２）は、ステップＳ２５において仮の検出がなされたバーコード部が間違いなくバーコード部であるのか否かを、ステップＳ２７の確認処理に基づいて判定する（Ｓ２８）。ステップＳ２７の確認処理においてデコード情報が商品識別コードに当てはまらないことが確認されると、ステップＳ２８はＮｏ判定となる。この場合、ＣＰＵ４１（フレーム転送部４０４）は、ＣＰＵ３１に転送を通知し、そのフレーム画像をＲＡＭ４３からＲＡＭ３３に転送する（Ｓ２６）。なお、転送元のＲＡＭ４３のフレーム画像は破棄するものとする。

一方、ステップＳ２７の確認処理においてデコード情報が商品識別コードに当てはまることが確認されると、ステップＳ２８はＹｅｓ判定となる。この場合、ＣＰＵ４１（フレーム消去部４０３）は、当該フレーム画像をオブジェクト認識処理の対象とならない画像としてＲＡＭ４３から消去する（Ｓ２９）。

ステップＳ２６、ステップＳ２９の処理後、ＣＰＵ４１は、ＣＰＵ３１（撮像指示部３０１）が撮像終了を指示したか否かを判定する（Ｓ３２）。図５のステップＳ１１では、ＣＰＵ３１から商品読取部２３に撮像終了のための指示信号が通知される。商品読取部２３のＣＰＵ４１は、その通知を検出し、ＣＰＵ３１が撮像終了の指示を出したものと判定（Ｙｅｓ判定）する。この判定がＹｅｓ判定の場合、ＣＰＵ４１は、撮像部４４に対する撮像信号をオフにし、撮像処理を終了する（Ｓ３３）。一方、判定がＮｏ判定の場合にはステップＳ２３からの処理を繰り返す。つまり、ＲＡＭ４３に保存された次のフレーム画像に対してステップＳ２３〜ステップＳ２９の処理を行う。

なお、ステップＳ２３において商品認識モードがモード２と判定された場合、ＣＰＵ４１は、ＲＡＭ４３に保存したフレーム画像を対象に、バーコード認識処理を行う（Ｓ３０）。バーコード認識処理では、ＣＰＵ４１は、ＲＡＭ４３に保存した所定枚数のフレーム画像から最適なフレーム画像を選択する。それから、ＣＰＵ４１（デコード部４０２）はバーコード部からデコード情報を生成する。そして、ＣＰＵ４１（デコード情報転送部４０５）は、ＣＰＵ３１にデコード情報の転送を通知し、ステップＳ３０で生成したデコード情報をＣＰＵ３１（売上登録部３０６）に転送する（Ｓ３１）。なお、転送元のＲＡＭ４３のフレーム画像は破棄するものとする。

ステップＳ３１の処理後は、ステップＳ３２において撮像終了の指示が無いことを確認し、撮像終了の指示か無ければ、ステップＳ２３からの処理を繰り返す。バーコード認識処理では、デコード情報をＣＰＵ３１（売上登録部３０６）に渡すと、そのデコード情報に対応する商品が自動的に売上登録される。ステップＳ２３、Ｓ３０、Ｓ３１、Ｓ３２のループ処理により、同一の商品の画像に対してバーコード認識処理が行われた場合は、同一のデコード情報が生成される。従って、ここでは、同一商品のデコード情報をＣＰＵ３１（売上登録部３０６）に再び渡した場合、ＣＰＵ３１（売上登録部３０６）は重複を検出し、重複して売上登録を行わないものとする。

また、撮像開始後にユーザによりモードが変更された場合、ステップＳ２又はステップＳ１５においてモード情報が商品読取部２３に通知される。モード情報専用のレジスタは、最新のモード情報に更新され、ＣＰＵ４１によってステップＳ２３の判定時に最新のモード情報が読み取られるようにしている。これにより、撮像開始後にモードが変更されても、商品読取部２３は常に変更に応じたモードで認識処理を行う。

なお、以上に示す動作フローのステップＳ２９の処理において、フレーム画像の消去が所定枚数連続して続いた場合、その旨を画面表示により報知しても良い。例えば、商品読取部２３でフレーム画像の連続消去枚数をカウントし、連続消去枚数が予め設定した所定枚数を終えた場合に、商品読取部２３からＣＰＵ３１に通知を行う。ＣＰＵ３１は、この通知を受けて、「バーコードの無い面を読み取らせて下さい」などの情報を含むエラー画面を表示デバイス２１１に表示する。又は、ＣＰＵ４１が、音声出力部４５を制御して、「バーコードの無い面を読み取らせて下さい」などの音声を再生させる。

以上に示す動作フローの例では、ステップＳ２４、Ｓ２５、Ｓ２７、Ｓ２８、Ｓ２９の処理により、バーコード部が含まれるフレーム画像を商品読取部２３で検出し、取消処理を行う。これにより、バーコード部が含まれるフレーム画像をオブジェクト認識処理部へ渡さないようにしている。従って、オブジェクト認識処理部は、バーコード部を含まないフレーム画像のみで認識処理を行うことができる。つまり、認識精度の低下を防止できる。また、ステップＳ２４のパターンマッチング処理では、バーコード部を明らかに含まないものをふるいにかけ、それ以上の詳しいチェックは行わないようにしている。ここで疑わしいものはステップＳ２７でデコードを行い、詳しいチェックを行う。デコードによりバーコード部が抽出されなければ、パターンマッチング処理でバーコード部とされた部分は商品の特徴の一部を示すものであったとして、オブジェクト認識に回す。

（変形例１）
実施形態１では、バーコード部を含むフレーム画像を商品読取部２３で消去することにより、バーコード部を含むフレーム画像をオブジェクト認識処理の対象から除外する態様を示した。
変形例１では、オブジェクト認識処理部にフレーム画像とバーコード部の有無を示す情報を渡し、オブジェクト認識処理部側でバーコード部の無いフレーム画像を選択して処理する態様を示す。

なお、以下では、実施形態１と異なるものについての説明をする。実施形態１と同様のものについては実施形態１と同一の符号を図面に付与するなどして、その個所の説明は適宜省略するものとする。

変形例１のセルフＰＯＳは、外観及びハードウェア構成は、実施形態１のＰＯＳ１と同様のものであるため、それらについての図示及び説明を省略する。

図７は、変形例１のセルフＰＯＳの機能構成を示すブロック図である。図中の実線矢印は、指示の向きを示すものである。

図７において、変形例１のセルフＰＯＳ２は、機能として、実施形態１のフレーム消去部４０３に代わりフラグ情報付与部７００が構成される。また、フレーム転送部４０４の機能が以下のフレーム転送部７０１の機能となる。また、オブジェクト認識部３０３の機能が以下のオブジェクト認識部７０２の機能となる。

フラグ情報付与部７００は、オブジェクト認識モードの機能である。フラグ情報（指示情報）は、各フレーム画像に紐付けられた情報であり、デフォルトはバーコード部を含まないことを示す「０」とする。フラグ情報付与部７００は、バーコード検出部４０１でフレーム画像がバーコード部を含むと本確定された場合に、当該フレーム画像のフラグ情報を「０」から「１」に書き換える。

フレーム転送部７０１は、ＣＰＵ３１に転送を通知し、フレーム画像とフラグ情報をセットにして、全てのフレーム画像をＲＡＭ４３からＲＡＭ３３に転送する。

フレーム画像検出部３０２は、商品のフレーム画像が撮像開始後に商品読取部２３から転送されてＲＡＭ３３へ保存されるのを検出する。

オブジェクト認識部７０２は、フレーム画像検出部３０２が検出したフレーム画像の内、フラグ情報が「０」のものを対象にオブジェクト認識処理（前段処理）を行う。オブジェクト認識処理（前段処理）は、例えばフレーム画像内の商品画像の領域を特定し、その領域に示される商品の色合いや模様や表面の凹凸状況などの外観情報を特徴量として抽出する処理を行う。

図８及び図９は、セルフＰＯＳ２の商品の読み取りの一連の動作の例を示すフロー図である。
図８に示すフローは、図５に示すフローにステップＳ８０の処理を追加したものである。

モード１の商品認識処理では、ステップＳ２の処理後、ＣＰＵ３１（フレーム画像検出部３０２）は、商品読取部２３からＲＡＭ３３へのフレーム画像の転送を知らせる通知を検出する（Ｓ３）。ＣＰＵ３１（フレーム画像検出部３０２）が通知を検出すると（ステップＳ３：Ｙｅｓ判定）、ＣＰＵ３１（オブジェクト認識部７０２）が、所定枚数のフレーム画像を商品読取部２３から取得し、ＲＡＭ３３に展開する。そして、各フレーム画像のフラグ情報を調べ、オブジェクト認識処理の対象のフレーム画像であるか否かをチェックする（Ｓ８０）。フラグ情報が「０」のとき、そのフレーム画像をオブジェクト認識処理の対象のフレーム画像とする。フラグ情報が「１」のとき、そのフレーム画像をオブジェクト認識処理の対象外のフレーム画像とし、フレーム画像を消去する。

その後、ＣＰＵ３１（オブジェクト認識部７０２）は、フラグ情報「０」のフレーム画像の中から最適なフレーム画像を対象に特徴量抽出処理を行う（Ｓ４）。

ステップＳ４を含むこの後の処理は、実施形態１に示したオブジェクト認識処理である。このため、これ以上の説明は、ここでは省略する。

図９に示すフローは、図６に示すフローにステップＳ２９に代わりステップＳ９０の処理を追加したものである。

実施形態１において説明したように、ＣＰＵ４１（デコード部４０２）は、バーコード部がフレーム画像に含まれることが本確定されているかをステップＳ２８で判定する。ここで、仮にバーコードがフレーム画像に含まれるとしてＹｅｓ判定になったとする。すると、ＣＰＵ４１（フラグ情報付与部７００）は、そのフレーム画像に対応するフラグ情報を「０」から「１」に書き換える（Ｓ９０）。

その後、ＣＰＵ４１（フレーム転送部７０１）は、ＣＰＵ３１に転送を通知し、そのフレーム画像とフラグ情報「１」をＲＡＭ４３からＲＡＭ３３に転送する（Ｓ２６）。

また、ステップＳ２５やステップＳ２８でＮｏ判定となった場合、ＣＰＵ４１（フレーム転送部７０１）は、ステップＳ２６でフレーム画像とフラグ情報「０」をＲＡＭ４３からＲＡＭ３３に転送する。なお、転送元のＲＡＭ４３のフレーム画像やフラグ情報は破棄するものとする。

このように、商品読取部２３のＣＰＵ４１は、バーコード部の有無に寄らず全てのフレーム画像をオブジェクト認識処理部に送る。オブジェクト認識処理部は、各フレーム画像のフラグ情報をチェックすることにより、バーコード部を含まないフレーム画像のオブジェクト認識処理を実行する。

なお、以上に示す動作フローのステップＳ８０の処理において、フラグ情報「１」のフレーム画像が所定枚数連続して続いた場合、その旨を画面表示により報知しても良い。例えば、フラグ情報「１」となるフレーム画像の連続枚数をカウントし、連続枚数が予め設定した所定枚数を終えた場合に、ＣＰＵ３１が「バーコードの無い面を読み取らせて下さい」などの情報を含むエラー画面を表示デバイス２１１に表示する。

また、ステップＳ９０の処理において、フラグ情報「１」のフレーム画像が所定枚数連続して続いた場合、商品読取部２３のＣＰＵ４１がフラグ情報「１」となるフレーム画像の連続枚数をカウントし、連続枚数が予め設定した所定枚数を終えた場合に、商品読取部２３のＣＰＵ４１が音声出力部４５を制御して、「バーコードの無い面を読み取らせて下さい」などの音声を再生させる。

以上に示す動作フローの例では、ステップＳ２４、Ｓ２５、Ｓ２７、Ｓ２８、Ｓ８０、Ｓ９０などの処理により、バーコード部が含まれるフレーム画像をＣＰＵ３１で検出する。これにより、バーコード部が含まれるフレーム画像をオブジェクト認識処理部において処理しないようにしている。従って、オブジェクト認識処理部は、バーコード部を含まないフレーム画像のみで認識処理を行うことができる。つまり、認識精度の低下を防止できる。

本実施形態及び変形例では、商品販売データ処理装置としてセルフＰＯＳの態様を示した。しかし、この態様に限らず、その他の態様をとっても良い。例えば、店員が入力を行うチェックアウトシステムなどに適用しても良い。このチェックアウトシステムの場合、例えば、図３の商品読取部２３、表示デバイス２１１、タッチパネル２１０、及び接続インターフェース４７を商品読取装置として別体で設け、その他の構成にキーボードなどの入力部を加えたものをＰＯＳレジスタとして設けるなどして実施できる。

本実施形態及び変形例では、商品販売データ処理装置を売上登録部と決済処理部とを含むものとして構成した。しかし、決済処理部を決済端末などとして別体に設け、商品販売データ処理装置を売上登録部のみを有するものとして構成しても良い。

本実施形態及び変形例の商品販売データ処理装置で使用する各種プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供し、商品販売データ処理装置のフラッシュＲＯＭなどに読み込ませて実行してもよい。

また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

以上の実施形態及び変形例において、商品販売データ処理装置、読取装置及びプログラムについての構成を説明したが、この実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ セルフＰＯＳ
１０ 撮像手段
１１ バーコード抽出手段
１２ 除外手段
１３ オブジェクト認識手段
１４ 確定手段
１５ 売上登録手段

特開２０１４−３２５３９号公報

Claims (6)

1. 商品を撮像して該商品の外観画像を出力する撮像手段と、
   前記撮像手段により出力された商品の外観画像からバーコード情報を抽出する抽出手段と、
   前記撮像手段により出力された商品の外観画像を対象にオブジェクト認識処理を行うオブジェクト認識手段と、
   前記抽出手段により商品の外観画像からバーコード情報が抽出された場合に、該商品の外観画像を、前記オブジェクト認識手段による前記オブジェクト認識処理の対象から除外する除外手段と、
   売上登録する前記商品を前記オブジェクト認識処理の結果に基づいて確定する確定手段と、
   前記確定手段により確定された商品の売上登録を行う売上登録手段と、
   を備えることを特徴とする商品販売データ処理装置。
2. 前記除外手段は、前記撮像手段から出力された前記商品の外観画像をオブジェクト認識手段へ入力させないことにより、前記商品の外観画像を、前記オブジェクト認識手段による前記オブジェクト認識処理の対象から除外する、
   ことを特徴とする請求項１に記載の商品販売データ処理装置。
3. 前記除外手段は、前記撮像手段から出力された前記商品の外観画像を、オブジェクト認識処理を行わないことを前記オブジェクト認識手段に指示するための指示情報を付与して前記オブジェクト認識手段へ入力させることにより、前記商品の外観画像を、前記オブジェクト認識手段による前記オブジェクト認識処理の対象から除外する、
   ことを特徴とする請求項１に記載の商品販売データ処理装置。
4. 前記抽出手段は、パターン認識処理により前記バーコード情報を仮抽出し、バーコード情報が仮抽出された場合に、該バーコード情報をデコードにより本抽出する、
   ことを特徴とする請求項１乃至３の内の何れか１つに記載の商品販売データ処理装置。
5. 商品を撮像して該商品の外観画像を出力する撮像手段と、
   前記撮像手段により出力された商品の外観画像からバーコード情報を抽出する抽出手段と、
   前記撮像手段により出力された商品の外観画像をオブジェクト認識処理装置へ転送する転送手段と、
   前記抽出手段により商品の外観画像からバーコード情報が抽出された場合に、前記撮像手段が出力する前記商品の外観画像の、前記転送手段による前記オブジェクト認識処理装置への転送を抑止する、又は前記撮像手段が出力する前記商品の外観画像に、前記オブジェクト認識処理を行わないことを前記オブジェクト認識処理装置に指示するための指示情報を付与する除外手段と、
   を備えることを特徴とする読取装置。
6. 商品を撮像する撮像部を有するコンピュータを、
   前記撮像部から出力された前記商品の外観画像からバーコード情報を抽出する抽出手段と、
   前記撮像部から出力された前記商品の外観画像を対象にオブジェクト認識処理を行うオブジェクト認識手段と、
   前記抽出手段により商品の外観画像からバーコード情報が抽出された場合に、該商品の外観画像を、前記オブジェクト認識手段による前記オブジェクト認識処理の対象から除外する除外手段と、
   として機能させるプログラム。

Images