JP2018041260A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】シンボルが付されている商品について、シンボル以外を撮像しても誤って物品を認識しない情報処理装置およびプログラムを提供する。【解決手段】物品を撮像した画像からシンボルを検出する検出手段と、画像から物品の特徴を示した特徴量を抽出する抽出手段と、シンボルが検出されたことを条件に、当該シンボルに含まれた情報に基づき物品を特定する特定手段と、シンボルが検出されないことを条件に、物品の特徴量と、シンボルが付されたコード物品の特徴を示した第１特徴量とを比較し、その類似度に基づいて、物品がコード物品であるかを判断する判断手段と、物品の特徴量と、シンボルが付されていない非コード物品の特徴を示した第２特徴量とを比較し、その類似度に基づいて、物品に対応する非コード物品を認識する認識手段と、判断手段の判断結果に応じて、認識手段の制御処理を変更する制御手段と、を備える。【選択図】図８

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来から、バーコードや二次元コード等のシンボルが印刷または貼付されている（以降、「シンボルが付されている」という）商品（以降「コード商品」という）がある。このようなコード商品については、シンボルを撮像して当該シンボルを解析して一つの商品を特定していた。シンボルは、例えば、商品が入った箱や袋やペットボトル等に付される場合と、商品に巻かれたシールに付される場合とがある。

また、バーコードや二次元コード等のシンボルが付されていない商品（非コード商品）がある。このような非コード商品については、撮像した画像データから当該非コード商品の特徴量を抽出し、予め記憶された照合用商品の特徴量を示すデータと比較することで、当該非コード商品を認識する一般物体認識技術が存在する。また、この技術を店舗で販売される商品の識別に用いることで、認識された商品を売上登録するチェックアウトシステムが提案されている。係るチェックアウトシステムは、撮像が行われた商品の画像データから得られる商品の特徴量と照合用商品の特徴量データとから一つまたは複数の非コード商品を抽出する。

ところで、コード商品について、シンボル以外を撮像した場合には、上述した一般物体認識技術を用いて、撮像された画像に基づいて商品を認識してしまう可能性がある。例えば、商品のパッケージに印刷された図形や写真（例えば、パッケージに印刷された野菜や果物等の図形や写真）を、当該商品と誤って認識することがある。

本発明が解決しようとする課題は、シンボルが付されている物品について、シンボル以外を撮像しても誤って物品を認識しない情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、物品を撮像した画像からシンボルを検出する検出手段と、前記画像から前記物品の特徴を示した特徴量を抽出する抽出手段と、前記シンボルが検出されたことを条件に、当該シンボルに含まれた情報に基づき前記物品を特定する特定手段と、前記シンボルが検出されないことを条件に、前記物品の特徴量と、シンボルが付されたコード物品の特徴を示した第１特徴量とを比較し、その類似度に基づいて、前記物品が前記コード物品であるかを判断する判断手段と、前記物品の特徴量と、前記シンボルが付されていない非コード物品の特徴を示した第２特徴量とを比較し、その類似度に基づいて、前記物品に対応する非コード物品を認識する認識手段と、前記判断手段の判断結果に応じて、前記認識手段の制御処理を変更する制御手段と、を備える。

図１は、実施形態に係る商品読取装置を含むチェックアウトシステムの外観構成を示す斜視図である。 図２は、図１に示した商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示した商品読取装置が備えた商品マスタのデータ構成の一例を模式的に示す図である。 図４は、図２に示した商品読取装置が備えた辞書Ｂのデータ構成の一例を模式的に示す図である。 図５は、図１に示したＰＯＳ端末のハードウェア構成を示すブロック図である。 図６は、商品読取装置の機能構成を示す機能ブロック図である。 図７は、商品読取装置の制御処理の流れを示すフローチャートである。 図８は、商品読取装置の制御処理の流れを示すフローチャートである。 図９は、商品読取装置が表示する画面の一例を示す図である。 図１０は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図１１は、第１変形例に係る商品読取装置の制御処理の流れを示すフローチャートである。 図１２は、第２変形例に係る商品読取装置の制御処理の流れを示すフローチャートである。 図１３は、他の実施形態に係るセルフＰＯＳの構成を示す斜視図である。 図１４は、図１３に示したセルフＰＯＳのハードウェア構成を示すブロック図である。

以下、図１〜図１４を参照して、実施形態に係る情報処理装置およびプログラムについて詳細に説明する。実施形態では、商品読取装置を情報処理装置の一例として説明する。また、実施形態では、商品を物品の一例として説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。

図１は、実施形態に係るチェックアウトシステム１の外観構成を示す斜視図である。チェックアウトシステム１は、スーパーマーケット等の量販店やコンビニエンスストア等に設置され、販売される商品の商品情報を入力して商品の売上登録処理や決済処理を行うシステムである。図１に示すように、チェックアウトシステム１は、商品読取装置１０とＰＯＳ端末３０とを備える。

横長テーブル状のカウンタ台１５１には、ＰＯＳ端末３０とデータ送受信可能に接続された商品読取装置１０が設置される。商品読取装置１０は、薄型矩形形状のハウジング２９で形成される。

ハウジング２９の正面には、撮像部２４の読取窓２４ａが設けられている。ハウジング２９の上部には、オペレータ用表示部２２（表示部）、客用表示部２３、操作部２１、および溝２７ａを有するカードリーダ２７が設けられている。オペレータ用表示部２２上には、タッチパネル２５が設けられている。操作部２１は、商品読取装置１０での処理の終了を宣言する仮締めキー２１１（図２参照）を有している。

カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ｐを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０を挟んだ位置に載置される第２の買物カゴ１５３ｂとが存在する。

第１の買物カゴ１５３ａには、顧客が購入する商品Ｐが収納される。商品読取装置１０を操作するオペレータは、第１の買物カゴ１５３ａ内の商品Ｐを取出して第２の買物カゴ１５３ｂへと移動する。オペレータは、第１の買物カゴ１５３ａに収納されたすべての商品Ｐについてこの操作を繰り返した後に仮締めキー２１１を操作する。移動した商品Ｐが入った第２の買物カゴ１５３ｂは、顧客が図示しない袋詰め所に移動させる。顧客は、袋詰め所において、第２の買物カゴ１５３ｂに入った商品Ｐを買物袋に移す。

第１の買物カゴ１５３ａから第２の買物カゴ１５３ｂへの商品Ｐの移動過程で、商品Ｐは商品読取装置１０の読取窓２４ａの前を通過する。この際、商品読取装置１０は、読取窓２４ａ内に配置された撮像部２４（図２参照）を用いて商品Ｐを含む画像を撮像する。

ここで、代表的な商品として、バーコードや二次元コード等のシンボルが付された商品（コード商品）とシンボルが付されていない商品（例えば葉物等の野菜や果物、非コード商品）とが存在する。また、コード商品には、箱に収納された商品や飲料水が入ったペットボトル等のパッケージ商品が存在する。このような商品は、箱やペットボトルにシンボルが付されている。また、コード商品には、例えば葉物野菜に帯状のシールを巻いた商品（以降「巻回商品」という）がある。このような商品は、シールにシンボルが印刷されている。

撮像した商品がコード商品である場合には、読み取ったシンボルに基づいて商品を特定する商品ＩＤを取得して、一つのコード商品を特定する。一方、撮像した商品がコード商品ではない（非コード商品である）場合には、商品読取装置１０は、撮像した撮像画像から、撮像された非コード商品の特徴を示す特徴量を抽出する。そして商品読取装置１０は、抽出した特徴量と辞書Ｂ１４４（図４を参照）に記憶された複数の非コード商品の特徴量とを比較して類似度（似ている程度）を算出し、撮像された商品に該当する一または複数の非コード商品を候補として抽出する。この一連の処理を一般物体認識（generic object recognition）処理という。このような一般物体認識については、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２５年１月２４日検索]，インターネットURL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf

商品読取装置１０は、撮像された商品と類似度が所定値（例えば９５％）以上の一つの非コード商品を、撮像した商品と自動確定する。自動確定とは、オペレータの選択を経ることなく、撮像された商品を特定の一つの非コード商品として自動的に認識することである。そして、商品読取装置１０は、自動確定した非コード商品を特定する商品ＩＤ（特定情報）を商品マスタ１４２（図２参照）から読み出す。そして商品読取装置１０は、読み出した商品ＩＤをＰＯＳ端末３０に送信する。

一方、自動確定するほど類似度が高い非コード商品が存在しない場合は、商品読取装置１０は、オペレータ用表示部２２に、一般物体認識で算出された類似度が臨界値以上（例えば５０％以上）であってかつ高い順に所定数（例えば類似度が高い順に上位４個）の非コード商品を候補として表示する。オペレータは、タッチパネル２５を操作して、候補として表示された非コード商品から該当する非コード商品を選択する。商品読取装置１０は、選択された非コード商品を特定する商品ＩＤを商品マスタ１４２から読み出す。そして商品読取装置１０は、読み出した商品ＩＤをＰＯＳ端末３０に送信する。

ＰＯＳ端末３０は、カウンタ台１５１とＬ字状に配置されたチェックアウト台５１上のドロワ４１上面に載置される。ドロワ４１は、顧客から預かった金銭（紙幣と硬貨）を金銭箱に収納する。ドロワ４１は、顧客に手渡す釣銭を金銭箱に収納している。ドロワ４１は、ＰＯＳ端末３０から開放動作の制御を受けると、金銭箱を開放する。

ＰＯＳ端末３０は、上面にオペレータによって操作される操作部４２を配置する。操作部４２を操作するオペレータから見て操作部４２よりも奥側には、オペレータに向けて情報を表示するオペレータ用表示部４３を備える。オペレータ用表示部４３はオペレータに対して情報を表示する。タッチパネル４６は、オペレータ用表示部４３の表示面４３ａに積層されている。客用表示部４４は、オペレータ用表示部４３よりもさらに奥側に回転自在に立設される。客用表示部４４は、顧客に対して情報を表示する。

ＰＯＳ端末３０は、商品読取装置１０から受信した商品ＩＤに基づいて、自己が保有する商品マスタ３４２（図５参照）から商品情報を読み出して、当該商品の売上登録処理を実行する。売上登録処理とは、商品ＩＤに基づいて当該商品の商品名や価格（総称して「商品情報」という）を表示するとともに、商品情報を商品情報部３３１（図５参照）に記憶する処理をいう。

仮締めキー２１１が操作された後にＰＯＳ端末３０において締めキー４２１（図５参照）が操作されると、ＰＯＳ端末３０は、売上登録処理した商品について決済処理を実行する。決済処理とは、釣銭を計算して表示する処理、釣銭の発行を釣銭機に指示する処理、商品情報や決済情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。なお、売上登録処理と決済処理を合わせた処理を取引処理という。また、取引処理された情報を売上情報という。

続いて、図２のブロック図を用いて、商品読取装置１０のハードウェア構成について説明する。図２に示すように、商品読取装置１０は、制御主体となるＣＰＵ（Central Processing Unit）１１を備える。また商品読取装置１０は、各種プログラムを記憶するＲＯＭ（Read Only Memory）１２を備える。また商品読取装置１０は、ＣＰＵ１１のワークエリアとして機能するＲＡＭ（Random Access Memory）１３を備える。また商品読取装置１０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部１４等を備える。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、制御部１００を構成する。制御部１００は、ＣＰＵ１１が、メモリ部１４の制御プログラム部１４１に記憶されＲＡＭ１３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。

ＲＡＭ１３は、各種データも記憶する。ＲＡＭ１３は、画像記憶部１３１、商品検知フラグ部１３２、一般物体認識部１３３を備える。画像記憶部１３１は、後述する撮像部２４が撮像した商品を含む画像を記憶する。商品検知フラグ部１３２は、撮像された画像から商品を検知したか否かを示す商品検知フラグを記憶する。撮像された画像から商品を検知した場合に、商品検知フラグ部１３２は商品検知フラグ「１」を記憶する。撮像された画像から商品を検知していない場合に、商品検知フラグ部１３２は商品検知フラグ「０」を記憶する。一般物体認識部１３３は、検知した商品について一般物体認識処理を実行したか否かを示す一般物体認識フラグを記憶する。一般物体認識処理を実行した場合に、一般物体認識部１３３は一般物体認識フラグ「１」を記憶する。一般物体認識処理を実行していない場合に、一般物体認識部１３３は一般物体認識フラグ「０」を記憶する。なお、後述する第１変形例と第２変形例では、ＲＡＭ１３は更にコード商品フラグ部（図示せず）を備える。コード商品フラグ部は、撮像された商品がコード商品であると判断された場合にコード商品フラグ「１」を記憶する。コード商品フラグ部は、撮像された商品がコード商品ではないと判断した場合にコード商品フラグ「０」を記憶する。

メモリ部１４は、制御プログラム部１４１、商品マスタ１４２、辞書Ａ（第１記憶部）１４３、辞書Ｂ（第２記憶部）１４４を備える。制御プログラム部１４１は、商品読取装置１０を制御するプログラムを記憶する。商品マスタ１４２（図３で後述）は、非コード商品毎に商品の種々の情報を記憶する。辞書Ｂは図４を用いて後述する。

辞書Ａ１４３は、コード商品の特徴を記憶した辞書である。すなわち、辞書Ａ１４３は、一般物体認識の非対象の商品の特徴を記憶した辞書である。

辞書Ａ１４３は、コード商品に共通する特徴（例えば、パッケージ商品の箱やフィルムの質感や凹凸状態を示す特徴量、ペットボトルの包装フィルムの質感や凹凸状態を示す特徴量、商品を束ねるシールの質感や凹凸状態等）を示す共通特徴量（第１特徴量）を記憶する。例えば、パッケージに野菜や果物の画像が印刷されていても、その画像は、パッケージ特有の特徴量（色合いや模様、凹凸状況、形状を示すデータ）を示すものとなる。そのような画像の特徴量は、実物の野菜や果物の特徴量とは異なる。なお、特徴量とは、商品表面の色合いや模様、凹凸状況、形状等の、当該商品の特徴を顕著に表す情報である。

制御部１００は、データバス１５およびコントローラ１６を介して、操作部２１、オペレータ用表示部２２、客用表示部２３、撮像部２４、タッチパネル２５、音声出力部２６、カードリーダ２７と接続している。また、制御部１００は、データバス１５を介して、通信Ｉ／Ｆ（Interface）２８と接続している。通信Ｉ／Ｆ２８は通信回線Ｌを介してＰＯＳ端末３０と接続している。

撮像部２４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサを備える。撮像部２４は、読取窓２４ａの前を通過した商品を含む撮像を行う。音声出力部２６は、予め設定された警告音等を発生するための音声回路とスピーカー等である。音声出力部２６は、制御部１００の制御の下で警告音等の音声による報知を行う。カードリーダ２７は、溝２７ａを走査されたカードからカード情報を読み取る。

次に図３を用いて、商品マスタ１４２のデータ構成を示す。商品マスタ１４２は、コード商品および非コード商品を特定する商品ＩＤに対応して、当該商品の商品名、単価、商品画像を記憶する。図３に示すように、商品マスタ１４２は、商品ＩＤ部１４２１、商品分類部１４２２、商品名部１４２３、単価部１４２４、商品画像部１４２５を備えている。

商品ＩＤ部１４２１は、商品を特定する商品ＩＤを記憶する。商品分類部１４２２は、商品ＩＤが特定する商品をカテゴリ別に分類する分類コードを記憶する。商品名部１４２３は、商品ＩＤが特定する商品の商品名を記憶する。単価部１４２４は、商品ＩＤが特定する商品の単価を記憶する。商品画像部１４２５は、商品ＩＤが特定する商品の特徴を表す代表的な画像を記憶する。

図４は、辞書Ｂ１４４のデータ構造を示すメモリマップである。辞書Ｂ１４４は、シンボルが付されていない非コード商品の特徴量を記憶した辞書である。すなわち、辞書Ｂ１４４は、一般物体認識の対象の商品の特徴を記憶した辞書である。図４において、辞書Ｂ１４４は、シンボルを付すことができない商品（例えば青果や生鮮食料品）としての非コード商品について、商品ＩＤに対応させてそれぞれの商品の特徴量を記憶している。辞書Ｂ１４４は、商品ＩＤ部１４４１と基準特徴量部１４４２とを備える。商品ＩＤ部１４４１は、商品を個々に特定する商品ＩＤが記憶されている。基準特徴量部１４４２は、非コード商品の特徴を顕著に示す画像の基準特徴量（第２特徴量）を商品ＩＤに対応させて記憶する。制御部１００は、撮像された商品の特徴量と基準特徴量部１４４２に記憶された非コード商品の基準特徴量とを比較して一般物体認識処理を実行し、撮像された商品と非コード商品との類似度を算出する。

続いて、図５のブロック図を用いて、ＰＯＳ端末３０のハードウェア構成について説明する。図５に示すように、ＰＯＳ端末３０は、制御主体となるＣＰＵ３１を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＲＯＭ３２を備える。またＰＯＳ端末３０は、ＣＰＵ３１のワークエリアとして機能するＲＡＭ３３を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部３４等を備える。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにデータバス３５を介して接続されている。

ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、制御部３００を構成する。制御部３００は、ＣＰＵ３１が、メモリ部３４の制御プログラム部３４１に記憶されＲＡＭ３３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。

ＲＡＭ３３は、各種データも記憶する。ＲＡＭ３３は、商品情報部３３１を備える。商品情報部３３１は、ＰＯＳ端末３０で売上登録処理した商品の商品情報を記憶する。

メモリ部３４は、制御プログラム部３４１、商品マスタ３４２を備える。制御プログラム部３４１は、ＰＯＳ端末３０を制御するプログラムを記憶する。商品マスタ３４２は、商品読取装置１０の商品マスタ１４２と同じ構成である。ＰＯＳ端末３０は、追加の商品の売上登録処理や取消処理を実行することがあるため、自身でも商品マスタ３４２を記憶している。また、図示しないが、メモリ部３４は、辞書Ａ１４３や辞書Ｂ１４４と同じ構成の辞書を備えている。

制御部３００は、データバス３５およびコントローラ３６を介して、締めキー４２１および取消キー４２２を備えた操作部４２、オペレータ用表示部４３、客用表示部４４、タッチパネル４６、ドロワ４１、印字部４７と接続している。締めキー４２１は、取引の決済処理を実行する際に操作する。取消キー４２２は、商品情報部３３１から、直前に売上登録処理した商品の商品情報を削除する際に操作するキーである。取消キー４２２が操作されると、直前に売上登録処理した商品の商品情報は削除され、当該商品に係る売上登録処理は初めからなかったものとする。また、制御部３００は、データバス３５を介して、通信Ｉ／Ｆ４５を制御部３００に接続しており、通信Ｉ／Ｆ４５は通信回線Ｌを介して商品読取装置１０と接続している。

ここからは、商品読取装置１０およびＰＯＳ端末３０の制御処理について説明する。図６は、商品読取装置１０の機能構成を示す機能ブロック図である。制御部１００が、メモリ部１４の制御プログラム部１４１に記憶された制御プログラムに従うことで、検出手段１０１、抽出手段１０２、特定手段１０３、判断手段１０４、認識手段１０５、制御手段１０６として機能する。

検出手段１０１は、商品を撮像した画像からシンボルを検出する機能を有する。

抽出手段１０２は、画像から商品の特徴を示した特徴量を抽出する機能を有する。

特定手段１０３は、シンボルが検出されたことを条件に、当該シンボルに含まれた商品ＩＤに基づき商品を特定する機能を有する。

判断手段１０４は、シンボルが検出されないことを条件に、撮像された商品の特徴量と、シンボルが付されたコード商品の特徴を示した第１特徴量とを比較し、その類似度に基づいて、撮像された商品がコード商品であるかを判断する機能を有する。

認識手段１０５は、撮像された商品の特徴量と、シンボルが付されていない非コード商品の特徴を示した第２特徴量とを比較し、その類似度に基づいて、撮像された商品に対応する非コード商品を認識する機能を有する。

制御手段１０６は、判断手段１０４の判断結果に応じて、認識手段１０５の制御処理を変更する機能を有する。

図７と図８は、商品読取装置１０の制御処理の流れを示すフローチャートである。図７に示すように、制御部１００は、商品読取装置１０の初期化を実行する（Ｓ１１）。Ｓ１１における初期化は、商品検知フラグ部１３２に商品検知フラグ「０」を記憶する処理、一般物体認識部１３３に一般物体認識フラグ「０」を記憶する処理、および図示しないタイマーをリセットする処理を含む。

次に制御部１００は、撮像部２４を制御して、読取窓２４ａの前を通過した商品を含む画像を撮像し、画像記憶部１３１に記憶する（Ｓ１２）。そして制御部１００は、画像記憶部１３１に記憶した画像から商品を検知したか否かを判断する（Ｓ１３）。撮像した画像から商品を切り出すことができる場合、制御部１００は、商品を検知したと判断する。商品を検知していないと判断した場合には（Ｓ１３のＮｏ）、制御部１００はＳ１２に戻り、商品を検知したと判断した場合には（Ｓ１３のＹｅｓ）、制御部１００は、商品検知フラグ部１３２に記憶されている商品検知フラグが「１」であるか否かを判断する（Ｓ１４）。

商品検知フラグが「１」ではない（すなわち「０」である）と判断した場合（Ｓ１４のＮｏ）は、制御部１００は、Ｓ１３において検知した商品についてシンボルの読み取りを開始する（Ｓ１５）。Ｓ１５におけるシンボルの読み取りの開始は、例えばパターン認識技術を用いて、商品にシンボルが付されている場合に、当該シンボルを解析する。また、制御部１００（抽出手段１０２）は、検知した商品について、特徴量を抽出する一般物体認識処理を開始する（Ｓ１６）。また、制御部１００は、図示しないタイマーをスタートさせる（Ｓ１７）。また、制御部１００は、商品検知フラグ部１３２に記憶されている商品検知フラグを「１」にセットする（Ｓ１８）。

ここからは、図８の説明に移る。Ｓ１８の処理後に、制御部１００（検出手段１０１）は、Ｓ１５の処理の結果としてシンボルが検出されたか否かを判断する（Ｓ２１）。また、Ｓ１４において、商品検知フラグが「１」であると判断した場合（Ｓ１４のＹｅｓ）にも、シンボルが検出されたか否かを判断する（Ｓ２１）。シンボルが検出されたと判断した場合には（Ｓ２１のＹｅｓ）、制御部１００は、検出したシンボルに含まれる商品を特定する商品ＩＤに基づいて一つの商品を特定する（Ｓ２２）。そして制御部１００は、特定した商品の商品ＩＤをＰＯＳ端末３０に送信する（Ｓ２３）。そして制御部１００は、Ｓ１１と同様の初期化を実行する（Ｓ２４）。そして制御部１００は、Ｓ１２に戻る。なお、シンボルは商品ＩＤが含まれていなくてもよい。この場合、制御部１００は、Ｓ２２において、シンボルに含まれている情報に基づいて取得した商品ＩＤをＰＯＳ端末３０に送信する。

一方、Ｓ２１において、シンボルは検出されていないと判断した場合には（Ｓ２１のＮｏ）、制御部１００は、撮像された商品の特徴量と、辞書Ａ１４３に記憶されているコード商品としての非コード商品の基準特徴量とを比較して類似度を算出する。そして制御部１００（判断手段１０４）は、算出された類似度に基づいて、撮像された商品がコード商品であるか否かを判断する（Ｓ３１）。制御部１００は、算出した類似度が所定値（例えば類似度が８０％以上）以上である場合には、撮像された商品がコード商品であると判断する。制御部１００は、パック商品の場合は、撮像した箱やフィルムの質感や凹凸に基づいて類似度が所定値以上であると判断する。また、制御部１００は、巻回商品について、撮像したシールの質感や凹凸に基づいて類似度が所定値以上であると判断する。

撮像された商品がコード商品であると判断された場合には（Ｓ３１のＹｅｓ）、制御部１００は、Ｓ１２に戻る。また、撮像された商品がコード商品ではないと判断された場合には（Ｓ３１のＮｏ）、制御部１００は、当該商品について、Ｓ１６で開始された一般物体認識処理に基づいて非コード商品が認識されたか否かを判断する（Ｓ４１）。非コード商品を認識していないと判断した場合には（Ｓ４１のＮｏ）、制御部１００はＳ１２に戻る。また、非コード商品を認識したと判断した場合には（Ｓ４１のＹｅｓ）、制御部１００は、撮像された商品が一つの非コード商品として自動確定可能であるか否かを判断する（Ｓ４２）。撮像された商品の特徴量と非コード商品の特徴量とに基づいて算出された類似度が、所定値（例えば９５％）以上である場合に、制御部１００は、撮像された商品は一つの非コード商品として自動確定可能であると判断する。

撮像された商品が一つの非コード商品として自動確定可能であると判断された場合には（Ｓ４２のＹｅｓ）、制御部１００は、撮像された商品を一つの非コード商品に確定する（Ｓ４９）。そして制御部１００は、確定した商品を特定する商品ＩＤを商品ＩＤ部１４４１から読み出して、ＰＯＳ端末３０に送信する（Ｓ５０）。同時に、読み出した商品ＩＤに基づいて、商品マスタ１４２から当該商品の商品情報（商品名、価格等）を読み出して、オペレータ用表示部２２と客用表示部２３に表示する。そして制御部１００は、Ｓ２４の処理を実行する。

一方、Ｓ４２において、撮像された商品が一つの非コード商品として自動確定可能ではないと判断された場合には（Ｓ４２のＮｏ）、制御部１００（認識手段１０５）は、撮像された商品に対する候補である一または複数の非コード商品を認識して、オペレータ用表示部２２に表示する（Ｓ４３）。制御部１００は、算出した類似度が臨界値（例えば５０％）以上の非コード商品のうち類似度が上位の非コード商品を、撮像された商品の候補としてオペレータ用表示部２２に表示する。次に制御部１００は、一般物体認識処理を実行したことを示す一般物体認識フラグを「１」にセットする（Ｓ４４）。

次に制御部１００は、オペレータ用表示部２２に表示された非コード商品から一つの非コード商品が選択されたか否かを判断する（Ｓ４５）。オペレータがオペレータ用表示部２２に表示された非コード商品に対応した位置のタッチパネル２５を操作することで、一つの非コード商品が選択される。一つの非コード商品が選択されたと判断した場合には（Ｓ４５のＹｅｓ）、制御部１００は、Ｓ４９の処理を実行する。また、一つの非コード商品が選択されていないと判断した場合には（Ｓ４５のＮｏ）、制御部１００は、Ｓ１７でスタートしたタイマーが所定値（例えば５秒）を計時したか否かを判断する（Ｓ４６）。所定値を計時したと判断した場合には（Ｓ４６のＹｅｓ）、制御部１００は、一般物体認識部１３３に記憶された一般物体認識フラグが「１」であるか否かを判断する（Ｓ４７）。一般物体認識フラグが「１」である場合には（Ｓ４７のＹｅｓ）、制御部１００は、Ｓ４３で表示した非コード商品から一つの非コード商品を選択することをオペレータに促すメッセージを表示する（Ｓ４８）。そして制御部１００はＳ１２に戻る。なお、タイマーが所定値を計時していない場合（Ｓ４６のＮｏ）や、一般物体認識フラグが「１」ではない場合には（Ｓ４７のＮｏ）、制御部１００は、Ｓ１２に戻る。

図９は、制御部１００が、Ｓ４８において、候補として表示された非コード商品のうちの一つの非コード商品を選択することをオペレータに促すアナウンスをオペレータ用表示部２２に表示した画面の一例を示す図である。図９において、制御部１００は、オペレータ用表示部２２に、画像表示部２２１、候補商品部２２２を表示する。画像表示部２２１は、撮像部２４が撮像している撮像画像を表示する。候補商品部２２２は、Ｓ４３で候補となった非コード商品の商品情報（商品名、価格、商品の画像等）を商品マスタ１４２から取得して表示する。図９の例では、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄの４個の非コード商品の商品情報が表示されている。オペレータは、表示された非コード商品のうちから、撮像した商品に該当すると判断した非コード商品をタッチして、一つの非コード商品を選択する。また、制御部１００は、Ｓ４８の処理として、オペレータに対するアナウンスとして、表示された非コード商品から一つの非コード商品を選択することを促すアナウンス２２３を表示する。

ここからは、ＰＯＳ端末３０の制御処理について説明する。図１０は、ＰＯＳ端末３０の制御処理の流れを示すフローチャートである。図１０において、制御部３００は、商品読取装置１０から商品ＩＤを受信したか否かを判断する（Ｓ５１）。商品ＩＤを受信したと判断した場合には（Ｓ５１のＹｅｓ）、制御部１００は、受信した商品ＩＤに基づいて商品マスタ３４２を検索して、当該商品に係る商品情報を取得する。そして制御部３００は、取得した商品情報に基づいて当該商品の商品登録処理を実行する（Ｓ５２）。すなわち、ＰＯＳ端末３０は、受信した商品ＩＤに基づいて自動的に売上登録処理を実行する。そして制御部３００は、Ｓ５１に戻る。

また、商品ＩＤを受信していないと判断した場合には（Ｓ５１のＮｏ）、制御部３００は、商品読取装置１０から仮締め信号を受信したか否かを判断する（Ｓ５３）。商品読取装置１０から仮締め信号を受信したと判断した場合には（Ｓ５３のＹｅｓ）、制御部３００は、締めキー４２１が操作されたか否かを判断する（Ｓ５４）。締めキー４２１が操作されたと判断した場合には（Ｓ５４のＹｅｓ）、制御部３００は、商品情報部３３１に記憶されている商品情報に基づいて、当該取引に係る決済処理を実行する（Ｓ５５）。そして制御部３００は、Ｓ５１に戻る。なお、締めキーが操作されていないと判断した場合には（Ｓ５４のＮｏ）、制御部３００はＳ５１に戻る。

また、商品読取装置１０から仮締め信号を受信していないと判断した場合には（Ｓ５３のＮｏ）、制御部３００は、取消キー４２２が操作されたか否かを判断する（Ｓ５６）。取消キー４２２が操作されたと判断した場合には（Ｓ５６のＹｅｓ）、制御部３００は、商品情報部３３１に記憶されている商品情報のうち、直前に売上登録処理された商品の商品情報を、商品情報部３３１から消去する取消処理を実行する（Ｓ５７）。このようにして、制御部３００は、直前に売上登録処理された商品の売上登録処理を取り消す。そして制御部３００は、Ｓ５１に戻る。なお、取消キー４２２は操作されていないと判断した場合には（Ｓ５６のＮｏ）、制御部３００は、Ｓ５１に戻る。

このような実施形態では、撮像された商品がコード商品であると判断された場合には、制御部１００は、Ｓ４１〜Ｓ５０に係る処理を実行しない。すなわち、制御部１００は、撮像された商品がコード商品であると判断された場合には、一般物体認識処理を行わない。

ここからは、実施形態の第１変形例について説明する。図１１は、第１変形例を示すフローチャートである。第１変形例は、図８で示した実施形態の処理と比較して、撮像された商品がコード商品であると判断された場合に、当該コード商品に対して一般物体認識処理を実行する点で異なる。なお、図１１において、図８と同一の処理については同一の符号を付して、説明を省略する。

第１変形例では、ＲＡＭ１３は、画像記憶部１３１、商品検知フラグ部１３２、一般物体認識部１３３に加え、コード商品フラグ部を備える。コード商品フラグ部は、撮像された商品がコード商品であると判断された場合にコード商品フラグ「１」を記憶する。コード商品フラグ部は、撮像された商品がコード商品ではないと判断された場合にコード商品フラグ「０」を記憶する。また、第１変形例では、Ｓ１１の処理において、商品検知フラグ部１３２に商品検知フラグ「０」を記憶すること、一般物体認識部１３３に一般物体認識フラグ「０」を記憶すること、および図示しないタイマーをリセットすることに加え、コード商品フラグ部にコード商品フラグ「０」を記憶する。

図１１において、コード商品判定フラグが「１」にセットされているか否かを判断する（Ｓ６１）。コード商品判定フラグが「１」にセットされていない（すなわち「０」にセットされている）と判断した場合には（Ｓ６１のＮｏ）、Ｓ３１の処理を実行する。そして、撮像された商品がコード商品（パック商品と巻回商品）であると判断された場合には（Ｓ３１のＹｅｓ）、制御部１００は、コード商品フラグ部に記憶されているコード商品フラグを「１」にセットする（Ｓ６２）。そして制御部１００は、Ｓ１２に戻る。また、コード商品判定フラグが「１」にセットされていると判断した場合には（Ｓ６１のＹｅｓ）、制御部１００はＳ４１の処理を実行し、Ｓ４２において、撮像された商品が一つの非コード商品として自動確定可能であるか否かを判断する。すなわちＳ４２において、非コード商品について自動確定可能であるかを判断する。また、Ｓ４２において、コード商品について自動確定可能であるかを判断する。

非コード商品については自動確定可能と判断する場合がある。また、コード商品のうち、パック商品については、自動確定可能と判断することはない。しかしながら、コード商品のうち、巻回商品については、自動確定可能と判断する場合がある。なぜなら、辞書Ｂ１４４に、シールが貼られていない同種の葉物の非コード商品の特徴量が記憶されている場合、巻回商品である葉物野菜の葉の部分に基づいて一般物体認識処理を実行した結果、当該巻回商品については自動確定可能と判断する場合がある。

制御部１００は、自動確定可能であるかを判断する。自動確定可能であると判断された場合に（Ｓ４２のＹｅｓ）、制御部１００は、コード商品フラグ部に記憶されたコード商品フラグが「１」であるか否かを判断する（Ｓ６３）。コード商品フラグが「１」であると判断した（すなわち、巻回商品について自動確定可能であると判断した）場合には（Ｓ６３のＹｅｓ）、制御部１００は、Ｓ４３の処理を実行する。制御部１００は、Ｓ４３の処理において、Ｓ４２において自動確定可能であると判断したコード商品に対応する非コード商品を含めて、候補となる非コード商品をオペレータ用表示部２２に表示する。一方、コード商品フラグが「１」ではない（すなわち非コード商品である）と判断した場合には（Ｓ６３のＮｏ）、制御部１００は、Ｓ４９の処理を実行する。

このような第１変形例では、撮像されたコード商品に対して、制御部１００は、一般物体認識処理を実行する。そして、当該商品が類似度が所定値を超えた自動確定可能な商品である場合であっても、当該商品を自動確定せずに、当該コード商品に対して自動確定した非コード商品を一つの候補とした、複数の候補となる非コード商品をオペレータ用表示部２２に表示させる。すなわち、第１変形例は、コード商品についてシンボルを撮像できなかった商品については、一つの非コード商品への自動確定をしない。なお、非コード商品の表示中に再度撮像した商品の画像にシンボルが含まれている場合に、当該シンボルに基づいて商品を認識することができるため、より正確に商品を確定することができる。

次に、実施形態の第２変形例について説明する。図１２は、第２変形例を示すフローチャートである。第２変形例は、自動確定可能な商品であっても自動確定せずに、候補として、当該商品に対応する非コード商品を含む複数の非コード商品を表示することは第１変形例と同じである。第２変形例は、さらに一つの非コード商品が選択されずに所定時間が経過した場合には、自動確定可能な非コード商品を当該商品に対応した非コード商品に自動的に確定する。図１２において、図８、図１１と同じ処理については同一の符号を付し、説明を省略する。

図１２において、コード商品フラグ部に記憶されたコード商品フラグが「１」であると判断した場合には（Ｓ６３のＹｅｓ）、制御部１００は、ＲＡＭ１３に当該商品に対応した非コード商品の商品ＩＤを記憶する（Ｓ６４）。そして、タイマーが所定値を計時したと判断した場合には（Ｓ４６のＹｅｓ）、制御部１００は、ＲＡＭ１３に、Ｓ６４において記憶した商品ＩＤが記憶されているか否かを判断する（Ｓ６５）。商品ＩＤが記憶されていると判断した場合には（Ｓ６５のＹｅｓ）、制御部１００は、当該商品ＩＤに対応した商品についてＳ４９の処理を実行する。また、商品ＩＤが記憶されていないと判断した場合には（Ｓ６５のＮｏ）、制御部１００は、Ｓ４７の処理を実行する。

このような第２変形例では、撮像されたコード商品に対して、制御部１００は、一般物体認識処理を実行する。そして、当該商品の類似度が所定値を超えた自動確定可能な商品が存在する場合に、当該商品に対応した非コード商品の商品ＩＤを記憶する。そして、当該非コード商品を自動確定せずに、当該商品に該当する非コード商品を一つの候補とした、複数の候補となる非コード商品をオペレータ用表示部２２に表示させる。そのため、第２変形例は、シンボルが付されている商品についてシンボルを撮像しない商品については、一旦は一つの非コード商品への自動確定をしない。

また第２変形例では、制御部１００は、タイマーが所定時間を計時したことを条件に、記憶した商品ＩＤの非コード商品を自動確定する。また、タイマーが所定時間を計時する前に再度撮像した商品の画像にシンボルが含まれている場合に、当該シンボルに基づいてコード商品を特定することができ、より正確に商品を確定することができる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば実施形態では、商品読取装置１０を情報処理装置の一例として説明したが、これに限らず、ＰＯＳ端末３０を情報処理装置としてもよい。この場合、ＰＯＳ端末３０は、商品読取装置１０が撮像した撮像画像の情報を受信して類似度の算出処理を実行する。ＰＯＳ端末３０は、候補となる非コード商品を商品読取装置１０に表示させるように、商品読取装置１０に表示の指示と候補となる非コード商品に係る商品情報（例えば商品ＩＤ）を送信する。商品読取装置１０は、表示された非コード商品が選択されると、選択された非コード商品の商品情報（例えば商品ＩＤ）をＰＯＳ端末３０に送信する。

また、実施形態では、商品読取装置１０とＰＯＳ端末３０の両方に商品マスタを備えるようにしたが、商品読取装置１０またはＰＯＳ端末３０のいずれか一方に商品マスタを備えてもよい。

また、実施形態では、一般物体認識処理による類似度の算出処理を商品読取装置１０で実行したが、これらの処理のすべてまたは一部をＰＯＳ端末３０で行うようにしてもよい。

また、実施形態では、辞書Ａ１４３と辞書Ｂ１４４を別々の辞書としたが、辞書Ａ１４３と辞書Ｂ１４４は、同一の辞書内でエリアを分けたものであってもよい。また、実施形態では、商品マスタ１４２と辞書Ａ１４３および辞書Ｂ１４４とを別々の構成として説明したが、例えば、商品マスタ１４２内に、辞書Ａ１４３と辞書Ｂ１４４のいずれか一方または双方を含めたものであってもよい。

また、実施形態では、辞書Ａ１４３に、コード商品の共通の特徴を示す特徴量を記憶するようにしたが、コード商品個々について、当該コード商品の特徴を示す特徴量を記憶するようにしてもよい。この場合、撮像された商品の特徴量と、辞書Ａ１４３に記憶されたいずれかのコード商品の特徴量とを比較して、撮像された商品がコード商品であるか否かを判断する。

また、実施形態では、商品を物品の一例として説明した。しかしながら、物品は商品以外の物であってもよい。

また、実施形態では、ＰＯＳ端末３０と商品読取装置１０とで構成されるチェックアウトシステム１のうち、商品読取装置１０を情報処理装置として説明したが、これに限るものではなく、ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置を情報処理装置としてもよい。ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置としては、例えば、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１３は、セルフＰＯＳ２００の外観構成を示す斜視図、図１４は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１〜図１２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図１３および図１４示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル２０９が表面に配設された表示部２１０や、商品を認識（抽出）するために商品画像を読み取る商品読取部２１２を備える。

表示部２１０としては例えば液晶表示器が用いられる。表示部２１０は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部２１２で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部２１２は、客が商品に付されたコードシンボルを商品読取部２１２の読取窓２１２ａにかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側には、かごに入った未精算の商品を置くための商品載置台２０３を設け、本体２０２の左側には、精算済みの商品を置くための商品載置台２０４を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を設ける。商品載置台２０３および２０４は、計量器２０７、２０８をそれぞれ備えており、決済の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を設ける。

このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能する。なお、ＰＯＳ端末３０と商品読取装置１０との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７および２０８を除いて構成された装置であってもよい。

なお、実施形態の商品読取装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の商品読取装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の商品読取装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の商品読取装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ チェックアウトシステム
１０ 商品読取装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ メモリ部
２２ オペレータ用表示部
２４ 撮像部
３０ ＰＯＳ端末
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ メモリ部
１００ 制御部
１０１ 検出手段
１０２ 抽出手段
１０３ 特定手段
１０４ 判断手段
１０５ 認識手段
１０６ 制御手段
１３１ 画像記憶部
１３２ 商品検知フラグ部
１３３ 一般物体認識部
１４２ 商品マスタ
１４３ 辞書Ａ
１４４ 辞書Ｂ

特開２０１３−０８９０８５号公報

Claims (6)

1. 物品を撮像した画像からシンボルを検出する検出手段と、
   前記画像から前記物品の特徴を示した特徴量を抽出する抽出手段と、
   前記シンボルが検出されたことを条件に、当該シンボルに含まれた情報に基づき前記物品を特定する特定手段と、
   前記シンボルが検出されないことを条件に、前記物品の特徴量と、シンボルが付されたコード物品の特徴を示した第１特徴量とを比較し、その類似度に基づいて、前記物品が前記コード物品であるかを判断する判断手段と、
   前記物品の特徴量と、前記シンボルが付されていない非コード物品の特徴を示した第２特徴量とを比較し、その類似度に基づいて、前記物品に対応する非コード物品を認識する認識手段と、
   前記判断手段の判断結果に応じて、前記認識手段の制御処理を変更する制御手段と、
   を備える情報処理装置。
2. 前記第１特徴量は、複数の前記コード物品に共通の特徴である、
   請求項１に記載の情報処理装置。
3. 前記制御手段は、前記判断手段が前記コード物品であると判断したことを条件に、当該物品について、前記認識手段を実行しないように制御する、
   請求項１または２に記載の情報処理装置。
4. 前記制御手段は、前記判断手段が前記コード物品であると判断したことを条件に、当該物品について、前記認識手段によって前記特徴量と前記第２特徴量とに基づいて物体の認識を行い、当該物品を一つの前記非コード物品に自動確定をすることなく候補となる前記非コード物品として認識し表示部に選択可能に表示させる、
   請求項１または２に記載の情報処理装置。
5. 時間を計時するタイマーをさらに備え、
   前記制御手段は、前記判断手段が前記コード物品であると判断したことを条件に、当該物品について、前記認識手段によって前記特徴量と前記第２特徴量とに基づいて物体の認識を行い、当該物品を一つの非コード物品への自動確定が可能である場合であっても当該一つの前記非コード物品への自動確定をすることなく候補となる前記非コード物品として認識して表示部に選択可能に表示させるとともに、前記物品が撮像されてから前記タイマーが所定時間を計時したことを条件に、当該物品を前記表示された自動確定が可能である前記非コード物品として自動確定する、
   請求項１または２に記載の情報処理装置。
6. コンピュータを、
   物品を撮像した画像からシンボルを検出する検出手段と、
   前記画像から前記物品の特徴を示した特徴量を抽出する抽出手段と、
   前記シンボルが検出されたことを条件に、当該シンボルに含まれた情報に基づき前記物品を特定する特定手段と、
   前記シンボルが検出されないことを条件に、前記物品の特徴量と、シンボルが付されたコード物品の特徴を示した第１特徴量とを比較し、その類似度に基づいて、前記物品が前記コード物品であるかを判断する判断手段と、
   前記物品の特徴量と、前記シンボルが付されていない非コード物品の特徴を示した第２特徴量とを比較し、その類似度に基づいて、前記物品に対応する非コード物品を認識する認識手段と、
   前記判断手段の判断結果に応じて、前記認識手段の制御処理を変更する制御手段と、
   して機能させるためのプログラム。

Images