JP2014174569A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】登録商品の確認作業を効率良く行うことができる情報処理装置を提供する。
【解決手段】情報処理装置は、商品を撮像する撮像手段と、前記撮像手段が撮像した撮像画像から抽出した特徴量に基づいて前記商品を特定する商品認識手段と、前記撮像画像から読み取ったコードシンボルに基づいて前記商品を特定するコード認識手段と、前記商品認識手段で特定された商品と、前記コード認識手段で特定された商品とを識別可能に出力する出力手段と、を備える。
【選択図】図５

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられる。

しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。

そこで、物品の撮像画像からその物体の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、その物品の種別等を認識するオブジェクト認識技術が存在している。また、このオブジェクト認識技術を、商品の識別（認識）に用いることで、識別された商品を売上登録するシステムが提案されている。

コードシンボルの読み取りと、オブジェクト認識との両方を行うことができる装置において、コードシンボルの読み取りは、読み取りが成立すれば誤読をする確率は低く、誤読による登録商品の修正作業が発生する機会はほとんどない。一方で、オブジェクト認識による読み取りでは、商品の特定において、誤読してしまう虞もある。そこで、登録商品の確認作業を効率良く行う情報処理装置が求められる。

本発明の実施形態が解決しようとする課題は、修正対象となる確率が比較的高いオブジェクト認識により登録された商品と、コードシンボルにより登録された商品と、を区分け（区別）して出力することにより、登録商品の確認作業を効率良く行うことができる情報処理装置を提供することである。

実施形態の情報処理装置は、商品を撮像する撮像手段と、前記撮像手段が撮像した撮像画像から抽出した特徴量に基づいて前記商品を特定する商品認識手段と、前記撮像画像から読み取ったコードシンボルに基づいて前記商品を特定するコード認識手段と、前記商品認識手段で特定された商品と、前記コード認識手段で特定された商品とを識別可能に出力する出力手段と、を備える。

図１は、本実施形態にかかるチェックアウトシステムを示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、商品読取装置のＣＰＵとＰＯＳ端末のＣＰＵの機能構成を示すブロック図である。 図５は、上下領域に分割した場合の登録画面の一例を示す図である。 図６は、タブによってリスト表示を切り替える場合の登録画面の一例を示す図である。 図７は、オブジェクト認識であることを示すマークを付けた場合のレシートの一例を示す図である。 図８は、チェックアウトシステムの動作の一例を示すフローチャートである。

以下では、チェックアウトシステムを例に本実施形態にかかる店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケットやパン・ドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、本実施形態にかかるチェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品Ａの登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置される。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（ユーザー）によって押下操作されるキーボード２２が配置される。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられる。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層される。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設される。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されたチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置される。カウンタ台１５１の上面には、荷受面１５２が形成される。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３（第１の買物カゴ１５３ａ）は、いわゆるカゴ形状のものに限るものではなく、パン店等の店舗において用いられるトレーなどであってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであってもよい。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示手段（出力手段）である表示デバイス１０６が設けられる。表示デバイス１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置される。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納される。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に、ＲＯＭ６２（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とＲＡＭ６３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とがバス接続されて構成される。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続される。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されたテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が接続される。記憶手段であるＨＤＤ６４は、プログラムや各種ファイルを記憶する。ＨＤＤ６４が記憶するプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４が記憶するプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４が記憶するファイルの一例は、ストアコンピュータＳＣから配信されるＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品Ａを撮像した商品画像と、例えば「類似度：０．ＸＸ」という閾値と、を格納するファイルである。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納される。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続される。接続インターフェース６５には、商品読取装置１０１が接続される。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続される。プリンタ６６は印字手段（出力手段）である。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成される。ＲＯＭ１６２は、ＣＰＵ１６１によって実行されるプログラムを記憶する。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続される。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続される。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４は、所定のフレームレートで順次撮像したフレーム画像をＲＡＭ１６３に保存する。

音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続される。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、商品読取装置１０１のＣＰＵ１６１とＰＯＳ端末１１のＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、バーコード検出部６１１、商品認識手段である物体認識部６１２、類似度判定部６１３、商品登録部６１４、表示制御部６１５、としての機能を備える。

撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ａの写り込みを検出する。なお、商品Ａを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品Ａの輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品Ａを把持していることから、商品Ａの写り込みを検出する。

画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を、接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。

コード認識手段であるバーコード検出部６１１は、画像出力部１６１３から出力された画像からコードシンボルを検出する。具体的には、取り込まれた画像からパターンマッチング技術によるバーコードの検出や、所定のファインダパターンから二次元コードの検出などを行う。バーコード検出部６１１は、所定のデコード方法に従って検出したコードシンボルをコード情報に変換し、コードシンボルに対応するコード情報を読み取る。

物体認識部６１２は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像された商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。なお、物体認識部６１２は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１２の認識結果により、ＰＬＵファイルＦ１に予め登録された商品Ａの中から商品読取装置１０１が読み取った商品Ａを特定できる。

類似度判定部６１３は、物体認識部６１２が認識した商品Ａについて類似度を算出する。また、このように画像中に含まれる物体を認識して特定する方法は、公知技術を適用あるいは応用することで構成することができる。

商品登録部６１４は、物体認識部６１２により特定された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品Ａとして特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。また、商品登録部６１４は、商品Ａの登録がオブジェクト認識であるか否かを示すフラグを制御する。本実施形態では、デフォルト値となるフラグ＝０は、バーコード検出部６１１によって検出されたコード情報による登録であることを意味する。一方、フラグ＝１は、物体認識部６１２によって認定されたオブジェクト認識による登録であることを意味する。すなわち、商品登録部６１４は、物体認識部６１２によりオブジェクト認識された場合には、フラグ＝１に設定する。

表示制御部６１５は、商品登録部６１４が登録した商品Ａを登録画面に表示する。表示制御部６１５の表示形式について説明する。表示制御部６１５は、該当する商品Ａがオブジェクト認識により登録されたことが、認識できる態様で表示する。図５は、上下領域に分割した場合の登録画面の一例を示す図である。該当する商品Ａがバーコード検出により登録された商品Ａの場合（フラグ＝０）には、表示制御部６１５は、表示デバイス１０６の上段領域Ｇ１に表示する。該当する商品Ａがオブジェクト認識により登録された商品Ａの場合（フラグ＝１）には、表示制御部６１５は、表示デバイス１０６の下段領域Ｇ２に表示する。表示領域を分けることにより、オペレータは、オブジェクト認識された商品であることを容易に認識することができる。図５は、牛乳がバーコード検出により登録された商品であり、だいこんがオブジェクト認識により登録された商品であることを示している。

また、表示形式は、タブによって分けて区別して表示してもよい。図６は、タブによってリスト表示を切り替える場合の登録画面の一例を示す図である。該当する商品Ａがバーコード検出により登録された商品Ａの場合（フラグ＝０）には、表示制御部６１５は、バーコード商品タブＧ３のリストに表示する。該当する商品Ａがオブジェクト認識により登録された商品Ａの場合（フラグ＝１）には、表示制御部６１５は、バーコードレス商品タブＧ４のリストに表示する。タブによってリストを切り替えて表示することにより、オペレータは、オブジェクト認識された商品であることを容易に認識することができる。図６は、オブジェクト認識により登録された商品のタブのリストが選択されている状態を示している。バーコードレス商品とは、オブジェクト認識により特定された商品である。

さらに、オブジェクト認識による登録であるか否かの表示は、レシート印字に適用してもよい。これにより、会計処理後において、オペレータ及び顧客は、会計処理の確認作業が容易に行える。図７は、オブジェクト認識であることを示すマークＲ１を付けた場合のレシートの一例を示す図である。オブジェクト認識により登録された場合は、商品Ａが記載されている箇所の左側にマークＲ１を設けることでバーコード検出による登録と区別する。図７は、商品Ａと商品Ｃがオブジェクト認識により登録されたことを示す。図７では、カメラのマークＲ１により、オブジェクト認識により特定された商品を示す。

次に、本実施形態にかかるチェックアウトシステム１の動作について詳細に説明する。図８は、チェックアウトシステム１の動作の一例を示すフローチャートである。

先ず、商品読取装置１０１側の動作について説明する。図８に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から商品Ａの全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１６１３は、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ４）。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ５）。業務を継続する場合（ステップＳ５；Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ５；Ｙｅｓ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ６）、処理を終了する。

次に、ＰＯＳ端末１１側の動作について説明する。図８に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、バーコード検出部６１１は、フレーム画像からコードシンボルの認識を試みる（ステップＳ１２）。コードシンボルが認識された場合に（ステップＳ１２；Ｙｅｓ）、ＣＰＵ６１は、ステップＳ１３へ処理を進める。コードシンボルが認識されない場合に（ステップＳ１２；Ｎｏ）、ＣＰＵ６１は、ステップＳ１４へ処理を進める。

ステップＳ１３において、バーコード検出部６１１は、ＰＬＵファイルＦ１を参照して読み取った商品情報（例えば商品コード）に該当する商品Ａを特定する（ステップＳ１３）。そして、ＣＰＵ６１は、ステップＳ１６へ処理を進める。

ステップＳ１４において、物体認識部６１２は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを特定する（ステップＳ１４）。

次いで、類似度判定部６１３は、物体認識部６１２が特定した商品Ａについて、類似度を算出する（ステップＳ１５）。類似度は、ＰＬＵファイルＦ１に記憶された各商品Ａの商品画像を１００％＝「類似度：１．０」とした場合に、商品読取装置１０１から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。

次いで、ステップＳ１６において、商品登録部６１４が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を登録する（ステップＳ１６）。

その際に、該当する商品Ａがオブジェクト認識により登録された商品Ａの場合に、商品登録部６１４は、フラグ＝１に設定する。該当する商品Ａがバーコード検出により登録された商品Ａの場合に、商品登録部６１４は、フラグ＝０を維持する。

次いで、表示制御部６１５は、登録した商品Ａを登録画面に表示する（ステップＳ１７）。

次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ１８）。業務を継続する場合（ステップＳ１８：Ｎｏ）、ＣＰＵ６１は、ステップＳ１１へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１８：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

このように本実施形態のチェックアウトシステム１によれば、オブジェクト認識により登録された商品Ａと、コードシンボルにより登録された商品Ａと、を区分け（区別）してリストに表示することができる。それにより、登録内容の修正が必要になった場合においても、容易に修正を行うことが可能となる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組み合わせ等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、本実施形態においては、表示デバイス１０６に登録画面が表示されると説明しているが、これに限るものではない。例えば、オペレータに向けて情報を表示する表示デバイス２３や、顧客用表示デバイス２４や、顧客に情報を提供するための顧客用表示デバイス１０９に表示してもよい。

なお、本実施形態においては、表示形式は、タブによって表示を切り替える方式を説明しているが、これに限るものではない。例えば、表示制御部６１５は、一方のタブに、登録された全ての商品Ａをリストアップする。他方のタブに、表示制御部６１５は、該当する商品Ａがオブジェクト認識により登録された商品Ａの場合（フラグ＝１）を表示する形式でもよい。

または、表示制御部６１５は、登録された全ての商品Ａをリストアップする。そして、該当する商品Ａがオブジェクト認識により登録された商品Ａの場合（フラグ＝１）に、その旨を示すマークを付加する形式でもよい。

または、表示制御部６１５は、登録された全ての商品Ａをリストアップする。そして、該当する商品Ａがオブジェクト認識により登録された商品Ａの場合（フラグ＝１）に、強調表示する形式でもよい。

さらに、該当する商品Ａがオブジェクト認識により登録された商品Ａの場合（フラグ＝１）に、表示制御部６１５は、類似度判定部６１３により求められた類似度を更に付加してもよい。

なお、本実施形態においては、オブジェクト認識による登録であるか否かをレシート印字に適用した場合は、商品Ａが記載されている箇所の左側にマークＲ１を設けることでバーコード検出による登録と区別している。オブジェクト認識により特定された商品であることを示すことができれば、マークはカメラのマークに限らない。マークＲ１は、オブジェクト認識の際に撮像した画像であってもよいし、文字や記号でオブジェクト認識により特定された商品を示してもよい。オブジェクト認識により特定された商品名の印字色をコードの読み取りにより特定された商品と区別するようにしてもよい。また、オブジェクト認識により特定された商品名への下線の付与や、太字等で強調してもよい。さらに、レシートに、マークＲ１は、オブジェクト認識により特定された商品である旨のメッセージを、印字するようにしてもよい。

オブジェクト認識により特定された商品であることをレシートに印字することに限らず、オブジェクト認識により特定された商品ではないコード読取により特定された商品であることをレシートに印字するようにしてもよい。また、オブジェクト認識により特定された商品と、コード読取により特定された商品とで異なるマークを付与し、レシートに印字するようにしてもよい。

なお、本実施形態においては、オブジェクト認識による登録であるか否かをレシートに印字している。しかし、これに限らず、レシートが電子レシートであってもよい。この場合には、オブジェクト認識の際に撮像した画像を添付してもよい。これにより、画像が大きいことから、さらに確認作業が容易になる。

本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（バーコード検出部６１１、物体認識部６１２、類似度判定部６１３、商品登録部６１４、表示制御部６１５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、バーコード検出部６１１、物体認識部６１２、類似度判定部６１３、商品登録部６１４、表示制御部６１５が主記憶装置上に生成されるようになっている。

本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。

なお、本実施形態においては、ＰＯＳ端末１１側にバーコード検出部６１１、物体認識部６１２、類似度判定部６１３、商品登録部６１４、表示制御部６１５を備えるようにしたが、これに限るものではなく、商品読取装置１０１側にバーコード検出部６１１、物体認識部６１２、類似度判定部６１３、商品登録部６１４、表示制御部６１５を備えるようにしてもよい。この場合、商品読取装置１０１が店舗システムである。

また、本実施形態においては、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしてもよい。この場合、ＰＯＳ端末１１が店舗システムである。

１ チェックアウトシステム
１１ ＰＯＳ端末
６４ ＨＤＤ
１０１ 商品読取装置
１０６ 表示デバイス
６１１ バーコード検出部
６１２ 物体認識部
６１３ 類似度判定部
６１４ 商品登録部
６１５ 表示制御部

特開２００４−２０６３５７号公報

Claims (6)

1. 商品を撮像する撮像手段と、
   前記撮像手段が撮像した撮像画像から抽出した特徴量に基づいて前記商品を特定する商品認識手段と、
   前記撮像画像から読み取ったコードシンボルに基づいて前記商品を特定するコード認識手段と、
   前記商品認識手段で特定された商品と、前記コード認識手段で特定された商品とを識別可能に出力する出力手段と、
   を備える情報処理装置。
2. 前記出力手段は表示手段であり、前記商品認識手段で特定された商品と、前記コード認識手段で特定された商品とで、表示する領域を異ならせる請求項１に記載の情報処理装置。
3. 前記表示手段は、前記商品認識手段で特定された商品の領域と、前記コード認識手段で特定された商品の領域との表示を、タブ操作に応じて切り替える請求項２に記載の情報処理装置。
4. 前記出力手段は印字手段であり、前記商品認識手段により商品が特定された場合に、当該商品にマークを付加して印字する請求項１に記載の情報処理装置。
5. 前記出力手段での出力内容を記憶する記憶手段を更に備え、
   前記記憶手段は、前記商品認識手段により商品が特定された場合には、当該商品に特定時に用いられた前記撮像画像を付加して記憶する請求項１ないし４のいずれか一に記載の情報処理装置。
6. コンピュータを、
   商品を撮像する撮像手段と、
   前記撮像手段が撮像した撮像画像から抽出した特徴量に基づいて前記商品を特定する商品認識手段と、
   前記撮像画像から読み取ったコードシンボルに基づいて前記商品を特定するコード認識手段と、
   前記商品認識手段で特定された商品と、前記コード認識手段で特定された商品とを識別可能に出力する出力手段と、
   して機能させるためのプログラム。

Images