JP2014052811A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】被写体となった商品の特徴量を、より確実に抽出することが可能な情報処理装置及びプログラムを提供する。
【解決手段】撮像手段が撮像した撮像画像を取り込む取込手段と、前記撮像画像の状態が適正か否かを判定する判定手段と、前記判定手段により適正外と判定された場合に、前記撮像画像の撮像条件を変更する変更手段と、前記判定手段により適正と判定された撮像画像から、当該撮像画像に含まれる商品の写り込み領域を切り出し、当該領域の特徴量を抽出する抽出手段と、前記抽出手段が抽出した特徴量と、基準となる各基準商品の特徴量とに基づいて、当該基準商品の中から前記商品の候補を認識する認識手段と、を備える。
【選択図】図５

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品の撮像画像からその物体の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、その物品の種別等を認識するオブジェクト認識技術が存在している。また、このオブジェクト認識技術を、商品の識別（認識）に用いることで、識別された商品を売上登録するシステムが提案されている。

ところで、上記のオブジェクト認識技術では、撮像画像から物体の写り込み領域を切り出すことが行われており、この領域から抽出される特徴量が物体の特徴量として用いられる。しかしながら、撮像画像中での物体の色とその背景色とが略同等となる場合、撮像画像から物体の写り込み領域を切り出すことが困難となるため、物体の特徴量を抽出することができない可能性があった。

実施の形態の情報処理装置は、取込手段と、判定手段と、変更手段と、抽出手段と、認識手段とを備える。取込手段は、撮像手段が撮像した撮像画像を取り込む。判定手段は、前記撮像画像の状態が適正か否かを判定する。変更手段は、前記判定手段により適正外と判定された場合に、前記撮像画像の撮像条件を変更する。抽出手段は、前記判定手段により適正と判定された撮像画像から、当該撮像画像に含まれる商品の写り込み領域を切り出し、当該領域の特徴量を抽出する。認識手段は、前記抽出手段が抽出した特徴量と、基準となる各基準商品の特徴量とに基づいて、当該基準商品の中から前記商品の候補を認識する。

図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。 図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示したＰＬＵファイルのデータ構成の一例を模式的に示す図である。 図４は、図２に示した商品特徴ファイルのデータ構成の一例を模式的に示す図である。 図５は、図１に示したＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。 図６は、商品読取装置で撮像された撮像画像の一例を示す図である。 図７は、商品読取装置で撮像された撮像画像の一例を示す図である。 図８は、商品読取装置の表示デバイスに表示された商品候補の表示例を示す図である。 図９は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。 図１０は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。 図１１は、実施形態に係るセルフＰＯＳの外観構成を示す斜視図である。 図１２は、図１１に示したセルフＰＯＳのハードウェア構成を示すブロック図である。

以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と、情報処理装置としての商品読取装置１０１とを備える。

ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。

なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側を向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。

ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６５（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６５（図２参照）は商品Ｇを撮像する。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。

ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、各種プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。

また、ＨＤＤ６４には、ＰＬＵファイルＦ１及び商品特徴ファイルＦ２等のデータファイルが記憶されている。なお、ＰＬＵファイルＦ１及び商品特徴ファイルＦ２は、後述する接続インターフェース６５を介し、商品読取装置１０１から読み出し（参照）可能に保持されている。

ＰＬＵファイルＦ１は、店舗内で販売される商品Ｇと、その商品Ｇの売上登録に係る情報と、の関連付けが設定されたデータファイルである。

図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品ＩＤと、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像と、後述する特徴量とが、その商品Ｇの商品情報として登録されている。以下、商品ＩＤと関連付けられた商品Ｇを登録商品という。

また、商品特徴ファイルＦ２には、店舗内で販売される商品Ｇの各々と、その商品Ｇを近赤外線下で撮像した際に得られた情報とが関連付けて格納されている。

図４は、商品特徴ファイルＦ２のデータ構成の一例を模式的に示す図である。同図に示すように、商品特徴ファイルＦ２には、商品Ｇ毎に、商品ＩＤと、その商品Ｇを撮像した商品画像と、が関連付けて登録されている。ここで、商品ＩＤは、ＰＬＵファイルＦ１に登録された商品ＩＤに対応する。また、商品画像は、各登録商品を基準物として撮像した撮像画像（基準画像）であって、当該画像から登録商品の色合いや模様、表面の凹凸状況、形状等の特徴量が抽出される。また、ＰＬＵファイルＦ１には、各商品画像から予め抽出された商品毎の特徴量が、その商品の商品ＩＤに関連付けられて登録されている（図３参照）。

なお、本実施形態では、各登録商品の商品画像を商品特徴ファイルＦ２に格納する形態としたが、これに限らず、対応する商品ＩＤと関連付けてＰＬＵファイルＦ１に格納する形態としてもよい。また、本実施形態では、この特徴量をＰＬＵファイルＦ１に予め登録しておく形態としているが、これに限らず、後述する特徴量抽出部１６１４により、商品特徴ファイルＦ２の各商品画像から特徴量が抽出される形態としてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、商品特徴ファイルＦ２が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

また、商品読取装置１０１は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。

ＣＰＵ１６１には、照明部１６４、撮像部１６５及び音声出力部１６６が各種の入出力回路（いずれも図示せず）を介して接続されている。照明部１６４、撮像部１６５及び音声出力部１６６は、ＣＰＵ１６１によって動作が制御される。

照明部１６４は、読取窓１０３の奥側等に設けられる照明装置であり、読取窓１０３内から照明光（拡散光）を照射することで、読取窓１０３に向けられた商品を浮き立たせる。また、照明部１６４は、後述する撮像条件調整部１６１３からの制御に応じて、照射時間や明るさ等の設定値を切り替える。

撮像部１６５は、カラーＣＣＤセンサやカラーＣＭＯＳ等のイメージセンサであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６５では３０ｆｐｓの動画像の撮像を行う。撮像部１６５が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。また、撮像部１６５は、後述する撮像条件調整部１６１３からの制御に応じて、露出（感度、絞り、シャッタースピード）等の設定値を切り替える。なお、撮像部１６５の初期設定時（デフォルト）の露出は、後述するように、撮像範囲の背景色が黒くなるよう設定されているものとする。

音声出力部１６６は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６６は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

また、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、接続インターフェース１７５には、接続インターフェース１７６を介して、表示・操作部１０４が接続されており、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図５を参照して説明する。

図５は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図５に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、撮像条件調整部１６１３、特徴量抽出部１６１４、類似度判定部１６１５、商品候補提示部１６１６、入力受付部１６１７及び情報出力部１６１８としての機能を備える。

画像取込部１６１１は、撮像部１６５に撮像オン信号を出力して撮像部１６５に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６５が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、読取窓１０３に商品Ｇが翳されたことを検出する機能部である。具体的に、商品検出部１６１２は、画像取込部１６１１により取り込まれた撮像画像中から商品Ｇの全部又は一部の輪郭線を公知のパターンマッチング技術等を用いて検出することで、読取窓１０３に商品Ｇが翳されたことを検出する。また、商品検出部１６１２は、撮像画像中から商品Ｇに照明光が反射することで発生した白飛び等を検出することで、読取窓１０３に商品Ｇが翳されたことを検出する。なお、商品Ｇの検出方法はこれらに限らず、例えば、撮像部１６５の撮像範囲に測距センサ等を別途設け、このセンサ出力により読取窓１０３に商品Ｇが翳されたことを検出してもよい。

撮像条件調整部１６１３は、商品検出部１６１２で商品Ｇが検出された際の撮像画像から、その撮像画像の状態を定量的に表した画像状態を取得し、この画像状態が商品Ｇの写り込み領域の切り出しに適した、適正値の範囲（適正範囲）か否かを判定する。ここで、画像状態は、例えば、撮像画像内におけるコントラストや明度（輝度）、彩度等の分布状態であり、公知の画像処理技術を用いることで撮像画像から取得されるものとする。また、適正範囲は、後述する特徴量抽出部１６１４及び類似度判定部１６１５の特性や、使用環境等に応じて任意に定めることが可能であるとする。例えば、後述するように、商品Ｇの写り込み領域と、この領域以外の背景とが同等色となる場合、上記の分布状態は変化の乏しい略一様な状態となるため、この状態を適正範囲外とすることで、適正範囲を定める形態としてもよい。

ところで、本実施形態の商品読取装置１０１では、読取窓１０３に翳された商品Ｇは、照明部１６４の照明光により照射された状態で撮像されることになる。また、撮像部１６５の露出は、撮像範囲（被写体が存在しない状態）の背景色が黒くなるようデフォルト設定されているため、読取窓１０３に商品Ｇが翳された際には、商品Ｇの写り込み領域とその背景とを容易に切り分けることが可能となっている。

しかしながら、商品Ｇが“なす”や“アボカド”等の黒色に近い表面色を有する場合、上記の撮像条件で商品Ｇを撮像すると、商品Ｇの表面色とその背景色とが近くなるため、商品Ｇとその背景とを切り分けることが困難となる。例えば、図６に示すように、商品Ｇとして“なす”が撮像された場合、商品Ｇの表面色とその背景色とが同等の色味となるため、商品Ｇを切り分けることが困難である。また、この場合、後述する特徴量抽出部１６１４で抽出される特徴量の精度が低下することになるため、商品Ｇの認識率を低下させる要因となる。

そこで、本実施形態の撮像条件調整部１６１３では、撮像画像の画像状態が、特徴量の抽出に適した適正範囲にあるか否かを判定し、この適正範囲外にある場合、撮像画像の撮像条件を変更することで、新たに撮像される撮像画像の画像状態が適正範囲内となるよう調整する。ここで、変更対象となる撮像条件は、例えば、照明部１６４の照射時間や明るさ、撮像部１６５の露出等であり、例えば、所定の数値単位で段階的に変更する。

具体的に、撮像部１６５の露出時間（露光時間）を長くした場合、商品Ｇ“なす”の撮像画像は、図７に例示するように、商品Ｇの表面色とその背景色とで色の差が生じるため、図６の撮像画像と比較して、商品Ｇとその背景とを容易に切り分けることが可能となる。なお、露出時間の延長に伴って撮像にブレが生じやすくなるが、撮像部１６５がブレ防止の機能を有する場合には、撮像条件調整部１６１３が当該機能を有効化等することで、ブレを軽減する形態としてもよい。

図５に戻り、特徴量抽出部１６１４は、商品検出部１６１２の検出結果に基づき、画像取込部１６１１により取り込まれた撮像画像から、読取窓１０３に翳された商品Ｇの写り込み領域を切り出し、当該領域の表面の状態（表面の色合い、模様、凸凹状況、形状等）を商品Ｇの特徴量として抽出する。

なお、特徴量抽出部１６１４は、照明部１６４及び撮像部１６５の撮像条件に応じて、写り込み領域の切り出し方法を変更する。例えば、撮像条件調整部１６１３が撮像条件を調整していないデフォルト設定時には、撮像画像中の背景色が黒色となるため、この背景色以外の領域を商品Ｇの写り込み領域として切り出すものとする。また、撮像条件調整部１６１３が撮像条件を調整した後は、その調整量に応じて撮像画像中の背景色が黒色よりも明るい色（灰色等）となるため、当該背景色以外の領域を商品Ｇの写り込み領域として切り出してもよいし、黒色に近い領域を商品Ｇの写り込み領域として切り出してもよい。

類似度判定部１６１５は、特徴量抽出部１６１４で抽出された商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、両特徴量の関係を示す類似度を算出する。また、類似度判定部１６１５は、算出した類似度が所定の閾値以上となった登録商品（商品ＩＤ）を、撮像部１６５で撮像された商品Ｇの候補として認識する。ここで、類似度は、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。

なお、上記のように画像中に含まれる物体を認識することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２４年７月２６日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年７月２６日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、商品Ｇの特徴量と、各登録商品の特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、商品Ｇの特徴量と、各登録商品の特徴量との類似度の総和が１．０（１００％）となるよう算出すればよい。

商品候補提示部１６１６は、類似度判定部１６１５で商品Ｇの候補とされた登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。具体的に、商品候補提示部１６１６は、候補として認識された登録商品（商品ＩＤ）に関する商品情報をＰＯＳ端末１１のＰＬＵファイルＦ１から読み出し、類似度の高いものから、表示デバイス１０６に順次表示させる。

図８は、商品候補の表示例を示す図である。図８に示すように、表示デバイス１０６の表示画面のうち、商品候補提示領域Ａ１１には、類似度の高い登録商品の順に、その商品候補の商品情報に含まれたイラスト画像Ｇ１、Ｇ２、Ｇ３が商品名とともに表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成されている。また、商品候補提示領域Ａ１１の下部には、商品リストから商品を選択するための選択ボタンＢ１１が設けられており、商品リストから選択された商品は後述する確定商品として処理される。また、領域Ａ１２には、画像取込部１６１１により取り込まれた撮像画像が表示される。

なお、図８では、三つの商品候補を提示する例を示したが、商品候補の提示方法はこれに限定されるものではない。例えば、イラスト画像に替えて商品特徴ファイルＦ２に登録された商品画像を表示する形態としてもよい。

図５に戻り、入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１６１７は、表示デバイス１０６に表示された商品候補のイラスト画像（図８参照）の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１７は、選択されたイラスト画像の商品候補を、撮像部１６５によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。なお、商品検出部１６１２が複数の商品Ｇを検出可能である場合には、入力受付部１６１７は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。

情報出力部１６１８は、上述のように確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。

なお、情報出力部１６１８は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力してもよい。また、情報出力部１６１８がＰＯＳ端末１１に出力する情報としては、情報出力部１６１８がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、商品画像、イラスト画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）を通知してもよい。

一方、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを実行することにより、売上登録部６１１としての機能を備える。売上登録部６１１は、商品読取装置１０１の情報出力部１６１８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照し、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。

次に、チェックアウトシステム１の動作について説明する。まず、商品読取装置１０１の動作について説明する。図９は、商品読取装置１０１が実行する商品識別処理の手順を示すフローチャートである。

ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６５に撮像オン信号を出力して撮像部１６５による撮像を開始する（ステップＳ１１）。

画像取込部１６１１は、撮像部１６５が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。次いで、商品検出部１６１２は、ステップＳ１２で取り込まれた撮像画像に基づき、読取窓１０３に商品Ｇが翳されたか否かを判定する（ステップＳ１３）。ここで、商品Ｇを検知できない場合には（ステップＳ１３；Ｎｏ）、ステップＳ１２に再び戻る。

また、商品検出部１６１２が読取窓１０３に商品Ｇが翳されたことを検知した場合（ステップＳ１３；Ｙｅｓ）、撮像条件調整部１６１３は、撮像画像から画像状態を取得し、この画像状態が特徴量の抽出に適した適正範囲にあるか否かを判定する（ステップＳ１４）。ここで、画像状態が適正範囲外と判定した場合（ステップＳ１４；Ｎｏ）、撮像条件調整部１６１３は撮像条件を変更し（ステップＳ１５）、ステップＳ１２に再び戻る。ここで、変更対象となる撮像条件は、例えば、照明部１６４の照明時間や明るさ、撮像部１６５の露出時間等が挙げられる。

なお、ステップＳ１５の実行回数は特に制限しないが、ステップＳ１５の実行回数に上限値を設ける形態としてもよい。例えば、撮像条件の変更を連続して５回行った場合には、撮像条件の変更を停止し、認識できない旨等の表示を表示デバイス１０６に行うこととしてもよい。

一方、ステップＳ１４で、撮像画像の画像状態が適正範囲内と判定された場合（ステップＳ１４；Ｙｅｓ）、特徴量抽出部１６１４は、現在の撮像条件に応じた切り出し方法で、ステップＳ１２で取り込まれた撮像画像から、商品Ｇの写り込み領域を切り出す（ステップＳ１６）。続いて、特徴量抽出部１６１４は、ステップＳ１６で切り出した領域の表面の状態を商品Ｇの特徴量として抽出する（ステップＳ１７）。

類似度判定部１６１５は、ステップＳ１７で抽出された商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較することで、両特徴量の類似度をそれぞれ算出する（ステップＳ１８）。次いで、類似度判定部１６１５は、商品特徴ファイルＦ２に登録された登録商品の中に、商品Ｇの特徴量との類似度が所定の閾値以上となる登録商品が存在するか否かを判定する（ステップＳ１９）。

ステップＳ１９において、類似度が閾値以上の登録商品が存在すると判定した場合（ステップＳ１９；Ｙｅｓ）、類似度判定部１６１５は、その登録商品を撮像部１６５で撮像された商品Ｇの候補として認識し（ステップＳ２０）、ステップＳ２１に移行する。また、類似度が閾値以上の登録商品が存在しないと判定した場合には（ステップＳ１９；Ｎｏ）、ステップＳ１２に再び戻る。

続くステップＳ２１において、商品候補提示部１６１６は、ステップＳ２０で候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる（ステップＳ２１）。

入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して、商品候補の選択を受け付けたか否かを判定する（ステップＳ２２）。ここで、選択操作を受け付けた場合（ステップＳ２２；Ｙｅｓ）、入力受付部１６１７は、選択された商品候補を、撮像部１６５によって撮像された商品Ｇに対応する確定商品として受け付け、ステップＳ２３に移行する。一方、選択を受け付けない場合には（ステップＳ２２；Ｎｏ）、ステップＳ１２に再び戻る。

続いて、情報出力部１６１８は、ステップＳ２２で選択された確定商品について、その商品を示す商品ＩＤ等の情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する（ステップＳ２３）。また、このとき、撮像条件調整部１６１３は、撮像画像の撮像条件をデフォルト値に復元する処理を行ってもよい（ステップＳ２４）。

なお、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合には、ステップＳ２３において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１１に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。

続くステップＳ２５において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２５）。ここで、業務を継続する場合（ステップＳ２５；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２に処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２５；Ｙｅｓ）、画像取込部１６１１は、撮像部１６５に撮像オフ信号を出力することで、撮像部１６５による撮像を終了し（ステップＳ２６）、処理を終了する。

次に、ＰＯＳ端末１１の処理動作について説明する。図１０は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図９のステップＳ２３で出力した、確定商品の商品ＩＤとその販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品分類や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。

続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

以上のように、本実施形態によれば、撮像画像の画像状態が適正範囲外である場合、当該撮像画像の撮像条件を変更することで、画像状態が適正範囲内となるよう調整する。また、調整後の撮像画像から商品Ｇの写り込み領域を切り出し、この領域の特徴量と商品特徴ファイルＦ２に登録された各登録商品の特徴量との類似度から、商品Ｇの候補を特定（認識）する。

これにより、撮像画像中での商品Ｇの色とその背景色とが略同等となった場合であっても、撮像条件の変更により、商品Ｇの写り込み領域を切り出すことが可能な撮像画像を取得することができるため、被写体となった商品Ｇの特徴量をより確実に抽出することができる。また、これにより、特徴量の精度を向上させることができるため、商品Ｇの認識率を向上させることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、一台の撮像部１６５が撮像を行う形態としてが、これに限らず、露出時間等の撮像条件が異なる複数の撮像部１６５を設ける形態としてもよい。なお、この形態の場合、撮像条件調整部１６１３は、使用する撮像部１６５を切り替えることで撮像条件の変更を行う。

また、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１及び商品特徴ファイルＦ２を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１及び商品特徴ファイルＦ２の一部又は全てを備える形態としてもよい。

また、上記実施形態では、商品読取装置１０１において、商品候補の識別を行う形態としたが、商品読取装置１０１の機能部をＰＯＳ端末１１が備えることで、ＰＯＳ端末１１において識別する形態としてもよい。この場合、商品読取装置１０１は撮像装置として機能し、ＰＯＳ端末１１では、商品読取装置１０１から送信される撮像画像（フレーム画像）に基づいて、商品候補の識別、確定を行うものとする。

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１のうち、商品読取装置１０１に本発明の実施形態を適用したが、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた一台構成の装置または、例えば、図１に示す商品読取装置１０１及びＰＯＳ端末１１が有線又は無線にて接続されて構成されるチェックアウトシステムに適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１１は、セルフＰＯＳ２００の外観構成を示す斜視図、図１２は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図１１及び図１２に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３に翳すことで商品画像を撮像部１６５により読み取るものである。

また、本体２０２の右側にはカゴに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３及び２０４には計量器２０７，２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。

このような構成のセルフＰＯＳ２００本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。

１ チェックアウトシステム
１１ ＰＯＳ端末
６１１ 売上登録部
１０１ 商品読取装置
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 撮像条件調整部
１６１４ 特徴量抽出部
１６１５ 類似度判定部
１６１６ 商品候補提示部
１６１７ 入力受付部
１６１８ 情報出力部
Ｆ１ ＰＬＵファイル
Ｆ２ 商品特徴ファイル

特開２００１−３４８４１号公報

Claims (6)

1. 撮像手段が撮像した撮像画像を取り込む取込手段と、
   前記撮像画像の状態が適正か否かを判定する判定手段と、
   前記判定手段により適正外と判定された場合に、前記撮像画像の撮像条件を変更する変更手段と、
   前記判定手段により適正と判定された撮像画像から、当該撮像画像に含まれる商品の写り込み領域を切り出し、当該領域の特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量と、基準となる各基準商品の特徴量とに基づいて、当該基準商品の中から前記商品の候補を認識する認識手段と、
   を備える情報処理装置。
2. 前記抽出手段は、前記撮像条件に応じて、前記商品の写り込み領域の切り出し方法を変更する請求項１に記載の情報処理装置。
3. 前記変更手段は、前記撮像条件として、前記撮像手段の露出に係る条件を変更する請求項１又は２に記載の情報処理装置。
4. 前記変更手段は、前記撮像条件として、前記撮像手段の撮像範囲を照明する照明光に係る条件を変更する請求項１〜３の何れか一項に記載の情報処理装置。
5. 前記物体の候補に関する情報を選択可能に提示する提示手段を更に備え、
   前記認識手段は、選択された前記物体の候補に対応する基準商品を、前記商品として確定する請求項１〜４の何れか一項に記載の情報処理装置。
6. コンピュータを、
   撮像手段が撮像した撮像画像を取り込む取込手段と、
   前記撮像画像の状態が適正か否かを判定する判定手段と、
   前記判定手段により適正外と判定された場合に、前記撮像画像の撮像条件を変更する変更手段と、
   前記判定手段により適正と判定された撮像画像から、当該撮像画像に含まれる商品の写り込み領域を切り出し、当該領域の特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量と、基準となる各基準商品の特徴量とに基づいて、当該基準商品の中から前記商品の候補を認識する認識手段と、
   して機能させるためのプログラム。