JP2018133071A - 物品認識装置、決済装置および物品認識方法 - Google Patents

Abstract

【課題】 物品の未確認領域を確認できる物品認識装置、決済装置および物品認識方法を提供する。
【解決手段】 実施形態によれば、物品認識装置は、第１のインターフェースと第２のインターフェースとプロセッサとを有する。第１のインターフェースは、認識対象とする物品を配置する領域を含む撮影範囲を撮影した撮影画像を取得する。第２のインターフェースは、前記撮影範囲に対応する領域に対する所定位置からの奥行情報を取得する。プロセッサは、前記奥行情報を用いて前記撮影画像に存在する全ての商品の画像領域を抽出し、前記撮影画像から抽出した各商品の画像領域に基づいて複数の商品の重なりによる未確認領域が前記撮影画像にあるか否かを判定する。
【選択図】図２

Description

本発明の実施形態は、物品認識装置、決済装置および物品認識方法に関する。

撮影画像から複数の物品（対象物）を認識する物品認識装置が実用化されている。物品認識装置は、物品が配置される領域を含む撮影領域を撮影した撮影画像から物品の画像領域を特定し、特定した物品の画像領域において物品を特定する処理を行う。複数の物品を上方から撮影した撮影画像には、複数の物品が重なって置かれることによって物品を検知できない領域（以下、未確認領域）が生じることがある。

従来技術では、撮影した画像から三次元画像を生成し、三次元画像を利用して商品領域を特定し、特定した商品領域にある商品を認識する手法もある。しかし、この従来技術では、認識対象が一つの商品であることを想定しており、商品同士が重なることを想定していない。つまり、従来の物品認識装置は、複数の商品が重なることで生じる未確認領域にある商品を検知（認識）できない。このような物品認識装置を用いた決済装置は、未確認領域に検知できない商品があると、本来の価格よりも安い価格で決済処理を実行してしまう可能性がある。

ＷＯ２０１５/１４０８５５

上記した課題を解決するために、物品の未確認領域を確認できる物品認識装置、決済装置および物品認識方法を提供する。

実施形態によれば、物品認識装置は、第１のインターフェースと第２のインターフェースとプロセッサとを有する。第１のインターフェースは、認識対象とする物品を配置する領域を含む撮影範囲を撮影した撮影画像を取得する。第２のインターフェースは、前記撮影範囲に対応する領域に対する所定位置からの奥行情報を取得する。プロセッサは、前記奥行情報を用いて前記撮影画像に存在する全ての商品の画像領域を抽出し、前記撮影画像から抽出した各商品の画像領域に基づいて複数の商品の重なりによる未確認領域が前記撮影画像にあるか否かを判定する。

図１は、実施形態に係る物品認識装置を含む決済装置の外観構成例を概略的に示す図である。 図２は、実施形態に係る決済装置の制御系の構成例を示すブロック図である。 図３Ａは、実施形態に係る決済装置が決済対象とする複数の商品の配置例を示す図である。 図３Ｂは、図３Ａに示す複数の商品を撮影した撮影画像の例を示す図である。 図４は、実施形態に係る決済装置による決済処理の流れを説明するためのフローチャートである。 図５Ａは、実施形態に係る決済装置が決済対象とする複数の商品の配置例を示す図である。 図５Ｂは、図５Ａに示す複数の商品を撮影した撮影画像の例を示す図である。 図６は、実施形態に係る決済装置による未確認領域の検知処理の流れを説明するためのフローチャートである。 図７Ａは、実施形態に係る決済装置としての物品認識装置が認識対象とする２つの商品が未確認領域を生じない場合の第１の配置例を示す図である。 図７Ｂは、図７Ａに示す配置状態となる２つの商品の外形領域を示す図である。 図８Ａは、実施形態に係る決済装置としての物品認識装置が認識対象とする２つの商品が未確認領域を生じない場合の第２の配置例を示す図である。 図８Ｂは、図８Ａに示す配置状態となる２つの商品の外形領域を示す図である。 図９Ａは、実施形態に係る決済装置としての物品認識装置が認識対象とする２つの商品が未確認領域を生じる場合の配置例を示す図である。 図９Ｂは、図９Ａに示す配置状態となる２つの商品の外形領域を示す図である。

以下、実施形態について、図面を参照して説明する。
実施形態に係る物品認識装置について説明する。
以下に説明する決済装置は、撮影画像から物品（商品）を検知し、検知した物品を認識（特定）する物品認識装置を含むものである。ただし、以下の実施形態に係る物品認識装置は、決済対象とする商品の検知及び認識を行うもの限定されるものでは無く、撮影画像に存在する全ての物品を検出するものであれば良い。例えば、物品認識装置は、物品の数を計数するために撮影画像に存在する物品を検出するものであっても良い。

図１は、実施形態に係る物品認識装置を含む決済装置１の外観の構成例を概略的に示す図である。
図１に示すように、決済装置１は、筐体２、商品載置台３、カメラ４、３Ｄカメラ５、ディスプレイ６、操作パネル７および決済部８を有する。決済装置１は、物品としての商品を認識する物品認識装置としての機能と商品の代金を決済する決済機能とを有する。決済装置１は、物品認識装置としての機能により決済対象となる商品を認識し、認識した商品の代金を決済機能により決済する。決済装置１は、例えば、商品を販売する店舗などに設置される。決済装置１は、利用者が自ら操作するセルフレジとして設置されてもよい。また、決済装置１は、店舗の店員が操作するレジとして設置されてもよい。決済装置１は、商品載置台３上に置かれた全ての商品に対する決済処理を実行する。例えば、決済対象となる商品は、商品載置台３に直接置いても良いし、カゴなどに入れられた状態で商品載置台３に置おいても良い。

筐体２は、決済装置１の外形を形成する。筐体２は、各部を設置できる形状であれば良く、特定の形状に限定されるものではない。図１が示す例において、筐体２は、商品載置台３の上方にカメラ４及び３Ｄカメラ５が設置される形状を有する。また、筐体２は、プロセッサ、記憶部及び各種のインターフェース等を有する処理部を含む計算機（コンピュータ）を格納する。例えば、筐体２内に格納される計算機が物品認識装置としての処理を実現する。

物品認識装置としての決済装置１は、商品載置台３を含む撮影範囲をカメラ４及び３Ｄカメラ５で撮影する。物品認識装置としての決済装置１は、３Ｄカメラ５が取得する奥行情報としての距離画像を用いてカメラ４が取得する撮影画像に存在する各商品の検出及び認識を行う。決済装置１は、カメラ４が取得する撮影画像から全ての商品を検出し、検出した各商品を認識し、認識した全商品に対する決済処理を行う。

商品載置台３は、決済対象（認識対象）とする商品を載置する面を有する。商品載置台３の商品を載置する面は、決済対象となる全ての商品を配置する領域（物品配置領域）となる。例えば、商品載置台３は、物品を載置する面が所定のパターン（例えば黒色）で塗装されるようにしても良い。また、商品載置台３は、認識対象とする複数の物品を入れた状態のカゴが載置されるようにしても良い。商品載置台３は、物品配置領域がカメラ４の撮影範囲に入るように設定される。また、商品載置台３は、認識対象の複数の物品を載置した状態で認識対象の複数の物品を搬送するベルトコンベア等の搬送装置として構成しても良い。

カメラ４は、商品載置台３の物品配置領域を含む領域を撮影範囲として撮影する。図１が示す構成例において、カメラ４は、商品載置台３を上方から商品載置台３の物品配置領域全体を含む撮影範囲を撮影する。カメラ４は、商品認識処理に用いる商品特定情報を抽出可能な状態の画像として、商品載置台３上の商品又は商品載置台３上のカゴ内の商品を撮影できるものであれば良い。例えば、カメラ４は、ＣＣＤカメラなどで構成する。また、カメラ４は、不可視光を撮影するものであってもよい。カメラ４は、複数個のカメラであっても良い。カメラ４は、特定の構成に限定されるものではない。

３Ｄカメラ５は、所定の位置からの奥行情報としてカメラ４の撮影範囲における距離画像を撮影する。図１が示す構成例において、３Ｄカメラ５は、商品載置台３を上方から撮影することで奥行情報としてのカメラ４の撮影範囲における距離画像を撮影する。すなわち、図１に示す３Ｄカメラ５は、商品載置台３に置かれた商品の被撮影面に対する奥行情報を取得する。

例えば、３Ｄカメラ５は、ＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式により奥行情報を取得するもので実現できる。ＴｏＦ方式の３Ｄカメラ５は、光源から出た光が対象物で反射し、センサに届くまでの光の飛行時間（遅れ時間）と光の速度から、被写体までの距離を計測する。３Ｄカメラ５は、ＴｏＦ方式に限定するものではなく、二眼又は複数のカメラを用いて視差から奥行情報を取得するものであっても良い。また、３Ｄカメラ５は、ドットパターンを投影しその歪みから奥行情報を取得するものであっても良い。また、３Ｄカメラ５は、奥行情報を取得するものであれば良く、距離センサなどに置き換えても良い。

ディスプレイ（表示部）６は、種々の情報を表示する表示装置である。ディスプレイ６は、例えば、液晶表示装置である。ディスプレイ６は、表示パネルと表示パネルに画面を表示させる駆動回路とを備える。表示パネルは、例えば液晶ディスプレイ、或は有機ＥＬディスプレイなどの表示装置である。

操作パネル（操作部）７は、操作者が種々の操作指示を入力するためのユーザインターフェースである。操作パネル７は、操作者に入力された操作指示のデータを制御部へ送信する。操作パネル７は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作パネル７は、利用者からジェスチャーの入力を受け付けるものであっても良い。
また、ディスプレイ６及び操作パネル７は、タッチパネルを有する表示装置であっても良い。ここでは、操作パネル７は、タッチパネルであり、ディスプレイ６と一体的に形成されるものを想定する。

決済部８は、商品を決済するための機器である。決済部８は、商品の代金を決済できるものであれば良い。例えば、決済部８は、商品の代金を決済するためのクレジットカードを処理するものであっても良い。また、決済部８は、携帯端末或はＩＣカード等の電子機器が有する電子マネー機能により商品の代金を収受するものであっても良い。また、決済部８は、商品の代金を決済する現金を処理するものであっても良い。また、決済部８は、生体認証などの個人認証で認証できたユーザの登録情報によって商品の代金を決済するものであっても良い。例えば、決済部８は、決済者の顔を撮影し、撮影した顔の画像による顔認証処理で認証できたユーザの登録情報を用いて決済（電子決済）を行うようにしても良い。なお、決済部８は、商品代金の収受に限らず、決済に関連する処理を実行する機能を有しても良い。例えば、決済部８は、会員証などによる会員認証処理を実行しても良いし、利用者が所持する記憶媒体（カードなど）にポイントを付与する処理を実行しても良い。

なお、ディスプレイ６、操作パネル７、および決済部８は、任意の位置に設置して良い。例えば、ディスプレイ６、操作パネル７又は決済部８は、筐体２と一体的に形成しても良い。決済装置１は、ディスプレイ６、操作パネル７、決済部８の何れか又は全てを省略した構成であっても良い。
また、決済装置１は、照明などの構成を備えても良い。また、決済装置１は、商品載置台３に商品（又はカゴ）が載置されたことを検知する検知部を有しても良い。決済装置１は、商品載置台３に商品（又はカゴ）が載置されたことを検知した場合に商品認識処理を含む決済処理を開始するようにしても良い。

次に、決済装置１の制御系の構成例について説明する。
図２は、決済装置１の制御系の構成例を示すブロック図である。
図２が示すように、決済装置１は、カメラ４、３Ｄカメラ５、ディスプレイ６、操作パネル７および決済部８が処理部２０に接続される構成を有する。処理部２０は、プロセッサ２１、ＲＯＭ２２、ＲＡＭ２３、不揮発性メモリ２４、商品データベース（ＤＢ）２４ａ、カメラＩ／Ｆ（第１のインターフェース）２５、３ＤカメラＩ／Ｆ（第２のインターフェース）２６、表示Ｉ／Ｆ（第３のインターフェース）２７、操作Ｉ／Ｆ２８、及び決済Ｉ／Ｆ２９を有する。

プロセッサ２１は、決済装置１全体の制御を司る。プロセッサ２１は、例えば、ＣＰＵである。プロセッサ２１は、ＲＯＭ２２或は不揮発性メモリ２４が記憶するプログラム及び制御データに基づいて種々の処理を実現する。例えば、プロセッサ２１は、ＲＯＭ２２が記憶するプログラムを実行することにより、決済装置１の動作制御および決済処理などの種々の処理を行う。
なお、後述するプロセッサ２１が実現する各種の機能のうちの一部は、ハードウエアにより実現しても良い。

ＲＯＭ２２は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＯＭ２２は、製造段階で制御プログラム及び制御データなどを記憶した状態で決済装置１に組み込まれる。即ち、ＲＯＭ２２に記憶される制御プログラム及び制御データは、予め決済装置１の仕様に応じて組み込まれる。

ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、ワーキングメモリとして機能する。ＲＡＭ２３は、例えば、プロセッサ２１が処理中のデータを一時的に格納する。ＲＡＭ２３は、プロセッサ２１からの命令に基づきアプリケーションプログラムを格納する。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

不揮発性メモリ２４は、データの書き込み及び書換えが可能な不揮発性のメモリにより構成される。例えば、不揮発性メモリ２４は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）、ＥＥＰＲＯＭ（登録商標）あるいはフラッシュＲＯＭなどで構成される。不揮発性メモリ２４は、決済装置１の運用用途に応じた制御プログラム、アプリケーション、及び種々のデータを格納する。

不揮発性メモリ２４は、商品データベース（ＤＢ）２４ａを有する。商品ＤＢ２４ａは、商品認識処理の対象となる商品（登録商品）に関する情報（商品情報）を記憶する。なお、商品ＤＢ２４ａは、通信インターフェースを介して通信可能な外部装置に設けても良い。商品ＤＢ２４ａは、登録商品ごとに、商品コード、商品名、価格および商品区分などの商品情報と商品認識処理に用いる商品特定情報とを記憶する。商品特定情報は、撮影画像から商品を認識するための特徴情報、商品の外形（輪郭）を示す情報（外形情報）、および、商品の高さを示す情報（高さ情報）などを含む。外形情報は、例えば、商品の矩形の面に対する４隅の座標であっても良い。また、外形情報は、商品載置台３に置いた商品を上方から見た場合における商品の輪郭の形状を示す情報であっても良い。また、外形情報は、商品載置台３に置いた商品を上方から見た場合の面積を示す情報であっても良い。

カメラインターフェース（Ｉ／Ｆ）２５は、カメラ４と処理部２０とを接続するためのインターフェースである。プロセッサ２１とカメラ４とは、カメラＩ／Ｆ２５を介してデータを入出力する。カメラＩ／Ｆ２５は、カメラ４が撮影した画像を取得する画像取得部として機能する。例えば、プロセッサ２１は、カメラＩ／Ｆ２５を介して、カメラ４に画像の撮影を指示し、カメラ４が撮影した画像を取得する。

３Ｄカメラインターフェース（Ｉ／Ｆ）２６は、３Ｄカメラ５と処理部２０とを接続するためのインターフェースである。プロセッサ２１と３Ｄカメラ５とは、３ＤカメラＩ／Ｆ２６を介してデータを入出力する。３ＤカメラＩ／Ｆ２６は、３Ｄカメラ５が撮影する距離画像（奥行情報）を取得する距離取得部として機能する。例えば、プロセッサ２１は、３ＤカメラＩ／Ｆ２６を介して、３Ｄカメラ５に距離画像の撮影を指示し、３Ｄカメラ５が撮影した距離画像を取得する。

表示装置インターフェース（表示Ｉ／Ｆ）２７は、ディスプレイ６と処理部２０とを接続するためのインターフェースである。プロセッサ２１とディスプレイ６とは、表示Ｉ／Ｆ２７を介してデータを入出力する。ディスプレイ６は、表示Ｉ／Ｆ２７を介してプロセッサ２１から供給される表示制御に基づいて画面を表示する。

操作装置インターフェース（操作Ｉ／Ｆ）２８は、操作パネル７と処理部２０とを接続するためのインターフェースである。プロセッサ２１と操作パネル７とは、操作Ｉ／Ｆ２８を介してデータを入出力する。操作パネル７は、タッチセンサ、キーボード又はテンキーなどの操作部材により入力される情報を入力Ｉ／Ｆ２８を介してプロセッサ２１へ供給する。

なお、決済装置１は、警告などを報知するための音を発するスピーカを設けても良い。この場合、処理部２０には、スピーカを接続するためのインターフェースが設けられる。スピーカは、インターフェースを介して接続されるプロセッサ２１からの制御に基づいて音を発するようにすれば良い。

決済部インターフェース（決済Ｉ／Ｆ）２９は、決済部８と処理部２０とを接続するためのインターフェースである。プロセッサ２１と決済部８とは、決済Ｉ／Ｆ２８を介してデータを入出力する。例えば、プロセッサ２１は、決済部８へ決済金額を指示し、決済部８からの決済金額の収受結果を受ける。なお、決済処理の形態によっては、プロセッサ２１が決済Ｉ／Ｆ２９を介して決済部８から得られる情報に基づいて決済処理を行うようにしても良い。

次に、カメラ４による撮影画像と未確認領域との関係について説明する。
カメラ４は、商品載置台３の上方から商品載置台３全体を含む撮影範囲を撮影する。プロセッサ２１は、カメラ４が撮影した撮影画像に存在する全ての商品の画像領域を検出する。また、プロセッサ２１は、カメラ４が撮影した撮影画像に商品が重なることによって生じる未確認領域が存在するかチェックする。すなわち、本実施形態に係る決済装置は、撮影画像に存在する全ての商品を認識するとともに、当該撮影画像に未確認商品があるかを確認する。

図３Ａは、商品載置台３における複数の商品の配置例を示す図である。また、図３Ｂは、図３Ａに示す配置状態の複数の商品を撮影した撮影画像の例を示す図である。
図３Ａは、３つの商品（商品Ａ、商品Ｂ、商品Ｃ）が商品載置台３に載置された状態を示す。図３Ａに示すように、商品Ａの一部は、商品Ｂの上に重ねられる。商品Ａの商品Ｂに重なっていない部分には、商品Ｃが存在する。

図３Ａに示す状態の３つの商品を含む領域を上方から撮影すると、図３Ｂに示すような撮影画像が得られる。図３Ｂに示す撮影画像では、商品Ａの上面の画像と商品Ｂの上面の一部の画像とが含まれる。このため、撮影画像からは、少なくても商品Ａと商品Ｂとが存在することが検出できる。しかし、図３Ｂに示す撮影画像には、商品Ｃの画像は存在しない。従って、図３Ｂに示す撮影画像からは、商品Ｃが存在することを検知できない。

すなわち、図３Ａに示す配置状態において、商品Ａの商品Ｂに重なっていない部分の下側の領域は、商品の存在を撮影画像からは検出できない領域（未確認領域）となる。未確認領域がある場合、決済装置１は、未確認領域内の商品を認識できないため、正確な決済処理が行えない可能性がある。このため、実施形態に係る決済装置１は、撮影画像において未確認領域が無いことを確認した後、撮影画像から認識した商品に対する決済処理を実施する。また、決済装置１は、撮影画像において未確認領域が検知された場合、商品認識処理をリトライするか、若しくは、決済処理を中止する。

次に、実施形態に係る決済装置１における決済処理について説明する。
図４は、実施形態に係る決済装置１における決済処理の例を説明するためのフローチャートである。
待機状態において、プロセッサ２１は、決済処理の開始指示を受け付ける（ＡＣＴ１１）。例えば、プロセッサ２１は、操作パネル７に設けたスタートボタンの指示に応じて決済処理を開始する。スタートボタンは、商品載置台３上にセットした商品に対する決済処理の開始を指示するボタンである。スタートボタンは、ディスプレイ６が表示するアイコンであっても良いし、操作パネル７に設けたハードキーなどであっても良い。また、プロセッサ２１は、センサにより商品載置台３に商品あるいはカゴがセットされたことを検知したことに応じて決済処理を開始しても良い。また、プロセッサ２１は、人物が現れたこと、或は、人物による特定の動きを検知して決済処理を開始しても良い。

決済処理を開始すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ２１は、カメラ４に対して撮影を指示する。カメラ４は、プロセッサ２１の指示に応じて商品載置台３の物品配置領域を含む撮影範囲を撮影する。プロセッサ２１は、カメラＩ／Ｆ２５によりカメラ４が撮影した撮影画像を取得する（ＡＣＴ１２）。プロセッサ２１は、カメラ４から取得した撮影画像をＲＡＭ２３などのメモリに記憶する。

また、プロセッサ２１は、決済処理を開始した後、カメラ４に対して撮影を指示すると共に、３Ｄカメラ５に対して奥行情報を示す距離画像の撮影を指示する。３Ｄカメラ５は、プロセッサ２１の指示に応じてカメラ４の撮影範囲に対応する領域の奥行情報としての距離画像を撮影する。プロセッサ２１は、３ＤカメラＩ／Ｆ２６により３Ｄカメラ５が撮影した距離画像を取得する（ＡＣＴ１３）。プロセッサ２１は、３Ｄカメラ５から取得した距離画像をＲＡＭ２３などのメモリに記憶する。

ここで、距離画像は、撮影画像における各位置の各座標値に奥行を示す情報を付加された情報（例えば、３次元の座標値）であるものとする。また、３Ｄカメラ５が撮影する距離画像とカメラ４が撮影する撮影画像とは、撮影位置の座標が互いに対応するように構成する。なお、カメラと３Ｄカメラとの距離或は視野角に基づいて、プロセッサ２１は、距離画像と撮影画像との位置合わせを行うような処理を行っても良い。また、距離画像は、撮影画像の各位置における商品載置台３の物品を載置する面からの高さを示す情報であっても良い。

撮影画像及び撮影画像に対応する距離画像を取得すると、プロセッサ２１は、取得した距離画像を用いて撮影画像に存在する各商品の画像領域を抽出する（ＡＣＴ１４）。例えば、プロセッサ２１は、距離画像に基づいて商品載置台３の商品を置く面（又は商品を入れるかごの底面）の領域を撮影画像における背景領域として特定する。距離画像から背景領域を特定すると、プロセッサ２１は、撮影画像における背景領域とその他の領域とを分離することで各商品の画像領域を特定する。また、プロセッサ２１は、距離画像に基づいて同程度の距離（奥行）ごとに領域を分割し、分割した各領域から個々の商品の画像領域を特定する。なお、撮影画像から各商品の画像領域を特定する方法は、特定の方法に限定されるものではない。例えば、撮影画像における背景領域は、商品載置台３の物品を載置する面の画像パターンにより検出しても良い。

撮影画像における各商品の画像領域を抽出すると、プロセッサ２１は、画像領域として抽出した個々の商品について当該商品の外形領域を特定（推定）する（ＡＣＴ１５）。例えば、商品の外形が矩形であれば、プロセッサ２１は、商品の外形領域を示す情報として当該商品の矩形の外形領域における４隅の座標を特定する。また、商品の外形が五角形であれば、プロセッサ２１は、商品の外形領域を示す情報として５角形の頂点となる５点の座標を特定しても良い。また、商品の外形が円形であれば、プロセッサ２１は、商品の外形としての円（又は楕円）を示す複数の座標（エッジの座標）を特定しても良い。すなわち、プロセッサ２１は、各商品の形状に応じて外形領域を示す情報を特定するものとする。以下の説明においては、主に、各商品の外形が矩形であることを想定するものとする。

ここで、撮影画像における各商品の外形領域を特定する方法の例について説明する。
図５Ａ及び図５Ｂは、商品の外形領域を特定する方法の一例を説明するための図である。図５Ａは、複数の商品の配置例を示す図であり、図５Ｂは、図５Ａに示す配置状態の各商品を撮影した撮影画像の例を示す図である。
図５Ａに示すように商品Ａと商品Ｂとが重なって置かれた場合、商品Ａ及び商品Ｂを上方から見ると、商品Ｂの一部に重ねて配置された商品Ａによって隠れる領域が存在する。この商品Ａによって隠れる領域が未確認領域である。図３Ｂに示す例では、未確認領域に設置されてしまった商品Ｃが未確認商品となる。例えば、商品Ａによって隠れる領域が存在する商品Ｂの外形領域は、囲う面積が最小となる矩形を抽出することにより特定できる。

また、図５Ｂに示す撮影画像では、商品Ｂの画像領域において３つの角ｐ１、ｐ２、ｐ３が現れている。これらの３点ｐ１、ｐ２、ｐ３は、撮影画像における商品Ｂの画像領域から直接的に特定できる。撮影画像には見えない領域にある商品Ｂの外形領域を示す４つ目の角は、図５Ｂに示す見えない領域に接する辺ｃ１と辺ｃ２との延長線上の交点ｐ４として特定できる。これにより、商品Ｂの外形領域は、図５Ｂに示す４点ｐ１、ｐ２、ｐ３、ｐ４の座標として特定できる。つまり、矩形の商品の外形領域は、商品の画像領域に現れている３つの角の座標から、撮影画像に現れていない残りの１つの角の座標を特定することにより特定できる。

撮影画像における各商品の外形領域を特定すると、プロセッサ２１は、未確認領域の有無を判定する未確認領域の検知処理を行う（ＡＣＴ１６）。例えば、プロセッサ２１は、各商品の外形領域について内包関係をチェックすることにより未確認領域を検出する。なお、未確認領域の検知処理の方法については、後述するものとする。

未確認領域の検知処理で未確認領域を検知した場合（ＡＣＴ１７、ＹＥＳ）、プロセッサ２１は、エラーが発生したこと（警告）を報知する（ＡＣＴ１８）。例えば、プロセッサ２１は、未認識領域がある旨、又は、決済不可な状態である旨などの警告をディスプレイ６に表示する。また、プロセッサ２１は、図３Ｂ或は図５Ｂに示すような複数の商品が重なった状態の撮影画像をディスプレイ６に表示しても良い。また、プロセッサ２１は、各商品の外形領域を描画した撮影画像をディスプレイ６に表示しても良い。また、プロセッサ２１は、未確認領域として検知した領域を描画した撮影画像をディスプレイ６に表示しても良い。また、プロセッサ２１は、操作者向けの警告ではなく、店員向けの警告を報知するようにしても良い。また、プロセッサ２１は、スピーカなどにより操作者にエラー発生を報知するための警報を鳴らすようにしても良い。

未確認領域を検知したことに応じて警告を報知した後、プロセッサ２１は、決済処理（商品認識処理）のリトライの指示を受け付ける（ＡＣＴ１９）。例えば、プロセッサ２１は、操作パネル７に設けたリトライボタンへの指示に応じて決済処理をリトライする。リトライボタンは、ディスプレイ６が表示するアイコンをであっても良いし、操作パネル７に設けたハードキーなどであっても良い。リトライが指示された場合、（ＡＣＴ１９、ＹＥＳ）、プロセッサ２１は、ＡＣＴ１２へ戻って再び撮影画像を取得し、上述した処理を再び実行する。なお、未確認領域を検知した場合、プロセッサ２１は、未確認領域以外の領域に存在する商品の決済処理を完了させ、未確認領域に存在する商品の決済処理を実行しても良い。

また、プロセッサ２１は、リトライの指示が無いと判断した場合（ＡＣＴ１９、ＮＯ）、決済処理を中止し、待機状態に移行する。例えば、プロセッサ２１は、所定時間内にリトライが指示されない場合、リトライの指示が無いと判断する。リトライの指示が無いと判断した場合、プロセッサ２１は、決済処理を中止する旨の警告をディスプレイ６に表示しても良い。また、プロセッサ２１は、未確認領域を検知した場合であっても警告を報知せず決済処理を終了して待機状態に移行するようにしても良い。

また、撮影画像において未確認領域が検知されなかった場合（ＡＣＴ１７、ＮＯ）、プロセッサ２１は、撮影画像から抽出した各商品の画像領域について各商品を認識する商品認識処理を行う（ＡＣＴ２０）。商品認識処理において、プロセッサ２１は、抽出した各商品の画像領域にある各商品が商品ＤＢ２４ａに登録されたどの商品であるか特定する。

商品認識処理は、カメラ４が撮影した撮影画像に存在する全ての商品を認識できるものであれば、特定の方法に限定されるものではない。商品認識処理は、商品特定情報を用いて撮影画像に存在する各商品を認識する。例えば、商品認識処理は、商品特定情報として、バーコード、二次元コード、文字、数字、マークなどの特定パターンを用いて商品を認識する処理であっても良い。この場合、バーコード、二次元コード、文字、数字又はマークなどの特定パターンは、商品の少なくとも１つの面に付与されるものとする。

例えば、プロセッサ２１は、商品の画像領域に存在するバーコードに基づいて商品を特定する方法が適用できる。この場合、プロセッサ２１は、商品の画像領域からバーコード領域を取得する。バーコード領域を取得すると、プロセッサ２１は、取得したバーコード領域に対してデコード処理を行う。バーコードをデコードすると、プロセッサ２１は、バーコードをデコードして得た商品コードと商品ＤＢ２４ａに登録されている登録商品の商品コードとを照合する。プロセッサ２１は、商品コードの照合処理によって一致した商品であることを特定する。なお、バーコード領域の取得方法は、高周波成分の強い領域を特定することで検出を行うなど取得方法は問わない。

また、商品認識処理は、撮影画像における個々の商品の画像から抽出する特徴量などの特徴情報を用いて商品を認識する処理であっても良い。この場合、商品特定情報としての特徴情報は、商品を特定の方向から撮影した商品の画像から抽出される特徴量である。商品の画像から抽出する特徴量による商品認識処理は、撮影画像における商品の画像領域から商品を特定できるものであれば良く、特定の方式に限定されない。例えば、商品認識処理は、商品の画像領域における濃度勾配又は色ヒストグラムなどの画像の特徴量を用いて商品を特定する方法であっても良い。この場合、商品ＤＢ２４ａには、商品の画像における濃度勾配或は色ヒストグラムなどの特定の方法に応じた特徴量を登録商品の特徴情報として登録する。商品の画像から得られる特徴量によって商品の特定する方法は、バーコードが見えなくてもその商品が何であるか特定できるメリットがある。

商品認識処理で撮影画像に存在する各商品を認識（特定）すると、プロセッサ２１は、各商品に対する決済処理を実行する（ＡＣＴ２１）。決済処理において、プロセッサ２１は、商品ＤＢ２４ａに登録した各商品の商品情報を参照して各商品の価格を特定し、全商品の価格の合計を決済金額として決定する。決済金額を決定すると、プロセッサ２１は、決済部８を用いて操作者から決済金額を収受する処理を実行する。

次に、撮影画像における未確認商品を検知するための未確認領域の検知処理の例について説明する。
図６は、決済装置１による未確認領域の検知処理の例を説明するためのフローチャートである。
プロセッサ２１は、撮影画像から抽出された各商品の外形領域と他の商品の外形領域との内包関係を判定する（ＡＣＴ３１）。プロセッサ２１は、撮影画像における各商品の画像領域が他の商品の外形情報（例えば、４隅の座標）から特定される他の商品の外形領域に含まれるかを判定する。まず、プロセッサ２１は、撮影画像から抽出した各商品の画像領域から奥行が近い順（上にある順）に商品を選出する。プロセッサ２１は、選出した商品の画像領域が、当該画像領域よりも奥行が遠い画像領域の商品（当該商品よりも高さが低い商品）の外形領域（外形情報から得られる外形の領域）に含まれるか（内包されるか）を判定する。言換えると、プロセッサ２１は、選出した商品の画像領域を示す座標（例えば、４隅の座標）の何れかが、他の商品の外形領域に含まれるかを判定する（ＡＣＴ３２）。

選出した商品の画像領域が他の商品の外形領域に含まれない（内包関係が無い）と判定した場合（ＡＣＴ３２、ＮＯ）、プロセッサ２１は、選出した商品に関しては未確認領域が無いと判断する（ＡＣＴ３４）。例えば、図７Ａは、内包関係が無い場合の商品の配置例である。図７Ｂは、図７Ａにおける各商品の外形領域を示す図である。すなわち、図７Ｂに示すように、各商品の外形領域がそれぞれ独立している場合、プロセッサ２１は、図７Ａに示すように商品同士の重なりがないと判定（確認）できる。

選出した商品の画像領域が他の商品の外形領域に含まれると判定した場合（ＡＣＴ３２、ＹＥＳ）、プロセッサ２１は、選出した商品の画像領域全体が他の商品の外形領域に含まれるかを判定する（ＡＣＴ３３）。言換えると、プロセッサ２１は、選出した商品の画像領域を示す座標（例えば、４隅の座標）の全てが他の商品の外形領域に含まれるか否か判定する。選出した商品の画像領域全体が他の商品の外形領域に含まれる場合、選出した商品には別の商品があるが、選出した商品の下には撮影画像に現れていない商品がない。つまり、選出した商品の画像領域全体が他の商品の外形領域に含まれる場合、未確認領域が無いと判断できる。

選出した商品の画像領域全体が他の商品の外形領域に含まれると判定した場合（ＡＣＴ３３、ＹＥＳ）、プロセッサ２１は、選出した商品に関しては未確認領域が無いと判定する（ＡＣＴ３４）。例えば、図８Ａは、ある商品の画像領域全体が下にある商品の外形領域に含まれる場合の２つの商品の配置例である。図８Ｂは、図８Ａにおける各商品の外形領域を示す図である。すなわち、図８Ｂに示すように、上側の商品の画像領域（外形領域）全体は、下側の商品の外形領域に完全に内包されている。この場合、プロセッサ２１は、図８Ａに示すように、商品同士の重なりによる未確認領域が生じてないと判定（確認）できる。

選出した商品の画像領域全体が他の商品の外形領域に含まれていないと判定した場合（選出した商品の画像領域の一部だけが他の商品の外形領域に含まれると判定した場合）（ＡＣＴ３３、ＮＯ）、プロセッサ２１は、選出した商品に関して未確認領域が有ると判定する（ＡＣＴ３５）。例えば、図９Ａは、未確認領域が生じる場合の２つの商品の配置例である。図９Ｂは、図９Ａにおける各商品の外形領域を示す図である。すなわち、図９Ｂに示すように、上側の商品の画像領域（外形領域）は、下側の商品の外形領域に完全に内包されず、一部だけが下側の商品の外形領域に内包されている。この場合、プロセッサ２１は、図９Ａに示すように、商品同士の重なりによる未確認領域が生じていると判定（確認）する。

上記ＡＣＴ３１−３５の処理により、プロセッサ２１は、選出した商品の画像領域に対する未確認領域を検知する。プロセッサ２１は、上記ＡＣＴ３１−３５の処理を撮影画像から抽出した全ての商品の画像領域について実行する。これにより、プロセッサ２１は、撮影画像全体における未確認領域を検知する。

なお、未確認領域の検知方法は、上述した方法に限定されるものでは無い。例えば、各商品に対する商品認識処理を実施し、商品ＤＢ２４ａに登録した商品の商品情報と撮影画像から取得する商品の画像との比較（例えば、商品ＤＢ２４ａに登録した商品の面積と撮影画像から抽出した商品領域の面積との面積差）により未確認領域を検知しても良い。

以上のように、実施形態に係る決済装置は、撮影画像における未確認領域の有無を確認し、未確認領域が無い場合に撮影画像から認識した全商品に対する決済処理を行う。決済装置は、未確認領域を検知した場合には決済処理を行わずに警告を報知する。このような決済処理によれば、未確認領域に存在する商品によって、実際の決済対象の全商品の価格よりも安い価格で決済処理が行われるのを防ぐことができる。

なお、上述した実施形態では、装置内のメモリにプロセッサが実行するプログラムが予め記憶されている場合で説明をした。しかし、プロセッサが実行するプログラムは、ネットワークから装置にダウンロードしても良いし、記憶媒体から装置にインストールしてもよい。記憶媒体としては、ＣＤ−ＲＯＭ等のプログラムを記憶でき、かつ装置が読み取り可能な記憶媒体であれば良い。また、予めインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働して実現させるものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…決済装置、５…３Ｄカメラ、６…ディスプレイ（表示部）、７…操作パネル（操作部）、２０…処理部、２１…プロセッサ、２５…カメラインターフェース（第１のインターフェース）、２６…３Ｄカメラインターフェース（第２のインターフェース）、２７…表示装置インターフェース（第３のインターフェース）。

Claims (5)

1. 認識対象とする物品を配置する領域を含む撮影範囲を撮影した撮影画像を取得する第１のインターフェースと、
   前記撮影範囲に対応する領域に対する所定位置からの奥行情報を取得する第２のインターフェースと、
   前記奥行情報を用いて前記撮影画像に存在する全ての商品の画像領域を抽出し、
   前記撮影画像から抽出した各商品の画像領域に基づいて複数の商品の重なりによる未確認領域が前記撮影画像にあるか否かを判定する、プロセッサと、
   を備える物品認識装置。
2. 前記プロセッサは、
   前記撮影画像から抽出した各商品の画像領域ごとに各商品の外形領域を特定し、各商品の外形領域に基づいて未確認領域を検知する、
   請求項１に記載の物品認識装置。
3. 外部装置に警告を報知するための第３のインターフェースを有し、
   前記プロセッサは、
   前記撮影画像に未確認領域があることを検知した場合、未確認領域があることを示す警告を前記第３のインターフェースを介して報知する、
   請求項１に記載の物品認識装置。
4. 認識対象とする物品を配置する領域を含む撮影範囲を撮影した撮影画像を取得する第１のインターフェースと、
   前記撮影範囲に対応する領域に対する所定位置からの奥行情報を取得する第２のインターフェースと、
   前記奥行情報を用いて前記撮影画像に存在する全ての商品の画像領域を抽出し、
   抽出した各商品の画像領域に基づいて複数の商品の重なりによる未確認領域が前記撮影画像にあるか否かを判定し、
   前記撮影画像に未確認領域が無いと判定した場合、前記各商品の画像領域に対する各商品認識処理の結果に応じた決済処理を実行し、
   前記撮影画像に未確認領域があると判定した場合、前記各商品の画像領域に対する各商品認識処理の結果に応じた決済処理を中止する、プロセッサと、
   を有する決済装置。
5. 認識対象とする物品を配置する領域を含む撮影範囲を撮影した撮影画像を取得し、
   前記撮影範囲に対応する領域に対する所定位置からの奥行情報を取得し、
   前記奥行情報を用いて前記撮影画像に存在する全ての商品の画像領域を抽出し、
   前記撮影画像から抽出した各商品の画像領域に基づいて複数の商品の重なりによる未確認領域が前記撮影画像にあるか否かを判定する、
   物品認識方法。