JP2023153148A - セルフレジシステム、購入商品管理方法および購入商品管理プログラム - Google Patents

Abstract

【課題】個々の商品の画像を予め準備することなく、顧客が購入する商品を適切に管理できるセルフレジシステムを提供する。【解決手段】変化検出手段８４０は、商品が撮像されている撮像画像に基づいて、その商品が配置された商品棚の変化領域を検出する。分類手段８５０は、検出された変化領域における商品棚の変化を分類する。買い物リスト生成手段８６０は、商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する。【選択図】図３１

Description

本発明は、顧客が購入する商品を自動で管理するセルフレジスター（セルフレジ）システム、購入商品管理方法および購入商品管理プログラムに関する。

コンビニエンスストアやスーパーマーケットなどの商品の販売店舗では、顧客自身がレジスター（以下、レジと記す。）端末を操作するセルフレジが導入されている。一般的なセルフレジでは、顧客は商品の識別コード（例えば、バーコード）をレジ端末に読み取らせて決済を行う。しかし、顧客が識別コードの位置を判断するには手間や時間がかかるため、自動的に顧客が購入する商品を識別する方法が各種提案されている。

例えば、特許文献１には、商品の陳列状況を監視する商品モニタリング装置が記載されている。特許文献１に記載された装置は、陳列エリアを撮影した画像から商品を検出し、検出結果に基づいて陳列エリアにおける商品陳列状態を評価する。

また、特許文献２には、商品の決済を行うＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムが記載されている。特許文献２に記載されたＰＯＳシステムは、撮像画像を用いて顧客の動線を検出し、商品を決済しようとする顧客を識別して、その顧客の動線に対応する位置に陳列される商品を候補として、決済対象の商品を認識する。

なお、非特許文献１には、適応ガウス混合モデルを用いて背景画像を減算する方法が記載されている。

国際公開第２０１５／０７９６２２号 国際公開第２０１５／１４０８５３号

Ｚｏｒａｎ Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ’０４）、米国、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２－Ｖｏｌｕｍｅ０２、ｐ．２８－３１

特許文献１に記載された商品モニタリング装置は、一般的な画像認識方法を利用して、映像から物体を抽出する。しかし、一般的な画像認識方法を用いて映像から物体を抽出するためには、抽出対象の物体を表す画像（参照画像）が必要になる。しかし、コンビニエンスストアやスーパーの各店舗には、数千から数万点の商品が存在することもあり、かつ、それらの商品は定期的に入れ替わることが一般的である。そのため、全ての商品に対する参照画像を収集したり更新したりすると、非常にコストが高くなってしまうという問題がある。

また、特許文献２に記載されたシステムでは、動線データと関連付けた商品を決済処理の候補とするが、その候補の中から顧客が購入する商品を特定することは困難である。

そこで、本発明は、個々の商品の画像を予め準備することなく、顧客が購入する商品を適切に管理できるセルフレジシステム、購入商品管理方法および購入商品管理プログラムを提供することを目的とする。

本発明のセルフレジシステムは、商品が撮像されている撮像画像に基づいて、その商品が配置された商品棚の変化領域を検出する変化検出手段と、検出された変化領域における商品棚の変化を分類する分類手段と、商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する買い物リスト生成手段と、撮像画像から取得される人物情報に基づいて、変化領域と人物との関連性を示す関連性情報を生成する関連性生成手段と、関連性情報に同一人物の関連性情報が含まれる場合、その関連性情報を１つに統合する関連性統合手段とを備えたことを特徴とする。

本発明の購入商品管理方法は、商品が撮像されている撮像画像に基づいて、その商品が配置された商品棚の変化領域を検出し、検出された変化領域における商品棚の変化を分類し、商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成し、撮像画像から取得される人物情報に基づいて、変化領域と人物との関連性を示す関連性情報を生成し、関連性情報に同一人物の関連性情報が含まれる場合、その関連性情報を１つに統合することを特徴とする。

本発明の購入商品管理プログラムは、コンピュータに、商品が撮像されている撮像画像に基づいて、その商品が配置された商品棚の変化領域を検出する変化検出処理、検出された変化領域における商品棚の変化を分類する分類処理、商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する買い物リスト生成処理、撮像画像から取得される人物情報に基づいて、変化領域と人物との関連性を示す関連性情報を生成する関連性生成処理、および、関連性情報に同一人物の関連性情報が含まれる場合、その関連性情報を１つに統合する関連性統合処理を実行させることを特徴とする。

本発明によれば、個々の商品の画像を予め準備することなく、顧客が購入する商品を適切に管理できる。

本発明によるセルフレジシステムの第１の実施形態の構成例を示すブロック図である。 セルフレジシステム１の利用シーンの例を示す説明図である。 画像処理装置１００の構成例を示すブロック図である。 第１変化検出部および第１記憶部の構成例を示すブロック図である。 前景領域検出部の動作例を示す説明図である。 領域変化分類部が出力する分類結果の例を示す説明図である。 商品と人物との関連性情報の例を示す説明図である。 商品と人物との関連性情報を統合した例を示す説明図である。 買い物リスト管理装置の構成例を示すブロック図である。 棚割り情報の例を示す説明図である。 第１の実施形態の画像処理装置１００の動作例を示すフローチャートである。 第１の実施形態のセルフレジシステムの動作例を示すフローチャートである。 画像処理装置２００の構成例を示す説明図である。 第２変化検出部および第２記憶部の構成例を示すブロック図である。 第２の実施形態の画像処理装置２００の動作例を示すフローチャートである。 本発明によるセルフレジシステムの第３の実施形態の構成例を示す説明図である。 画像処理装置３００の構成例を示す説明図である。 動線データの例を示す説明図である。 商品と人物の関連性情報の例を示す説明図である。 商品と人物の関連性を統合した例を示す説明図である。 第３の実施形態の画像処理装置３００の動作例を示すフローチャートである。 第３の実施形態のセルフレジシステムの変形例を示すブロック図である。 画像処理装置３００ａの構成例を示すブロック図である。 動線データの他の例を示す説明図である。 前景領域を検出する動作例を示す説明図である。 前景領域を検出する動作例を示す説明図である。 前景領域を検出する動作例を示す説明図である。 第一の具体例におけるセルフレジシステムの動作例を示す説明図である。 第二の具体例におけるセルフレジシステムの動作例を示す説明図である。 各装置の構成要素を実現する情報処理装置のハードウェア構成例を示すブロック図である。 本発明によるセルフレジシステムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

［第１の実施形態］
第１の実施形態では、撮像画像に基づいて、顧客が購入予定の商品のリスト（以下、買い物リストと記す。）を管理するセルフレジシステム１について説明する。

後述するように、本実施形態のセルフレジシステム１は、撮像装置２が撮像した撮像画像に基づいて、商品棚３の変化を検出するとともに、撮像画像に含まれる人物や物体の領域を検出する。そして、セルフレジシステム１は、商品棚３の変化と抽出した人物とを関連付けるとともに、人物を基準として関連づけた情報を統合する。このように、セルフレジシステム１は、抽出した人物に基づいて、商品棚３の変化を関連付けるよう構成されている。これにより、セルフレジシステム１は、抽出した人物が購入しようとする商品を検出する。

図１は、本発明によるセルフレジシステムの第１の実施形態の構成例を示すブロック図である。本実施形態のセルフレジシステム１は、顧客が所持する端末１０と、画像処理装置１００と、撮像装置２と、買い物リスト管理装置２０と、出力装置３０と、決済装置４０と、人物識別装置５０とを備えている。端末１０と、画像処理装置１００と、撮像装置２と、買い物リスト管理装置２０と、出力装置３０と、決済装置４０と、人物識別装置５０とは、例えば、ネットワークＮを介して相互に接続される。

なお、本実施形態では、画像処理装置１００と、撮像装置２と、買い物リスト管理装置２０とが、それぞれ別個の構成であるとして説明を行う。しかし、各装置が、他の装置に内蔵される構成であってもよい。例えば、撮像装置２が後述する画像処理装置１００としての機能を有していてもよく、画像処理装置１００が撮像装置２としての機能を有していてもよい。また、例えば、画像処理装置１００と買い物リスト管理装置２０とが、同一のハードウェアで実現され、撮像装置２が撮像する画像を受信して、後述する各処理を行ってもよい。

また、図１では、撮像装置２が１つの場合について例示している。しかし、セルフレジシステム１が備える撮像装置２の数は１つに限定されず、２つ以上であってもよい。

図２は、セルフレジシステム１の利用シーンの例を示す説明図である。図２を参照すると、セルフレジシステム１では、撮像装置２が、店舗の商品棚３を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、画像処理装置１００に送信する。

撮像装置２は、例えば、店舗などに設置されている監視カメラである。撮像装置２は、例えば、店舗内などにおいて商品棚３を撮像可能な所定位置に設置されている。また、撮像装置２には、その撮像装置２を識別するためのカメラＩＤなどが予め割り当てられている。撮像装置２は、撮像画像を取得する。この際、撮像装置２は、例えば、自身が有する時計などを参照して、撮像画像を取得した時刻である撮像時刻を取得した撮像画像に関連付ける。このように、撮像装置２は、商品棚３などの様子を示す撮像画像を取得する。

なお、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。また、本実施形態において、撮像装置２が取得する撮像画像は、カラー画像（以下、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像と呼ぶ）および距離画像の少なくともいずれかである。なお、撮像装置２が取得する撮像画像は、例えば、ＲＧＢ画像以外の色空間の画像であってもよい。

上述したように、撮像装置２は、取得した撮像画像を示す映像信号を、画像処理装置１００に送信する。撮像装置２は、撮像画像を撮像装置２の内部または画像処理装置１００とは異なる記憶装置に格納してもよい。

画像処理装置１００は、商品が撮像されている撮像画像を分析することで、商品棚の変化を分類する情報処理装置である。

図３は、画像処理装置１００の構成例を示す説明図である。本実施形態の画像処理装置１００は、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部１４０と、関連性統合部１５０とを含む。具体的には、画像処理装置１００は、例えば、演算装置および記憶装置（図示せず）を含む。そして、画像処理装置１００は、例えば、記憶装置に格納されたプログラムを演算装置で実行することで、上記各処理部を実現する。

なお、図３に例示する画像処理装置１００は、本開示に特有な構成について示したものである。画像処理装置１００は、図３に示されていない部材を有してもよい。この点は、第２の実施形態以降についても同様である。

第１取得部１１０は、撮像装置２が商品棚３を撮像することによって得た撮像画像を示す映像信号を取得する。第１取得部１１０は、撮像装置２から送信された映像信号を受信してもよい。第１取得部１１０は、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。

なお、上述したように、画像処理装置１００は撮像装置２に内蔵される構成であってもよい。このような構成の場合、第１取得部１１０は、撮像画像そのものを取得する構成であってもよい。

第１取得部１１０は、取得した映像信号を、その映像信号を構成するＲＧＢ画像と距離画像の少なくとも一方または両方に変換する。そして、第１取得部１１０は、変換した画像（ＲＧＢ画像と距離画像の少なくとも一方または両方）を第１変化検出部１２０に供給する。なお、第１取得部１１０が映像信号を変換することによって得たＲＧＢ画像および距離画像は、撮像装置２が商品棚３を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。

図４は、第１変化検出部１２０および第１記憶部１３０の構成例を示すブロック図である。以下、図４を参照して、第１変化検出部１２０および第１記憶部１３０について説明する。

第１記憶部１３０は、ハードディスクやメモリなどの記憶装置である。第１記憶部１３０は、背景情報１３１と、棚変化モデル１３２と、前景情報１３３と、人物情報１３４とを記憶する。なお、第１記憶部１３０は、画像処理装置１００とは異なる記憶装置で実現されてもよいし、第１変化検出部１２０に内蔵されてもよい。また、背景情報１３１と、棚変化モデル１３２と、前景情報１３３と、人物情報１３４とは、同一の記憶装置に格納されてもよいし、別々の記憶装置に格納されてもよい。

背景情報１３１は、第１変化検出部１２０が撮像画像と比較するための基準となる画像である。背景情報１３１は、背景画像とも呼ぶ。背景情報１３１は、例えば、撮像画像と同じ種類の画像であることが好ましい。例えば、撮像画像がＲＧＢ画像である場合、背景情報１３１もＲＧＢ画像であることが好ましい。なお、背景情報１３１は、第１取得部１１０から第１変化検出部１２０に対して最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。

また、後述するように、背景情報１３１は、更新可能な情報である。背景情報１３１を更新する際の処理の詳細は、後述される。

棚変化モデル１３２は、事前に学習された、商品棚３の変化をモデル化したものである。棚変化モデル１３２は、例えば、予め第１記憶部１３０に格納されている。棚変化モデル１３２は、例えば、一般的に広く知られているＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなどの機械学習を用いて学習されることによって得られてもよい。

棚変化モデル１３２は、例えば、商品棚３に商品が含まれる画像と商品棚３に商品が含まれない画像とを用いて学習された「商品棚３に商品が含まれなくなったことによる変化」または「商品棚３に商品が新たに含まれたことによる変化」を表す。また、棚変化モデル１３２は、複数の商品の画像および各商品の形状が変化した複数の画像を用いて学習された「商品棚３に陳列された商品の見た目が変わったことによる変化」を表す。また、棚変化モデル１３２は、商品棚３の前に何も対象物が存在しない状態で撮像された撮像画像と、商品棚３の前に人物などの対象物が存在する状態で撮像された撮像画像とを用いて学習された、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等を表す。また、棚変化モデル１３２は、様々な環境下で画像を用いて学習された、例えば、「照明が変わったことによる変化」を表してもよい。

棚変化モデル１３２の学習データは、例えば、変化前後の２つのＲＧＢ画像を結合した６チャネル画像でもよいし、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか１つを結合した２チャネル画像でもよい。また、学習データは、例えば、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか２つを結合した４チャネル画像でもよいし、変化前後の２つのＲＧＢ画像をグレースケール画像に変換してから結合した２チャネル画像でもよい。また、学習データは、変化前後のＲＧＢ画像をＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間など他の色空間に変換し、他の色空間への変換後の色空間における１つまたは複数のチャネルを結合した画像でもよい。

また、棚変化モデル１３２の学習データは、ＲＧＢ画像のようなカラー画像から生成されたものであってもよいし、カラー画像と距離画像との両方を用いて生成されたものであってもよい。

前景情報１３３は、前景領域検出部１２１により格納される情報である。前景情報１３３は、前景領域検出部１２１が背景画像である背景情報１３１と撮像画像であるＲＧＢ画像とを比較した結果検出する、ＲＧＢ画像のうちの背景画像と異なる領域である前景領域（変化領域）を示す情報を含む。具体的には、前景情報１３３は、例えば、撮像画像の撮像時刻が関連付けられた２値画像である。なお、前景情報１３３を格納する処理の詳細は後述される。

人物情報１３４は、前景領域追跡部１２３により格納される情報である。人物情報１３４は、例えば、前景領域追跡部１２３が抽出した人物領域に撮像装置のＩＤ（カメラＩＤ）や人物ＩＤや撮像画像上の位置や撮像画像の撮像時刻などを関連付けることで生成される。後述するように、人物領域は、例えばＲＧＢ画像である。換言すると、人物情報１３４は、例えば、格納された人物領域の色、面積、形状および外接矩形のアスペクト比などを示す情報を含むことができる。なお、人物情報１３４を格納する処理の詳細も後述される。

第１変化検出部１２０は、商品棚３に関する変化領域を検出する。

第１変化検出部１２０は、例えば、撮像画像に含まれる商品棚３に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、その商品の領域を検出する。また、第１変化検出部１２０は、例えば、背景画像に含まれる商品棚３に陳列された商品が撮像画像に含まれない場合、その商品の領域を検出する。また、第１変化検出部１２０は、例えば、撮像画像に含まれる商品棚３に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、その商品の領域を検出する。このように、第１変化検出部１２０は、撮像画像に基づいて、商品が減った（無くなった）、商品が増えた（新たに出現した）、商品の見た目が変わった、などの商品の陳列状態の変化を検出する。

また、第１変化検出部１２０は、例えば、撮像画像が商品棚３と撮像装置２との間に人物や物体が存在した時に撮像された場合、商品棚３を撮像した撮像画像に含まれる人物や物体の領域を検出する。

以上のように、第１変化検出部１２０は、商品の陳列状態が変化した領域である商品棚３の内部の変化領域や、商品棚３と撮像装置２との間に存在した人物や物体による撮像画像の変化領域など、商品棚３に関する変化領域を検出する。

図４に例示する通り、第１変化検出部１２０は、前景領域検出部１２１と、背景情報更新部１２２と、前景領域追跡部１２３と、第１抽出部１２４と、第２抽出部１２５と、領域変化分類部１２６とを有する。

前景領域検出部１２１は、第１取得部１１０から供給された撮像画像を受け取る。また、前景領域検出部１２１は、撮像画像に対応する背景情報１３１を第１記憶部１３０から取得する。上述した通り、背景情報１３１はＲＧＢ画像である。前景領域検出部１２１は、２つのＲＧＢ画像である撮像画像と背景情報１３１とを比較する。そして、前景領域検出部１２１は、比較した２つのＲＧＢ画像の間で変化した領域を変化領域として検出する。前景領域検出部１２１は、背景画像である背景情報１３１と撮像画像であるＲＧＢ画像とを比較するため、背景画像と異なる領域である前景領域を検出する処理を行っているとも言える。

なお、本実施形態において、前景領域検出部１２１が変化領域を検出する方法は特に限定されない。前景領域検出部１２１は、既存の技術を用いて変化領域を検出してもよい。前景領域検出部１２１は、例えば、背景差分法を用いて変化領域を検出してもよい。前景領域検出部１２１は、検出された変化領域の画素値を２５５、それ以外の画素値を０で表した２値画像を生成してもよい。

ここで、前景領域検出部１２１の動作の一例について、図５を参照してより具体的に説明する。図５は、前景領域検出部１２１の動作例を示す説明図である。図５（ａ）は撮像画像の一例を示し、図５（ｂ）は第１記憶部１３０に格納された撮像画像に対応する背景情報１３１の一例を示す。また、図５（ｃ）は、変化領域の検出結果である２値画像の一例を示す。

図５（ａ）および図５（ｂ）を参照すると、撮像画像と背景情報１３１とでは、商品Ｇ１、商品Ｇ２、商品Ｇ３の３つの領域に差異がある。例えば、図５（ａ）および図５（ｂ）に示す例の場合、商品Ｇ１は、背景情報１３１には含まれないが、撮像画像には含まれる。また、商品Ｇ３は、背景情報１３１には含まれるが、撮像画像には含まれない。また、撮像画像に含まれる商品Ｇ２の位置には、背景情報１３１上では他の商品が陳列されている。したがって、前景領域検出部１２１は、商品Ｇ２の領域も変化があった領域として検出する。このような場合、前景領域検出部１２１は、例えば、図５（ｃ）に例示するような、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域に相当する部分を白で表現し、その他の部分を黒で表現した２値画像を生成する。

なお、以降の説明において、変化領域とは、図５（ｃ）に例示する白色の各部分を示す。つまり、変化領域とは、例えば、画素値が２５５の画素であり、且つ、その画素に隣接する画素の何れかの画素値が２５５の画素の集合である。図５（ｃ）に示す例では、前景領域検出部１２１は、３つの変化領域を検出する。

上述したように、前景領域検出部１２１は、例えば、撮像画像と同じサイズの２値画像を生成する。また、前景領域検出部１２１は、検出結果である２値画像に、その２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部１２１は、２値画像に、２値画像の生成に用いた撮像画像を示す情報や背景情報１３１を示す情報などを関連付けてもよい。そして、前景領域検出部１２１は、撮像画像の撮像時刻などが関連付けられた検出結果を、背景情報更新部１２２と、前景領域追跡部１２３とに供給する。また、前景領域検出部１２１は、撮像画像の撮像時刻が関連付けられた検出結果を、前景情報１３３として第１記憶部１３０に格納する。

なお、前景領域検出部１２１による検出結果は、検出した変化領域を示す情報を含んでいればよい。前景領域検出部１２１は、例えば、検出した変化領域（画素値が２５５の領域）の位置を表す情報とその大きさとを変化領域の検出に用いた撮像画像を示す情報および背景画像を示す情報に関連付け、検出結果として出力してもよい。このように、前景領域検出部１２１が出力する検出結果は、どのような形式であってもよい。

また、前景領域検出部１２１は、検出結果である２値画像に、撮像画像の撮像時刻を関連付けるとともに、撮像画像から抽出した変化領域に含まれる色情報を関連付けてもよい。前景領域検出部１２１は、変化領域の色情報の代わりに、変化領域の画像を検出結果に関連付けてもよい。このように、前景領域検出部１２１は、撮像時刻以外の情報も検出結果に関連付けてよい。

また、図５（ｃ）に例示するように、前景領域検出部１２１が生成する２値画像には、複数の変化領域が含まれる場合がある。このような場合、前景領域検出部１２１は、変化領域ごとの２値画像を生成してもよい。前景領域検出部１２１が変化領域ごとに２値画像を生成する方法については、前景領域検出部１２１の変形例として、後述される。

前景領域追跡部１２３は、前景領域検出部１２１が検出した変化領域を複数の撮像画像の間で追跡する。前景領域追跡部１２３は、追跡した結果に応じて、２値画像を第１抽出部１２４および第２抽出部１２５に供給したり、人物領域を抽出したりする。また、前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。

前景領域追跡部１２３は、例えば、前景領域検出部１２１から供給された検出結果（２値画像）を受け取る。また、前景領域追跡部１２３は、検出結果である２値画像に関連付けられた、その２値画像に関連する撮像画像の撮像時刻よりも前に撮像された撮像画像から生成された２値画像である前景情報１３３を第１記憶部１３０から取得する。そして、前景領域追跡部１２３は、各２値画像によって表される各変化領域を対応付ける処理を行うことにより、その変化領域を追跡する。

前景領域追跡部１２３は、様々な方法を用いて変化領域を追跡できる。前景領域追跡部１２３は、例えば、前景領域検出部１２１から供給された２値画像と、第１記憶部１３０から取得した前景情報１３３とによって表される変化領域の、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、前景領域追跡部１２３は、算出した類似度が最も高くなる変化領域同士を対応付けることで、変化領域を追跡する。また、色情報を検出結果に関連付ける構成の場合、前景領域追跡部１２３は、その色情報を用いて追跡を行ってもよい。前景領域追跡部１２３は、検出結果に関連付けられた変化領域の画像に基づいて追跡を行ってもよい。

前景領域追跡部１２３は、追跡した結果が所定の時間以上であるか、または、変化領域の移動量が所定の閾値以上であるかを確認する。なお、前景領域追跡部１２３が確認に用いる所定の時間および所定の閾値の値は任意である。

変化領域の移動量が所定の閾値未満であり、追跡した結果が所定の時間以上である場合、前景領域追跡部１２３は、前景領域検出部１２１から供給された検出結果である２値画像を第１抽出部１２４および第２抽出部１２５に供給する。このとき、前景領域追跡部１２３は、例えば、２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１３１を示す情報を付与して、その２値画像を第１抽出部１２４および第２抽出部１２５に供給する。前景領域追跡部１２３は、例えば、２値画像と共に、対応する撮像画像および背景情報１３１を第１抽出部１２４および第２抽出部１２５に供給してもよい。また、２値画像に複数の変化領域が含まれ、変化領域の何れかが所定の時間以上追跡されていない場合、前景領域追跡部１２３は、所定の時間以上追跡された変化領域を示す情報と共に、２値画像を第１抽出部１２４および第２抽出部１２５に供給してもよい。

なお、２値画像に複数の変化領域が含まれる場合、前景領域追跡部１２３は、１つの２値画像に１つの変化領域が含まれるように複数の２値画像を生成してもよい。例えば、所定の時間以上追跡された変化領域のみが含まれる２値画像を第１抽出部１２４および第２抽出部１２５に供給し、所定の時間以上追跡されていない変化領域が含まれる２値画像を破棄してもよい。なお、前景領域追跡部１２３は、前景領域検出部１２１から変化領域ごとの２値画像を検出結果として受け取ってもよい。

また、変化領域の移動量が所定の閾値以上である場合、前景領域追跡部１２３は、変化領域に含まれる物体が動体であると判定する。このように変化領域に含まれる物体が動体であると判定した場合、前景領域追跡部１２３は、その変化領域を第１抽出部１２４および第２抽出部１２５に供給することを抑制する。これにより、画像処理装置１００は「商品棚３の前に人物が存在することによる変化」など、商品の増減に無関係な商品棚３に関する変化を削除できる。これにより、商品の陳列状態をより正確に監視することが可能になる。

なお、前景領域追跡部１２３は、変化領域に含まれる物体が動体であると判定した判定結果を、その変化領域に関連付けて第１抽出部１２４および第２抽出部１２５に供給してもよい。そして、領域変化分類部１２６は、変化領域に判定結果が関連付けられている場合、この変化領域における商品棚３に関する変化を、商品棚３に陳列された商品以外の変化に関連する種類に分類してもよい。例えば、領域変化分類部１２６は、変化領域における商品棚３に関する変化を、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等、商品以外の変化に関する種類に分類してもよい。

前景領域追跡部１２３は、撮像画像から動体と判定した変化領域を人物領域として抽出する。具体的には、前景領域追跡部１２３は、撮像画像と、その撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。例えば、撮像画像がＲＧＢ画像である場合、抽出された人物領域も、ＲＧＢ画像である。

なお、前景領域追跡部１２３は、動体と判定された変化領域ごとに、その変化領域と同じ形状の領域の人物領域を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域を人物領域として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、前景領域追跡部１２３は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域を人物領域として抽出してもよい。

次に、前景領域追跡部１２３は、抽出した人物領域に撮像装置２のＩＤ（カメラＩＤ）や、例えば抽出した人物領域ごとに付与する人物ＩＤ、撮像画像上の位置、撮像画像の撮像時刻などを関連付ける。そして、前景領域追跡部１２３は、関連付けた情報を人物情報１３４として第１記憶部に格納する。なお、撮像画像上の位置は、例えば、動体と判定された変化領域の外接矩形の四隅の座標値で表現されてもよいし、四隅の少なくとも１か所の座標値と外接矩形の幅および高さで表現されてもよい。

また、前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。

前景領域追跡部１２３は、例えば、変化領域の追跡後、第１抽出部１２４および第２抽出部１２５に変化領域を示す検出結果を供給する場合に、値が１の更新信号を、変化領域を示す情報と共に背景情報更新部１２２供給する。値が１の更新信号は、背景情報１３１における変化領域に対応する部分の画像を更新することを示している。また、前景領域追跡部１２３は、第１抽出部１２４および第２抽出部１２５に検出結果を供給しない場合に、値が０の更新信号を、その変化領域を示す情報と共に背景情報更新部１２２に供給してもよい。値が０の更新信号は、背景情報１３１における変化領域に対応する部分の画像を更新しないことを示している。なお、第１抽出部１２４および第２抽出部１２５に検出結果を出力しない場合とは、例えば、追跡結果が所定の時間未満である場合、または、変化領域の移動量が所定の閾値以上である場合である。

なお、前景領域追跡部１２３は、上記例示した以外のタイミングで、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給してもよい。前景領域追跡部１２３は、例えば、画像処理装置１００の外部装置（図示せず）から送信される商品の購入情報や仕入情報、店員の作業情報等に基づいて、変化領域に含まれる商品が購入されたまたは補充された可能性が高いと判断される場合に、商品棚３の背景を更新するように値が１の更新信号を出力してもよい。前景領域追跡部１２３は、追跡の結果に含まれる追跡の時間等に基づいて、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給してもよい。

背景情報更新部１２２は、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された検出結果と、第１記憶部１３０に格納されている背景情報１３１（例えば、ＲＧＢ画像）と、前景領域追跡部１２３から供給された更新信号とに基づいて背景情報１３１を更新する。背景情報更新部１２２が背景情報１３１を更新する方法は特に限定されない。背景情報更新部１２２は、例えば、非特許文献１と同様の方法を用いて背景情報１３１を更新してもよい。

なお、背景情報更新部１２２は、背景情報１３１によって示される画像のうち、例えば、前景領域検出部１２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新しなくてもよい。背景情報更新部１２２は、例えば、上述した値が０の更新信号を前景領域追跡部１２３から受け取った場合、変化領域に対応する領域の背景情報を更新しない。

上述したように、前景領域追跡部１２３は、第１抽出部１２４および第２抽出部１２５に検出結果を出力しない場合、値が０の更新信号を背景情報更新部１２２に供給する。背景情報更新部１２２は、このように、追跡結果が第１の所定の条件を満たす場合に、値が０の更新信号を受け取り、変化領域に対応する領域の背景情報を更新しない。言い換えると、追跡結果が第１の所定の条件を満たす場合、背景情報更新部１２２は、背景情報１３１のうち、変化領域に対応する領域以外を更新する。これにより、第１取得部１１０が次に取得した撮像画像の、更新を行なわなかった領域に対応する領域が前景領域検出部１２１によって変化領域として検出されやすくなる。

また、背景情報更新部１２２は、例えば、前景領域追跡部１２３から供給された更新信号の値が１の場合に、背景情報１３１によって示されるＲＧＢ画像のうち、前景領域検出部１２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新する。上述したように、前景領域追跡部１２３は、追跡結果が所定の時間以上である場合、追跡した変化領域を表す検出結果を第１抽出部１２４および第２抽出部１２５に供給するとともに、値が１の更新信号を背景情報更新部１２２に供給する。つまり、追跡結果が所定の時間以上追跡された結果であるという第２の所定の条件を満たす場合、背景情報更新部１２２は、前景領域追跡部１２３から値が１の更新信号を受け取り、背景情報１３１におけるその変化領域に該当する部分の画像を更新する。これにより、背景情報更新部１２２は、第１記憶部１３０に格納された背景情報１３１をその時点において第１取得部１１０が取得した撮像画像に近づけることができる。したがって、画像処理装置１００は、上記変化領域に対応して次に第１取得部１１０が取得する撮像画像上の領域を、前景領域検出部１２１が変化領域として検出することを防ぐことができる。

第１抽出部１２４は、前景領域追跡部１２３から、検出結果である２値画像を受け取る。また、第１抽出部１２４は、２値画像の生成に用いた撮像画像を第１取得部１１０から取得する。なお、第１抽出部１２４は、撮像画像を２値画像と共に前景領域追跡部１２３から受け取ってもよい。

第１抽出部１２４は、撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部１２４は、撮像画像と、その撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。例えば、２値画像が図５（ｃ）の場合、第１抽出部１２４は、撮像画像から３つの第１注目画像を抽出する。例えば、撮像画像がＲＧＢ画像である場合、抽出された第１注目画像も、ＲＧＢ画像である。

なお、第１抽出部１２４は、変化領域ごとに、その変化領域と同じ形状の領域の第１注目画像を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域の画像を第１注目画像として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形など、どのような形状であってもよい。また、第１抽出部１２４は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域の画像を第１注目画像として抽出してもよい。

第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。なお、第１抽出部１２４が抽出した第１注目画像の撮像画像上における領域を第１注目領域とも呼ぶ。また、第１抽出部１２４は第１注目領域の位置情報を取得し、その位置情報と撮像時刻とを関連付けて、それらを第１関連性生成部１４０に供給する。なお、第１注目領域の位置情報は、例えば、第１注目領域の外接矩形の四隅の座標値でもよいし、四隅の少なくとも１か所の座標値と外接矩形の幅および高さで表現されてもよい。また、外接矩形が円形ならば、第１注目領域の位置情報は、例えば、円の中心座標と円の半径でもよい。また、外接矩形が楕円形ならば、第１注目領域の位置情報は、例えば、楕円の中心座標と楕円の長径と短径でもよい。

第２抽出部１２５は、前景領域追跡部１２３から、検出結果である２値画像を受け取る。また、第２抽出部１２５は、２値画像の生成に用いた背景情報１３１を第１記憶部１３０から取得する。なお、第２抽出部１２５は、背景情報１３１を２値画像と共に前景領域追跡部１２３から受け取ってもよい。

第２抽出部１２５は、背景情報１３１から変化領域の画像を抽出する。具体的には、第２抽出部１２５は、背景画像である背景情報１３１と２値画像とを用いて、２値画像における画素値が２５５の領域に対応する背景情報１３１上の領域の画像を第２注目画像として抽出する。第２注目画像の抽出方法は、第１注目画像の抽出方法と同様である。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。なお、第２抽出部１２５が抽出した第２注目画像の背景情報１３１上における領域を第２注目領域とも呼ぶ。

領域変化分類部１２６は、変化領域における商品棚３に関する変化を分類し、分類結果を第１関連性生成部１４０に供給する。領域変化分類部１２６は、第１抽出部１２４および第２抽出部１２５から供給された、第１注目領域および第２注目領域と、第１記憶部１３０に格納された棚変化モデル１３２とに基づいて、背景画像上の検出された変化領域に対応する領域の画像の状態から、撮像画像上の変化領域に対応する領域の画像の状態への変化を分類する。

画像の状態とは、例えば、画像に商品が含まれるまたは含まれない状態、画像に顧客が含まれるまたは含まれない状態、画像に買い物かごが含まれるまたは含まれない状態、画像に買い物カートが含まれるまたは含まれない状態等、である。領域変化分類部１２６は、棚変化モデル１３２に基づいて、変化領域における商品棚３に関する変化を、例えば、「商品棚３に商品が含まれなくなったことによる変化」、「商品棚３に商品が新たに含まれたことによる変化」、「商品棚３に陳列された商品の見た目が変わったことによる変化」、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などの、変化の種類に分類する。なお、領域変化分類部１２６が変化領域における状態の変化を分類する種類は、一例であり、これらに限定されない。

例えば、「商品棚３に商品が含まれなくなったことによる変化」は、「商品が取られたことによる変化」と言うこともでき、「商品棚３に商品が新たに含まれたことによる変化」は、「商品が商品棚に配置されたことによる変化」と言うこともできる。また、例えば、「照明が変わったことによる変化」は、「商品棚の環境の変化」と言うこともできる。また、領域変化分類部１２６は、商品棚の変化を、「商品の見た目が変わったことによる変化」に分類してもよい。「商品棚３の見た目が変わったことによる変化」は、さらに、例えば、「異なる商品が配置されたことによる見た目の変化」なのか、「商品の姿勢が変わったことによる見た目の変化」なのか等、更に詳細に分類されてもよい。

より詳細に説明すると、領域変化分類部１２６は、第１抽出部１２４から第１注目画像を受け取る。また、領域変化分類部１２６は、第２抽出部１２５から第２注目画像を受け取る。そして、領域変化分類部１２６は、第１記憶部１３０に格納された棚変化モデル１３２に基づいて、第２注目画像の状態から、その第２注目画像に対応する第１注目画像の状態への変化を、例えば上述した種類に分類する。言い換えると、領域変化分類部１２６は、第２注目画像の状態から第１注目画像の状態への変化を、棚変化モデル１３２と比較した結果に基づいて分類する。

図６は、領域変化分類部１２６が出力する分類結果の例を示す説明図である。領域変化分類部１２６は、例えば、図６に例示する分類結果９０を出力する。

図６に例示する通り、分類結果９０は、例えば、第２注目画像９１と、第１注目画像９２と、変化の種類９３とを含む。なお、図６に示す分類結果９０は一例であり、分類結果９０が図６に例示する情報以外の情報を含んでもよい。分類結果９０は、例えば、撮像画像に関する情報（識別子、撮像時刻など）や第１注目画像９２の撮像画像における位置を示す情報などを含んでもよい。

なお、領域変化分類部１２６は、例えば、棚変化モデル１３２を作成した機械学習法（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど）を用いて、商品棚３に関する変化を上述した種類の何れかに分類してもよい。

以上が、第１変化検出部１２０の構成の一例である。

第１関連性生成部１４０は、第１変化検出部１２０から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第１関連性生成部１４０は、第１記憶部１３０から人物情報１３４を取得する。そして、第１関連性生成部１４０は、変化領域の位置情報に対応するその変化領域の撮像時刻と、人物情報１３４に紐づいたその人物の撮像時刻とに基づいて、その変化領域に対応する商品（商品の陳列状態の変化）と人物との関係を示す、商品と人物の関連性情報を生成する。その後、第１関連性生成部１４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。

具体的には、第１関連性生成部１４０は、例えば、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、その変化領域と交差した人物を抽出する。そして、第１関連性生成部１４０は、抽出された人物の中で最もその変化領域の撮像時刻に近い時刻で撮像された人物とその変化領域とを関連付ける。

図７は、第１関連性生成部１４０が生成する商品と人物との関連性情報の例を示す説明図である。図７には、撮像装置のＩＤを示すカメラＩＤと、その撮像装置に映った人物を示す人物ＩＤと、商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。図７では、変化領域の位置情報は、変化領域の外接矩形の１つの隅の座標値と外接矩形の幅と高さで表現されている。また、変化の種類は、「商品が取られたことによる変化」を「商品減少」、「商品棚３に商品が新たに含まれたことによる変化」を「商品増加」として示されている。

ただし、関連性情報に領域変化分類部１２６が分類した内容そのものが含まれていてもよい。その場合、後述する買い物リスト更新部２２が、分類内容に基づいて買い物リストを更新する内容を判断する。

なお、第１関連性生成部１４０は、例えば、生成した人物と商品の関連性情報と、第１記憶部１３０に格納されている人物情報１３４とを関連付けて、関連性統合部１５０に供給してもよい。また、第１関連性生成部１４０は、撮像画像に関する情報（識別子、撮像時刻など）を関連性情報に付与してもよい。

関連性統合部１５０は、第１関連性生成部１４０から商品と人物の関連性情報を受け取る。そして、関連性統合部１５０は、受け取った関連性情報に同一人物の関連性情報が存在する場合、それらを１つに統合する。その後、関連性統合部１５０は、統合した関連性情報を買い物リスト管理装置２０に供給する。

関連性統合部１５０は、例えば、第１記憶部１３０の人物情報１３４に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、関連性統合部１５０は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。上述したように、関連性統合部１５０は、同一人物と判定した関連性情報を統合する。

図８は、図７に例示した商品と人物との関連性情報を統合した例を示す説明図である。図８に示す例では、図７に例示する人物ＩＤ＝１と人物ＩＤ＝４の関連性情報が１つに統合されている。また、図７に例示する人物ＩＤ＝２と人物ＩＤ＝３の関連性情報も１つに統合されている。つまり、図８では、図７に例示する人物ＩＤ＝１と人物ＩＤ＝４の人物が同一人物であり、図７に例示する人物ＩＤ＝２と人物ＩＤ＝３の人物が同一人物である場合の一例を示している。

なお、図８に示す例では、統合の一例として、関連性情報を統合する際に、２つの人物ＩＤを比較し、小さな値の人物ＩＤを統合後の関連性情報の人物ＩＤとして採用しているが、大きな値の人物ＩＤを採用してもよい。また、例えば、関連性情報を統合した後に、人物ＩＤを付与しなおしてもよい。また、後述する人物識別装置５０が人物を識別する際に使用した人物ＩＤが採用されてもよく、人物が携帯する端末１０を識別する識別情報が採用されてもよい。

また、関連性統合部１５０は、関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。関連性統合部１５０は、例えば、商品を取得した場所と商品を戻した場所を比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。

以下、図８を参照して、関連性統合部１５０の動作を具体的に説明する。関連性統合部１５０は、人物ＩＤごとに位置情報と変化の種類とを比較する。図７に示す例では、人物ＩＤ＝１の人物が、カメラＩＤ＝１の撮像装置に映る商品棚の（１０，０）の場所から商品を取得し、（２５０，３００）の場所に商品を戻している。また、取得した商品と戻した商品は、外接矩形の幅と高さがともに（３０，５０）であり、同一の商品と判断される。これより、関連性統合部１５０は、人物ＩＤ＝１の人物が、商品を取得した棚と同じ棚ではあるが異なる場所に戻したことを検知する。なお、人物ＩＤ＝２の人物は、同一の商品を取得した場所と同一の場所に戻している。そのため、関連性統合部１５０は、この行動を、商品が取られた場所とは異なる場所に戻されたとは検出しない。

このように、関連性統合部１５０は、例えば、同一人物が商品を異なる場所に戻したことを検知することで、商品が取られた場所とは異なる場所に戻されたことを検出する。なお、関連性統合部１５０は、例えば、同じ場所に戻したものの商品の見た目が変わっている場合などにも、商品が取られた場所とは異なる場所に戻されたと検出してもよい。

以上が、画像処理装置１００が有する各構成の一例である。

端末１０は、顧客が携帯する装置であり、例えば、携帯端末やタブレット端末等により実現される。端末１０は、顧客を識別する情報を記憶しており、後述する人物識別装置５０が、端末１０と顧客（人物）とを関連付ける際に利用される。端末１０は、例えば、顧客を識別する情報を、ラベル（バーコードなど）として表示してもよく、近距離無線通信で送信してもよい。

また、端末１０は、後述する通知部２３からの通知に応じ、人が知覚できる態様（表示、振動、光、音声など）で、各種情報を顧客に通知する。なお、通知部２３が通知する具体的な内容は後述される。

人物識別装置５０は、人物を識別する装置である。なお、本実施形態では、人物識別装置５０は、人物そのものの特性（例えば、性別、年齢、身長等）まで識別する必要はなく、他の人物と区別可能に識別できればよい。例えば、図８に示す例では、人物ＩＤ＝１の人物と、ＩＤ＝２の人物と、ＩＤ＝５の人物がそれぞれ別人であると識別できればよい。人物識別装置５０は、例えば、店舗に入口に設けられて、人物を識別する。

本実施形態では、人物識別装置５０は、撮像画像に基づいて人物を識別する。人物識別装置５０が人物を識別する方法は任意である。人物識別装置５０は、例えば、入店した人物を撮像した画像から、上述する関連性統合部１５０が人物の類似度を算出する際に用いる情報（人物領域の色、面積、形状および外接矩形のアスペクト比、など）を取得してもよい。そして、人物識別装置５０は、取得した情報を用いて人物を識別してもよい。

さらに、人物識別装置５０は、識別した人物と、その人物が携帯する装置（端末１０）とを関連付けてもよい。具体的には、人物識別装置５０は、店舗の入口に設けられたセンサ（図示せず）で端末１０を検知したときに人物を撮像し、撮像された画像で識別される人物と端末１０の識別情報とを関連付けてもよい。この場合、人物識別装置５０は、撮像装置およびセンサを含む装置により実現される。なお、この撮像装置とセンサとは別のハードウェアで実現されていてもよい。また、人物が携帯する装置は、携帯電話などのハードウェアに限定されず、例えば、ＩＣカードのような媒体であってもよい。

具体的には、顧客が端末１０にインストールされたアプリケーションプログラムを起動することで、顧客の識別情報を表示させ、顧客がその識別情報を人物識別装置５０に識別させたときに、人物識別装置５０が、人物と端末１０とを関連付けてもよい。

図９は、買い物リスト管理装置２０の構成例を示すブロック図である。買い物リスト管理装置２０は、買い物リストを人物ごとに管理する。買い物リスト管理装置２０は、買い物リスト生成部２１と、買い物リスト更新部２２と、通知部２３と、買い物リスト記憶部２４とを含む。

買い物リスト記憶部２４は、人物ごとに買い物リストを記憶する。買い物リスト記憶部２４は、例えば、上述する人物ＩＤと対応付けて買い物リストを記憶してもよい。また、買い物リスト記憶部２４は、上述する人物識別装置５０が、人物を識別した際に付与する識別子と対応付けて買い物リストを記憶してもよい。また、人物と端末１０とが対応付けられている場合、買い物リスト記憶部２４は、人物および端末１０を買い物リストと対応付けて記憶してもよい。

買い物リスト生成部２１は、買い物リストを生成し、買い物リスト記憶部２４に登録する。買い物リスト生成部２１は、例えば、人物識別装置５０が人物を識別したときに、その人物に対応する買い物リストを生成してもよい。また、買い物リスト生成部２１は、例えば、人物識別装置５０が人物と端末１０とを関連付けたときに、その人物に対応する買い物リストを生成してもよい。この場合、買い物リストが人物の所持する端末１０と対応付けられるため、後述する通知部２３が、買い物リストに生じた変化を、端末１０に通知することが可能になる。

また、セルフレジシステム１が人物識別装置５０を含まない場合（すなわち、端末１０と買い物リストとが関連付けられていない場合）、買い物リスト生成部２１は、第１関連性生成部１４０が人物と商品との関連性情報を生成したときに買い物リストを生成してもよい。この場合、買い物リスト生成部２１は、関連性統合部１５０が関連性情報を統合したときに、買い物リストも統合すればよい。このように、買い物リストは、各人物に対応づけて管理される。

買い物リスト更新部２２は、関連性統合部１５０から統合した関連性情報を受け取り、関連性統合部１５０が統合した関連性情報に基づいて、買い物リストの内容を更新する。具体的には、買い物リスト更新部２２は、関連性情報に含まれる商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、各人物に対応する買い物リストの内容を更新する。

本実施形態では、関連性情報には、商品棚の変化領域の位置情報と、その商品棚の変化の分類が含まれる。そこで、買い物リスト更新部２２は、陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定する。

買い物リスト更新部２２は、関連性統合部１５０によって新たに統合された関連性情報のみ（すなわち、差分情報）を受け取ってもよく、統合された関連性情報の全てを受け取ってもよい。差分情報を受け取った場合、買い物リスト更新部２２は、すでに生成されている買い物リストに対して、差分情報に含まれる商品を対象とした更新処理を行う。また統合された関連性情報の全てを受け取った場合、買い物リスト更新部２２は、その人物の買い物リスト全てを受け取った関連性情報に基づいて更新する。

棚割り情報は、各店舗の商品棚に対して予め準備された商品の配置位置を表す情報である。棚割り情報は、例えば、商品棚番号（段）および列の番号と、その番号の位置に配置される商品名とを対応付けた情報である。また、撮像装置２が撮像する位置と商品棚の位置とは予め対応付けて管理される。そのため、撮像装置２が撮像する画像の商品棚の領域と棚割り情報とを対応付けることで、商品を特定することが可能になる。

図１０は、棚割り情報の例を示す説明図である。図１０に示す例では、画像Ｉ１は、撮像装置であるカメラＩＤ＝１のカメラで撮像された画像であるとする。また、図１０に例示する棚割り情報Ｉ２は、商品棚の段および列で特定される範囲に配置される商品を表す。例えば、画像Ｉ１に含まれる商品Ｉ３の位置情報が、図８に例示する関連性情報の１行目の位置情報（すなわち、位置情報（１０，０，３０，５０））に一致するとする。この場合、買い物リスト更新部２２は、商品Ｉ３を、棚割り情報Ｉ２の１段目の１列に対応付けられた商品ａであると特定する。

また、上述するように、関連性情報には、商品棚の変化領域の分類結果が含まれる。すなわち、関連性情報から商品棚の変化の分類を特定することが可能である。そこで、買い物リスト更新部２２は、人物が商品を手に取ったことに起因する商品棚の変化に分類される商品を、商品が配置された商品棚の棚割り情報に基づいて特定する。そして、買い物リスト更新部２２は、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う。人物が商品を手に取ったことに起因する商品棚の変化は、上述する例では、「商品が取られたことによる変化」に対応し、変化の種類では、「商品減少」に対応する。

買い物リスト更新部２２は、商品を買い物リストに登録するための登録処理として、人物に対応する買い物リストにその商品を登録する処理を行う。また、買い物リスト更新部２２は、登録処理として、後述する通知部２３に商品を登録した旨の情報を端末１０に対して通知させてもよい。その際、通知部２３は、正しい商品が買い物リストに追加されたか否かを端末１０を介して顧客に問い合わせてもよい。

さらに、買い物リスト更新部２２は、人物が商品を戻したことに起因する商品棚の変化に分類される商品を、商品が配置された商品棚の棚割り情報に基づいて特定する。そして、買い物リスト更新部２２は、特定された商品を人物に対応する買い物リストから削除するための削除処理を行う。人物が商品を戻したことに起因する商品棚の変化は、上述する例では、「商品が商品棚に配置されたことによる変化」に対応し、変化の種類では、「商品増加」に対応する。

買い物リスト更新部２２は、商品を買い物リストから削除するための削除処理として、人物に対応する買い物リストからその商品を削除する処理を行う。また、買い物リスト更新部２２は、削除処理として、後述する通知部２３に商品を削除した旨の情報を端末１０に対して通知させてもよい。その際、通知部２３は、正しい商品が買い物リストから削除されたか否かを端末１０を介して顧客に問い合わせてもよい。

また、買い物リスト更新部２２は、買い物リストからその商品をすぐには削除せず、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定してもよい。そして、買い物リスト更新部２２は、後述する通知部２３に削除フラグが設定された旨の情報を端末１０に対して通知させてもよい。その際、同様に、通知部２３は、削除フラグが設定された商品が削除すべき商品か否かを端末１０を介して顧客に問い合わせてもよい。そして、買い物リスト更新部２２は、通知した人物が携帯する端末１０を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、その商品を削除する指示を受信した場合に、買い物リストからその商品を削除してもよい。

また、買い物リスト更新部２２は、買い物リストの内容を更新するごとに、通知部２３に対して端末１０に買い物リストを送信させてもよい。

通知部２３は、買い物リストの情報を端末１０に通知する。上述するように、通知部２３は、買い物リスト更新部２２の処理に応じ、商品の登録および削除、並びに、削除フラグが設定された旨を端末１０に通知してもよい。

また、通知部２３は、買い物リストに削除フラグが設定されている商品が存在する場合、後述する決済装置４０に、決済処理を停止する旨を通知してもよい。このような通知を行うことで、未承認の商品が決済されてしまうことを防止できる。

出力装置３０は、買い物リストの内容を出力する。出力装置３０は、例えば、後述する決済装置４０の近傍に設置され、決済処理の際に買い物リストの内容を出力してもよい。なお、端末１０に買い物リストの内容が出力可能な場合、セルフレジシステム１は、出力装置３０を備えていなくてもよい。出力装置３０は、例えば、ディスプレイなどの表示装置であってもよいし、ＰＯＳ（ｐｏｉｎｔ ｏｆ ｓａｌｅｓ）端末であってもよい。また、出力装置３０はこれらに限定されず、例えば、スピーカや携帯端末であってもよい。

決済装置４０は、買い物リストの内容に基づいて決済処理を行う。例えば、買い物リストが端末１０に関連付けられている場合、決済装置４０は、買い物リストに関連付けられた端末１０に合計金額を通知し、決済処理を行ってもよい。なお、決済装置４０が個人の端末１０を介して決済を行う方法は広く知られており、ここでは詳細な説明は省略する。

一方、買い物リストが端末１０に関連付けられていない場合、決済装置４０は、出力装置３０に買い物リストの内容および合計金額を表示させ、顧客からの入金や、カード支払等の決済処理を受け付けてもよい。なお、入金やカード支払いに基づく決済方法も広く知られているため、ここでは詳細な説明は省略する。

また、決済装置４０は、上述する通知部２３より、決済処理を停止する旨の通知（具体的には、削除フラグが設定されている商品が残っている旨の通知）を受信した場合、その買い物リストに基づく決済処理を停止し、各種アラートを表示してもよい。決済装置４０は、例えば、端末１０に削除フラグが残っている旨の通知を行ってもよい。また、決済装置４０は、例えば、出力装置３０に削除フラグが設定されている商品を表示したり音声案内したりすることで、顧客に確認を促してもよい。

画像処理装置１００（より具体的には、第１取得部１１０と、第１変化検出部１２０と、第１関連性生成部１４０と、関連性統合部１５０）は、プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像処理装置１００が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、第１取得部１１０、第１変化検出部１２０、第１記憶部１３０、第１関連性生成部１４０および関連性統合部１５０として動作してもよい。

また、画像処理装置１００に含まれる第１取得部１１０、第１変化検出部１２０、第１記憶部１３０、第１関連性生成部１４０および関連性統合部１５０は、それぞれが専用のハードウェアで実現されていてもよい。

また、買い物リスト管理装置２０（より具体的には、買い物リスト生成部２１と、買い物リスト更新部２２と、通知部２３）も、プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、買い物リスト管理装置２０が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、買い物リスト生成部２１、買い物リスト更新部２２および通知部２３として動作してもよい。また、買い物リスト管理装置２０に含まれる買い物リスト生成部２１、買い物リスト更新部２２および通知部２３は、それぞれが専用のハードウェアで実現されていてもよい。

次に、図１１を参照して、本実施形態の画像処理装置１００の動作を説明する。図１１は、本実施形態の画像処理装置１００の動作例を示すフローチャートである。

第１取得部１１０は、商品棚３を撮像した映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ１００１）。第１取得部１１０は、取得した撮像画像を第１変化検出部１２０に供給する。

第１変化検出部１２０の前景領域検出部１２１は、第１取得部１１０から供給されたＲＧＢ画像である撮像画像と、第１記憶部１３０に格納されているＲＧＢ画像である背景情報１３１とを用いて、２つのＲＧＢ画像の間で変化した領域を変化領域（前景領域）として検出する（ステップＳ１００２）。そして、前景領域検出部１２１は、変化領域の検出結果を背景情報更新部１２２と前景領域追跡部１２３に供給する。前景領域検出部１２１は、例えば、検出した変化領域の画素を２５５とし、その他の領域の画素を０とした２値画像を生成し、その２値画像を、変化領域の検出結果として背景情報更新部１２２と前景領域追跡部１２３に供給する。

また、前景領域検出部１２１は、第１記憶部１３０に前景情報１３３を格納する（ステップＳ１００３）。上述した通り、前景情報１３３は、撮像時刻が関連付けられた検出結果である。

前景領域追跡部１２３は、前景領域検出部１２１から供給された検出結果と、前景情報１３３とに基づいて、変化領域を追跡する（ステップＳ１００４）。前景領域追跡部１２３は、所定の時間以上追跡した変化領域を示す２値画像を、第１抽出部１２４と第２抽出部１２５に供給する。前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。

なお、前景領域追跡部１２３は、追跡の結果、変化領域の移動量が所定の閾値以上である場合、変化領域に含まれる物体が動体であると判定して、判定した変化領域を人物領域として抽出する。その後、前景領域追跡部１２３は、人物領域に所定の情報を関連付けて人物情報１３４として第１記憶部に格納する。

背景情報更新部１２２は、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された変化領域の検出結果と、背景情報１３１と、前景領域追跡部１２３から供給された更新信号とに基づいて、背景情報１３１を更新する（ステップＳ１００５）。なお、ステップＳ１００５は、ステップＳ１００４以降の任意のタイミングで行われてもよい。

第１抽出部１２４は、第１取得部１１０から供給された撮像画像と、前景領域追跡部１２３から供給されたその撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１００６）。第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。

第２抽出部１２５は、前景領域追跡部１２３から供給された検出結果と、第１記憶部１３０から取得した、その検出結果を得るために用いた背景情報１３１とに基づいて、第１抽出部１２４と同様の動作により、背景情報１３１から第２注目画像を抽出する（ステップＳ１００７）。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。なお、ステップＳ１００６とステップＳ１００７とは同時に行われてもよいし、逆順で行われてもよい。

領域変化分類部１２６は、第１抽出部１２４から供給された第１注目画像と、第２抽出部１２５から供給された第２注目画像と、第１記憶部１３０に格納された棚変化モデル１３２とに基づいて、商品棚３に関する変化を分類する（ステップＳ１００８）。具体的には、商品棚３に関する変化は、第２注目画像における状態から第１注目画像における状態への変化である。

第１関連性生成部１４０は、第１変化検出部１２０の領域変化分類部１２６から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第１関連性生成部１４０は、第１記憶部１３０から人物情報１３４を取得する。そして、第１関連性生成部１４０は、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、その変化領域と交差した人物を抽出する。その後、第１関連性生成部１４０は、抽出された人物の中で最もその変化領域の撮像時刻に近い時刻で撮像された人物とその変化領域を関連付ける（ステップＳ１００９）。これにより、第１関連性生成部１４０は、関連性情報を生成する。

関連性統合部１５０は、第１関連性生成部１４０から商品と人物の関連性情報を受け取り、同一人物の関連性情報が存在する場合、それらを１つに統合する。関連性統合部１５０は、例えば、第１記憶部１３０の人物情報１３４に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、関連性統合部１５０は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。その後、関連性統合部１５０は、同一人物と判定した人物を含む関連性情報を１つに統合する（ステップＳ１０１０）。

画像処理装置１００は、第１取得部１１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ１０１１）。次の撮像画像がある場合（ステップＳ１０１１にてＹＥＳ）、処理はステップＳ１００１に移行する。一方、次の撮像画像がない場合（ステップＳ１０１１にてＮＯ）、画像処理装置１００は、動作を終了する。

次に、図１２を参照して、本実施形態のセルフレジシステム１の動作を説明する。図１２は、本実施形態のセルフレジシステム１の動作例を示すフローチャートである。まず、顧客（人物）が店舗に来店すると、人物識別装置５０は、人物を識別し、その人物と端末１０とを関連付ける（ステップＳ１１０１）。また、買い物リスト生成部２１は、その人物に対応する買い物リストを生成する（ステップＳ１１０２）。顧客が入店後、撮像装置２は、撮像画像を取得する（ステップＳ１１０３）。画像処理装置１００は、撮像画像に基づいて、商品棚の変化領域を検出する（ステップＳ１１０４）。そして、画像処理装置１００は、検出された変化領域における商品棚の変化を分類する（ステップＳ１１０５）。画像処理装置１００は、商品棚の変化の分類と商品棚の棚割り情報とに基づいて、人物に対応する買い物リストを更新する（ステップＳ１１０６）。

その後、決済装置４０は、買い物リストの内容に基づいて決済処理を行う（ステップＳ１１０７）。

以上のように、本実施形態では、第１変化検出部１２０（より詳しくは、前景領域検出部１２１）が、商品棚が撮影された映像から商品棚の変化領域を検出する。また、第１変化検出部１２０（より詳しくは、領域変化分類部１２６）が、検出された変化領域における商品棚の変化を分類する。そして、買い物リスト更新部２２が、商品棚の変化の分類と、商品棚の棚割り情報に基づいて、顧客の買い物リストを生成する。そのため、個々の商品の画像を予め準備することなく、顧客が購入する商品を適切に管理できる。

また、例えば、一般的に知られている背景差分方式では、検出を抑制する情報を背景に定義するだけで、それ以外の情報を検出できるため、事前に対象物の参照画像を収集する必要はない。しかし、画像差分として検出される商品棚の変化は複数存在する。そのため、一般的な背景差分方式のみ用いた場合、正確に商品棚の変化を認識することはできない。

例えば、「商品が取られた」、「商品が配置（補充）された」、商品が一度手に取られた後に戻されて「見え方や位置が変わった」、「照明が変化した」などは、いずれも商品棚の変化として検出される。しかし、「商品が取られた」ことによる変化は、商品棚から商品が減ったことを示し、「商品が配置（補充）された」は、商品棚に商品が増えたことを示す。また、「見え方や位置が変わった」や「照明が変化した」ことによる変化は、商品棚から商品が増減したわけではない。

そのため、一般的な技術を用いただけでは、画像差分として検出された商品棚の変化の種類を特定できず、商品の陳列状態を正確に把握できないという問題がある。

しかし、本実施形態では、領域変化分類部１２６が、検出された変化領域における商品棚の変化を分類する。具体的には、領域変化分類部１２６は、時間の変化の前後に応じた商品棚３の変化をモデル化した棚変化モデル１３２を用いて、変化領域の画像から、商品棚の変化を分類する。この棚変化モデル１３２によって、商品が取られたことによる変化、商品棚の店舗の環境の変化、商品が商品棚に配置されたことによる変化、商品の見た目が変わったことによる変化などを分類することが可能になる。その結果、画像処理装置１００は、商品が取られた状態であるのか、商品棚３が補充された状態であるのかなどの商品棚３の状態をより正確に判別することができる。

さらに、本実施形態の画像処理装置１００は、上述するように、商品が取られた場所とは異なる場所に戻されたことを検出できる。例えば、冷蔵商品を常温棚に戻すなど、商品が取られた場所とは異なる場所に戻されると、販売機会損失や商品廃棄ロスなどが発生し店舗の売上に大きな影響を及ぼす。そのため、このような事態が発生した場合には、それを解消するための商品管理作業を速やかに実施することが好ましい。本実施形態の画像処理装置１００を用いることで、商品が取られた場所とは異なる場所に戻されることによる販売機会損失や商品廃棄ロスなどの発生を低減させることができる。

なお、本実施形態において、撮像装置２が商品棚３を撮像する場合について説明した。ただし、撮像装置２が撮像する対象は、商品棚３に限定されない。撮像装置２は、例えば、ワゴンに積層された商品を撮像してもよい。すなわち、撮像装置２が撮像する撮像画像は、ワゴンに積層された商品を撮像した撮像画像であってもよい。画像処理装置１００は、ワゴンに積層された商品を撮像した撮像画像と、背景画像とを比較して、変化領域を検出してもよい。以上のように、画像処理装置１００は、商品のフェイスが全て見えるように陳列された商品棚に限定されず、様々な陳列方法で陳列された商品を撮像した撮像画像を用いることができる。

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。第２の実施形態では、複数台の撮像装置２でそれぞれ異なる種類の画像を取得して商品棚３を監視するセルフレジシステム１について説明する。本実施形態では、複数の撮像装置２で、ＲＧＢ画像および距離画像が取得される場合について説明する。撮像装置２は、例えば、ＲＧＢ画像を取得するＲＧＢカメラと、距離画像を取得するデプスカメラであってもよい。

この場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ対象（商品棚３）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に商品棚３を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮影時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。撮像装置２は、例えば、ＲＧＢＤカメラであってもよい。

本実施形態における画像処理装置２００は、第１の実施形態で説明した図１に示す画像処理装置１００と同様に、端末１０、撮像装置２、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０と通信可能に接続している。なお、本実施形態の端末１０、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０は、第１の実施形態と同様である。

図１３は、画像処理装置２００の構成例を示す説明図である。本実施形態の画像処理装置２００は、第１取得部１１０と、第２取得部２１０と、第２変化検出部２２０と、第２記憶部２３０と、第２関連性生成部２４０と、関連性統合部１５０とを含む。このように、画像処理装置２００は、画像処理装置１００が有する構成に加えて、第２取得部２１０を含む。また、画像処理装置１００が有する第１変化検出部１２０、第１記憶部１３０および第１関連性生成部１４０に代えて、第２変化検出部２２０、第２記憶部２３０および第２関連性生成部２４０を含む。

なお、上記では、前述した第１の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。

図１４は、第２変化検出部２２０および第２記憶部２３０の構成例を示すブロック図である。図１４に例示する通り、第２変化検出部２２０は、前景領域検出部１２１と、背景情報更新部１２２と、前景領域追跡部１２３と、第１抽出部１２４と、第２抽出部１２５と、領域変化分類部１２６と、距離情報更新部１２７とを有する。また、第２記憶部２３０は、背景情報１３１と、棚変化モデル１３２と、前景情報１３３と、人物情報１３４と、距離情報１３５とを記憶する。

第１取得部１１０は、第１の実施形態と同様に、ＲＧＢ画像である撮像画像を取得する。以降、第１取得部１１０が取得するＲＧＢ画像である撮像画像を第１撮像画像と呼ぶ。

第２取得部２１０は、第１取得部１１０と同様に撮像装置２が商品棚３を撮像することによって得た撮像画像を示す映像信号を受け取り、その映像信号から距離画像を取得する。第２取得部２１０は、第１取得部１１０が取得する映像信号とは異なる種類の映像信号を受け取る。例えば、第１取得部１１０が取得する映像信号がＲＧＢ画像を表す映像信号の場合、第２取得部２１０は、距離画像を表す映像信号を取得する。ここで、距離画像は、例えば、撮像装置２から対象物までの距離の値を持った画像を意味してもよい。また、距離画像の各画素は、例えば、０から２５５の値で表されていてもよい。このとき、各画素の値（すなわち、距離値）は、例えば、撮像装置２に対象物が近ければ０に近づき、対象物が遠ければ２５５に近づくようにしてもよい。なお、距離画像の各画素の値はこれに限定されない。本実施形態では、第２取得部２１０が取得する撮像画像が、グレースケールの距離画像であるとして説明を行う。

なお、第２取得部２１０は、第１取得部１１０と同様に、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。また、画像処理装置１００が撮像装置２に内蔵されている場合、第２取得部２１０は、撮像画像そのものを取得してもよい。

第２取得部２１０は、取得した映像信号を、その映像信号を表す距離画像に変換し、その距離画像を、第１抽出部１２４、第２抽出部１２５および距離情報更新部１２７に供給する。第２取得部２１０が映像信号を変換することによって得た距離画像、または、撮像装置２から取得した撮像画像を、以下、第２撮像画像と呼ぶ。

なお、第１取得部１１０と、第２取得部２１０とは、一体になって形成されてもよい。また、第１撮像画像と第２撮像画像とは、撮像された位置を示す情報および撮像時刻に基づいて、互いに関連付けられている。

本実施形態の第２記憶部２３０は、距離情報１３５を格納する。距離情報１３５については後述される。

第１抽出部１２４は、第２撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部１２４は、第２取得部２１０から供給された距離画像である第２撮像画像と、前景領域検出部１２１から供給された検出結果である２値画像とを用いて、２値画像における画素値が２５５の領域に対応する第２撮像画像上の領域の画像を第１注目画像として抽出する。第１抽出部１２４は、第１の実施形態と同様の方法で第１注目画像を抽出すればよい。そして、第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。

第２抽出部１２５は、前景領域検出部１２１が２値画像を生成する際に用いた第１撮像画像に関連付けられた第２撮像画像である距離画像が、撮像された時刻より前の距離画像から、変化領域の画像を抽出する。具体的には、第２抽出部１２５は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第２抽出部１２５は、２値画像の生成に用いた第１撮像画像の撮像時刻よりも前に撮像された第２撮像画像である、距離情報１３５を第２記憶部２３０から取得する。距離情報１３５は、後述する第２取得部２１０によって更新される第２撮像画像であり、第２取得部２１０が取得した距離画像である。距離情報１３５には、撮像時刻が関連付けられている。上述した通り、第１撮像画像と第２撮像画像とは時刻同期がとられているため、第１撮像画像の撮像時刻と、その第１撮像画像に関連付けられた第２撮像画像の撮像時刻とは略同じになる。したがって、第２抽出部１２５は、第１抽出部１２４が抽出処理を行う対象の第２撮像画像よりも前に撮像された（過去の）第２撮像画像から、変化領域の画像を第２注目画像として抽出すると言える。

なお、第２抽出部１２５は、第１抽出部１２４が第１注目画像を抽出する方法と同様の方法で第２注目画像を抽出する。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。

距離情報更新部１２７は、第２取得部２１０から供給された距離画像と、第２記憶部２３０に格納されている距離情報１３５とに基づいて、距離情報１３５を更新する。距離情報更新部１２７は、例えば、背景情報更新部１２２と同様の動作により、距離情報１３５を更新してもよい。

領域変化分類部１２６は、変化領域における距離情報１３５に基づいて、変化領域における商品棚３に関する変化を分類する。まず、第１抽出部１２４から第１注目画像を受け取る。また、領域変化分類部１２６は、第２抽出部１２５から第２注目画像を受け取る。領域変化分類部１２６は、第１注目画像と第２注目画像とに基づいて、変化領域における商品棚３に関する変化を分類する。

領域変化分類部１２６は、例えば、第１注目画像における各画素の値（距離値）から第２注目画像における各画素の値（距離値）を減算することにより得られた演算結果に基づいて、変化を分類してもよい。例えば、演算結果が第１の所定の閾値以上の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２注目画像に含まれる対象物より奥にある場合、領域変化分類部１２６は、変化領域における商品棚３に関する変化を「商品棚３に商品が含まれなくなったことによる変化」（「商品が取られたことによる変化」）と分類してもよい。また、例えば、演算結果が第２の所定の閾値以下の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２の注目画像に含まれる対象物よりも撮像装置２側にある場合、領域変化分類部１２６は、変化領域における商品棚３に関する変化を「商品棚３に商品が新たに含まれたことによる変化」と分類してもよい。また、それ以外の場合、領域変化分類部１２６は、変化領域における商品棚３に関する変化を「商品棚３に陳列された商品の見た目が変わったことによる変化」または「照明が変わったことによる変化」等に分類してもよい。

また、領域変化分類部１２６は、例えば、第１注目画像における各画素の距離値と第２注目画像における各画素の距離値とをクラスタリングし、最も要素数の多いクラスの距離値を、各注目画像を代表する距離値とし、さらに各注目画像のクラスのクラスタの座標を求めてもよい。そして、領域変化分類部１２６は、例えば、各注目画像を代表する距離値の差分の絶対値が第３の所定の閾値以内であり、かつ、各注目画像のクラスのクラスタの座標が第４の所定の閾値以上離れている場合に、変化領域における商品棚３に関する変化を「商品棚３に陳列された商品の見た目が変わったことによる変化」に分類してもよい。

また、領域変化分類部１２６は、例えば、事前に設定した、撮像装置２から商品棚３までの距離値から第１注目画像を代表する距離値を減算した結果を用いて、変化領域における商品棚３に関する変化を、商品棚３に陳列された商品の変化に関連する種類または商品棚３に陳列された商品以外の物体による変化に関する種類に分類してもよい。例えば、上記結果が正の値ならば、すなわち、撮像画像のうちの変化領域の部分の画像に含まれる対象物が撮像装置２と商品棚３との間に存在するならば、領域変化分類部１２６は、その変化領域における商品棚３に関する変化を「商品棚３に陳列された商品以外の物体による変化」に関する種類に分類してもよい。「商品棚３に陳列された商品以外の物体による変化」に関する種類とは、例えば、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」および「商品棚３の前に人物と買い物かごとがあることによる変化」の少なくとも１つである。また、上記結果が正の値以外ならば、領域変化分類部１２６は、その変化領域における商品棚３に関する変化を「商品棚３に陳列された商品の変化」に関連する種類に分類してもよい。このように、領域変化分類部１２６は、第１注目画像と事前に設定された距離値とを用いて分類処理を行うことにより、分類処理にかかる処理コストを低減させることができる。

なお、画像処理装置２００（より具体的には、第１取得部１１０と、第２取得部２１０と、第２変化検出部２２０と、第２関連性生成部２４０と、関連性統合部１５０）は、プログラムに従って動作するコンピュータのＣＰＵによって実現される。

以上が、画像処理装置２００に特徴的な構成の一例である。

次に、図１５を参照して、本実施形態の画像処理装置２００の動作を説明する。図１５は、本実施形態の画像処理装置２００の動作例を示すフローチャートである。

第１取得部１１０は、商品棚３を撮像した映像信号からＲＧＢ画像である第１撮像画像を取得する（ステップＳ２００１）。また、第２取得部２１０は、商品棚３を撮像した映像信号から距離画像である第２撮像画像を取得する（ステップＳ２００２）。なお、第２撮像画像の撮像時刻は、第１撮像画像の撮影時刻から所定の時間内であり、第２撮像画像の撮像範囲が第１撮像画像の撮像範囲であればよい。また、第２取得部２１０が第２撮像画像を取得するタイミングは、ステップＳ２００５の前までであればよい。

前景領域検出部１２１が変化領域を検出し（ステップＳ２００３）、背景情報更新部１２２が背景情報１３１を更新する（ステップＳ２００４）。第１抽出部１２４は、第２取得部２１０から供給された第２撮像画像と、前景領域検出部１２１から供給された検出結果とに基づいて、第２撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ２００５）。第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。

また、第２抽出部１２５が、前景領域検出部１２１から供給された検出結果と、第２記憶部２３０から取得した、第１抽出部１２４に供給された第２撮像画像の撮像時刻よりも前に撮像された第２撮像画像を示す距離情報１３５とに基づいて、第１抽出部１２４と同様の動作により、距離情報１３５から第２注目画像を抽出する（ステップＳ２００６）。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。なお、ステップＳ２００５とステップＳ２００６とは同時に行われてもよいし、逆順で行われてもよい。そして、領域変化分類部１２６が第１注目画像の各画素の値と、第２注目画像の各画素の値との比較結果に基づいて、変化領域における商品棚３に関する変化を分類する（ステップＳ２００７）。また、距離情報更新部１２７は、第２取得部２１０から供給された第２撮像画像と、距離情報１３５とに基づいて、距離情報１３５を更新する（ステップＳ２００８）。

以降、画像処理装置２００が図１１に例示するステップＳ１００９からステップＳ１０１０までの処理と同様の処理を行うことにより、第２関連性生成部２４０が関連性を生成し（ステップＳ２００９）、関連性統合部１５０が関連性情報を統合する（ステップＳ２０１０）。

画像処理装置２００は、第１取得部１１０および第２取得部２１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ２０１１）。次の撮像画像がある場合（ステップＳ２０１１にてＹＥＳ）、処理はステップＳ２００１に移行する。一方、次の撮像画像がない場合（ステップＳ２０１１にてＮＯ）、画像処理装置２００は、動作を終了する。

以上のように、本実施形態では、前景領域検出部１２１が、商品が撮像されている撮像画像として、ＲＧＢ画像およびそのＲＧＢ画像の撮像範囲を撮像した距離画像に基づいて、商品が配置された商品棚の変化領域を検出する。よって、商品棚の変化をより正確に判別できるため、顧客が購入する商品をより適切に管理できる。

［第３の実施形態］
次に、本発明の第３の実施形態を説明する。第３の実施形態では、第１の実施形態で説明した画像処理装置１００が有する構成に加えて、顧客の動線データを生成するための構成を有する画像処理装置３００について説明する。後述するように、画像処理装置３００は、生成した動線データを用いて関連性情報を生成する。これにより、より高精度に顧客の動線データを取得できるため、顧客が購入する商品を適切に管理することが可能になる。

図１６は、本発明によるセルフレジシステムの第３の実施形態の構成例を示す説明図である。本実施形態のセルフレジシステム４は、商品棚３を撮像する撮像装置２に加えて、一般的な監視カメラと同様に店舗内の通路を撮像する撮像装置５を備えている。また、撮像装置５は、撮像装置２と同様に、ネットワークＮを介して端末１０、買い物リスト管理装置２０、出力装置３０、決済装置４０、人物識別装置５０および画像処理装置３００と通信可能に接続されている。なお、本実施形態の端末１０、撮像装置２、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０も、第１の実施形態と同様である。

撮像装置５は、例えば、店舗などに設置されている監視カメラである。撮像装置５は、例えば、店舗内の各通路を撮像可能な位置に設置されている。撮像装置５の構成は、撮像装置２と同様でもよい。

なお、セルフレジシステム４は、撮像装置５を１つ有してもよいし、複数有してもよい。つまり、セルフレジシステム４は、１台の撮像装置５により店舗内の各通路を撮像してもよいし、複数台の撮像装置５により店舗内の各通路を撮像してもよい。また、本実施形態では、セルフレジシステム４が撮像装置２と別の撮像装置５を有する場合について説明する。ただし、セルフレジシステム４は、例えば、複数の撮像装置２が撮像した撮像画像に基づいて顧客の動線データを取得してもよい。つまり、セルフレジシステム４は、商品棚３を撮像する複数の撮像装置２が撮像した撮像画像に基づいて顧客の動線データを取得してもよい。

画像処理装置３００は、撮像装置５が撮影したＲＧＢ画像から顧客の店舗内での移動経路を示す動線データを生成する。そして、画像処理装置３００は、生成した動線データと商品棚３の変化領域とに基づいて、商品と人物の関連性情報を生成する。

図１７は、画像処理装置３００の構成例を示すブロック図である。図１７に示す通り、本実施形態の画像処理装置３００は、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部３４０と、第３取得部３１０と、動線データ生成部３２０と、関連性統合部１５０とを含む。このように、本実施形態の画像処理装置３００は、画像処理装置１００の第１関連性生成部１４０に代えて、第１関連性生成部３４０を含む。さらに、画像処理装置３００は、画像処理装置１００が有する構成に加えて、第３取得部３１０と動線データ生成部３２０とを含む。

なお、上記では、前述した第１の実施形態、第２の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。

第３取得部３１０は、第１取得部１１０と同様の動作により、撮像装置５からＲＧＢ画像を取得し、動線データ生成部３２０にＲＧＢ画像を供給する。なお、第３取得部３１０が取得するＲＧＢ画像は、一般的な監視カメラと同様に店舗の通路を撮像した画像である。

動線データ生成部３２０は、少なくとも１つの撮像装置５で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する。動線データ生成部３２０が生成する動線データは、例えば、顧客を識別する人物ＩＤと、顧客が訪問した商品棚３の識別子である商品棚ＩＤと、を含む情報である。動線データ生成部３２０が動線データを生成する方法は特に限定されない。動線データ生成部３２０は、例えば、特許文献２に記載の方法を用いて動線データを生成してもよい。つまり、動線データ生成部３２０は、例えば、人物の顔認識を行って同一のデータが得られる人物を同一人物として検出したり、服装などの顧客の特徴を示す情報を抽出して同一人物を検出したりすることで、撮像画像中の顧客を識別する。また、動線データ生成部３２０は、顧客が商品棚３の前に一定時間留まった、顧客と商品棚３との間の距離が所定距離以下になった、などの方法により、顧客が商品棚３を訪問したと判断する。そして、動線データ生成部３２０は、顧客を識別するための人物ＩＤと顧客が訪れた商品棚ＩＤとを対応付けることで動線データを生成する。なお、動線データ生成部３２０は、上記例示した以外の方法を用いて動線データを生成してもよい。

図１８は、動線データ生成部３２０が生成する動線データの例を示す説明図である。図１８に示す動線データは、人物を示す人物ＩＤと、その人物が訪れた商品棚を示す商品棚ＩＤと、その商品棚を撮像している撮像装置を示すカメラＩＤとを含む。図１８に示す例では、３人の人物が商品棚Ａを訪れたことを示し、人物ＩＤ＝１の人物と人物ＩＤ＝２の人物が２回商品棚Ａを訪れたことを示す。なお、図１８に示す例では、人物が商品棚を訪問した時刻は明示されていないが、動線データは、その各商品棚に訪問した時刻を含んでいてもよい。図１８に示す例では、上の行から順番に古い順に商品棚Ａを訪問していることを示す。

動線データ生成部３２０は、例えば、図１８で示すような動線データを生成する。そして、動線データ生成部３２０は、生成した動線データとその動線データの撮像画像の時刻とを関連付けて、第１関連性生成部３４０に供給する。言い換えると、動線データ生成部３２０は、動線データ中の各人物が各商品棚を訪問した時間を動線データに含めて第１関連性生成部３４０に供給する。

第１関連性生成部３４０は、第１変化検出部１２０から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第１関連性生成部３４０は、動線データ生成部３２０から動線データを取得する。そして、第１関連性生成部３４０は、変化領域の位置情報に紐づいた変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいてその変化領域に対応する商品と人物の関連性情報を生成する。その後、第１関連性生成部３４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。

具体的には、第１関連性生成部３４０は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最もその変化領域の撮像時刻に近い時刻に商品棚に訪れた人物とその変化領域を関連付ける。

図１９は、第１関連性生成部３４０が生成する商品と人物の関連性情報の例を示す説明図である。図１９には、撮像装置のＩＤを示すカメラＩＤと、その撮像装置に映った人物を示す人物ＩＤと、商品棚を示す商品棚ＩＤと、その商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。

このように、第１関連性生成部３４０は、人物情報１３４の代わりに動線データを用いることで関連性情報を生成する。なお、第１関連性生成部３４０は、関連性情報を生成する際に人物情報１３４も用いてもよい。

関連性統合部１５０は、第１関連性生成部３４０から商品と人物の関連性を受け取り、同一人物の関連性が存在する場合、それらを１つに統合する。そして、関連性統合部１５０は、統合した関連性を買い物リスト管理装置２０に供給する。

具体的には、関連性統合部１５０は、人物ＩＤに基づいて同一人物の関連性を統合する。図２０は、図１９に例示した商品と人物の関連性を統合した例を示す説明図である。図２０に示す例では、図１９の人物ＩＤ＝１の人物の関連性情報が１つに統合され、人物ＩＤ＝２の人物の関連性情報も１つに統合されている。

以上が、画像処理装置３００に特徴的な構成の一例である。

次に、図２１を参照して、本実施形態の画像処理装置３００の動作を説明する。図２１は、本実施形態の画像処理装置３００の動作例を示すフローチャートである。

図２１を参照すると、画像処理装置３００が図１１で示すステップＳ１００１からステップＳ１００８までの処理と同様の処理を行うことにより、領域変化分類部１２６は、変化を分類する（ステップＳ３００１）。

第３取得部３１０は、店舗の通路を撮像した撮像装置５から送信された映像信号からＲＧＢ画像である撮像画像（第３撮像画像）を取得する（ステップＳ３００２）。第３取得部３１０は取得した撮像画像を動線データ生成部３２０に供給する。

動線データ生成部３２０は、少なくとも１つの撮像装置で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する（ステップＳ３００３）。そして、動線データ生成部３２０は、生成した動線データとその動線データの撮像画像の時刻を関連付けて第１関連性生成部３４０に供給する。

なお、ステップＳ３００２、ステップＳ３００３の処理は、ステップＳ３００１の処理と実行順序が入れ替えられてもよいし、同時に実行されてもよい。

第１関連性生成部３４０は、第１変化検出部１２０から変化領域の分類結果とその変化領域の位置情報とを受け取る。また、第１関連性生成部３４０は、動線データ生成部３２０から動線データを取得する。そして、第１関連性生成部３４０は、変化領域の位置情報に紐づいたその変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいてその変化領域に対応する商品と人物の関連性情報を生成する（ステップＳ３００４）。具体的には、第１関連性生成部３４０は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最もその変化領域の撮像時刻に近い時刻に商品棚に訪れた人物とその変化領域を関連付ける。そして、第１関連性生成部３４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。

その後、画像処理装置３００は、図１１で示すステップＳ１０１０からステップＳ１０１１までと同様の処理であるステップＳ３００５からステップＳ３００６までの処理を行う。

以上のように、本実施形態の画像処理装置３００は、第３取得部３１０と動線データ生成部３２０とを含む。このような構成により、動線データ生成部３２０は、第３取得部３１０から供給されたＲＧＢ画像に基づいて、動線データを生成する。そして、画像処理装置３００は、商品棚３を撮像したＲＧＢ画像から検出した変化領域およびその変化領域を分類した分類結果と、店舗の通路を撮像したＲＧＢ画像から生成した動線データとに基づいて、商品と人物の関連性情報を生成する。撮像装置５により撮像される、動線データの生成に用いられる店舗の通路を撮像した撮像画像では、人物の全身が撮像されている。そのため、商品棚３を撮像したＲＧＢ画像よりも撮像画像中の人物の特定が容易となる。つまり、画像処理装置３００のように、動線データを用いて関連性情報を生成すると、人物情報１３４を用いて関連性情報を生成する場合よりも高精度に関連性情報を生成することが期待できる。したがって、本実施形態に係る画像処理装置３００は、第１の実施形態の画像処理装置１００よりも高精度に関連性情報を統合できる。これにより、より高精度に顧客の動線データを取得できるため、顧客が購入する商品を適切に管理することが可能になる。

次に、第３の実施形態の変形例を説明する。第３の実施形態では、撮像装置５が店舗内の通路を撮像して顧客の動線データを生成した。ただし、動線データを生成する方法は、画像を用いる方法に限定されない。図２２は、第３の実施形態のセルフレジシステムの変形例を示すブロック図である。図２２に例示するセルフレジシステム４ａは、第３の実施形態のセルフレジシステム４が備える撮像装置５の代わりに、顧客の動線を検出する動線検出装置６を備えている。また、図２２に例示するセルフレジシステム４ａは、第３の実施形態のセルフレジシステム４が備える画像処理装置３００の代わりに、画像処理装置３００ａを備えている。

動線検出装置６は、顧客が携帯する端末１０の位置を検出する装置である。動線検出装置６は、例えば、端末１０からの近距離無線を検出して、顧客の位置を検出する。例えば、人物識別装置５０が店舗内の所定の場所（例えば、入口など）で端末１０の認証を行うと、動線検出装置６は、その認証された人物を追尾して人物の動線を検出する。買い物リスト生成部２１は、この認証が行われたタイミングで、認証された端末１０を携帯する人物に対応する買い物リストを生成してもよい。

図２３は、画像処理装置３００ａの構成例を示すブロック図である。図２３に示す通り、本実施形態の画像処理装置３００ａは、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第３取得部３１０ａと、動線データ生成部３２０ａと、第１関連性生成部３４０と、関連性統合部１５０とを含む。このように、本変形例の画像処理装置３００ａは、画像処理装置３００の第３取得部３１０および動線データ生成部３２０に代えて、第３取得部３１０ａおよび動線データ生成部３２０ａを含む。

第３取得部３１０ａは、動線検出装置６から顧客の位置情報を取得する。顧客の位置情報には、例えば、端末１０の識別情報が含まれる。動線データ生成部３２０ａは、店舗内における人物の動線データを生成する。動線データ生成部３２０ａが生成する動線データは、例えば、顧客が携帯する端末１０の識別情報と、顧客が訪問した商品棚３の識別子である商品棚ＩＤと、を含む情報である。なお、動線データ生成部３２０ａが動線データを生成する方法は特に限定されない。第３の実施形態と同様、動線データ生成部３２０ａは例えば、顧客が商品棚３の前に一定時間留まった、顧客と商品棚３との間の距離が所定距離以下になった、などの方法により、顧客が商品棚３を訪問したと判断する。そして、動線データ生成部３２０ａは、顧客が携帯する端末１０の識別情報と顧客が訪れた商品棚ＩＤとを対応付けることで動線データを生成する。

図２４は、動線データの他の例を示す説明図である。動線データ生成部３２０ａは、例えば、図２４で示すように、端末１０の識別情報と商品棚ＩＤとを対応付けた動線データを生成する。さらに、動線データ生成部３２０ａは、生成した動線データとその動線データの取得時刻とを関連付けて、第１関連性生成部３４０に供給する。言い換えると、動線データ生成部３２０ａは、動線データ中の各人物が各商品棚を訪問した時間を動線データに含めて第１関連性生成部３４０に供給する。以降の処理は、第３の実施形態と同様である。

以上のように、本変形例では、動線検出装置６が検出した人物の位置情報に基づいて動線データを生成する。これにより、第３の実施形態と同様に、より高精度に顧客の動線データを取得できるため、顧客が購入する商品を適切に管理することが可能になる。

なお、第３の実施形態のセルフレジシステムが、第２の実施形態で示すように、第２取得部２１０を含み、ＲＧＢ画像と距離画像とを用いて商品棚の変化を分類する構成であってもよい。

＜前景領域検出部の変形例＞
次に、上述した各実施形態の画像処理装置が有する第１変化検出部１２０または第２変化検出部２２０に含まれる前景領域検出部の処理の変形例を説明する。

本変形例において、第１変化検出部１２０または第２変化検出部２２０に含まれる前景領域検出部１２１は、予め登録された棚領域情報を更に用いて、変化領域に含まれる対象物が商品棚３内の商品以外であることを特定する。

なお、本変形例では、第１の実施形態における画像処理装置１００の前景領域検出部１２１の変形例について説明する。ただし、本変形例を、画像処理装置２００および画像処理装置３００のいずれに対しても適用可能である。

図２５、図２６および図２７は、本変形例における前景領域検出部１２１が前景領域を検出する動作例を示す説明図である。

前景領域検出部１２１が、例えば、第１取得部１１０から供給された撮像画像と、背景情報１３１とを比較することにより変化領域を検出し、図２５に例示する、変化領域を表す２値画像である検出結果７１を生成したとする。この検出結果には、変化領域７２、変化領域７３、変化領域７４の３つの変化領域が含まれるとする。このような場合、前景領域検出部１２１は、検出結果７１に対して、一般的なラベリング方法で変化領域ごとに別々の２値画像である検出結果７１Ａ、検出結果７１Ｂおよび検出結果７１Ｃを生成する。

つまり、前景領域検出部１２１は、検出結果に複数の変化領域が含まれる場合、各変化領域が別々の２値画像に含まれるような複数の２値画像を生成する。

そして、前景領域検出部１２１は、予め登録された棚領域情報と、複数の２値画像のそれぞれとに基づいて、変化領域が商品の変化に関する変化を検出した領域か否かを判定する。ここで、棚領域情報は、商品棚３における商品が陳列される領域を示す。

セルフレジシステム１は、商品棚３の商品を監視している。そのため、棚領域情報によって示される、商品が陳列される領域を監視対象領域と言うことができる。また、棚領域情報を、監視領域情報と言うこともできる。棚領域情報は、例えば、第１取得部１１０が取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚３の監視対象領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、棚領域情報に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。棚領域情報は、例えば、事前に第１記憶部１３０に格納されていてもよい。なお、棚領域情報は、第１取得部１１０が取得する撮像画像に含まれる商品棚３を特定する情報を含む。

前景領域検出部１２１は、第１取得部１１０が取得した撮像画像に含まれる商品棚３に関連する棚領域情報を用いて、対応する画素ごとに論理積の演算を行う。例えば、図２６に例示する棚領域情報７５を用いる場合、前景領域検出部１２１は、検出結果７１Ａ、検出結果７１Ｂまたは検出結果７１Ｃと、対応する画素ごとに論理積の演算を行う。図２６に示す例では、棚領域情報７５における監視対象領域は、白で表現されているため、棚領域情報７５は、６つの監視対象領域を含む。

図２７に例示する演算結果７６Ａは、棚領域情報７５と検出結果７１Ａとの論理積演算の結果である。また、演算結果７６Ｂは、棚領域情報７５と検出結果７１Ｂとの論理積の演算の結果である。また、演算結果７６Ｃは、棚領域情報７５と検出結果７１Ｃとの論理積の演算の結果である。

人物やカートのような商品以外の物体は、複数の棚の領域にまたがっている。そのため、検出結果７１Ａと棚領域情報７５との論理積の演算を行った結果、図２７の左側に例示する演算結果７６Ａのように、変化領域を表す、画素値が２５５の部分（白色の部分）は、複数の領域に分割される。一方、演算結果７６Ｂおよび演算結果７６Ｃの変化領域を表す部分（白色の部分）は、それぞれ、検出結果７１Ｂおよび検出結果７１Ｃと変化がなく、一続きの領域（画素値が２５５の画素であり、且つ、その画素に隣接する画素の何れかの画素値が２５５の画素の集合）である。

商品棚３の陳列領域（監視対象領域）に陳列される商品は、複数の監視対象領域にまたがらない。したがって、演算結果７６Ａのように、変化領域が複数の領域に分割される場合、前景領域検出部１２１は、この変化領域に対する変化を、商品以外による変化であると判断する。このような場合、前景領域検出部１２１は、この変化を前景領域追跡部１２３に供給する検出結果に含めない。言い換えると、前景領域検出部１２１は、検出結果７１Ｂと検出結果７１Ｃとを、前景領域追跡部１２３に供給する。

このような構成により、前景領域追跡部１２３は、商品棚３に陳列された商品に対する変化を第１抽出部１２４および第２抽出部１２５に供給できる。言い換えると、領域変化分類部１２６は、商品棚３に陳列された商品に対する変化の分類処理を行うことができるため、商品以外の物体の影響によって、商品に対する変化の分類精度の低下を防ぐことができる。また、前景領域検出部１２１が、領域変化分類部１２６の分類処理を行うよりも前に、変化領域における変化が商品以外の物体による変化であると分類できるため、領域変化分類部１２６の処理量を低減させることができる。

次に、本発明の具体例を説明する。第一の具体例では、顧客が端末１０を携帯する場合のセルフレジシステムの動作例を説明し、第二の具体例では、顧客が端末１０を携帯しない場合のセルフレジシステムの動作例を説明する。

図２８は、第一の具体例におけるセルフレジシステムの動作例を示す説明図である。まず、顧客Ｃが来店すると、人物識別装置５０は、顧客が携帯する端末１０を介して、人物を識別する（ステップＳ１１）。以降、その端末１０を識別する識別ＩＤを用いて、人物が一意に管理される。また、買い物リスト生成手段（実施形態における買い物リスト生成部２１）は、その識別ＩＤに対応する買い物リストＬを生成する（ステップＳ１２）。通知部２３は、生成した買い物リストＬを端末１０に送信する（ステップＳ１３）。また、通知部２３は、生成した買い物リストＬを買い物リスト記憶部２４に記憶する（ステップＳ１４）。

その後、変化検出手段（実施形態における第１変化検出部１２０）が、商品が撮像されている撮像画像に基づいて変化領域を検出し、分類手段（実施形態における領域変化分類部１２６）が、検出された変化領域における商品棚の変化を分類する（ステップＳ１５）。ここでは、顧客が商品を手に取ったとする。買い物リスト生成手段（実施形態における買い物リスト更新部２２）は、商品棚の変化の分類（具体的には、「商品が取られたことによる変化」）と、商品棚の棚割り情報に基づいてその商品を特定し、特定された商品を人物に対応する買い物リストＬに登録するための登録処理を行う（ステップＳ１６）。通知部２３は、商品が登録された買い物リストＬの内容を端末１０に通知する（ステップＳ１７）。

さらに、変化検出手段が、商品が撮像されている撮像画像に基づいて変化領域を検出し、分類手段が、検出された変化領域における商品棚の変化を分類する（ステップＳ１８）。ここでは、顧客が商品を戻したとする。買い物リスト生成手段は、商品棚の変化の分類（具体的には、「商品棚３に商品が新たに含まれたことによる変化」）と、商品棚の棚割り情報に基づいてその商品を特定し、特定された商品を人物に対応する買い物リストＬから削除するための削除処理を行う（ステップＳ１９）。通知部２３は、商品が削除された買い物リストＬの内容を端末１０に通知する（ステップＳ２０）。なお、通知部２３は、その商品に削除フラグを設定した買い物リストＬを端末１０に通知してもよい。

顧客が退店しようとする際、決済装置４０は、人物に対応した買い物リストＬの内容に基づいて決済処理を行う（ステップＳ２１）。このとき、出力装置３０が、買い物リストＬの内容を表示してもよい。

図２９は、第二の具体例におけるセルフレジシステムの動作例を示す説明図である。まず、顧客が来店すると、人物識別装置５０は、撮像装置２によって撮像された画像から人物Ｃを識別する（ステップＳ３１）。以降、人物を識別する識別ＩＤを用いて、人物が位置に識別される。また、買い物リスト生成手段（実施形態における買い物リスト生成部２１）は、その識別ＩＤに対応する買い物リストＬを生成する（ステップＳ３２）。また、通知部２３は、生成した買い物リストＬを買い物リスト記憶部２４に記憶する（ステップＳ３３）。

その後、第一の具体例と同様に、変化検出手段（実施形態における第１変化検出部１２０）が、商品が撮像されている撮像画像に基づいて変化領域を検出し、分類手段（実施形態における領域変化分類部１２６）が、検出された変化領域における商品棚の変化を分類する（ステップＳ３４）。ここでは、顧客が商品を手に取ったとする。買い物リスト生成手段（実施形態における買い物リスト更新部２２）は、商品棚の変化の分類（具体的には、「商品が取られたことによる変化」）と、商品棚の棚割り情報に基づいてその商品を特定して、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う（ステップＳ３５）。具体的には、買い物リスト生成手段は、買い物リスト記憶部２４に記憶された買い物リストＬに商品を追加する。

その後、顧客が商品を戻したとする。第一の具体例と同様に、買い物リスト生成手段は、商品棚の変化の分類（具体的には、「商品が商品棚に配置されたことによる変化」）と、商品棚の棚割り情報に基づいてその商品を特定し、特定された商品を人物に対応する買い物リストＬから削除するための削除処理を行う（ステップＳ３６）。具体的には、買い物リスト生成手段は、買い物リスト記憶部２４に記憶された買い物リストＬから商品を削除する。

顧客が退店しようとする際、決済装置４０は、人物Ｃに対応した買い物リストＬの内容に基づいて決済処理を行う（ステップＳ３７）。具体的には、出力装置３０が買い物リストの内容および合計金額を表示し、決済装置４０は、その人物からの入金やカード支払いに基づく決済処理を行う。

＜ハードウェア構成について＞
上述する各実施形態では、各装置（より詳しくは、画像処理装置１００～５００、買い物リスト管理装置２０）が有する構成要素は、例えば、機能単位のブロックを示す。各装置が有する構成要素の一部又は全部は、図３０に例示する情報処理装置６００とプログラムとの任意の組み合わせにより実現される。図３０は、各装置の構成要素を実現する情報処理装置６００のハードウェア構成例を示すブロック図である。情報処理装置６００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３
・ＲＡＭ６０３にロードされるプログラム群６０４
・プログラム群６０４を格納する記憶装置６０５
・情報処理装置６００外部の記録媒体６１０の読み書きを行うドライブ装置６０６
・情報処理装置６００外部の通信ネットワーク６１１と接続する通信インタフェース６０７
・データの入出力を行う入出力インタフェース６０８
・各構成要素を接続するバス６０９

上述した各実施形態における各装置が有する構成要素は、これらの機能を実現するプログラム群６０４をＣＰＵ６０１が取得して実行することで実現する。各装置が有する構成要素の機能を実現するプログラム群６０４は、例えば、予め記憶装置６０５やＲＯＭ６０２に格納されており、必要に応じてＣＰＵ６０１がＲＡＭ６０３にロードして実行する。なお、プログラム群６０４は、通信ネットワーク６１１を介してＣＰＵ６０１に供給されてもよいし、予め記録媒体６１０に格納されており、ドライブ装置６０６が該プログラムを読み出してＣＰＵ６０１に供給してもよい。

なお、各装置の実現方法には、様々な変形例が存在する。各装置は、例えば、構成要素ごとにそれぞれ別個の情報処理装置６００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置６００とプログラムとの任意の組み合わせにより実現されてもよい。

また、各画像処理装置が有する各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現することができる。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置が有する構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置が有する構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の概要を説明する。図３１は、本発明によるセルフレジシステムの概要を示すブロック図である。本発明によるセルフレジシステム８００（例えば、セルフレジシステム１）は、商品が撮像されている撮像画像に基づいて、その商品が配置された商品棚の変化領域を検出する変化検出手段８４０（例えば、第１変化検出部１２０）と、検出された変化領域における商品棚の変化を分類する分類手段８５０（例えば、領域変化分類部１２６）と、商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する買い物リスト生成手段８６０（例えば、買い物リスト更新部２２）とを備えている。

そのような構成により、個々の商品の画像を予め準備することなく、顧客が購入する商品を適切に管理できる。

具体的には、商品棚の変化の分類は、商品が取られたことによる変化、商品棚の店舗の環境の変化、商品が商品棚に配置されたことによる変化、または、商品の見た目が変わったことによる変化のいずれかであってもよい。

また、買い物リスト生成手段８６０は、商品棚の変化の分類が、商品が取られたことによる変化である場合、買い物リストにその商品を登録してもよい。

また、買い物リスト生成手段８６０は、商品棚の変化の分類が、商品が商品棚に配置されたことによる変化である場合、買い物リストからその商品を削除してもよい。

なお、商品棚の変化の分類である、商品の見た目が変わったことによる変化には、異なる商品が配置されたことによる見た目の変化、および、商品の姿勢が変わったことによる見た目の変化が含まれていてもよい。

また、セルフレジシステム８００は、変化領域と人物との関係を示す関連性情報を生成する関連性生成手段（例えば、第１関連性生成部１４０）を備えていてもよい。関連性生成手段は、撮像画像から取得される撮像時刻および人物の情報と、撮像画像から取得される変化領域の位置情報および撮像時刻に基づいて、その変化領域と人物とを関連付けて関連性情報を生成してもよい。そして、買い物リスト生成手段８６０は、変化領域における商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、人物に対応する買い物リストを生成してもよい。そのような構成によれば、画像から人物の動線を取得できるため、顧客が購入する商品を適切に管理できる。

同様に、セルフレジシステム８００は、変化領域と人物との関係を示す関連性情報を生成する関連性生成手段（例えば、第２関連性生成部２４０）を備えていてもよい。関連性生成手段は、店舗内の人物の動線を検出する動線検出手段（例えば、動線検出装置６）により検出された人物の情報の取得時刻および位置情報と、撮像画像から取得される変化領域の位置情報および撮像時刻に基づいて、その変化領域と人物とを関連付けて関連性情報を生成してもよい。そして、買い物リスト生成手段は、変化領域における商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、人物に対応する買い物リストを生成してもよい。そのような構成によっても人物の動線を取得できるため、顧客が購入する商品を適切に管理できる。

また、具体的には、分類手段８５０は、時間の変化の前後に応じた商品棚の変化をモデル化した棚変化モデル（例えば、棚変化モデル１３２）を用いて、変化領域の画像から、商品棚の変化を分類してもよい。

また、変化検出手段８４０は、商品が撮像されている撮像画像として、ＲＧＢ画像およびそのＲＧＢ画像の撮像範囲を撮像した距離画像に基づいて、商品が配置された商品棚の変化領域を検出してもよい。そのような構成により、商品棚の変化をより正確に判別できるため、顧客が購入する商品をより適切に管理できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）商品が撮像されている撮像画像に基づいて、当該商品が配置された商品棚の変化領域を検出する変化検出手段と、検出された変化領域における前記商品棚の変化を分類する分類手段と、前記商品棚の変化の分類と、前記商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する買い物リスト生成手段とを備えたことを特徴とするセルフレジシステム。

（付記２）商品棚の変化の分類は、商品が取られたことによる変化、商品棚の店舗の環境の変化、商品が商品棚に配置されたことによる変化、または、商品の見た目が変わったことによる変化のいずれかである付記１記載のセルフレジシステム。

（付記３）買い物リスト生成手段は、商品棚の変化の分類が、商品が取られたことによる変化である場合、買い物リストに当該商品を登録する付記２記載のセルフレジシステム。

（付記４）買い物リスト生成手段は、商品棚の変化の分類が、商品が商品棚に配置されたことによる変化である場合、買い物リストから当該商品を削除する付記２記載のセルフレジシステム。

（付記５）商品棚の変化の分類である、商品の見た目が変わったことによる変化には、異なる商品が配置されたことによる見た目の変化、および、商品の姿勢が変わったことによる見た目の変化が含まれる付記２から付記４のうちのいずれか１つに記載のセルフレジシステム。

（付記６）変化領域と人物との関係を示す関連性情報を生成する関連性生成手段を備え、前記関連性生成手段は、撮像画像から取得される撮像時刻および人物の情報と、撮像画像から取得される変化領域の位置情報および撮像時刻に基づいて、当該変化領域と当該人物とを関連付けて関連性情報を生成し、買い物リスト生成手段は、前記変化領域における商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、前記人物に対応する買い物リストを生成する付記１から付記５のうちのいずれか１つに記載のセルフレジシステム。

（付記７）変化領域と人物との関係を示す関連性情報を生成する関連性生成手段を備え、前記関連性生成手段は、店舗内の人物の動線を検出する動線検出手段により検出された当該人物の情報の取得時刻および位置情報と、撮像画像から取得される変化領域の位置情報および撮像時刻に基づいて、当該変化領域と当該人物とを関連付けて関連性情報を生成し、買い物リスト生成手段は、前記変化領域における商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、前記人物に対応する買い物リストを生成する付記１から付記５のうちのいずれか１つに記載のセルフレジシステム。

（付記８）分類手段は、時間の変化の前後に応じた商品棚の変化をモデル化した棚変化モデルを用いて、変化領域の画像から、商品棚の変化を分類する付記１から付記７のうちのいずれか１つに記載のセルフレジシステム。

（付記９）変化検出手段は、商品が撮像されている撮像画像として、ＲＧＢ画像および当該ＲＧＢ画像の撮像範囲を撮像した距離画像に基づいて、当該商品が配置された商品棚の変化領域を検出する付記１から付記８のうちのいずれか１つに記載のセルフレジシステム。

（付記１０）商品が撮像されている撮像画像に基づいて、当該商品が配置された商品棚の変化領域を検出し、検出された変化領域における前記商品棚の変化を分類し、前記商品棚の変化の分類と、前記商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成することを特徴とする購入商品管理方法。

（付記１１）コンピュータに、商品が撮像されている撮像画像に基づいて、当該商品が配置された商品棚の変化領域を検出する変化検出処理、検出された変化領域における前記商品棚の変化を分類する分類処理、および、前記商品棚の変化の分類と、前記商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する買い物リスト生成処理を実行させるための購入商品管理プログラム。

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。記録媒体は、例えば、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

１，４，４ａ セルフレジシステム
２，５ 撮像装置
３ 商品棚
６ 動線検出装置
１０ 端末
２０ 買い物リスト管理装置
３０ 出力装置
４０ 決済装置
５０ 人物識別装置
７１ 検出結果
７２ 変化領域
７３ 変化領域
７４ 変化領域
７５ 棚領域情報
７６ 演算結果
９０ 分類結果
９１ 第２注目画像
９２ 第１注目画像
９３ 変化の種類
１００ 画像処理装置
１１０ 第１取得部
１２０ 第１変化検出部
１２１ 前景領域検出部
１２２ 背景情報更新部
１２３ 前景領域追跡部
１２４ 第１抽出部
１２５ 第２抽出部
１２６ 領域変化分類部
１２７ 距離情報更新部
１３０ 第１記憶部
１３１ 背景情報
１３２ 棚変化モデル
１３３ 前景情報
１３４ 人物情報
１３５ 距離情報
１４０ 第１関連性生成部
１５０ 関連性統合部
２００ 画像処理装置
２１０ 第２取得部
２２０ 第２変化検出部
２３０ 第２記憶部
２４０ 第２関連性生成部
２５０ 関連性統合部
３００，３００ａ 画像処理装置
３１０，３１０ａ 第３取得部
３２０，３２０ａ 動線データ生成部
３４０ 第１関連性生成部
６００ 情報処理装置
６０１ ＣＰＵ
６０２ ＲＯＭ
６０３ ＲＡＭ
６０４ プログラム群
６０５ 記憶装置
６０６ ドライブ装置
６０７ 通信インタフェース
６０８ 入出力インタフェース
６０９ バス
６１０ 記録媒体
６１１ 通信ネットワーク

Claims (10)

1. 商品が撮像されている撮像画像に基づいて、当該商品が配置された商品棚の変化領域を検出する変化検出手段と、
   検出された変化領域における前記商品棚の変化を分類する分類手段と、
   前記商品棚の変化の分類と、前記商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する買い物リスト生成手段と、
   前記撮像画像から取得される人物情報に基づいて、変化領域と人物との関連性を示す関連性情報を生成する関連性生成手段と、
   前記関連性情報に同一人物の関連性情報が含まれる場合、当該関連性情報を１つに統合する関連性統合手段とを備えた
   ことを特徴とするセルフレジシステム。
2. 撮像画像から動体と判定した変化領域を人物領域として抽出する前景領域追跡手段と、
   人物領域の外接長方形の色、寸法、形状、アスペクト比のうちの少なくとも１つに基づいて人物領域の類似度を計算する関連性統合手段とを備え、
   前記関連性統合手段は、算出した類似度が最も高くなる前記人物領域同士を同一人物の領域と判定する
   請求項１記載のセルフレジシステム。
3. 買い物リストの内容を更新する買い物リスト更新手段を備え、
   関連性統合手段は、関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出し、
   前記買い物リスト更新手段は、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定する
   請求項１記載のセルフレジシステム。
4. 買い物リストの情報を端末に通知する通知手段を備え、
   前記通知手段は、削除フラグが設定された商品が削除すべき商品か否かを前記端末を介して顧客に問い合わせる
   請求項３記載のセルフレジシステム。
5. 関連性生成手段は、撮像画像から取得される撮像時刻および人物の情報と、撮像画像から取得される変化領域の位置情報および撮像時刻に基づいて、当該変化領域と当該人物とを関連付けて関連性情報を生成し、
   買い物リスト生成手段は、前記変化領域における商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、前記人物に対応する買い物リストを生成する
   請求項１記載のセルフレジシステム。
6. 関連性生成手段は、店舗内の人物の動線を検出する動線検出手段により検出された当該人物の情報の取得時刻および位置情報と、撮像画像から取得される変化領域の位置情報および撮像時刻に基づいて、当該変化領域と当該人物とを関連付けて関連性情報を生成し、
   買い物リスト生成手段は、前記変化領域における商品棚の変化の分類と、商品棚の棚割り情報とに基づいて、前記人物に対応する買い物リストを生成する
   請求項１記載のセルフレジシステム。
7. 分類手段は、時間の変化の前後に応じた商品棚の変化をモデル化した棚変化モデルを用いて、変化領域の画像から、商品棚の変化を分類する
   請求項１記載のセルフレジシステム。
8. 変化検出手段は、商品が撮像されている撮像画像として、ＲＧＢ画像および当該ＲＧＢ画像の撮像範囲を撮像した距離画像に基づいて、当該商品が配置された商品棚の変化領域を検出する
   請求項１記載のセルフレジシステム。
9. 商品が撮像されている撮像画像に基づいて、当該商品が配置された商品棚の変化領域を検出し、
   検出された変化領域における前記商品棚の変化を分類し、
   前記商品棚の変化の分類と、前記商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成し、
   前記撮像画像から取得される人物情報に基づいて、変化領域と人物との関連性を示す関連性情報を生成し、
   前記関連性情報に同一人物の関連性情報が含まれる場合、当該関連性情報を１つに統合する
   ことを特徴とする方法。
10. コンピュータに、
    商品が撮像されている撮像画像に基づいて、当該商品が配置された商品棚の変化領域を検出する変化検出処理、
    検出された変化領域における前記商品棚の変化を分類する分類処理、
    前記商品棚の変化の分類と、前記商品棚の棚割り情報とに基づいて、顧客の買い物リストを生成する買い物リスト生成処理、
    前記撮像画像から取得される人物情報に基づいて、変化領域と人物との関連性を示す関連性情報を生成する関連性生成処理、および、
    前記関連性情報に同一人物の関連性情報が含まれる場合、当該関連性情報を１つに統合する関連性統合処理
    を実行させるためのプログラム。

Images