JP2015148955A - 画像処理装置，品薄状態監視システム及び画像処理プログラム - Google Patents

Abstract

【課題】下地の状態が一様でなくても品薄状態を監視できる画像処理装置を提供する。
【解決手段】画像処理装置は、カラ画像と満載画像との差分画像のなかで差分が所定のしきい値よりも大きい領域を陳列領域として抽出する。画像処理装置は、撮影画像とカラ画像との差分画像のなかから抽出された陳列領域内の画像で、差分が所定のしきい値よりも小さい領域を品薄領域として抽出する。画像処理装置は、抽出された陳列部材の品薄領域を可視化する。
【選択図】 図１２

Description

本発明の実施形態は、商品棚等に陳列されている商品の状態を検出可能な画像処理を行う画像処理装置及びこの装置を含む品薄状態監視システム並びにコンピュータを当該画像処理装置として機能させるための画像処理プログラムに関する。

店舗における商品棚の画像をモニタカメラによって時系列に撮影し、その撮影画像を画像処理装置で処理して、品薄状態を監視するシステムが知られている。

しかしながら、従来のこの種のシステムに用いられる画像処理装置は、モニタカメラによって撮影された画像から監視すべき領域をユーザが指定しなければならず、煩雑な操作が要求される。また、商品が陳列される面の下地が映っているか否かにより品薄であるか否かを判定するので、下地の状態が一様でない場合に判定精度が低下する。

特開平５−８１５５２号公報

一実施形態が解決しようとする課題は、監視すべき領域を指定するような煩雑な操作が不要である上、下地の状態が一様でなくても精度よく品薄状態を監視できる画像処理装置及びこの装置を用いた品薄状態監視システムを提供しようとするものである。

一実施形態において、画像処理装置は、第１の差分画像生成部と、第２の差分画像生成部と、陳列領域抽出部と、品薄領域抽出部と、可視化部とを含む。第１の差分画像生成部は、商品を陳列する陳列部材に前記商品が陳列されていない状態を撮影したカラ画像と前記陳列部材に前記商品が満載されている状態を撮影した満載画像との所定の尺度における差分を表す第１の差分画像を生成する。第２の差分画像生成部は、前記陳列部材を撮影する撮影手段から取り込んだ撮影画像と前記カラ画像との所定の尺度における差分を表す第２の差分画像を生成する。陳列領域抽出部は、前記第１の差分画像のなかで前記カラ画像と前記満載画像との差分が所定の第１のしきい値よりも大きい領域を陳列領域として抽出する。品薄領域抽出部は、前記第２の差分画像のなかから前記陳列領域抽出部で抽出された陳列領域内の画像で、前記撮影画像と前記カラ画像との差分が所定の第２のしきい値よりも小さい領域を品薄領域として抽出する。可視化部は、前記品薄領域抽出部で抽出された前記陳列部材の品薄領域を可視化する。

第１の実施形態における監視システムの概略構成を示す模式図。 第１の実施形態において、画像処理装置の要部構成を示すブロック図。 第１の実施形態において、画像ファイルのデータ構造を示す模式図。 第１の実施形態において、画像処理装置が有する品薄検出機能を説明するためのブロック図。 第１の実施形態において、陳列領域抽出部の情報処理手順を示す流れ図。 第１の実施形態において、品薄領域抽出部の情報処理手順を示す流れ図。 カラ画像の一例を示す図。 満載画像の一例を示す図。 撮影画像の一例を示す図。 陳列領域抽出画像の一例を示す図。 品薄領域抽出画像の一例を示す図。 品薄箇所提示画像の一例を示す図。 第２の実施形態において、画像処理装置が有する品薄検出機能を説明するためのブロック図。 第２の実施形態において、品薄領域抽出部の情報処理手順を示す流れ図。 第３の実施形態における監視システムの概略構成を示す模式図。 第３の実施形態において、商品データレコードの主要なデータ構造を示す模式図。 第３の実施形態において、画像処理装置が有する品薄検出機能を説明するためのブロック図。

以下、画像処理装置の実施形態について、図面を用いて説明する。
なお、この実施形態は、図１に示すように、商品を陳列する陳列部材を平置き型の商品棚１とし、この商品棚１を撮影した画像から品薄状態を監視する品薄状態監視システムの画像処理装置３を例示する。

［第１の実施形態］
はじめに、第１の実施形態について、図１〜図１２を用いて説明する。
図１は、第１の実施形態における品薄状態監視システムの概略構成を示す模式図である。監視システムは、モニタカメラ２と画像処理装置３と情報処理装置４とを含む。モニタカメラ２は、監視対象である平置き型の商品棚１を上方から撮影できるように、例えば店舗の天井部に間隔をあけて複数取り付けられる。したがって、モニタカメラ２によって撮影される画像領域は、商品が陳列される面とその周囲の床面とが含まれる。

商品棚１は平置き型であり、上面１ａに商品が陳列される。本実施形態の商品棚１は、上面１ａが階段状になっており、各段に商品が陳列される。通常、商品は、品種毎に区分けされて商品棚１に陳列される。

画像処理装置３は、モニタカメラ２に対して１対１で対応するように複数用意される。画像処理装置３は、モニタカメラ２によって撮影される画像から商品棚１に陳列されている商品の品薄状態を検出する。画像処理装置３は、ＬＡＮ（Local Area Network）等のネットワーク５を介して情報処理装置４に接続される。

情報処理装置４は、情報を入力する入力デバイス４ａと、情報を表示する表示デバイス４ｂとを含む。入力デバイス４ａは、キーボード、マウス等である。表示デバイス４ｂは、液晶ディスプレイ等である。例えばパーソナルコンピュータが、情報処理装置４として採用される。情報処理装置４は、各画像処理装置３を制御し、各画像処理装置３で検出された商品の品薄状態をオペレータに知らせるための画面を表示デバイス４ｂに表示する。情報処理装置４を操作するオペレータは、例えば店長や商品の補充責任者等である。

図２は、画像処理装置３の要部構成を示すブロック図である。各画像処理装置３は、同一構成であるので、ここでは１台のみ説明する。

画像処理装置３は、ＣＰＵ（Central Processing Unit）３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、補助記憶デバイス３４、時計部３５、通信インターフェース３６及びカメラコントローラ３７を備える。ＣＰＵ３１は、アドレスバス，データバス等のバスライン３８を接続しており、このバスライン３８を介してＲＯＭ３２、ＲＡＭ３３、補助記憶デバイス３４、時計部３５、通信インターフェース３６及びカメラコントローラ３７の各部とデータ信号を送受信する。

ＣＰＵ３１は、コンピュータの中枢部分に相当する。ＣＰＵ３１は、オペレーティングシステムやアプリケーションプログラムに従って、画像処理装置３としての各種の機能を実現するべく各部を制御する。

ＲＯＭ３２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ３２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ３２は、ＣＰＵ３１が各部を制御するための処理を実行する上で必要なデータを記憶する場合もある。

ＲＡＭ３３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ３３は、ＣＰＵ３１が処理を実行する上で必要なデータを記憶する。またＲＡＭ３３は、ＣＰＵ３１によって情報が適宜書き換えられるワークエリアとしても利用される。

補助記憶デバイス３４は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス３４は、例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）などである。補助記憶デバイス３４は、ＣＰＵ３１が各種の処理を行う上で使用するデータや、ＣＰＵ３１での処理によって生成されたデータを保存する。補助記憶デバイス３４は、上記のアプリケーションプログラムを記憶する場合もある。

時計部３５は、現在の日付及び時刻を計時する。
通信インターフェース３６は、情報処理装置４からネットワーク５を介して送信されるデータ信号を受信する。また通信インターフェース３６は、ＣＰＵ３１の指令に応じて、ネットワーク５を介して情報処理装置４にデータ信号を送信する。

カメラコントローラ３７は、対応するモニタカメラ２の撮影開始，終了を制御する。またカメラコントローラ３７は、モニタカメラ２で撮影されるフレーム画像を取り込み、時系列にフレームメモリに格納する。フレームメモリは、例えばＲＡＭ３３に形成される。

このように構成された画像処理装置３は、商品棚１に陳列されている商品の品薄状態を検出する機能、いわゆる品薄検出機能を有する。この品薄検出機能を実現するために、画像処理装置３は、補助記憶デバイス３４に、図３に示すように記憶エリア３４１，３４２，３４３を有する画像ファイル３４０を保存する。

記憶エリア３４１はカラ画像Ｇ０の格納部であり、記憶エリア３４２は満載画像Ｇ１の格納部であり、記憶エリア３４３は撮影画像Ｇ２の格納部である。カラ画像Ｇ０は、商品がほとんど陳列されていない状態の商品棚１を表す画像である。満載画像Ｇ１は、商品がほぼ満載されている状態の商品棚１を表す画像である。カラ画像Ｇ０及び満載画像Ｇ１の解像度は、モニタカメラ２によって撮影されるフレーム画像の解像度と一致する。

画像処理装置３は、カラ画像Ｇ０及び満載画像Ｇ１の設定モードを有する。設定モードは、情報処理装置４からのコマンドにより選択される。例えば情報処理装置４のオペレータは、商品棚１から商品を取り除いた状態で入力デバイス４ａを操作して、カラ画像Ｇ０の設定モードを指令する。カラ画像Ｇ０の設定モードが指令されると、情報処理装置４は、カラ画像Ｇ０の設定モード選択コマンドを、ネットワーク５を介して各画像処理装置３に送信する。

カラ画像Ｇ０の設定モード選択コマンドを受信した画像処理装置３のＣＰＵ３１は、動作モードを設定モードに切り替える。設定モードに切り替わると、ＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２を動作させる。そしてＣＰＵ３１は、モニタカメラ２によって撮影された画像をカラ画像Ｇ０として、記憶媒体である補助記憶デバイス３４の記憶エリア３４１に格納する（第１の格納部）。

同様に、オペレータは、商品棚１に商品を満載させた状態で入力デバイス４ａを操作して、満載画像Ｇ１の設定モードを指令する。満載画像Ｇ１の設定モードが指令されると、情報処理装置４は、満載画像Ｇ１の設定モード選択コマンドを、ネットワーク５を介して各画像処理装置３に送信する。

満載画像Ｇ１の設定モード選択コマンドを受信した画像処理装置３のＣＰＵ３１は、動作モードを設定モードに切り替える。設定モードに切り替わると、ＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２を動作させる。そしてＣＰＵ３１は、モニタカメラ２によって撮影された画像を満載画像Ｇ１として、記憶媒体である補助記憶デバイス３４の記憶エリア３４２に格納する（第２の格納部）。

撮影画像Ｇ２は、上記設定モードとは異なる稼働モードのときにモニタカメラ２によって撮影される画像である。稼働モードは、補助記憶デバイス３４にカラ画像Ｇ０と満載画像Ｇ１とが格納されると、選択可能となる。稼働モードは、情報処理装置４からのコマンドにより選択される。

情報処理装置４は、例えば店舗の開店時刻になると、稼働モードの開始コマンドを、ネットワーク５を介して各画像処理装置３に配信する。開始コマンドを受信した画像処理装置３のＣＰＵ３１は、動作モードを稼働モードに切り替える。稼働モードに切り替わると、ＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２を動作させる。そしてＣＰＵ３１は、モニタカメラ２によって撮影される画像を周期的に取り込み、撮影画像Ｇ２として補助記憶デバイス３４の記憶エリア３４３に格納する。このときＣＰＵ３１は、時計部３５で計時されている日時のデータを読み込み、この日時データを撮影日時として撮影画像Ｇ２に付加する。

記憶エリア３４３の容量には限りがある。このため、記憶エリア３４３の容量がフルもしくはニアフルになった場合には、ＣＰＵ３１は、撮影日時の古い順に撮影画像Ｇ２を消去し、その代わりに新たな撮影画像Ｇ２を記憶エリア３４３に格納する。

情報処理装置４は、例えば店舗の閉店時刻になると、稼働モードの終了コマンドを、ネットワーク５を介して各画像処理装置３に送信する。終了コマンドを受信した画像処理装置３のＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２の動作を停止させる。その後ＣＰＵ３１は、次のコマンドを待機する。

稼働モードの開始コマンド及び終了コマンドの送信タイミングは、上記例に限定されるものではない。例えばオペレータによる情報処理装置４の手動操作により、稼働モードの開始コマンド及び終了コマンドを画像処理装置３に送信してもよい。

画像処理装置は、動作モードが稼働モードのとき、陳列管理機能が有効となる。
図４は、画像処理装置３が有する品薄検出機能を説明するためのブロック図である。品薄検出機能を実現するために、画像処理装置３は、受付部３１１、画像選択部３１２、第１の差分画像生成部３１３、第２の差分画像生成部３１４、陳列領域抽出部３１５、品薄領域抽出部３１６及び可視化部３１７の各部を備える。各部３１１〜３１７は、ＣＰＵ３１が所定の画像処理プログラムにしたがって処理を実行することにより実現される。画像処理プログラムは、ＲＯＭ３２に格納される。補助記憶デバイス３４に画像処理プログラムが格納され、実行する際にＲＡＭ３３のプログラムエリアに展開されてもよい。

画像処理装置３の動作モードとして稼働モードが選択された場合、画像処理プログラムが起動する。画像処理プログラムの起動により、ＣＰＵ３１は、受付部３１１、画像選択部３１２、第１の差分画像生成部３１３、第２の差分画像生成部３１４、陳列領域抽出部３１５、品薄領域抽出部３１６及び可視化部３１７としての機能を実現する。

受付部３１１は、品薄検出コマンドの受付機能を果たす。品薄検出コマンドは、例えば時計部３５で検出される時刻が１分を経過する毎に発生する。情報処理装置４から各画像処理装置３に、ネットワーク５を介して定期的にあるいは不定期に品薄検出コマンドが送信されてもよい。情報処理装置４から不定期に送信される品薄検出コマンドには、品薄検出日時のデータが含まれてもよい。

受付部３１１は、品薄検出コマンドを待機する。品薄検出コマンドを検出すると、受付部３１１は、画像選択部３１２に対して画像の選択を指令する。このとき受付部３１１は、品薄検出日時も指令する。品薄検出日時は、品薄検出コマンドに品薄検出日時のデータが含まれている場合にはそのデータの日時である。品薄検出日時のデータが含まれていない場合には、品薄検出コマンドを検出した時点の時計部３５で計時されている日時である。

画像選択部３１２は、画像ファイル３４０に保存されている画像データの選択機能を果たす。前述したように画像ファイル３４０には、カラ画像Ｇ０と満載画像Ｇ１と撮影日時毎の撮影画像Ｇ２とが保存されている。画像選択部３１２は、受付部３１１から画像の選択が指令されると、画像ファイル３４０の記憶エリア３４１及び記憶エリア３４２から、カラ画像Ｇ０と満載画像Ｇ１とを選択する。また画像選択部３１２は、画像ファイル３４０の記憶エリア３４３から、撮影日時が品薄検出日時に最も近い撮影画像Ｇ２を選択する。この場合、品薄検出日時に対して撮影日時が前か後かは問わず、品薄検出日時に最も近い撮影日時の撮影画像Ｇ２を選択すればよい。あるいは、品薄検出日時に対して撮影日時が前の撮影画像Ｇ２の中で、品薄検出日時に最も近い撮影日時の撮影画像Ｇ２を選択してもよい。

品薄検出コマンドに品薄検出日時のデータが含まれていない場合、画像選択部３１２は、カラ画像Ｇ０及び満載画像Ｇ２とともに、撮影日時が現在日時に最も近い撮影画像Ｇ２を選択する。品薄検出コマンドに品薄検出日時のデータが含まれている場合には、画像選択部３１２は、カラ画像Ｇ０及び満載画像Ｇ２とともに、撮影日時が品薄検出日時に最も近い撮影画像Ｇ２を選択する。

画像選択部３１２は、画像ファイル３４０から選択したカラ画像Ｇ０を、第１の差分画像生成部３１３と第２の差分画像生成部３１４とに出力する。また画像選択部３１２は、画像ファイル３４０から選択した満載画像Ｇ１を、第１の差分画像生成部３１３と可視化部３１７とに出力する。さらに画像選択部３１２は、画像ファイル３４０から選択した撮影画像Ｇ２を、第２の差分画像生成部３１４と可視化部３１７とに出力する。

第１の差分画像生成部３１３は、カラ画像Ｇ０と満載画像Ｇ１との所定の尺度における差分を表す第１の差分画像Ｇ３を生成する機能を果たす。第２の差分画像生成部３１４は、撮影画像Ｇ２とカラ画像Ｇ０との所定の尺度における差分を表す第２の差分画像Ｇ４を生成する機能を果たす。

差分を求める際の尺度としては、例えば以下の方法１〜４が考えられる。
方法１．２つの画像の対応する画素毎に三原色Ｒ，Ｇ，Ｂの値の差分を色別に求め、その絶対値abs(ΔＲ)、abs(ΔＧ)、abs(ΔＢ)を差分画像Ｇ３，Ｇ４の各画素の三原色Ｒ，Ｇ，Ｂの値として設定する方法
方法２．２つの画像の対応する画素間のＲＧＢ空間でのユークリッド距離（絶対値abs(ΔＲ)、abs(ΔＧ)、abs(ΔＢ)の各二乗の和の平方根）を求め、このユークリッド距離の値を、差分画像Ｇ３，Ｇ４の各画素の値とする方法
方法３．ＲＧＢ画像をＨＳＶ色空間画像（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換し、このＨＳＶ色空間画像の画素毎に明度差の絶対値abs(ΔＶ)を求め、この明度差の絶対値abs(ΔＶ)を差分画像Ｇ３，Ｇ４の各画素の値として設定する方法
方法４．ＲＧＢ画像をＨＳＶ色空間画像（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換し、このＨＳＶ色空間画像の画素毎に彩度差の絶対値abs(ΔＳ)を求め、この彩度差の絶対値abs(ΔＳ)を差分画像Ｇ３，Ｇ４の各画素の値として設定する方法
なお、差分を求める方法は上記方法１〜４に限定されるものではなく、他の方法であってもよい。

第１の差分画像生成部３１３は、生成した差分画像Ｇ３を陳列領域抽出部３１５に出力する。陳列領域抽出部３１５は、差分画像Ｇ３から陳列領域内と陳列領域外とを抽出し、陳列領域抽出画像Ｇ５を生成する機能を果たす。

図５は、陳列領域抽出部３１５の情報処理手順を示す流れ図である。第１の差分画像生成部３１３にて差分画像Ｇ３が生成されると、ＣＰＵ３１は、図５の流れ図に示す手順の処理を開始する。

先ずＣＰＵ３１は、差分画像Ｇ３をＲＡＭ３３のワークエリアに格納する（Act１）。またＣＰＵ３１は、カウンタｎを“０”にリセットする（Act２）。カウンタｎは、例えばＲＡＭ３３に形成される。なお、Act１とAct２との処理の順序はこれに限定されるものではなく、前後が入れ替わってもよい。

次にＣＰＵ３１は、カウンタｎを“１”だけカウントアップする（Act３）。そしてＣＰＵ３１は、カウンタｎが上限値Ｎを超えたか否かを確認する（Act４）。上限値Ｎは、モニタカメラ２で撮影される画像の１フレームの画素数である。上限値Ｎは、モニタカメラ２の解像度によって定まる。上限値Ｎは、例えば補助記憶デバイス３４に予め設定される。各画像処理装置３にそれぞれ接続されるモニタカメラ２の解像度がカメラ毎に異なる場合、各画像処理装置３に設定される上限値Ｎも、その解像度に応じて異なる。

カウンタｎが上限値Ｎを超えていない場合（Act４にてＮＯ）、ＣＰＵ３１は、差分画像Ｇ３における注目画素の画素値３Ｐｎを検出する（Act５）。注目画素の画素値３Ｐｎの“ｎ”は、カウンタｎの値である。本実施形態では、差分画像Ｇ３を示すフレーム画像の１ライン目における左端の画素値を“３Ｐ１”と表し、この画素に隣接する同一ラインの画素値を“３Ｐ２”と表す。以後、同様に同一ラインの画素値を左から順番に“３Ｐ３”，“３Ｐ４”，……と表す。そして１ライン目の右端の画素値を“３Ｐｋ”と表したとき、２ライン目の左端の画素値を“３Ｐ(k+1)”と表す。したがって、最終ラインの右端の画素値は“３ＰＮ”と表される。

注目画素の画素値３Ｐｎを検出したならば、ＣＰＵ３１は、この画素値３Ｐｎが第１のしきい値Ｌ１以上か否かを確認する（Act６）。第１のしきい値Ｌ１は、注目画素が陳列領域内の画素なのか陳列領域外の画素なのかを識別するために設定される任意の値である。

差分画像Ｇ３の各画素の値は、カラ画像Ｇ０の同一画素の値と満載画像Ｇ１の同一画素の値との差分である。カラ画像Ｇ０の一例を図７に示し、満載画像Ｇ１の一例を図８に示す。図７及び図８に示すように、カラ画像Ｇ０と満載画像Ｇ１とには、それぞれ同一の商品棚１の画像が映し出されている。カラ画像Ｇ０に映し出されている商品棚１には、商品が何も陳列されていない。満載画像Ｇ１に映し出されている商品棚１には、３種類の商品Ｍ１，Ｍ２，Ｍ３が全域に亙って整然と並べられて陳列されている。

カラ画像Ｇ０と満載画像Ｇ１とを画素毎に比較した場合、商品棚１が映し出されている領域、すなわち陳列領域内については商品の有無により画像に差があるため、画素値の差が大きい。しかし、商品棚１以外の領域、すなわち陳列領域外については類似した画像のため画素値の差が小さい。したがって、第１のしきい値Ｌ１としては、商品棚１が映し出されている領域の画素値の差分と商品棚１が映し出されていない領域の画素値の差分とを識別可能な値を設定すればよい。

注目画素の画素値３Ｐｎが第１のしきい値Ｌ１以上の場合（Act６にてＹＥＳ）、注目画素は、商品棚１が存在する領域、すなわち陳列領域内の画素であると推測できる。この場合、ＣＰＵ３１は、陳列領域抽出画像Ｇ５の注目画素に相当する画素の値５Ｐｎを、陳列領域内を示す任意の値ａに設定する（Act７）。これに対し、注目画素の画素値３Ｐｎが第１のしきい値Ｌ１よりも小さい場合には（Act６にてＮＯ）、注目画素は、商品棚１が存在しない領域、すなわち陳列領域外の画素であると推測できる。この場合、ＣＰＵ３１は、陳列領域抽出画像Ｇ５の注目画素に相当する画素の値５Ｐｎを、陳列領域外を示す任意の値ｚに設定する（Act８）。値ａと値ｚとは、異なる値であればその大小関係は限定されない。

陳列領域抽出画像Ｇ５の注目画素に相当する画素の値５Ｐｎを任意の値ａまたは値ｚに設定したならば、ＣＰＵ３１は、Act３の処理に戻る。すなわちＣＰＵ３１は、カウンタｎをさらに“１”だけカウントアップする。そしてカウンタｎが上限値Ｎを超えていない場合（Act４にてＮＯ）、ＣＰＵ３１は、Act５〜Act８の処理を再度実行する。

ＣＰＵ３１は、カウンタｎをカウントアップする毎に、Act５〜Act８の処理を繰り返す。そしてカウンタｎが上限値Ｎを超えたならば（Act４にてＹＥＳ）、ＣＰＵ３１は、陳列領域抽出画像Ｇ５を品薄領域抽出部３１６に出力する（Act９）。

図７に示したカラ画像Ｇ０と図８に示した満載画像Ｇ１との差分画像Ｇ３から生成される陳列領域抽出画像Ｇ５の一例を図１０に示す。図１０に示すように、陳列領域抽出画像Ｇ５は、商品棚１の商品が陳列される上面１ａの領域に相当する画素値ａの画像と、それ以外の領域に相当する画素値ｚの画像とに区分される。図１０では、画素値ａの画像が白抜きによって示される。また、画素値ｚの画像が第１の網掛けパターンＰ１で示される。

品薄領域抽出部３１６は、差分画像Ｇ４と陳列領域抽出画像Ｇ５とから商品棚１の領域、すなわち商品陳列領域における品薄領域を抽出し、品薄領域抽出画像Ｇ６を生成する機能を果たす。
図６は、品薄領域抽出部３１６の情報処理手順を示す流れ図である。第２の差分画像生成部３１４にて差分画像Ｇ４が生成されるとともに、陳列領域抽出部３１５にて陳列領域抽出画像Ｇ５が生成されると、ＣＰＵ３１は、図６の流れ図に示す手順の処理を開始する。

先ずＣＰＵ３１は、差分画像Ｇ４と陳列領域抽出画像Ｇ５とをＲＡＭ３３のワークエリアに格納する（Act１１）。またＣＰＵ３１は、カウンタｎを“０”にリセットする（Act１２）。カウンタｎは、例えばＲＡＭ３３に形成される。なお、Act１１とAct１２との処理の順序はこれに限定されるものではなく、前後が入れ替わってもよい。

次にＣＰＵ３１は、カウンタｎを“１”だけカウントアップする（Act１３）。そしてＣＰＵ３１は、カウンタｎが上限値Ｎを超えたか否かを確認する（Act１４）。上限値Ｎは、陳列領域抽出部３１５で説明した上限値Ｎと同じである。

カウンタｎが上限値Ｎを超えていない場合（Act１４にてＮＯ）、ＣＰＵ３１は、差分画像Ｇ４における注目画素の画素値４Ｐｎを検出する（Act１５）。またＣＰＵ３１は、陳列領域抽出画像Ｇ５おける注目画素の画素値５Ｐｎを検出する（Act１６）。注目画素の定義についても、陳列領域抽出部３１５で説明したとおりである。なお、Act１５とAct１６との処理の順序はこれに限定されるものではなく、前後が入れ替わってもよい。

注目画素の画素値４Ｐｎ及び画素値５Ｐｎを検出したならば、ＣＰＵ３１は、画素値５Ｐｎが陳列領域内を示す値ａであるか否かを確認する（Act１７）。画素値５Ｐｎが陳列領域内を示す値ａでない、つまりは陳列領域外を示す値ｚであった場合（Act１７にてＮＯ）、ＣＰＵ３１は、品薄領域抽出画像Ｇ６の注目画素に相当する画素の値６Ｐｎを、陳列領域外を示す任意の値ｚに設定する（Act２１）。

画素値５Ｐｎが陳列領域内を示す値ａである場合には（Act１７にてＹＥＳ）、ＣＰＵ３１は、画素値４Ｐｎが第２のしきい値Ｌ２より小さいか否かを確認する（Act１８）。第２のしきい値Ｌ２は、注目画素が品薄領域の画素なのか非品薄領域の画素なのかを識別するために設定される任意の値である。

差分画像Ｇ４の各画素の値は、カラ画像Ｇ０の同一画素の値と撮影画像Ｇ２の同一画素の値との差である。カラ画像Ｇ０の一例を図７に示し、撮影画像Ｇ２の一例を図９に示す。カラ画像Ｇ０と撮影画像Ｇ２とには、それぞれ同一の商品棚１の画像が映し出されている。そしてカラ画像Ｇ０に映し出された商品棚１には、商品が陳列されていないが、撮影画像Ｇ２に映し出された商品棚１には、３種類の商品Ｍ１，Ｍ２，Ｍ３が陳列されている。ただし、商品Ｍ１，Ｍ２，Ｍ３が取り除かれて品薄となった領域は、カラ画像Ｇ０と同様に商品棚１の下地（面１ａ）が映し出されている。

カラ画像Ｇ０と撮影画像Ｇ２とを、商品棚１が表示されている領域に着目して画素毎に比較した場合、撮影画像Ｇ２で商品が映し出されている非品薄領域の画素については画素値の差が大きいが、商品が映し出されていない品薄領域の画素については画素値の差が小さい。したがって、第２のしきい値Ｌ２としては、商品が映し出されている領域の画素値の差分とそれ以外の領域の画素値の差分とを識別可能な値を設定すればよい。

注目画素の画素値４Ｐｎが第２のしきい値Ｌ２より小さい場合（Act１８にてＹＥＳ）、注目画素は、商品棚１の中で商品が陳列されていない領域を映し出す画像の画素であると推測できる。この場合、ＣＰＵ３１は、品薄領域抽出画像Ｇ６の注目画素に相当する画素の値６Ｐｎを、品薄領域を示す任意の値ｂに設定する（Act１９）。

注目画素の画素値４Ｐｎが第２のしきい値Ｌ２以上の場合には（Act１８にてＮＯ）、注目画素は、商品が陳列されている領域を映し出す画像の画素であると推測できる。この場合、ＣＰＵ３１は、品薄領域抽出画像Ｇ６の注目画素に相当する画素の値６Ｐｎを、非品薄領域を示す任意の値ｃに設定する（Act２０）。値ｂ、値ｃ及び値ｚは、異なる値であればその大小関係は限定されない。

品薄領域抽出画像Ｇ６の注目画素に相当する画素の値５Ｐｎを任意の値ｂ、値ｃまたは値ｚに設定したならば、ＣＰＵ３１は、Act１３の処理に戻る。すなわちＣＰＵ３１は、カウンタｎをさらに“１”だけカウントアップする。そしてカウンタｎが上限値Ｎを超えていない場合（Act１４にてＮＯ）、ＣＰＵ３１は、Act１５〜Act２１の処理を再度実行する。

ＣＰＵ３１は、カウンタｎをカウントアップする毎に、Act１５〜Act２１の処理を繰り返す。そしてカウンタｎが上限値Ｎを超えたならば（Act１４にてＹＥＳ）、ＣＰＵ３１は、品薄領域抽出画像Ｇ６を可視化部３１７に出力する（Act２２）。

図７に示したカラ画像Ｇ０と図９に示した撮影画像Ｇ２との差分画像Ｇ４と、図１０に示した陳列領域抽出画像Ｇ５とから生成される品薄領域抽出画像Ｇ６の一例を図１１に示す。図１１に示すように、品薄領域抽出画像Ｇ６は、商品棚１と商品棚以外の領域とに区分される。さらに商品棚１の領域は、品薄領域と非品薄領域とに区分される。図１１では、商品棚以外の領域が第１の網掛けパターンＰ１で示される。また品薄領域は第２の網掛けパターンＰ２で示され、非品薄領域は第３の網掛パターンＰ３で示される。

可視化部３１７は、品薄領域抽出画像Ｇ６と、満載画像Ｇ１または撮影画像Ｇ２とから、品薄箇所提示画像Ｇ７を生成する機能を果たす。具体的には、可視化部３１７は、満載画像Ｇ１または撮影画像Ｇ２のいずれか一方を品薄箇所提示画像Ｇ７の基礎画像とする。満載画像Ｇ１と撮影画像Ｇ２のどちらを基礎画像とするかは、オプションによって設定可能である。

可視化部３１７は、品薄領域抽出画像Ｇ６から品薄領域と認定された画素、すなわち画素値ｂの画素を抽出する。そして可視化部３１７は、基礎画像における同一画素の値を、品薄領域を可視化する色の画素値に変更するように基礎画像を加工する。この品薄領域を可視化する色についても、複数の色の中から所望の色をオプションによって選択可能である。このとき可視化部３１７は、隣り合う商品との隙間にあたる領域をノイズ領域として除去するような補正処理を施してもよい。

可視化部３１７は、基礎画像を加工して得られた品薄箇所提示画像Ｇ７を、ネットワーク５を介して情報処理装置４に送信する。その結果、品薄箇所提示画像Ｇ７が情報処理装置４の表示デバイス４ｂに表示される。

図１１に示した品薄領域抽出画像Ｇ６と、図８に示した満載画像Ｇ１または図９に示した撮影画像Ｇ２とから生成される品薄箇所提示画像Ｇ７の一例を図１２に示す。図１２に示すように、品薄箇所提示画像Ｇ７は、満載画像Ｇ１または撮影画像Ｇ２のうち、商品棚１の品薄領域が所定の色で塗り潰されて強調される。図１２では、品薄領域の画像が第４の網掛けパターンＰ４で示される。

このように、画像処理装置３は、商品棚１に商品が陳列されていない状態を撮影したカラ画像Ｇ０と同商品棚１に商品が満載されている状態を撮影した満載画像Ｇ１との所定の尺度における差分を表す第１の差分画像Ｇ２を生成する。また画像処理装置３は、モニタカメラ２で撮影された商品棚１の撮影画像Ｇ２とカラ画像Ｇ０との所定の尺度における差分を表す第２の差分画像Ｇ４を生成する。そして画像処理装置３は、第１の差分画像Ｇ３のうち、カラ画像Ｇ０と満載画像Ｇ１との差分が第１のしきい値Ｌ１以上の領域を陳列領域内とし、第１のしきい値Ｌ１より小さい領域を陳列領域外として抽出して、陳列領域抽出画像Ｇ５を生成する。この陳列領域抽出画像Ｇ５において、陳列領域内は商品棚１が映し出された領域であり、陳列領域外はその周囲の床面が映し出された領域である。

次いで、画像処理装置３は、第２の差分画像Ｇ４と陳列領域抽出画像Ｇ５とから、第２の差分画像Ｇ４のうち陳列領域内の画像で、撮影画像Ｇ１とカラ画像Ｇ０との差分が第２のしきい値Ｌ２よりも小さい領域を品薄領域とし、第２のしきい値Ｌ２以上の領域を非品薄領域として抽出し、品薄領域抽出画像Ｇ６を生成する。この品薄領域抽出画像Ｇ６において、品薄領域は商品棚１の下地が見えて入れる領域、つまり品薄となっている領域であり、非品薄領域は商品が陳列されている領域である。

次いで、画像処理装置３は、品薄領域抽出画像Ｇ６の中の品薄領域を所定の色で塗り潰した品薄箇所提示画像Ｇ７を生成する。そして画像処理装置３は、この品薄箇所提示画像Ｇ７を情報処理装置４に出力して、表示デバイス４ｂに表示させる。

したがって、情報処理装置４のオペレータは、表示デバイス４ｂに表示される品薄箇所提示画像Ｇ７を視認することによって、商品棚１の中の品薄領域を容易に特定することができる。

このように本実施形態によれば、カラ画像Ｇ０と満載画像Ｇ１との差分画像Ｇ３により商品棚１の領域とその周囲の床面の領域とが自動的に区分される。したがって、監視すべき領域を指定するような煩雑な操作が不要である。しかも、商品棚１の領域内で、カラ画像Ｇ０と撮影画像Ｇ２との差分が大きい領域、つまりは商品が陳列されている領域が非品薄領域と判定される。したがって、商品棚１の上面１ａの状態が一様ではない、例えば照明光が上面１ａに写り込んでいたり、上面１ａの一部に新聞紙が敷かれていたりした場合でも、品薄領域を精度よく判定できる。

［第２の実施形態］
次に、第２の実施形態について、図１３〜図１４を用いて説明する。
第２の実施形態が第１の実施形態と異なる点は、画像処理装置３が有する品薄検出機能の一部である。監視システムの構成及び画像処理装置３のハードウェア構成は、第１の実施形態と共通なので、同一部分には同一符号を付し、その詳しい説明は省略する。

図１３は、第２の実施形態の画像処理装置３が有する品薄検出機能を説明するためのブロック図である。品薄検出機能を実現するために、画像処理装置３は、受付部３１１、画像選択部３１２、第３の差分画像生成部３１８、第４の差分画像生成部３１９、品薄領域抽出部３１６及び可視化部３１７の各部を備える。各部３１１〜３１７は、ＣＰＵ３１が所定の画像処理プログラムにしたがって処理を実行することにより実現される。画像処理プログラムは、ＲＯＭ３２に格納される。補助記憶デバイス３４に画像処理プログラムが格納され、実行する際にＲＡＭ３３のプログラムエリアに展開されてもよい。

画像処理装置３の動作モードとして稼働モードが選択された場合、画像処理プログラムが起動する。画像処理プログラムの起動により、ＣＰＵ３１は、受付部３１１、画像選択部３１２、第３の差分画像生成部３１８、第４の差分画像生成部３１９、品薄領域抽出部３１６及び可視化部３１７としての機能を実現する。

受付部３１１は、第１の実施形態と同様に、品薄検出コマンドの受付機能を果たす。また画像選択部３１２も、第１の実施形態と同様に、画像ファイル３４０に保存されている画像データの選択機能を果たす。ただし、画像選択部３１２は、画像ファイル３４０から選択したカラ画像Ｇ０を、第３の差分画像生成部３１８に出力する。また画像選択部３１２は、画像ファイル３４０から選択した満載画像Ｇ１を、第４の差分画像生成部３１９と可視化部３１７とに出力する。さらに画像選択部３１２は、画像ファイル３４０から選択した撮影画像Ｇ２を、第３の差分画像生成部３１８と可視化部３１７とに出力する。

第３の差分画像生成部３１８は、カラ画像Ｇ０と撮影画像Ｇ２との所定の尺度における差分を表す第３の差分画像Ｇ８を生成する機能を果たす。第４の差分画像生成部３１９は、撮影画像Ｇ２と満載画像Ｇ１との所定の尺度における差分を表す第４の差分画像Ｇ９を生成する機能を果たす。差分を求める際の尺度は、第１の実施形態で説明した方法１〜４の方法が考えられる。あるいは他の方法であってもよい。

品薄領域抽出部３１６は、差分画像Ｇ８と差分画像Ｇ９とから商品棚１における品薄領域を抽出し、品薄領域抽出画像Ｇ６を生成する機能を果たす。

図１４は、品薄領域抽出部３１６の情報処理手順を示す流れ図である。第３の差分画像生成部３１８にて差分画像Ｇ８が生成されるとともに、第４の差分画像生成部３１９にて差分画像Ｇ９が生成されると、ＣＰＵ３１は、図１４の流れ図に示す手順の処理を開始する。

先ずＣＰＵ３１は、差分画像Ｇ８と差分画像Ｇ９とをＲＡＭ３３のワークエリアに格納する（Act３１）。またＣＰＵ３１は、カウンタｎを“０”にリセットする（Act３２）。カウンタｎは、例えばＲＡＭ３３に形成される。なお、Act３１とAct３２との処理の順序はこれに限定されるものではなく、前後が入れ替わってもよい。

次にＣＰＵ３１は、カウンタｎを“１”だけカウントアップする（Act３３）。そしてＣＰＵ３１は、カウンタｎが上限値Ｎを超えたか否かを確認する（Ac３１４）。上限値Ｎは、第１の実施形態で説明した上限値Ｎと同じである。

カウンタｎが上限値Ｎを超えていない場合（Act３４にてＮＯ）、ＣＰＵ３１は、差分画像Ｇ８における注目画素の画素値８Ｐｎを検出する（Act３５）。またＣＰＵ３１は、差分画像Ｇ９おける注目画素の画素値９Ｐｎを検出する（Act３６）。注目画素の定義についても、第１の実施形態で説明したとおりである。なお、Act３５とAct３６との処理の順序はこれに限定されるものではなく、前後が入れ替わってもよい。

注目画素の画素値８Ｐｎ及び画素値９Ｐｎを検出したならば、ＣＰＵ３１は、画素値８Ｐｎが第３のしきい値Ｌ３より小さいか否かを確認する（Act３７）。第３のしきい値Ｌ３は、注目画素が、商品存在領域の画素なのか非存在領域の画素なのかを識別するために設定される任意の値である。

差分画像Ｇ８の各画素の値は、カラ画像Ｇ０の同一画素の値と撮影画像Ｇ２の同一画素の値との差である。カラ画像Ｇ０の一例を図７に示し、撮影画像Ｇ２の一例を図９に示す。カラ画像Ｇ０と撮影画像Ｇ２とには、それぞれ同一の商品棚１の画像が映し出されている。そしてカラ画像Ｇ０には商品が映し出されていないが、撮影画像Ｇ２には、商品棚１に陳列された商品Ｍ１，Ｍ２，Ｍ３が映し出されている。

カラ画像Ｇ０と撮影画像Ｇ２とを画素毎に比較した場合、撮影画像Ｇ２で商品が映し出されている領域、すなわち商品存在領域については商品の有無により画素値の差が大きいが、それ以外の商品非存在領域については画素値の差が小さい。したがって、第３のしきい値Ｌ３としては、商品存在領域の画素値の差分と商品非存在領域の画素値の差分とを識別可能な値を設定すればよい。

注目画素の画素値８Ｐｎが第３のしきい値Ｌ３より小さい場合（Act３７にてＹＥＳ）、注目画素は、商品非存在領域を映し出す画像の画素であると推測できる。商品非存在領域には、品薄領域と商品棚以外の領域とが含まれる。そこでＣＰＵ３１は、差分画像Ｇ９における注目画素の画素値９Ｐｎが第４のしきい値Ｌ４より大きいか否かを確認する（Act３８）。第４のしきい値Ｌ４は、注目画素が品薄領域なのか非品薄領域なのかを識別するために設定される任意の値である。

差分画像Ｇ９の各画素の値は、満載画像Ｇ１の同一画素の値と撮影画像Ｇ２の同一画素の値との差である。満載画像Ｇ１の一例を図８に示し、撮影画像Ｇ２の一例を図９に示す。満載画像Ｇ１と撮影画像Ｇ２とを、商品非存在領域に着目して比較した場合、品薄領域の画素については画素値の差が大きく、商品棚１以外の領域の画素については画素値の差が小さい。したがって、第４のしきい値Ｌ４としては、品薄領域の画素値の差分と商品棚１以外の領域の画素値の差分とを識別可能な値を設定すればよい。

注目画素の画素値９Ｐｎが第４のしきい値Ｌ４より大きい場合（Act３８にてＹＥＳ）、注目画素は、品薄領域の画素であると推測できる。この場合、ＣＰＵ３１は、品薄領域抽出画像Ｇ６の注目画素に相当する画素の値６Ｐｎを、品薄領域を示す値ｂに設定する（Act３９）。

一方、差分画像Ｇ８における注目画素の画素値８Ｐｎが第３のしきい値以上の場合には（Act３７にてＮＯ）、注目画素は、商品存在領域を映し出す画像の画素であると推測できる。そこでＣＰＵ３１は、品薄領域抽出画像Ｇ６の注目画素に相当する画素の値６Ｐｎを、差分画像Ｇ８における注目画素の画素値８Ｐｎに設定する（Act４０）。

また、差分画像Ｇ９における注目画素の画素値９Ｐｎが第４のしきい値以下の場合（Act３８にてＮＯ）、注目画素は、商品棚１以外の領域を映し出す画像の画素であると推測できる。そこでＣＰＵ３１は、品薄領域抽出画像Ｇ６の注目画素に相当する画素の値６Ｐｎを、差分画像Ｇ９における注目画素の画素値９Ｐｎに設定する（Act４１）。

品薄領域抽出画像Ｇ６の注目画素に相当する画素の値５Ｐｎを任意の値ａ、または画素値８ＰＮ若しくは画素値９Ｐｎに設定したならば、ＣＰＵ３１は、Act３３の処理に戻る。すなわちＣＰＵ３１は、カウンタｎをさらに“１”だけカウントアップする。そしてカウンタｎが上限値Ｎを超えていない場合（Act３４にてＮＯ）、ＣＰＵ３１は、Act３５〜Act４１の処理を再度実行する。

ＣＰＵ３１は、カウンタｎをカウントアップする毎に、Act３５〜Act４１の処理を繰り返す。そしてカウンタｎが上限値Ｎを超えたならば（Act３４にてＹＥＳ）、ＣＰＵ３１は、品薄領域抽出画像Ｇ６を可視化部３１７に出力する（Act４２）。

可視化部３１７は、第１の実施形態と同様に、品薄領域抽出画像Ｇ６と、満載画像Ｇ１または撮影画像Ｇ２とから、品薄箇所提示画像Ｇ７を生成する機能を果たす。

このように構成された第２の実施形態の画像処理装置３においても、第１の実施形態と同様の効果を奏することができる。そして第１の実施形態と第２の実施形態とにおいて画像処理装置３の機能を対比すると、第２の実施形態の方が陳列領域抽出部３１５としての機能を省略できるので、機能を簡略化できる利点がある。

［第３の実施形態］
次に、第３の実施形態について、図１５〜図１８を用いて説明する。
図１５は、監視システムの概略構成を示す模式図である。
第３の実施形態が第１の実施形態と異なる点は、監視システムにＰＯＳシステムのＰＯＳサーバ６を組み込んだ点である。また、画像処理装置３が有する品薄検出機能の一部も異なる。それ以外の構成は第１の実施形態と共通なので、同一部分には同一符号を付し、その詳しい説明は省略する。

図１５は、第３の実施形態における監視システムの概略構成を示す模式図である。監視システムは、モニタカメラ２、画像処理装置３及び情報処理装置４に加えて、ＰＯＳサーバ６を含む。ＰＯＳサーバ６は、ネットワーク５を介して各画像処理装置３及び情報処理装置４に接続される。

ＰＯＳサーバ６は、周知のＰＯＳシステムにおけるサーバ用コンピュータであって、商品マスタファイル７を管理する。商品マスタファイル７には、各商品の商品データレコードが蓄積される。

図１６は、商品データレコードの主要なデータ構造を示す模式図である。図１６に示すように、商品データレコードは、商品コード、商品名、価格、棚区分等のデータ項目で構成される。商品コードは、各商品を識別する商品固有のコードである。商品名及び価格は、商品コードで特定される商品の固有名称及び販売価格である。棚区分は、商品コードで特定される商品が陳列されている商品棚の位置を特定する情報である。

例えば図１５に示すように、商品棚１は、左端の区画１０１，１０４と、中央の区画１０２，１０５と、右端の区画１０３，１０６とに区分されており、１区画に１品種の商品が陳列される。各区画１０１，１０２，１０３，１０４，１０５，１０６，にはそれぞれ固有のＩＤが割り当てられており、このＩＤが棚区分として商品データレコードにセットされる。

図１４は、第３の実施形態の画像処理装置３が有する品薄検出機能を説明するためのブロック図である。画像処理装置３は、受付部３１１、画像選択部３１２、第１の差分画像生成部３１３、第２の差分画像生成部３１４、陳列領域抽出部３１５、品薄領域抽出部３１６及び可視化部３１７に加えて、棚区分検出部３２１と品薄商品検索部３２２とを備える。各部３１１〜３１７は、ＣＰＵ３１が所定の画像処理プログラムにしたがって処理を実行することにより実現される。画像処理プログラムは、ＲＯＭ３２に格納される。補助記憶デバイス３４に画像処理プログラムが格納され、実行する際にＲＡＭ３３のプログラムエリアに展開されてもよい。

画像処理装置３の動作モードとして稼働モードが選択された場合、画像処理プログラムが起動する。画像処理プログラムの起動により、ＣＰＵ３１は、受付部３１１、画像選択部３１２、第１の差分画像生成部３１３、第２の差分画像生成部３１４、陳列領域抽出部３１５、品薄領域抽出部３１６、可視化部３１７、棚区分検出部３２１及び品薄商品検索部３２２としての機能を実現する。

ここで、受付部３１１、画像選択部３１２、第１の差分画像生成部３１３、第２の差分画像生成部３１４、陳列領域抽出部３１５及び品薄領域抽出部３１６の機能は，第１の実施形態と同様である。

棚区分検出部３２１は、品薄領域抽出部３１６で抽出された品薄領域が、商品棚１のどの区画に相当するかを、品薄領域抽出画像Ｇ６から検出する。品薄領域抽出画像Ｇ６において品薄領域と認定された領域は画素値が“ｂ”である。棚区分検出部３２１は、画素値ｂの領域が、商品棚１における左端の区画に対応するのか中央の区画に対応するのか右端の区画に対応するのかを識別する。そして棚区分検出部３２１は、識別した区画に対応して予め設定されている棚区分を検出する。例えば補助記憶デバイス３４には、当該画像処理装置３に接続されるモニタカメラ２によって撮影される商品棚１の左端、中央および右端の各区画の棚区分が予め設定されている。棚区分検出部３２１は、補助記憶デバイス３４を参照して、画素値ｂの領域に対応する区画の棚区分を検出する。その際、棚区分検出部３２１は、複数の区画に対応した棚区分を検出することを妨げない。

品薄商品検索部３２２は、棚区分検出部３２１で検出された棚区分でＰＯＳサーバ６に対して問合せを行う。この問い合わせに応答して、ＰＯＳサーバ６では商品マスタファイル７が検索され、当該棚区分を含む商品データレコードが画像処理装置３に転送される。そこで品薄商品検索部３２２は、商品データレコードから例えば商品名を検出し、可視化部３１７に与える。

可視化部３１７は、第１の実施形態と同様に、品薄領域抽出画像Ｇ６と、満載画像Ｇ１または撮影画像Ｇ２とから、品薄箇所提示画像Ｇ７を生成する機能を果たす。その際、可視化部３１７は、品薄箇所提示画像Ｇ７に、品薄商品検索部３２２から与えられた商品名を付加する。

このように構成された第３の実施形態によれば、情報処理装置４のオペレータは、表示デバイス４ｂに表示される品薄箇所提示画像Ｇ７から、どの商品が品薄になったのかを容易に認識できる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記各実施形態では、可視化部３１７で生成された品薄箇所提示画像Ｇ７を情報処理装置４に送信し、情報処理装置４の表示デバイス４ｂに品薄箇所提示画像Ｇ７を表示させることで品薄領域を可視化したが、品薄領域を可視化する手段はこれに限定されるものではない。例えば、画像処理装置３が所定のマンマシンインターフェースを介して接続される表示デバイスに品薄箇所提示画像Ｇ７を表示させることで品薄領域を可視化してもよい。また、プリンタによって品薄箇所提示画像Ｇ７を印刷出力することにより、品薄領域を可視化してもよい。

また、前記各実施形態では、品薄領域を所定の色で塗り潰すことにより他の領域と識別可能としたが、品薄領域を識別可能にする手段は色に限定されるものではない。例えば、品薄領域の外周を太い線で囲うことによって、品薄領域を他の領域と識別可能にしてもよい。

また、前記各実施形態では、陳列部材を平置き型の商品棚１として説明したが、陳列部材の形状は特に限定されるものではない。例えば、２段以上の階層構造を有する商品棚であってもよい。この場合、モニタカメラ２は、商品棚の正面側から商品棚を撮影することとなる。また、バイキング形式のレストランにおいて、テーブルカウンタに並べられた料理の品薄状態を監視するシステムにも応用することができる。

なお、画像処理装置の譲渡は一般に、画像処理プログラム等のプログラムがＲＯＭ３２に記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された画像処理プログラム等がユーザなどの操作に応じて書き込まれてもよい。画像処理プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…商品棚（陳列部材）、２…モニタカメラ、３…画像処理装置、４…情報処理装置、３１１…受付部、３１２…画像選択部、３１３…第１の差分画像生成部、３１４…第２の差分画像生成部、３１５…陳列領域抽出部、３１６…品薄領域抽出部、３１７…可視化部、３１８…第３の差分画像生成部、３１９…第４の差分画像生成部、３４０…画像ファイル。

Claims (6)

1. 商品を陳列する陳列部材に前記商品が陳列されていない状態を撮影したカラ画像と前記陳列部材に前記商品が満載されている状態を撮影した満載画像との所定の尺度における差分を表す第１の差分画像を生成する第１の差分画像生成部と、
   前記陳列部材を撮影する撮影手段から取り込んだ撮影画像と前記カラ画像との所定の尺度における差分を表す第２の差分画像を生成する第２の差分画像生成部と、
   前記第１の差分画像のなかで前記カラ画像と前記満載画像との差分が所定の第１のしきい値よりも大きい領域を陳列領域として抽出する陳列領域抽出部と、
   前記第２の差分画像のなかから前記陳列領域抽出部で抽出された陳列領域内の画像で、前記撮影画像と前記カラ画像との差分が所定の第２のしきい値よりも小さい領域を品薄領域として抽出する品薄領域抽出部と、
   前記品薄領域抽出部で抽出された前記陳列部材の品薄領域を可視化する可視化部と、
   を具備する画像処理装置。
2. 商品を陳列する陳列部材に前記商品が陳列されていない状態を撮影したカラ画像と前記陳列部材を撮影する撮影手段から取り込んだ撮影画像との所定の尺度における差分を表す第３の差分画像を生成する第３の差分画像生成部と、
   前記陳列部材に前記商品が満載されている状態を撮影した満載画像と前記撮影画像との所定の尺度における差分を表す第４の差分画像を生成する第４の差分画像生成部と、
   前記第３の差分画像のなかで前記カラ画像と前記撮影画像との差分が所定の第３のしきい値よりも小さい領域のうち、前記第４の差分画像のなかで前記満載画像と前記撮影画像との差分が所定の第４のしきい値よりも大きい領域を品薄領域として抽出する品薄領域抽出部と、
   前記品薄領域抽出部で抽出された前記陳列部材の品薄領域を可視化する可視化部と、
   を具備する画像処理装置。
3. 前記可視化部は、前記満載画像または前記撮影画像から前記品薄領域に該当する個所を識別可能に加工した画像を生成し、表示デバイスに表示させる請求項１または２記載の画像処理装置。
4. 前記撮影手段により商品が陳列されていない前記陳列部材を撮影した画像を前記カラ画像として記憶媒体に格納する第１の格納部と、
   前記撮影手段により商品が満載されている前記陳列部材を撮影した画像を前記満載画像として記憶媒体に格納する第２の格納部と、をさらに具備し、
   第１の差分画像生成部は、前記記憶媒体に格納された前記カラ画像と前記満載画像との所定の尺度における差分を表す第１の差分画像を生成する請求項１または２記載の画像処理装置。
5. 商品を陳列する陳列部材を撮影するカメラと、前記カメラで撮影された撮影画像を処理する画像処理装置と、前記画像処理装置で処理された画像を表示する表示デバイスと、を備え、
   前記画像処理装置は、
   前記陳列部材に商品が陳列されていない状態を撮影したカラ画像と前記陳列部材に商品が満載されている状態を撮影した満載画像との所定の尺度における差分を表す第１の差分画像を生成する第１の差分画像生成部と、
   前記撮影画像と前記カラ画像との所定の尺度における差分を表す第２の差分画像を生成する第２の差分画像生成部と、
   前記第１の差分画像のなかで前記カラ画像と前記満載画像との差分が所定の第１のしきい値よりも大きい領域を陳列領域として抽出する陳列領域抽出部と、
   前記第２の差分画像のなかから前記陳列領域抽出部で抽出された陳列領域内の画像で、前記撮影画像と前記カラ画像との差分が所定の第２のしきい値よりも小さい領域を品薄領域として抽出する品薄領域抽出部と、
   前記品薄領域抽出部で抽出された前記陳列部材の品薄領域を可視化してなる品薄箇所提示画像を生成する可視化部と、を具備し、
   前記表示デバイスは、前記品薄箇所提示画像を表示する品薄状態監視システム。
6. 商品を陳列する陳列部材を撮影する撮影手段を接続してなるコンピュータを、
   前記陳列部材に前記商品が陳列されていない状態を撮影したカラ画像と前記陳列部材に前記商品が満載されている状態を撮影した満載画像との所定の尺度における差分を表す第１の差分画像を生成する第１の差分画像生成手段、
   前記撮影手段から取り込んだ撮影画像と前記カラ画像との所定の尺度における差分を表す第２の差分画像を生成する第２の差分画像生成手段、
   前記第１の差分画像のなかで前記カラ画像と前記満載画像との差分が所定の第１のしきい値よりも大きい領域を陳列領域として抽出する陳列領域抽出手段、
   前記第２の差分画像のなかから前記陳列領域抽出手段で抽出された陳列領域内の画像で、前記撮影画像と前記カラ画像との差分が所定の第２のしきい値よりも小さい領域を品薄領域として抽出する品薄領域抽出手段、及び
   前記品薄領域抽出手段により抽出された前記陳列部材の品薄領域を可視化する可視化手段、
   として機能させるための画像処理プログラム。

Images