JP2006059038A - フェイスアップ度評価システム及び評価プログラム - Google Patents

Abstract

【課題】商品陳列棚のフェイスアップ度を具体的数値として自動的に算出可能な技術の実現。
【解決手段】閾値を参照し、商品陳列棚の画像中において商品が配置されていない商品不存在領域を画素単位で識別する手段、商品存在領域と商品不存在領域との二値画像を生成する手段、この二値画像に対して境界線追跡処理を施し、商品存在領域の境界線を抽出する手段、商品存在領域の重心を算出する手段、商品存在領域に含まれる各画素を中心に領域増加処理を施し、商品存在領域の境界線に接する円を生成する手段、各円の中で最も面積が大きく、かつその中心が上記重心に最も近いものを代表図形として選択する手段、代表図形における中心画素と上記重心間の距離に応じた評価ポイントを算出する手段、代表図形の面積に評価ポイントを適用してフェイスアップ度を算出する手段を備えた。
【選択図】 図２

Description

この発明は、フェイスアップ度評価技術に係り、特に、商品陳列棚におけるフェイスアップの出来映えを具体的な数値で定量的に表現する技術に関する。

コンビニエンスストア（以下「コンビニ」）やスーパーマーケット等の売り場においては、商品陳列棚のフェイスアップ作業が売り上げを向上させるために極めて重要である。
ここでフェイスアップ作業とは、陳列棚の商品を密集させてボリューム感を演出し、見栄えを良くすることを意味する。すなわち、商品が陳列棚に疎らに配置されていると如何にも売れ残りのような印象を顧客に与えるため、商品が売れて穴の空いた部分に対して同種商品を補充したり、後方の商品を前に引き出して陳列棚の外観を回復する作業が必要となる。また、同種商品の補充が間に合わない場合には、残った商品を陳列棚の中心部分に固め、商品の虫食い状態を改善することもフェイスアップ作業に含まれる。
コンビニ等のスタッフが常に商品陳列棚のフェイスアップに気を配り、こまめに手を加えることによって売り場における美観が向上し、顧客の購買意欲を刺激することが一般に知られている（非特許文献１の「フェイスアップ」の項参照）。

このため、コンビニチェーンの加盟店に対する本部スタッフや外部コンサルタントによる指導においても、このフェイスアップの善し悪しが重要なチェック項目として挙げられている。
例えば、店舗内に設置したデジタルカメラからネットワーク経由で定期的に送信される売り場の画像をリアルタイムに監視し、フェイスアップ作業が滞っている場合には現場スタッフに警告を発することが行われている。
あるいは、リアルタイムに監視する代わりに、ある程度蓄積された画像を後でまとめてチェックし、問題点を発見した場合には事後的に改善を勧告することも行われている。

前陳棒／ゼンチンボー（登録商標）［平成１６年７月１９日検索］ インターネットURL:http://home.att.ne.jp/sun/pikul/zenchin01.htm

しかしながら、これまでフェイスアップの適否を具体的な数値で表現する技術が存在しなかったため、判断する者の経験や認識によって評価にバラツキが生じ易く、また判定結果も「比較的良好」や「やや遅れ気味」などの曖昧な表現を使わざるを得ないため、フェイスアップ作業に関して指導をするに際し説得力に欠けるという問題があった。
しかも、上記のように複数のデジタルカメラから送信される多数の画像に関しフェイスアップの適否を逐一人間が判定するとなると、リアルタイムであれ事後的であれ膨大なマンパワーが必要となり、全加盟店舗のフェイスアップ具合を常時評価することは事実上不可能であった。

この発明は上記の問題点を解決するためになされたものであり、商品陳列棚のフェイスアップ度を具体的数値として自動的に算出可能な技術の実現を目的としている。

上記の目的を達成するため、請求項１に記載したフェイスアップ度評価システムは、商品陳列棚が撮影された画像を読み込む手段と、予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する商品不存在領域識別手段と、商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段と、上記二値画像に対して境界線追跡処理を施し、商品存在領域の境界線を抽出する手段と、上記画像中の特定領域における所定の基準座標を算出する基準座標算出手段と、商品存在領域に含まれる各画素を中心に領域増加処理を施し、上記境界線に接する円または正多角形を生成する手段と、上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段と、上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段と、上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段と、上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段とを備えたことを特徴としている。
上記「基準座標」としては、例えば画像中における商品陳列棚を囲繞する領域の中心座標や重心座標が該当する。
上記円または正多角形の面積は、当該図形に含まれる画素数によって算出される。
上記「評価ポイント」は、例えば距離とポイントとの対応関係が複数パターン設定された換算テーブルを参照することによって算出される。
上記「評価ポイントを適用する」とは、代表図形における中心画素と基準座標間の距離に応じて予め設定された数値を、代表図形の面積に対して加算、あるいは減算、乗算、除算することを意味する。

請求項２に記載したフェイスアップ度評価システムは、請求項１のシステムを前提とし、さらに上記基準座標算出手段が、上記商品存在領域における重心座標を基準座標として算出することを特徴としている。

請求項３に記載したフェイスアップ度評価システムは、請求項１または２のシステムを前提とし、さらに上記記憶手段には所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納されており、上記フェイスアップ度を時系列に沿ってプロットしたグラフを生成する手段を備えたことを特徴としている。

請求項４に記載したフェイスアップ度評価システムは、請求項１〜３のシステムを前提とし、さらに上記記憶手段には、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納されており、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像が格納された記憶手段と、上記の画像を時系列に沿って配列すると共に、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段とを備えたことを特徴としている。

請求項５に記載したフェイスアップ度評価システムは、請求項１〜４のシステムを前提とし、さらに上記二値画像に対してノイズ除去処理を施し、所定面積以下の商品不存在領域を排除する手段を備えたことを特徴としている。

請求項６に記載したフェイスアップ度評価システムは、請求項１〜５のシステムを前提とし、さらに上記画像中の探索領域を予め設定しておく記憶手段を備え、上記商品不存在領域識別手段が、当該探索領域に含まれる画素について上記の識別処理を実行することを特徴としている。

請求項７に記載したフェイスアップ度評価システムは、請求項１〜６のシステムを前提とし、さらに上記閾値が商品陳列棚の各棚段に対応する領域単位で設定されおり、上記商品不存在領域識別手段が、各棚段の領域に含まれる画素については対応の閾値を参照して上記の識別処理を実行することを特徴としている。

請求項８に記載したフェイスアップ度評価プログラムは、コンピュータを、商品陳列棚が撮影された画像を読み込む手段、予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する手段、商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段、上記二値画像に対して境界線追跡処理を施し、商品存在領域の境界線を抽出する手段、上記画像中の特定領域における所定の基準座標を算出する手段、商品存在領域に含まれる各画素を中心に領域増加処理を施し、上記境界線に接する円または正多角形を生成する手段、上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段、上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段、上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段、上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段として機能させることを特徴としている。

請求項９に記載したフェイスアップ度評価プログラムは、請求項８のプログラムを前提とし、さらにコンピュータを、上記商品存在領域における重心座標を上記の基準座標として算出する手段として機能させることを特徴としている。

請求項１０に記載したフェイスアップ度評価プログラムは、請求項８または９のプログラムを前提とし、さらにコンピュータを、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を格納しておく記憶手段、上記フェイスアップ度を時系列に沿ってプロットしたグラフを生成する手段として機能させることを特徴としている。

請求項１１に記載したフェイスアップ度評価プログラムは、請求項８〜１０のプロラムを前提とし、さらにコンピュータを、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を格納しておく記憶手段、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像を格納しておく記憶手段、上記の画像を時系列に沿って配列すると共に、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段として機能させることを特徴としている。

請求項１２に記載したフェイスアップ度評価プログラムは、請求項８〜１１のプロラムを前提とし、さらにコンピュータを、上記二値画像に対してノイズ除去処理を施し、所定面積以下の商品不存在領域を排除する手段として機能させることを特徴としている。

請求項１３に記載したフェイスアップ度評価プログラムは、請求項８〜１２のプロラムを前提とし、さらにコンピュータを、上記画像中の探索領域を予め設定しておく記憶手段、当該探索領域に属する画素について上記の商品不存在領域を識別する手段として機能させることを特徴としている。

請求項１４に記載したフェイスアップ度評価プログラムは、請求項８〜１３のプロラムを前提とし、さらにコンピュータを、商品陳列棚の各棚段に対応する領域単位で閾値を設定しておく記憶手段、各棚段の領域に含まれる画素について対応の閾値を適用して上記の商品不存在領域を識別する手段として機能させることを特徴としている。

請求項１に記載のフェイスアップ度評価システム及び請求項８に記載のフェイスアップ度評価プログラムにあっては、商品存在領域の境界線に内挿される代表図形の面積に基づいてフェイスアップ度が算出されるため、対象となる商品陳列棚のフェイスアップの状態を具体的な数値として提示することが可能となる。
しかも、単純に「代表図形の面積＝フェイスアップ度」と認定されるのではなく、代表図形の中心画素と基準座標との距離を勘案した補正を加えることによって最終的なフェイスアップ度が算出される仕組みであるため、実際のフェイスアップの善し悪しを決する際に重要な「商品の集積位置」を結果に反映させることが可能となる。

請求項２に記載のフェイスアップ度評価システム及び請求項９に記載のフェイスアップ度評価プログラムにあっては、商品存在領域における重心座標が上記の基準座標として算出されるため、集積された商品群の形状をフェイスアップ度の算出結果に反映させることが可能となる。

請求項３に記載のフェイスアップ度評価システム及び請求項１０に記載のフェイスアップ度評価プログラムによれば、同一商品陳列棚におけるフェイスアップ度の推移を視覚的に表現することが可能となる。

請求項４に記載のフェイスアップ度評価システム及び請求項１１に記載のフェイスアップ度評価プログラムによれば、同一商品陳列棚におけるフェイスアップの状況を画像及び数値の両面で表現することが可能となる。

請求項５に記載のフェイスアップ度評価システム及び請求項１２に記載のフェイスアップ度評価プログラムによれば、商品間の隙間や、商品の上部と棚段の裏面間に存在する微細な領域を商品不存在領域から除外することが可能となる。

請求項６に記載のフェイスアップ度評価システム及び請求項１３に記載のフェイスアップ度評価プログラムによれば、画像中の不要部分をフェイスアップ度算出の対象外とすることができ、その分演算処理の簡素化を図れる。

請求項７に記載のフェイスアップ度評価システム及び請求項１４に記載のフェイスアップ度評価プログラムによれば、棚段によって明るさが異なる環境下であっても商品不存在領域を高精度で識別可能となる。

図１は、この発明に係るフェイスアップ度評価システム10の全体構成を示す概念図であり、センターサーバ12と、各コンビニ店舗14の天井付近に設置されたネットワークカメラ16と、コンビニ本部等のユーザが管理するPC等の通信端末18と、センターサーバ12にLAN接続されたPC等の操作端末20とを備えている。
ネットワークカメラ16は、CCDやCMOS等の撮像素子と、ネットワーク接続用のインターフェイスを備えており、コンビニ店舗14内のブロードバンド回線に接続することにより、インターネット22経由で商品陳列棚23を斜め上方から撮影した画像をセンターサーバ12に転送する機能を備えている。
また、センターサーバ12と通信端末18との間も、インターネット22を介してネットワーク接続されている。

図２は、センターサーバ12の機能構成を示すブロック図であり、元画像登録部24と、元画像記憶部26と、設定処理部28と、設定情報記憶部30と、画像加工部32と、加工画像記憶部34と、フェイスアップ度算出部35と、算出結果記憶部36と、報告データ生成部37と、報告データ記憶部38と、報告データ送信部39とを備えている。
上記元画像登録部24、設定処理部28、画像加工部32、フェイスアップ度算出部35、報告データ生成部37及び報告データ送信部39は、センターサーバ12のCPUがOSや専用のアプリケーションプログラム等に従い、必要な処理を実行することによって実現される。
また、上記元画像記憶部26、設定情報記憶部30、加工画像記憶部34、算出結果記憶部36、及び報告データ記憶部38は、センターサーバ12のハードディスク内に設けられている。

このシステム10を用いて各店舗14における商品陳列棚23のフェイスアップ度を算出するためには、事前にネットワークカメラ16毎に基本設定を行う必要がある。
以下、図３のフローチャートに従い、この基本設定の手順について説明する。
まず、操作端末20のオペレータは、マウスやキーボード等の入力装置40を操作し、設定処理部28に対して基本設定のリクエストを送信する。
これを受けた設定処理部28からはネットワークカメラ選択用の画面が送信され（Ｓ10）、操作端末20のディスプレイ41に表示される（図示省略）。
この画面においてオペレータが特定の店舗内に設置されたネットワークカメラ16を選択すると、設定処理部28は当該ネットワークカメラ用の設定フォームを生成し、ディスプレイ41に表示させる（Ｓ11）。

図４は、この設定フォーム42を示すものであり、「探索領域設定」、「閾値設定」、「画像帳票の粒度設定」のタブを備えている。
ここでオペレータが探索領域設定タブをクリックすると、設定処理部28によって探索領域設定画面43がディスプレイ41に表示される（Ｓ12）。
この探索領域設定画面43には、設定処理部28が元画像記憶部26から抽出した、当該ネットワークカメラ16が監視対象としている商品陳列棚23の画像が表示されている。

この画像に対しオペレータは、４つのポイントを指定することにより、後述の画像処理を実施する領域の画定を行う。具体的には、開始ボタン44をクリックした後、マウスポインタを陳列棚23の四隅に合わせて順次クリックすることにより、設定処理部28によって４点を結んだ長方形状の探索領域設定枠45が画像上に表示される(S13)。
これに対しオペレータが決定ボタン46をクリックすると、枠内に含まれる画素が後述の画像処理の対象領域として認定され、設定処理部28はその画素範囲をネットワークカメラ16のIDに関連付けて設定情報記憶部30に登録する（Ｓ14）。
このように、画像の一部分を画像処理の対象となる探索領域として予め設定しておくことにより、後続の画像処理において領域外の画素を除外することが可能となり、その分演算量を低減することが可能となる。
図４においては、清涼飲料水のペットボトルが陳列された棚の他に、カップデザートの陳列された棚も探索領域として設定した例が示されているが、より狭い範囲を探索領域として設定することも可能である。

つぎにオペレータが閾値設定タブをクリックすると、設定処理部28によって閾値設定画面がディスプレイ41に表示される（Ｓ15）。
図５に示すように、この閾値設定画面47には、上記の画像及び探索領域設定枠45が表示されている。
これに対しオペレータは、開始ボタン48をクリックした後、マウスのドラッグ操作によって一つの棚段を長方形状の閾値設定領域枠49で囲み、その状態でマウスポインタ50を棚の地色が露出している部分に移動させる。
この結果、設定処理部28によってマウスポインタ50が指し示す画素のHSV値が算出され、ポップアップウィンドウ51に表示される（Ｓ16）。

ここで「HSV」とは、色を「色相（Hue）」「彩度（Saturation）」「明度（Value of Brightness）」によって表現する方式のことであり、HSV値とは色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）を特定するための数値を意味する。
このシステム10においては、棚段における前面に商品が存在する部分と前面に商品の存在しない部分とを識別することが必要であるため、予め上記のように商品と商品との間の部分のHSV値を画面上に表示させ、これを参考にしてオペレータがHSVの閾値を下部の入力欄52にタイプする。
例えば、オペレータは棚段の地色の露出した複数の部分についてHSV値を表示させ、それらの平均的な数値を入力欄52に入力した後、決定ボタン53をクリックする。

これを受けた設定処理部28は、オペレータが入力したHSVの閾値を、当該棚段の領域情報（画素範囲）と関連付けて設定情報記憶部30に登録する（Ｓ17）。
オペレータによるHSV値の設定が完了した棚段には、設定処理部28によってグレーのマスク54が掛けられ、未設定領域との区分けがなされる。
なお、各棚段間の仕切り部分など、閾値設定領域枠49から外れた部分については、デフォルトの閾値が適用される。

上記のように、棚段単位でHSVの閾値を設定するのは以下の理由による。
すなわち、一般に商品陳列棚23の上方には蛍光灯等の照明器具が配置されており、商品が前面に存在しない部分の色彩が光源との距離に応じて棚段毎に異なる傾向がみられる。
このため、棚段の地色を参考にして閾値を棚段毎に設定することとし、画像処理の精度を高めているのである。
なお、HSVの表色系が人間にとってわかり易く、かつ商品の有無を検出し易いため上記においては閾値としてHSVの各値を設定する方式を採用したが、RGBの各値を閾値として設定することもできる。

各棚段の閾値を設定し終えたオペレータが画像帳票の粒度設定タブをクリックすると、図６に示すように、画像抽出の間隔を設定するための粒度設定画面55がディスプレイ41に表示される（Ｓ18）。
これに対しオペレータは、より粒度の高い画像帳票が必要な場合には「１時間おき」のラジオボタンにチェックを入れ、比較的ラフな画像帳票で十分な場合には「５時間おき」のラジオボタンにチェックを入れる。
オペレータが特定の粒度（時間的間隔）を選択すると、設定処理部28により、生成される画像帳票のイメージが画像帳票のサンプル欄に表示される。ここでは、「２時間おき」に粒度が設定されているため、00：00から２時間おきに12枚／日の画像が抽出される様子が表示されている。
この画像帳票のサンプルを見て納得したオペレータは、決定ボタン56をクリックする。
これを受けた設定処理部28は、当該粒度の設定情報をネットワークカメラ16のIDに関連付けて設定情報記憶部30に登録する（Ｓ19）。

以上のようにしてネットワークカメラ16に関する基本設定が完了すると、システム10は各ネットワークカメラ16から定期的に送信される画像ファイルを蓄積し、所定のタイミングで各画像から遮蔽物を除去する修正処理を実行する。
以下、図７及び図８のフローチャートに従い、画像修正の処理手順について説明する。
まず、各ネットワークカメラ16からは所定のタイミング、例えば１分毎に１枚の割合で商品陳列棚23の画像ファイルが送信され、これを受け付けた元画像登録部24は、各画像ファイルをネットワークカメラ16のID及び日時情報に関連付けて元画像記憶部26に順次格納する（Ｓ30）。
そして、一定の期間（例えば24時間）が経過した後に（Ｓ31）、画像加工部32によってそれまでに蓄積された画像ファイルに対し必要な修正処理が施される。

まず画像加工部32は設定情報記憶部30を参照し、当該ネットワークカメラ16に関連付けられた設定情報（探索領域情報）を取得する（Ｓ32）。
つぎに画像加工部32は、図９の(a)及び(b)に示すように、ネットワークカメラ16から送信された先頭フレーム画像60（例えば、１日の始まりである00：00の画像）の探索領域と、基準画像αの探索領域とを画素単位で比較する（Ｓ33）。
ここで「基準画像」とは、該当店舗の該当日における商品陳列棚23の画像であって、さらに人間やカートなど監視対象を覆い隠す遮蔽物が写り込んでいない状態の画像を意味する。

そして、両画像の探索領域に属する対応画素間のRGB値が所定の程度（例えば10％以上）相違している場合、画像加工部32は「相関が低いため先頭フレーム画像60側の画素について変更あり」と認定し、当該変更の生じた画素の座標を変更部としてメモリに記述する（Ｓ34）。
図９(b)の先頭フレーム画像60の場合、ペットボトル１本が棚段から取り去られた点と、一人の男性客の上半身が写り込んでいる点に相違があり、そこに含まれる画素が変更部としてメモリ上に記録される。
これに対し、両画素間のRGB値の差異が所定の程度内（例えば10％未満）である場合、画像加工部32は「相関が高いため先頭フレーム画像60側の画素について変更なし」と認定する。
このように、両画素間の異同を判定するに際し所定の誤差幅を設定しておくことにより、店舗内の照度の変化といった外乱要素によって判定結果が左右されることを有効に防止可能となる。

つぎに画像加工部32は、同図(c)に示すように、上記の変更部の画素を白、それ以外の非変更部の画素を黒で表現した二値画像62を生成する（Ｓ35）。
つぎに画像加工部32は、上記の二値画像62に対して膨張・収縮処理を複数回実施し、余計なノイズを除去する（Ｓ36）。
つぎに画像加工部32は、上記の二値画像62における変更部に対してラベリング処理を施し、相互に連続している複数の画素からなる変更領域を認識する（Ｓ37）。ここで「ラベリング処理」とは、つながっているすべての画素（連結成分）に同じラベル（番号）を付与し、異なった連結成分には異なった番号を付与する処理を指す。
つぎに画像加工部32は、予め設定された面積（画素数）以下の変更領域を商品が取り去られたことによる変更領域と認定し、(c)の二値画像62から除外する（Ｓ38）。
この結果、同図(d)に示すように、遮蔽物（この場合、男性客の上半身）の介在による変更領域のみを白表示する二値画像64が生成される。

つぎに画像加工部32は、同図(e)に示すように、上記の遮蔽物の介在による変更領域に係る画素群を先頭フレーム画像60から切除する（Ｓ39）と共に、基準画像αにおける対応領域の画素群65を切除部分66にコピーする（Ｓ40）。
この結果、同図(f)に示すように、遮蔽物（男性客の上半身）を除去した修正画像68が生成される。この修正画像68においては、ペットボトル１本が棚段から取り去られたことによる変更部Ｘはそのまま再現されている。
画像加工部32は、この修正画像68をネットワークカメラ16のID及び日時情報と関連付けて加工画像記憶部34に格納する（Ｓ41）。

つぎに画像加工部32は、上記において生成された修正画像68と、つぎのフレームの元画像とを比較し（Ｓ42）、Ｓ43〜Ｓ48においてＳ34〜Ｓ39と同等の処理を実行することにより、遮蔽物を取り除いた新たな修正画像を生成し（Ｓ49）、加工画像記憶部34に登録する（Ｓ50）。
以後、画像加工部32は最後の画像フレームに到達するまで上記の処理を繰り返し（Ｓ51）、送信された画像にする遮蔽物除去の修正処理を実行する。

上記の基準画像αとして、例えば監視サイクルの開始直前（11：59）の画像を用いる。このためには、店舗側で同時刻には商品陳列棚23の前に人間が立ち入らないように規制する必要がある。
あるいは、センターサーバ12のオペレータが、元画像記憶部26内に格納された画像の中から、各店舗の基準画像を毎日選定し、基準画像を特定する情報をネットワークカメラのIDに関連付けて元画像記憶部26に格納するように運用することもできる。

このシステム10の場合、上記のように１分おきに商品陳列棚23の画像ファイルがネットワークカメラ16からセンターサーバ12に送信され、各画像は基準画像あるいは一つ前の修正画像と比較して変更領域の検出及びその置き換えが順次実行される方式であるため、商品陳列棚23とネットワークカメラ16との間に頻繁に遮蔽物が介在するような環境下であっても、出発点となる基準画像さえ用意できれば遮蔽物を除去した修正画像を生成することができる。
しかも、基準画像あるいは前フレームの修正画像との変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に捕捉可能となる。

ユーザがより正確な画像帳票の生成を希望する場合には、１分よりも短い間隔、例えば10秒毎にネットワークカメラ16から画像の配信を受け、これらに対し遮蔽物を除去する修正処理を施すようにすることもできる。
あるいは、ネットワークカメラ16から動画の配信を受け、元画像登録部24においてこの動画の中から適当な間隔で静止画を抽出し、元画像記憶部26に登録するようにシステム10を構成することもできる。

上記の処理を通じ、加工画像記憶部34内に遮蔽物を除去した商品陳列棚23の修正画像が１日分蓄積されると、フェイスアップ度算出部35によって各修正画像のフェイスアップ度が算出される。
以下、図１０〜図１２のフローチャートに従い、フェイスアップ度の算出手順について説明する。

まずフェイスアップ度算出部35は、図１３(a)に示すように、加工画像記憶部34から時間的に最先である00：00の修正画像68を読み出す（Ｓ60）と共に、設定情報記憶部30を参照し、当該画像を撮影したネットワークカメラ16の設定情報（探索領域情報及び各棚段の閾値情報）を取得する（Ｓ61）。
つぎにフェイスアップ度算出部35は、当該修正画像68における探索領域内の各画素について、RGB表色系からHSV表色系にデータ変換する（Ｓ62）。

つぎにフェイスアップ度算出部35は、商品陳列棚23の前面に商品が配置された画素領域（以下「商品存在領域」）と、商品陳列棚の前面に商品が配置されていない画素領域（以下「商品不存在領域」）とを識別し、商品存在領域を黒、商品不存在領域を白で表現した二値画像を生成する（Ｓ63）。
この際、フェイスアップ度算出部35は、各棚段毎に設定された閾値と、当該棚段の領域に含まれる各画素のHSV値とを比較し、閾値以上のHSV値を備えた画素を商品存在領域の画素、閾値未満のHSV値を備えた画素を商品不存在領域の画素と判定する。

この時点では、商品間の隙間部分も商品不存在領域と認定され、上記の二値画像において白表示されている。
このためフェイスアップ度算出部35は、この二値画像に対して膨張・収縮のノイズ除去処理を複数回施し、商品間の隙間程度の微細な商品不存在領域をノイズとして除去する（Ｓ64）。
この結果、図１３(b)に示すように、ノイズの除去された二値画像70が生成される。因みに、同図(a)の修正画像68の場合にはペットボトル１本が棚段から取り去られているため、二値画像70においてはその部分Ｙのみが商品不存在領域として白表示されている。

つぎにフェイスアップ度算出部35は、上記の二値画像70に対し境界線追跡処理を施し、商品存在領域の境界座標（輪郭線を構成する画素の座標）を検出する（Ｓ65）。
この結果、図１３(c)に示すように、商品存在領域の外縁を画する境界線71と、その内部に配置された商品不存在領域との境界線72が抽出される。
フェイスアップ度算出部35は、この境界線71，72の座標をメモリに格納する（Ｓ66）。

つぎにフェイスアップ度算出部35は、図１３(b)の二値画像70において黒く表示されている商品存在領域の重心を算出し（Ｓ67）、その座標をメモリに格納する（Ｓ68）。
ここで「重心」とは、平面図形を一点でバランス良く支えることができる点を意味する。図１３(b)の商品存在領域の場合には、探索領域の中心よりもやや下側に白領域（商品不存在領域）が存在しているため、その重心は探索領域の中心点よりも若干上方向にずれることとなる。

つぎにフェイスアップ度算出部35は、メモリに円の面積の初期値及び円の中心と重心間の距離の初期値としてゼロを設定した後（Ｓ69、Ｓ70）、商品存在領域に含まれる各画素について円領域増加処理を施す（Ｓ71）。
ここで「円領域増加処理」とは、各画素を円の中心に設定し、周囲の画素を円形に広げていく処理を意味する。
そして、ある画素を中心に拡張していった円が上記の境界線71または72に接した時点で、フェイスアップ度算出部35は円領域増加処理を停止し（Ｓ72）、それまでの円に含まれる画素数を円の面積として算出する（Ｓ73）。
図１４は、この円領域増加処理のイメージを示す概念図であり、ある画素Ｚを円の中心に設定してその周囲の画素を円形に拡大していき、その一部が境界線72に接した時点で増加処理を停止させ、それまで拡大してきた画素を円の面積としてカウントする様子が描かれている。
つぎにフェイスアップ度算出部35は、当該円の中心画素と商品存在領域の重心座標間の距離を算出した後（S74）、メモリに格納されている円の面積と当該円の面積とを比較する（Ｓ75）。
この時点では円の面積としてゼロがメモリに設定されており、今回の円の面積の方が当然に大きいため、フェイスアップ度算出部35はその面積及び円の中心と重心間の距離を中心となった画素の座標に関連付けてメモリに格納する（Ｓ79）。

フェイスアップ度算出部35は、水平インタレース方式によって商品存在領域に含まれる各画素について次々と上記の処理を施し、円の面積及び各円の中心と重心間の距離を算出する（Ｓ80、Ｓ81、Ｓ71〜Ｓ74）。
そして、新たに算出された円の面積が前回までの円の面積よりも大きい場合（Ｓ75）、面積は等しいが円の中心と重心間の距離が小さい場合（Ｓ76、Ｓ77）、あるいは面積が等しく距離も等しい場合（Ｓ76〜Ｓ78）には、当該円の面積及び距離を当該画素の座標に関連付けてメモリに格納し、それまでの値を更新する（Ｓ79）。
これに対し、算出された円の面積が前回までの円の面積よりも小さい場合（Ｓ75、Ｓ76）、あるいは同じ面積であっても円の中心と重心間の距離が大きい場合（Ｓ76〜Ｓ78）には、メモリの値を更新することなく、つぎの画素に移行する。

以上の結果、図１３(a)の修正画像68の場合には同図(d)に示すように、境界線71、72の間に代表円73が内挿されることとなる。
この代表円73の上端は外枠の境界線71に接しているが、右下側は商品不存在領域の境界線72によって遮られているため、その面積は比較的小さいレベルにとどまっている。また、代表円73の中心74が商品存在領域の重心75よりも左側に大きくずれてしまっている。
これに対しフェイスアップ度算出部35は、代表円73の中心74と重心75との距離を予め設定されたポイント換算テーブルに当てはめて減算ポイントを導き出し（Ｓ81）、このポイント分を代表円73の面積から減ずることによってフェイスアップ度を算出する（Ｓ82）。
つぎにフェイスアップ度算出部35は、このフェイスアップ度を修正画像68のIDに関連付けて算出結果記憶部36に登録する（Ｓ83）。

以上により、修正画像68に関するフェイスアップ度の算出が完了すると、フェイスアップ度算出部35は加工画像記憶部34から次の修正画像を読み出し、上記と同様の処理を繰り返すことにより、そのフェイスアップ度を次々と算出していく。
図１５はその一例を示すものであり、(a)の修正画像76においては、多数の商品が棚の前面から散点状に取り去られている様子が映し出されている。
これに対しフェイスアップ度算出部35は、白領域が多数散在する(b)の二値画像70を生成する。
つぎにフェイスアップ度算出部35は、黒で表現された商品存在領域の重心を算出し、メモリに格納する。

つぎにフェイスアップ度算出部35は、この二値画像70に対して境界線追跡処理を施すことにより、(c)に示す境界線71、72を抽出する。
つぎにフェイスアップ度算出部35は、商品存在領域に属する各画素に対して円領域増加処理を施し、上記の境界線71、72間に内挿される円の面積及び重心からの距離を求める。
この結果、同図(d)に示すように、円の面積が最大で、かつ中心74が重心75に最も近い代表円73が得られる。

この代表円73の場合、その下端、左右両端が境界線71、72に囲まれているため、面積自体かなり狭小化されている。
また、円の中心74が商品存在領域の重心75から大きくずれており、フェイスアップ度算出部35によって比較的大きなポイントが減算される結果、修正画像76のフェイスアップ度はかなり低い値となる。
この修正画像76のフェイスアップ度も、フェイスアップ度算出部35によって算出結果記憶部36に登録される。

これに対し図１６の(a)に示す修正画像77は、図１５(a)の修正画像76が撮影された直後に残された商品を中心部に寄せるフェイスアップ作業が行われた状態を映し出すものであり、フェイスアップ度算出部35によって(b)の二値画像70が生成された後、(c)の境界線71、72が抽出される。
そして、最終的には(d)に示すように、フェイスアップ度算出部35によって境界線71、72間に代表円73が内挿される。
この代表円73は、その上端及び下端が外枠の境界線71に接しており、面積が最大値となっている。また、その中心74が商品存在領域の重心75と一致しているため、フェイスアップ度算出部35によって代表円73の面積値がそのままフェイスアップ度として認定され、算出結果記憶部36に登録される。

図１７は他の修正画像についてフェイスアップ度を算出する例を示すものであり、(a)の修正画像78においては多数の商品が棚の前面から取り去られてはいるが、フェイスアップ作業がきちんと実施され、残った商品が形良く集められている様子が映し出されている。
これに対しフェイスアップ度算出部35は、(b)の二値画像70を生成した後、(c)の境界線71、72を抽出する。
そしてフェイスアップ度算出部35は、(d)に示すように、境界線71、72間に代表円73を内挿させる。
図１７(a)の修正画像78の場合、多くの商品が取り去られているため代表円73の面積自体は比較的小さなものとなっているが、その中心74が商品存在領域の重心75に極めて近いため、ポイントの減算は比較的小さいレベルに収る。

なお、円の中心座標と商品存在領域の重心座標との距離を勘案して最終的なフェイスアップ度を算出するのは、以下の理由による。
(1)単純に「内挿された円の面積＝フェイスアップ度」とすると、商品の残数が少ないながらもよくフェイスアップ作業が実施されている修正画像と、フェイスアップ作業が全く行われていないにもかかわらず、たまたま商品の残数が多い修正画像との間で逆転現象が生じ、フェイスアップ作業の達成度を評価する尺度となり得ない。
(2)フェイスアップ度の算定に際し、商品存在領域の重心の代わりに探索領域の中心と円の中心座標との距離を加味するとなると、図１７(d)のように探索領域の中心79からは大きくずれているが良くフェイスアップ作業が実行されている修正画像について不当に低い評価が与えられることとなる。

フェイスアップ度算出部35により、加工画像記憶部34内の全ての修正画像に対するフェイスアップ度の算出処理が完了すると、報告データ生成部37が起動し、これまでに得られたデータを人間が理解しやすい形に加工する。
図１８はその一例を示すものであり、報告データ生成部37は、縦軸にフェイスアップ度を、横軸に時刻を設定した平面上に各修正画像のフェイスアップ度をプロットしたグラフを生成し、報告データ記憶部38に格納する。
このグラフには、特定店舗のフェイスアップ度の推移を示す曲線の他に、コンビニチェーンの優良店舗におけるフェイスアップ度の推移を示す曲線が比較対象として併記されている。
このグラフを閲覧することにより、ユーザは例えば以下のことを認識できる。
(1)該当店舗では全体的に曲線の振幅が激しいため、フェイスアップ作業が滞りがちである。
(2)優良店舗では全体的に曲線の振幅がなだらかであるため、フェイスアップ作業がこまめに実行されている。
(3)優良店舗では、昼の12時前後に大量に商品が売れたことによりフェイスアップ度が瞬間的に急落しているが、短時間のうちに元のレベルまで回復しており、フェイスアップ作業が即座に実施されている。これに対し、該当店舗でも昼時には大量に商品が売れてフェイスアップ度が同様に急落しているが、回復するまでに多くの時間を要しており、対応が悪い。

つぎに報告データ生成部37は、設定情報記憶部30に設定された粒度にしたがい、加工画像記憶部34から必要時刻の修正画像を抽出する。
つぎに報告データ生成部37は、これらを時刻順に配列させると共に、PDF等の汎用のファイル形式に変換することによって画像帳票を生成し、報告データ記憶部38に登録する。
図１９は、粒度が「２時間おき」に設定された画像帳票80を示すものであり、00：00〜22：00までの合計12枚の修正画像が配列されている。また、各修正画像には時刻表示の他に、それぞれのフェイスアップ度が記載されている。
この画像帳票80を閲覧することにより、ユーザは予め設定した時間間隔で当該店舗におけるフェイスアップ作業の達成度を数値及び画像によって素早く確認することができる。

上記のグラフ及び画像帳票80は、上記のように報告データ生成部37によって一旦報告データ記憶部38に格納された後、以下の要領でユーザの通信端末18に送信される。
(1)１日１回、ユーザが通信端末18のWebブラウザから所定のURLにアクセスし、報告データの配信を求める。
(2)これを受けた報告データ送信部39が、当該ユーザ宛の報告データ一覧ページを生成し、通信端末18に送信する。
(3)ユーザが同ページ中で最新日付の報告データをクリックしてダウンロードを求めると、報告データ送信部39から該当のグラフ及び画像帳票が送信され、通信端末18のハードディスクに格納される。

この報告データ（フェイスアップ度のグラフ及び画像帳票80）を眺めることにより、ユーザは特定店舗における前日のフェイスアップ状況を概観でき、問題のない店舗についてはそれ以上の手間暇をかけることを省略できる。
これに対し、フェイスアップ作業が滞り勝ちな店舗についてはより細かい分析を行い、問題点を個別に指摘することとなる。この際、ユーザはセンターサーバ12に対して当該店舗のネットワークカメラ16に関連付けられた全元画像、全修正画像、及び全フェイスアップ度データの配信を要求し、報告データ生成部37及び報告データ送信部39を介して送信されたこれらのデータについて逐一検討を加えることもできる。

上記の実施形態にあっては、加工画像記憶部34内に蓄積された一連の修正画像についてフェイスアップ度を算出する例を示したが、この発明はこれに限定されるものではなく、商品陳列棚を撮影した１枚の静止画像について個別にフェイスアップ度を算出する目的にも当然適用可能である。
この場合、最初から遮蔽物の映っていない静止画像が用意されているのであれば、上記した遮蔽物を除去するための修正処理を行う必要はない。

上記の実施形態にあっては、代表円73の中心と商品存在領域の重心との距離を所定の尺度でマイナスポイントに換算し、これを代表円73の面積から減算することによってフェイスアップ度を求める例を示したが、上記距離の評価方法はこれに限定されるものではない。
例えば、上記距離の短さをプラスポイントに換算し、これを代表円73の面積に加算することによってフェイスアップ度を求めてもよい。

上記のように、境界線71、72間に代表円73を内挿させる代わりに、他の図形（例えば正多角形）を代表図形として内挿させるように構成することもできる。
この場合、上記と同様、その図形の面積と、図形の中心から商品存在領域の重心までの距離を勘案してフェイスアップ度が算出される。

フェイスアップ度評価システムの全体構成を示す概念図である。 センターサーバの機能構成を示すブロック図である。 基本設定の処理手順を示すフローチャートである。 設定フォームにおける探索領域設定画面を示すレイアウト図である。 設定フォームにおける閾値設定画面を示すレイアウト図である。 設定フォームにおける画像帳票の粒度設定画面を示すレイアウト図である。 画像修正の処理手順を示すフローチャートである。 画像修正の処理手順を示すフローチャートである。 修正画像生成の過程を示す概念図である。 フェイスアップ度の算出手順を示すフローチャートである。 フェイスアップ度の算出手順を示すフローチャートである。 フェイスアップ度の算出手順を示すフローチャートである。 フェイスアップ度の算出過程を示す概念図である。 円領域増加処理のイメージを示す概念図である。 フェイスアップ度の算出過程を示す概念図である。 フェイスアップ度の算出過程を示す概念図である。 フェイスアップ度の算出過程を示す概念図である。 時系列に沿ってフェイスアップ度が推移する様子を示すグラフである。 フェイスアップ度が付記された画像帳票の一例を示すレイアウト図である。

符号の説明

10 フェイスアップ度評価システム
12 センターサーバ
14 コンビニ店舗
16 ネットワークカメラ
18 通信端末
20 操作端末
22 インターネット
23 商品陳列棚
24 元画像登録部
26 元画像記憶部
28 設定処理部
30 設定情報記憶部
32 画像加工部
34 加工画像記憶部
35 フェイスアップ度算出部
36 算出結果記憶部
37 報告データ生成部
38 一旦報告データ記憶部
39 報告データ送信部
40 入力装置
41 ディスプレイ
42 設定フォーム
43 探索領域設定画面
44 開始ボタン
45 探索領域設定枠
46 決定ボタン
47 閾値設定画面
48 開始ボタン
49 閾値設定領域枠
50 マウスポインタ
51 ポップアップウィンドウ
52 入力欄
53 決定ボタン
54 マスク
55 粒度設定画面
56 決定ボタン
60 先頭フレーム画像
62 二値画像
64 二値画像
65 基準画像αにおける対応領域の画素群
66 切除部分
68 修正画像
70 二値画像
71 境界線
72 境界線
73 代表円
74 中心
75 重心
76 修正画像
77 修正画像
78 修正画像
79 探索領域の中心
80 画像帳票
α 基準画像

Claims (14)

1. 商品陳列棚が撮影された画像を読み込む手段と、
   予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する商品不存在領域識別手段と、
   商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段と、
   上記二値画像に対して境界線追跡処理を施し、商品存在領域の境界線を抽出する手段と、
   上記画像中の特定領域における所定の基準座標を算出する基準座標算出手段と、
   商品存在領域に含まれる各画素を中心に領域増加処理を施し、上記境界線に接する円または正多角形を生成する手段と、
   上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段と、
   上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段と、
   上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段と、
   上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段と、
   を備えたことを特徴とする商品陳列棚のフェイスアップ度評価システム。
2. 上記基準座標算出手段が、上記商品存在領域における重心座標を基準座標として算出することを特徴とする請求項１に記載のフェイスアップ度評価システム。
3. 上記記憶手段には、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納されており、
   上記フェイスアップ度を時系列に沿ってプロットしたグラフを生成する手段を備えたことを特徴とする請求項１または２に記載のフェイスアップ度評価システム。
4. 上記記憶手段には、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納されており、
   所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像が格納された記憶手段と、
   上記の画像を時系列に沿って配列すると共に、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段と、
   を備えたことを特徴とする請求項１〜３の何れかに記載のフェイスアップ度評価システム。
5. 上記二値画像に対してノイズ除去処理を施し、所定面積以下の商品不存在領域を排除する手段を備えたことを特徴とする請求項１〜４の何れかに記載のフェイスアップ度評価システム。
6. 上記画像中の探索領域を予め設定しておく記憶手段を備え、
   上記商品不存在領域識別手段が、当該探索領域に含まれる画素について上記の識別処理を実行することを特徴とする請求項１〜５の何れかに記載のフェイスアップ度評価システム。
7. 上記閾値が、商品陳列棚の各棚段に対応する領域単位で設定されおり、
   上記商品不存在領域識別手段が、各棚段の領域に含まれる画素については対応の閾値を参照して上記の識別処理を実行することを特徴とする請求項１〜６の何れかに記載のフェイスアップ度評価システム。
8. コンピュータを、
   商品陳列棚が撮影された画像を読み込む手段、
   予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する手段、
   商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段、
   上記二値画像に対して境界線追跡処理を施し、商品存在領域の境界線を抽出する手段、
   上記画像中の特定領域における所定の基準座標を算出する手段、
   商品存在領域に含まれる各画素を中心に領域増加処理を施し、上記境界線に接する円または正多角形を生成する手段、
   上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段、
   上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段、
   上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段、
   上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段、
   として機能させることを特徴とする商品陳列棚のフェイスアップ度評価プログラム。
9. コンピュータを、上記商品存在領域における重心座標を上記の基準座標として算出する手段として機能させることを特徴とする請求項８に記載のフェイスアップ度評価プログラム。
10. コンピュータを、
    所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を格納しておく記憶手段、
    上記フェイスアップ度を時系列に沿ってプロットしたグラフを生成する手段、
    として機能させることを特徴とする請求項８または９に記載のフェイスアップ度評価プログラム。
11. コンピュータを、
    所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を格納しておく記憶手段、
    所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像を格納しておく記憶手段、
    上記の画像を時系列に沿って配列すると共に、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段、
    として機能させることを特徴とする請求項８〜１０の何れかに記載のフェイスアップ度評価プログラム。
12. コンピュータを、上記二値画像に対してノイズ除去処理を施し、所定面積以下の商品不存在領域を排除する手段として機能させることを特徴とする請求項８〜１１の何れかに記載のフェイスアップ度評価プログラム。
13. コンピュータを、
    上記画像中の探索領域を予め設定しておく記憶手段、
    当該探索領域に属する画素について上記の商品不存在領域を識別する手段、
    として機能させることを特徴とする請求項８〜１２の何れかに記載のフェイスアップ度評価プログラム。
14. コンピュータを、
    商品陳列棚の各棚段に対応する領域単位で閾値を設定しておく記憶手段、
    各棚段の領域に含まれる画素について対応の閾値を適用して上記の商品不存在領域を識別する手段、
    として機能させることを特徴とする請求項８〜１３の何れかに記載のフェイスアップ度評価プログラム。
    

Images