JP2011086045A

JP2011086045A - 店員顧客分離集計装置

Info

Publication number: JP2011086045A
Application number: JP2009237247A
Authority: JP
Inventors: Satoru Shibuya; 覚渋谷; Toru Ono; 透小野; Shuji Kai; 周二甲斐
Original assignee: Giken Trastem Co Ltd
Current assignee: Giken Trastem Co Ltd
Priority date: 2009-10-14
Filing date: 2009-10-14
Publication date: 2011-04-28
Anticipated expiration: 2029-10-14
Also published as: JP5097187B2

Abstract

【課題】ユニホーム等の着用等が不要で撮像画像中の店員を顧客と確実に分離して顧客集計精度を向上する店員顧客分離集計装置を提供する。
【解決手段】店員顧客分離集計装置１は、監視エリアを上方から撮像するカメラ２により順次撮像された撮像画像１２から人を認識する人認識部３と、人認識部３により認識された人を撮像画像１２内で個別に追跡する追跡部４と、撮像画像１２内に店員判定のための立ち位置エリアＢを設定し、立ち位置エリアＢ内での人の静止時間を設定する設定部１０と、追跡部４により追跡している人が撮像画像１２内に設定された立ち位置エリアＢ内に一定時間静止していた場合、その人を店員であると判定する店員判定部５とを備える。
【選択図】図１

Description

本発明は、顧客が通る監視エリアを撮像手段によって撮像し、この撮像手段による撮像画像から顧客と店員とを分離して集計する店員顧客分離集計装置に関する。

店舗において顧客の入店や退店の人数を集計しようとする場合に、顧客が通る店舗の出入口を監視エリアとしてカメラで撮像し、このカメラの撮像画像を画像認識し、人を認識し、追跡して入口での通過方向より入店人数と退店人数を集計する集計装置がある。このとき、店員が顧客の送迎や、顧客の荷物運びや、入口商品の整理や、ショーウィンドーのガラス清掃などで店外へ出入りすることがある。高額商品を扱う店では入店客が少ないため、店員の出入り数と客数が同程度や客数のほうが少なくなる事もある。このため客数を正確に把握するために、出入りする店員の数をカウントせず、顧客のみを計数する機能が求められていた。

また、店舗に陳列する商品に対して関心を示す顧客の人数と関心を示す時間を集計しようとする場合に、商品に近接する領域を監視エリアとしてカメラで撮像し、このカメラの撮像画像を画像認識し、商品の前の監視エリア内に一定時間以上滞在し、関心を示した顧客の人数と滞在した時間を集計する集計装置がある。このとき店員は商品のレイアウト等を直したり、衣類をたたんで整理するために商品の前に一定時間滞在する。平日の客が少ない時間帯では商品の前に立っていたのが店員だけという場合も多くあり、商品の前に一定時間滞在した人物の測定値から店員だけを識別し、集計に含まれないようにする機能が求められていた。

上記問題解決のために、通常の画像認識で測定した入店退店集計と別に、測定員が目視で店員だけの動きを測定集計し画像認識した集計値から差し引く方法も可能であるが、測定のためだけに人員を手配し配置するなど手間と人件費が必要となる。

また、店員用のスイッチを用意し、店員が店舗入口を出入りする都度スイッチを押して店員の入店や退店のカウント数を記録し、画像認識にて測定した入店退店集計値から前記店員スイッチのカウント集計を差し引くことで顧客だけの入店退店合計値を集計することも可能である。しかし顧客の送迎や客に呼ばれた時は急いでいるためスイッチを押すことが後回しになって押し忘れたり、閉店してから１日分を思い出してスイッチをまとめて押したり、スイッチを押したかどうかの記憶が曖昧になり、念のために後から押し直すなどで誤差が発生し、誤差の度合いも安定しない。

また、店員にＲＦＩＤタグ等の発信器を所持させ、その発信信号の受信により店員を認識し、画像処理で集計する顧客集計値に店員の数を集計しないようにすることも考えられるが、通常ＲＦＩＤタグは指向性が無くＲＦＩＤタグを所持した人の位置が把握できないため、店員と判定することができない。
たとえば撮像画像内に２人の人が映っており、一人はＲＦＩＤタグを所持した店員であり、もう一人は顧客だったとする。ＲＦＩＤタグの検知範囲は店員が出入りする入口幅以上の広さが必要なため、入口の店内側に１人が立っており１人が入店した時、どちらが顧客で、どちらがＲＦＩＤタグを持っている店員かを判定することができないため、客として計数すべきかどうかが判定できない。
従って、上記いずれの方法でも、撮像画像を直接に画像処理することなく店員と顧客とを確実に識別し分離することは困難であった。

従来技術として、撮像画像を直接に画像処理して撮像画像から抽出・追跡した人から店員を排除する店員排除手段が公知である（特許文献１の段落００８３−段落００８９）。具体的には、店員には目印として特定の色柄の帽子やユニホーム（例えば、黄色い帽子）を着用させておき、そして、撮像画像から人間を抽出した場合にその人間が存在する画像領域部分に対して画像処理を行い、上記目印を有しているか否かの判断を行い、目印を有している場合にはその人間は店員であると認定して人数の加算をしないようにする。

特開平１０−４８００８号公報

しかしながら、従来技術のように店員に特定の色柄の帽子やユニホーム等を着用させることにより撮像画像から店員を判別する場合は顧客が店員と類似の色柄の服装（例えば白シャツの顧客と店名入り白シャツの店員）を着用しているとその顧客を店員と誤認識される問題がある。またファッション関連の販売店では、店員の制服を決めず、店員自身が販売商品を着用して見本も兼ねるところが多く上記の特定の帽子やユニホームを用いた店員判別手段を採用し難いという問題があった。

本発明は、上記事情に鑑みてなされたものであり、店員の認識のために帽子やユニホーム等の着用や検出機器等の設置が不要であり、撮像画像中の店員と顧客を確実に分離して顧客の集計を精度よく行うことができる店員顧客分離集計装置を提供することを課題とする。

本発明に係る店員顧客分離集計装置は、
人が通る監視エリアを撮像手段によって撮像し、この撮像手段による撮像画像内の人から店員と顧客を分離して集計する店員顧客分離集計装置であって、
監視エリアを上方から撮像する撮像手段により順次撮像された撮像画像から人を認識する人認識手段と、
上記人認識手段により認識された人を撮像画像内で個別に追跡する追跡手段と、
撮像画像内に店員判定のための立ち位置エリアを設定し、立ち位置エリア内での人の静止時間を設定する設定手段と、
上記追跡手段により追跡している人が撮像画像内に設定された立ち位置エリア内に一定時間静止していた場合、その人を店員であると判定する店員判定手段とを備える。

従来では、店員に特定の色柄の帽子やユニホーム等を用いて店員と判定する場合、類似の衣類を着用した人を店員と誤認識する問題を回避することはできず、かつユニホーム等を着用させる手間や費用負担が必要であった。
これに対して、本発明に係る店員顧客分離集計装置では、店員は撮像画像上の立ち位置エリア内に一時的に静止する行動によって撮像画像から店員を確実に分離することができ、かつ店員にユニホーム等を着用させる手間や費用負担も不要である。

前記店員顧客分離集計装置において、
上記追跡手段により追跡されている個々の人のうち撮像画像内に設定された計数エリアを通過して移動した人に対して計数エリアの移動方向に応じて入店又は退店したことを判定しリアルタイムなカウントを集計手段へ出力する入退店カウント判定手段を備え、
上記入退店カウント判定手段により出力されるカウントを人物ごとに記録し、店員判定手段により店員であると判定された人物の記録されたカウントを店員のカウント値として上記集計手段へ出力する店員カウント処理手段を備えるのが望ましい。

ところで、店員が入店や退店するときは計数エリアを通過する前に、立ち位置エリア内に一時静止し店員判定を行い、この店員判定された人はカウントしないようにすることが考えられる。

しかし、計数エリアが店内に配置され、立ち位置エリアが計数エリアから離れている場合、入店し入店カウントされてから立ち位置エリアに立つことになるので、入店カウントする前に立ち位置エリアに立ち寄ることはできない。また、計数エリアが店外にある場合は、同様に退店カウントする前に立ち位置エリア立ち寄ることはできない。

そこで、上記入退店判定手段により入退店を判定した人ごとにリアルタイムなカウントを集計手段に出力するが、このとき、同じ人物ごとのリアルタイムなカウントの値を記憶しておく。そして、上記追跡手段により追跡している人が撮像画像から画像外に移動するか認識できなくなった時点で、上記この人物の入店カウント値、退店カウント値及び店員判定結果を読み出し、店員である場合は読み出した入店カウント値と退店カウント値を店員としてのカウント値として上記集計手段へ出力する。
このように、店員と判定される前にその人が入店または退店したリアルタイムなカウントを、後の店員判定により店員のカウント値として再出力するので、集計手段では容易に店員と顧客とを区別して集計することができる。

前記店員顧客分離集計装置において、
店員は店舗の出入口を顧客と一緒に顧客の買上げ商品を持ちながら退店し店外通路で見送ったり、大きい買上げ商品の場合は車まで同行することがある。この場合、顧客と同行して退店の際に立ち位置エリアで一時静止し店員判定することは、顧客を待たすことになり不自然であり、店員は顧客の見送り後に店内に戻る際に店員判定を実行することが自然である。すると、この場合、店内に入店した店員の入店カウントは店員判定されるが、その前にこの店員が顧客に同行して退店したときの退店カウントは店員判定が行われない。

上記のように店員判定を行わずに退店したのち、店に戻り入店カウントしてから、店員判定を実行した店員の記録されている店員のカウント値は、入店と退店のカウント値に差がある。そこで店員であると判定された人物の記録された入店カウント値と退店カウント値とに差があれば、その人物は店員と判定される前に入店又は退店を行いカウントされていたと想定し、小さい方の入店又は退店のカウント値に対して上記差分に応じたカウント値を店員想定カウント値として店員のカウント値に加算する店員想定カウント手段を備えれば、現在店内に居る顧客の滞留人数を正確に算出する事が出来る

ただし、店員が退店と入店の２回店員判定を行うと、このときの退店と入店のそれぞれで、店員想定入店カウント１人と店員想定退店カウント１人を追加することになる。このため店員が退店と入店の１往復したのに、店員想定カウントによりさらに１往復追加されるので、店員のカウントが実際より１往復ふえてしまう。このように実際の入店退店合計値と合わなくなるので、上記店員想定カウントを行う場合には、店員が立ち位置エリアにて店員判定を行うのは入店の際か退店の際のどちらか片方だけに決めておく必要がある。

そこで、例えば、店員には入店の際にだけ立ち位置エリア内に立ち寄るように行動させるようにすれば、入店した人が店員と判定されたときは、店員の入店カウントとともに、この店員が先に退店したことが明らかであるためこの店員の想定退店カウントを加算して、これらが店員のカウントとして集計手段へ出力される。

上記入店の際にだけ立ち位置エリア内に立ち寄るように行動する、とした取り決めを設定しておく。この設定により店員が間違えて退店の際に立ち位置エリアで店員判定した場合、設定されている店員判定とカウントの順番が同一人物で逆の行動であり、設定以外の店員判定行動と容易に判断する事ができる。そこで設定されている店員判定の順序と逆の行動が行われたときは、記録した店員判定と店員の想定カウントの取り消しを行う。この取消しにより、店員の間違えた店員判定行動を無効にする事ができる。さらに顧客が立ち位置エリアで静止したのち退店していった場合の店員誤判定も無効にできるので、正確な店員の判定と店内に居る顧客の滞留人数を正確に算出する事が出来る

なお、上記集計手段は、店員を除いた顧客だけの合計値を得るように集計処理したり、あるいは店員と顧客を含む合計値と店員だけの合計値を得るように集計処理するようにしてもよい。
例えば、集計手段にて店員のカウントを減算処理する場合、集計手段はリアルタイムな入店カウントと退店カウント値を受け取ると客入店合計と客退店合計とにそれぞれ加算する。そして集計手段が店員としてのカウントを受け取ると客入店合計から店員入店カウントを減算し、客退店合計から店員退店カウントを減算する。これにより、集計手段における客入店合計と客退店合計は顧客だけの合計値を得ることができる。また、集計手段には客合計と別系統に店員の合計値を残す必要がないため、以後の顧客の集計を簡易に且つ容易に行うことができる。

一方、集計手段にて店員と顧客を別々に集計処理する場合、集計手段はリアルタイムな入店カウントと退店カウント値を受け取ると全入店合計と全退店合計とにそれぞれ加算する。そして集計手段が店員としてのカウントを受け取ると店員入店合計と店員退店合計にそれぞれ加算する。これにより、顧客と店員のカウントが両方合計された全員の合計値と、店員の合計値を得ることができる。従って、ユーザーは、集計手段における全員の合計値から店員の合計値を差し引く事により、顧客だけの合計値（店員以外の合計値）を得ることができる。

また、集計手段にて店員の合計を集計しているので、例えば、店員の合計値が多いとその店舗の店員は顧客に着いてよく行動している等と理解されるように店員行動分析も行うことができる。従って、店員の行動に着目した販売促進等の計画立案等を適切に行うことができる。

前記店員顧客分離集計装置において、
上記人認識手段により認識した個々の人ごとに撮像画像内の商品の至近距離の範囲に設定された関心計測エリア内の滞在時間、又は関心計測エリア内での移動速度が一定速度以下のときの滞在時間を関心時間として記録し、関心時間が基準値以上であれば商品に関心を持った人であると判定する商品関心行動測定手段を備え、
上記商品関心行動測定手段により商品に関心を持ったと判定された人の関心時間から、上記店員判定手段により店員と判定された人の関心時間を除外して集計する、又は前者の関心時間と後者の関心時間とを別々に集計する商品関心行動測定手段を備えるようにすることもできる。

集計手段は、送られてきた関心時間の合計と関心者の人数の集計を行う。また店員の関心時間が送られてくる場合は、店員の関心時間の合計と、店員の関心者の人数の集計を行うようにする。

これにより、商品の関心時間を計測する場合でも、撮像画像中の関心者たる顧客と店員を確実に分離して関心者たる顧客だけの関心時間を精度よく測定することができるので、関心時間への信頼性を向上することができる。

また、集計手段として、店員判定された人の関心時間だけを集計処理することができるので、例えば、店員の関心時間が多いとその店舗の店員は商品の整理整頓をよく行っている等と理解されるように店員行動分析も行うことができる。従って、店員の行動に着目した販売促進等の計画立案等を適切に行うことができる。また、関心者たる顧客の関心時間の集計値に店員の関心時間を加えて集計することにより、撮像画像で認識されたすべての人の関心時間を把握することができる。

前記店員顧客分離集計装置において、
上記設定手段は、撮像画像内に立ち位置エリアを複数設定することができる機能を備え、
上記店員判定手段は、同一人物が2箇所に一定時間静止していた場合、その人を店員であると判定する機能を備えるのが望ましい。
立ち位置エリアに顧客が静止する場面が起こり得るが、立ち位置エリアが複数設定されそのうち2箇所以上の立ち位置エリアの組合わせで店員判定するように設定する事で、顧客による店員の誤判定を減らす事ができる。

前記店員顧客分離集計装置において、
上記店員判定手段により店員と判定されたことを伝える報知手段を備えるのが好ましい。

例えば、報知手段が店員ＬＥＤとする場合、立ち位置エリアに人が立ち一定時間以上静止すると店員判定部が店員と判定し店員ＬＥＤを点灯させる。静止した人は店員ＬＥＤを見て点灯すれば、店員と認識されたと理解し立ち位置エリアから離れる。
これにより、店員は無駄に長時間立ち位置エリアに立ち止まらなくて済む。従って、店員への行動規制を少なくし店員への負担を軽減することができる。
なお、報知手段は、店員ＬＥＤのかわりにブザーなどの音を用いて報知する方法や、店員が連絡用に所持しているトランシーバーへブザー音を送出する方法でも良い。

以上のように、本発明に係る店員顧客分離集計装置によれば、撮像画像中の店員を顧客と確実に分離して顧客の計数を精度よく行うことができるので、顧客の計数に対する信頼性を向上することができる。そして、人の入退店を計数する場合は、顧客の入店数と店員の入店数が近い店では大きな精度の向上が得られる

また、店員に特定の色柄のユニホーム等を着用させる手間や、店員用のスイッチを設置し店員が入口を出入りする都度スイッチを押す手間や、ＲＦＩＤタグを店員に所持させ、かつ受信アンテナを設置する費用と管理の手間をかけることも無く、簡易に且つ低コストに顧客の計数に対する信頼性を向上することができる。

実施の形態による店員顧客分離集計装置の構成を示すブロック図である。集計部の構成を説明するためのブロック図であり、同図（ａ）は減算処理する場合の構成を示し、同図（ｂ）は分離集計処理する場合の構成を示す。店内入口における撮像画像を示す模式図である。人認識部での画像処理に際して用いられる円形フーリエ法を説明するための模式図である。円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための模式図であり、同図（ａ）は人物画像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。人認識部での画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上の人を認識するときの様子を示し、同図（ｃ）は認識された人物画像の追跡のために代表点を付したときの様子を示す。人認識と追跡の処理を示す流れ図である。人物を追跡しカウントし店員と顧客とを区別し集計する際の動作を示すフローチャートである。店員、顧客の動きに着目した事例を説明するための撮像画像の模式図であり、同図（ａ）は店内撮影で店員が入店の際に店員判定する場合の事例を示し、同図（ｂ）は店内撮影で店員が退店の際に店員判定する場合の事例を示し、同図（ｃ）は店外撮影で店員が入店の際に店員判定する場合の事例を示し、同図（ｄ）は店外撮影で店員が退店の際に店員判定する場合の事例を示す。他の実施の形態として商品関心者を集計する場合の撮像画像を示す模式図である。他の実施の形態として商品関心人物を追跡し関心時間を計測し店員と顧客とを区別し集計する際の動作を示すフローチャートである。

以下に、本発明による実施の形態を説明する。
図１に示すように、実施の形態による店員顧客分離集計装置１は、顧客が通る店舗の出入口を監視エリアとし、この監視エリアをカメラ（撮像手段）２で撮像し、このカメラ２の撮像画像１２から店員と顧客とを分離して店舗へ入店及び退店する顧客数を集計するものである。この店員顧客分離集計装置１の主な構成として、カメラ２、人認識部３、追跡部４、店員判定部５、入退店カウント判定部６、店員カウント処理部８、集計部９、設定部１０、表示部１１、店員ＬＥＤ（報知手段）２１、カウントＬＥＤ２２等を備える。

カメラ２は、例えば、１台のＣＣＤカメラ等で構成され、店舗の天井部又は壁面に設置されて顧客が通る監視エリアとなる店舗の出入口を上方から床面が見える角度に設定される。このカメラ２の設置角度としては、例えば、９０度（真下を向く。）から４５度程度の俯角までの角度とするのが好ましい。これは、俯角を小さくすると顧客同士が重なって撮像されて顧客同士の分離した人認識や追跡等が困難となり、また、人の位置の確定も不確かになるおそれがあるからである。また、カメラ２は、広角レンズを装着した広角撮像用カメラを使用し、その撮像範囲を広げるようにするのがよい。

人認識部３は、カメラ２で順次撮像され送られてきた撮像画像１２から人を個々に分離して認識する。この人認識は、例えば、円形フーリエ法及びベクトル焦点法による画像処理技術（特許第３４０６５８７号、特許第３４０６５７７号）を利用し、撮像画像１２を複数に分割したブロック単位で画像処理して人認識する手法を使用することができる（特許第３３９０４２６号）。

具体的には、円形フーリエ法及びベクトル焦点法の画像処理としては、撮像画像１２を複数に分割したブロック単位で以下の処理が行われる。
まず、図４に示すように、撮像画像１２内の物体像Ｙと背景像Ｗとの濃度差を利用して、撮像画像１２上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１００の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。

（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶは画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値を示す。）

このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１２での物体像Ｙとその周囲の背景像Ｗとの境界、すなわち物体像Ｙの輪郭部に対する法線ベクトルとして認識される。

例えば、図５（ａ）に示すように円１００が物体像Ｙにかかった状態のとき、所定の基準位置から反時計方向に回転させて円形にフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図５（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体像Ｙの輪郭部に対する法線方向を示すものとなる。なお、図５（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。

但し、上記の円周内には物体像Ｙの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、前記ＳＶおよび前記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。

そして、人物画像ｈの抽出を行うには、図６（ａ）に示すように、まず、撮像画像１２上の任意の配置点Ｑを基準に標準人型像ｏを配置し、上記円形フーリエ法により標準人型像ｏの輪郭部における多数の法線ベクトルｂを求め、各々の法線ベクトルｂにおいて配置点Ｑから各法線ベクトルｂまでの位置情報と各法線ベクトルｂの角度情報を求め、これを当該配置点Ｑの標準データ（配置点Ｑを基準にした各法線ベクトルｂの位置情報及び角度情報）として作成し記憶する。

次に、図６（ｂ）に示すように、監視時に移動する人物画像ｈが映された撮像画像１２に対して上記円形フーリエ法により人物画像ｈの輪郭部における各々の法線ベクトルｂ’を求め、上記標準データに基づいてこれら法線ベクトルｂ’から上記配置点Ｑに相当する複数の正解点Ｑ’を求め、これら正解点Ｑ’が一定領域（例えば、２ピクセル分間隔を有する領域）内に一定数以上（例えば、標準データでの法線ベクトルｂ数の４割以上）の所謂ベクトル焦点が存在すれば、その人物画像ｈは人であると認識する。このようにして人認識されると、図６（ｃ）に示すように、人物画像ｈに対する代表点Ｇを付し、そして、追跡部４によりこの代表点Ｇの移動状況をカメラ２から送られてくる撮像画像１２毎に追跡して行く。

代表点Ｇは、この人物画像ｈに対して上記標準人型像ｏを配置したときの配置点Ｑとしてもよいし、また人物画像ｈ上の任意の位置に配置することができる。好ましくは、代表点Ｇは、人物画像ｈの中心軸上で床から１．２ｍの位置に相当するよう配置する。これにより、実空間と対応して、人物画像ｈの計数エリアＡや立ち位置エリアＢ内への進入、退出を確実に捉えることができる。

以上のベクトル焦点法による画像処理技術によれば、カメラ２から送られてくる撮像画像１２を連続的に処理して、人物画像ｈを代表点Ｇで規定しこの代表点Ｇの移動を追跡することができる。従って、人認識部３によれば、撮像画像１２に現われる個々の人物を一人ひとり認識することができ、例えば、寄り添って歩いている２人について、その個々人をそれぞれ一人ひとりに区別して認識し、それぞれに代表点Ｇを認識することができる。

追跡部４は、人認識部３により認識された人を撮像画像１２内で個別に追跡する。人が認識されると個々の人を一人ひとりその代表点Ｇごとに個別に人物コード番号が付与され、追跡部４は、この代表点Ｇが撮像画像１２内に現われてから撮像画像１２外に消えるまで、または認識できなくなるまで追跡線（移動軌跡）を描いて追跡を行う。なお、追跡方法は、公知の方法で行うことができる。

入退店カウント判定部６は、図１に示すように追跡部４により追跡されている個々の人うち撮像画像１２内に設定された計数エリアＡを通過して移動した人に対して計数エリアＡの移動方向に応じて入店又は退店したことを判定する。計数エリアＡは、店舗の出入口を通る人を計数するため、店舗の出入口に沿って四角形形状にあらかじめ設定されている。計数エリアＡは、カメラ２の撮像範囲が店内に有るときは図３や図９（ａ）（ｂ）に示すように出入口に沿って店内側に設定され、またカメラ２の撮像範囲が店外にあるときは図９（ｃ）（ｄ）に示すように出入口に沿って店外側に設定される。図３に示すように、この計数エリアＡの４つの辺のなかで出入口に近く平行の１辺が基準ラインとして設定される。
そして入退店判定部６は、カメラ２の撮像範囲が店内に有るとき、人物画像の代表点Ｇがまず計数エリアＡの基準ラインを通過して次いで他の三辺のラインのどれかを通過した場合は入店であると判定し、一方、人物画像の代表点Ｇがまず計数エリアＡの基準ライン以外の三辺のラインのどれかを通過して次いで基準ラインを通過した場合は退店であると判定する。
図１に示すように入退店カウント判定部６は人の入店退店方向が判定されると、方向ごとのリアルタイムなカウントを集計部９と店員カウント処理部８へ出力し、また、カウントＬＥＤ２２を人数ごとに１回ずつ点滅させる。

店員判定部５は、追跡部４により追跡している個々の人のうち撮像画像１２上に設定された立ち位置エリアＢ内に一定時間静止していた人は顧客ではなく店員であると判定する。店員判定部５は、店員であると認識すると店員ＬＥＤ２１を点灯させ、店員は店員ＬＥＤ２１が点灯した事を認識できれば立ち位置エリアＢから離れる。なお、この店員ＬＥＤ２１に代えて、ブザーなどの音を用いて報知する方法や、店員が連絡用に所持しているトランシーバーへブザー音を送出する方法など、他の報知手段でもって店員に対して店員認識できたことを知らせるようにしてもよい。

立ち位置エリアＢは、店舗の環境等より違和感無く店員が立ちやすく、店員以外の人が静止しない場所で、人物が立ち位置エリアＢに立ったときその全身が撮像画像１２に映る位置に設定される（図３参照）。なお、立ち位置エリアＢの枠の形状は、四角形形状でもよいし、点、円形、楕円形、三角形などの任意の形状でもよい。

立ち位置エリアＢは、計数エリアＡに一部又は全部が重複されて設定されてもよいが、図９、図３に示すように、計数エリアＡと重複しない任意の位置に設定されるのが好ましい。これは、計数エリアＡが設定される店舗入口以外の場所の方が違和感なく自然に店員が立ちやすい場所であるからである。このような立ち位置エリアＢの設定位置は撮像画像１２内で店員が立って来客を待つ位置、顧客の支払いに応対するレジの位置、警備員の待機位置などが挙げられる。撮像画像１２上に設定される立ち位置エリアＢの位置（例えば、床、壁など）に顧客に目立たないよう立ち位置マーク（図３）を付けると、立ち位置エリアＢが店員に明示されるので、立ち位置エリアＢの場所間違いを削減することができる。なお、設定部１０により撮像画像１２上に立ち位置エリアＢを設定する際、人物画像の足元の位置を指定すると、その人物画像の代表点Ｇを包囲する撮像画像１２上の床面からの高さ位置に立ち位置エリアＢが設定されるようにしてもよいし、撮像画像１２上に直接立ち位置エリアＢが設定されるようにしてもよい。

そして、店員判定部５は、代表点Ｇが立ち位置エリアＢ内に一定時間（例えば、１秒）静止すれば、その代表点Ｇの人は店員であると判定する。なお、立ち位置エリアＢは、撮像画像１２内の少なくとも１箇所に設定されるが、複数個所に設定（図３参照）されて店員が立ちやすくするようにしてもよく、それぞれの立ち位置エリアＢごとに静止する時間基準を設定することもできる。
そして、上記複数の立ち位置エリアＢとそれぞれの静止する時間基準から、２箇所以上の立ち位置エリアＢでの静止を組み合わせて店員判定とする設定をすることもできる。この組み合わせを複数持つ事で客による店員誤判定を減少させる事ができる。例えば、店員である人が入店又は退店する際に、第１の立ち位置エリアＢで静止すると、店員判定部５は、その人を店員であると仮登録し、続いてその人が第２の立ち位置エリアＢで静止すると、店員判定部５は、その人を店員であると本登録する。なお、この場合、各立ち位置エリアＢの移動順序は問わない。

店員カウント処理部８は、追跡部４により追跡している個々の人ごとに人の代表点Ｇに対する人物コードを記録し、人物コードと関連付けて入店退店カウント値と店員判定の結果を、人物コード登録順に記録する。
具体的には、人認識部３により人を認識すると、個々の人ごとの人物コードを登録し、追跡部４により追跡している人物が計数エリアＡを通過して入退店方向が判定されると集計部９へ入店または退店のリアルタイムなカウントを出力し、同じリアルタイムなカウントを同一人物コードの入店値退店に記録し、立ち位置エリアＢに一定時間静止し店員と判定されると、同一人物コードの店員判定に店員判定結果を記録する。

そして店員カウント処理部８内の店員想定カウント部８２は、追跡部４により追跡している個々の人が撮像画像１２から画像外に移動するか認識できなくなると、その人物の記録されている店員判定値と入店値退店値を読み出し、店員と判定されていれば、入店値と退店値を比較し、差があれば等しくなるように差分のカウント値を店員想定カウント値として入店値か退店値に加算し、店員のカウント値として集計部９へ出力する。

集計部９は、リアルタイムなカウントに応じて入店及び退店カウント値を集計した合計値を保存する。この集計部９は、図２に示すように、設定部１０による設定によって、店員の入店及び退店の人数を減算して集計した客合計値（図２（ａ）参照）、また、店員の入店及び退店の人数を集計した店員合計値や店員と顧客とを合わせた全入店及び全退店の人数を集計した全合計値（図２（ｂ）参照）などを保存させるようにすることができる。なお、この集計部９は、本店員顧客分離集計装置１の本体に取外し・接続可能な外部集計部であってもよい。

設定部１０は、計数エリアＡや立ち位置エリアＢの位置設定、人認識部３での標準データのパラメータ設定、入退店カウント判定部６の動作設定、集計部９での集計設定など、各部における各種の設定が行われる。

表示部１１は、カメラ２で撮像された監視エリアの撮像画像１２を表示する。表示部１１で表示される撮像画像１２は、例えば、リアルタイムに顧客の集計処理を行っている状態を参照して監視エリアの監視や本店員顧客分離集計装置１のメンテナンス等に利用され、また、設定部１０による各種設定を行う際にも利用される。

店員ＬＥＤ２１は、立ち位置エリアＢで一定時間静止すると店員と判定されると点灯される。店員ＬＥＤ２１は、立ち位置エリアＢに居る人に見える位置に設置され、例えば、立ち位置エリア近辺の天井や壁面に取り付ける、またはカメラ２の筐体部に組み込まれる。

カウントＬＥＤ２２は、計数エリアＡで人の計数エリアＡの移動方向に応じて入店又は退店が判定されカウントした人数分だけリアルタイムに点滅し、入店または退店の方向が判別できるよう、別々の色でＬＥＤを点滅させる。カウントＬＥＤ２２は、例えば、店員顧客分離集計装置１の筐体やカメラ２の筐体部に組み込まれる。

顧客や店員のカウントをリアルタイムにカウントＬＥＤ２２を点滅させることにより、容易にカウント動作の確認ができる。なお、店員判定した人をカウントしない動作にすると、人が通過してもカウントＬＥＤ２２が動作しない場合は、店員判定された人なのか、誤カウントによるミスなのか判別ができず動作確認ができない。よって動作確認のために店員も顧客も店員判定にかかわらずカウントすればカウントＬＥＤ２２を動作させるようにする事が便利である。

次に、上記店員顧客分離集計装置１の動作を説明する。
図７を参照して、人認識部３は、カメラ２から順次送り込まれてくる撮像画像１２を取り込み（Ｓ１）、この撮像画像１２に対して、円形フーリエ計算（Ｓ２）、ベクトル焦点計算（Ｓ３）、ベクトル焦点位置計算（Ｓ４）を順次行って人物位置を検索し人と認識する（Ｓ５）。そして、追跡部４は、人認識部３で人が認識されるとその人の代表点Ｇを決定し、その代表点Ｇごとに付与された固有の人物コードと共に移動状況の追跡を行う（Ｓ６）。この追跡は人物コード毎に個別に追跡線を描くようにする。以上の人認識、追跡は、個別の人ごとに撮像画像１２内に人が現れてから撮像画像１２外に消えるか、認識できなくなるまで行われる。

次に、追跡、カウントの処理を説明する。
図８のフローチャートを参照して、撮像画像１２の中に人物コードが付加されていない新しい人が認識できるかどうか監視し（Ｓ１１）、人と認識されると新規の人物コードをその人物に付加し（Ｓ１２）、新しく認識された人の人物コードを登録する（Ｓ１３）。この人物コードは撮像画像１２内で追跡している他の人と混同しないようにする固有の識別子である。
そして、人物コードごとに移動を追跡し（Ｓ１４）、計数エリアＡを通過したか否か監視する（Ｓ１５）。計数エリアＡを通過すると、集計部９に対して入店又は退店のカウント値としてリアルタイムなカウント値を出力して（Ｓ１６）、集計部９の入店又は退店の集計値を１つ加算させる。また、カウントＬＥＤ２２を１回点滅させて（Ｓ１７）、正常に人を計数したことを知らせる。そして、同じ人物コードのカウントにカウントした人物のカウント値を記録する（Ｓ１８）。

ここで、図３に示すように店内設定の計数エリアＡに侵入した人が計数エリアＡを通過したとき、その人物画像の代表点Ｇの位置がまず計数エリアＡの基準ラインを通過し、次いで他のラインを通過した場合は入店であると認識され、一方、人物画像の代表点Ｇの位置がまず計数エリアＡの基準ラインＡ以外のラインを通過し、次いで基準ラインを通過した場合は退店であると認識され、これに応じたカウントを集計部９にリアルタイムにカウント出力し、このカウントした人物と店員カウント処理部８に記録されている同じ人物コードのカウントにカウントした値の記録を行う。
なお、店外設定の計数エリアＡの場合は、上記とは逆に基準ラインＡ以外のラインを通過し、次いで基準ラインを通過した場合に入店が認識される。入店と退店方向を判断する基準ラインと他のラインとの通過順序は、カメラ２を店内に設置するか、店外に設置するか、基準ラインを入口近くに配置するかなど設置した条件により設定部１０を用いて適時設定される。

また、代表点Ｇの人追跡中に、その代表点Ｇの位置が立ち位置エリアＢ内に入ったか否か監視する（Ｓ１９）。代表点Ｇの位置が立ち位置エリアＢ内に入ったことが認識されると同時に立ち位置エリアＢ内での存在時間を計測する。なお、代表点Ｇの位置が立ち位置エリアＢで静止又は静止に近い状態に居れば、立ち位置エリアＢの最小サイズは、その人を示す代表点Ｇが立ち位置エリアＢ内に存在できる大きさとなっている。そして、ある人物コードの人がその代表点Ｇの位置が立ち位置エリアＢ内に一定時間（例えば、１秒）静止または静止に近い状態に居れば、その代表点Ｇの人は店員であると判定して同じ人物コードの店員判定に店員判定結果を記録し（Ｓ２０）、また、店員ＬＥＤ２１を点灯させて（Ｓ２１）店員として認識したことを立ち位置エリアＢに居る人（店員）に知らせる。そして一定時間が経過すると店員ＬＥＤを消灯する（Ｓ２２）。ここで、立ち位置エリアＢ内での静止または静止に近い状態は代表点Ｇが狭い範囲（たとえば０．４ｍ正方枠や円形枠）に留まり、代表点Ｇの移動速度が一定速度以下（たとえば０．０５ｍ／秒以下）のときに静止と判定する。

次に、追跡していた人が撮像画像１２の外に移動するか、認識できなくなると追跡を終了し（Ｓ１４で「Ｎｏ」）、店員カウント処理部８に記録されている同じ人物コードの店員判定と入店カウント値と退店カウント値を読み出す（Ｓ２３）。そして読み出した店員判定を調べて（Ｓ２４）店員判定が店員でない場合は、先の入退店カウント判定部６からの入店又は退店のリアルタイムなカウント値の出力は、顧客によるものであり既に集計部９へ出力済みであるから、その人物コードのデータ記録を店員カウント処理部８から消去し（Ｓ２８）、この人物に対する処理を終える。

一方、店員判定が店員である場合は、先に集計部９に出力されたカウント値は店員によるものであるため、この人物コードの入店又は退店のカウント値を集計部９の合計値から除外又は区別する必要がある。そこで、店員であれば、店員カウント処理部８の記録から同一人物コードの入店と退店カウント値の差を求め（Ｓ２５）、差が無ければ入店カウント値と退店カウント値を店員のカウント値として集計部９へ出力し（Ｓ２７）、その人物コードのデータ記録を店員カウント処理部８から消去し（Ｓ２８）、この人物に対する処理を終える。

店員であり、店員カウント処理部８の記録から同一人物コードの入店と退店カウント値の差がある場合は、等しくなるように差分を店員想定カウント値として上記入店と退店カウント値に加算し（Ｓ２６）、これら入店と退店カウント値を店員のカウント値として集計部９へ出力し（Ｓ２７）、その人物コードのデータ記録を店員カウント処理部８から消去し（Ｓ２８）、この人物に対する処理を終える。

ここで、例えば、店員は店舗の出入口を顧客と一緒に顧客の荷物を持ちながら退店の案内をすることがある。この場合、店員は退店時に立ち位置エリアＢに立ち寄ることは顧客を待たせることになるので実施できない。そのため、店員は店外まで退店し顧客を見送った後の入店の際に立ち位置エリアＢに立ち寄るようにするのが合理的である。従って、店員には入店の際にだけ立ち位置エリアＢ内に立ち寄るように行動させると規程した場合、店員が入店した時は、その前に一度退店して顧客を見送るなどしている。そして、この店員が先に退店した時は撮像画像１２外まで移動しているため、退店カウントした時の人物コードと、入店して立ち位置エリアＢにて店員判定した人物コードとは異なる。そこで、入店した人が店員であると判定されると、この店員は先に退店したことが明らかであるため、追跡終了時に店員入店カウントと共に店員想定退店カウントを集計部９に送るようにする。これにより、店員の入退店の動きと店員のカウント値を正しく合致させることができる。
また店員が入店の時だけ店員判定を行うと定めた規程を忘れて退店の際に立ち位置エリアＢで店員判定した場合、店員判定を無効とし店員のカウントが出力されないようにすることもできる。これにより、店員の退店カウントに起因した店員想定カウントによりさらに１往復追加されることもない。

次に、集計部９での集計処理を説明する。
店員のカウントを合計から減算して顧客だけの合計値を集計する減算集計について図２（ａ）を用いて説明する。
集計部９ａは、入退店カウント判定部６から入店のリアルタイムなカウントを受け取ると（図８のＳ１６を参照）、客入店合計９２に上記入店のリアルタイムなカウント値を加算する。また入退店カウント判定部６から退店のリアルタイムなカウントを受け取ると（図８のＳ１６を参照）、客退店合計９３に上記退店のリアルタイムなカウント値を加算する。
次いで、集計部９ａは、店員カウント処理部８から店員の入店カウントを受け取ると（図８のＳ２７を参照）、客入店合計９２から店員の入店カウント値を減算する。また店員カウント処理部８から店員の退店カウントを受け取ると（図８のＳ２７を参照）、客退店合計９３から店員の退店カウント値を減算する。
これにより、集計部９ａの客入店合計９２、客退店合計値９３は、店員による入店又は退店のカウント値が除外された顧客だけの入店又は退店のカウント値が集計される。

一方、店員合計と店員と顧客の全合計を別々に集計する分離集計について図２（ｂ）を用いて説明する。
集計部９ｂは、入退店カウント判定部６から入店のリアルタイムなカウントを受け取ると（図８のＳ１６を参照）、全入店合計９５に上記入店のリアルタイムなカウント値を加算する。また入退店カウント判定部６から退店のリアルタイムなカウントを受け取ると（図８のＳ１６を参照）、全退店合計９６に上記退店のリアルタイムなカウント値を加算する。
次いで、集計部９ｂは、店員カウント処理部８から店員の入店カウントを受け取ると（図８のＳ２７を参照）、店員入店合計９８に店員の入店カウント値を加算する。また店員カウント処理部８から店員の退店カウントを受け取ると（図８のＳ２７を参照）、店員退店合計９９に店員の退店カウント値を加算する。
入退店カウント判定部６のリアルタイムなカウントは店員判定が行われていない顧客と店員の両方が含まれるカウント値であり、このカウント値を集計することにより、集計部９ｂの全入店合計９５、全退店合計９６は店員と顧客が合計された全合計値を得ることができる。また、集計部９ｂの店員入店合計９８、店員退店合計９９には店員だけの入店又は退店の店員のカウント値を得ることができる。
これによりユーザーは、集計部９ｂにおける全入店合計９５、全退店合計９６から店員入店合計９８、店員退店合計９９を差し引く事により、顧客だけの合計値（店員以外の合計値）を得ることができる。

次に、上記の店員の動きと、人物コードと、カウントと、店員判定と、集計部での減算処理を説明する。

１．店内撮像での事例
＜店員が入店後にだけ店員判定を行う場合＞・・・図９（ａ）
図９（ａ）を参照して、まず店員が顧客と一緒に店内の地点（１）から２人並んで計数エリアＡを通過して店外へ退店し、撮像画像１２外の地点（２）まで移動した。このとき、店員カウント処理部８での顧客の人物コード001の記録は、退店カウント１人、店員判定NOであり、店員の人物コード002は、退店カウント１人、店員判定NOである。この人物コード001と002の２人が計数エリアＡを退店方向に通過した時点で各人のリアルタイムな退店カウント値が集計部９に送られ、次いでこの２人が撮像画像１２外へ移動した時点で各人の店員判定はNOであるので店員のカウント値は出力されず、店員カウント処理部８での記録から人物コード001と002の記録が削除される。よって、この時点での集計部９は、客入店合計９２が０人、客退店合計９３が２人となっている。

次に、先の人物コード002であった店員は、店外の地点（２）で客を見送ってから計数エリアＡを通過して入店し、立ち位置エリアＢにて店員判定を行い、撮像画像１２外の地点（３）まで移動した。このとき、この店員が店内に戻るときの人物コードは新規発行されるので人物コード003となり、店員カウント処理部８でのこの店員の人物コード003の記録は、入店カウント１人、店員判定YESである。この人物コード003の店員が計数エリアＡを入店方向に通過した時点で１人のリアルタイムな入店カウント値が集計部９に送られる。よって、この時点での集計部９は、客入店合計９２が１人、客退店合計９３が２人となっている。

そして、人物コード003の店員が地点（３）まで移動して撮像画像１２外となった時点で、この人物コード003の店員カウント処理部８に記録されている店員判定値はYESであり、上記に記録されている人物コード003の入店カウント値１人と退店カウント値０人は差が存在するので少ない方の退店カウントに店員想定退店カウント１人として加算し、これら入店カウント１人と退店カウント１人を店員のカウント値として集計部９へ送り、店員カウント処理部８から人物コード003の記録が削除される。
集計部９では、受け取った店員のカウント値を客入店合計９２、客退店合計９３のそれぞれから減算することにより、客入店合計９２が０人、客退店合計９３が１人となる。これにより、集計部９には、店員の入店退店のカウントが除去されて顧客だけが退店した動きが正しく集計される。

このように、店員判定された人物と、店員カウント処理部８に記録されている同じ人物コードの記録の入店値と退店値に差があれば、前記人物コードの出入りの動きの記録、つまり退店してから入店して戻ってきたカウントが別の人物コードで記録されている事になる。そこで、この差を埋めるために加算するのが店員想定カウント値である。上記の場合、人物コード003の店員は入店する前に一度退店しているため（人物コード002として退店）、この前の退店を店員想定退店カウントとして集計部９へ出力し、客退店合計９３から削除する。

＜店員が退店前にだけ店員判定を行う場合＞・・・図９（ｂ）
図９（ｂ）を参照して、まずは、店員が見送りのため顧客と一緒に店内の地点（１）から店外へ計数エリアＡを通過して退店し、撮像画像１２の外の地点（２）まで移動するとき、店員は店内の立ち位置エリアＢで店員判定を行ってから、計数エリアＡを通過して店外へ移動した。このとき、店員カウント処理部８に記録された顧客の人物コード001の記録は退店カウント１人、店員判定NOであり、店員の人物コード002の記録は、退店カウント１人、店員判定YESである。そして、この人物コード001と002の２人が計数エリアＡを退店方向に通過した時点では、各人のリアルタイムな退店カウント値が集計部９に送られ、集計部９は客入店合計０人、客退店合計２人となっている。

そして、この人物コード001と002の２人が撮像画像１２外へ移動すると、人物コード001は、店員判定がNOであるので店員のカウント値は出力されず、店員カウント処理部８の記録から人物コード001の記録が削除される。一方、人物コード002は、店員判定がYESであるので人物002の入店カウント値０人と退店カウント値１人は差が存在するので少ない方の入店カウントに店員想定入店カウント１人として加算し、これら入店カウント１人と退店カウント１人を店員のカウント値として集計部９へ送り、店員カウント処理部８から人物コード002の記録が削除される。この時点での集計部９は、客入店合計９２が−１人、客退店合計９３が１人となっている。このように、上記の場合、人物コード002の店員は退店後に必ず入店するため（人物コード003として入店）、この店員による後の入店を店員想定入店カウントとして集計部９の客入店合計９２から予約削除する。

次に、先の人物コード002であった店員は、店内に戻るときは新規発行された人物コード003となり、計数エリアＡを通過して入店し、立ち位置エリアＢに立ち寄ることなく撮像画像１２外の地点（３）まで移動した。このとき、店員カウント処理部８の記録において、店員の人物コード003は、入店カウント１人、店員判定NOであるので、計数エリアＡを入店方向に通過した時点でリアルタイムな入店カウント値が集計部９に送られ、次いで撮像画像１２外へ移動した時点では店員のカウント値は出力されず、店員カウント処理部８の記録から人物コード003の記録が削除される。これにより集計部９は、客入店合計９２が０人、客退店合計９３が１人となり、店員の入店退店のカウントが除去されて顧客だけが退店した動きが正しく集計される。

＜その他＞
なお、店員が撮像画像１２から外に出ずに、撮像画像１２内で顧客の見送りを行い、店内に戻り店員判定を行うと、同じ人物コードで上記の入店値と退店値が同じになる。そして店員と判定されてから撮像画像１２の外へ移動すると、店員カウント処理部８の記録は上記店員の人物コードで退店と入店のカウントが記録されており、店員判定はＹＥＳであるので、この人物コードの入店カウント値と退店カウント値だけを店員のカウント値として集計部９へ送り、この人物コードの記録を店員カウント処理部８の記録から削除する。

２．店外撮像での事例
＜店員が入店前にだけ店員判定を行う場合＞・・・図９（ｃ）
図９（ｃ）を参照して、まず店員が顧客と一緒に店内の地点（１）から２人並んで計数エリアＡを通過して店外へ退店し、撮像画像１２外の地点（２）まで移動した。このとき、店員カウント処理部８での顧客の人物コード001の記録は、退店カウント１人、店員判定NOであり、店員の人物コード002は、退店カウント１人、店員判定NOである。この人物コード001と002の２人が計数エリアＡを退店方向に通過した時点で各人のリアルタイムな退店カウント値が集計部９に送られ、次いでこの２人が撮像画像１２外へ移動した時点で各人の店員判定はNOであるので店員のカウント値は出力されず、店員カウント処理部８での記録から人物コード001と002の記録が削除される。よって、この時点での集計部９は、客入店合計９２が０人、客退店合計９３が２人となっている。

次に、先の人物コード002であった店員は、店外の地点（２）で客を見送ってから撮像画像１２内に入り、立ち位置エリアＢにて店員判定を行ってから計数エリアＡを通過して入店し撮像画像１２外の地点（３）まで移動した。このとき、この店員が店内に戻るときの人物コードは新規発行されるので人物コード003となり、店員カウント処理部８でのこの店員の人物コード003の記録は、入店カウント１人、店員判定YESである。この人物コード003の店員が計数エリアＡを入店方向に通過した時点で１人のリアルタイムな入店カウント値が集計部９に送られる。よって、この時点での集計部９は、客入店合計９２が１人、客退店合計９３が２人となっている

＜店員が退店後にだけ店員判定を行う場合＞・・・図９（ｄ）
図９（ｄ）を参照して、まずは、店員が見送りのため顧客と一緒に店内の地点（１）から店外へ計数エリアＡを通過して退店し、撮像画像１２の外の地点（２）まで移動するとき、店員は計数エリアＡを通過して店外へ移動したのち立ち位置エリアＢで店員判定を行った。このとき、店員カウント処理部８に記録された顧客の人物コード001の記録は退店カウント１人、店員判定NOであり、店員の人物コード002の記録は、退店カウント１人、店員判定YESである。そして、この人物コード001と002の２人が計数エリアＡを退店方向に通過した時点では、各人の退店リアルタイムなカウント値が集計部９に送られ、集計部９は客入店合計０人、客退店合計２人となっている。

そして、この人物コード001と002の２人が撮像画像１２外へ移動すると、人物コード001は、店員判定がNOであるので店員のカウント値は出力されず、店員カウント処理部８の記録から人物コード001の記録が削除される。一方、人物コード002は、店員判定がYESであるので人物002の入店カウント値０人と退店カウント値１人は差が存在するので少ない方の入店カウントに店員想定入店カウント１人として加算し、これら入店カウント１人と退店カウント１人を店員のカウント値として集計部９へ送り、店員カウント処理部から人物コード002の記録が削除される。この時点での集計部９は、客入店合計９２が−１人、客退店合計９３が１人となっている。このように、上記の場合、人物コード002の店員は退店後に必ず入店するため（人物コード003として入店）、この店員による後の入店を店員想定入店カウントとして集計部９の客入店合計９２から予約削除する。

次に、先の人物コード002であった店員は、店内に戻るときは新規発行された人物コード003となり、立ち位置エリアＢに立ち寄ることなく計数エリアＡを通過して入店し、撮像画像１２外の地点（３）まで移動した。このとき、店員カウント処理部８の記録において、店員の人物コード003は、入店カウント１人、店員判定NOであるので、計数エリアＡを入店方向に通過した時点でリアルタイムな入店カウント値が集計部９に送られ、次いで撮像画像１２外へ移動した時点では店員のカウント値は出力されず、店員カウント処理部８の記録から人物コード003の記録が削除される。これにより集計部９は、客入店合計９２が０人、客退店合計９３が１人となり、店員の入店退店のカウントが除去されて顧客だけが退店した動きが正しく集計される。

＜他の実施形態商品関心者の集計＞
上記店員顧客分離集計装置１は、商品に関心を示した顧客と店員とを分離するために使用することもできる。
そのためには、図１に示した店員顧客分離集計装置１において、図１０に示すように、商品Ｈを陳列している領域を監視エリアとしてカメラ２により撮像し、このカメラ２からの撮像画像１２上に商品Ｈの至近距離の範囲内に関心計測エリアＫを設定する。なお、関心計測エリアＫは、上記計数エリアＡに代わるものである。この関心計測エリアＫは、実空間の商品Ｈの外周部から当該商品Ｈの至近距離の範囲内に設定される。商品Ｈの至近距離の範囲内とは、人が商品Ｈをのぞき込み、又は商品Ｈに触れ、あるいは、商品Ｈのにおいを嗅ぐなどの５感によって、商品Ｈからの情報を収集する行為を行うときに、当該商品Ｈに接近する程度の至近距離の範囲内である。関心計測エリアＫの形状は、上述のとおり商品Ｈの至近距離の範囲内に設定される限り、任意の形状とすることができる。

また店員が商品の整理などを行うために関心計測エリアＫ内に滞在していた場合、関心計測エリアＫ内に滞在していた時間を顧客の関心時間に集計されないようにするため、立ち位置エリアＢに一定時間静止し店員の判定を行う。店員が店員の判定を行うのは関心計測エリアＫに立ち入る前か、関心計測エリアＫから退出した後のどちらでも良い。

また、図１に示した店員顧客分離集計装置１において、上記入退店カウント判定部６に代えて商品関心判定部６を設ける。この商品関心判定部６は、追跡部４により追跡している個々の人ごとの代表点Ｇが関心計測エリアＫ内に入ったときから、その代表点Ｇが関心計測エリアＫの外に出るまでの滞在時間を関心時間として測定する。

また、図１に示した店員顧客分離集計装置１において、上記店員カウント処理部８の店員想定カウント判定部８２は、入店と退店カウントは行わず意味を持たないため設けない。そして、店員カウント処理部８には、人認識部３により認識した個々の人ごとに付与された人物コードと、この人物コードと関連付けて店員判定の結果と、上記関心時間を人物登録順に記録する

そして、例えば関心時間の測定は、次のように行うものとする。
追跡部４により追跡している個々の人ごとの代表点Ｇが、関心計測エリアＫの外に出たあと、再び関心計測エリアＫ内に入ると、その代表点Ｇが関心計測エリアＫの外に出るまでの滞在時間を計測し、関心計測エリアＫの外に出た時点で、この滞在時間を店員カウント処理部８の同一人物コードに記憶されている関心時間に加算する。

もしくは、関心時間は、追跡部４により追跡している個々の人ごとの代表点Ｇが関心計測エリアＫ内で、その代表点Ｇの移動速度が一定速度（例えば、０．２ｍ／ｓｅｃ）以下となる間の時間を滞在時間として測定し、この滞在時間を店員カウント処理部８の同一人物コードに記憶されている関心時間に加算するようにしてもよい。

そして、この店員カウント処理部８は、追跡部４により追跡している人が撮像画像１２から画像外に移動するか認識できなくなった時点で、店員カウント処理部８の記録から同一人物コードの関心時間及び店員判定結果を読み出す。読み出した関心時間があらかじめ定められた基準値（例えば、５秒）以上であり店員判定の結果が店員で無ければ、商品に関心を持った顧客であると判定し集計部９へ出力する。
また店員である場合は、読み出した関心時間を店員の関心時間として集計部９へ出力するか、もしくはこの店員の関心時間を破棄する。そして、この人物コードの記録を店員カウント処理部８から削除する制御構成とする。

一方、上記構成の店員顧客分離集計装置における商品関心計測のための動作では、図７で示すとおり撮像画像１２から人物追跡が行われる。そして、店員と顧客を分離して商品の関心時間を計測する処理は、図１１のフローチャートに従って処理される。
図１１のフローチャートを参照して、撮像画像１２の中に人物コードが付加されていない新しい人が認識できるかどうか監視し（Ｓ３１）、人と認識されると新規の人物コードをその人物に付加し（Ｓ３２）、店員カウント処理部８に新しく認識された人の人物コードを登録する（Ｓ３３）。この人物コードは撮像画像１２内で追跡している他の人と混同しないようにする固有の識別子である。
そして、人物コードごとに移動を追跡し（Ｓ３４）、関心計測エリアＫに立ち入ると（Ｓ３５）滞在時間の計測を開始し（Ｓ３６）、関心計測エリアＫから退出すると（Ｓ３７）滞在時間の計測を停止し（Ｓ３８）、この退出した人物コードと店員カウント処理部８に記録されている同じ人物コードの関心時間に滞在時間を加算する（Ｓ３９）。

また、人の追跡中に、その人物の代表点Ｇの位置が立ち位置エリアＢ内に入ったか否か監視する（Ｓ４０）。代表点Ｇの位置が立ち位置エリアＢ内に入ったことが認識されると同時に立ち位置エリアＢ内での存在時間を計測する。そして、ある人物コードの人がその代表点Ｇの位置が立ち位置エリアＢ内に一定時間（例えば、２秒）静止または静止に近い状態に居れば、その代表点Ｇの人は店員であると判定して店員カウント処理部８に記録されている同じ人物コードの店員判定に店員判定結果を記録し（Ｓ４１）、また、店員ＬＥＤ２１を点灯させて（Ｓ４２）店員として認識したことを立ち位置エリアＢに居る人（店員）に知らせる。そして一定時間が経過すると店員ＬＥＤを消灯する。（Ｓ４３）

次に、追跡していた人が撮像画像１２の外に移動するか、認識できなくなると追跡を終了し（Ｓ３４で「Ｎｏ」）、店員カウント処理部８に記録されている同じ人物コードの店員判定と関心時間を読み出す（Ｓ４４）。読み出した関心時間があらかじめ設定された基準値以下の場合（Ｓ４５で「Ｙｅｓ」）関心者では無いと判定し、この関心時間を破棄し、その人物コードのデータ記録を店員カウント処理部８から消去し（Ｓ４８）、この人物に対する処理を終える。

一方読み出した関心時間があらかじめ設定された基準値以上の場合（Ｓ４５）関心者であると判定し、この人物の店員判定を調べる（Ｓ４６）。店員であれば店員の関心時間として集計部９へ出力し（Ｓ４８）、店員でなければ顧客の関心時間として集計部９へ出力する（Ｓ４７）。そしてこの人物コードのデータ記録を店員カウント処理部８から消去し（Ｓ４８）、この人物に対する処理を終える。

集計部９は、送られてきた関心時間を関心時間合計値に加算し、関心者の人数の集計を行う。関心者の人数の集計は、あらかじめ用意してある関心者の人数値を関心時間が送られてくる度にひとつずつ増加させることで行う。また店員の関心時間が送られてくる場合は、店員の関心時間合計値に加算し、店員の関心者の人数をひとつずつ増加させる。

関心者の集計に、立ち位置エリアによる店員と顧客の分離を行うとき、顧客が撮影画像１２内の立ち位置エリアＢで静止することがある。このために立ち位置エリアＢを２ヶ所配置し、両方の場所に同一人物が静止した場合のみ、店員と判定するようにし、店員は必ず両方の場所に静止するようにしても良い。

（その他）
ところで、上記各実施形態においては、撮像画像１２上から店員か否か判別する他の方法として、お辞儀する動作を行った人を店員であると判別することも可能である。店員顧客分離集計装置１において、立ち位置エリアBによる店員判定手段に代えて、お辞儀動作による店員判定手段を設けてもよい。例えば、このお辞儀動作により店員判定する店員判定手段は、人認識部３により認識された撮像画像１２上の人物画像において、人がお辞儀するときの一連の動作（直立姿勢→前かがみの「くの字」姿勢→直立姿勢）と同様に変化したことが確認されると、この人物画像の人は店員であると判定することができ、また、この人物画像のお辞儀動作変化と共に、上記代表点Ｇも人物画像がお辞儀の一連動作に伴う場合と同様の移動状況が確認されると、この人物画像の人は店員であると判定することもできる。

１店員顧客分離集計装置
２カメラ（撮像手段）
３人認識部
４追跡部
５店員判定部
６入退店カウント判定部
８店員カウント処理部
９集計部
１０設定部
１１表示部
１２撮像画像
２１店員ＬＥＤ
２２カウントＬＥＤ
８２店員想定カウント部
Ａ計数エリア
Ｂ立ち位置エリア
Ｇ代表点
H 商品
Ｋ関心計測エリア

Claims

人が通る監視エリアを撮像手段によって撮像し、この撮像手段による撮像画像内の人から店員と顧客を分離して集計する店員顧客分離集計装置であって、
監視エリアを上方から撮像する撮像手段により順次撮像された撮像画像から人を認識する人認識手段と、
上記人認識手段により認識された人を撮像画像内で個別に追跡する追跡手段と、
撮像画像内に店員判定のための立ち位置エリアを設定し、立ち位置エリア内での人の静止時間を設定する設定手段と、
上記追跡手段により追跡している人が撮像画像内に設定された立ち位置エリア内に一定時間静止していた場合、その人を店員であると判定する店員判定手段とを備える店員顧客分離集計装置。
請求項１に記載の店員顧客分離集計装置において、
上記追跡手段により追跡されている個々の人のうち撮像画像内に設定された計数エリアを通過して移動した人に対して計数エリアの移動方向に応じて入店又は退店したことを判定しリアルタイムなカウントを集計手段へ出力する入退店カウント判定手段を備え、
上記入退店カウント判定手段により出力されるカウントを人物ごとに記録し、店員判定手段により店員であると判定された人物の記録されたカウントを店員のカウント値として上記集計手段へ出力する店員カウント処理手段を備える店員顧客分離集計装置。
請求項１又は２に記載の店員顧客分離集計装置において、
上記店員判定手段により店員であると判定された人物の記録された入店カウント値と退店カウント値とに差があれば、その人物は店員と判定される前に入店又は退店を行いカウントされていたと想定し、小さい方の入店又は退店のカウント値に対して上記差分に応じたカウント値を店員想定カウント値として店員のカウント値に加算する店員想定カウント手段を備える店員顧客分離集計装置。
請求項１に記載の店員顧客分離集計装置において、
上記人認識手段により認識した個々の人ごとに撮像画像内の商品の至近距離の範囲に設定された関心計測エリア内の滞在時間、又は関心計測エリア内での移動速度が一定速度以下のときの滞在時間を関心時間として記録し、関心時間が基準値以上であれば商品に関心を持った人であると判定する商品関心行動測定手段を備え、
上記商品関心行動測定手段により商品に関心を持ったと判定された人の関心時間から、上記店員判定手段により店員と判定された人の関心時間を除外して集計する、又は前者の関心時間と後者の関心時間とを別々に集計する商品関心行動測定手段を備える店員顧客分離集計装置。
請求項１乃至４のいずれかに記載の店員顧客分離集計装置において、
上記設定手段は、撮像画像内に立ち位置エリアを複数設定することができる機能を備え、
上記店員判定手段は、同一人物が2箇所に一定時間静止していた場合、その人を店員であると判定する機能を備える店員顧客分離集計装置。
請求項１乃至５のいずれかに記載の店員顧客分離集計装置において、
上記店員判定手段により店員と判定されたことを伝える報知手段を備える店員顧客分離集計装置。