JP2005216217A - 行列の人数計測システムおよび人数計測方法 - Google Patents

Abstract

【課題】 さまざまな業種の店舗内あるいは集客施設内において、客の集中する時間帯には、レジや窓口の前に行列ができ易い。この場合、客はどの行列に並べば早く順番が来るかを判断するためには、行列の場所まで行き、行列の長さや人数、または、行列の進み具合を目視で確認しなければならない。従って、店舗あるいは集客設備では、客に対して行列の状態を知らせるサービスを提供できれば客の満足度向上につながる。行列の人数を計測する手段としては人手による方法があるが人件費が掛かることや、行列から途中で抜ける客もあって正確な人数の把握は難しい。
【解決手段】 行列の上方に設けたカメラによって行列を撮影し、常時、画像処理によって人数を計測して表示させる。この計測方法は自動的に実施できるので人手を必要とせず、開店時から閉店時まで、常に行列の状況を把握し、客にこの情報を提供できる。
【選択図】 図１

Description

複数のレジや窓口に客が集中して行列ができる時、行列の人数を正確に計測して客にこの情報を知らせることのできる、行列の人数計測システムおよび人数計測方法に関する。

さまざまな業種の店舗内、あるいは集客施設内において、客の集中する時間帯には、客が商品を購入するため、あるいは、各種のサービスを受けるため、レジや窓口の前に並ぶことが多い。複数のレジや窓口に行列ができた場合、客はどの行列に並べば早く順番が来るかを判断するためには、客が並んでいる列の場所まで行き、列の長さや人数、または列の進み具合を目視で確認しなければならない。
従って、店舗あるいは集客施設は、客に対して行列の人数を知らせるサービスを提供できれば顧客満足度の向上につながる。
特開２０００−２５９８０９号公報

行列の人数を計測する手段としては人手による方法があるが、人件費が掛かることや、来客者へ悪い印象を与えることがあるので望ましくない。
また、客は行列に並んでいても途中で列から自由に抜けることがあるので、特定の位置を通過して列に並ぶ人数と、特定の位置を通過して列から出る人数の滞留による計測方法は適していない。

上述した課題を解決するためには、行列を上方からカメラで撮影し、常時、画像処理により人数を計測することで解決できる。そして、その結果を来客者に表示し、どの行列に並べばよいかの判断材料を提供することで、サービスの向上が図れる。

レジや窓口に並んでいる客の行列状態を、行列の上方に設けたカメラによって常時撮影して行列の人数を計測して表示させると、客はその表示を見ることによって行列の人数と進行状況を確認できるので、どの列に並ぶのがよいのかを判断でき、客は行列による待ち時間を短縮でき、サービス向上に役立つ。

行列の人数の計測は自動的に実施できるので人手を必要とせず、開店直後から閉店時まで、常に行列の状態を把握し、客にこの状態を知らせることができる。

本発明を実施するための最良の形態について、行列の人数を計測するシステムおよび人数計測方法について、図面を参照しながら説明する。
図１は、行列の人数計測システムおよび人数計測方法を示すブロック図である。

顧客等が並んで形成している行列を、行列の上方に設置してあるカメラ１によって撮影し、撮影した映像をＡ／Ｄ変換部２に入力させてＡ／Ｄ変換し、Ａ／Ｄ変換された映像信号と同期信号が出力される。
表示部４０を構成する映像メモリ３と、人数計測部３０を構成する背景メモリ３７および差分画像生成部３８と、計測領域設定部５０を構成する指定色検出部４には、Ａ／Ｄ変換部２からの映像信号が入力されており、また、統括制御部６０を構成する統括制御部９には前記Ａ／Ｄ変換部２からの同期信号が入力される。

プログラムが使用するプログラム・メモリ１０、プログラムや種々の設定値が格納されている不揮発性メモリ１１、種々の設定を行う操作部１２、種々の設定を表示する表示部１３、人数データを格納しておく人数データ５７、領域データを格納しておく領域データ１４、しきい値を格納しておくしきい値５８は、統括制御部９によって統括制御される。
前記統括制御部９は、背景メモリ３７に背景の保存を指示すると共に、しきい値処理部３９にしきい値を、射影計算部５１に領域データを入力する。
また、前記統括制御部９は、計測領域毎の安定化処理部５４に計測領域毎の人数（前画像）と人数計測結果が一致した回数（前画像）を入力すると共に、合計の安定化処理部５５に表示用人数計測結果（現画像）と人数計測結果の合計（１〜（ｎ−１）個前）を入力する。
さらに、前記統括制御部９は、指定色検出部４に色を指定すると共に、グラフィック・メモリＢ５_２にカーソルと領域データを入力する。

前記グラフィック・メモリＢ５_２は、指定色検出部４からの２値化画像信号と、前記統括制御部９からカーソルと領域データを入力され、領域データを前記統括制御部９へ出力すると共に、グラフィック・データＢを表示部４０を構成する映像合成部６へ出力する。
また、グラフィック・メモリＡ５_１は、人数計測部５３から検出した人物の位置と、前記統括制御部９からの表示用人数計測結果（現画像）と、合計の安定化処理部５５からの表示用人数計測結果（現画像）を入力され、グラフィック・データＡを表示部４０を構成する映像合成部６へ出力する。

前記映像合成部６は、映像メモリ３からの映像信号とグラフィック・メモリＡ５_１からのグラフィック・データＡと、グラフィック・メモリＢ５_２からのグラフィック・データＢを入力して合成映像信号とし、これをＤ／Ａ変換部７へ入力させてＤ／Ａ変換させ、アナログ化された合成映像はモニタ８に入力して表示される。

次に、本発明による行列の人数を計測するシステムを使用して、種々の形態の行列の人数を計測する人数計測方法を説明する。

図２のＡは、カメラ配置が行列に対して、どうなっているのかの基準となる視点を示している。
図２のＢは、計測領域が行列に対してどのように設定されているかの基準となる視点を示している。

行列が長い列となっている場合は、図３に示すように、複数のカメラ、例えば１_２と１_３で行列を分割撮影して行列の人数計測を行う。
また、行列が複数の場合も、図４に示すように、画角内に全行列が収まるようにカメラ１_４を設置することが肝要である。

特定の行列の真上にカメラ１_５を配置し、鉛直方向に撮影する場合（図５）、特定の行列の真上からカメラ１_６をずらして配置し、鉛直方向に撮影する場合（図６）、特定の行列の真上にカメラ１_７を配置し、斜めに撮影する場合（図７）、全ての行列の真上からずらしてカメラ１_８を配置し、斜めに撮影する場合（図８）があり、いずれも人数計測可能であるが、カメラを取り付ける天井の高さや、外光の影響を考慮し、設置場所に最適なカメラ配置を決定することが肝要である。
例えば、天井が低い場合は、図６，図８に示すように特定の行列の真上からずらしてカメラを配置する。
外光がある場合は、図７，図８に示すようにカメラを斜めに傾けて配置する。
天井が低すぎる場合は、図９に示すように天井１７に鏡１６を取り付け、カメラから行列までの光路長Ｌ＝Ｌ_１＋Ｌ_２を十分に確保できるようにカメラ１_９を配置する。

次に、行列の人数の計測方法を、図１０に示すフローチャートを参照しながら説明する。
行列の人数計測は、統括制御部６０と人数計測部３０によって処理される。
計測を始める前に、種々の設定を行う。
（１）人が並んでいない状態で撮影し、背景画像として背景メモリ３７に保存する。（Ｓ１）
（２）操作部１２で計測領域を設定し、不揮発性メモリ１１に保存する。（Ｓ２）
（３）操作部１２から２値化の閾値を設定し、設定した閾値は不揮発性メモリ１１に保存する。（Ｓ３）
なお、閾値は計測領域ごとに設定可能であるから、夫々の計測領域の閾値を設定し保存する。
また、閾値や計測領域、Ｓ１からＳ３の設定順番は任意である。

上述した各種設定後、人数計測処理を行う。
（４）差分画像生成部３８に、カメラ１で撮影した画像を入力する。（Ｓ４）
（５）入力した画像と保存してある背景画像から、差分画像を生成する。（Ｓ５）
（６）差分画像を保存してある閾値で２値化する。（Ｓ６）
（７）２値化画像上の、保存してある計測領域に該当する部分で、垂直方向に射影を求める。（Ｓ７）
図１１に計測領域の射影を示す。
（８）射影を平滑化する。（Ｓ８）
（９）平滑化した射影の山を検出し、山の総数を求める。（Ｓ９）
（10）山の総数を１つの計測領域の人数として、プログラム・メモリ１０に保存する。（Ｓ１０）

画像を入力するごとに、Ｓ４からＳ１０の処理を繰り返すことにより、人数計測を常時行う。
Ｓ４からＳ１０の処理は、１つの計測領域だけの人数計測であるが、計測領域が複数あるときは、各計測領域に対してＳ４からＳ１０の処理を実施する。
また、カメラが複数の場合も同様に、各々のカメラが撮影した計測領域ごとにＳ４からＳ１０の処理を実施する。
図１２に示すように、長い計測領域を分割撮影した場合は、同色で表示している計測領域の計測結果を加算し、計測領域の人数とする。

計測領域の設定方法。（映像上の任意の図形で設定する方法。）
映像上に任意の図形で計測領域を設定する方法について、図面を参照しながら説明する。

計測領域を設定するブロック図は図１に示す通りである。実施例１の人数計測方法を示すフローチャート図１０におけるＳ２において、グラフィック・メモリＢ上にカーソル図形（カーソルＡ２１と、カーソルＢ２２）を描画し、そのカーソルを動かして設定ボタンを押すと、カーソルＡ２１を始点、カーソルＢ２２を終点とする矩形の領域２３が設定され、計測領域データとして不揮発性メモリ１１に保存される。（図１３参照）

設定した計測領域の削除方法は、設定方法と同様にカーソルを動かして削除ボタンを押すと、カーソルＡ２１を始点、カーソルＢ２２を終点とする矩形の領域が計測領域から削除され、不揮発性メモリ１１に保存される。（図１４参照）

計測領域は、人物全体を覆うように設定する場合（図１５）、人物の特定部分に設定する場合（図１６）、人物の特定部分を除いて設定する場合（図１７）、任意の多角形もしくは曲線図形に設定する場合（図１８）があり、いずれも人数計測可能であるが、列の状態を考慮し、最適な領域を設定することが肝要である。

計測領域の設定方法。（特定色の着衣の移動（軌跡）を領域として設定する方法。）
色検出によって計測領域を設定する方法について、図面を参照しながら説明する。

計測領域を設定するブロック図は図１に示す通りである。
実施例１の人数計測方法を示すフローチャート図１０におけるＳ２において、入力画像から予め指定しておいた色情報を抽出し、現在の計測領域とＯＲ処理を行い、その結果を計測領域データとして不揮発性メモリ１１に保存される。（図１９参照）
設定した計測領域の削除方法は、指定する色情報を削除用に変えて同じ処理を行う。

人数計測結果の安定化処理。
計測領域毎の人数計測結果を安定化処理するだけでは、合計を求めた際に計測領域毎の変化が非同期なため、「計測領域毎の結果が変化する周期÷計測領域の数」の同期で変化し、見にくくなってしまう。
この問題を解決するため、計測領域毎の人数計測結果についてだけではなく、合計を求める際にも安定化処理を加える。

計測領域毎の安定化処理のフローチャートを図２０に示し、また、合計の安定化処理のフローチャートを図２１に示す。
計測領域毎の安定化処理は図２０のフローチャートに示すように、
（１）前画像における計測領域毎の人数計測結果をプログラム・メモリから読み出す。（Ｓ１１）
（２）現画像における計測領域毎の人数計測結果を読み出す。（Ｓ１２）
（３）人数計測結果が一致した回数をプログラム・メモリから読み出す。（Ｓ１３）
（４）前画像での人数計測結果と現画像での人数計測結果は一致するか、を判定する。（Ｓ１４）
（５）ＹＥＳの場合は、人数計測結果が一致した回数に１を加える。（Ｓ１５）
（６）人数計測結果が一致した回数はＮ回以上か、を判定する。（Ｓ１６）
（７）ＹＥＳの場合は、現画像の人数計測結果を、プログラム・メモリの計測領域毎の表示用人数計測結果データに保存する。（Ｓ１７）
（８）（Ｓ１７）に引き続いて（Ｓ１８）となり、人数計測結果が一致した回数を０にするが、この処理に（Ｓ１４）のＮＯが加わる。
（９）（Ｓ１８）に引き続いて（Ｓ１９）となり、人数計測結果が一致した回数をプログラム・メモリに保存するが、この処理に（Ｓ１６）のＮＯが加わる。
以上の処理によって、計測領域毎の安定化処理は終了する。
即ち、計測領域毎の人数計測結果は、前画像における人数計測結果と、現画像における人数計測結果を比較し、比較した結果がＮ回連続で一致した場合は、結果表示を新たな値に更新する。

次に、図２１を用いて合計の安定化処理を説明する。
（１）１個前から（ｎ−１）個前までの人数計測結果の合計をプログラム・メモリから読み出す。（Ｓ２１）
（２）現画像における計測領域毎の表示用人数計測結果データをプログラム・メモリから読み出す。（Ｓ２２）
（３）計測領域毎の表示用人数計測結果データの総和を求め、現画像における人数計測結果の合計とする。（Ｓ２３）
（４）現画像における人数計測結果の合計を、プログラム・メモリに保存する。（Ｓ２４）
（５）現画像の人数計測結果の合計と、１個前から（ｎ−１）個前の人数計測結果の合計ｎ個分のデータで、移動平均を計算する。（Ｓ２５）
（６）移動平均の計算結果を、人数計測結果の合計の表示用データとする。（Ｓ２６）
以上の処理によって合計の安定化処理は終了する。
即ち、合計の人数計測結果は、安定化処理を施した計測領域毎の人数計測結果の和を求めた後、１個前から（ｎ−１）個前の人数計測結果の合計を用いて移動平均をとり、結果を表示する。

人数計測結果の表示方法。
人数計測結果の表示方法について、図面を参照しながら説明する。

人数計測結果は図２２に示すように、各計測領域の小計を、計測領域の位置に対応した場所に表示する。
全ての計測領域の合計は、小計よりも大きい文字で表示し、見易くする（図２２，２３参照）
また、図２２に示すように、各計測領域の小計は、色分けした計測領域と同色で表示し、見易くする。

行列の人数計測システムおよび人数計測方法を示すブロック図。 矢印により、視点を示す図。Ａから見たときのカメラ配置を図３〜９に示し、Ｂから見たときの計測領域を図１１，１２，１５〜１９に示す。 複数のカメラで長い列を分割し、撮影する状態を示す説明図。 １つのカメラで複数列を撮影する状態を示す説明図。 特定の列の真上に鉛直にカメラを配置した例。 全ての列の真上からずらして鉛直にカメラを配置した例。 特定の列の真上に、傾けてカメラを配置した例。 全ての列の真上からずらし、傾けてカメラを配置した例。 天井の鏡に反射した像を撮影するように、カメラを配置した例。 人数計測方法を示すフローチャート。 計測領域の射影。 計測領域毎に色付し、グループ化する方法。 カーソルによる計測領域の設定方法。 カーソルによる計測領域の削除方法。 人物全体を覆うように計測領域を設定する方法。 人物の特定部分に計測領域を設定する方法。 人物の特定部分を除いて計測領域を設定する方法。 台形状に計測領域を設定する方法。 特定の色の着衣の移動（軌跡）から、計測領域を設定する方法。 計測領域毎の安定化処理のフローチャート。 人数計測結果の合計の安定化処理を示すフローチャート。 人数計測結果の表示例。 フォントの違いによる認識度比較例。

符号の説明

１,１_１,１_２，１_３，１_４，１_５，１_６，１_７，１_８，１_９ カメラ
２ Ａ／Ｄ変換部
３ 映像メモリ
４ 指定色検出部
５_１ グラフィック・メモリＡ
５_２ グラフィック・メモリＢ
６ 映像合成部
７ Ｄ／Ａ変換部
８ モニタ
９ 統括制御部
１０ プログラム・メモリ
１１ 不揮発性メモリ
１２ 操作部
１３ 表示部
１４ 領域データ
１５，１５_１，１５_２，１５_３，１５_４，１５_５，１５_６，１５_７ 人
１６ 鏡
１７ 天井
１８，１８_１，１８_２，１８_３ 列
１９,１９_１,１９_２，１９_３，１９_４，１９_５，１９_６ 計測領域
２０ 射影の山
２１ カーソルＡ
２２ カーソルＢ
２３ カーソルによる計測領域
２４ 台形状の計測領域
２５_１,２５_２，２５_３，２５_４ 実映像
２６_１,２６_２，２６_３，２６_４ 色検出
２７_１,２７_２，２７_３，２７_４，２７_５ 計測領域データ
３０ 人数計測部
３１ 各計測領域の人物検出結果
３２ 各計測領域
３４ 各計測領域の小計
３５ 各計測領域の合計
３６ 入力画像
３７ 背景メモリ
３８ 差分画像生成部
３９ しきい値処理部
４０ 表示部
５０ 計測領域設定部
５１ 射影計算部
５２ 射影平滑部
５３ 人数計測部
５４ 計測領域毎の安定化処理部
５５ 合計の安定化処理部
５６ 安定化処理部
５７ 人数データ
５８ しきい値
６０ 統括制御部

Claims (24)

1. 行列の上方に設置したカメラによる映像信号を入力してＡ／Ｄ変換するＡ／Ｄ変換部と、
   Ａ／Ｄ変換部からの映像信号を入力する映像メモリと映像合成部より成る表示部と、
   前記映像信号を入力する指定色検出部とグラフィック・メモリＢより成る計測領域設定部と、
   前記映像信号を入力する背景メモリおよび差分画像生成部と、しきい値処理部と、射影計算部と、射影平滑部と、人数計測部と、グラフィック・メモリＡより成る人数計測部と、
   前記Ａ／Ｄ変換部からの同期信号を入力して、人数データを格納したプログラム・メモリと、領域データとしきい値を格納した不揮発性メモリと、操作部および表示部とを統括制御する統括制御部と、
   計測領域毎の安定化処理部と合計の安定化処理部より成る安定化処理部と、
   前記表示部の映像メモリからの映像信号、前記人数計測部のグラフィック・メモリＡからのグラフィック・データＡおよび計測領域設定部のグラフィック・メモリＢからのグラフィック・データＢを入力して、映像合成する映像合成部からの合成映像をＤ／Ａ変換部を介してアナログ変換して表示するモニタとによって人数計測システムを構成し、
   カメラによる広域撮影手段と、計測領域を設定する計測領域設定手段と、計測領域毎の人数を計測する人数計測手段と、人数計測結果の安定化処理を行う安定化処理手段と、
   モニタに前記合成映像に検出した人間の位置を表示させて計測領域内の人数を表示させる表示手段とによって人数計測方法を構成したことを特徴とする行列の人数計測システムおよび人数計測方法。
2. 上方からの１つの広域撮影手段で複数の列をまとめて撮影し、画像処理により列毎の人数をカウントし、列毎またはその合計を表示または記録、または出力することを特徴とする請求項１に記載の行列の人数計測システムおよび人数計測方法。
3. 前記広域撮影手段を複数用い、長い列を分割撮影し、画像処理により列毎の人数をカウントし、列毎の小計または合計を表示または記録、または出力することを特徴とする請求項１または２に記載の行列の人数計測システムおよび人数計測方法。
4. 上方からの広域撮影手段を特定の列の真上に配置し、鉛直方向に撮影することを特徴とする請求項１乃至３のいずれか１項に記載の行列の人数計測システムおよび人数計測方法。
5. 上方からの広域撮影手段を全ての列の真上からずらして配置し、鉛直方向に撮影することを特徴とする請求項１乃至３のいずれか１項に記載の行列の人数計測システムおよび人数計測方法。
6. 上方からの広域撮影手段を特定の列の真上に配置し、斜めに撮影することを特徴とする請求項１乃至３のいずれか１項に記載の行列の人数計測システムおよび人数計測方法。
7. 上方からの広域撮影手段を全ての列の真上からずらして配置し、斜めに撮影することを特徴とする請求項１乃至３のいずれか１項に記載の行列の人数計測システムおよび人数計測方法。
8. 上方からの広域撮影手段により撮影した映像上に、列毎に計測領域を設定する手段および記録する手段を加え、計測領域を繰り返し使用することを特徴とする請求項１乃至７のいずれか１項に記載の行列の人数計測システムおよび人数計測方法。
9. 請求項８に記載の計測領域の設定方法において、人物全体を含む計測領域を設定することを特徴とする人数計測方法。
10. 請求項８の計測領域の設定方法において、人物の全体ではなく、特定の部分を含む計測領域を設定することを特徴とする人数計測方法。
11. 請求項８の計測領域の設定方法において、人物の全体ではなく、特定の部分を除いて計測領域を設定することを特徴とする人数計測方法。
12. 請求項９乃至１１のいずれか１項の計測領域の設定方法において、映像表示手段と映像上の座標指定手段とにより、矩形もしくは多角形もしくは曲線図形を合成する手段を持ち、目視により映像上に計測領域を設定することを特徴とする人数計測方法。
13. 請求項９乃至１１のいずれか１項の計測領域の設定方法において、着衣の全体あるいは一部が特定の色の人物が広域撮影手段内を移動し、広域撮影手段により撮影し、画像処理によって特定の色を検出し、その軌跡を抽出して、計測領域とすることを特徴とする人数計測方法。
14. 請求項１３において設定した計測領域に幅を持たせるため、広域撮影手段内の移動を繰り返し、計測領域に軌跡をＯＲ合成することを特徴とする人数計測方法。
15. 請求項１３または１４において設定した計測領域から不要な部分を除くため、着衣の全体あるいは一部が特定の色の人物が不要な計測領域上の移動を繰り返し、計測領域から軌跡と重なる部分を削除することを特徴とする人数計測方法。
16. 請求項２または３において、誤認を予防するため、列毎の小計に対して合計を大きな文字で表示することを特徴とする人数計測方法。
17. 請求項２または３において、列毎の人数カウントは非同期で、合計表示が慌しく変化して見にくくなることを防ぐため、列毎の人数計測の安定化と合計の人数計測の安定化を組み合わせた処理を加えたことを特徴とする人数計測方法。
18. 請求項８の計測領域において、確認のために映像上に計測領域の合成表示手段を持ち、列毎に色を対応させて計測領域を合成表示することを特徴とする人数計測方法。
19. 請求項８の計測領域において、列に対して複数領域を対応させることを特徴とする人数計測方法。
20. 画像処理過程の確認のため、人物の検出結果を映像に対応させて合成表示する手段を持ち、請求項１８に記載の列毎に対応させて色を統一的に用いて検出結果を表示することを特徴とする人数計測方法。
21. 請求項２０に加えて、人物の検出結果を列状に表示し、その端に人数の小計を表示することを特徴とする人数計測方法。
22. 請求項２１に加えて、小計を請求項１９で列毎に対応させた色で統一的に表示することを特徴とする人数計測方法。
23. 請求項８に記載の計測領域において、計測領域毎に感度を設定するため、２値化の閾値を計測領域毎に設定する手段および記憶する手段を加え、この閾値を繰り返し使用するようにしたことを特徴とする人数計測方法。
24. 請求項１〜３、請求項８〜１５、請求項１８〜１９、および請求項２３において、
    上方からの広域撮影手段として、天井に人物像を反射する鏡を配置して光路を折り返し、低い天井でも長い光路長を得る撮影方法を設けたことを特徴とする人数計測方法。

Images