JP2014232495A - 客層分析装置、客層分析システムおよび客層分析方法 - Google Patents

客層分析装置、客層分析システムおよび客層分析方法 Download PDF

Info

Publication number
JP2014232495A
JP2014232495A JP2013114096A JP2013114096A JP2014232495A JP 2014232495 A JP2014232495 A JP 2014232495A JP 2013114096 A JP2013114096 A JP 2013114096A JP 2013114096 A JP2013114096 A JP 2013114096A JP 2014232495 A JP2014232495 A JP 2014232495A
Authority
JP
Japan
Prior art keywords
customer
person
determination
analysis
store
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013114096A
Other languages
English (en)
Other versions
JP5438859B1 (ja
Inventor
勇一郎 竹本
Yuichiro Takemoto
勇一郎 竹本
邦雄 平川
Kunio Hirakawa
邦雄 平川
嘉修 宇野
Kashu Uno
嘉修 宇野
裕一 中畑
Yuichi Nakahata
裕一 中畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013114096A priority Critical patent/JP5438859B1/ja
Application granted granted Critical
Publication of JP5438859B1 publication Critical patent/JP5438859B1/ja
Priority to US14/284,580 priority patent/US20140358639A1/en
Priority to EP20140170152 priority patent/EP2808838A1/en
Priority to CN201410238845.4A priority patent/CN104217348A/zh
Publication of JP2014232495A publication Critical patent/JP2014232495A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

【課題】店員が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けて、店舗に来店した顧客の客層に関する分析を精度よく行うことができるようにする。
【解決手段】店舗内に設定された撮像領域に出現した人物の客層を判定する客層判定部５２と、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング部３５と、このフィルタリング手段により絞り込まれた人物を対象にして客層判定手段により取得した顧客ごとの客層情報を集計する集計部３６と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えたものとする。
【選択図】図７

Description

本発明は、店舗に来店した顧客の客層に関する分析を行う客層分析装置、客層分析システムおよび客層分析方法に関するものである。
店舗には、ファミリーレストランなどの飲食店や、コンビニエンスストアなどの小売店などの種々の業務形態があるが、いずれの業務形態でも、客層（性別および年齢など）に応じて嗜好するメニューや商品が異なるため、店舗に来店した顧客の客層に関する分析に基づいて、提供するメニューや商品の品揃えに関する改善策を考えることが、顧客満足度の向上を図り、店舗の売上を伸ばす上で有益である。
このような要望に対して、従来、コンビニエンスストアなどの小売店において、画像認識技術を用いて顧客の客層を判定して、その客層を個々の商品の販売情報に１対１で関連付けた客層付販売情報を生成する技術が知られている（特許文献１参照）。この技術では、顧客の客層を店員に判断させて入力させる手法に比べて、店員の負担を軽減するとともに、店員による判断のばらつきを避けることができる。
さて、前記従来の技術のように、コンビニエンスストアなどの小売店では、レジカウンタで顧客が一人ずつ店員に対面して精算が行われ、客層判定のための撮像は、レジカウンタの前で静止した状態で精算を行う顧客を対象としているため、客層判定で精度よく客層を取得することができ、客層別人数に大きな誤差は発生しない。一方、ファミリーレストランなどの飲食店では、顧客がグループで来店した場合には顧客の一部が精算を行うため、精算時の客層判定では、精算を行わない顧客が客層判定から外れるため、顧客の客層を十分な精度で取得することができない。
このような問題に対して、客層判定における顧客の漏れを避けるため、店舗の出入口から入店する顧客を対象にして客層判定を行うことが考えられるが、ファミリーレストランなどの飲食店では、出入口の付近を店員が行き来する場合があり、また、既に客席に案内された顧客が出入口の付近を通過したり、精算を行う顧客が出入口の付近に滞在したりする場合があり、このような場合には、店員や客層判定から除外すべき顧客が客層判定の対象に含まれるため、顧客の客層に関する分析を精度よく行うことができなくなる。
そこで、客層判定の対象から排除すべき人物を識別することが必要となるが、このような要望に関連するものとして、従来、特定のエリアに所定時間以上静止した状態でいる人物を店員と判定して、店員と顧客とを区別する技術が知られている（特許文献２参照）。また、人物の顔の特徴量を抽出して、その特徴量を比較照合することで、同一の人物を重複して計数することを避ける技術が知られている（特許文献３参照）。また、複数の撮像手段の視差を利用して重なり合った人物を判別して、通過人数を精度よく取得する技術が知られている（特許文献４参照）。また、撮像画像中で出現および消失した人物をその位置に応じて同一の人物か異なる人物かを判断して、同一人物の重複計数や異なる人物の計数漏れを避ける技術が知られている（特許文献５参照）。
特開２０１０−０５５２４８号公報 特開２０１１−０８６０４５号公報 特開２００５−２３４９４７号公報 特開平１０−０４９７１８号公報 特開２００８−０３５０９５号公報
しかしながら、ファミリーレストランなどの飲食店では、顧客や店員が入り交じって店舗内を移動するため、前記従来の技術を適用するにしても、店舗内を移動する人物を広範囲にわたって追跡する必要があることから、処理が極めて煩雑になるという問題があり、また、前記のように、店舗の出入口の付近のエリアに限定しても、出入口の付近を店員が行き来したり、既に客席に案内された顧客が出入口の付近を通過したり、精算を行う顧客が出入口の付近に滞在したりする場合があり、このような場合に、前記従来の技術では、店員や対象から除外すべき顧客を精度よく識別する要望に十分に答えることができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、店員が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けて、店舗に来店した顧客の客層に関する分析を精度よく行うことができるように構成された客層分析装置、客層分析システムおよび客層分析方法を提供することにある。
本発明の客層分析装置は、店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、前記店舗内に設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
また、本発明の客層分析システムは、店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、顧客を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記店舗内に設定された前記撮像装置の撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
また、本発明の客層分析方法は、店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、前記店舗内に設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するステップと、このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。
本発明によれば、フィルタリング手段により分析対象とならない人物が排除されるため、店員などの顧客以外の人物が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けることができる。これにより、顧客の客層に関する分析を精度よく行うことができ、顧客満足度や売上および利益の向上を図る改善策を考える上で有益な情報を提供することができる。
本実施形態に係る客層分析システムの全体構成図 店舗のレイアウトの一例を示す平面図 分析対象となる顧客の移動経路を説明する平面図 カメラ１で撮像された画像を示す説明図 店舗に設置されたＰＣ３の概略構成を示す機能ブロック図 客層傾向情報を表示する分析結果画面の一例を示す説明図 画像解析部３３およびフィルタリング部３５の概略構成を示す機能ブロック図 画像解析部３３から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図 個人行動判定部５６から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図 分析対象となる顧客の行動形態について説明する説明図 分析対象とならない人物の行動形態について説明する説明図 分析対象とならない人物の行動形態について説明する説明図 滞留判定を行うために撮像領域に設定される判定エリアの一例を示す説明図 移動経路判定を行うために撮像領域に設定される判定ラインの一例を示す説明図 判定ラインによる移動経路判定の判定結果の一例を示す説明図 進入位置および退出位置の推定処理の要領を説明する説明図 グループ分け部６３で行われるグループ分け処理の要領を説明する説明図 出入口付近から客席に向かう人物の移動状況を説明する説明図 グループ先頭判定部６５で行われるフレームアウト時刻推定処理の概要を説明する説明図
前記課題を解決するためになされた第１の発明は、店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、前記店舗内に設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
これによると、フィルタリング手段により分析対象とならない人物が排除されるため、店員などの顧客以外の人物が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けることができる。これにより、顧客の客層に関する分析を精度よく行うことができ、顧客満足度や売上および利益の向上を図る改善策を考える上で有益な情報を提供することができる。
また、第２の発明は、前記撮像領域は、店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定され、前記分析対象となる顧客の行動形態は、客席に向かって移動する行動である構成とする。
これによると、店舗の出入口の近傍の案内待ちエリアから客席に向かって移動する行動は、店舗に入店した顧客が必ず１回だけ行う行動であり、この行動と異なる行動をとる人物を検出してその人物を分析対象が排除することで、店員などの顧客以外の人物が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けることができる。
また、第３の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物が滞留状態にあるか否かの滞留判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
これによると、滞留状態にある人物は、案内待ちエリアで客席案内待ちの状態にある顧客、または精算などのためにレジカウンタの近傍で待機する顧客である可能性が高いため、この滞留状態にある人物を分析対象外の人物と判定することにより、顧客が重複して分析対象に含まれることを避けることができる。
また、第４の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路が、前記分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
これによると、撮像領域に出現した人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と異なる場合には、顧客以外の人物または分析対象とならない顧客である可能性が高いため、この異なる移動経路で移動する人物を分析対象外の人物と判定することにより、顧客以外の人物または分析対象とならない顧客が分析対象に含まれることを避けることができる。
また、第５の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、グループが１人の人物のみで構成されているか否かの１人グループ判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
これによると、グループを１人で構成する人物、すなわち単独で移動する人物は、店員に先導されて客席に向かう顧客でない可能性が高いため、この単独で移動する人物を分析対象外の人物と判定することにより、顧客以外の人物または分析対象とならない顧客が分析対象に含まれることを避けることができる。
また、第６の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、複数の人物で構成されるグループについて、グループ内で最初に前記撮像領域から退出する人物であるか否かのグループ先頭判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
これによると、グループ内で最初に撮像領域から退出する人物は、グループの先頭に立って顧客を客席に案内する店員である可能性が高いため、この人物を分析対象外の人物と判定することにより、店員が分析対象に含まれることを避けることができる。
また、第７の発明は、前記フィルタリング手段は、前記撮像領域内に設定された判定エリアからの退出の有無に基づいて、前記滞留判定を行う構成とする。
これによると、撮像領域の状況に応じて、撮像領域内に人物の滞留状態を判定する判定エリアを設定することで、分析対象とならない顧客を精度よく分析対象から排除することができる。
また、第８の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路と、前記撮像領域の外縁に設定された判定ラインとの交差状態に基づいて、前記移動経路判定を行う構成とする。
これによると、移動経路判定において、人物の移動経路と判定ラインとの交差状態をみるだけで済むため、移動経路判定を簡単に行うことができ、しかも、十分な精度を確保することができる。
また、第９の発明は、前記フィルタリング手段は、前記撮像領域へ進入した直後の移動方向を求めて、その移動方向に基づいて前記撮像領域への進入位置を推定するとともに、前記撮像領域から退出する直前の移動方向を求めて、その移動方向に基づいて前記撮像領域からの退出位置を推定し、これにより得られた進入位置および退出位置が前記判定ライン上に存在するか否かの判定を行うことにより、前記移動経路判定を行う構成とする。
これによると、移動経路判定において、撮像領域に対する進入位置および退出位置を推定して、その進入位置および退出位置が判定ライン上に存在するか否かを判定するだけで済むため、移動経路判定をより一層簡単に行うことができ、しかも、十分な精度を確保することができる。
また、第１０の発明は、前記フィルタリング手段は、前記撮像領域で順次検出された人物の検出時刻の間隔に基づいてグループ分けを行う構成とする。
これによると、人物のグループ分けを簡単に且つ十分な精度で行うことができる。この場合、撮像領域で続けて検出された２人の人物の検出時刻の間隔を所定のしきい値と比較して、検出時刻の間隔がしきい値より大きい場合にはその２人の人物を別グループと判断するようにすればよい。
また、第１１の発明は、前記フィルタリング手段は、前記撮像領域から退出する直前の移動量を求め、その移動量に基づいて前記撮像領域から退出した時刻を推定する構成とする。
これによると、撮像領域から退出した時刻を簡単に且つ十分な精度で推定することができる。この場合、撮像領域で最後に検出された位置とその直前に検出された位置とに基づいて単位時間あたりの移動量を求め、その単位時間あたりの移動量に基づいて撮像領域から退出した時刻を推定するようにすればよい。
また、第１２の発明は、前記出力情報生成部は、前記出力情報として、時系列で取得した所定期間単位の客層別人数に基づいて客層別人数の変動傾向に関する客層傾向情報を生成する構成とする。
これによると、時間帯に応じて客層がどのように変動したかをユーザが把握することができる。これにより、客層の変動に合うように店舗側の態勢を整えることで、顧客満足度や売上および利益の向上を図ることができる。
また、第１３の発明は、前記客層傾向情報は、日ごとの店舗営業時間内における前記所定時間単位の顧客の総人数に占める客層別人数を表したものである構成とする。
これによると、顧客の総人数とその内訳である客層別人数の所定時間ごとの変動状況をユーザが把握することができる。
また、第１４の発明は、前記客層情報は、性別および年齢のいずれか１つを含む構成とする。
これによると、性別および年齢のいずれか１つまたは双方で区分された客層に基づいて客層分析を精度よく行うことができる。
また、第１５の発明は、店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、顧客を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記店舗内に設定された前記撮像装置の撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
これによると、前記の第１の発明と同様に、顧客の客層に関する分析を精度よく行うことができる。
また、第１６の発明は、店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、前記店舗内に設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するステップと、このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。
これによると、前記の第１の発明と同様に、顧客の客層に関する分析を精度よく行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係る客層分析システムの全体構成図である。この客層分析システムは、ファミリーレストランなどの飲食チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ（撮像装置）１、レコーダ（画像記録装置）２、ＰＣ（客層分析装置、閲覧装置）３、ＰＯＳワークステーション（販売情報管理装置）４、ハンディターミナル（注文入力装置）５、およびプリンタ６と、複数の店舗を総括する本部に設けられたＰＣ（閲覧装置）７、およびＰＯＳサーバ（販売情報管理装置）８と、を備えている。
店舗では、カメラ１、レコーダ２、ＰＣ３、ＰＯＳワークステーション４、およびプリンタ６や、ハンディターミナル５の通信を中継する無線中継器１１、およびＩＰネットワークに接続するためのルータ１２などがＬＡＮ接続されている。ＰＣ３およびＰＯＳワークステーション４にはそれぞれディスプレイ（表示装置）１３，１４が接続されている。本部では、ＰＣ７およびＰＯＳサーバ８や、ＩＰネットワークに接続するためのルータ１６などがＬＡＮ接続されている。ＰＣ７およびＰＯＳサーバ８にはそれぞれディスプレイ（表示装置）１７，１８が接続されている。
店舗に設けられたカメラ１、レコーダ２、およびＰＣ３と、本部に設けられたＰＣ７とは、店舗内を監視する監視システムを構成している。カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた画像情報がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ７では、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
店舗に設けられたハンディターミナル５、無線中継器１１およびプリンタ６は、顧客の注文を受け付けるオーダーエントリーシステムを構成している。ハンディターミナル５は、店員が携帯し、店員が顧客から注文を受けてその注文内容（注文メニュー、注文個数）をハンディターミナル５に入力する。プリンタ６は厨房に設置され、店員がハンディターミナル５で注文内容を入力すると、その注文内容がプリンタ６から出力され、これにより注文内容が調理員に伝達される。
店舗に設置されたＰＯＳワークステーション４およびオーダーエントリーシステムと、本部に設けられたＰＯＳサーバ８とは、各店舗での売り上げに関する販売情報を管理するＰＯＳ（point of sale）システムを構成している。このＰＯＳシステムでは、販売情報として、注文内容、注文時刻、精算時刻、注文方法、注文人数などの情報が管理される。この販売情報は、ＰＯＳワークステーション４とＰＯＳサーバ８とで共有され、ＰＯＳワークステーション４では、設置された店舗の販売情報が管理され、ＰＯＳサーバ８では、全ての店舗の販売情報が管理される。
オーダーエントリーシステムを構成するハンディターミナル５では、注文内容（注文メニュー、注文個数）の他に、テーブルに着席した顧客の人数や、テーブル番号（客席番号）などの注文情報が入力され、この注文情報がＰＯＳワークステーション４に送信される。ＰＯＳワークステーション４は、販売情報を管理する他に、精算を行うレジスタ機能を併有し、レジカウンタに設置されており、このＰＯＳワークステーション４には、図示しないキャッシュドロアやレシートプリンタが接続される。ＰＯＳワークステーション４では、ハンディターミナル５から取得した注文情報や、精算時に取得した精算情報に基づいて販売情報が生成される。
店舗に設置されたＰＣ３は、店舗に来店した顧客の客層に関する分析を行う客層分析装置として構成される。また、この店舗に設置されたＰＣ３で生成した分析結果情報は、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ７に送信されて、このＰＣ７でも閲覧することができ、ＰＣ３，７が分析結果情報を閲覧する閲覧装置として構成される。
図２は、店舗のレイアウトの一例を示す平面図である。店舗には、出入口、案内待ちエリア、レジカウンタ、客席となるテーブル、サラダバー、ドリンクバー、および厨房が設けられている。サラダバーおよびドリンクバーは、飲食物を顧客自らが選び取って配膳するセルフサービス方式でサラダやドリンクなどを顧客に提供するものである。また、店舗内には複数のカメラ１が適所に設置されており、特に図２に示す例では、出入口、客席、サラダバー、および厨房を撮像するようにカメラ１が設置されている。
図３は、分析対象となる顧客の移動経路を説明する平面図である。店舗の出入口から入店した顧客は、矢印Ａで示すように進んで、案内待ちエリアに入り、客席が満席であれば、シートに着席するなどして、この案内待ちエリアで客席案内待ちの状態となる。客席が空くと、店員に案内されて、矢印Ｂで示すように移動し、その後、顧客は矢印Ｃで示すように真っ直ぐに進み、また、案内される客席の位置によっては、矢印Ｄで示すように曲がって進む。
本実施形態では、案内待ちエリアの周辺を客席側から撮像するカメラ１が設置されており、矢印Ｂで示すように、案内待ちエリアから客席に向かう移動の途中にある顧客の顔が正面からカメラ１により撮像され、この案内待ちエリアから客席に向かう顧客を分析対象として選出する。
図４は、図３に示したカメラ１で撮像された画像を示す説明図である。カメラ１による撮像領域の中心部には、案内待ちエリアのシートがあり、このシートの右側手前には、商品を陳列するショーケースの一部があり、左側にはレジカウンタの一部がある。図３の矢印Ａで示すように、店舗の出入口から顧客が入店すると、その顧客は、撮像領域の左側から撮像領域内に進入する。また、図３の矢印Ｂで示すように、案内待ちエリアから客席に向かって顧客が移動すると、その顧客は撮像領域内を下向きに移動して撮像領域から退出する。
次に、図１に示した店舗に設置されたＰＣ３（客層分析装置）について説明する。図５は、店舗に設置されたＰＣ３の概略構成を示す機能ブロック図である。
ＰＣ３は、監視部３１と、客層分析部３２と、を備えている。監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の画像を閲覧することができるようになっている。客層分析部３２は、店舗に来店した顧客の客層に関する分析を行うものである。
なお、監視部３１および客層分析部３２は、ＰＣ３のＣＰＵで監視用および客層分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供することも可能である。
次に、店舗に設置されたＰＣ３の客層分析部３２で行われる客層傾向取得処理について説明する。この客層傾向取得処理は、時間帯（所定期間）ごとの客層別人数の変動傾向に関する客層傾向情報を取得するものである。
図６は、客層傾向情報を表示する分析結果画面の一例を示す説明図である。この分析結果画面は、店舗および本部に設置されたＰＣ３，７のディスプレイ１３，１７に表示されるものであり、この分析結果画面には、客層傾向情報として、指定された日付の店舗営業時間（１０時〜０時）内における各時間帯の顧客の総人数に占める客層別人数が積み上げ棒グラフで表示されている。この分析結果画面により、顧客の総人数とその内訳である客層別人数の時間帯ごとの変動状況をユーザが把握することができる。
また、この分析結果画面には、日付を指定する操作部７１が表示されており、この操作部７１を操作することで日付を変更することができ、これにより異なる日付の分析結果を確認することができる。なお、本部に設置されたＰＣ７のディスプレイ１７に表示させる場合には、店舗を選択する操作部を分析結果画面に表示させるようにするとよい。
この分析結果画面は、ＰＣ３の客層分析部３２で行われる客層傾向取得処理により生成され、この客層傾向取得処理に関するものとして、図５に示したように、客層分析部３２は、画像解析部３３と、画像解析情報蓄積部３４と、フィルタリング部３５と、集計部３６と、出力情報生成部３７と、を備えている。
画像解析部３３は、フレーム（撮像画像）から人物を検出して、その撮像領域に出現した人物の客層（性別および年齢）を判定するものである。この画像解析部３３で得られた画像解析情報（ログデータ）が画像解析情報蓄積部３４に蓄積される。フィルタリング部３５は、画像解析部３３で検出された人物のうち、分析対象とならない人物を所定の条件にしたがって検出してその人物を分析対象から排除するものである。
集計部３６は、フィルタリング部３５により選別された顧客を対象にして画像解析部３３により取得した人物ごとの客層情報を集計するものであり、特に本実施形態では、客層情報に含まれる顧客ごとの客層を集計単位となる時間帯（１時間）に分けて集計して、各時間帯（所定期間単位）の客層別人数を取得する。
出力情報生成部３７は、集計部３６の集計結果に基づいて分析結果となる出力情報を生成するものであり、特に本実施形態では、時系列で取得した各時間帯（所定期間単位）の客層別人数に基づいて、客層別人数の変動傾向に関する客層傾向情報（出力情報）を生成し、この客層傾向情報に基づく分析結果画面（図６参照）がＰＣ３，７のディスプレイ１３，１７に表示される。
なお、集計部３６で客層別人数を取得するには、フィルタリング部３５で特定された顧客に関する客層情報を、画像解析部３３で取得した人物ごとの客層情報の中から抽出して、その客層情報に基づいて時間帯ごとの客層別人数を集計すればよいが、ＰＯＳシステムの販売情報を利用するようにしてもよい。
すなわち、フィルタリング部３５で特定された顧客に関する客層情報に基づいて時間帯ごとの客層別比率を取得する。そして、ＰＯＳワークステーション４の販売情報蓄積部４１（図５参照）に蓄積された販売情報を取得して、その販売情報に基づいて時間帯ごとの顧客人数（顧客の総人数）を取得し、その時間帯ごとの顧客人数に、時間帯ごとの客層別比率を反映させる、すなわち各時間帯の顧客人数（合計人数）にその時間帯の客層別比率を乗じることで、時間帯ごとの客層別人数を取得するようにしてもよい。このようにすると、ＰＯＳシステムの販売情報は高い精度を有しているため、これを利用することで、客層別人数の精度をよく一層高めることができる。
次に、図５に示した画像解析部３３およびフィルタリング部３５について説明する。図７は、画像解析部３３およびフィルタリング部３５の概略構成を示す機能ブロック図である。
画像解析部３３は、フレーム（撮像画像）から人物を検出して、その撮像領域に出現した人物の客層を判定するものであり、人物検出部５１と、客層判定部５２と、を備えている。この画像解析部３３では、公知の画像認識技術（人物認識技術、人物追跡技術、顔認識技術、および性別年齢推定技術など）が利用される。
人物検出部５１では、公知の人物認識技術を利用して、カメラ１により撮像されたフレームから検出されたオブジェクトが人物か否かを識別し、また、公知の人物追跡技術を利用して、複数のフレームで移動する人物を追跡する処理が行われる。
客層判定部５２は、人物検出部５１で検出された人物の顔画像の領域を検出し、その顔画像に基づいて顧客の性別および年齢を推定する。顔検出処理では、公知の顔認識技術を利用して、人物検出部５１での人物検出結果に基づいて、複数のフレームから同一人物の顔画像を複数収集する処理が行われる。性別年齢推定処理では、公知の性別年齢推定技術を利用して、顔検出処理で収集された人物ごとの顔画像から客層（性別および年齢）を推定する処理が行われる。
図８は、図７に示した画像解析部３３から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図である。
画像解析部３３から出力されるログデータは、時系列で連続する複数のフレーム（撮像画像）で人物オブジェクトが検出される度に生成される追跡ＩＤデータで構成され、この追跡ＩＤデータには、追跡ＩＤ、人物計数ＩＤ、客層情報、タイムスタンプ（時刻情報）、および位置情報が格納されている。このログデータは、所定の形式（例えばＣＳＶ）のログファイルとして出力されて判定結果情報蓄積部５８に蓄積される。
追跡ＩＤは、フレーム（撮像画像）内で検出された人物オブジェクトに付与されるものである。人物の顔の特徴量に基づいて同一の人物と判断された場合には、同じ追跡ＩＤが付与される。人物計数ＩＤは、同一の追跡ＩＤが３回連続して検出された場合にその追跡ＩＤに割り当てられる。客層情報は、客層判定部での判定結果である年齢および性別と、過去に収集した同一の追跡ＩＤに関する追跡ＩＤデータの平均値を示すものである。タイムスタンプは、フレーム（撮像画像）の撮像時刻、すなわち人物が検出された時刻（年、月、日、時、分、秒、ミリ秒）を示すものである。位置情報は、フレーム（撮像画像）内に検出された顔画像枠の位置を示すものである。ここでは、顔画像枠（矩形領域）の中心のＸ座標値およびＹ座標値、ならびに顔画像枠の幅および高さが設定される。
次に、図７に示したフィルタリング部３５について説明する。
フィルタリング部３５は、画像解析部３３で検出された人物のうち、分析対象とならない人物を所定の条件にしたがって検出してその人物を分析対象から排除するものであり、行動形態判定部５４と、対象人物特定部５５と、を備えている。
行動形態判定部５４は、分析対象となる顧客の行動形態に基づく所定の判定条件にしたがって、撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定するものであり、個人行動判定部５６と、グループ行動判定部５７と、を備えている。個人行動判定部５６は、撮像領域に出現した人物１人ずつの行動形態を判定するものである。グループ行動判定部５７は、撮像領域に出現した人物をグループ分けして、各グループに含まれる人物の行動形態を判定するものである。
対象人物特定部５５は、行動形態判定部５４から出力されるログデータに基づいて、分析対象とならない人物を分析対象から排除する、すなわち分析対象となる人物を特定する処理が行われる。行動形態判定部５４から出力されるログデータには、行動形態判定部５４での判定結果に関する情報が格納されており、ユーザにより設定された条件にしたがって、このログデータに含まれる判定結果情報に基づいて分析対象とならない人物を検出する。
なお、行動形態判定部５４では、画像解析部３３で検出された人物を対象にして個人行動判定部５６およびグループ行動判定部５７で個人行動判定およびグループ行動判定を別々に行った上で、両者の判定結果に基づいて、対象人物特定部５５で分析対象となる人物を特定することも可能であるが、個人行動判定部５６の判定結果に基づいて分析対象外の人物を排除した上でグループ行動判定部５７でグループ行動判定を行う、すなわち、個人行動判定で分析対象の顧客と判定された人物を対象にしてグループ行動判定を行うようにするとよい。このようにすると、グループ行動判定の演算負担を軽減するとともにグループ行動判定の精度を高めることができる。
また、個人行動判定部５６およびグループ行動判定部５７での判定条件などを、初期設定でユーザにより変更することができるようにするとよい。
次に、図７に示した個人行動判定部５６について説明する。
個人行動判定部５６は、人物１人ずつの行動形態を判定するものであり、ここでは、店舗に入店した顧客が必ず１回だけ行う特定の行動に注目して、その行動を行う顧客を検出してその顧客を分析対象とすることで、同一の顧客を重複して分析対象とすることを避けることができ、また、店員を分析対象とすることを避けることができる。特に本実施形態では、図３に示したように、店舗の出入口付近、すなわち出入口の近傍の案内待ちエリアから客席に向かって移動する顧客を正面から撮像し、出入口付近から客席に向かう顧客を分析対象としており、個人行動判定部５６では、この出入口付近から客席に向かう顧客を検出する。
個人行動判定部５６は、滞留判定部６１と、移動経路判定部６２と、を備えている。滞留判定部６１では、撮像領域に出現した人物が滞留状態、すなわち同じ位置から殆ど動かない状態にあるか否かを判定する処理が行われる。移動経路判定部６２では、撮像領域に出現した人物の移動経路が分析対象となる顧客の場合に想定される移動経路と異なるか否かを判定する処理が行われる。
図９は、図７に示した個人行動判定部５６から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図である。
個人行動判定部５６から出力されるログデータの追跡ＩＤデータには、追跡ＩＤ、人物計数ＩＤ、客層情報、タイムスタンプ（時刻情報）、位置情報、発生エリア情報、および判定結果情報が格納されている。この追跡ＩＤデータでは、追跡ＩＤ、人物ＩＤ、客層情報、タイムスタンプ、および位置情報は、入力された追跡ＩＤデータの内容がそのまま出力され、個人行動判定部５６での判定結果である発生エリア情報、判定結果情報、および移動量情報が新たに格納される。この発生エリア情報、判定結果情報、および移動量情報にいては、後に詳しく説明する。このログデータは、所定の形式（例えばＣＳＶ）のログファイルとして出力されて判定結果情報蓄積部５９に蓄積される。
次に、図７に示した個人行動判定部５６で行われる処理について説明する。図１０は、分析対象となる顧客の行動形態について説明する説明図である。図１１および図１２は、分析対象とならない人物の行動形態について説明する説明図である。
本実施形態では、図３に示したように、店舗の出入口付近、すなわち出入口の近傍の案内待ちエリアから客席に向かって移動する顧客を正面から撮像し、この出入口付近から客席に向かう顧客を分析対象としており、この出入口付近から客席に向かう顧客は、図１０（Ａ）に示すように、撮像領域の中心部から撮像領域の下側の外縁に向かって移動する。また、その移動方向、すなわち撮像領域から退出する位置には多少の違いがあり、例えば、図１０（Ｂ）に示すように、撮像領域の下側の外縁の左寄りの位置から退出する場合もある。
一方、図１１（Ａ）に示すように、人物が撮像領域の上部の位置で殆ど動かない場合や、図１１（Ｂ）に示すように、人物が撮像領域の下部の位置で殆ど動かない場合は、出入口付近から客席に向かう顧客ではない。例えば、案内待ちエリアのシートに着席して客席案内待ちをしている顧客の場合、図１１（Ａ）に示す行動形態をとり、レジカウンタの前で精算待ちをしている顧客の場合、図１１（Ｂ）に示す行動形態をとる。このように同じ位置から殆ど動かない人物は、出入口付近から客席に向かう顧客、すなわち分析対象との顧客ではなく、本実施形態では、このような滞留状態にある人物を個人行動判定部５６の滞留判定部６１で検出する。
また、図１２（Ａ）に示すように、人物が撮像領域を真横に横切る場合や、図１２（Ｂ）に示すように、撮像領域の右側の外縁から撮像領域内に進入して撮像領域を斜めに横切る場合や、図１２（Ｃ）に示すように、撮像領域の右側の外縁から退出する場合は、出入口付近から客席に向かう顧客ではない。店内を移動する店員、例えば、配膳や片付けなどの業務で厨房と客席との間を行き来する店員の場合、図１２（Ａ）に示す行動形態をとる。また、客席に案内された後に店内を移動する顧客、例えば、サラダバーやトイレと客席との間を行き来する顧客の場合、図１２（Ｂ）に示す行動形態をとる。また、退店する顧客の場合、図１２（Ｃ）に示す行動形態をとる。いずれの場合も、図１０に示したように、分析対象となる顧客の場合に想定される移動経路と異なり、本実施形態では、このような分析対象となる顧客と異なる移動経路で移動する人物を個人行動判定部５６の移動経路判定部６２で検出する。
次に、図１に示した滞留判定部６１で行われる滞留判定について説明する。図１３は、滞留判定を行うために撮像領域に設定される判定エリアの一例を示す説明図である。
滞留判定部６１では、撮像領域に出現した人物が滞留状態、すなわち同じ位置から殆ど動かない状態にあるか否かの滞留判定を行うことにより、分析対象となる顧客か否かを判定する処理が行われ、特に本実施形態では、撮像領域に判定エリアを設定し、この判定エリアからの退出の有無に基づいて滞留判定を行う、すなわち、判定エリア内から移動しない人物を滞留状態にあるものと判定する。
具体的には、人物が１つの判定エリア内で新たに出現した後、同じ判定エリア内で消失した場合、すなわち、人物が検出された位置が全て同一の判定エリア内にある場合に、その人物は滞留状態にあるものと判定する。
図１３に示す例では、移動開始エリアが撮像領域の中心部に設定され、その上下に第１判定エリアと第２判定エリアとの２つが設定されている。
判定エリアは、滞留判定処理での演算処理の負荷を軽減するため、矩形をなす撮像画像の互いに直交する２辺に沿った座標軸（Ｘ軸およびＹ軸）に平行となる辺（境界線）で区画された多角形状をなしている。本実施形態では、辺数を最大で８とし、また、判定エリアの数を最大で２つ設定することができるものとする。なお、図１３に示す例では、撮像領域の画像のサイズを４ＶＧＡ（1280×960）としており、撮像領域の左上の端点が原点となる。
第１判定エリアは、案内待ちエリアで客席案内待ちのために滞留状態にある顧客を検出するものであり、図３に示したように、本実施形態では、出入口の近傍には案内待ちエリアがあり、この案内待ちエリアで客席案内待ちをしている顧客の顔の位置に対応するように第１判定エリアが設定されている。
第２判定エリアは、案内待ちエリアの手前側の位置で滞留状態にある顧客を検出するものであり、図３に示したように、本実施形態では、案内待ちエリアの手前側の左右にレジカウンタおよびショーケースがあり、レジカウンタの前で精算待ちをしている顧客や、ショーケースを見ている顧客の顔の位置に対応するように第２判定エリアが設定されている。このように本実施形態では、撮像領域の左右に顧客が滞留する場所があるため、第２判定エリアが凹形状をなしている。
なお、図１３に示した例では、撮像領域の上側の部分の全幅に渡るように第１判定エリアが設定されているが、図４に示した例では、撮像領域の上側の左寄りの部分に第１判定エリアが設定されており、判定エリアの設定範囲は、撮像領域およびその周辺の状況に応じてユーザが適宜に設定すればよい。
滞留判定部６１で行われる処理は、人物（追跡ＩＤ）ごとに行われ、その判定結果が、図９に示したように、ログデータの各追跡ＩＤデータの発生エリア情報（第１フラグ（Inarea1,x）および第２フラグ（Inarea2,x））および判定結果情報の第１フラグ（Flg a,x,y）に設定される。
発生エリア情報は、人物（追跡ＩＤ）が最初に出現した判定エリアに関するものである。第１フラグ（Inarea1,x）は、人物が最初に出現した位置が第１判定エリア内にあるか否かを表すものであり、人物が最初に出現した位置が第１判定エリア内にある場合にはｘ値が１となり、そうでない場合には０に設定される。第２フラグ（Inarea2,x）人物が最初に出現した位置が第２判定エリア内にあるか否かを表すものであり、人物が最初に出現した位置が第２判定エリア内にある場合にはｘ値が１となり、そうでない場合には０に設定される。
判定結果情報の第１フラグ（Flg a,x,y）は、滞留判定に関するものである。この第１フラグのｘ値は、滞留判定条件を満足するか否かを識別するものであり、滞留判定条件を満足する場合は１に設定され、そうでない場合は０に設定される。ｙ値は、滞留判定条件を満足した判定エリアを識別するものであり、滞留判定条件を満足した判定エリアに対応した値が設定される。ここでは、最大で２つの判定エリアを設定することができ、判定エリアに対応した１または２の値に設定される。また、滞留判定条件を満足しない場合は０となる。
このように本実施形態では、滞留状態にある人物は、案内待ちエリアで客席案内待ちの状態にある顧客、または精算などのためにレジカウンタの近傍で待機する顧客と判断することができ、これらの顧客を分析対象から排除することで、顧客が重複して分析対象に含まれることを避けることができる。
また、本実施形態では、撮像領域の状況に応じて、撮像領域内に人物の滞留状態を判定する判定エリアを設定するようにしたため、分析対象とならない顧客を精度よく検出することができる。
次に、図７に示した移動経路判定部６２で行われる移動経路判定について説明する。図１４は、移動経路判定を行うために撮像領域に設定される判定ラインの一例を示す説明図である。図１５は、判定ラインによる移動経路判定の判定結果の一例を示す説明図である。
移動経路判定部６２では、撮像領域に出現した人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、分析対象となる顧客か否かを判定する処理が行われ、特に本実施形態では、図１４に示すように、撮像領域の外縁に判定ラインを設定し、撮像領域に出現した人物の移動経路と判定ラインとの交差状態に基づいて、移動経路判定を行うようにしている。
また、本実施形態では、判定ラインが、撮像領域の下側の外縁および左右の外縁に設定されている。すなわち、矩形をなす撮像画像の４辺のうち、上辺を除く３辺に第１判定ライン、第２判定ラインおよび第３判定ラインが設定されている。
図１４に示す例では、左側の第１判定ラインが、撮像領域の左側の外縁における上寄りの中間位置（0,200）から下端位置（0,960）までの範囲に設定されている。右側の第２判定ラインは、撮像領域の右側の外縁の全体に設定されている。下側の第３判定ラインは、撮像領域の下側の外縁の全体に設定されている。
本実施形態では、図３に示したように、出入口付近から客席に向かう顧客を分析対象としており、図１０に示したように、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客は、撮像領域の中心部に設定された移動開始エリアから移動を開始して撮像領域の下側の外縁に設定された第３判定ラインを通って撮像領域外に退出する。
したがって、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客の場合、移動経路は必ず下側の第３判定ラインと交差し、左側の第１判定ラインや右側の第２判定ラインと交差しない。すなわち、出入口付近から客席に向かう顧客の場合、撮像領域外への退出位置が必ず下側の第３判定ライン上に存在し、退出位置が左側の第１判定ラインや右側の第２判定ライン上に存在することはない。
一方、配膳などの業務で店内を行き来する店員の場合、図１２（Ａ）に示したように、撮像領域を真横に横切ると、移動経路が左側の第１判定ラインと右側の第２判定ラインとに交差し、第１判定ライン上に進入位置が存在し、第２判定ライン上に退出位置が存在する。また、客席に案内された後に店内を移動する顧客の場合、図１２（Ｂ）に示したように、撮像領域を斜めに横切ると、移動経路が右側の第２判定ラインと下側の第３判定ラインとに交差し、第２判定ライン上に進入位置が存在し、下側の第３判定ライン上に退出位置が存在する。また、退店する顧客の場合、本実施形態では撮像領域の左側に出入り口があるため、図１２（Ｃ）に示したように、移動経路が左側の第１判定ラインと交差し、第１判定ライン上に退出位置が存在する。
このように、退出位置が第３判定ライン上にない場合には、出入口付近から客席に向かう顧客、すなわち分析対象となる顧客ではないと判定することができる。また、進入位置が第１〜第３の判定ライン上にある場合にも、出入口付近から客席に向かう顧客ではない、すなわち分析対象外の人物と判定することができる（図１５参照）。
なお、本実施形態では、移動経路判定を、フレームアウト時刻、すなわち撮像領域からの退出時刻から所定の対象期間（例えば２秒）以内で検出された人物を対象にして行うようにしており、進入位置が判定対象となるケースは、撮像領域に進入してから退出するまでの時間が対象期間を超えない場合、すなわち、撮像領域に進入してからすぐに退出する場合となる。一方、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客の場合、通常、出入口付近に滞在する時間が対象期間を超えるものと考えられるため、移動開始エリアから移動を開始する以前の行動、すなわち進入位置は判定対象から外れる。したがって、進入位置が判定される人物は分析対象となる顧客に該当しない。
このように、本実施形態では、判定ラインによる進入位置の判定は、分析対象外の人物を特定する機能を有するものの、分析対象となる顧客を特定する積極的な機能がない。しかしながら、撮像領域とその周辺の状況によっては、撮像領域の外縁に設定される判定ラインの範囲を工夫することで、判定ラインによる進入位置の判定が、分析対象となる顧客を特定する上で大きな意義を有する場合もある。
なお、第１〜第３の各判定ライン上のいずれに進入位置および退出位置があるかに応じて分析対象とするか否かを判定する際の判定条件は、撮像領域とその周辺の状況に応じて異なるため、ユーザが適宜に設定するようにするとよい。さらに、撮像領域の外縁に設定される判定ラインの範囲も、撮像領域とその周辺の状況に応じて異なり、ユーザが適宜に設定するようにするとよい。
次に、図７に示した移動経路判定部６２で行われる進入位置および退出位置の推定処理について説明する。図１６は、進入位置および退出位置の推定処理の要領を説明する説明図である。
移動経路判定部６２では、撮像領域へ進入した直後の移動方向を求めて、その移動方向に基づいて撮像領域への進入位置を推定するとともに、撮像領域から退出する直前の移動方向を求めて、その移動方向に基づいて撮像領域からの退出位置を推定し、これにより得られた進入位置および退出位置が判定ライン上に存在するか否かの判定を行うことにより、移動経路判定を行う。
図１６（Ａ）は、人物がフレームインする、すなわち撮像領域内に進入する際の進入位置に関するものであり、この進入位置は、人物が撮像領域内に新たに出現した位置、すなわち人物が撮像領域内で最初に検出された位置Ｐ０と、同じ人物が次に検出された位置Ｐ１とに基づいて推定される。具体的には、最初に検出された位置Ｐ０から次に検出された位置Ｐ１までの移動量Ｖを算出し、その移動量Ｖの方向と逆方向に延長した延長線と撮像領域の外縁との交点を求め、この交点を推定進入位置に設定する。
図１６（Ｂ）は、人物がフレームアウトする、すなわち撮像領域から退出する際の退出位置に関するものであり、この退出位置は、人物が撮像領域内で消失した位置、すなわち人物が撮像領域内で最後に検出された位置Ｐｎと、同じ人物がその直前に検出された位置Ｐｎ−１とに基づいて推定される。具体的には、直前に検出された位置Ｐｎ−１から最後に検出された位置Ｐｎまでの移動量Ｖを算出し、その移動量Ｖの方向と順方向に延長した延長線と撮像領域の外縁との交点を求め、この交点を推定退出位置に設定する。
この進入位置および退出位置の推定処理は、追跡ＩＤごとに行われ、その判定結果が、図９に示したように、ログデータの各追跡ＩＤデータの判定結果情報の第２フラグ（Flg b.x,y）、第３フラグ（Flg c.x,y）、および移動量情報（dV,xxxx.xx）に設定される。
第２フラグ（Flg b,x,y）は、進入位置判定に関するものであり、第３フラグ（Ｆｌｇ ｃ，ｘ，ｙ）は、退出位置判定に関するものである。この第２フラグおよび第３フラグにおけるｘ値は、条件を満足するか否かを識別するものであり、条件を満足する場合は１となり、条件を満足しない場合は０となる。ｙ値は、条件を満足した判定ラインを識別するものであり、条件を満足した判定ラインに対応した値が設定される。ここでは、最大で４つの判定ラインを設定することができ、判定ラインに対応した１から４までのいずれかの値に設定される。条件を満足しない場合は０となる。移動量情報（dV,xxxx.xx）は、移動量であり、人物計数ＩＤが付与されていない場合は、移動量の算出対象でないため、０となる。
このように本実施形態では、撮像領域に出現した人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、注目する人物が分析対象となる顧客か否かの判定を精度よく行うことができる。特に、本実施形態では、移動経路判定において、人物の移動経路と判定ラインとの交差状態をみるだけで済むため、移動経路判定を簡単に行うことができ、しかも、十分な精度を確保することができる。さらに、本実施形態では、移動経路判定において、撮像領域に対する進入位置および退出位置を推定して、その進入位置および退出位置が判定ライン上に存在するか否かを判定するだけで済むため、移動経路判定をより一層簡単に行うことができ、しかも、十分な精度を確保することができる。
また、本実施形態では、撮像領域を、店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定しており、撮像領域の下側の方向に客席があり、客席に向かう顧客は撮像領域の中心部から下向きに移動するため、撮像領域の下側の外縁に判定ラインを設定することで、客席に向かう顧客を識別することができる。また、顧客以外の人物である店員や、顧客のうちの分析対象とならない人物、例えば客席に案内された後に店舗内を移動する顧客は、撮像領域を左右に横切るように移動するため、撮像領域の左右の外縁に判定ラインを設定することで、顧客以外の人物および顧客のうちの分析対象とならない人物を識別することができる。
次に、図７に示したグループ行動判定部５７について説明する。
図７に示したように、グループ行動判定部５７は、撮像領域に出現した人物をグループ分けして、グループ内の人物の出現状況や行動形態に基づいて分析対象となる人物か否かを判定するものであり、グループ分け部６３と、１人グループ判定部６４と、グループ先頭判定部６５と、を備えている。
グループ分け部６３では、撮像領域に出現した人物をグループ分けする処理が行われる。１人グループ判定部６４では、グループ分け部６３で得られた各グループの構成人数に基づいて、１人のみで構成されるグループ、すなわち単独で移動する人物か否かを判定する処理が行われる。グループ先頭判定部６５では、グループが複数の人物で構成される場合に、グループ内で最初にフレームアウトする、すなわち撮像領域から退出する人物か否かを判定する処理が行われる。
なお、このグループ行動判定は、滞留判定および移動経路判定で分析対象外と判定された人物を予めグループ分けの対象から排除するようにするとよい。
次に、図７に示したグループ分け部６３で行われるグループ分け処理について説明する。図１７は、グループ分け部６３で行われるグループ分け処理の要領を説明する説明図である。ここで、グループ１とグループ３は構成人数が１人、グループ２が２人の場合を表している。また、HID,00000と記載される人物計数ＩＤは、同一の追跡ＩＤが３回連続して検出されるまでの未確定状態で付与される仮ＩＤである。
グループ分け部６３では、個人行動判定部５６から出力されるログデータに基づいて、人物（追跡ＩＤ）のグループ分けを行う。このグループ分けは、撮像領域で順次検出された人物の検出時刻の間隔に基づいて行う。すなわち、ログデータには、時系列で連続する複数のフレーム（撮像画像）で人物が検出される度に追跡ＩＤデータが生成され、この追跡ＩＤデータに含まれるタイムスタンプが人物の検出時刻を表しており、グループ分けでは、時系列で隣り合う２つの追跡ＩＤの検出時刻の間隔を算出し、その検出時刻の間隔を所定のしきい値と比較して、検出時刻の間隔がしきい値を超えない場合には２つの追跡ＩＤを同一のグループと判断し、検出時刻の間隔がしきい値を超えた場合には別のグループと判断する。
図１７に示す例では、しきい値を２．５秒としてグループ分けを行っている。また、グループ内に人物計数ＩＤが付与されていない追跡ＩＤしかない場合、すなわち、同一の追跡ＩＤが３回連続して検出されることなく、仮ＩＤ（HID,00000）のみで構成されるグループは対象外として以降の処理を行わない。
このように本実施形態では、人物の検出時刻の間隔に基づいてグループ分けを行うため、人物のグループ分けを簡単に且つ十分な精度で行うことができる。
次に、図７に示した１人グループ判定部６４およびグループ先頭判定部６５で行われる処理について説明する。図１８は、出入口付近から客席に向かう人物の移動状況を説明する説明図である。
図１８（Ａ）に示す例では、グループが１人の人物で構成され、１人の人物が単独で移動している。図１８（Ｂ），（Ｃ）に示す例では、グループが複数の人物で構成され、この複数の人物がまとまって移動している。
ここで、本実施形態では、出入口付近から客席に向かう顧客を分析対象としているが、このように出入口付近から顧客が客席に向かう場合、通常、店員に先導されて顧客が移動するため、人物をグループ分けすると、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客は必ず２人以上のグループを構成する。
そこで、本実施形態では、人物をグループ分けした場合に、図１８（Ａ）に示すように、グループが１人の人物で構成される、すなわち人物が単独で移動する場合には、１人グループ判定部６４において、その人物を分析対象外の人物と判定する。なお、人物計数ＩＤが付与されていない追跡ＩＤは対象外とするため、グループ内に複数の追跡ＩＤがあっても、グループ内に人物計数ＩＤを有する追跡ＩＤが１つしかない場合には、グループを１人で構成するものとする。
例えば、店員が店内を動き回る場合、通常、１人で移動する。また、客席案内待ちの顧客が店内の様子を覘く場合にも、１人で出入口付近を移動する。このような場合、人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と同じ状態となる場合があるが、人物が１人で移動するため、出入口付近から客席に向かう顧客、すなわち分析対象となる顧客ではないものと判断することができる。
また、出入口付近から顧客が客席に向かう場合、通常、店員に先導されて顧客が移動するため、人物をグループ分けすると、グループの先頭に立って移動して、グループ内で最初にフレームアウトする、すなわち撮像領域から退出する人物は、顧客を先導して客席に案内する店員と判断することができる。
そこで、本実施形態では、人物をグループ分けした場合に、図１８（Ｂ），（Ｃ）に示すように、グループが複数の人物で構成される場合には、グループ先頭判定部６５において、グループ内の人物の中から、最初にフレームアウトする、すなわち撮像領域から退出する人物を選出して、その人物を分析対象外の人物と判定する。このグループ先頭判定処理では、グループ内の各人物のフレームアウト時刻を推定して、各人物のフレームアウト時刻を比較して、最初にフレームアウトした人物を選出する。
このように本実施形態では、グループを１人で構成する人物、すなわち単独で移動する人物は、店員に先導されて客席に向かう顧客でない可能性が高いため、この単独で移動する人物を分析対象外の人物と判定することにより、顧客以外の人物または分析対象とならない顧客が分析対象に含まれることを避けることができる。
また、本実施形態では、グループ内で最初にフレームアウトする、すなわち撮像領域から退出する人物は、グループの先頭に立って顧客を客席に案内する店員である可能性が高いため、このグループ内で最初にフレームアウトする人物を分析対象外の人物と判定することにより、店員が分析対象に含まれることを避けることができる。
次に、図７に示したグループ先頭判定部６５で行われるフレームアウト時刻推定処理について説明する。図１９は、グループ先頭判定部６５で行われるフレームアウト時刻推定処理の概要を説明する説明図である。
フレームアウト時刻推定処理では、撮像領域から退出する直前の移動量を求め、その移動量に基づいてフレームアウト時刻、すなわち撮像領域から退出した時刻を推定する。特に本実施形態では、注目する人物が撮像領域で最後に検出された位置とその直前に検出された位置とに基づいて単位時間あたりの移動量を求め、その単位時間あたりの移動量と、最後に検出された位置および時刻とに基づいて、フレームアウト時刻を推定する。
図１９に示す例では、直前に検出された位置から最後に検出された位置までのＸ方向およびＹ方向の移動量（Vector x，Vector Y）を算出し、最後に検出された位置に移動量を繰り返し加算して、フレームアウト、すなわちＸ座標値およびＹ座標値のいずれかが撮像領域から外れるまでの移動量の加算回数Ｎを求め、この移動量の加算回数Ｎを、フレーム間隔（例えばフレームレートが5fpsであれば200msec）に乗じた時間を、最後に検出された時刻に加算することで、フレームアウト時刻を求める。
このように本実施形態では、撮像領域から退出する直前の移動量に基づいてフレームアウト時刻を推定するため、フレームアウト時刻、すなわち撮像領域から退出した時刻を簡単に且つ十分な精度で推定することができる。
なお、図１９に示す例では、撮像領域の画像のサイズを４ＶＧＡ（1280×960）としており、撮像領域内のＸ座標値の範囲は０〜１２８０、Ｙ座標値の範囲は０〜９６０となり、最後に検出された位置に移動量を繰り返し加算して得られたＸ座標値およびＹ座標値が、撮像領域内のＸ座標値およびＹ座標値の範囲から外れると、フレームアウトしたものと判断する。
なお、このフレームアウト時刻推定処理は、図１６に示した進入位置および退出位置の推定処理でまとめて行うようにしてもよい。
このようにしてグループ内の各人物のフレームアウト時刻を推定すると、各人物のフレームアウト時刻を比較して、最初にフレームアウトした人物を選出する。図１９に示す例では、人物Ａ、人物Ｃ、人物Ｂの順にフレームアウトしており、最初にフレームアウトした人物Ａを分析対象外の人物と判定する。
なお、フレームアウト時刻が複数の人物で等しくなった場合には、移動量が小さい人物を選出する。すなわち、顧客が店員に案内されて客席に向かう場合、通常、顧客が店員を追い越すことはなく、顧客は店員の後について同じ速度で移動するため、平均的な移動速度は基本的に同じグループ内の人物では同一と考えられる。このため、フレームアウトする直前の移動量が小さい人物の方が同じ速度で移動した場合には先にフレームアウトすると想定される。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る客層分析装置、客層分析システムおよび客層分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
すなわち、本実施形態では、ファミリーレストランなどの飲食店の例について説明したが、コンビニエンスストアなどの小売店など、飲食店以外の業務形態の店舗に適用することも可能である。
また、本実施形態では、図３に示したように、店舗に設けられたＰＣ３に客層分析処理の全てを行わせる例について説明したが、この客層分析処理の全てを、別の情報処理装置、例えば、図１に示したように、本部に設けられたＰＣ７や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、客層分析処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、客層分析処理を分担する複数の情報処理装置で客層分析システムが構成される。
この場合、店舗に設けられたＰＣ３に、少なくとも客層判定処理を行わせるようにするとよい。このように構成すると、客層判定処理で取得した客層情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ７に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ２１に、少なくとも客層判定処理を行わせるようにするとよい。このように構成すると、客層判定処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ２１に、客層分析処理の全部を行わせるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，７の他に、スマートフォン２２などの携帯型端末でも分析結果を閲覧することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で客層分析結果を閲覧することができる。
また、本実施形態では、店舗や本部に設置されたＰＣ３，７で客層分析結果を閲覧するようにしたが、客層分析結果の閲覧装置をＰＣ３，７とは別に設けることも可能であり、例えば、前記のようにスマートフォン２２を客層分析結果の閲覧装置とする他に、ＰＯＳワークステーション４に客層分析結果の閲覧装置としての機能を付加することも可能である。また、本実施形態では、客層分析結果を閲覧するため、ディスプレイ１３，１７に客層分析結果を画面表示させるようにしたが、客層分析結果をプリンタで出力することも可能である。
また、本実施形態では、客層を性別および年齢で区分したが、性別および年齢のいずれか一方のみで区分することも可能であり、さらに人種などで区分することも可能である。また、本実施形態では、年齢の区分を１０歳単位の年齢層としたが、これとは異なる幅で年齢層を設定することも可能である。
また、本実施形態では、集計単位となる期間を１時間単位の時間帯としているが、この集計単位となる期間はこれに限定されるものではなく、１時間〜数時間、１日〜数日、１週間〜数週間、１ヶ月〜数ヶ月など、ユーザの必要に応じて種々に設定することができる。
本発明にかかる客層分析装置、客層分析システムおよび客層分析方法は、店員が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けて、店舗に来店した顧客の客層に関する分析を精度よく行うことができる効果を有し、店舗に来店した顧客の客層に関する分析を行う客層分析装置、客層分析システムおよび客層分析方法などとして有用である。
１ カメラ（撮像装置）
２ レコーダ（画像記録装置）
３ ＰＣ（客層分析装置、閲覧装置）
７ ＰＣ（閲覧装置）
２１ クラウドコンピュータ
２２ スマートフォン
３１ 監視部
３２ 客層分析部
３３ 画像解析部
３４ 画像解析情報蓄積部
３５ フィルタリング部（フィルタリング手段）
３６ 集計部（集計手段）
３７ 出力情報生成部（出力情報生成手段）
５１ 人物検出部
５２ 客層判定部（客層判定手段）
５４ 行動形態判定部
５５ 対象人物特定部
５６ 個人行動判定部
５７ グループ行動判定部
６１ 滞留判定部
６２ 移動経路判定部
６３ グループ分け部
６４ １人グループ判定部
６５ グループ先頭判定部
本発明の客層分析装置は、店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
また、本発明の客層分析システムは、店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、顧客を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
また、本発明の客層分析方法は、店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するステップと、このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。
本発明によれば、店舗の出入口の近傍の案内待ちエリアから客席に向かって移動する行動は、店舗に入店した顧客が必ず１回だけ行う行動であり、この行動と異なる行動をとる人物をフィルタリング手段により検出してその人物を分析対象から排除することで、店員などの顧客以外の人物が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けることができる。これにより、顧客の客層に関する分析を精度よく行うことができ、顧客満足度や売上および利益の向上を図る改善策を考える上で有益な情報を提供することができる。
前記課題を解決するためになされた第１の発明は、店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
これによると、店舗の出入口の近傍の案内待ちエリアから客席に向かって移動する行動は、店舗に入店した顧客が必ず１回だけ行う行動であり、この行動と異なる行動をとる人物をフィルタリング手段により検出してその人物を分析対象から排除することで、店員などの顧客以外の人物が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けることができる。これにより、顧客の客層に関する分析を精度よく行うことができ、顧客満足度や売上および利益の向上を図る改善策を考える上で有益な情報を提供することができる。
また、第２の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物が滞留状態にあるか否かの滞留判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
また、第３の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路が、前記分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
また、第４の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、グループが１人の人物のみで構成されているか否かの１人グループ判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
また、第５の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、複数の人物で構成されるグループについて、グループ内で最初に前記撮像領域から退出する人物であるか否かのグループ先頭判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
また、第６の発明は、前記フィルタリング手段は、前記撮像領域内に設定された判定エリアからの退出の有無に基づいて、前記滞留判定を行う構成とする。
また、第７の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路と、前記撮像領域の外縁に設定された判定ラインとの交差状態に基づいて、前記移動経路判定を行う構成とする。
また、第８の発明は、前記フィルタリング手段は、前記撮像領域へ進入した直後の移動方向を求めて、その移動方向に基づいて前記撮像領域への進入位置を推定するとともに、前記撮像領域から退出する直前の移動方向を求めて、その移動方向に基づいて前記撮像領域からの退出位置を推定し、これにより得られた進入位置および退出位置が前記判定ライン上に存在するか否かの判定を行うことにより、前記移動経路判定を行う構成とする。
また、第９の発明は、前記フィルタリング手段は、前記撮像領域で順次検出された人物の検出時刻の間隔に基づいてグループ分けを行う構成とする。
また、第１０の発明は、前記フィルタリング手段は、前記撮像領域から退出する直前の移動量を求め、その移動量に基づいて前記撮像領域から退出した時刻を推定する構成とする。
また、第１１の発明は、前記出力情報生成部は、前記出力情報として、時系列で取得した所定期間単位の客層別人数に基づいて客層別人数の変動傾向に関する客層傾向情報を生成する構成とする。
また、第１２の発明は、前記客層傾向情報は、日ごとの店舗営業時間内における前記所定時間単位の顧客の総人数に占める客層別人数を表したものである構成とする。
また、第１３の発明は、前記客層情報は、性別および年齢のいずれか１つを含む構成とする。
また、第１４の発明は、店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、顧客を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
また、第１５の発明は、店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するステップと、このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

Claims (16)

  1. 店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、
    前記店舗内に設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、
    分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング手段と、
    このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、
    この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、
    を備えたことを特徴とする客層分析装置。
  2. 前記撮像領域は、店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定され、
    前記分析対象となる顧客の行動形態は、客席に向かって移動する行動であることを特徴とする請求項１に記載の客層分析装置。
  3. 前記フィルタリング手段は、前記撮像領域に出現した人物が滞留状態にあるか否かの滞留判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１または請求項２に記載の客層分析装置。
  4. 前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路が、前記分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１から請求項３のいずれかに記載の客層分析装置。
  5. 前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、グループが１人の人物のみで構成されているか否かの１人グループ判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１から請求項４のいずれかに記載の客層分析装置。
  6. 前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、複数の人物で構成されるグループについて、グループ内で最初に前記撮像領域から退出する人物であるか否かのグループ先頭判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１から請求項５のいずれかに記載の客層分析装置。
  7. 前記フィルタリング手段は、前記撮像領域内に設定された判定エリアからの退出の有無に基づいて、前記滞留判定を行うことを特徴とする請求項３に記載の客層分析装置。
  8. 前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路と、前記撮像領域の外縁に設定された判定ラインとの交差状態に基づいて、前記移動経路判定を行うことを特徴とする請求項４に記載の客層分析装置。
  9. 前記フィルタリング手段は、前記撮像領域へ進入した直後の移動方向を求めて、その移動方向に基づいて前記撮像領域への進入位置を推定するとともに、前記撮像領域から退出する直前の移動方向を求めて、その移動方向に基づいて前記撮像領域からの退出位置を推定し、これにより得られた進入位置および退出位置が前記判定ライン上に存在するか否かの判定を行うことにより、前記移動経路判定を行うことを特徴とする請求項８に記載の客層分析装置。
  10. 前記フィルタリング手段は、前記撮像領域で順次検出された人物の検出時刻の間隔に基づいてグループ分けを行うことを特徴とする請求項５または請求項６に記載の客層分析装置。
  11. 前記フィルタリング手段は、前記撮像領域から退出する直前の移動量を求め、その移動量に基づいて前記撮像領域から退出した時刻を推定することを特徴とする請求項６に記載の客層分析装置。
  12. 前記出力情報生成部は、前記出力情報として、時系列で取得した所定期間単位の客層別人数に基づいて客層別人数の変動傾向に関する客層傾向情報を生成することを特徴とする請求項１から請求項１１のいずれかに記載の客層分析装置。
  13. 前記客層傾向情報は、日ごとの店舗営業時間内における前記所定時間単位の顧客の総人数に占める客層別人数を表したものであることを特徴とする請求項１２に記載の客層分析装置。
  14. 前記客層情報は、性別および年齢のいずれか１つを含むことを特徴とする請求項１から請求項１３のいずれかに記載の客層分析装置。
  15. 店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、
    顧客を撮像する撮像装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記店舗内に設定された前記撮像装置の撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、
    分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング手段と、
    このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、
    この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、
    を備えたことを特徴とする客層分析システム。
  16. 店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、
    前記店舗内に設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、
    分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するステップと、
    このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、
    このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、
    を有することを特徴とする客層分析方法。
JP2013114096A 2013-05-30 2013-05-30 客層分析装置、客層分析システムおよび客層分析方法 Active JP5438859B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013114096A JP5438859B1 (ja) 2013-05-30 2013-05-30 客層分析装置、客層分析システムおよび客層分析方法
US14/284,580 US20140358639A1 (en) 2013-05-30 2014-05-22 Customer category analysis device, customer category analysis system and customer category analysis method
EP20140170152 EP2808838A1 (en) 2013-05-30 2014-05-28 Customer category analysis device, customer category analysis system and customer category analysis method
CN201410238845.4A CN104217348A (zh) 2013-05-30 2014-05-30 顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013114096A JP5438859B1 (ja) 2013-05-30 2013-05-30 客層分析装置、客層分析システムおよび客層分析方法

Publications (2)

Publication Number Publication Date
JP5438859B1 JP5438859B1 (ja) 2014-03-12
JP2014232495A true JP2014232495A (ja) 2014-12-11

Family

ID=50396713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013114096A Active JP5438859B1 (ja) 2013-05-30 2013-05-30 客層分析装置、客層分析システムおよび客層分析方法

Country Status (4)

Country Link
US (1) US20140358639A1 (ja)
EP (1) EP2808838A1 (ja)
JP (1) JP5438859B1 (ja)
CN (1) CN104217348A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203718A1 (ja) * 2015-06-15 2016-12-22 パナソニックＩｐマネジメント株式会社 顔認識システム、顔認識サーバ及び顧客情報提示方法
JP2017118324A (ja) * 2015-12-24 2017-06-29 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP2017150998A (ja) * 2016-02-25 2017-08-31 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
WO2018079457A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 動線分類装置、動線分類方法および記録媒体
US10592731B2 (en) 2015-06-15 2020-03-17 Panasonic I-Pro Sensing Solutions Co., Ltd. Facial recognition system, facial recognition server, and facial recognition method
WO2020066444A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 顧客情報登録装置
JP2020181262A (ja) * 2019-04-23 2020-11-05 技研トラステム株式会社 客数計測方法及び客数計測装置
JP7168110B1 (ja) 2022-01-27 2022-11-09 株式会社ぐるなび 情報処理システム、情報処理方法及びプログラム
JP7278197B2 (ja) 2019-11-13 2023-05-19 株式会社日立ビルシステム 属性別人数集計システムおよび属性別人数集計装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5728653B2 (ja) 2013-11-07 2015-06-03 パナソニックＩｐマネジメント株式会社 顧客管理装置、顧客管理システムおよび顧客管理方法
JP5834249B2 (ja) 2013-11-20 2015-12-16 パナソニックＩｐマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
JP5830706B2 (ja) 2014-01-29 2015-12-09 パナソニックＩｐマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP6435640B2 (ja) * 2014-05-20 2018-12-12 株式会社ニコン 混雑度推定システム
JP6730079B2 (ja) * 2016-04-28 2020-07-29 東芝テック株式会社 監視装置及びプログラム
JP6903969B2 (ja) * 2017-03-17 2021-07-14 日本電気株式会社 情報提供装置、情報提供方法及びプログラム
US10799026B2 (en) * 2017-03-21 2020-10-13 Steven Camuti Systems and methods for arranging seats in a seating area
JP6334767B1 (ja) 2017-03-21 2018-05-30 株式会社東芝 情報処理装置、プログラム、及び情報処理方法
CN107392798B (zh) * 2017-08-11 2018-03-20 杨丽 基于图像识别的饭店调配系统
TWI664584B (zh) * 2017-12-27 2019-07-01 中華電信股份有限公司 影像式人流計數之特定人物排除系統及方法
JP2019023939A (ja) * 2018-11-15 2019-02-14 株式会社ニコン ウェアラブル端末
US11443291B2 (en) 2018-12-05 2022-09-13 AiFi Inc. Tracking product items in an automated-checkout store
US11393213B2 (en) * 2018-12-05 2022-07-19 AiFi Inc. Tracking persons in an automated-checkout store
US11373160B2 (en) 2018-12-05 2022-06-28 AiFi Inc. Monitoring shopping activities using weight data in a store
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統
CN112237359B (zh) * 2019-07-18 2023-05-05 北京吉家娜机器人研发有限公司 自动化餐馆
US11010775B2 (en) * 2019-07-29 2021-05-18 Capital One Services, Llc Determining shopping duration based on a movement of a user device and transaction data
CN112348299A (zh) * 2019-08-09 2021-02-09 上海红星美凯龙悦家互联网科技有限公司 商业场所内基于画像的人员管理方法、装置、终端、及介质
CN111210368B (zh) * 2020-01-10 2023-09-05 宁波鼎壹信息技术有限公司 提升酒店、餐饮业服务以及厨房上菜速度的方法及系统
DE102020111045A1 (de) 2020-04-23 2021-10-28 HELLA GmbH & Co. KGaA Verfahren zum Schützen von personenbezogenen Daten
CN111625714A (zh) * 2020-04-29 2020-09-04 桂林电子科技大学 一种互联网企业用顾客价值评估方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3521637B2 (ja) 1996-08-02 2004-04-19 オムロン株式会社 通過人数計測装置及びそれを用いた入退場者数管理システム
US20020010622A1 (en) * 2000-07-18 2002-01-24 Fumino Okamoto System and method capable of appropriately managing customer information and computer-readable recording medium having customer information management program recorded therein
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
JP4374609B2 (ja) 2004-02-20 2009-12-02 オムロン株式会社 人数計数装置
US20080166015A1 (en) * 2004-09-24 2008-07-10 Object Video, Inc. Method for finding paths in video
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
JP2008035095A (ja) 2006-07-27 2008-02-14 Sony Corp 監視装置、監視システム、監視方法及びプログラム
WO2008058296A2 (en) * 2006-11-10 2008-05-15 Verificon Corporation Method and apparatus for analyzing activity in a space
US8189926B2 (en) * 2006-12-30 2012-05-29 Videomining Corporation Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
WO2008134562A2 (en) * 2007-04-27 2008-11-06 Nielsen Media Research, Inc. Methods and apparatus to monitor in-store media and consumer traffic related to retail environments
US8195499B2 (en) * 2007-09-26 2012-06-05 International Business Machines Corporation Identifying customer behavioral types from a continuous video stream for use in optimizing loss leader merchandizing
JP4585580B2 (ja) * 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
JP4753193B2 (ja) * 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
JP5238933B2 (ja) 2008-08-27 2013-07-17 株式会社アセットソリューション 客層付販売情報生成システム
US8694443B2 (en) * 2008-11-03 2014-04-08 International Business Machines Corporation System and method for automatically distinguishing between customers and in-store employees
JP5428356B2 (ja) * 2009-01-26 2014-02-26 日本電気株式会社 顧客分析システム、顧客データ収集装置、顧客分析装置、顧客分析方法、及びプログラム
JP5097187B2 (ja) 2009-10-14 2012-12-12 技研トラステム株式会社 店員顧客分離集計装置
US8332255B2 (en) * 2009-11-09 2012-12-11 Palo Alto Research Center Incorporated Sensor-integrated mirror for determining consumer shopping behavior
US20120109715A1 (en) * 2010-10-29 2012-05-03 Peng Wu Visualizing visitation patterns at sites of a commercial facility
US9049348B1 (en) * 2010-11-10 2015-06-02 Target Brands, Inc. Video analytics for simulating the motion tracking functionality of a surveillance camera
WO2012082756A1 (en) * 2010-12-14 2012-06-21 Scenetap, Llc Apparatus and method to monitor customer demographics in a venue or similar facility
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203718A1 (ja) * 2015-06-15 2016-12-22 パナソニックＩｐマネジメント株式会社 顔認識システム、顔認識サーバ及び顧客情報提示方法
US10592731B2 (en) 2015-06-15 2020-03-17 Panasonic I-Pro Sensing Solutions Co., Ltd. Facial recognition system, facial recognition server, and facial recognition method
JP2017118324A (ja) * 2015-12-24 2017-06-29 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP2017150998A (ja) * 2016-02-25 2017-08-31 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
WO2018079457A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 動線分類装置、動線分類方法および記録媒体
JPWO2018079457A1 (ja) * 2016-10-31 2019-09-19 日本電気株式会社 動線分類装置、動線分類方法およびプログラム
WO2020066444A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 顧客情報登録装置
JPWO2020066444A1 (ja) * 2018-09-26 2021-08-30 日本電気株式会社 顧客情報登録装置
JP7092205B2 (ja) 2018-09-26 2022-06-28 日本電気株式会社 顧客情報登録装置
US11830002B2 (en) 2018-09-26 2023-11-28 Nec Corporation Customer information registration apparatus
JP2020181262A (ja) * 2019-04-23 2020-11-05 技研トラステム株式会社 客数計測方法及び客数計測装置
JP7278197B2 (ja) 2019-11-13 2023-05-19 株式会社日立ビルシステム 属性別人数集計システムおよび属性別人数集計装置
JP7168110B1 (ja) 2022-01-27 2022-11-09 株式会社ぐるなび 情報処理システム、情報処理方法及びプログラム
JP2023109335A (ja) * 2022-01-27 2023-08-08 株式会社ぐるなび 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20140358639A1 (en) 2014-12-04
EP2808838A1 (en) 2014-12-03
CN104217348A (zh) 2014-12-17
JP5438859B1 (ja) 2014-03-12

Similar Documents

Publication Publication Date Title
JP5438859B1 (ja) 客層分析装置、客層分析システムおよび客層分析方法
JP5314199B1 (ja) 客層分析装置、客層分析システムおよび客層分析方法
JP5356615B1 (ja) 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法
JP5314200B1 (ja) 接客状況分析装置、接客状況分析システムおよび接客状況分析方法
US10387897B2 (en) Retail sales opportunity loss cause analysis based on image analysis of shelf display
US20160012379A1 (en) Facility management support apparatus, facility management support system, and facility management support method
JP5731766B2 (ja) 販売機会損失の分析システム及び分析方法
US10474972B2 (en) Facility management assistance device, facility management assistance system, and facility management assistance method for performance analysis based on review of captured images
US20180040046A1 (en) Sales management device, sales management system, and sales management method
JP2010097256A (ja) 情報提供装置、情報提供方法及びプログラム
JP2019109751A (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP5780348B1 (ja) 情報提示プログラム及び情報処理装置
JP2016207059A (ja) 行動分析システム及び行動分析方法
JP6241666B2 (ja) 利用者管理装置、利用者管理システムおよび利用者管理方法
JP7384516B2 (ja) 情報処理装置、商品推薦方法、プログラム、及びシステム
US20200320552A1 (en) Sales analysis apparatus, sales management system, sales analysis method, and program recording medium
JP5509354B1 (ja) 商品状況分析装置、商品状況分析システムおよび商品状況分析方法
JP6672050B2 (ja) 支援システム、支援装置、支援方法、及びプログラム
JP2016219065A (ja) 滞留分析システム及び方法
JP2015133131A (ja) 販売機会損失分析用データ出力システム及び方法
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
JP7008246B2 (ja) 情報提示システム
JP6912791B2 (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム
JP2018190438A (ja) 販売機会損失の分析システム及び分析方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131213

R150 Certificate of patent or registration of utility model

Ref document number: 5438859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150