JP2004529356A - 画像ベースの群集分析を用いた展示会イベント入場者支援方法及び装置 - Google Patents

画像ベースの群集分析を用いた展示会イベント入場者支援方法及び装置 Download PDF

Info

Publication number
JP2004529356A
JP2004529356A JP2002590086A JP2002590086A JP2004529356A JP 2004529356 A JP2004529356 A JP 2004529356A JP 2002590086 A JP2002590086 A JP 2002590086A JP 2002590086 A JP2002590086 A JP 2002590086A JP 2004529356 A JP2004529356 A JP 2004529356A
Authority
JP
Japan
Prior art keywords
space
people
density
output
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002590086A
Other languages
English (en)
Inventor
フィロミン,ヴァサント
ヴィ アール ギュッタ,スリニヴァス
トライコヴィッチ,ミロスラフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004529356A publication Critical patent/JP2004529356A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

展示会のようなイベントにおける混雑度を算出可能な映像システムは、入場者が混雑を避けられる、あるいは、最も人気のある展示を識別できるようにリアル・タイムの情報を提供する。公知の計数技術を用いても良い。混雑の情報を提供する表示形式の一つとして、入場者の密度を示すオーバーレイ付きの地図表示がある。

Description

【0001】
本発明は、自動ビデオ群集パターン識別システム及び人々の集団の動きを自動的に検出するシステムに関する。
【0002】
展示会のようなイベント、例えば、見本市、遊園地、フェア、食品フェスティバルなどに訪れる際、入場者は最も混雑した場所を知ることで動きやすくなることが多い。例えば、入場者は、そのような情報を用いて混雑した場所を避けたり、あるいは、最も人気のあるイベントを確認することができる。展示会出品者は、自身の展示や他のアトラクションの成功を判断するのに、移動パターンの情報を用い得るし、イベントの主催者は、移動パターン情報に基いて将来のイベントをより良くするため、あるいは、より効率的に混雑を補ったり管理したりすることができる。
【0003】
リモート・カメラからの画像を特定の場所で収集して監視員により監視する監視システム(surveillance system)が知られている。また、オーディオ・ビジュアル・プレゼンテーション設備(audio visual presentation equipment)や話者追随ビデオ・カメラ(speaker-following video camera)等のプレゼンテーション装置を制御するための顔認識、ジェスチャー認識のための自動システムも知られている。
【0004】
米国特許第5712830号明細書には、ショッピング・モールやATM機の周辺、また他の公共の場所で、人々の動きを音響信号を用いて監視するシステムが記載されている。なお、上記文献の全内容は、参照により本件出願に組み込まれる。このシステムは、ジェネレーターからの音響エコーを検出し、異常な状態を知らせるものである。例えば、夜間に安全区域で動きが検出された場合にはアラームが鳴る。また、縦方向の閾値検出機能を設けることで、大人と子供を識別することができる。反射エコーのホールとピークのパターンを識別することで動きを検出することもできる。用途的には、万引き、行列、人々の移動、買い物客の人数、混乱又は非常事態、窃盗の発見に適用できる。
【0005】
入場者が行き先を決めやすいように、店舗や展示会などのイベントにおける入場者の移動情報や混雑情報を検知するメカニズムに対する技術的な要望がある。また、例えばショッピング・モール等の広い場所で複数の場所をまわる最良の方法を入場者にアドバイスするシステムに対する需要もある。そうした経路の計画は、多様な小売店舗でのトラフィック・パターンや活動水準、障害に関する来訪客の知識不足により、単なる最短経路の問題以上の複雑な問題になる。
【0006】
簡単に言えば、人々が集まったり通過したりするシーンを画像化するために、一台以上のビデオカメラを人が存在する空間に設置する。撮ったシーンを分析して、来訪客の最も多い店舗や会場、最長の行列、最も関心度の高い対象、交通の流れの速さなどの情報を決定する。この情報を更に分析して、その場所を訪れた入場者に何らかの支援を提供する。例えば、見本市に来た入場者は、最も混雑した場所を避けて、最初に訪れるべき展示を知りたいと思うかも知れない。あるいは逆に、最も人気のある展示を知りたいと思うかも知れない。ショッピング・モールに来た入場者は、人々の流れやレジの順番を待つ列に関する入手可能な情報を利用しながら、最短時間で複数の小売店舗を見て廻りたいと思うかもしれない。
【0007】
ユーザー・インターフェースを介して、ユーザーは期待する活動や情報を入力する。システムは、ユーザーがそれらを実行するための指示を表示する。例えば、見本市の中で最も空いている所に行きたいと思う入場者には、その時に最も混雑している場所を示した全レイアウトの地図が表示される。買い物客は、行きたいと思う店舗を特定し、システムが最も効率的な経路を作成し表示しても良い。システムは、占有パターンの確率的予測を行うためのデータを収集して、条件が変わってもその提案の価値がそれほど影響されないことを保証する構成をとることもできる。
【0008】
ユーザー・インターフェースは固定式でもポータブルでも良い。経路情報は、ウェブ・サイトを通じて提供できるが、ユーザーが自分の無線端末を使用して、ビデオ・システムでモニタされている場所へ行くことを計画しても良い。データは、オーバーレイ(overlay)方式のシンボルを用いたリアル・タイムの地図として表示して、混んでいる催し物、人々の流れ、混雑、行列の長さ、及び他の情報を示すことができる。また、その時の人々の流れに基いて、場所間の移動時間を図示する構成にもできる。さらに、リアル・タイムのデータは、入力された要望に対する提案としての短いメッセージの形で表示されても良い。
【0009】
以下で、図面を参照して、本発明の好適な実施例を説明する。図示されている事項は、例示及び本発明の好適な実施例を説明するためのものであり、最も有用と思われる本発明の原理やコンセプトを分かり易く説明するためのものである。すなわち、本発明の基本的な理解に必要な構成を示すものにすぎず、本発明の実施の形態をどのように具現化するかは、図面を参照した以下の説明により、当業者にとって明らかになるものである。
【0010】
図1Aを参照するに、入場者115が集まっている空間101は、カメラ100により監視されている。カメラ100はそれぞれ、空間101の各部分(例:130及び140)に向けられている。空間101は、見本市、ショッピング・モール、遊園地、オフィス、あるいは、人々が移動し集まる任意の空間である。カメラ100によって収集されたビデオ・データから得た情報、例えば、ある目的地までの最短経路や最も空いている区域などを入場者115が入手できるように、表示装置150が空間全体に渡って設置されている。あるいは、この情報を遠隔の端末(図示せず)、又は携帯端末155に提供しても良い。
【0011】
図1Aに示されるように、会場のいくつかの区域、例えば130で示されるような区域は、他の区域、例えば140で示される区域よりも混雑していることがある。端末150及び155は、ユーザーが情報の要求を入力できるようにあらかじめプログラムされても良い。端末は、ユーザーの要求に応じて空間101の地図を表示し、例えば、地図をハイライトさせ、あるいは単数又は複数の適当なシンボルを地図にオーバーレイさせて混雑の度合いを示す。ユーザーは、受け取った結果に基いて選択を行い、ナビゲーション情報を要求しても良い。例えば、店舗又はアトラクション間の最速経路、最も空いた又は混雑したアトラクションや区域、あるいは列が最も短い店舗を要求できる。入力要求に応じた空間101に関する情報や経路の指示を得ることで、ユーザーは、混雑を避け、迅速に移動し、最も人気のあるアトラクションや好みのアトラクションに参加し、その他の選択ができる。これにより、空間101における体験を最大限にすることが出来る。図1Bは、変形例を示す。この例では、パン・チルト・ベース(pan-tilt base)175がズーム・カメラ170を制御する。この組み合わせにより、制御装置(図示せず)による制御下でパン・チルト・ズーム(PTZ)性能が提供される。この実施例においては、様々な場所における入場者の集中具合に関する適当な情報が、一箇所のカメラの視点から割り出される。
【0012】
図2を参照して、上述した機能を提供するインフラ(ハードウェア構成)について、より詳細に述べる。システムは、一以上の固定端末200、及び/又は、携帯端末220を含む。これらは、無線或いは有線のデータ・リンクを経て分類エンジン/サーバー260に接続される。分類エンジン/サーバー260は、一以上のカメラ270、例えばCCDカメラ等に接続されても良いし、他の場所とデータを共有するために、一以上の(更なる端末及びカメラに接続された)他の分類エンジン及びサーバー261に接続されても良い。さらに、システムを一台の分類エンジン/サーバー260で集中化し、そこに全てのカメラ及び端末が接続される構成としても良い。分類エンジン/サーバー260は、一以上のカメラ270から未加工のビデオ・データを受信すると、このビデオ・データから領域毎の混雑密度などのリアル・タイムのパターン指標を生成する。このデータは、分類エンジン/サーバー260で実行されるユーザー・インターフェース処理に更に利用され、端末200、220に対するユーザーのコマンドに対応した選択的な表示を行う。
【0013】
図3は別のハードウェア構成を示す。分類エンジン/ノード260により生成されたデータは、ネットワーク・サーバー240、250などのサーバーに供給され、サーバーで携帯端末205や固定端末225などの端末からの要求に応じてユーザー・インターフェース処理を行う。端末205、225は、サーバー240及び/又は250にネットワーク或いはインターネットで接続されたインターネット又はネットワーク端末であっても良い。例えば、端末205、225がワールド・ワイド・ウェブ(WWW)・クライアント処理を実行すると、ネットワーク・サーバー240、250は、クライアント処理を通じて要求されたデータを周知の方法で動的ウェブ・サイトを介して供給する。端末はインターネット装置でありさえすれば良く、様々なタイプの端末205、225のニーズに応えるため各種の異なるユーザー・インターフェース・サーバー処理を行っても良い。例えば、小さな画面の携帯装置で、テキスト出力や音声出力による情報提供を受け取り、より大きなサイズの端末は、地図表示や有効な入力制御のタイプに合わせた入力を受け取る。
【0014】
図4及び5を参照するに、カメラで撮影されたシーン内の特定の領域における人々の流れやその人数の割り出しは、現在の画像処理技術の常套手段として行われる。例えば、人物322の頭部320は、従来の画像処理やパターン認識アルゴリズムによってシーンに分解できる。簡単なシステムでは、無変化の背景を差し引いた後にシーン内の対象物のシルエットを選択し、頭部や肩の特徴を認識する。識別された頭部の各々の動きは、架空のウィンドウ310を通過する際にカウントされ、存在する人の人数やウィンドウを通過する人々の流れを割り出す。これは、存在する人々の大きさに相当するモザイク解像度のモザイクフィルタ画像で、谷(背景)とピーク(非背景)の動きを分析することによて、より簡単に行うことが出来る。あるシーン内の人数を数えるには種々の周知の方法を用いることができるので、ここでは詳細を記載しない。なお、図4に示す斜めの視点と同様に、頭上からの視点によって人々を数えても良い。図5には、移動している人々340のオーバーヘッド図が示されている。オーバーヘッドからの視点の方が、数及び流れの算出が容易になる。なぜなら、非背景領域が、個人や、画像圧縮技術で用いられる動き補償アルゴリズムで求められたブラブ(blobs)の速度にリンクできる蓋然性が高いからである。矢印341により示されるように、人物340の方向や速度は、ビデオ分析技術を用いて割り出すことが出来る。これらの例は包括的という訳ではなく、画像分析の当業者ならば、人々の数や動きを把握する多くの異なる方法を認識し、与えられたアプリケーションに求められる特性に従って多様の選択を行うことが可能である。ここで図10を参照すると、ある場所についての3次元の情報を、重なり合う視野640及び641を持つ複数のカメラ671及び672を使用して収集しても良い。従来の画像処理技術を用いれば、人々の頭部の高さを得ることが出来る。この情報を用いると、シーン内を移動する人間以外の対象物や残余部分がより明確に入場者と区別され、エラー・カウントを低減することができる。
【0015】
画像処理分類技術を用いて、特定の目的地へ向かう入場者が被る遅延、例えば、ある展示会内で費やされる平均的な時間や列に並ぶ時間を割り出すこともできる。分類エンジンは、ある場所で列に並んで待つ人々、例えばレジの順番を待つ列を認識するようにプログラムされ得る。例えば、システムによってレジ付近であると定義される、あるシーンの中の比較的固定的な場所に、一定時間滞在するグループの人数を数えて、列の長さを割り出すことができる。列の長さは、確率的予測に基いて、あるいは、ある人物が列の最後に至るまでに要する平均時間を画像処理を通じて測定することで、遅延時間と関連付けても良い。あるいは、入場者・顧客が通過するのにどのくらいの時間を要するかを示す指標として、その場所の占有率を用いても良い。
【0016】
図6を参照するに、展示会、あるいは小売店のような空間の地図には、展示又は店舗に応じた、様々な大きさのブロック300がある。本システムを用いる入場者の位置は、315で示されている。ブロック間の通路305は、入場者が集まったり、或いは、展示間を移動したりする領域である。この地図には、特定の場所に集まっている入場者の密度を表すアイコン310がオーバーレイされている。この地図においては、オーバーレイされたアイコン310で示されるように、領域325は入場者の密度が高く、また、アイコン310が存在しない領域330の密度は低い。アイコンは、群集の密度がある閾値を越えたと判断された場合に表示装置上に生成されても良い。また、図示はしないが、必要に応じて、地図上に更に詳細な内容、例えば、アトラクション、展示、店舗等の識別項目を、対応するマークと共に示すものとする。
【0017】
図7では、図6と同様の地図に、混雑によって通過が困難な領域や、それほど困難ではない領域を示す別のシンボル345がオーバーレイされている。図で示した実施例では、ユーザーからの特定の要求を受けて、ある空間において最も好ましい経路をシステムが作成する。例えば、ユーザーは、自分が訪れたいと思う一連の店舗又は展示をシステムに確認させる。するとシステムは、目的地の位置と共に人々の移動速度や群集の密度に関する情報を用いて、目的地(355で示されている)間の最短経路を算出する。この表示画面では、ナビゲートが困難な領域を示す別のタイプのパターン指標を用いても良い。
【0018】
目的地間の最短時間の問題は、巡回セールスマン・アルゴリズム(travelling salesman algorithm)や他のコスト(例:移動時間=コスト)最小化方法論を用いることで解決し得る。本発明の一実施例によれば、待ち行列が最短の店舗を訪れることにより最良経路が決まるように、目的地における徒歩でのトラフィック速度、動向や遅延時間(例えば、これはレジでの順番待ちの列の長さから予測しても良い)をコスト最小化方法に組み入れる。そのようなコスト最小化問題に対する強力なアプローチとしては、A*パス・プランニング(A* path planning)がある。これは、状況が変化するときに最小コスト経路を動的に更新するという課題にも効率的に対応することが可能である。ダイナミック・プログラミング(dynamic programming)もまた、そうした課題を解決するのに有効な方法であり、更に他の従来方法も知られている。A*は、以下の特許及び明細書に記載されており、その全内容がここに参照により組み込まれる:米国特許第5083256号明細書、「Path Planning with Transition Changes」、K.Trovato及びL.Dorst、1992年1月21日発行、1989年10月17日出願;米国特許第4949277号明細書、「Differential Budding:Method and Apparatus for Path Planning with Moving Obstacles and Goals」、K.Trovato及びL.Dorst、1990年8月14日発行、1988年3月10日出願;米国特許出願第07/123502号明細書、「Method and Apparatus for Path Planning」、L.Dorst及びK.Trovato、1987年11月20日出願。
【0019】
トラフィック・フローや占有密度情報を地図上に図示する方法は、他にもある。例えば、店舗又は展示会において検出された人々の流れの速さや遅延時間を示すために地図に着色をする(例:動きが遅い場合は赤色に、動きが速い場合には緑色に)。目的地間の移動時間を図示するために地図を変形させても良い。距離だけではなく、混雑の度合い、移動速度、方向に基いて、目的地間の移動時間が短い場合に、それらをより近くに示し、移動時間が長い目的地間をより離れて表示することも可能である。
【0020】
図8を参照するに、上述したように、一連の目的地を通る最小コスト経路は、グラフ探索問題としてモデル化しても良い。コストとは、経路に沿った徒歩での通過条件による遅延だけでなく、目的地での遅滞も含んでいる。ユーザーが、特定的あるいは一般的に、いくつかの目的地を端末で選択し、ビデオ・カメラ270から供給される、混雑の度合いや人々の流れ、列に並ぶ人々に関する情報を入手すると仮定する。ノード400、410、420及び430の各々は目的地に該当する。ユーザーが一般的に目的地を確認する場合には(例:特定の百貨店ではなく「百貨店一般」)、いくつかのノードで一連の選択肢を形成し、それらを最適の経路に含ませても良い。目的地間のリンク451−459は、ノード間の経路のオプションに該当する。移動距離や混雑の度合い、移動する方向や量、平均速度等によって経路は変化するため、各経路は、それ自身に関連付けられた計算可能な時間コストを持つ。
【0021】
図8の例で、ノード410及び430は、与えられた経路計画課題に対する代替目的地とし得る。例えば、ユーザーは400で示される特定の下着店と、ハードウェア・ストアを訪れたいと指示したとする。ユーザーは、現在、ノード420に対応する場所に位置しており、ノード410と430の双方がハードウェア・ストアである。
【0022】
図9は、イベント、即ち、複数の目的地や経路を持つ場所の入場者にデータを提供するシステムの一実施例としての機能要素を示す。ビデオ・ソース(video sources)500は、現状のデータを収集し、そのデータを画像処理部505に供給する。画像処理部505は、分類エンジン510による解釈のために、画像やビデオ画像に対して前処理を行う。あるいは、画像処理部505は、圧縮処理の一部として、MPEG(Motion Pictures Expert Group)圧縮、又はビデオ画像のフレームから統計値を生成するその他の圧縮処理を行っても良い。これらを、混雑の度合いや動きの予測に代わるものとして用いても良い。例えば、動きベクトル場を、あるシーンにおける人数、速度や移動の方向と関連付けても良い。
【0023】
分類エンジン510は、画像処理部505から供給されるデータから、シーン内の人数を算出する。分類エンジン510は、各人物の位置や動きベクトル等を識別し、その位置を示すデータを公知の所望の方法に従って生成する。これらのデータは、混雑度、動き及び方向を算出する予備処理530に適用される。もちろん、通常の技術を有する者なら分かるように、これら予備処理は別途分離されていてもいなくても良く、また、与えられた実行環境において全てが必要となる訳ではない。分類エンジン510を、シーン内の人々が従事している活動のタイプを判断するようにプログラムしても良い。例えば、列を認識するためのプログラムや、ある場所に集合する人々の集団から、所定の場所を通って移動する人々の集団を識別するプログラムが可能である。このような識別情報は、単に混雑している領域ではなく、特定の場所に集まっている群衆によって特徴付けられる最も人気のある領域を入場者に対して示すのに有効に用いられる。すなわち、ある場所を通りすぎていく人々のグループと、その場所に集まる人々のグループとに分類される。分類エンジン510の算出結果は、外部データ515と共に、ダイアログ処理、パス・プランナーに供給される。分類結果は、履歴データ部520等のデータ格納部にも供給され、格納部で確率的予測を行っても良い。ダイアログ処理部535は、状況に応じて過去及びリアル・タイムの情報を収集し出力する。例えば、即時状況の出力を要する場合には、ダイアログ処理部は、主として分類エンジン510からのリアル・タイムのデータに依存する。ユーザーがインターネット経由でシステムにアクセスし、後日あるいは後で訪問したい旨を示したときは、履歴データ530を使用する正当な理由がある状況では、ダイアログ処理部535は、履歴の情報と、外部データ515とに基いて入場者の混雑度合いの予測を算出して提供しても良い。外部データは、以下で述べるように経済条件や他のデータを含む。経路プランを、経路計画エンジン540からダイアログ処理部に供給する構成としても良い。経路計画エンジン540は、上述のように、例えばダイナミック・プログラミングやA*パス・プランニング(A* path planning)等の方法を用いる。
【0024】
上述したように、ある展覧会の入場者に対して出力される統計値や作成される経路の提案を、リアル・タイムのデータよりはむしろ確率的な判断に基いて行っても良い。例えば、従うべき経路では時間がかかるために混雑のパターンが変化するかもしれない。また、入場者・顧客が展示会等のイベントに到着する前に、情報を提供する構成としても良い。この場合は、例えば、米国特許第5712830号明細書に記載されているような確率的な手法に基いて混雑を予測しても良い。システムは、長期間(複数週、複数月、複数年)に渡ってデータを収集して、曜日、季節、祝日等の要素に基いて予測を行っても良い。システムを中央からプログラミングして、ガソリン価格、物価上昇率、購買意欲等、行動に対する影響要因を示す最新の外部情報に基いて予測係数を持つように構成しても良い。また、システムは、予測を更に正確にするために、セールや他の特別なイベントに関する情報を受け取っても良い。例えば、ある店舗が、セールや見本市を実施したり、特定の日時に映画スターを招待する等、特別な店舗や展示イベントが群集を引き付けることが予想されるからである。
【0025】
代替経路のコストを算出する際に用いられる基準は、時間だけではないことに注意されたい。あるユーザーにとっての主なコストは、徒歩での距離あるいは時間かも知れない。そのような場合には、代替交通手段の利用可能性が、代替経路のコストに影響を及ぼす。また、その経路に要する時間や徒歩での距離のコストは、発車の頻度や交通機関の速度等にも左右される。ユーザーは、徒歩での距離や時間を不便と捉えるか快適と捉えるかの相対的重要度に関する情報を入力でき、それに従って、異なる代替経路のコストも増幅される。従って、時間コストに関わらず、徒歩での距離や時間を高コストとするユーザーは、時間はかかるがコストのより低い経路を好むだろう。
【0026】
図14を参照するに、混雑の度合や移動時間の影響を図示する別の方法としては、対象とする領域の変形した地図を示す方法がある。図14の地図800においては、地図に変形操作を行った結果、ある場所はユーザーの位置315に他の場所よりも近くに見えている。例えば、変形の結果、場所810はユーザーの位置315から比較的遠くに離れており、場所820は比較的近くになっている。
【0027】
携帯装置は、入力された嗜好に基いて、次の目的地への指示を行っても良い。例えば、次の所望の目的地は「ハードウェア・ストア」であるという表示などである。この場合、携帯端末(例:携帯端末155)は、全地球測位システム(GPS)受信機を内蔵し、次の目的地への指示を提供させても良い。この装置は、ユーザーによって入力された基準、例えば、所望の分野(例えば、ハードウェア・ストア)の中で最も近い目的地、最大の規模、最短の移動時間等に基く指示を伝える。するとシステムは、その嗜好に最も適合する目的地への案内を行う。これらの指示は、音声、テキスト、地図の表示により行っても、あるいは他のいかなる出力手段を用いて行っても良い。
【0028】
図11は、例えばショッピング・モールにおける経路提案の処理フローを示す。まず、ステップS10で次の目的地を要求する。ステップS15では、経路と、コスト(混雑による遅れを含む時間、徒歩での時間、徒歩での距離等)とが算出される。そして、ステップS20において代替経路が示される(あるいは、ユーザーの嗜好に基いて自動的に一つが選択される)。ステップS30では、一つの経路が選択され、その案内が出力される。上記の処理は、携帯端末又は固定端末と関連して行われても良い。ユーザーの嗜好は、ユーザーが提案を求める度に入力しなくてもいいように、携帯端末に格納されても良い。例えば、ユーザーは、時間的に見て最もコストが低くなる指示を常に望み、徒歩での距離は問題ではない旨をあらかじめ指定できる。
【0029】
図12を参照するに、見本市での、地図表示を含むユーザー・インターフェース処理の図が示されている。ユーザーは、興味のある出展会社の分野をコントロール705(例えば、タッチ・スクリーン・コントロール)で選択する。例えば、分野は製品領域によって定義されても良い。そして、選択された分野の出展会社730が、出展場所近辺の混雑度を示すスケール700の対応する位置に示される。例えば、PQR社のバナー(旗章)710は、スケール700において、2人/mと3人/mの間のレベルで示される。選択された分野の出展会社の出展場所やユーザー位置745を示す地図740が示される。図13では、図12の表示の変形例として、地図750は、混雑の度合いをカラー・オーバーレイ(color overlay)で表示、又は混雑している領域をグレーで表示する。
【0030】
当業者にとって、本発明が上述の実施例の内容に限定されず、本発明の基本的な範囲から逸脱することなく他の形態にも適用され得ることは明白であろう。従って、上述の実施例は、本発明を説明するための例示にすぎない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の範囲内のあらゆる変形も包含されるものとする。
【図面の簡単な説明】
【0031】
【図1A】ビデオ・カメラ・モニター設備と表示端末が設置された、展示ホールやショッピング・モール等の公共の場所の斜視図である。
【図1B】ビデオ・カメラ・モニター設備、及び表示端末が設置された、展示ホールやショッピング・モール等の公共の場所の斜視図である。
【図2】本発明の実施例による自動人物モニター・システムを導入するためのハードウェア環境のブロック図である。
【図3】本発明の別の実施例による自動人物モニター・システムを導入するためのハードウェア環境のブロック図である。
【図4】架空ウィンドウを通過する人々の集団を斜めから見るカメラのシーン画像を示した図である。
【図5】移動している人々の集団を頭上から見るカメラのシーンの図である。
【図6】混雑密度情報をオーバーレイした、コース及び目的地を示す表示地図の図である。
【図7】複数の目的地を通る最もコストの低い経路と、混雑密度情報をオーバーレイした、コースと目的地を示す地図表示の図である。
【図8】本発明の一実施例による、最適の経路を提案するグラフ探索のモデル図である。
【図9】本発明の実施例による方法を実行するための機能ブロック図である。
【図10】あるシーンの3次元の情報を得るために複数の視点を用いるビデオ人物カウント・システムの図である。
【図11】目的地及び経路提案処理のフローチャートである。
【図12】展示会のようなイベントで混雑情報を表示する表示例の図である。
【図13】図12の表示処理の別の表示例の図である。
【図14】地図上の領域をレイアウト変更することにより、移動時間の影響を示す地図表示である。

Claims (15)

  1. 人々が集まる場所における参会者に関する情報を提供する方法であって:
    第1及び第2の画像を形成するために、ある空間について少なくとも2つのシーンを画像化する段階;
    前記の画像化の結果から、前記シーン内の人数と、それに依存する値の、少なくとも一方を算出する段階;及び
    前記シーン内の人数とそれに依存する値の、前記の少なくとも一方を示す出力を生成する段階;
    を有することを特徴とする方法。
  2. 請求項1に記載の方法であって、前記出力は前記の人々が集まる場所の地図を示す表示を含むことを特徴とする方法。
  3. 請求項2に記載の方法であって、前記地図表示には、前記算出結果を示す図がオーバーレイされていることを特徴とする方法。
  4. 請求項1に記載の方法であって、前記出力生成段階は、展示会のようなイベントにおいて、その入場者が利用できるような出力を生成する段階を含むことを特徴とする方法。
  5. 展示会等のイベント空間の入場者の複数シーンに対応するビデオ・データを入力として受信する制御装置を備え、前記複数シーンの各シーンは前記イベント空間のそれぞれ物理的に異なる位置におけるシーンであり、
    前記制御装置は、前記ビデオ・データに対応して、前記空間における現在の混雑度を示す出力を表示装置上に生成し、
    前記制御装置は、前記イベント空間に、前記入場者が利用できるように設置されていることを特徴とする入場者情報システム。
  6. 請求項5に記載のシステムであって、前記出力は、前記の物理的に異なる複数位置における前記入場者の密度あるいは相対密度を示すオーバーレイ付きの地図表示を含むことを特徴とするシステム。
  7. 請求項5に記載のシステムであって、前記出力は、前記の物理的に異なる複数位置の中から推薦される一つを示すテキスト又は音声のメッセージを含むことを特徴とするシステム。
  8. 請求項7に記載のシステムであって、前記制御装置は、入力としてある場所における入場者の密度に関連する優先度を受け付けることを特徴とするシステム。
  9. 請求項5に記載のシステムであって:
    パン・チルト・ズーム(PTZ)・ビデオ・カメラを更に備え、
    前記ビデオ・データは前記PTZビデオ・カメラから得られ、前記制御装置は前記PTZビデオ・カメラを制御することを特徴とするシステム。
  10. 請求項5に記載のシステムであって、前記出力は携帯端末によって読取り可能な無線信号であることを特徴とするシステム。
  11. 任意の場所への入場者に対して案内を行う方法であって:
    所定の空間内の様々な場所における入場者の密度に対応するリアル・タイムのデータを供給する入力を制御装置で受信する段階;
    前記空間内の様々な場所における入場者の密度又は動きの局所的な変化を前記制御装置で算出する段階;及び
    前記入場者の密度や動きの前記局所的な変化を示すデータを、前記空間の入場者にとってアクセス可能な端末から出力する段階を有し、それによって、前記入場者は、前記の様々な場所の中から所望の選択をなし得る情報を取得することを特徴とする方法。
  12. 請求項11に記載の方法であって、前記データ出力段階は、前記の局所的な変化を示す図がオーバーレイされた前記空間の地図を生成する段階を含むことを特徴とする方法。
  13. 請求項11に記載の方法であって、前記データ出力段階は、前記算出結果を含む無線信号を生成する段階を含むことを特徴とする方法。
  14. 請求項11に記載の方法であって:
    前記の様々な場所を見るために、パン・チルト・ズーム・カメラを制御する段階;
    を更に有することを特徴とする方法。
  15. 請求項11に記載の方法であって、前記算出段階は、背景画像を更新し、現在のビデオ画像から前記背景画像を差し引く段階を含むことを特徴とする方法。
JP2002590086A 2001-05-14 2002-05-08 画像ベースの群集分析を用いた展示会イベント入場者支援方法及び装置 Pending JP2004529356A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/854,571 US20020168084A1 (en) 2001-05-14 2001-05-14 Method and apparatus for assisting visitors in navigating retail and exhibition-like events using image-based crowd analysis
PCT/IB2002/001628 WO2002093487A1 (en) 2001-05-14 2002-05-08 Method and apparatus for assisting visitors in exhibition-like events using image-based crowd analysis

Publications (1)

Publication Number Publication Date
JP2004529356A true JP2004529356A (ja) 2004-09-24

Family

ID=25319065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002590086A Pending JP2004529356A (ja) 2001-05-14 2002-05-08 画像ベースの群集分析を用いた展示会イベント入場者支援方法及び装置

Country Status (5)

Country Link
US (1) US20020168084A1 (ja)
EP (1) EP1393257A1 (ja)
JP (1) JP2004529356A (ja)
KR (1) KR20030022862A (ja)
WO (1) WO2002093487A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519567A (ja) * 2004-11-02 2008-06-05 センサーマティック・エレクトロニクス・コーポレーション 行列監視のためのシステム及び方法
JP2015082820A (ja) * 2013-10-24 2015-04-27 キヤノン株式会社 サーバ装置、システム、情報処理方法及びプログラム
US10346688B2 (en) 2016-01-12 2019-07-09 Hitachi Kokusai Electric Inc. Congestion-state-monitoring system
JP2019176365A (ja) * 2018-03-29 2019-10-10 大日本印刷株式会社 コンテンツ出力システム、コンテンツ出力装置及びプログラム
JP6941395B1 (ja) * 2020-10-05 2021-09-29 株式会社バカン 情報提供装置、情報提供方法、及び情報提供プログラム
US20220319168A1 (en) * 2019-08-07 2022-10-06 Zte Corporation Method for estimating and presenting passenger flow, system, and computer readable storage medium

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187026A (ja) * 2001-12-19 2003-07-04 Fujitsu Ltd 施設管理支援装置
US20070250372A1 (en) * 2006-04-24 2007-10-25 Ivan Arbouzov Computer-assisted system and method for planning tradeshow visits
DE102004040057A1 (de) * 2004-08-18 2006-03-09 Rauch, Jürgen, Dr.-Ing. Verkehrsleitsystem
JP4625326B2 (ja) * 2004-12-28 2011-02-02 富士通株式会社 施設利用情報処理装置及びその情報処理方法
US20060291396A1 (en) * 2005-06-27 2006-12-28 Monplaisir Hamilton Optimizing driving directions
DE102006000495A1 (de) * 2006-09-28 2008-04-03 Vis-à-pix GmbH System und Verfahren zum automatisierten bildbasierten Anlagenmanagement
DE102007033391A1 (de) * 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm
US9398266B2 (en) * 2008-04-02 2016-07-19 Hernan Carzalo Object content navigation
US8417446B2 (en) * 2008-07-25 2013-04-09 Navteq B.V. Link-node maps based on open area maps
US8099237B2 (en) * 2008-07-25 2012-01-17 Navteq North America, Llc Open area maps
US8825387B2 (en) * 2008-07-25 2014-09-02 Navteq B.V. Positioning open area maps
US8339417B2 (en) * 2008-07-25 2012-12-25 Navteq B.V. Open area maps based on vector graphics format images
US8374780B2 (en) * 2008-07-25 2013-02-12 Navteq B.V. Open area maps with restriction content
US8229176B2 (en) 2008-07-25 2012-07-24 Navteq B.V. End user image open area maps
US20100023251A1 (en) * 2008-07-25 2010-01-28 Gale William N Cost based open area maps
TW201007135A (en) * 2008-08-06 2010-02-16 Mitac Int Corp Navigation systems and related navigation methods, and machine readable medium thereof
US20120047087A1 (en) * 2009-03-25 2012-02-23 Waldeck Technology Llc Smart encounters
US8812344B1 (en) 2009-06-29 2014-08-19 Videomining Corporation Method and system for determining the impact of crowding on retail performance
TWI414758B (zh) * 2009-12-17 2013-11-11 Ind Tech Res Inst 行動導覽推薦系統與方法
US20130024203A1 (en) * 2011-07-20 2013-01-24 Nternational Business Machines Corporation Providing dynamic recommendations for points of interest utilizing automatically obtained collective telemetry to enhance user experience
US20140019172A1 (en) * 2012-07-12 2014-01-16 Ebay, Inc. User Preferred Venue Seating
US20140032250A1 (en) * 2012-07-27 2014-01-30 Ebay, Inc. Interactive Venue Seat Map
TWI526963B (zh) * 2012-11-13 2016-03-21 財團法人資訊工業策進會 目標客戶搜尋方法、目標客戶搜尋裝置及其記錄媒體
US20140180848A1 (en) * 2012-12-20 2014-06-26 Wal-Mart Stores, Inc. Estimating Point Of Sale Wait Times
US20150134418A1 (en) * 2013-11-08 2015-05-14 Chon Hock LEOW System and Method for Providing Real-time Location Previews
TWI602140B (zh) 2013-12-31 2017-10-11 萬國商業機器公司 建議參觀站點或者駕駛路線的電腦實施方法及其電腦裝置
US9299170B1 (en) * 2014-01-28 2016-03-29 Domo, Inc. Information environment map
US9875412B2 (en) * 2014-02-10 2018-01-23 Hitachi Kokusai Electric Inc. Crowd monitoring system and crowd monitoring method
CA2939757A1 (en) * 2014-02-28 2015-09-03 Wal-Mart Stores, Inc. Crowd planning tool
US20150369611A1 (en) * 2014-06-19 2015-12-24 Tracy Ogishi Automated mall concierge
CN107113399A (zh) 2014-06-30 2017-08-29 日本电气株式会社 图像处理装置、监视系统、图像处理方法和程序
JP6708122B2 (ja) * 2014-06-30 2020-06-10 日本電気株式会社 誘導処理装置及び誘導方法
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
KR20160090198A (ko) * 2015-01-21 2016-07-29 한국전자통신연구원 전시 안내 장치, 전시 디스플레이 장치 및 단말 장치와 전시 안내 방법
US10621598B1 (en) * 2015-04-22 2020-04-14 Richard Greenwald Methods and systems for facilitating interactions
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10902453B2 (en) 2015-08-06 2021-01-26 International Business Machines Corporation Crowd level detection for in-store shopping
US10762515B2 (en) * 2015-11-05 2020-09-01 International Business Machines Corporation Product preference and trend analysis for gatherings of individuals at an event
US11010722B2 (en) * 2015-12-15 2021-05-18 International Business Machines Corporation Personalized scheduling and networking system, method, and recording medium
US9863778B2 (en) 2015-12-18 2018-01-09 Intel Corporation Systems and methods to direct foot traffic
US20200271462A1 (en) * 2015-12-28 2020-08-27 Nec Corporation Surveillance apparatus, control method, and program
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
USD810777S1 (en) 2016-06-03 2018-02-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10509969B2 (en) * 2017-09-12 2019-12-17 Cisco Technology, Inc. Dynamic person queue analytics
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
JP6965735B2 (ja) 2017-12-26 2021-11-10 トヨタ自動車株式会社 情報処理装置、車載装置および情報処理方法
US20200387719A1 (en) * 2018-01-04 2020-12-10 Xinova, LLC Visualization of predicted crowd behavior for surveillance
WO2020017111A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 エージェント、存在確率マップ作成方法、エージェントの行動制御方法、及びプログラム
CN112639897A (zh) 2018-09-13 2021-04-09 开利公司 边界可视化的空间确定
KR102263159B1 (ko) * 2019-07-30 2021-06-10 엘지전자 주식회사 로봇의 경로를 결정하는 인공 지능 서버 및 그 방법
KR102258381B1 (ko) * 2019-07-31 2021-05-31 엘지전자 주식회사 복수의 로봇들을 관제하는 인공 지능 서버 및 그 방법
JP7355769B2 (ja) * 2021-01-19 2023-10-03 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4038633A (en) * 1973-08-22 1977-07-26 King Frederick N Detection system for automobiles and other motor-driven objects
JP2633694B2 (ja) * 1989-08-25 1997-07-23 フジテック 株式会社 人数検出装置
WO1994027408A1 (en) * 1993-05-14 1994-11-24 Rct Systems, Inc. Video traffic monitor for retail establishments and the like
US5508737A (en) * 1994-07-06 1996-04-16 Sony Corporation Remote video viewing and recording system for remotely occurring events
JPH08185521A (ja) * 1994-12-28 1996-07-16 Clarion Co Ltd 移動体カウント装置
JP3251228B2 (ja) * 1998-03-31 2002-01-28 株式会社エヌ・ティ・ティ ファシリティーズ エレベータ制御方法及び装置
DE19835979B4 (de) * 1998-08-08 2005-01-05 Daimlerchrysler Ag Verfahren zur Verkehrszustandsüberwachung und Fahrzeugzuflußsteuerung in einem Straßenverkehrsnetz
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
US6211781B1 (en) * 1999-05-24 2001-04-03 United States Postal Service Method and apparatus for tracking and locating a moveable article
US6647142B1 (en) * 1999-08-19 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Badge identification system
JP2001076291A (ja) * 1999-09-02 2001-03-23 Nri & Ncc Co Ltd 通行量測定システム
US6373389B1 (en) * 2000-04-21 2002-04-16 Usm Systems, Ltd. Event driven information system
US6633232B2 (en) * 2001-05-14 2003-10-14 Koninklijke Philips Electronics N.V. Method and apparatus for routing persons through one or more destinations based on a least-cost criterion

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519567A (ja) * 2004-11-02 2008-06-05 センサーマティック・エレクトロニクス・コーポレーション 行列監視のためのシステム及び方法
JP4734339B2 (ja) * 2004-11-02 2011-07-27 センサーマティック・エレクトロニクス・コーポレーション 行列監視のためのシステム及び方法
JP2015082820A (ja) * 2013-10-24 2015-04-27 キヤノン株式会社 サーバ装置、システム、情報処理方法及びプログラム
US10346688B2 (en) 2016-01-12 2019-07-09 Hitachi Kokusai Electric Inc. Congestion-state-monitoring system
JP2019176365A (ja) * 2018-03-29 2019-10-10 大日本印刷株式会社 コンテンツ出力システム、コンテンツ出力装置及びプログラム
JP7102856B2 (ja) 2018-03-29 2022-07-20 大日本印刷株式会社 コンテンツ出力システム、コンテンツ出力装置及びプログラム
US20220319168A1 (en) * 2019-08-07 2022-10-06 Zte Corporation Method for estimating and presenting passenger flow, system, and computer readable storage medium
US11816875B2 (en) * 2019-08-07 2023-11-14 Xi'an Zhongxing New Software Co., Ltd. Method for estimating and presenting passenger flow, system, and computer readable storage medium
JP6941395B1 (ja) * 2020-10-05 2021-09-29 株式会社バカン 情報提供装置、情報提供方法、及び情報提供プログラム
JP2022060790A (ja) * 2020-10-05 2022-04-15 株式会社バカン 情報提供装置、情報提供方法、及び情報提供プログラム

Also Published As

Publication number Publication date
US20020168084A1 (en) 2002-11-14
EP1393257A1 (en) 2004-03-03
KR20030022862A (ko) 2003-03-17
WO2002093487A1 (en) 2002-11-21

Similar Documents

Publication Publication Date Title
JP2004529356A (ja) 画像ベースの群集分析を用いた展示会イベント入場者支援方法及び装置
JP2004534999A (ja) 最小コスト基準に基く一以上の目的地の経路設定方法及び装置
US6426708B1 (en) Smart parking advisor
US8502868B2 (en) Intelligent camera selection and object tracking
US20030048926A1 (en) Surveillance system, surveillance method and surveillance program
US9077845B2 (en) Video processing
CN107850443A (zh) 信息处理装置、信息处理方法以及程序
US20110285851A1 (en) Intruder situation awareness system
JPH1049718A (ja) 通過人数計測装置及びそれを用いた入退場者数管理システム
US9865056B2 (en) Video based method and system for automated side-by-side drive thru load balancing
JPH056500A (ja) 移動体・施設制御システム
WO2015015217A1 (en) Location-based navigation
CN111738134A (zh) 获取客流数据的方法、装置、设备及介质
US20200410250A1 (en) Computer vision system that provides space monitoring and social distancing indicators
JP2017509038A (ja) 目標位置を推薦するためのシステム及び方法
JPWO2019235252A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2012012059A2 (en) Selecting displays for displaying content
US20220366575A1 (en) Method and system for gathering information of an object moving in an area of interest
EP2270761A1 (en) System architecture and process for tracking individuals in large crowded environments
TW201822082A (zh) 智慧型影像辨識動態規劃之系統及方法
JP2018173985A (ja) 混雑度推定システムおよび電子機器