JP2015186202A - 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 - Google Patents

滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 Download PDF

Info

Publication number
JP2015186202A
JP2015186202A JP2014063547A JP2014063547A JP2015186202A JP 2015186202 A JP2015186202 A JP 2015186202A JP 2014063547 A JP2014063547 A JP 2014063547A JP 2014063547 A JP2014063547 A JP 2014063547A JP 2015186202 A JP2015186202 A JP 2015186202A
Authority
JP
Japan
Prior art keywords
image
heat map
background image
information
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014063547A
Other languages
English (en)
Other versions
JP5597781B1 (ja
Inventor
裕一 松本
Yuichi Matsumoto
裕一 松本
宏明 由雄
Hiroaki Yoshio
宏明 由雄
陽一 合田
Yoichi Aida
陽一 合田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2014063547A priority Critical patent/JP5597781B1/ja
Application granted granted Critical
Publication of JP5597781B1 publication Critical patent/JP5597781B1/ja
Priority to EP15160163.0A priority patent/EP2924613A1/en
Priority to US14/668,047 priority patent/US10049283B2/en
Priority to CN201510137026.5A priority patent/CN104954736B/zh
Publication of JP2015186202A publication Critical patent/JP2015186202A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

【課題】対象エリア内での移動体の滞留情報を可視化したヒートマップ画像を、対象エリアの撮像画像から生成した背景画像に重畳して表示する場合に、背景画像とヒートマップ画像とが整合しないことによる違和感を低減して自然な表示画像が得られるようにする。
【解決手段】対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの滞留情報を取得する滞留情報取得部３４と、滞留情報を可視化したヒートマップ画像を生成するヒートマップ画像生成部３５と、撮像画像から背景画像を生成する背景画像生成部３６と、背景画像上にヒートマップ画像を重畳して、表示画像を生成する表示画像生成部３７と、を備え、背景画像生成部は、撮像画像に写った移動体の識別性を低減する画像処理を撮像画像に対して行って背景画像を生成する。
【選択図】図５

Description

本発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法に関するものである。
店舗のレジカウンタでは、会計を望む顧客が増えると、会計待ちの行列ができて、顧客を長時間待たせることになるが、レジカウンタの周辺での顧客の滞留状況、すなわちレジカウンタの周辺に顧客がどの程度滞留しているかを把握することができると、この顧客の滞留状況に基づいて、店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図ることができる。
このような人物の滞留状況を把握する要望に関連するものとして、従来、対象エリア内での人物の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる技術が知られている（特許文献１参照）。このようなヒートマップ画像を用いると、対象エリア内での人物の滞留状況、すなわち人物がどの領域にどの程度滞留しているかをユーザが一目で把握することができるため、ユーザの利便性を高めることができる。
特開２００９−１３４６８８号公報
さて、滞留情報を可視化したヒートマップ画像のみでは、人物の滞留状況を対象エリア内の位置に対応させて把握することが難しい、すなわち、対象エリア内のどの領域に人物が滞留しているかをユーザが把握することが難しいため、前記従来の技術では、対象エリアの平面図を背景画像として、これにヒートマップ画像を重畳して表示するようにしている。特に、前記従来の技術では、対象エリアを分担して撮像する複数台のカメラによる撮像画像から滞留情報を取得して、その滞留情報から１つのヒートマップ画像を生成するようにしているため、対象エリアの平面図を背景画像とする必要があるが、対象エリアを１台のカメラで撮像して得られた撮像画像からヒートマップ画像を生成する場合には、１台のカメラによる撮像画像を背景画像にすることが簡便である。
しかしながら、このように撮像画像を背景画像とした場合、背景画像は、ある時点の撮像画像であるのに対して、ヒートマップ画像は、所定の計測期間内の複数の時刻の撮像画像から生成されるものであるために、背景画像とヒートマップ画像とが整合しない、すなわち景画像に映る実際の人物の滞留状態と、ヒートマップ画像が表す滞留状態とが大きく異なる場合があり、このように背景画像とヒートマップ画像とが整合しないと、ユーザに違和感を与えるという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、対象エリア内での移動体の滞留情報を可視化したヒートマップ画像を、対象エリアの撮像画像から生成した背景画像に重畳して表示する場合に、背景画像とヒートマップ画像とが整合しないことによる違和感を低減して自然な表示画像が得られるように構成された滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法を提供することにある。
本発明の滞留状況分析装置は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
また、本発明の滞留状況分析システムは、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
また、本発明の滞留状況分析方法は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップでは、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
本発明によれば、撮像画像に写った移動体の識別性（視認性）を低減する画像処理を撮像画像に対して行うことで、撮像画像に写った移動体が識別しにくくなるため、計測期間内の撮像画像の中から一律に背景画像に選択する、例えば計測期間の終了時点での撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
第１実施形態に係る滞留状況分析システムの全体構成図 店舗におけるカメラ１の設置状況を示す平面図 カメラ１による撮像画像上に設定される測定エリアを説明する説明図 ＰＣ３で生成されてモニタ７に表示される表示画像を説明する説明図 ＰＣ３の概略構成を示す機能ブロック図 背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図 背景画像とヒートマップ画像とが整合しない例を示す説明図 背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図 背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図 第２実施形態に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図 背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図 背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図 第３実施形態に係るＰＣ３の概略構成を示す機能ブロック図 背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図 類似度算出部５１で行われる類似度算出処理の概要を説明する説明図 第３実施形態の第１変形例に係るＰＣ３の概略構成を示す機能ブロック図 背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図 モニタ７に表示されるヒートマップ表示画面を示す説明図 第３実施形態の第２変形例に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図 ヒートマップ画像２３の別例を示す説明図 領域分割ヒートマップ画像を示す説明図 滞留情報取得部３４で行われる滞留情報取得処理の別例を説明する説明図
前記課題を解決するためになされた第１の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
これによると、撮像画像に写った移動体の識別性（視認性）を低減する画像処理を撮像画像に対して行うことで、撮像画像に写った移動体が識別しにくくなるため、計測期間内の撮像画像の中から一律に背景画像に選択する、例えば計測期間の終了時点での撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
また、第２の発明は、前記背景画像生成部は、ぼかし処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
これによると、背景画像が、対象エリアの概観を把握することができる状態を保ちつつ、正確な移動体の数や位置などは分かりにくいものになるため、背景画像とヒートマップ画像とが整合しないことにより生じる違和感を軽減することができる。
また、第３の発明は、前記背景画像生成部は、単一色の半透過画像を重畳する処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
これによると、背景画像が、対象エリアの概観を把握することができる状態を保ちつつ、正確な移動体の数や位置などは分かりにくいものになるため、背景画像とヒートマップ画像とが整合しないことにより生じる違和感を軽減することができる。
また、第４の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とする構成とする。
これによると、ダイジェスト画像が、計測期間の全体を通した対象エリアの状態を反映したものとなることから、このダイジェスト画像を背景画像とすることで、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
また、第５の発明は、前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の平均値を画素ごとに求めてその平均値を画素値とした平均画像を生成して、その平均画像を前記背景画像とする構成とする。
これによると、平均画像では、移動体の像が不鮮明になる一方で、静止した物体の像は比較的鮮明な状態に保持されるため、この平均画像を背景画像とすることで、移動体を除く対象エリアの状態を明瞭に把握することができるようになる。
また、第６の発明は、前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の分散を画素ごとに求めてその分散を画素値とした分散画像を生成して、その分散画像を前記背景画像とする構成とする。
これによると、分散画像では、移動体の像が不鮮明になる一方で、静止した物体の像は比較的鮮明な状態に保持されるため、この分散画像を背景画像とすることで、移動体を除く対象エリアの状態を明瞭に把握することができるようになる。
また、第７の発明は、前記背景画像生成部は、前記ダイジェスト画像として、前記計測期間内の複数の撮像画像の各々から抽出した移動体の画像を１つの前記撮像画像上に重畳した画像を生成して、その画像を前記背景画像とする構成とする。
これによると、ダイジェスト画像に、計測期間内の撮像画像に出現した移動体の像が鮮明に表示され、また、移動体以外の物体の像も鮮明に表示されるため、移動体を含む対象エリアの状態を明瞭に把握することができる。
また、第８の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、を備えた構成とする。
これによると、ヒートマップ画像の元になる滞留情報との類似度が高い撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合したものになるため、ユーザに違和感を与えることを避けることができる。
また、第９の発明は、前記背景画像生成部は、前記類似度算出部で算出された前記類似度を所定のしきい値と比較して、前記撮像画像が背景画像として適切か否かを評価する評価部をさらに備え、この評価部で背景画像として適切と評価された前記撮像画像を前記背景画像に選択する構成とする。
これによると、背景画像とヒートマップ画像とが確実に整合したものとなるため、ユーザに違和感を与えることを確実に避けることができる。
また、第１０の発明は、前記滞留情報は、滞留度数および滞留時間の少なくともいずれかである構成とする。
これによると、滞留度数、すなわち対象エリア内に滞留する移動体の個数をユーザが把握することができる。また、滞留時間、すなわち対象エリア内で移動体が滞留する時間をユーザが把握することができる。
また、第１１の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
これによると、第１の発明と同様に、計測期間内の撮像画像の中から一律に背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
また、第１２の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とする構成とする。
これによると、第４の発明と同様に、ダイジェスト画像が、計測期間の全体を通した対象エリアの状態を反映したものとなることから、このダイジェスト画像を背景画像とすることで、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
また、第１３の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、を備えた構成とする。
これによると、第８の発明と同様に、ヒートマップ画像の元になる滞留情報との類似度が高い撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合したものになるため、ユーザに違和感を与えることを避けることができる。
また、第１４の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップでは、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
これによると、第１の発明と同様に、計測期間内の撮像画像の中から一律に背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
また、第１５の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップでは、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とする構成とする。
これによると、第４の発明と同様に、ダイジェスト画像が、計測期間の全体を通した対象エリアの状態を反映したものとなることから、このダイジェスト画像を背景画像とすることで、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
また、第１６の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップは、前記撮像画像と前記滞留情報との類似度を算出するステップと、このステップで算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択するステップと、を有する構成とする。
これによると、第８の発明と同様に、ヒートマップ画像の元になる滞留情報との類似度が高い撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合したものになるため、ユーザに違和感を与えることを避けることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係る滞留状況分析システムの全体構成図である。この滞留状況分析システムは、スーパーマーケットなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（映像記録装置）２と、ＰＣ（滞留状況分析装置）３と、移動体検出装置（移動体検出部）４と、を備えている。なお、この図１に示す構成では、カメラ１、ＰＣ（滞留状況分析装置）３、移動体検出装置（移動体検出部）４を別々のデバイスとして記載しているが、近年のカメラの高機能化に伴い、移動体検出・追跡機能（動線の抽出など）や滞留状況分析機能（滞留情報としての領域ブロック単位でのカウント数、滞留数などの算出）が実装されたカメラの開発が進められており、このようなカメラを用いて、主として滞留情報をＰＣやサーバへ直接送信する構成とすることもできる。この場合、ＰＣやサーバでは、搭載された専用アプリケーションにより、カメラから送信された滞留情報に基づいて、ヒートマップ画像の生成処理、表示装置で閲覧可能な形への描画処理などを行うだけで済むため、データ処理にかかる負荷を大幅に軽減することができる。
カメラ１は店舗内の適所に設置され、カメラ１により店舗内の監視エリアが撮像され、これにより得られた映像情報がレコーダ２に録画される。
ＰＣ３には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。なお、タッチパネルディスプレイで、入力デバイス６およびモニタ７を構成してもよい。
このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。
なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。
移動体検出装置４では、カメラ１による撮像画像（フレーム）から人物（移動体）を検出する人物検出処理が行われ、撮像画像の撮像時刻ごとの人物の位置情報を出力する。この人物検出処理は、公知の画像認識技術を利用すればよい。
図２は、店舗におけるカメラ１の設置状況を示す平面図である。店舗内には商品陳列棚およびレジカウンタが設けられている。顧客は、商品陳列棚で所望の商品を入手してレジカウンタで会計を行い、このとき、顧客は、商品陳列棚が設けられた商品陳列エリア側からレジカウンタに進入し、会計が終わるとレジカウンタから退出する。カメラ１は、レジカウンタに進入する顧客を正面から撮像するように設置されており、これによりカメラ１による撮像画像から人物検出を行うことができる。
次に、図１に示したＰＣ３で行われる滞留状況分析処理で生成されるヒートマップ画像について説明する。図３は、図２に示したカメラ１による撮像画像上に設定される測定エリアを説明する説明図である。図４は、図１に示したＰＣ３で生成されてモニタ７に表示される表示画像を説明する説明図である。
図３に示すように、カメラ１による撮像画像には、レジカウンタで会計を行う人物が映り、これらの人物は、入口側、すなわちカメラ１から離れた奥側からレジカウンタに進入して、出口側、すなわちカメラ１に近接する手前側から退出し、レジカウンタの周囲に入口側から出口側に向かう人物の流れができるが、レジカウンタでの会計作業の遅延や顧客数が店員の作業能力を超えると、会計待ちの行列ができて人物が滞留する状態となる。
本実施形態では、レジカウンタの周辺での人物の滞留状況を把握するために、レジカウンタの周辺で人物が移動する領域に測定エリアを設定して、この測定エリア（対象エリア）内での人物の滞留状況に関する滞留情報、具体的には滞留度数（滞留人数）、すなわち対象エリア内に滞留する人物の人数、および滞留時間、すなわち測定エリア内で人物が滞留する時間を取得し、この滞留情報を可視化したヒートマップ画像を生成する。
図４に示す例では、カメラ１による撮像画像から生成された背景画像２１上に測定エリアを表す枠画像２２および滞留情報（滞留度数および滞留時間）を表すヒートマップ画像２３が透視状態で重畳して表示されている。また、ヒートマップ画像２３は複数の測定エリアごとに並べて表示されている。
ヒートマップ画像２３では、滞留情報の数値の大きさが、画像の属性、すなわち大きさ、色合い（色相）および色の濃さ（濃度）の少なくともいずれかで表現される。特に、図４に示す例では、円形状のヒートマップ画像２３の塗りつぶし色の濃さで滞留時間が表現され、ヒートマップ画像２３の大きさで滞留度数（滞留人数）が表現されており、滞留時間が長いほどヒートマップ画像２３の色が濃くなり、滞留度数が高いほどヒートマップ画像２３が大きくなる。
次に、図１に示したＰＣ３で行われる滞留状況分析処理について説明する。図５は、ＰＣ３の概略構成を示す機能ブロック図である。
ＰＣ３は、位置情報蓄積部３１と、動線取得部３２と、動線情報蓄積部３３と、滞留情報取得部３４と、ヒートマップ画像生成部３５と、背景画像生成部３６と、表示画像生成部３７と、を備えている。
位置情報蓄積部３１では、移動体検出装置４から取得した人物ごとの位置情報が蓄積される。なお、位置情報には、カメラ１による撮像画像（映像の各フレーム）から検出された人物ごとの検出位置、および人物が検出された撮像画像の撮像時刻から取得した人物ごとの検出時刻などに関する情報が含まれる。
動線取得部３２では、カメラ１による撮像画像から検出された人物ごとの動線を取得する処理が行われる。この動線取得処理は、移動体検出装置４で生成されて位置情報蓄積部３１に蓄積された人物ごとの位置情報に基づいて行われる。この動線取得部３２で取得した人物ごとの動線に関する情報は動線情報蓄積部３３に蓄積される。
滞留情報取得部３４は、動線情報蓄積部３３に蓄積された動線情報に基づいて、測定エリア内での人物の滞留状況に関する滞留情報を所定の計測期間ごとに取得するものであり、滞留度数取得部４１と、滞留時間取得部４２と、を備えている。
滞留度数取得部４１では、動線取得部３２で取得した人物ごとの動線情報に基づいて、測定エリアごとの滞留度数（滞留人数）を取得する処理が行われる。この処理では、計測期間において測定エリアを通過した動線の本数をカウントして、計測期間における測定エリアごとの滞留度数を求める。
滞留時間取得部４２では、動線取得部３２で取得した人物ごとの動線情報に基づいて、人物ごとの測定エリア内での滞留時間を取得する処理が行われる。この処理では、まず、計測期間内において、人物ごとの滞留時刻（測定エリアに対する進入時刻および退出時刻）から人物ごとの滞留時間を取得し、次に、この人物ごとの滞留時間から、平均化などの適宜な統計処理で測定エリアごとの滞留時間を取得する。
ヒートマップ画像生成部３５では、滞留情報取得部３４で取得した滞留情報（滞留度数および滞留時間）を可視化したヒートマップ画像を計測期間ごとに生成する処理が行われる。
背景画像生成部３６では、計測期間において撮像された複数の撮像画像から１つの撮像画像を選択して、その１つの撮像画像を対象にして画像処理を行って背景画像を生成する処理が行われる。本実施形態では、撮像画像に写った人物の識別性を低減する画像処理を撮像画像の全体に対して行って背景画像を生成する処理が行われる。
表示画像生成部３７では、背景画像生成部３６で生成した背景画像上に、ヒートマップ画像生成部３５で生成したヒートマップ画像を重畳して、表示画像を生成する処理が行われる。
なお、図５に示したＰＣ３の各部は、ＰＣ３のＣＰＵで滞留状況分析用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、図５に示した背景画像生成部３６で行われる処理について説明する。図６は、背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。
本実施形態では、前記のように、移動体検出装置４において、各時刻の撮像画像（フレーム）から人物を検出して位置情報を取得する処理が行われ、動線取得部３２において、各時刻の位置情報から人物ごとの動線を取得する処理が行われ、滞留情報取得部３４において、所定の計測期間（例えば３０分）における動線情報に基づいて滞留情報（滞留度数および滞留時間）を取得する処理が行われ、ヒートマップ画像生成部３５において、滞留情報からヒートマップ画像を生成する処理が行われる。
一方、背景画像生成部３６では、所定の計測期間において撮像された複数の撮像画像から一律に１つの撮像画像を選択して、その１つの撮像画像を対象にして画像処理を行って背景画像を生成する処理が行われる。図６に示す例では、計測期間の終了時点での撮像画像を選択して、その撮像画像から背景画像を生成する。そして、表示画像生成部３７において、背景画像上にヒートマップ画像を重畳して表示画像を生成する処理が行われる。
ここで、背景画像とヒートマップ画像とが整合しない例について説明する。図７は、背景画像とヒートマップ画像とが整合しない例を示す説明図である。
計測期間の終了時点の撮像画像など、計測期間内の複数の撮像画像から背景画像とする撮像画像を一律に選択する場合、背景画像はある時点の撮像画像であるのに対して、ヒートマップ画像は、計測期間内の複数の時刻の撮像画像から生成されるものであるため、背景画像とヒートマップ画像とが整合しない、すなわち背景画像に映る実際の人物の滞留状態と、ヒートマップ画像が表す滞留状態とが大きく異なる場合があり、この場合、ユーザに違和感を与える。
ここで、背景画像とヒートマップ画像とが整合しないケースとして、図７（Ａ），（Ｂ）に示す２つのケースがある。
図７（Ａ）に示すケースは、１つの測定エリアにおける背景画像とヒートマップ画像との関係が時間的に整合しない場合であり、図７（Ａ）に示す例では、第１の時刻（計測期間が9:00〜10:00）の表示画像と次の第２の時刻（計測期間が10:00〜11:00）の表示画像とを比較すると、ヒートマップ画像では、第１の時刻より次の第２の時刻の方が滞留度数が高い、すなわち混雑しているが、背景画像では、第１の時刻の方が次の第２の時刻より多くの人物が映っており、背景画像とヒートマップ画像とが整合しない。
図７（Ｂ）に示すケースでは、ある時刻の表示画像における背景画像とヒートマップ画像との関係が２つの測定エリアで整合しない場合であり、図７（Ｂ）に示す例では、ヒートマップ画像では、第１の測定エリアより第２の測定エリアの方が滞留度数が高い、すなわち混雑しているが、背景画像では、第１の測定エリアの方が第２の測定エリアより多くの人物が映っており、背景画像とヒートマップ画像とが整合しない。
そこで、本実施形態では、背景画像とヒートマップ画像とが整合しないことによりユーザに与える違和感を軽減するため、以下に示すように、計測期間において撮像された複数の撮像画像から一律に選択した撮像画像に対して画像処理を行って背景画像を生成するようにしている。
次に、図５に示した背景画像生成部３６で行われる背景画像生成処理について説明する。図８および図９は、背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図である。
背景画像生成部３６では、撮像画像に写った人物の識別性（視認性）を低減する画像処理を撮像画像の全体に対して行って背景画像を生成する処理が行われ、図８（Ａ）および図９（Ａ）に示す背景画像が生成される。表示画像生成部３７では、この背景画像生成部３６で生成した背景画像上にヒートマップ画像を重畳して表示画像を生成する処理が行われ、図８（Ｂ）および図９（Ｂ）に示す表示画像が生成される。
図８に示す例は、撮像画像に写った人物の識別性を低減する画像処理として、撮像画像に対してぼかし処理、特にモザイク処理、すなわち撮像画像を複数のブロックに分割して、ブロック内の１つの画素の画素値あるいはブロック内の各画素の画素値の平均値などの単一の画素値に、そのブロック内の全ての画素の画素値を置換する処理を行った場合である。図９に示す例は、撮像画像に単一色の半透過画像を重畳する処理を行った場合である。
なお、ぼかし処理としては、モザイク処理の他に、各種のフィルタ処理、例えば、ブラーフィルタ、ガウシアンフィルタ、メディアンフィルタ、およびバイラテラルフィルタなどによるフィルタ処理も可能である。さらに、撮像画像に写った人物の識別性を低減するには、グレースケール変換、ネガ／ポジ反転、色調補正（明るさ変化、ＲＧＢカラーバランス変化、コントラスト変化、ガンマ補正、および彩度調整など）、２値化、ならびにエッジフィルタなどの各種の画像処理を利用することも可能である。
このように本実施形態では、背景画像生成部３６において、撮像画像に写った人物の識別性（視認性）を低減する画像処理を撮像画像の全体に対して行って背景画像を生成するようにしており、このような画像処理が行われた背景画像では、撮像画像に写った人物が識別しにくくなるため、計測期間内の撮像画像の中から一律に背景画像に選択する、例えば計測期間の終了時点での撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
特に、本実施形態では、撮像画像に写った人物の識別性を低減する画像処理として、ぼかし処理や、透過単一色を重畳する処理を撮像画像の全体に対して行うようにしたため、対象エリアの概観、すなわちどこに何があるかを大まかに把握することができる状態を保ちつつ、正確な人物の人数や位置などは分かりにくくなるため、背景画像とヒートマップ画像とが整合しないことにより生じる違和感を軽減することができる。
なお、本実施形態では、撮像画像に写った人物の識別性を低減する画像処理を撮像画像の全体に対して行うようにしたが、撮像画像の一部、特に人物が通過する領域のみを対象にして画像処理を行うようにしてもよい。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
図１０は、第２実施形態に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。図１１および図１２は、背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図である。
この第２実施形態では、図１０に示すように、背景画像生成部３６において、滞留情報に対応する計測期間において撮像された複数の撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を背景画像とする処理が行われる。なお、ダイジェスト画像を生成する際に、計測期間内の全ての撮像画像を対象とする他、計測期間内の撮像画像の中から一定の間隔をおいて複数の撮像画像を選択するようにしてもよい。
特にこの第２実施形態では、背景画像生成部３６において、ダイジェスト画像として、複数の撮像画像における画素値（例えば輝度値）の平均値を画素ごとに求めてその平均値を画素値とした平均画像を生成して、その平均画像を背景画像とする処理が行われる。また、背景画像生成部３６において、ダイジェスト画像として、複数の撮像画像における画素値（例えば輝度値）の分散を画素ごとに求めてその分散を画素値とした分散画像を生成して、その分散画像を背景画像とする処理が行われる。これにより、図１１（Ａ）に示す背景画像が生成される。そして、表示画像生成部３７において、背景画像生成部３６で生成した背景画像上にヒートマップ画像を重畳する処理が行われ、図１１（Ｂ）に示す表示画像が生成される。
なお、平均画像では、人物が通過しない背景部分は、ノイズや日照変動などの影響があるものの、概ね鮮明な状態に保持され、レジカウンタなどの静止した物体の像が鮮明に現れる。一方、人物が通過する部分は不鮮明な状態となり、人物らしき像が現れるものの、その人物の像は不鮮明になり、特に、人物が長く滞留している部分では人物の像が鮮明に現れるが、通過する人物が少ない部分は背景に近い画像となり、通過する人物が多い部分では人物の像が不鮮明となる。
また、分散画像では、例えば白黒表示で、分散値が小さい方を黒で表示するようにすると、人物が通過しない背景部分は、ノイズや日照変動などの影響があるものの、分散がほぼ０となるため、黒に近い色で表示される。一方、人物が通過する部分は不鮮明な状態となり、特に、通過する人物が少ない部分や人物が長く滞留している部分は、輝度変化があまりないため、背景と同様に黒に近い色で表示され、通過する人物が多い部分では不鮮明な人物らしき像が現れる。
また、この第２実施形態では、背景画像生成部３６において、計測期間内の複数の撮像画像の各々から抽出した人物の画像を１つの撮像画像上に重畳したダイジェスト画像を生成して、そのダイジェスト画像を背景画像とする処理が行われる。これにより、図１２（Ａ）に示す背景画像が生成される。そして、表示画像生成部３７において、背景画像生成部３６で生成した背景画像上にヒートマップ画像を重畳する処理が行われ、図１２（Ｂ）に示す表示画像が生成される。
図１２に示す例では、背景画像（ダイジェスト画像）内の人物の像の部分に時刻が表示されている。この時刻は、その人物の像を抽出した撮像画像の撮像時刻、すなわちその人物が撮像画像内に出現した時刻である。なお、時刻を表示させないようにしてもよい。
また、ダイジェスト画像を生成する際に、人物の画像が重畳される背景用の撮像画像には、計測期間の終了時点での撮像画像を用いてもよいが、撮影画像から人物の画像を除去したものを用いるようにしてもよく、この場合、例えば直近に撮影された複数の撮像画像からそれぞれ人物の画像を除去して、その複数の撮像画像から背景用の撮像画像を合成するようにすればよい。また、人物が存在しないときの撮影画像、例えば開店前の撮影画像を背景用の撮像画像として予め用意しておくようにしてもよい。
なお、ダイジェスト画像を静止画で表示する、すなわち計測期間内の撮像画像内に出現した複数の人物の画像を同時に背景用の撮像画像上に重畳して１つのダイジェスト画像を生成するようにしてもよいが、ダイジェスト画像を動画で表示する、すなわち計測期間内の撮像画像内に出現した人物の画像をその人物の出現時刻の順に表示するようにしてもよい。
また、撮像画像内に出現した人物が移動することで、人物の画像の位置が変化するため、背景用の撮像画像上に重畳させる人物の画像をどのタイミングのものにするかが問題となるが、例えば人物の出現期間の中心時刻での人物の画像を用いるようにしてもよく、また、背景画像が見にくくならないように、複数の人物の画像ができるだけ分散させて過度に重なり合わない位置に配置されるように人物の画像を選択するようにしてもよい。
このように本実施形態では、背景画像生成部３６において、滞留情報に対応する計測期間において撮像された複数の撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を背景画像としており、このようなダイジェスト画像は、計測期間の全体を通した対象エリアの状態を反映したものとなることから、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
特に、本実施形態では、平均画像や分散画像を背景画像としており、この平均画像や分散画像では、人物の像は不鮮明になるが、レジカウンタなどの静止した物体の像は比較的鮮明な状態に保持されるため、人物を除く対象エリアの状態を明瞭に把握することができる。また、平均画像や分散画像には、実際に人物が存在した領域に人物らしき像が現れるが、この平均画像や分散画像は、計測期間の全体を通した対象エリアの状態を反映したものとなるため、平均画像や分散画像に現れる人物らしい像は、ヒートマップ画像と整合するものとなるため、ユーザに違和感を与えることを避けることができる。
また、本実施形態では、計測期間内の複数の撮像画像の各々から抽出した人物の画像を１つの撮像画像に重畳したダイジェスト画像を背景画像としており、このようなダイジェスト画像には、計測期間内の撮像画像に出現した人物の像が鮮明に表示され、また、人物以外の物体の像も鮮明に表示されるため、人物を含む対象エリアの状態を明瞭に把握することができる。
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
図１３は、第３実施形態に係るＰＣ３の概略構成を示す機能ブロック図である。図１４は、図１３に示した背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。図１５は、図１３に示した類似度算出部５１で行われる類似度算出処理の概要を説明する説明図である。
第１実施形態および第２実施形態では、背景画像生成部３６において、撮像画像に対して適宜な画像処理を行って背景画像を生成するようにしたが、この第３実施形態では、背景画像として適切な撮像画像を探し出す処理が行われ、画像処理は行われない。特に、この第３実施形態では、図１４に示すように、滞留情報の計測期間内の各時刻の撮像画像の類似度を算出して、その類似度が最も高い撮像画像を背景画像に選択するようにしている。
図１３に示すように、背景画像生成部３６は、類似度算出部５１と、背景画像選択部５２と、を備えている。類似度算出部５１では、滞留情報の計測期間内の各時刻の撮像画像について、その撮像画像から得られた位置情報と、滞留情報取得部３４で取得した滞留情報とを比較して、各時刻の撮像画像と滞留情報との類似度を算出する処理が行われる。背景画像選択部５２では、類似度算出部５１で算出された類似度に基づいて、滞留情報の計測期間内の各時刻の撮像画像の中から、類似度が最も高い撮像画像を背景画像に選択して出力する処理が行われる。
類似度算出部５１では、位置情報蓄積部３１に蓄積された位置情報に含まれる人物ごとの人物枠の情報を取得して、撮像画像上で人物枠が存在する領域（人物存在領域）の大きさを求め、この人物存在領域の大きさとヒートマップ画像で表される滞留情報の数値の大きさとを比較して、撮像画像と滞留情報との類似度を算出する。この類似度の算出では、除算などの適宜な計算で類似度を算出すればよい。
図１５（Ａ）は、ある時刻の表示画像であり、この表示画像内のヒートマップ画像によると、第１の測定エリアでは滞留度数が小さく、第２の測定エリアでは滞留度数が大きくなっているが、背景画像では、第１の測定エリアで人物が多く、第２の測定エリアで人物が少なくなっており、背景画像とヒートマップ画像とが整合しない。
図１５（Ｂ）は、撮像画像から検出された人物枠を示しており、各測定エリアにおいて人物存在領域の大きさを求め、各測定エリアにおける人物存在領域の大きさと、ヒートマップ画像で表される滞留度数とを比較して、各測定エリアにおける類似度を算出する。図１５に示す例では、第１の測定エリアで人物存在領域が大きく、第２の測定エリアで人物存在領域が小さくなっており、各測定エリアにおける人物存在領域の大きさとヒートマップ画像で表される滞留度数とが対応していないため、類似度が低くなる。
このように本実施形態では、類似度算出部５１において、撮像画像と滞留情報との類似度を算出し、背景画像選択部５２において、類似度算出部５１で算出された類似度に基づいて、複数の撮像画像の中から背景画像とする撮像画像を選択するようにしたため、背景画像とヒートマップ画像とが整合したものとなるため、ユーザに違和感を与えることを避けることができる。
（第３実施形態の第１変形例）
次に、第３実施形態の第１変形例について説明する。図１６は、第３実施形態の第１変形例に係るＰＣ３の概略構成を示す機能ブロック図である。図１７は、図１６に示した背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。
第３実施形態では、撮像画像と滞留情報との類似度のみに基づいて背景画像の選択を行う、すなわち滞留情報の計測期間内で類似度が最も高い撮像画像を背景画像に選択するようにしたが、この第１変形例では、類似度に基づいて選択された撮像画像が背景画像として適切なものか否かの評価を行うようにしており、図１６に示すように、背景画像生成部３６は、類似度算出部５１および背景画像選択部５２に加えて、評価部５３を備えている。
評価部５３では、類似度算出部５１で算出された各時刻の撮像画像の類似度の中で最も高い類似度を所定のしきい値と比較して、その撮像画像が背景画像として適切か否かを評価する処理が行われる。ここで、類似度がしきい以上の場合は、背景画像として適切であると評価し、類似度がしきい値未満の場合は、背景画像として適切でないと評価する。
この評価部５３での評価は、図１７に示すように、まず、滞留情報の計測期間内の各時刻の撮像画像を対象にして行われ、滞留情報の計測期間内の各時刻の撮像画像の全てが背景画像として適切でないと評価されると、別の計測期間、例えば１つ前の計測期間の撮像画像を対象にして評価が行われ、背景画像として適切な撮像画像が見つかると、その撮像画像を背景画像に選択する。
ところで、この第３実施形態の第１変形例では、評価部５３において撮像画像が背景画像として適切か否かの評価を行うようにしたが、滞留情報の計測期間内で類似度が最も高く、かつその類似度がしきい値以上となる撮像画像を背景画像に選択しても、図７（Ａ）に示したように、時間的に隣り合う計測期間の表示画像同士で整合がとれない場合がある。
そこで、評価部５３において、しきい値による評価に加えて、時間的な整合性、すなわち時間的に隣り合う計測期間の表示画像同士の整合性に関する評価を行うようにしてもよい。この時間的な整合性に関する評価で、滞留情報の計測期間内から選択された撮像画像が背景画像として適切でないと評価されると、背景画像選択部５２において、別の計測期間、例えば１つ前の計測期間の撮像画像の中から、背景画像としてより適切な撮像画像を選択する。
このように本変形例では、評価部５３において、類似度算出部５１で算出された類似度を所定のしきい値と比較して、撮像画像が背景画像として適切か否かを評価し、この評価部５３で背景画像として適切と評価された撮像画像を背景画像に選択するようにしたため、背景画像とヒートマップ画像とが確実に整合したものとなるため、ユーザに違和感を与えることを確実に避けることができる。
図１８は、モニタ７に表示されるヒートマップ表示画面を示す説明図である。このヒートマップ表示画面には、日時表示部６１と、日時設定ボタン６２と、ヒートマップ表示部６３と、注意書き表示部６４と、が設けられている。
ヒートマップ表示部６３には、背景画像上にヒートマップ画像を重畳した表示画像が表示される。日時表示部６１は、日時を表示するものであり、日時設定ボタン６２は、日時を設定するものである。日時設定ボタン６２を操作すると、図示しない日時設定画面が表示され、ここで日時を選択することで、選択した日時が日時表示部６１に表示され、また、選択した日時の表示画像がヒートマップ表示部６３に表示される。
注意書き表示部６４には、表示された時間帯（ヒートマップ画像の計測期間）と異なる時刻の撮像画像を背景画像に選択した場合に、その旨の文字が表示される。これにより、背景画像から対象エリアの状況に関して誤った推測が行われることを避けることができる。すなわち、対象エリアの実際の状況は時々刻々と変化し、表示された時間帯と異なる時刻の撮像画像を背景画像に選択すると、例えば表示された時間帯では存在しない人物が背景画像に写る場合があり、このような場合、背景画像から誤った推測が行われることがあるが、注意書き表示部６４で、表示された時間帯と異なる時刻の撮像画像を背景画像に選択した旨の表示を行うことで、誤った推測を避けることができる。
なお、表示された時間帯（ヒートマップ画像の計測期間）と異なる時刻の撮像画像を背景画像に選択したことを表す表示は、文字によるものに限定されるものではなく、ヒートマップ表示部６３の枠部分に着色を施すなどの強調表示や、アイコンなどで行うようにしてもよい。
また、図１１および図１２に示したように、ダイジェスト画像を背景画像とする場合にも、ヒートマップ表示画面に注意書き表示部６４を設けるようにするとよい。この場合、注意書き表示部にダイジェスト画像であることを表す文字が表示される。なお、ヒートマップ表示部６３の強調表示やアイコンなどでダイジェスト画像であることを表示するようにしてもよい。このようにすると、背景画像が実際の撮影画像ではなく、ダイジェスト画像であることをユーザが把握することができる。
（第３実施形態の第２変形例）
次に、第３実施形態の第２変形例について説明する。図１９は、第３実施形態の第２変形例に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。なお、この第２変形例でのＰＣ３の概略構成は、図１６に示した第１変形例と同様である。
この第２変形例では、第１変形例と同様に、撮像画像と滞留情報との類似度をしきい値と比較することで、撮像画像が背景画像として適切なものか否かの評価を行うが、特にこの第２変形例では、所定の候補選択規則にしたがって候補となる撮像画像を選択して、背景画像として適切な撮像画像を探し出すようにしている。
具体的には、まず、類似度算出部５１において、滞留情報の計測期間の終了時点での撮像画像の類似度を算出して、評価部５３において、その撮像画像が背景画像として適切か否かの評価を行い、その撮像画像が背景画像として適切でないものと評価されると、所定の候補選択規則にしたがって候補となる撮像画像を選択して、再度、その撮像画像が背景画像として適切なものか否かの評価を行い、この撮像画像の選択および評価を、背景画像として適切であると評価される撮像画像が見つかるまで繰り返し、背景画像として適切な撮像画像が見つかると、背景画像選択部５２において、その撮像画像を背景画像に選択して出力する。
特に、図１９に示す例では、候補選択規則を、計測期間より短い所定の選択間隔、例えば１０分間だけ過去に遡った時刻の撮像画像を選択するものとしており、滞留情報の計測期間の終了時点での撮像画像から、選択間隔ずつ遡って撮像画像を選択して、撮像画像が背景画像として適切なものか否かの評価を繰り返して、背景画像として適切な撮像画像を探し出すようにしている。
なお、この第２変形例では、選択間隔だけ遡って１つの撮像画像を選択して評価を行うようにしたが、選択間隔内の複数の撮像画像を対象にして評価を行い、その中の撮像画像が全て背景画像として適切でないものと評価されると、その前の選択間隔内の複数の撮像画像を対象にして評価を行い、これを背景画像として適切であると評価される撮像画像が見つかるまで繰り返すようにしてもよい。
次に、図４に示したヒートマップ画像２３の別例について説明する。図２０は、ヒートマップ画像２３の別例を示す説明図である。
図４に示した例では、背景画像２１上に測定エリアを表す枠画像２２および滞留情報（滞留度数および滞留時間）を表すヒートマップ画像２３を重畳して表示し、特にヒートマップ画像２３を円形の図形を用いて表現するようにしたが、このヒートマップ画像２３は、図形、文字および記号の少なくともいずれかからなるものであればよい。すなわち、円形以外の図形、例えば正方形の図形を用いるようにしてもよい。さらに、ヒートマップ画像２３を、図形以外、例えば記号や文字で表現するようにしてもよい。
また、図４に示した例では、滞留度数をヒートマップ画像２３の大きさで表現し、滞留時間の長さをヒートマップ画像２３の塗りつぶし色の濃さで表現するようにしたが、滞留情報（滞留度数および滞留時間）の数値の大きさを、ヒートマップ画像２３の属性、すなわちヒートマップ画像２３の大きさ、ヒートマップ画像２３の塗りつぶし色、ヒートマップ画像２３の輪郭線の色合い、色の濃さおよび太さの少なくともいずれかで表現することができる。
例えば、図２０（Ａ），（Ｂ），（Ｃ）に示す例では、ヒートマップ画像２３が正方形の図形からなっている。特に、図２０（Ａ），（Ｂ），（Ｃ）に示す例では、滞留度数を正方形の大きさで表現している。また、図２０（Ａ）に示す例では、滞留時間の長さを正方形の塗りつぶしの色の濃さで表現し、図２０（Ｂ）に示す例では、滞留時間の長さを正方形の輪郭線の太さで表現し、図２０（Ｃ）に示す例では、滞留時間の長さを正方形の輪郭線の色の濃さで表現している。なお、図２０（Ａ），（Ｃ）に示す例では、色の濃さの代わりに色合いで表現するようにしてもよい。
図２０（Ｄ）に示す例では、ヒートマップ画像２３が記号からなっており、特にここでは、滞留度数を記号の大きさで表現し、滞留時間の長さを記号で表現している。また、図２０（Ｅ）に示す例では、ヒートマップ画像２３が文字からなっており、特にここでは、滞留度数を文字の大きさで表現し、滞留時間の長さを文字で表現している。
次に、領域分割ヒートマップ画像について説明する。図２１は、領域分割ヒートマップ画像を示す説明図である。
図４に示した例では、監視エリア（カメラの撮像エリア）内に測定エリア（対象エリア）を設定して、測定エリアごとの滞留情報を表すヒートマップ画像２３を背景画像上に重畳するようにしたが、この図２１に示す例では、監視エリアの全体を対象エリアとして、その対象エリアを複数のグリッド（分割領域）に分割して、グリッドごとの滞留度数を表すヒートマップ画像を背景画像上に重畳するようにしており、このヒートマップ画像により、対象エリアにおける滞留度数の分布状況を可視化することができる。
また、このヒートマップ画像では、人物の滞留度数（滞留人数）に応じて、色、濃淡、およびパターン画像の少なくともいずれかの可視化要素を変更することで、人物の滞留度数を可視化することができ、図２１に示す例では、グリッドの濃淡（塗りつぶし色の濃さ）でグリッドごとの滞留度数が表現されている。
このようなヒートマップ画像を生成するには、計測期間内において各グリッドを通過した人物の動線の本数をカウントして、グリッドごとの滞留度数を求めればよい。
次に、図５に示した滞留情報取得部３４で行われる滞留情報取得処理の別例について説明する。図２２は、滞留情報取得部３４で行われる滞留情報取得処理の別例を説明する説明図である。なお、この別例は、図２１に示した領域分割ヒートマップ画像を生成する場合に適用される。
第１実施形態では、動線の本数をカウントして滞留度数を取得するようにしたが、この図２２に示す例では、画素（検出要素）ごとに人物枠（人物が存在する領域）内に位置する回数をカウントして、画素ごとの滞留度数（カウンタ値）を取得し、この画素単位の動体活動値を適宜な統計処理によりグリッド単位で集約して、グリッド単位の滞留度数を取得するようにしている。
ここで、撮像画像から人物枠を検出する処理は、移動体検出装置４において行われる。また、画素単位の動体活動値をグリッド単位で集約する処理では、例えばグリッド内の各画素の滞留度数の平均値、すなわち、グリッド内の全ての画素の滞留度数を合計し、その合計値をグリッドの画素数で割った値を、そのグリッドの滞留度数とすればよい。
なお、ここでは、人物枠内に位置する回数をカウントして滞留度数を取得するようにしたが、人物枠の中心点がグリッド内に位置する回数をカウントして、グリッド単位の滞留度数を取得するようにしてもよい。また、この図２２に示す方法では、人物ごとの動線を取得する必要がないため、図５に示した動線取得部３２および動線情報蓄積部３３を省略することができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、前記の各実施形態に示した本発明に係る滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、前記の各実施形態では、スーパーマーケットなどの小売店舗のレジカウンタを対象エリアとしたが、待ち行列の発生するような場所、例えば、銀行のＡＴＭコーナー、イベントや展示会などの各種の会場の入口ゲートや受付、展示パネル、展示ブース前などを対象エリアとすることも可能である。
また、前記の各実施形態では、滞留情報（滞留度数および滞留時間）の測定対象となる移動体を人物とした例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を対象として、駐車場に入場する車両の滞留状況を把握する用途に適用することも可能である。
また、前記の各実施形態では、移動体検出装置４において、カメラ１による撮像画像から画像解析で移動体を検出してその位置情報を出力するようにしたが、このような構成の他に、無線信号などを利用して移動体を検出する構成、例えば移動体に付けたタグをセンサで検出する構成や、ＧＰＳ（Global Positioning System）を用いた構成や、光で人物を検出する位置センサを用いた構成なども可能である。
また、前記の各実施形態では、滞留情報を表すヒートマップ画像の一例を図４および図２１に示したが、ヒートマップ画像はこれらの例に限定されるものではなく、種々の描画方法で滞留情報を表現することができる。例えば、滞留情報の数値の大きさを等高線状に色分けして表示するようにしてもよい。
また、前記の各実施形態では、カメラ１とは別に移動体検出装置４を設けたが、この移動体検出装置の機能の一部あるいは全部をカメラ１に一体化して移動体検出機能付き撮像装置として構成することも可能であることは、前述の通りである。また、移動体検出装置４をＰＣ３で構成することも可能である。
また、前記の各実施形態では、滞留状況分析に必要な処理を店舗に設置されたＰＣ３に行わせるとともに、ＰＣ３のモニタ７に滞留状況分析結果、すなわち背景画像上にヒートマップ画像を重畳した表示画像を表示させるようにしたが、滞留状況分析に必要な処理を行う情報処理装置とは別の情報処理装置、例えば、図１に示したように、本部に設置されたＰＣ１１やスマートフォン１３などの携帯型端末を滞留状況分析結果の閲覧装置として構成するようにしてもよい。
また、前記の各実施形態では、滞留状況分析に必要な処理を店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で滞留状況分析システムが構成される。
このような構成では、滞留状況分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば移動体検出処理や動線取得処理を、店舗に設けられたＰＣ３などの装置に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、滞留状況分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば移動体検出処理や線取得処理を、クラウドコンピュータ１２に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ１２に必要な処理の全部を行わせ、また、少なくともクラウドコンピュータ１２に滞留状況分析結果を出力する機能を与えるようにすると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３などの携帯型端末でも、滞留状況分析結果を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で滞留状況を確認することができる。
また、前記の各実施形態では、それぞれに特徴のある種々の構成を示したが、これらの構成は、各実施形態で示した組み合わせに限定されるものではなく、各実施形態で別々に示した構成を適宜に組み合わせることも可能である。特に、第１実施形態による撮像画像に写った人物の識別性を低減する画像処理は、人物のプライバシー保護の観点で有効であり、この識別性を低減する画像処理を第２、３実施形態で生成されるダイジェスト画像に対しても適用可能であり、人物のプライバシー保護においては、こうした実施形態の組合せでの運用が必要となる。
本発明にかかる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法は、対象エリア内での移動体の滞留情報を可視化したヒートマップ画像を、対象エリアの撮像画像から生成した背景画像に重畳して表示する場合に、背景画像とヒートマップ画像とが整合しないことによる違和感を低減して自然な表示画像が得られる効果を有し、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法などとして有用である。
１ カメラ
２ レコーダ
３ ＰＣ
４ 移動体検出装置（移動体検出部）
６ 入力デバイス
７ モニタ（表示装置）
１２ クラウドコンピュータ
１３ スマートフォン
２１ 背景画像
２２ 枠画像
２３ ヒートマップ画像
３１ 位置情報蓄積部
３２ 動線取得部
３３ 動線情報蓄積部
３４ 滞留情報取得部
３５ ヒートマップ画像生成部
３６ 背景画像生成部
３７ 表示画像生成部
４１ 滞留度数取得部
４２ 滞留時間取得部
５１ 類似度算出部
５２ 背景画像選択部
５３ 評価部

Claims (16)

  1. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、
    前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
    この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
    前記撮像画像から背景画像を生成する背景画像生成部と、
    この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
    を備え、
    前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする滞留状況分析装置。
  2. 前記背景画像生成部は、ぼかし処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする請求項１に記載の滞留状況分析装置。
  3. 前記背景画像生成部は、単一色の半透過画像を重畳する処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする請求項１に記載の滞留状況分析装置。
  4. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、
    前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
    この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
    前記撮像画像から背景画像を生成する背景画像生成部と、
    この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
    を備え、
    前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とすることを特徴とする滞留状況分析装置。
  5. 前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の平均値を画素ごとに求めてその平均値を画素値とした平均画像を生成して、その平均画像を前記背景画像とすることを特徴とする請求項４に記載の滞留状況分析装置。
  6. 前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の分散を画素ごとに求めてその分散を画素値とした分散画像を生成して、その分散画像を前記背景画像とすることを特徴とする請求項４に記載の滞留状況分析装置。
  7. 前記背景画像生成部は、前記ダイジェスト画像として、前記計測期間内の複数の撮像画像の各々から抽出した移動体の画像を１つの前記撮像画像上に重畳した画像を生成して、その画像を前記背景画像とすることを特徴とする請求項４に記載の滞留状況分析装置。
  8. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、
    前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
    この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
    前記撮像画像から背景画像を生成する背景画像生成部と、
    この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
    を備え、
    前記背景画像生成部は、
    前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、
    この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、
    を備えたことを特徴とする滞留状況分析装置。
  9. 前記背景画像生成部は、
    前記類似度算出部で算出された前記類似度を所定のしきい値と比較して、前記撮像画像が背景画像として適切か否かを評価する評価部をさらに備え、
    この評価部で背景画像として適切と評価された前記撮像画像を前記背景画像に選択することを特徴とする請求項８に記載の滞留状況分析装置。
  10. 前記滞留情報は、滞留度数および滞留時間の少なくともいずれかであることを特徴とする請求項１から請求項９のいずれかに記載の滞留状況分析装置。
  11. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、
    前記対象エリアを撮像するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、
    この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
    この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
    前記撮像画像から背景画像を生成する背景画像生成部と、
    この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
    を備え、
    前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする滞留状況分析システム。
  12. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、
    前記対象エリアを撮像するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、
    この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
    この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
    前記撮像画像から背景画像を生成する背景画像生成部と、
    この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
    を備え、
    前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とすることを特徴とする滞留状況分析システム。
  13. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、
    前記対象エリアを撮像するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、
    この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
    この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
    前記撮像画像から背景画像を生成する背景画像生成部と、
    この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
    を備え、
    前記背景画像生成部は、
    前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、
    この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、
    を備えたことを特徴とする滞留状況分析システム。
  14. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、
    前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、
    このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、
    前記撮像画像から背景画像を生成するステップと、
    このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、
    を有し、
    前記背景画像を生成するステップでは、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする滞留状況分析方法。
  15. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、
    前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、
    このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、
    前記撮像画像から背景画像を生成するステップと、
    このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、
    を有し、
    前記背景画像を生成するステップでは、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とすることを特徴とする滞留状況分析方法。
  16. 対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、
    前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、
    このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、
    前記撮像画像から背景画像を生成するステップと、
    このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、
    を有し、
    前記背景画像を生成するステップは、
    前記撮像画像と前記滞留情報との類似度を算出するステップと、
    このステップで算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択するステップと、
    を有することを特徴とする滞留状況分析方法。
JP2014063547A 2014-03-26 2014-03-26 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 Active JP5597781B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014063547A JP5597781B1 (ja) 2014-03-26 2014-03-26 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
EP15160163.0A EP2924613A1 (en) 2014-03-26 2015-03-20 Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method
US14/668,047 US10049283B2 (en) 2014-03-26 2015-03-25 Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method
CN201510137026.5A CN104954736B (zh) 2014-03-26 2015-03-26 滞留状况分析装置、滞留状况分析系统及分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014063547A JP5597781B1 (ja) 2014-03-26 2014-03-26 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Publications (2)

Publication Number Publication Date
JP5597781B1 JP5597781B1 (ja) 2014-10-01
JP2015186202A true JP2015186202A (ja) 2015-10-22

Family

ID=51840280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014063547A Active JP5597781B1 (ja) 2014-03-26 2014-03-26 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Country Status (4)

Country Link
US (1) US10049283B2 (ja)
EP (1) EP2924613A1 (ja)
JP (1) JP5597781B1 (ja)
CN (1) CN104954736B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110385A (ja) * 2014-12-05 2016-06-20 株式会社チャオ ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
JP2017123024A (ja) * 2016-01-06 2017-07-13 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP2017123025A (ja) * 2016-01-06 2017-07-13 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US9794508B2 (en) 2014-10-17 2017-10-17 Panasonic Intellectual Property Management Co., Ltd. Monitoring device, monitoring system, and monitoring method
WO2019194084A1 (ja) * 2018-04-04 2019-10-10 パナソニック株式会社 交通監視システムおよび交通監視方法
JP6744652B1 (ja) * 2020-04-30 2020-08-19 アースアイズ株式会社 混雑情報報知システム
US11195295B2 (en) 2018-11-22 2021-12-07 Ricoh Company, Ltd. Control system, method of performing analysis and storage medium
JP7477849B1 (ja) 2023-01-16 2024-05-02 国立大学法人 東京大学 作業システム及び溶接システム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5866564B1 (ja) * 2014-08-27 2016-02-17 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5879616B1 (ja) * 2014-10-07 2016-03-08 パナソニックＩｐマネジメント株式会社 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体
JP5907362B1 (ja) * 2014-10-08 2016-04-26 パナソニックＩｐマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
JP6624629B2 (ja) * 2014-10-10 2019-12-25 Ｎｅｃソリューションイノベータ株式会社 魚計数装置、魚計数方法、魚数の予測装置、魚数の予測方法、魚計数システムおよび魚数予測システム
KR101623826B1 (ko) 2014-12-10 2016-05-24 주식회사 아이디스 히트맵 영상 기능을 가진 감시카메라
JP5999395B1 (ja) * 2015-03-19 2016-09-28 パナソニックＩｐマネジメント株式会社 撮像装置、録画装置および映像出力制御装置
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP5909708B1 (ja) * 2015-05-22 2016-04-27 パナソニックＩｐマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法
JP5909711B1 (ja) * 2015-06-15 2016-04-27 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線表示方法
JP6421937B2 (ja) * 2015-12-07 2018-11-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6421936B2 (ja) * 2015-12-07 2018-11-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
KR102453858B1 (ko) 2015-12-23 2022-10-14 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
SG11201805830TA (en) 2016-01-12 2018-08-30 Hitachi Int Electric Inc Congestion-state-monitoring system
JP6508482B2 (ja) * 2016-03-08 2019-05-08 パナソニックＩｐマネジメント株式会社 活動状況分析システムおよび活動状況分析方法
US10740934B2 (en) * 2016-03-31 2020-08-11 Nec Corporation Flow line display system, flow line display method, and program recording medium
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
EP3457358A4 (en) * 2016-05-13 2019-11-20 Hitachi, Ltd. OVERLOAD ANALYSIS DEVICE, OVERLOAD ANALYSIS PROCEDURE AND OVERLOAD ANALYSIS PROGRAM
JP6099025B1 (ja) * 2016-06-20 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、マスク処理設定方法及びコンピュータプログラム
JP6099027B1 (ja) * 2016-07-14 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
JP6099026B1 (ja) * 2016-07-14 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
JP6843557B2 (ja) * 2016-08-30 2021-03-17 キヤノン株式会社 システム、情報処理装置、情報処理方法及びプログラム
JP6918523B2 (ja) 2017-03-06 2021-08-11 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム
US11151389B2 (en) * 2017-03-31 2021-10-19 Nec Corporation Information processing apparatus, control method, and program
DE102017218090A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zur Darstellung von Bildern eines Kamerasystems eines Fahrzeugs
DE102018104913A1 (de) * 2018-03-05 2019-09-05 Prüftechnik Dieter Busch AG Schwingungsüberwachung eines Objekts mittels Videokamera
JP2019176306A (ja) * 2018-03-28 2019-10-10 キヤノン株式会社 監視システム、監視システムの制御方法及びプログラム
US11704782B2 (en) * 2018-10-03 2023-07-18 The Toronto-Dominion Bank Computerized image analysis for automatically determining wait times for a queue area
CN113273178A (zh) * 2019-01-30 2021-08-17 松下知识产权经营株式会社 畜舍监视方法和畜舍监视系统
KR102588413B1 (ko) 2019-01-31 2023-10-12 한화비전 주식회사 히트맵을 생성하는 장치 및 방법
CN110213520A (zh) * 2019-05-10 2019-09-06 珠海格力电器股份有限公司 一种视频通话的方法及设备
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置和计算机可读存储介质
JP7349919B2 (ja) * 2020-01-21 2023-09-25 三菱電機株式会社 集中監視システム
CN112002039A (zh) * 2020-08-22 2020-11-27 王冬井 基于人工智能和人体感知的档案柜柜门自动控制方法
CN112562352B (zh) * 2020-12-07 2022-06-28 梅州安信科技有限公司 一种小区停车智能监控系统
CN112822442B (zh) * 2020-12-31 2023-04-28 杭州海康威视数字技术股份有限公司 热度图生成方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031645A (ja) * 2004-07-12 2006-02-02 Nariyuki Mitachi 動的群集密度のリアルタイム推定方法及び群集事故防止システム
JP2009134688A (ja) * 2007-11-28 2009-06-18 Fuji Xerox Co Ltd センサデータ内の活動の地理分布に基づく時間のセグメント化
JP2012014302A (ja) * 2010-06-30 2012-01-19 Hitachi Ltd 監視装置
JP2013058063A (ja) * 2011-09-08 2013-03-28 Chuo Electronics Co Ltd 画像処理装置、方法、プログラム、および監視システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
US7433085B2 (en) * 2003-04-15 2008-10-07 Lexmark International, Inc. Intelligent hardware for detecting color value of an image
US20080211908A1 (en) * 2005-05-16 2008-09-04 Human Monitoring Ltd Monitoring Method and Device
ITRM20060110A1 (it) * 2006-03-03 2007-09-04 Cnr Consiglio Naz Delle Ricerche Metodo e sistema per la rilevazione automatica di eventi in ambito sportivo
EP2100453B1 (en) * 2006-12-18 2013-07-03 FUJIFILM Corporation Monitoring system, monitoring method and program
US9251423B2 (en) * 2008-03-21 2016-02-02 Intel Corporation Estimating motion of an event captured using a digital video camera
US8379989B2 (en) * 2008-04-01 2013-02-19 Toyota Jidosha Kabushiki Kaisha Image search apparatus and image processing apparatus
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
TWI401526B (zh) * 2008-12-05 2013-07-11 Altek Corp The instantaneous image of the degree of integration of the instant prompt method
US20110228984A1 (en) * 2010-03-17 2011-09-22 Lighthaus Logic Inc. Systems, methods and articles for video analysis
AU2010257454B2 (en) * 2010-12-24 2014-03-06 Canon Kabushiki Kaisha Summary view of video objects sharing common attributes
WO2012115878A1 (en) * 2011-02-22 2012-08-30 Flir Systems, Inc. Infrared sensor systems and methods
US8736697B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera having burst image capture mode
US10061474B2 (en) * 2012-05-04 2018-08-28 Planet Labs, Inc. Overhead image viewing systems and methods
EP2709064B1 (en) * 2012-07-18 2019-06-26 AGT International GmbH Image processing to derive movement characteristics for a plurality of queue objects
JP6364743B2 (ja) * 2013-10-31 2018-08-01 株式会社Ｊｖｃケンウッド 情報処理装置、制御方法、プログラム、及び情報システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031645A (ja) * 2004-07-12 2006-02-02 Nariyuki Mitachi 動的群集密度のリアルタイム推定方法及び群集事故防止システム
JP2009134688A (ja) * 2007-11-28 2009-06-18 Fuji Xerox Co Ltd センサデータ内の活動の地理分布に基づく時間のセグメント化
JP2012014302A (ja) * 2010-06-30 2012-01-19 Hitachi Ltd 監視装置
JP2013058063A (ja) * 2011-09-08 2013-03-28 Chuo Electronics Co Ltd 画像処理装置、方法、プログラム、および監視システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9794508B2 (en) 2014-10-17 2017-10-17 Panasonic Intellectual Property Management Co., Ltd. Monitoring device, monitoring system, and monitoring method
JP2016110385A (ja) * 2014-12-05 2016-06-20 株式会社チャオ ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
JP2017123024A (ja) * 2016-01-06 2017-07-13 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP2017123025A (ja) * 2016-01-06 2017-07-13 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
WO2019194084A1 (ja) * 2018-04-04 2019-10-10 パナソニック株式会社 交通監視システムおよび交通監視方法
JP2019185220A (ja) * 2018-04-04 2019-10-24 パナソニック株式会社 交通監視システムおよび交通監視方法
JP7092540B2 (ja) 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
US11869347B2 (en) 2018-04-04 2024-01-09 Panasonic Holdings Corporation Traffic monitoring system and traffic monitoring method
US11195295B2 (en) 2018-11-22 2021-12-07 Ricoh Company, Ltd. Control system, method of performing analysis and storage medium
JP6744652B1 (ja) * 2020-04-30 2020-08-19 アースアイズ株式会社 混雑情報報知システム
JP2021175153A (ja) * 2020-04-30 2021-11-01 アースアイズ株式会社 混雑情報報知システム
JP7477849B1 (ja) 2023-01-16 2024-05-02 国立大学法人 東京大学 作業システム及び溶接システム

Also Published As

Publication number Publication date
CN104954736A (zh) 2015-09-30
US10049283B2 (en) 2018-08-14
EP2924613A1 (en) 2015-09-30
JP5597781B1 (ja) 2014-10-01
US20150278608A1 (en) 2015-10-01
CN104954736B (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
JP5597781B1 (ja) 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP5834254B2 (ja) 人数計測装置、人数計測システムおよび人数計測方法
CN105391973B (zh) 监控装置、监控系统及监控方法
JP6801760B2 (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
JP6256885B2 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP5683663B1 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
JP4876687B2 (ja) 注目度計測装置及び注目度計測システム
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
CN105516648B (zh) 活动状况分析装置、活动状况分析系统及活动状况分析方法
US20150120237A1 (en) Staying state analysis device, staying state analysis system and staying state analysis method
JP5789776B2 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
JP2011248836A (ja) 滞留検出システム及びプログラム
JP2017188023A (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
CN110942055A (zh) 展示区域的状态识别方法、装置、设备及存储介质
US20150088637A1 (en) Information processing system, information processing method, and non-transitory computer readable storage medium
US20170344834A1 (en) Facility use measuring device and facility use measuring system
US9436996B2 (en) Recording medium storing image processing program and image processing apparatus
JP6516702B2 (ja) 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
JP6226240B2 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140711

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140811

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250