JP2007102341A

JP2007102341A - 自動計数装置

Info

Publication number: JP2007102341A
Application number: JP2005288520A
Authority: JP
Inventors: Shuji Ono; 修司小野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-09-30
Filing date: 2005-09-30
Publication date: 2007-04-19

Abstract

【課題】イベント会場など不特定多数の来場者がいる場所で、来場者の人数を正確にカウントする。
【解決手段】来場者がいる範囲を複数の異なる位置から撮影することにより複数の画像を取得する。それらの画像から抽出された来場者の顔情報を使用して画像に含まれる計数対象を識別する対象識別処理（第１識別処理）を実行する。一方で、各画像から抽出された顔情報を、その画像と異なる画像から抽出された顔情報と照合することにより、２以上の画像に重複して含まれる対象を識別する個人識別処理（第２識別処理）を実行する。それらの識別結果を利用して、各画像に含まれる計数対象の数から２以上の画像に重複して含まれる計数対象の数を除いた数を計算する（計数処理）。
【選択図】図６

Description

本発明は、大勢の人が集まる場所での人数調査に用いられる自動計数装置に関する。

画像に含まれる被写体の顔情報から個人もしくは性別、年齢などの属性を識別し、人物ごと、あるいは属性ごとの傾向を分析する技術が知られている。例えば、特許文献１、２には、店内にいる顧客を店内各所に設置されたカメラにより撮影し、各撮影画像から抽出される顔の特徴量に基づいて顧客個人を識別してその足取りを追跡したり、顔の特徴量から顧客の性別や年齢を識別して各売り場に立ち寄る顧客の傾向を調べる方法およびシステムが示されている。
特開２０００−２００３５７号公報特開２００４−３４８６１８号公報

特許文献１、２のシステムは、店舗や売り場を三々五々訪れる顧客を対象とした調査には適しているものの、講演会会場、スポーツ競技場など１００人、１０００人規模の来場者が一堂に集まる場所での調査には向かない。大勢の来場者が集まる場所では、カメラの設置位置を工夫しても、他の来場者の影に隠れて顔が写らない者が少なからず出てしまうのが普通であるが、特許文献１、２のシステムは、そのような場合に対する配慮がなされていないからである。

本発明は、主として講演会会場など大勢の人が集まる場所で、来場者の人数を自動計測することができるシステムを提供することを目的とする。

本発明は、所定時刻に所定場所に存在する対象（例えば人物、動物）を計数する計数装置を提供する。この装置は、所定場所の所定時刻における場景を複数の異なる位置から撮影することにより得られた複数の画像から、各画像に含まれる対象の顔情報を抽出する抽出手段を備える。「顔情報」は顔の特徴を示す複数の特徴量の集合である。対象から抽出する特徴量は、その対象個人を識別するのに必要な特徴量とすることが好ましい。

また、この装置は、その抽出手段により抽出された顔情報に基づいて各画像に含まれる計数対象をそれぞれ識別する第１識別手段（対象識別手段）と、各画像から抽出された顔情報を、その画像と異なる画像から抽出された顔情報と照合することにより、２以上の画像に重複して含まれる計数対象をそれぞれ識別する第２識別手段（個人識別手段）とを備える。さらに、この装置は、第１識別手段による識別結果と第２識別手段による識別結果を利用して、各画像に含まれる計数対象の数から２以上の画像に重複して含まれる計数対象の数を除いた数を計数する計数手段を備える。上記構成では、計測漏れを防止するために多方向からの撮影を行ないつつ、重複カウントなど多方向撮影ならではの問題の発生を防止しているので、対象の数を高い精度で自動計測することができる。

第１識別手段は、顔情報に基づいて各画像に含まれる計数対象の属性および／または状態を識別し得る手段であり、計数手段は、計数対象の数を属性および／または状態ごとに計数し得る手段であることが好ましい。これにより、性別、年齢などの属性別、あるいは笑顔、怒り顔などの状態別に対象数を調べることが可能になる。

前記抽出手段は、計数装置に接続された複数の撮像装置から前記複数の画像を直接取得することができ、さらには所定の記憶媒体から前記複数の画像を読み取ることもできるような手段とすることが好ましい。これにより、対象を撮影しながらリアルタイムに人数を計測する必要がある場合と、後日人数計測が必要になった場合の、いずれのケースにも対応することができる。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。以下に例示するシステムは、多目的ホール（以下、ホール）の設備管理システムである。詳細には、ホール内に据付けられたカメラや照明を制御するサーバコンピュータに、本発明の装置の機能を組み込んだシステムである。以下の説明では、システムを構成するサーバコンピュータが、本発明の装置に相当する。

[システムの構成]
図１に、上記システムの概略構成を示す。図に示すように、このシステムは、複数の撮影ユニット１_１〜１_ｎ、サーバコンピュータ２、ストレージ３、設定用端末４およびＤＶＤレコーダ５を備えている。撮影ユニット１_１〜１_ｎは、ホールの壁または天井の所定の位置に据えつけられている。サーバコンピュータ２、ストレージ３、設定用端末４およびＤＶＤレコーダ５はホールに隣接する管理室に設置されている。

撮影ユニット１_１〜１_ｎとサーバコンピュータ２とは無線ネットワークにより接続されており、ストレージ３、設定用端末４およびＤＶＤレコーダ５はサーバコンピュータ２に直接接続されている。但し、装置同士の接続は図示した形態に限られない。例えば、撮影ユニット１_１〜１_ｎとサーバコンピュータ２とは有線ネットワークにより接続されていてもよいし、ストレージ３は、サーバコンピュータ２とネットワークを介して接続されるネットワークストレージであってもよい。

図２に、撮影ユニット１_１の内部構成を示す。撮影ユニット１₂〜１_ｎの構成も撮影ユニット１_１と同じである。撮影ユニット１_１は、撮像部１１、符号化部１２、特徴抽出部１３、通信制御部１４および設定部１５を備える。

撮像部１１は、回転可能な構造と時計機能とを備えたビデオカメラである。回転可能な構造とは、例えばドーム型監視カメラのような構造、あるいは回転台にカメラを取り付けた構造などである。ビデオカメラの回転角度、撮影倍率、動画撮影／静止画撮影の切換え、静止画撮影時の撮影間隔は、設定により変更することができる。撮影に関する設定情報Ｃ１は設定部１５から供給される。撮影により取得された画像は、時計機能により取得された撮影日時または撮影開始日時の情報とともに、符号化部１２に送出される。

符号化部１２は、撮像部１１から送出された画像（動画像Ｍまたは静止画像Ｉ）を符号化して撮影ユニット内のメモリに記録する。画像の符号化方式は、撮影ユニットごとに設定される。本実施形態では、動画はＭＰＥＧ４形式に符号化され、静止画はＪＰＥＧまたはＴＩＦＦのうち設定により選択された符号化方式で符号化される。符号化方式に関する設定情報Ｃ２は設定部１５から供給される。符号化部１２は、画像をメモリに記録する際に、各種の管理情報を付与する。本実施形態では、図３に示すように、撮影ユニット識別子ＵＩＤ、前述の設定情報Ｃ１およびＣ２、撮影日および時刻ＤＴを画像に付与する。以下、これらの管理情報が付与された画像を画像情報６と称する。

特徴抽出部１３は、メモリに記録された画像情報６を順次読み出して、画像から人物の顔を検出する。画像から顔を検出する技術としては公知のいずれの技術を用いてもよいが、本実施形態では一画像から多数の顔を検出する必要があるため、例えば所定の大きさの肌色領域であれば顔と判断する方法など、できるだけシンプルな検出方法を採用することが好ましい。

特徴抽出部１３は、次に、各画像から検出された顔に、仮の来場者識別子ＧＩＤを割り当てる。仮の来場者識別子ＧＩＤは、例えば撮影ユニット識別子ＵＩＤの後に、その来場者の顔が検出された位置を示す番号をつけた識別子とする。顔が検出された位置を示す番号は、各顔の位置を大まかに特定できる番号でよく、例えば画像を格子状に区切って各格子の位置を行番号と列番号で表し、顔が検出された位置に最も近い格子の行列番号を用いる方法などが考えられる。仮の来場者識別子ＧＩＤは画像ごとに割り振られるため、この時点では、同じ人物に対し画像ごとに異なる識別子が割り当てられることになる。

続いて特徴抽出部１３は、検出した人物ごとに顔の特徴を表す複数の特徴量Ｆ１〜ＦＮを抽出する。特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態ではそのいずれの技術をも採用することができる。但し、来場者の傾向分析では多数の顔を高速処理することが要求される一方、それほど高い精度は要求されないため、多少精度が低くても処理効率のよい手法を選択することが好ましい。

特徴抽出部１３が抽出する特徴量の種類および数は、分析の目的に応じて撮影ユニットごとに設定される。また、特徴抽出部１３の機能は設定によりオフにすることもできる。すなわち特徴抽出を行なわないような設定も可能である。これら特徴抽出に関する設定情報Ｃ３は、設定部１５から供給される。

特徴抽出部１３は、抽出した特徴量Ｆ１〜ＦＮを、各種管理情報を付与して、メモリに記録する。本実施形態では、図５に示すように、抽出した特徴量Ｆ１〜ＦＮに、画像情報６に含まれている撮影ユニット識別子ＵＩＤ、設定情報Ｃ１，Ｃ２および撮影日時と時刻の情報ＤＴ、さらには特徴抽出部に供給された設定情報Ｃ３と、前述の仮の来場者識別子ＧＩＤが管理情報として付与される。以下、この管理情報が付された特徴量Ｆ１〜ＦＮを来場者情報７と称する。

通信制御部１４は、撮影ユニット１_１〜１_ｎとサーバコンピュータ２の間の通信を制御する。詳細には３種類の通信を制御する。第１に、通信制御部１４は、サーバコンピュータ２からその撮影ユニットに対して送られた設定情報Ｃ１〜Ｃ３を受信して、設定部１５に供給する。第２に、通信制御部１４は、符号化部１２により生成された画像情報６を、サーバコンピュータ２に送信する。第３に、通信制御部１４は、特徴抽出部１３により生成された来場者情報７を、サーバコンピュータ２に送信する。

設定部１５は、通信制御部１４から供給された設定情報を、撮像部１１、符号化部１２および特徴抽出部１３に、それぞれ供給する。前述のとおり、設定部１５が撮像部１１に供給する設定情報Ｃ１は、カメラの回転角度、撮影倍率、動画／静止画切換、撮影間隔を指定する情報であり、符号化部１２に供給する設定情報Ｃ２は、符号化方式を指定する情報であり、特徴抽出部１３に供給する設定情報Ｃ３は、抽出する特徴量を指定する情報である。

次に、図４を参照して、サーバコンピュータ２の構成について説明する。サーバコンピュータ２は、通信制御部２１、入出力制御部２２、設定部２３、記録部２４、特徴抽出部２５、分析部２６および保存版画像生成部２７を備える。サーバコンピュータ２は、ホールの設備管理用コンピュータに、イベントの自動分析を実現するためのプログラムを組み込んだものである。

通信制御部２１は、サーバコンピュータ２と撮影ユニット１_１〜１_ｎの間の通信を制御する。また、入出力制御部２２は、ストレージ３の読み書き、設定用端末４による入出力およびＤＶＤレコーダ５への出力を制御する。

設定部２３、記録部２４、特徴抽出部２５、分析部２６および保存版画像生成部２７は、後述する各部の各処理をサーバコンピュータ２に実行させる複数の要素プログラムを、
サーバコンピュータ２に組み込むことにより実現される。本実施形態では、サーバコンピュータ２は複数のプロセッサを備えており、各要素プログラムの処理は複数のプロセッサにより並列に処理される。

設定部２３は、設定用端末４からの撮影ユニット１_１〜１_ｎに関する設定操作を受け付ける。設定部２３は、設定用端末４上で設定画面を呼び出す操作が行なわれたことを検出すると、入出力制御部２２を介して、設定用端末４のモニタに設定画面を出力する。設定画面では、最初に撮影ユニットの選択画面が表れ、ユニットの選択操作が行なわれると、続いて、前述のカメラの回転角度、撮影倍率、動画／静止画切換、撮影間隔（設定情報Ｃ１）、符号化方式（設定情報Ｃ２）、抽出する特徴量など（設定情報Ｃ３）の指定を行なうための選択メニューや入力枠が表示される。システムのオペレータが、所望の設定値を選択あるいは入力すると、選択あるいは入力された設定情報が入出力制御部２２を介して設定部２３に供給される。設定部２３は、その供給された設定情報をサーバコンピュータ２内のメモリに記憶するとともに、通信制御部２１を介して撮影ユニット１に送信する。

記録部２４は、通信制御部２１を介して、撮影ユニット１_１〜１_ｎから転送された画像情報６や来場者情報７を受信し、入出力制御部２２を介してストレージ３に出力する。

特徴抽出部２５は、設定用端末４からサーバコンピュータ２側での特徴抽出処理に関する設定操作を受付、さらにその設定に基づいて特徴抽出処理を実行する。特徴抽出部２５は、設定用端末４上で、設定画面の呼び出し操作が行なわれたことを検出すると、入出力制御部２２を介して、設定用端末４のモニタに設定画面を出力する。設定画面では、特徴抽出部２５が抽出する特徴量の種類および数を設定することができる。また、特徴抽出を行なわないような設定も可能である。設定画面で入力された設定情報Ｃ３は入出力制御部２２を介して特徴抽出部２５に供給される。

設定画面においてオペレータが所定の特徴量を指定して抽出処理を実行するよう設定すると、特徴抽出部２５は、ストレージ３に記録された画像情報を順次読み出して、その画像から人物の顔を検出し、各画像から検出された顔に、仮の来場者識別子ＧＩＤを割り当てる。続いて、特徴抽出部２５は、検出した人物ごとに顔の特徴を表す複数の特徴量Ｆ１〜ＦＮを抽出し、各種管理情報を付与して図５に示す来場者情報７を生成し、ストレージ３に記録する。

システムのオペレータは、撮影ユニット１_１〜１_ｎの特徴抽出部１３の機能と、サーバコンピュータ２の特徴抽出部２５の機能を選択的にオン／オフすることにより、いずれか一方に画像情報からの特徴抽出を行なわせることができる。例えば、抽出すべき特徴量の数が少なく短時間での抽出が可能な場合には、特徴抽出部１３の機能をオンにして撮影ユニット１側で撮影と並行して特徴抽出処理を行わせ、抽出すべき特徴量の数が多く時間を要する場合には、特徴抽出部１３の機能をオフにして撮影した画像を画像情報６としてストレージ３に記録しておき、後に特徴抽出部２５により時間をかけて抽出処理を行うといったことができる。

分析部２６は、設定用端末４から分析処理に関する設定操作を受け付け、その設定に基づいて分析処理を実行する。分析部２６は、設定用端末４上で、設定画面の呼び出し操作が行なわれたことを検出すると、入出力制御部２２を介して、設定用端末４のモニタに設定画面を出力する。設定画面では、分析項目の指定を行なうための選択メニューが表示される。設定画面で入力された設定情報Ｃ４は入出力制御部２２を介して分析部２６に供給される。

分析部２６は、記録部２４または特徴抽出部２５がストレージ３に記録した来場者情報７を読み出し、分析処理を行なう。その後分析部２６は、入出力制御部２２を介して分析結果Ａをストレージ３に出力する。分析結果Ａは、設定用端末４からの表示要求があれば、入出力制御部２２を介して設定用端末４のモニタにも出力される。

保存版画像生成部２７は、イベントの模様を撮影した画像の要所にインデックスを付して記録する機能と、イベントの模様を撮影した画像の中から一部の画像を抜粋してダイジェストを生成する機能を提供する。保存版画像生成部２７は、設定用端末４から保存版画像生成処理に関する設定操作を受け付け、その設定に基づいて保存版画像を生成する。設定画面では、インデックス付画像の生成要否およびダイジェストの生成要否の選択メニューが表示される。設定画面で入力された設定情報Ｃ５は、入出力制御部２２を介して保存版画像生成部２７に供給される。

保存版画像生成部２７は、記録部２４がストレージ３に記録した画像情報６と、分析部２６がストレージ３に記録した分析結果Ａとを、ストレージ３から読み出す。そして、分析結果Ａに基づいてインデックスの付与あるいはダイジェストを構成する画像の選択を行なう。インデックスが付与された画像あるいは生成されたダイジェストは、入出力制御部２２を介してＤＶＤレコーダ５に転送され、ＤＶＤレコーダ５によりＤＶＤに記録される。

［システムの使用例］
次に、上記構成のシステムの使用方法を、例をあげながら説明する。

システムのオペレータは、まず撮影ユニット１_１〜１_ｎに関する設定画面を呼び出し、複数ある撮影ユニット１_１〜１_ｎの中から撮影に使用するいくつかの撮影ユニットを選択する。そして、選択した撮影ユニットについて、前述の設定情報Ｃ１、Ｃ２およびＣ３を設定する。本実施形態では、一度設定した設定情報を登録しておき、後に呼び出して使用することができる。

例えば、コンサート、スポーツの試合、講演会などでは、まず、舞台上の公演などを撮影するために、観客席の後方にある数台の天井据付撮影ユニットを稼動させ、そのカメラが舞台の方向を向くように回転角度を設定する。これらの撮影ユニットについては、動画撮影あるいは数秒ごとに１回の静止画撮影が行なわれるように設定し、さらに所望の符号化方式を選択する。さらに、観客全員の顔を撮影するために、観客席の左右に据付けられた撮影ユニットを稼動させ、その各カメラが観客の顔を斜め前方から捉えられるようにカメラの回転角度を設定する。観客全体を漏れなく撮影するためには、観客を左前方から捉えるカメラの撮影範囲と観客を右前方から捉えるカメラの撮影範囲が、少し重なるようにカメラの回転角度を設定することが好ましい。そして、数秒ごとに１回の静止画撮影を行うように設定し、所望の符号化方式を選択する。

一方、ビジネスショー、展示即売会、子供向けキャラクターショーなど、来場者がホール内を自由に往来するイベントでは、ホール内の各箇所が少なくとも２方向から撮影されるように各撮影ユニットのカメラの向きを設定する。この場合も、ホール全体が漏れなく撮影されるように、各撮影ユニットの撮影範囲が隣接する撮影ユニットの撮影範囲とが少し重なるように回転角度を設定するとよい。そして動画／静止画および符号化方式について、所望の設定を行なう。

特徴抽出に関する設定は、撮影ユニットに対して行なってもよいし、サーバコンピュータに対して行なってもよい。また抽出する特徴量の種類や数は、収集したい情報、すなわち分析の目的による。分析を行なう上で個々の来場者を特定することが必要であれば、設定情報Ｃ３を設定する際に、個人を特定し得る種類、数の特徴量を選択する。一方、性別などの属性を判別できればよい場合には、その属性を判別し得る種類、数の特徴量を選択する。また、分析の目的が不明な場合には、動画撮影を行なって撮影画像をそのままストレージ３に保存しておくのがよい。あるいは特徴抽出を行なうとしても、個人を特定できる程度に十分な数の特徴量を抽出しておくのがよい。

設定が完了し、システムのオペレータにより撮影開始が指示されると、各撮影ユニットは、それぞれに設定された条件で撮影を開始する。特徴抽出機能がオンに設定された撮影ユニットは、画像からの特徴抽出も行う。各撮影ユニットにより取得あるいは生成された情報は、サーバコンピュータ２に転送され、ストレージ３に保存される。これらの処理は、オペレータがシステムに対し撮影終了を指示するまで繰り返される。

なお、ストレージ３に情報が蓄積された後のシステムの使用例は、以下、システムの機能ごとに個別に説明する。

［来場者数のカウント］
以下、分析部２６が実行する来場者数のカウント処理について、図６および図７を参照して説明する。本実施形態では、分析部２６は、来場者が舞台方向を向いているイベントと、来場者がホール内を自由に往来するイベントとで、異なる処理を実行する。いずれの処理を実行するかは、オペレータが予め設定により選択する。但し、分析部２６が、オペレータが設定した撮影ユニットの設定情報に基づいて（例えば設定された各カメラの向きに基づいて）イベントのタイプを判定し、２種類の処理から適切な処理を自動的に選択するようにしてもよい。

（１）第１の来場者数カウント機能
来場者が舞台方向など、同じ方向を向いているイベントでは、ある時刻におけるホール内の場景を舞台の側から撮影すれば、来場者の顔が写った画像を取得することができる。しかし、１台のカメラによる撮影では、後方座席の来場者が前にいる来場者の影に隠れてしまうこともあり、全員の顔が写った画像を取得することは難しい。あるいはホール面積が大きく来場者数が多い場合には全員の顔が写った画像を取得することができたとしても、個々の来場者は小さくしか写らないため、その画像から顔の特徴量を抽出することが難しい。

そこで、複数の撮影ユニットにより、ホール内の場景を分担して撮影して、複数の画像を得ることにより、各来場者の顔が、少なくともいずれか１つの画像に含まれるようにする。撮影ユニット１_１〜１_Ｎのうち、いずれの撮影ユニットを稼動させるかは、来場者席の位置や来場者数に応じて決定することとなるが、以下の説明では、来場者席全体を来場者席の右前方から撮影する撮影ユニットと、来場者席全体を来場者席の左前方から撮影する撮影ユニットを選択した場合を例示して説明する。

まず、この機能を利用する場合には、システムのオペレータは、特徴抽出部設定情報Ｃ３を設定する際に、個人を特定するために必要な特徴量が抽出される設定としておく必要がある。すなわち、以下に説明する処理は、ストレージ３に記憶されている来場者情報に含まれる特徴量Ｆ１〜ＦＮが、個人を特定できるような特徴量であることを前提としている。

まず、分析部２６は、ストレージ３から、選択された２台の撮影ユニット（撮影ユニット１ａ，１ｂとする）により同じ時刻に撮影された画像から生成された来場者情報を読み込む。すなわち、撮影ユニット識別子ＵＩＤが選択された２台の撮影ユニットを示し、かつ撮影日および時刻情報ＤＴが所定日時を示す来場者情報を判別して読み込む。ここで読み込む来場者情報は、撮影ユニット側で生成された情報でも、サーバコンピュータ側で生成された情報でもよい。

続いて分析部２６は、図６に示すように、読み込んだ来場者情報を用いて対象識別処理８と個人識別処理９を実行する。対象識別処理８は、画像の中から来場者の顔を識別する処理である。本実施形態では、撮影ユニット１ａの撮影画像、撮影ユニット１ｂの撮影画像について、それぞれ対象識別処理８を施す。また、本実施形態では、識別したい来場者の属性または状態を設定することにより、その属性あるいは状態を有する顔の来場者のみを識別することができる。ここで、「属性」は、性別、年齢など来場者固有の特徴であり、「状態」は表情のように来場中に変化する特徴である。属性や状態を設定しなければ、画像に含まれるすべての顔が検出される。

対象識別処理８では、来場者情報に含まれる特徴量Ｆ１〜ＦＮとカウントしたい対象の属性または状態を示す特徴量と照合し、照合結果に基づいて、その来場者情報の抽出元の人物がカウントすべき対象か否か識別する。例えば、来場者中の男性の数を調べる場合であれば、来場者情報に含まれる特徴量Ｆ１〜ＦＮを、男性の特徴を示す特徴量と照合して、来場者情報が示す人物が男性か女性かを識別する。あるいは、笑顔の来場者の数を調べる場合であれば、来場者情報に含まれる特徴量Ｆ１〜ＦＮを笑顔の特徴を示す特徴量と照合して、その来場者情報が示す人物が笑顔か否かを識別する。

個人識別処理９は、複数の画像に重複して含まれる対象を検出する処理である。本実施形態では、図６（ａ）に示すように、対象識別処理８により撮影ユニット１ａの撮影画像から検出された対象の来場者情報に含まれる特徴量と、撮影ユニット１ｂの撮影画像から検出された対象の来場者情報に含まれる特徴量とを、順次照合することにより、複数の来場者情報を持つ来場者を検出する。なお、本実施形態では、照合結果が一致した場合には、その複数の来場者情報に含まれている仮の来場者識別子ＧＩＤを、共通の新しい来場者識別子ＧＩＤに置き換える。ここで付与された共通の来場者識別子ＧＩＤは、以降他の分析処理を行なうときに利用できる。

さらに、分析部２６は、２種類のカウンタを用いた計数処理１０を実行する。第１のカウンタは、対象識別処理８においてカウント対象と判断された来場者情報の数を計数するカウンタである。第２のカウンタは、個人識別処理９において重複カウントと判断された来場者情報の数を計数するカウンタである。ストレージ３から読み込まれた全ての来場者情報について、対象識別処理８および個人識別処理９が終了した時点で、分析部２６は第１のカウンタの値から第２のカウンタの値を減算する演算を行なう。

なお、他の方法として、図６（ｂ）に示すように、先に個人識別処理９を実行して１人の来場者について複数の来場者情報が存在する場合には、その中の一の来場者情報のみを残して他の来場者情報を処理対象から除外し、残った来場者情報についてのみ対象識別処理８を実行する方法も考えられる。但し、個人識別処理９は対象識別処理８に比べて特徴量照合時の計算量が多いため、図６（ａ）の手順でカウントを行なうほうが識別処理の効率はよい。

以上、２台の撮影ユニット１ａ、１ｂにより得られた来場者情報を用いる場合を例示して説明したが、３台以上の撮影ユニットにより得られた来場者情報を用いる場合でも個人識別処理９における照合回数が増える点を除けば、撮影ユニットが２台の場合と同様である。実際には、観客席が数十列あるホールであれば、４台以上の撮影ユニットを稼動させる必要があるであろう。例えば、観客席の左右に所定間隔で配置されている撮影ユニットをすべて稼動させて、観客席５列〜１０列ごとに左右斜め前方からの撮影が行なわれるようにする。例えば最前列のカメラでは観客席の１列目〜７列目を撮影し、次列のカメラでは３列目〜９列目を撮影するなどすれば、撮影漏れを防ぐことができる。この場合、来場者数をカウントする際に前列の撮影ユニットにより得られる画像と後列の撮影ユニットにより得られる画像との間で来場者情報の重複をチェックすれば、重複カウントを防止することもできる。

上記処理により求められた来場者数は、画像の取得に使用された撮影ユニットの撮影ユニット識別子ＵＩＤ、画像が撮影された日時ＤＴ、カウントの対象とした属性あるいは状態の情報とともに、分析結果としてストレージ３に保存される。また、オペレータからの要求に応じて設定用端末４の画面に表示される。

分析部２６は、上記処理で得られた来場者数の値を用いて、さらに別の分析処理を実行することもできる。例えば、来場者数の比率（男女比など）、時間帯による来場者数の変移を表すグラフの生成のほか、来場者数に基づく多種多様な分析を行なうことができる。それらの処理により得られた分析結果もまた、ストレージ３に保存される。

なお、ストレージ３に蓄積された分析結果は、統計情報としての利用価値があることはもちろんであるが、本実施形態のシステムは、この分析結果を利用して、さらなる付加価値を生み出すことができる。そのための機能については、後述する。

（２）第２の来場者数カウント機能
来場者がホール内を自由に往来するイベントでは、ホール内の来場者の顔の向きは時々刻々と変化するため、１つの撮影画像から来場している全てのカウント対象を識別することは、ほとんど不可能といってよい。第１の来場者数カウント機能のように複数方向から撮影された画像を用いるとしても、顔の向きが３６０度変化することを考えると、いずれの撮影ユニットを稼動させるかの判断は非常に難しい。また、正面顔を撮影できた来場者と、横顔しか撮影できなかった来場者がいると、正面顔と横顔では顔から得られる特徴量が異なるため（正面顔からしか得られない特徴量もあるため）、照合が難しく、識別精度の低下にもつながりかねない。

そこで、正面顔から得られる来場者情報のみを用いて来場者数のカウントを行なえるようにするため、ホール内の同じ場景を、できる限り多くの来場者の正面顔が得られるように、繰り返し撮影する。稼動させる撮影ユニットは、来場者の注意を惹く物や掲示がある場所に近い撮影ユニットを選択することが好ましい。以下、１台の撮影ユニットを使用して繰り返し撮影を行なう場合を例示して、第２の来場者数カウント機能について説明する。

まず、この機能を利用する場合には、システムのオペレータは、設定情報Ｃ１を設定する際に、所定間隔での静止画撮影を選択する。また、設定情報Ｃ３を設定する際に、正面顔のみを検出して、正面顔画像から特徴量を抽出するように設定を行なう。

図７は、分析部２６が実行する第２の来場者カウント処理を示すフローチャートである。分析部２６は、ストレージ３から、選択した撮影ユニットの撮影ユニット識別子ＵＩＤを含む来場者情報を、撮影時刻の情報ＤＴが示す時刻が早いものから順番に読み込む（Ｓ１０１）。第１の来場者カウント機能と同様、ここで読み込む特徴量の情報は、撮影ユニット側で生成された情報でも、サーバコンピュータ側で生成された情報でもよい。

分析部２６は、来場者情報を１つ読み込む度に、その来場者情報が示す来場者が、それ以前の処理で検出済みの来場者か否か識別する（初顔識別処理）（Ｓ１０２）。初顔識別処理では、新しく読み込んだ来場者情報に含まれる特徴量を、既読のすべての来場者情報に含まれる特徴量と照合する。そして、照合結果が一致する既読来場者情報がなければ、その来場者は初検出の来場者であると判断する（Ｓ１０３）。初検出でない場合には、次の来場者情報を読み込む。初検出の来場者の場合には、対象識別処理を実行する（Ｓ１０４）。

対象識別処理Ｓ１０４は、画像の中から来場者（人物）を識別する処理である。本実施形態では、識別したい来場者の属性または状態を設定することにより、その属性あるいは状態を有する来場者のみを識別することができる。属性や状態を設定しなければ、画像に含まれるすべての来場者が識別され、検出される。対象識別処理Ｓ１０４では、初検出の来場者の来場者情報に含まれる特徴量Ｆ１〜ＦＮとカウントしたい対象の属性または状態を示す特徴量と照合し、照合結果に基づいて、その来場者情報の抽出元の人物がカウントすべき対象か否か識別する。

照合結果が一致した場合には、計数処理（Ｓ１０５）において所定のカウンタをカウントアップするとともに、その来場者情報を既読来場者情報としてメモリに記憶する。以降、ステップＳ１０１〜Ｓ１０５の処理を、来場者数を調べたい時間帯の時刻を示す来場者情報がなくなるまで繰り返す。

上記処理によれば、１回でも正面顔を撮影できれば、その来場者をカウントすることができるので、来場者の向きが時々刻々と変化する環境でも来場者数を正確に求めることができる。

上記処理により求められた来場者数は、画像の取得に使用された撮影ユニットの撮影ユニット識別子ＵＩＤ、画像が撮影された日時ＤＴ、カウントの対象とした属性あるいは状態の情報とともに、分析結果としてストレージ３に保存される。また、オペレータからの要求に応じて設定用端末４の画面に表示される。また、第１の来場者カウント機能と同様、得られた来場者数は、他の統計情報の自動生成に利用される。

［保存版画像の生成］
続いて、上記分析結果を利用した保存版画像の生成機能、すなわちサーバコンピュータ２の保存版画像生成部２７の機能について説明する。本実施形態のシステムが生成し得る保存版画像は４種類ある。第１の保存版画像は、開始時から終了時までのイベントの場景を撮影した動画（または静止画スライド）の要所にインデックスをつけたもの（以下「インデックス付場景画像」と称する）である。第２の保存版画像は、開始時から終了時までのイベントの場景を撮影した動画（または静止画スライド）の一部を抜き出して編集しなおしたもの（以下「ダイジェスト場景画像」と称する）である。第３の保存版画像は、イベントの最中に上映された映像の要所にインデックスをつけたもの（以下「インデックス付上映画像」と称する）である。第４の保存版画像は、イベントの最中に上映された映像の一部を抜き出して編集しなおしたもの（以下「ダイジェスト上映画像」と称する）である。

図８は、インデックス付場景画像およびダイジェスト場景画像の生成の概念を示す図である。本実施形態のシステムでは、前述のように、コンサートや講演会のようなイベントで、舞台側を撮影して得た画像を符号化して動画、スライドなどの画像情報６を生成する一方で、来場者席を撮影して得た画像について顔識別処理による分析処理３１を行って分析結果Ａを得ることができる。この際、画像情報６には、図３を参照して説明したように、撮影日・時刻の情報ＤＴが含まれている。また、所定時刻における来場者数をカウントする分析処理では、分析結果Ａにも撮影日・時刻の情報ＤＴが含まれている。

保存版画像生成部２７は、この撮影日・時刻の情報ＤＴを利用して、舞台側の撮影により得られた画像情報６と分析結果Ａとを撮影時刻ごとに対応付ける。これにより、図に示すように、舞台に対する来場者の評価を、時刻ごとあるいは時間帯ごとに推定する処理３２を実行する。さらに、推定した評価に基づいて舞台側撮影画像の自動編集３３を行い、編集された動画、スライドなどをＤＶＤに記録する。

図９に保存版画像生成部２７の処理の一例を示す。例えば、第１の人数カウント機能により、３０秒おきに笑顔の女性、笑顔の男性の数がカウントされ、結果がストレージ３に保存されているとする。保存版画像生成部２７は、ストレージ３から、その結果の情報を読み出し、笑顔の女性の数が所定数（図の例では３０人）を越えた時間帯を判定する。すなわち、笑顔の女性の数が所定数を越えた時間帯は女性の評価が高かった時間帯、所定数を越えなかった時間帯は女性の評価が低かった時間帯と推定する。続いて、図に示すように、評価が高かった時間帯の画像のみを抜き出してダイジェストを生成する。さらには、特に評価が高まった時刻、評価が下がった時刻にインデックスをつける。

この機能を用いれば、例えば、女性の反応がよかった時刻の画像のみを集めて記録した女性用ＤＶＤ、男性の反応がよかった時刻の画像のみを集めて記録した男性用ＤＶＤ、来場者の反応が特によかった時刻と特に悪かった時刻へのインデックスつけが可能になる。すなわち、編集者の一存ではなく、来場者の反応に基づいた画像選出が可能になる。さらに言えば、来場者アンケートなどでは必ずしも来場者の正直な反応は得られないが、この機能を用いれば来場者の顔情報から直接反応を取得することができるので、来場者の要望を正確に把握することができる。

以上、イベントの場景（主に舞台）を撮影した画像から保存版画像を生成する機能について説明したが、イベントの最中に上映された映像や音声についても、上映開始時刻を記録しておくことにより上映時刻と分析結果とを時刻ごとに対応づけることができる。よって、この場合にも、上記説明した方法により来場者の反応に応じた画像編集を自動で行うことができる。

上記例は、第１の人数カウント機能を利用して保存版画像を生成するものであるが、第２の人数カウント機能を利用してもよい。第２の人数カウント機能では、所定時刻における来場者の反応を観測することはできないが、時間帯を区切って来場者数をカウントすることはできる。よって各時間帯（例えば午前、午後）の来場者の反応に応じて、その時間帯の画像を選出するか否かを決めることは可能であり、第１の人数カウント機能と同様保存版画像の生成に利用することができる。

また、分析部２６が人数カウント機能以外の分析処理も行なう場合、その分析結果がイベントの評価に繋がる結果であれば、その分析結果を利用して保存版画像を生成する方法も考えられる。例えば、笑顔の来場者数の増減（微分値など）に基づいて、笑顔の来場者が急激に増えた時刻、急激に減った時刻にインデックスをつける処理などが考えられる。

また、上記例は、いずれもストレージ３その他の記憶媒体に一旦保存された画像を編集するものであるが、分析部２６による人数カウントを撮影中にリアルタイムに行って、来場者の反応がよかった時間帯の撮影画像だけをストレージ３に記録して、撮影を行ないながら自動編集処理を実行する方法も考えられる。例えば、撮影ユニットから転送されてきた画像情報を直ちにストレージ３に記録せず、サーバコンピュータ２のメモリ上においたままにする。そして例えば５分間分の画像情報がメモリ上に蓄積された時点で、その画像情報に対し特徴抽出処理および分析処理を実行し、来場者の評価を推定する。評価がよい場合には、その１０分間分の画像情報をストレージ３に記録する。一方、評価が悪い場合にはストレージ３には記録せず、メモリ上の画像情報は破棄する。この方法によれば、舞台公演などが終了した時点でダイジェスト映像などの保存版画像も完成していることになるので、舞台を見終わった来場者への土産物としてダイジェスト映像が記録されたＤＶＤを提供するといたサービスを実現することができる。

[システムの効果]
以上に説明したように、本実施形態のシステムは、撮影の方向や回数を自由に設定することができるので、イベントの種類に応じて情報収集に最適な撮影方法を選択することができ、さらにはその撮影方法による撮影で得られた画像を用いて来場者数のカウントなどの分析処理を行なうことができる。よって、あらゆる種類のイベントが開催される可能性がある多目的ホールへの適用に特に適している。

第１の来場者数カウント機能によれば、複数台のカメラの画像を利用して過不足なく正確な人数を調べることができるため、１台のカメラでは撮影しきれないような広い範囲に来場者がいる場合でも、また１台のカメラでは人影に隠れて撮影できない来場者がいる場合でも、正確にカウントを行なうことができる。

第２の来場者数カウント機能によれば、同じ方向から繰り返し撮影された画像を利用して過不足なく正確な人数を調べることができるため、不特定多数の来場者が任意の方向を向いている場合でも、正確にカウントを行なうことができる。

また、保存版画像生成機能によれば、保存対象の画像に何が写っているかではなく、保存対象の画像に対して来場者がどのような反応を示したかを基準にして、インデックスを付与したりダイジェスト画像を選出することができるので、編集者ではなく来場者の趣向にあった編集画像を生成することができる。

本発明の一実施形態におけるシステムの概略構成を示す図撮影ユニットの内部構成を示す図画像情報の一記録形態を示す図来場者情報の一記録形態を示す図サーバコンピュータの構成を示す図第１の人数カウント機能（計数機能）について説明するための図第２の人数カウント機能（計数機能）について説明するための図保存版画像生成機能を示す概念図保存版画像生成機能による編集の一例を示す図

符号の説明

Ｃ１〜Ｃ５設定情報、Ｆ特徴量、Ｉ静止画、Ｍ動画、Ａ分析結果
６画像情報、７来場者情報

Claims

所定時刻に所定場所に存在する対象を自動的に計数する計数装置であって、
前記場所の前記時刻の場景を複数の異なる位置から撮影することにより得られた複数の画像から、該各画像に含まれる対象の顔情報を抽出する抽出手段と
前記抽出手段により抽出された前記顔情報に基づいて前記各画像に含まれる計数対象をそれぞれ識別する第１識別手段と、
各画像から抽出された顔情報を当該画像と異なる画像から抽出された顔情報と照合することにより、２以上の画像に重複して含まれる計数対象をそれぞれ識別する第２識別手段と、
前記第１識別手段による識別結果および前記第２識別手段による識別結果を利用して、前記各画像に含まれる計数対象の数から２以上の画像に重複して含まれる計数対象の数を除いた数を計数する計数手段とを備えた自動計数装置。
前記第１識別手段が、前記顔情報に基づいて前記各画像に含まれる計数対象の属性および／または状態を識別し得る手段であり、
前記計数手段が、前記計数対象の数を前記属性および／または状態ごとに計数し得る手段であることを特徴とする請求項１記載の自動計数装置。