JP2010061328A

JP2010061328A - 注目度測定可視化システム

Info

Publication number: JP2010061328A
Application number: JP2008225446A
Authority: JP
Inventors: Toshiyuki Odaka; 俊之小高; Norihiko Moriwaki; 紀彦森脇; Hiromi Ara; 宏視荒; Takashi Suzuki; 敬鈴木; Takehiro Urano; 雄大浦野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-09-03
Filing date: 2008-09-03
Publication date: 2010-03-18
Anticipated expiration: 2028-09-03
Also published as: JP5255957B2

Abstract

【課題】参加者が意識的に特定の操作をすることなく、他人との交流を反映した評価対象の客観的指標を求める。
【解決手段】センサノードは、加速度データを取得し、評価対象あるいは他のセンサノードとの対面による赤外線データを取得し、加速度データ及び赤外線データを管理サーバに送信する。管理サーバは、加速度データ及び上記赤外線データを受信し、加速度データ及び赤外線データに基づいて上記評価対象の注目度を算出する。
【選択図】図８

Description

本発明は、各種展示会や各種説明会などの催事において、あるいは、学校での授業や各種セミナーでのクラスにおいて、あるいはまた、百貨店や量販店等の店舗において、施設（あるいは会場）内に複数のエリアが同時に存在し、各エリアに説明者と被説明者が１対１、１対Ｎ、Ｎ対Ｎで存在し、説明や商談等の何らかの対話による交流が行われる状況において、エリア毎の注目度、人気度、あるいは品質を客観的な評価指標として算出し、可視化するシステムに関する。

各種センサと無線通信機能を搭載し、人が携帯可能な小型のセンサ端末を用い、該センサ端末が収集する情報に基づいて前記評価指標を算出するシステムに関する。

従来より、展示会などにおいて見学者に対する紙媒体を使ったアンケートで主観的評価指標に基づき、それらを集計することにより、展示会の展示毎の注目度などを測定することが可能であった。ただし、紙媒体では結果の即時性を実現することは極めて困難であり、近年以下に上げるような各種取組みが行われている。
赤外線通信手段、無線通信手段、情報入力手段（複数ボタン）、情報出力手段（液晶表示）を備えた携帯端末により、情報の入力の手間を省き、従来の紙媒体のアンケートより２倍から３倍の回答率を実現し、かつ、ほぼリアルタイムでの結果を集計し、可視化したり、可視化した情報を更新したりできる技術がある（従来例１）。

また、特許文献１には、無線通信機能を持った携帯端末に各種センサを搭載し、センシングデータから携帯している人の状態を推定し、展示毎の感動度を求める技術がある。具体的なセンサとして、体温、発汗量、脈拍数を計測するセンサを想定している。なお、携帯端末のスイッチにより、意識的な操作により感動の有無及びタイミングを決定している。

また、特許文献２及び特許文献３では、特定のエリアでの滞在時間及び移動速度を測定し、それらから展示毎の注目度（人気度及び興味度）を算出し、顧客動向解析をしている。

特開２００５−２７５９６０号公報特開２００２−１０９１３５号公報特開２００６−１３３９１５号公報

従来例１及び特許文献１では、いずれも人のボタン操作等による主観的な判断に基づいて評価を実行している。主観的な人の意識からの操作に基づくため、その操作に対する意識が働かない限りは評価に全く反映されないことになる。すなわち、評価データが不足する場合（回答率が低い場合）があり、評価結果に偏りが出るなどその品質が必ずしも十分ではない。

また、特許文献１では、体温センサ、発汗量センサ、心拍数センサを備え個人の感情の変化は検出し得るが、説明者と被説明者の対話行動に直接起因する身体の動作等を直接検出するためのセンサは備えていない。さらに、その人の状態のみ検知して感動度を求めているため、他人の影響を考慮することができない。さらにまた、他人との雑談や争い等の影響で心拍数等が上がることによって、感動していると誤検出されるおそれもある。

また、従来例１では、利用者が意識せずに評価結果に反映できるデータを取得するようなセンサ類は使っていない。すなわち、利用者の主観的な評価にすぎず人の自然な動作そのものを計測する手段を備えていないため、客観的指標となるものではない。さらに、特許文献１と同様に他人の影響を考慮することはできない。

また、特許文献２及び３も同様に、その人の状態のみ検知しており、他人の影響を考慮することはできない。さらに、特定のエリアに滞在していることを検知し，滞在時間等は計測できても、展示物に興味を示しているか否かは不明であり、展示毎の注目度の客観的指標としては不十分である。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。本発明は、センサノードと、センサノードから送信されるデータを処理する管理サーバとからなる注目度測定可視化システムであって、センサノードは、加速度データを取得する加速度センサと、評価対象あるいは他のセンサノードとの対面による赤外線データを取得する赤外線センサと、加速度データ及び赤外線データを管理サーバに送信する無線送受信部とを有し、管理サーバは、加速度データ及び赤外線データを受信する外部通信部と、加速度データ及び赤外線データに基づいて評価対象の注目度を算出する注目度算出部とを有する。

本発明により、評価対象の評価指標として、参加者が意識的に特定の操作をすることなく、他人との交流を反映した客観的指標を提示することが可能となる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。第１の実施例として想定する応用は、展示会における展示対象の注目度評価である。評価対象としてより具体的には、展示説明者毎、または複数の展示説明者を含む展示物毎、さらにまたは複数の展示物を含む展示担当企業／機関毎、などである。
＜名札型センサノードによる第１の実施例＞
図１に、本発明におけるシステム構成例を示す。

展示の説明者あるいは被説明者である展示参加者ＷＫＲ１は、腕輪型や名札型に実装されたセンサノードＳＮ０を保持する。センサノードＳＮ０は、プロセッサ回路ＣＰＵ０、アンテナＡＮＴ０が接続される無線回路ＲＦ０、音・加速度・温度・赤外線などのセンサＳＮＳ０、センシングプログラムＭＳ０を格納するメモリＭＥＭ０、ボタンなどの入力装置ＩＮ０、ＬＣＤ・ＬＥＤ・ブザーなどの出力装置ＯＵＴ０で構成され、これらはバスＢＵＳ０で接続される。

赤外線センサにより、腕輪型の場合には脈拍、名札型の場合には正対する赤外線デバイスとの対面が検出できる。つまり展示参加者ＷＫＲ１（例えば展示説明者）と別な展示参加者ＷＫＲ２（例えば被説明者）が二人とも名札型のセンサノードＳＮ０を装着して対面した場合、赤外線通信ＣＶ１により、互いの対面状態を検出できる。

また、加速度センサにより、その値の変化量から展示参加者ＷＫＲ１やＷＫＲ２の行動の活発度が検出できる。センサノードＳＮ０でセンシングした情報は無線通信ＷＣ１により、もしくは、中継機ＲＴ１を介した無線通信ＷＣ２およびＷＣ３により、基地局ＢＳ１に送られる。基地局ＢＳ１が受け取った情報は、ネットワークＬＡＮ１を介して、管理サーバＳＶ１のセンサデータベースＳＤ１に格納される。管理サーバＳＶ１は、センサデータベースＳＤ１に格納される情報を読み出し、分析処理することにより、展示対象毎の注目度を算出する。またＬＡＮ１には、注目度の算出結果を表示するためのコンピュータＰＣ１、システムの各種設定データを登録するためのコンピュータＰＣ２が有線もしくは無線ＬＡＮにて接続される。

赤外線発信装置ＢＣ１およびＢＣ２は、赤外線ＢＩＲ１およびＢＩＲ２を一定間隔で発信する装置であり、展示対象毎に設定し、あるいは会議室や実験室、喫茶室などの場所に設置し、管理サーバＳＶ１でその位置を管理する。赤外線発信装置ＢＣ１あるいはＢＣ２の正面に名札型のセンサデバイスＳＮ０を装着した展示会参加者ＷＫＲ１が立っていると、センサノードＳＮ０により赤外線ＢＩＲ１およびＢＩＲ２を検出できる。赤外線には少なくとも赤外線発信装置ＢＣ１あるいはＢＣ２が識別可能な識別情報が含まれており、その情報をセンサノードＳＮ０が無線通信ＷＣ１経由で管理サーバＳＶ１まで送信することで、各展示会参加者の場所を知ることが可能になる。

また管理サーバＳＶ１には時刻を管理するＮＴＰサーバＮＴＰＳが格納され、インターネット上の標準時刻などを定期的に参照するなどして正確な時刻を管理する。

データ分析手段（プログラム）ＡＮＡＬ１〜ＡＮＡＬ４は、センサデータベースＳＤ１から、対面、活性度、積極性、発言、などの特徴量を計算し、分析データベースＳＤ２に格納する。ＳＤ１、ＳＤ２内の各テーブルの内容は後述する。表示上データベースＳＤ２はＳＤ１と別にしているが、同じデータベースに格納されても構わない。また、テーブルも表示上すべて別のものとしているが、時刻の情報をベースに外部結合を行って一つのテーブルにすることも可能である。

分析データベースＳＤ２の値は、さらに別のデータ分析手段（プログラム）ＡＮＡＬ５からＡＮＡＬ６により注目度に変換され、注目度可視化手段ＡＮＡＬ７では、評価対象毎の注目度の値を表示するためのレイアウトなどを生成する。データ分析手段ＡＮＡＬ１〜ＡＮＡＬ６に詳細な分析手順については後述する。

図２は、図１のセンサネットワークシステムで用いられるセンサノードＳＮ０のハードウェア構成のより詳細な具体例を示した図である。

センサノードＳＮ０は無線送受信を行う無線送受信部（RF Transceiver）201、表示部（Display）202、ボタン（Button）203、センサ（Sensor(s)）204、処理部であるマイコン（MicroProcessor）205、絶対時刻を持つリアル・タイム・クロック（Real-time Clock）206、記憶部である揮発性メモリ（Volatile Memory）207と不揮発性メモリ(Nonvolatile Memory)208と読み出し専用メモリ(Read-Only Memory)209、及びセンサノードの各部に電力を供給するバッテリ(Battery)210、スピーカー（Speaker）211、マイク（Microphone）212 とから構成される。

センサノードＳＮ０は、そのハードウェアにおいてReal-Time Clock206以外のマイコン、無線送受信部等を低電力モードで休眠させる。センサノードＳＮ０は、この一部を低電力モードにする休眠状態と、全ての回路の電源をON状態にする起動状態の２種類の動作状態を一定周期ごとに使い分ける。センサノードＳＮ０は起動状態において、Timerからの信号を受けたInterrupt Controllerにより各種入力デバイスの状態をチェックし、その状態に基づいて所定の動作を実行する。例えば、様々なセンサSensor(s)204を用いてセンシングを行う。センシングされた情報はReal-Time Clock206の時刻情報と共にMicroProcessor205にてパケットに格納され、RF Transceiver201からAntennaを介して、中継機ＲＴ１あるいは基地局ＢＳ１に無線で送信されると共に、Nonvolatile Memory208の観測値テーブル613へ格納される。観測値テーブル613は、無線送信が失敗した場合などに備えてデータを記憶するものであり、観測値の通し番号であるシーケンス番号614と、観測値が時刻設定済みか否かを記憶している時刻未確定フラグ615と、観測値616と、該観測値の時刻617が保存される。

操作ボタンButton203は、ユーザの操作を受け付ける入力デバイスであり、特定のボタン操作により、センサノードＳＮ０の特定の動作を起動したり、動作パラメータを設定したりすることができる。

表示部Display202は、ユーザに対して情報を表示するための出力デバイスである。例えば、センサノードＳＮ０が環境計測用に室内または室外に設置する用途である場合には、センサ部Sensor(s)204により計測した最新の測定値を表示することができる。その際、低電力化のために、通常時は何も表示せず、特定のボタン操作を行った時のみ、該最新測定値を表示するといった活用が好適である。

また、センサノードＳＮ０が名札型や腕時計型等の携帯センサノードである場合には、通常時は時刻情報を表示し、管理サーバSV1からテキストメッセージを受信した場合には該メッセージを表示したり、音声メッセージを受信した際には該着信情報を表示したりするといった活用が好適である。

また、ユーザのボタン操作に連動して、階層化された操作メニューを表示することができる。該操作メニューに従ってボタン操作を行うことにより、アプリケーションユーザ（Application User）やシステム管理者（System Manager）は、センサノードの動作パラメータを設定したり、通信失敗時のエラー情報を確認したりすることができる。

図３は図１のセンサネットワークシステムにおける中継機ＲＴ１のハードウェア構成の一具体例を示した図である。

中継機ＲＴ１はAntennaを介して無線送受信を行う無線送受信部（RF Transceiver）301、表示部（Display）302、ボタン（Button）303、センサ（Sensor(s)）304、マイコン(MicroProcessor)305、絶対時刻を持つリアル・タイム・クロック(Real-time Clock)306、揮発性メモリ(Volatile Memory)307、不揮発性メモリ(Nonvolatile Memory)308、読み出し専用メモリ(Read-Only Memory)309とから構成される。

中継機ＲＴ１は、センサノードＳＮ０へのコマンド送信および時刻同期の目的で、揮発性メモリ307に記憶された時刻設定要管理テーブル311を用いる。基地局から無線で配信されたセンサノードへのコマンドをRF Transceiver301にて受信し、テーブル311に存在するセンサノードに対し無線で配送する。また、センサノードから無線で送信されたセンシング情報を受信し、受信したセンシング情報を基地局へ無線で送信する。時刻設定要ノード管理テーブル311には、センサノード毎に別々に割り振られるセンサノードＩＤ709と、ノードＩＤ709のセンサノードが時刻設定済みか否かを判定するための時刻設定要フラグ710が保存される。

中継機ＲＴ１をセンサノードＳＮ０と基地局ＢＳ１の間に設置することにより両者の通信距離を延ばすことができるが、いつ送信されてくるか分からないセンサノードや基地局からのデータを受信するためには、常時待ち受けていなければならない。そのため、センサノードと異なり、バッテリではなく外部給電により動作することが望ましい。電源線（Power Line）より供給される電力を、電源回路（Power Supply Circuit）310により整流等を行った上で各機能部へ供給する。これにより、消費電力の心配をする必要がないため、中継機ＲＴ１のマイコン305はセンサノードＳＮ０の場合のように休眠状態を持つ必要はない。そのため割り込み制御部（Interrupt Controller）やタイマ部（Timer）は図中では省略してあるが、これらの機能は一般的なデータ送受信アルゴリズムの範囲内で活用される。

図４は図１のセンサネットワークシステムにおける基地局ＢＳ１のハードウェア構成の一具体例を示した図である。

基地局ＢＳ１の構成は、ＩＰネットワーク（IP Network）を介して管理サーバＳＶ１と通信を行うためのLAN通信インタフェース（LAN I/F）412を備える以外は、中継機ＲＴ1の構成と同様であるため、説明を省略する。なお、図４における数番401〜410は図３における数番301〜310に対応する。なお、揮発性メモリ407中には、現在稼動中のノードとその種類を把握し管理するために必要な、バインディング・テーブル（Binding Table）411が記憶される。バインディング・テーブル411には、登録されているノードが中継機かセンサノードかを記憶しておく種類記憶域809と、ノード毎に個別に与えられるノードＩＤ810が保存されている。

図５は図１のセンサネットワークシステムの管理サーバＳＶ１のハードウェア構成の一具体例を示したブロック図である。

管理サーバＳＶ１は、処理部（CPU）501、外部通信部502、電源503、ハードディスクドライブ504、ユーザからの命令をするための入力装置であるキーボード505、表示装置であるディスプレイ506、メモリ507からなる。

管理サーバＳＶ１は、外部通信部502を経由し、基地局ＢＳ１が中継機ＲＴ１を介してセンサノードＳＮ０から収集したデータの受信、および基地局ＢＳ１へコマンドの送信を行う。CPU501はメモリ507に記憶されたミドルウェア等のプログラムを読み込み、プログラムの指示に従って外部通信部502を通じて取得した観測値などのデータの加工を行い、ハードディスクドライブ504へデータを蓄積したり、ディスプレイ506に表示したりする。この管理サーバＳＶ１で実行される加工・表示の具体例は後で詳述する。またCPU501は、キーボード505から入力されたユーザコマンドの解釈を行い、外部通信部502を通じて基地局ＢＳ１などへと配信する。

図６は、管理サーバＳＶ１に格納されたセンサデータのデータベースＳＤ１の構成とデータの例を示す図である。データベースＳＤ１では、センサデータ、展示参加者が利用するセンサデバイスの識別情報、展示参加者の識別情報などが対応付けて管理される。

テーブルＴＩＲは、センサノードＳＮ０で観測した赤外線検出データ、あるいは温度データや照度データを観測した時刻（Timestamp）と対応付けて格納するテーブルである。

列ＲＭＡＣＩＤには、センサノード（例えばＳＮ０）の識別子（例えばネットワークアドレス）を格納する。

列ＲＵＰＴＭには、データをテーブルＳＤ１に格納した時刻を記録する。

列ＲＧＷＡＤには、無線でデータを受信した基地局（たとえばＢＳ１）の識別子（例えばＩＰアドレスとポート番号）を格納する。

列ＲＡＰＨＤには、センサノードＳＮ０の種別を格納する。たとえば腕輪型デバイスでは“１”、名札型デバイスでは“２”などを格納する。

列ＲＤＡＴＹには、無線パケットに格納したデータの種類を格納する。たとえば温度データ、照度データ、および赤外線の検出データをセットで格納したデータには“１”、後述するテーブルＴＡＣＣ１に格納する加速度データには“２”、後述するテーブルＴＶＯ１に格納する音声データには“３”などを格納する。

列ＲＳＥＮＵには、センサノードでフレームの送信順に0000からFFFFまで付与し、FFFFの次は0000にリセットする周期的カウンタの値が格納される。分割フレームが結合した場合は、最初のフレームのシーケンス番号を格納する。

列ＲＳＡＩＤには、同一センシング周期にサンプリングしたデータを含む分割フレームには、同一のサンプリング識別子を付与する。

列ＲＯＢＰＥには、温度や加速度などのデータのセンシング間隔を格納する。
列ＲＳＥＰＥには、センサノードの現在の無線送信間隔を格納する。間隔を表す数値でも良いし、センシング間隔の何倍かという値でも良い。

列ＲＳＡＲＡには、センサノードにおけるセンサデータのサンプリング周期を格納する。

列ＲＳＡＮＵには、センサノードにおける現在のサンプリング回数を格納する。
列ＲＵＳＩＤには、そのセンサノードを携帯し利用している利用者の識別ＩＤを格納す。

列ＲＦＲＮＵには、フレームが複数に分割された場合に、合計n分割フレームなら、n、n-1、n-2、…3、2、1と降順の値を格納する。1の場合は最終分割フレームを表し、0は、256番目を表す、とする。

列ＲＦＲＳＩには、分割して送信される一連のフレームの合計個数を格納する。

列ＲＴＩＳＴには、温度や加速度などのデータをセンサで取得した時のセンサノードの時刻を格納する。

列ＲＴＥＭＰには、センサノードが温度センサで取得した温度データを格納する。

列ＲＬＵＸには、センサノードが照度センサで取得した照度データを格納する。

列ＲＢＡＬＥには、センサノードのバッテリ残量を示す値、たとえば電源電圧を格納する。

列ＲＬＱＩには、センサノードと中継機あるいは基地局間の無線通信品質を示す値、たとえばＬＱＩ（ＬＩＮＫＱＵＡＬＩＴＹＩＮＤＩＣＡＴＯＲ）を格納する。

列ＲＩＲＤＳには、列ＲＩＲに格納する赤外線データの検出数を格納する。

列ＲＩＲには、センサノードが赤外線センサで取得した赤外線データ（赤外線発信元の識別子）を格納する。

テーブルＴＡＣＣ１は、テーブルＴＩＲの赤外線などのデータの替わりに、加速度センサのデータを格納する。列ＲＭＡＣＩＤから列ＲＴＩＳＴまでの間は、テーブルＴＩＲ１と同様の内容を格納する。

列ＲＡＣＤＳには、列ＲＡＣＣに格納する加速度データの数を格納する。

列ＲＡＣＣには、センサノードの加速度センサで取得した加速度データを格納する。

テーブルＴＶＯ１は、テーブルＴＩＲの赤外線などのデータの替わりに、音声データを格納する。列ＲＭＡＣＩＤから列ＲＴＩＳＴまでの間は、テーブルＴＩＲ１と同様の内容を格納する。

列ＲＶＯＤＳには、列ＲＶＯＤＡに格納する音声データの数を格納する。

列ＲＶＯＤＡには、センサノードのマイクで取得した音声データを格納する。

このように、センサデータ、センサノードの識別情報、展示参加者の識別情報などの対応関係を記録することにより、各展示参加者が複数のセンサノードを利用した場合であっても、各展示参加者のセンサノードが取得するセンサデータを正しく管理することができる。また、センサデータベースＳＤ１を参照することにより、後述する展示参加者の対面活発度や注目度を算出し、品質データベースＳＤ２に格納される各テーブルを作成することができる。

次に、展示会場における参加者同士（説明者及び被説明者）の対面、会話などの行動の活発度、評価対象毎の注目度を求める方法を示す。図７にシステムでの大まかな処理の流れを、管理サーバでのデータ分析処理を中心に示す。

まず、人の行動を含む展示会場の現場での様々な物理現象が、センサノードＳＮ０に搭載された赤外線センサ、加速度センサ、音声センサ（マイク）により、赤外線データに含まれる識別子リスト、加速度データ、音声データに変換され、少なくとも時刻データを付与され管理サーバＳＶ１に送信される。

管理サーバＳＶ１ではまず、展示説明者や被説明者が携帯しているセンサ端末毎に各時間帯における赤外線データに含まれる識別子の有無を分析する。評価対象特定手段ＡＮＡＬ１は、テーブルＴＩＲ１を参照して、該識別子が展示会場の展示物に隣接されて設置された赤外線発信機からの識別子であるかを特定して、参加者が見学している評価対象リストＳＤ２０１を出力する。対面者識別手段ＡＮＡＬ２は並行して、テーブルＴＩＲ１を参照し、識別子が対面相手の携帯するセンサ端末からの識別子であるかを識別して、展示会見学中に参加者が対面した対面者リストＳＤ２０２を出力する。管理サーバＳＶ１では並行して、動作識別手段ＡＮＡＬ３がテーブルＴＡＣＣ１を参照し、センサ端末毎（説明者毎あるいは被説明者毎）に各時間帯における加速度データを分析して活発動作リストＳＤ２０３を出力する。また並行して、発言識別手段ＡＮＡＬ４がテーブルＴＶ０１を参照し、センサ端末毎（説明者毎あるいは被説明者毎）に各時間帯における音声データを分析して発言リストＳＤ２０４を出力する。

次に、対面活発度評価手段ＡＮＡＬ５が対面者リストＳＤ２０２と活動動作リストＳＤ２０３と発言リストＳＤ２０４からセンサ端末毎（説明者毎あるいは被説明者毎）に各時間帯における対面活発度リストＳＤ２０５を出力する。なお、図８において説明するが、対面者リスト及び活発動作リストに基づいて対面活発度リストを出力することができる。そして、音声データＴＶＯ１及び発言リストＳＤ２０４を補足的に用いることにより、その精度を高めるとともに発言内容を考慮して注目度リストを出力することもできる。さらに注目度算出手段ＡＮＡＬ６が、評価対象リストＳＤ２０１と対面活発度リストＳＤ２０５を分析し、評価対象毎の各時間帯における注目度リストＳＤ２０６を出力する。

さらに、注目度可視化手段ＡＮＡＬ７が注目度リストＳＤ２０７を表形式、グラフ形式、フロア図形式などの注目度を表現する注目度コンテンツＳＤ２０７を出力する。その結果は、ネットワークＬＡＮ１で接続されたコンピュータのモニタや大画面ディスプレイである注目度表示手段ＰＣ１で表示される。なお、注目度表示手段は説明者や被説明者が携帯しているセンサ端末ＳＮ０であってもよい。

このように、赤外線検出データ及び加速度データに基づいて、評価対象毎の注目度を算出して表示する。これにより、参加者が意識的に特定の操作をすることなく評価指標を得ることができ、評価結果に偏りが出るおそれを防ぐことができる。さらに、参加者と説明者の対話行動に直接起因する身体の動作等を検出することができ、他人の影響を考慮した客観的評価指標を得ることができる。

また、音声データを用いて注目度を算出することによって、その精度を高めることができるとともに、発言内容に基づいて評価指標を算出することができる。

次に管理サーバＳＶ１におけるデータ分析について、図８などを用いてさらに詳細に説明する。

まず、動作識別手段ＡＮＡＬ３が活発動作リストＳＤ２０３を生成する手順について説明する。図８に示す手順で、以下の加速度周波数計算（Ａ３０１）と、活発動作判定（Ａ３０２）、ノイズ除去（Ａ３０３）を行う。

加速度周波数計算（Ａ３０１）は、時系列に並んだ加速度データ（ＴＡＣＣ１）から周波数を求める処理である。周波数は一秒間の波の振動数と定義され、つまり加速度でモニタ可能な振動の激しさを表している指標である。フーリエ変換によって周波数成分の大きさを堅実に計算してもよいが、本応用例では、計算を簡略化するために、周波数にする指標として、ゼロクロス値を用いる。これにより、管理サーバの処理負荷が低減され、センサノードの数の増加によるサーバの計算量の増加に対する対策としても有効である。

ゼロクロス値とは、一定の時間期間内における時系列データの値がゼロとなった回数、より正確には、時系列データが正の値から負の値へ、又は負の値から正の値へと変化した回数を計数したものである。例えば、加速度の値が正から負に変化してから、次にその値が再び正から負に変化するまでの期間を１周期とみなすと、計数されたゼロクロスの回数から、１秒間当たりの振動数を算出することができる。このようにして算出された一秒間当たりの振動数を、加速度の近似的な周波数として使用することができる。

さらに、本応用例のセンサノードＳＮ０は、三軸方向の加速度センサを備えているため、同じ期間の三軸方向のゼロクロス値を合計することによって一つのゼロクロス値が算出される。これによって、特に左右及び前後方向の細かい振り子運動を検出し、振動の激しさを表す指標として用いることができる。

ゼロクロス値を計数する「一定の期間」として、連続したデータの間隔（つまり元のサンプリング間隔）よりも大きな値が設定される。たとえば1秒毎のゼロクロス値や1分毎のゼロクロス値を求めることとなる。

加速度周波数計算（Ａ３０１）の結果、各時間におけるゼロクロス値、およびそこから算出された秒単位の振動数が、加速度リストとしてメモリ上に、もしくはファイルとして生成される。

次にこの加速度リストを対象に、活発動作判定（Ａ３０２）を実施する。ここで、ビデオ観察などの結果から、図９に示す通り、加速度データの周波数で表される行動リズムと動作パターンの関係に傾向があることがわかった。例えば、発話を行っている時には、2Hzから3Hzの周波数成分が高くなる。そこで、加速度データの周波数がある閾値を上回っている時間帯を、活発な行動をしている状態とする。実データの分析の結果、典型的には、加速度の周波数の閾値は2Hｚであることがわかったが、この閾値は人や会場の環境によって異なるため、状況に応じて設定変更可能である。

加速度リストを順に走査し、振動数が閾値を上回っている行には活発である状態として判定値に”１”、下回った行には活発でない状態として”０”を挿入する。この結果、各時間帯において活発な動作をしているか否か秒単位で求められた活発動作リストが生成される。

ここで、ある瞬間的にみると閾値以下であっても、前後の時間は閾値以上で活発な状態、逆にある瞬間では閾値以上であったが、前後の時間は閾値以下で実は活発でないこともあり得る。このような瞬間的なノイズを除去する機構が必要となる。

そこで、次にこの活発動作リストを対象に、ノイズ除去（Ａ３０３）を実施する。ノイズ除去の役割は、上記で求めた集中度の時系列変化、たとえば”0001000111111001111”といった系列に対し、前後関係を加味して瞬間的な変化を取り除いた、たとえば”0000000111111111111”という系列を生成することである。このようなノイズ除去処理を行うことにより、その前後の時間帯を考慮して活発度を算出することができ、より実際の状況を反映した活発度を把握することが可能となる。なお、以下に説明する対面判定等のノイズ除去の処理の効果も同様である。

ノイズを除去する処理はローパスフィルタにより高周波の成分を除去することによっても可能であるが、ここではより単純な方法として、多数決的な方法を説明する。本方法では、時系列順に最初から最後までひとつずつ判定の対象とする。現在i番目の時間帯が判定の対象であるとする。ここで、i-n番目の時間帯から、i+n番目の時間帯までの合計2n+1個の時間帯に関し、活発である個数と、活発でない個数を数える。ここでもし活発である個数の方が多く、かつ、i番目の時間帯が活発でないという状態になっている場合、i番目の状態を活発である状態に変更する。逆に活発でない状態の個数の方が多ければ、i番目の状態を活発でない状態に変更する。例えば、”0001000111111001111”という系列に、n=2としてこの方法を適用すると、”0000000111111111111”という系列が生成される。nが小さければ前後短時間のみ反映したノイズが除去され、nが大きければより長時間を反映したノイズが除去される。nをどの程度にするかは人や動作の種類によるが、最初に小さいnで細かいノイズを除去したあと、再度大きいnで少し長めのノイズを除去することも可能である。このように多数決的な方法を実行することにより、管理サーバの計算量を減らし、処理負荷を低減することができる。

この結果、各時間帯において活発であるか否か秒単位で求められた活発動作リスト（ＳＤ２０３）が生成される。

このように、センサ端末の加速度センサが取得する加速度データに基づいて、参加者が活発な行動をしているか否かを判定することが可能となる。

次に、評価対象特定手段ＡＮＡＬ１及び対面者識別手段ＡＮＡＬ２が、展示物との対面及び人同士の対面（対面している時間）を求める手順を説明する。ある人がある時間帯にある展示物の前にいるかどうかは、当該時間帯においてその人が装着するセンサ端末ＳＮ０が展示物に設置されている赤外線発信機ＢＣ１からＢＣｎから発信された赤外線データを検出しているか否かによって判定できる。

また、ある人がある時間帯に他の人と対面しているかどうかは、当該時間帯において、その人が装着するセンサ端末が他のセンサ端末から発信された赤外線データを検出しているか否かによって判定できる。

ただし、この場合も上述の活発度判定と同様に、ある瞬間だけを見ると誤判定する可能性があるため、前後の時間帯を見てノイズを除去する必要がある。したがって下記の対面判定（Ａ１０１）と、ノイズ除去（Ａ１０２、Ａ２０２）によって判定する。図８にフローを示す。

対面判定（Ａ１０１）では、判定対象とする人が、各時間において赤外線データに含まれる識別子を検出しているか否かを、所定時間単位（たとえば秒単位）で求める。赤外線データベース（ＴＩＲ１）から、ある時間帯の検出データが存在するか否かを順に見てゆき、検出していれば判定値に”１”、検出してないければ”０”を挿入する。また、検出されている識別子が、赤外線発信機ＢＣｘの識別子か、他の人の携帯しているセンサ端末ＳＮｘの識別子かによって、評価対象リストとして出力するか、対面者リストとして出力するかを切り替える。

対面判定（Ａ１０１）の結果、各時間において対面しているか否かが所定時間単位（例えば、秒単位）で求められた評価対象リストあるいは対面者リストがメモリ上に、もしくはファイルとして生成される。

次に、これら評価対象リスト及び対面者リストを対象に、ノイズ除去（Ａ１０２、Ａ２０２）を実施する。ノイズ除去の役割は、上述の活発度計算におけるノイズ除去（Ａ３０３）と同様に、対面の時系列変化、例えば”0001000111111001111”といった系列に対し、前後関係を加味して瞬間的な変化を取り除いた、たとえば“0000000111111111111”という系列を生成することである。これにはノイズ除去（Ａ３０３）と同様な方法が適用可能である。

この結果、各時間において対面しているか否かが所定時間単位（例えば、秒単位）で求められた評価対象リスト（ＳＤ２０１）と対面者リスト（ＳＤ２０２）が生成される。図８では、ある参加者が１０時０分１秒、２０秒に展示物Ａ０６と対面し、他人ＷＫＲ３と対面している例を示している。

このように、センサノードの赤外線センサが取得するデータに基づいて、各参加者がある時間帯にどの展示物あるいはどの人と対面しているか、及び、その対面時間を求めることができる。

次に人との対面における積極性を示す対面活発度を求める手順を説明する。対面時に積極的であると、体の動きの量が増える、発話の量が増えるなどの行動に表れる。そこでここでは積極的か否かを、既に説明した加速度の周波数がある閾値を上回っているか否かにより判定した活発動作リスト（ＳＤ２０３）、および、対面している時に発言しているか否かの発言リスト（ＳＤ２０４）という２つの指標から判定する。

ここでは図８のフローに沿って、発言区間検出（Ａ４０１）とそのノイズ除去（Ａ４０２）から生成される発言リスト（ＳＤ２０４）、既に説明した対面者リスト（ＳＤ２０２）と活発動作リスト（ＳＤ２０３）とを組合せて対面活発度リスト（ＳＤ２０５）を生成する対面活発度評価（ＡＮＡＬ５）の手順を説明する。

発言区間検出（Ａ４０１）は、センサ端末ＳＮｘで取得した音声信号から、人が発話している区間を特定する。音声信号から発話区間を検出する方法としては、短時間の音声パワーを利用した手法や、音素認識結果による手法などを用いることができる。

センサ端末ＳＮｘは前述の通り低電力指向で間欠的に動作を行うことが多く、すべての時間帯の音声信号を取得することは難しい。そのため音素認識は部分的にしか適用できない。そこでここでは、ある時間帯1秒間の音声パワーが、一定の閾値を超えているか否かによって、発言しているか否かを判定することとする。音声信号を時系列的に操作し、一定期間の間の音声パワーが閾値を超えていた時、発話しているとして”１”、超えていなければ発話していないとして”０”を挿入する。

図８の通り、この発言区間検出（Ａ４０１）の結果、各時間において発言しているか否かが所定時間単位（例えば、秒単位）で求められた発言リストがメモリ上に、もしくはファイルとして生成される。

次のノイズ除去（Ａ４０２）は、前述の加速度に基づく活発動作リストのノイズ除去（Ａ３０３）と同等の処理である。時系列的な変化から、瞬間的なノイズを検出し、訂正する。この結果、各時間において発言しているか否かが所定時間単位（例えば、秒単位）で求められた発言リスト（ＳＤ２０４）が生成される。

次に、生成された対面者リスト（ＳＤ２０２）、活発動作リスト（ＳＤ２０３）、発言リスト（ＳＤ２０４）を用いて、対面活発度評価（ＡＮＡＬ５）を行い、各時刻における対面活発度リスト（ＳＤ２０５）を算出する。対面活発度は、対面している時に活性的であるか否かにより判断できる。例えば図８に示すように、対面者リスト、活発動作リストを時系列的に順に走査し、ある同じ時間帯に関して、対面者リストのデータが対面状態であり、活発動作リストのデータが活性状態である場合、積極的であるとみなし、判定値“２”とする。一方、対面者リストのデータが対面状態であり、活発動作リストのデータが非活性状態である場合、積極的でないとみなし、判定値“１”とする。また、対面者リストのデータが非対面状態であった場合、判定する必要がないとして判定値“０”とする。

このように、赤外線データから得られる対面者リスト及び加速度データから得られる活発動作リストを用いて対面時の活発度を算出できる。

さらに、発言リストを用いることにより、つまり、実際に対話しているか否かを判定することにより、対面時の活発度の精度を高めることができる。図示はしないが、例えば、対面者リスト、活発動作リスト、及び発言リストを時系列的に順に走査し、ある同じ時間帯に関し、対面者リストのデータが対面状態であり、活発動作リストのデータが活性状態かつ発言リストのデータが発言状態であった場合には、積極的であるとみなし、判定値を”３”とする。対面者リストのデータが対面状態、活性リストのデータが活性状態、発言リストのデータが非発言状態であった場合には判定値を”２”とする。対面者リストのデータが対面状態、活性リストのデータが非活性状態、発言リストのデータが非発言状態であった場合、判定値を“１”とする。対面者リストのデータが非対面状態であった場合、判定する必要がないとして判定値を”０”とする。

さらにまた、音素認識結果を用いることにより、対面時の活発度の精度を高めることができる。具体的には、音素認識結果により、参加者が説明者と雑談している、あるいは、言い争いになっている等と判定された場合には、対面活発度を判定する必要がないとして判定値を“０”とすればよい。これにより、他人との雑談や争い等による影響を排除することができる。

次に注目度を算出する手順を図８に沿って説明する。注目度算出（ＡＮＡＬ６）は、前述の評価対象リスト（ＳＤ２０１）に基づいて、ある参加者が見学している展示物が特定されている時間帯に、その人の対面活発度リスト（ＳＤ２０５）で活発度が検知されているかどうかにより、その人の注目度リスト（ＳＤ２０６）を作成する。図８の例では、注目度判定欄に対面活発度判定値が記録され、対象欄に評価対象リストの対象判定と対面活発度リストの対象とを組み合わせたものが記録される。つまり、評価対象リストが（０、“Ａ０６”、“Ａ０６”）という系列であった時間に対して、対面活発度リストが（０、“２、ＷＫＲ３”、“１、ＷＫＲ３”）であり、注目度リストとして、（０、“２、Ａ０６＋ＷＫＲ３”、“１、Ａ０６＋ＷＫＲ３”）という系列が生成される。同様の処理を各参加者に対して行い、参加者ごとに注目度リストが生成される。

さらに、注目度算出（ＡＮＡＬ６）では、複数の参加者それぞれについて求まる注目度リストを展示物毎に集計することによって、展示物毎の各時間帯の注目度リストに変換できる。このとき例えば、注目度リストの対象欄が“Ａ０６”＋“ＷＫＲ３”のように展示物の検出と展示説明者との対話活発度の検出が重なっている場合には２点として、対応する注目度判定値との合計値を求める。“Ａ０６”のように展示物のみが検出されている場合を１点として、対応する注目度判定値との合計値を求める。これらを積算することにより、展示物毎の注目度を数値として算出する。

さらにまた、注目度算出処理（ＡＮＡＬ６）では、複数の参加者それぞれについて求まる注目度を、展示説明者毎に集計することによって、展示説明者毎の各時間帯の注目度リストに変換できる。

さらにまた、算出した展示物毎の注目度を用いて、展示出展社企業あるいは機関毎に集計することによって、展示出展社企業あるいは機関毎の各時間帯の注目度リストに変換することもできる。

また、時間帯は、１０分後と、１時間毎、１日毎など適宜設定できる。これにより、いろいろな条件での注目度の可視化をし、展示状況の分析が可能となる。

図７における注目度可視化手段（ＡＮＡＬ７）は、前述した注目度を表形式やグラフ形式の注目度コンテンツ（ＳＤ２０７）に変換したり、この展示物毎に数値化された注目度の大小によって、注目度の順位付けをして表形式などに変換したりできる。さらに順位付けは時間帯ごとに作成し、その順位の推移を表形式や折れ線グラフ形式に変換することも可能である。

図１０に注目度コンテンツの一例を示す。図１０の上半分は、展示注目度ランキングを示した例である。展示物を識別する展示番号、展示物の名称、展示物の出展者名が表形式で示されたものである。図１０の下半分は、展示会場を想定したフロア図上の各展示の位置に、その注目度の数値の大きさを四角形の大きさで表現して可視化した例である。

図１１は、携帯しているセンサ端末ＳＮ０などに簡易的に表示する画面の一例であり、展示の説明者自身が自分の展示の注目度を確認するシナリオを想定した表示例である。同図は、注目度算出（ＡＮＡＬ６）が、展示説明者毎の注目度を集計した結果であり、展示説明者の注目度の順位付けをして作成することにより表示される。

これにより、展示会における被説明者（見学者）は、評価対象（展示）毎の注目度のフィードバックを受けることで、客観的な注目度を参考にして、自分の行動に反映できる。例えば、自分の興味の上に、展示毎の注目度に参考にして、優先的に見学すべき展示対象を決め、効果的かつ効率良く展示会を見学できる。

また展示会における説明者は、自身が説明している展示物の注目度のフィードバックを受けることで、説明活動のモチベーションの再構築を促すのに役立つ。例えば、展示会などでは、自分の説明の良し悪しをほぼリアルタイムに把握でき、その後の説明の仕方の工夫に繋げることができる。

また展示会における出展企業や機関は、自社あるいは自機関の製品に類似した注目度から関連市場分野の動向が把握できる。

さらにまた展示会などの催事の主催者にとっては、全評価対象の注目度を把握することで、開催期間中に催事がより盛況で品質の高い催事になるように運営の仕方を工夫することができる。あるいは、催事の品質を定量化でき投資対効果の検証にも活用できる。
＜カメラ映像を連動させた第２の実施例＞
次に、第２の実施例を説明する。本実施例に開示するシステムは、図１７や図１８に示すように、展示会場にカメラを設置したシステムである。固定ノードが、図１における赤外線発信装置ＢＣ１およびＢＣ２に相当し、移動ノードが、図１におけるセンサノードに相当する。

本システムでは、交流活動の活発度を求める際に、加速度データや赤外線データだけでなく、カメラ映像を画像処理して補完する。これにより、交流活動の活発度の信頼度を上げることができる。また、優先度が高いと判断したカメラからの画像、具体的には注目度の高い評価対象付近に設置されたカメラの映像データを優先的に伝送し、優先的に表示端末に表示することを特徴とする。これにより、注目度の大きさに応じて映像データを扱う優先度を変更することが可能となる。以下、図１２〜２２を用いて詳細に説明する。

図１９は、本発明を適用する映像ネットワークシステムの構成の一例を示すブロック図である。図１９において、映像ネットワークシステムは、複数のカメラ２２０を含むカメラ群２−０、２−１と、複数のカメラ２２０を制御し、所望のカメラ２２０の画像を表示するセンタ１と、センタ１と各カメラ群２−０、２−１を接続するネットワーク１００と、センタ１のセンサ情報変換装置７に接続されてセンサノードからの情報（センサ情報）を転送するセンサネットワーク８を主体に構成される。また、図１２は、本実施形態の映像ネットワークシステムの構成要素間の通信概要を示すブロック図である。

＜映像ネットワークシステムの構成＞
本実施形態の映像ネットワークシステムは、複数のカメラ２２０、カメラに接続されたカメラＰＣ２１０、本システムで取り扱われる画像を検索する画像検索装置６、カメラ２２０によって撮影された画像を蓄積する画像蓄積装置４、カメラ２２０によって撮影された画像の転送を制御する伝送制御装置２０、画像蓄積装置４からの画像要求を中継するリクエスト変換装置３、及び、カメラ２２０によって撮影された画像を表示する画像表示装置５（及び、モニタ５０）を備える。

さらに、本実施形態の映像ネットワークシステムは、複数のノードを無線ネットワークによって接続したセンサネットワーク８を備える。センサネットワーク８は、移動ノード８１０、移動ノード８１０と赤外線通信をする固定ノード８２０、移動ノード８１０と無線通信をする無線基地局８００、ノード８１０、８２０から送信された情報を収集するセンサ情報変換装置７（図１の管理サーバＳＶ１に相当する）、及び、移動ノードの位置を表示する位置情報表示端末９を備える。

本実施形態の映像ネットワークシステムによると、建造物内などに複数のカメラ２２０が設置される。画像蓄積装置４は、各カメラ２２０によって取得された画像を格納する。画像表示装置５は、監視センタに設置され、管理者または監視員が画像監視装置５（モニタ５０）を用いて、複数のカメラ２２０の画像を監視する。

画像表示装置５は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部を備え、本映像ネットワークシステムの管理者が操作する計算機であり、複数のカメラ１によって撮影された画像データから選択された又は全ての画像データをモニタ画面５０に表示する。具体的には、画像表示装置５は、複数のカメラ２２０によって撮影された画像のサムネイル画像（縮小画像）を表示し、選択されたカメラ２２０によって撮影された画像を高精細度によって表示する。

また、画像表示装置５は、ノード８１０、８２０からのイベントを受信すると、イベントに関係する固定ノード８２０の位置に対応するカメラ２２０の画像をモニタ画面５０に優先的に表示する。固定ノード８２０は、既知の位置に固定されており、カメラ２２０と対応付けられている。そして、ノード８１０、８２０から送信されたイベントに基づいて、画像表示装置５がイベント発生位置に対応するカメラ２２０の画像を表示させることによって、人や物の通過などを監視することができる。ここで、イベントとは、移動ノード８１０あるいは固定ノード８２０による赤外線データの検出、移動ノードと基地局との接続を示す。

また、画像表示装置５は、管理者が操作部の操作によって選択したカメラ２２０によって撮影された画像を画像蓄積装置４から取得して、選択されたカメラ２２０によって撮影された画像を高精細度で表示する。このとき、選択されたカメラ２２０の識別子を選択カメラＩＤとして直接伝送制御装置２０へ送信し、伝送制御装置２０で対応するカメラの画像データの優先度が高くなるように、転送を制御してもよい。

前述の機能を実現するため、監視センタ１には、画像表示装置５、画像蓄積装置４、画像検索装置６、リクエスト変換装置３及びセンサ情報変換装置７が設置される。

＜カメラ群の構成＞
複数のカメラ２２０は、複数のカメラ群に区分されており、各カメラ群は建造物などの所定の領域（例えば、各フロア）毎、または、所定台数のカメラ２２０毎に設定されている。そして、カメラ群毎に１台あるいは複数のカメラＰＣ２１０及び１台の伝送制御装置２０が設置される。カメラＰＣ２１０の台数はシステム規模や各構成要素間の処理性能の関係に応じて決まる。

カメラ２２０は、レンズを含む光学系、画像を電気信号に変換する撮像部及び通信インターフェースを備える。例えば、カメラ２２０は、ＩＰネットワークに直接接続可能なＩＰカメラや、シリアルバスで接続可能なＵＳＢカメラを用いることができる。カメラ２２０は、撮影対象領域に設置され、撮影対象領域の画像を撮影し、撮影された画像データを、所定のフレームレート及び解像度で出力する。カメラ２２０は、ネットワーク又はシリアルバスを介してカメラＰＣ２１０に接続される。

カメラＰＣ２１０（情報生成装置）は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。

カメラＰＣ２１０は、カメラ２２０によって撮影された動画を画像蓄積装置４からの要求に応じて所定の単位毎（例えば、１フレーム毎、１ＧＯＰ毎）に画像蓄積装置４へ送信する。従って、カメラＰＣ２１０は、画像蓄積装置４からの画像要求があったときにのみ、最新の画像（例えば、１フレームの画像）を画像蓄積装置４へ送信し、その他の画像（例えば、過去のフレームの画像）は、後述するサムネイル画像の生成及び特徴量の抽出が完了すると、破棄する。

カメラＰＣ２１０は、画像登録プログラムを実行することによって、カメラ２２０によって撮影された画像データから画像特徴量を抽出する。抽出される画像特徴量の抽出は動き検出、顔検出の技術が用いられ、予め定められた動きや、予め定められた顔を撮影された画像データから抽出してもよい。さらに、カメラＰＣ２１０は、画像登録プログラムを実行することによって、撮影された画像データから低精細度の画像データ（サムネイル画像）を生成する。

サムネイル画像は、カメラ２２０によって撮影された動画の解像度を小さくしたものである。例えば、カメラ２２０が６４０×４８０ドット（ＶＧＡ）の解像度の画像を出力する場合には、カメラＰＣ２１０はサムネイル画像として１２８×９６ドットの画像を生成する。

なお、以下の説明では、カメラ２２０によって撮影された原画像またはサムネイル画像よりも高解像度の画像を高精細度画像という。

そして、抽出された画像特徴量及び生成された低精細度画像データはネットワークを介して画像検索装置６に送られる。

図１２には、１台のカメラＰＣ２１０を図示したが、複数のカメラＰＣ２１０が備わってもよい。また、１台のカメラＰＣ２１０に接続されるカメラの数は、カメラＰＣ２１０に備わるリソースの容量によって任意に選択することができる。なお、カメラ２２０に備わるプロセッサが画像登録プログラムを実行することによって、カメラＰＣ２１０の機能を備えてもよい。

カメラＰＣ２１０から画像蓄積装置４宛に送信される情報と、画像蓄積装置４からカメラＰＣ２１０宛に送信される情報は、伝送制御装置２０を介して転送される。

各カメラＰＣ２１０には所定の識別子（例えば、ＩＰアドレス）が予め付与されている。画像蓄積装置４は、カメラＰＣ２１０に付与された識別子によって、あるいは、１台のカメラＰＣ２１０に複数のカメラ２２０が対応付けられている場合は各カメラ２２０に付与された識別子との組合せによって、カメラ２２０を特定する。

画像蓄積装置４は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機である。画像蓄積装置４は、画像蓄積サーバプログラムを実行することによって、カメラＰＣ２１０に対して高精細度画像要求を送信し、カメラ２２０によって撮影された画像（動画）データを取得し、取得した画像データを記憶装置に格納する。具体的には、画像蓄積装置４は、画像を取得するカメラＰＣ２１０のＩＰアドレスを指定して画像要求をリクエスト変換装置３へ送信する。

また、画像蓄積装置４は、画像表示装置５からの画像要求に基づいて、格納されている画像データを画像表示装置５に送信する。図１２には、１台の画像蓄積装置４を図示したが、複数の画像蓄積装置４が備わってもよい。

リクエスト変換装置３は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。なお、アドレス変換機能を有するネットワーク機器（例えば、スイッチ、ルータ）であってもよい。

リクエスト変換装置３は、画像蓄積装置４から画像要求を受信すると、受信した画像要求の宛先を、後述するように各カメラ群の伝送制御装置２０のアドレスとポート番号に変換してネットワークに送信する。

伝送制御装置２０は、リクエスト変換装置３からネットワークを介して画像要求を受信すると、画像要求の宛先ポート番号からカメラＰＣ２１０を特定し、画像要求を特定したカメラＰＣ２１０へ転送する。このため、伝送制御装置２０は、ポート番号とカメラＰＣ２１０の対応関係を示す転送先テーブルを備える。転送テーブルは、画像要求を受信したポートと、画像要求の転送先の宛先（例えば、ＵＲＬ）の対応が設定される。

カメラＰＣ２１０は、伝送制御装置２０からの画像要求に対して最新の画像（高精細度画像）を優先度を示す情報（例えば、前記画像の特徴量）と共に所定の単位（例えば、１フレーム）だけ返信する。伝送制御装置２０は、画像の送信元のカメラＰＣ２１０を特定するポート番号を宛先ポート番号に設定して、カメラＰＣ２１０から受信した画像をリクエスト変換装置３へ送信する。リクエスト変換装置３は、受信した画像の宛先ポート番号から画像送信元のカメラＰＣ２１０を特定し、特定されたカメラＰＣ２１０のＩＰアドレスを送信元アドレスに設定して、リクエスト変換装置３から受信した画像を画像蓄積装置４へ送信する。画像蓄積装置４は、受信した画像の送信元のＩＰアドレスからカメラＰＣ２１０を特定して画像を格納する。

伝送制御装置２０はカメラＰＣ２１０から返信メッセージを受信し、この返信メッセージ内に含まれる優先度の情報と、センサ情報変換装置７および画像表示装置５からの情報（センサ情報）に従って当該高精細度画像を含む返信メッセージの送信の優先度を決定する。伝送制御装置２０が管理するカメラＰＣ２１０毎の優先度は、図２０に示す優先度履歴テーブル２４０に格納される。図２０に示す優先度履歴テーブル２４０は、伝送制御装置２０に予め設定されたものであり、ひとつのエントリにカメラＰＣ２１０の識別子を格納するカメラＩＤ２４０１と、当該カメラＰＣ２１０の画像の最新の優先度を格納する最新優先度２４０２と、画像の優先度の平均値を格納する平均優先度２４０３と、センサ情報変換装置７や表示ＰＣ５から受信した情報を格納するセンサ情報２４０４とを含む。

センサ情報２４０４には、センサ情報変換装置７からの検出情報（優先カメラＩＤ）と、画像表示装置５からのカメラＰＣ２１０の優先度の指示が格納される。例えば、図２０において、カメラＩＤ２４０１＝Ｃａｍｅｒａ３のエントリのセンサ情報２４０４には、画像表示装置５からの優先度を高める指示があったことを示す情報として”ｄｉｓｐ”という情報が格納されている。

また、図２０において、カメラＩＤ２４０１＝Ｃａｍｅｒａ２のエントリのセンサ情報２４０４には、センサ情報変換装置７からの移動ノード８１０の識別子として、”Ｎａｍｅｉｄ１”と”Ｎａｍｅｉｄ２”が格納されており、これらの識別子を有する移動ノード８１０が固定ノード８２０の近傍を通過したことを示す。このようにセンサ情報２４０４に何らかの値が入っている場合、伝送制御装置２０は該当カメラＩＤの情報を最高の優先度で送信する。

図２１は、伝送制御装置２０で行われる処理の一例を示し、リクエスト変換装置３から画像要求メッセージを受信したときに実行される処理のフローチャートである。

まず、伝送制御装置２０は、リクエスト変換装置３から画像要求メッセージを受信すると、上述のように受信ポートをキーとして転送先テーブル２３０を検索して転送先のカメラＰＣ２１０を決定し、画像要求を転送する（Ｓ１１）。

そして、伝送制御装置２０はカメラＰＣ２１０からの返信メッセージを受信し、返信メッセージのヘッダに含まれる画像の優先度、およびカメラ２２０またはカメラＰＣ２１０のＩＤを抽出する（Ｓ１２）。そして、画像の優先度は変数Ｐｎｏｗに代入しておく。

次に伝送制御装置２０は、カメラＰＣ２１０のＩＤをキーとして優先度履歴テーブル２４０を検索する（Ｓ１３）。検索されたエントリ内にセンサ情報が存在していた場合、このカメラＰＣ２１０の画像は最高の優先度として扱うため、遅延を挿入せずに転送処理を行う（Ｓ１４、Ｓ２４、Ｓ２０）。

ステップＳ２０の転送処理では、返信メッセージのヘッダに優先度の情報とセンサ情報を追加して、リクエスト変換装置３に送信する。このとき、返信メッセージ内だけでなくその下位レイヤであるＩＰレイヤのパケットの優先度の情報として画像の優先度を書き込むことで、伝送制御装置２０とリクエスト変換装置３の間のＩＰネットワークにおいて、ＩＰレベルの優先度制御に利用することも可能である。

一方、ステップＳ１４の判定で、検索されたエントリ内にセンサ情報が無かった場合、ステップＳ１５以降で通常の送信優先度決定処理を行う。ステップＳ１５では、返信メッセージに含まれている画像の優先度が０であるか否かを判定する。この判定の結果、返信メッセージに含まれている画像の優先度が０であった場合にはステップＳ２１へ進み、そうでない場合にはステップＳ１６へ進む。

ステップＳ２１では、画像の優先度が０であるため、当該画像の優先度は非常に低いと判定し、再度転送先のカメラＰＣ２１０に画像要求を行う。このとき、画像要求の繰り返しが長期間に及んで蓄積装置４への返信が中断されることを防止するため、繰り返しの回数が所定の上限値である１０回未満の時のみ繰り返し処理を行い（Ｓ２３、Ｓ１１）、繰り返し回数が１０回に達した時点で、優先度を最低にした上で前述の転送処理を行う（Ｓ２２、Ｓ２０）。なお、カメラＰＣ２１０に画像要求を繰り返す際には、ステップＳ２３で所定の遅延（例えば、２００msec）を挿入する。

一方、ステップＳ１５の判定で、画像の優先度が正の値であった場合は、ステップＳ１６に進んで、上記ステップＳ１２で抽出した現在の画像の優先度Ｐｎｏｗから、優先度履歴テーブル２４０に格納された平均優先度２４０３を差し引いた値を、最新の優先度２４０２として計算する。最新の優先度をＰ’ｎｏｗとし、平均優先度をＰａｖｅとすると、
Ｐ’ｎｏｗ＝Ｐｎｏｗ−Ｐａｖｅ
となる。この処理によって、一旦優先度を高く設定したカメラＰＣ２１０の画像は、センサ情報や画像表示装置５からの指示がない場合には、時間の経過とともに徐々に優先度が低下することになる。

次に、伝送制御装置２０はステップ１７で、優先度履歴テーブル２４０内の平均優先度および最新優先度の値の更新を行う。ここでは、前回までの優先度の平均と画像の最新の優先度の間で加重平均を取ることで、新しい平均優先度２４０３を求める。すなわち、新たな平均優先度をＰ’ａｖｅとすると、
Ｐ’ａｖｅ＝（９９×Ｐａｖｅ＋Ｐｎｏｗ）÷１００
となる。伝送制御装置２０は新たな平均優先度Ｐ’ａｖｅを現在着目しているカメラＩＤ２４０１のエントリの平均優先度２４０３に格納し、ステップＳ１６で求めた最新の優先度Ｐｎｏｗを最新優先度２４０２に格納する。

次に、ステップＳ１８では、上記ステップＳ１６で求めた最新優先度２４０２と、優先度履歴テーブル２４０内の他のカメラＩＤの最新優先度２４０２とを比較して、現在着目しているカメラＩＤの優先度の順位を求める。次に、ステップＳ１９では、当該カメラＰＣ２１０の送信の優先度が上位３位までに入った場合は、遅延を挿入せずに転送処理に進む。一方、上位４位以下であった場合、当該カメラＰＣ２１０の送信の優先度の順位が前回の値から下がる毎に所定の遅延（例えば、２０ｍｓの）を挿入してステップＳ２０の転送処理に進む（すなわち、遅延時間［ｍｓ］＝（順位−３）＊２０）。

以上の処理により、優先度履歴テーブル２４０のセンサ情報２４０４に移動ノード８１０のＩＤや表示ＰＣ５からの表示の指示が設定されている場合には、カメラＰＣ２１０から受信した画像（高精細度画像）をそのままリクエスト変換装置３に転送するが、優先度が低下するにつれて遅延が大きくなるため、カメラＰＣ２１０の画像のフレームレートは低下することになる。

すなわち、本実施形態の蓄積装置４は、ひとつのカメラＰＣ２１０に対して画像の要求を行う際に、１フレームずつ高精細画像を取得するので、高精細度画像が返信されてから、次の画像要求を行うことになり、遅延が大きくなれば一枚の画像を取得する時間がかかり、蓄積装置４に蓄積されるカメラＰＣ２１０への画像要求の頻度が低下する。この結果、蓄積装置４に蓄積されるカメラＰＣ２１０からの画像のフレームレートは低下することになる。

また、カメラ２２０の画像の過去の優先度の平均値と最新の優先度の差によって送信の優先度を評価することにより、恒常的に高い優先度を送信してくるカメラ２２０の画像の優先度を相対的に低下させることができる。

このように、本実施の形態では、伝送制御装置２０を経由して画像要求を転送するので、当該要求に対する返信である高精細度画像も伝送制御装置２０を経由する。このように、伝送制御装置２０を経由して高精細度画像を転送するために、画像蓄積装置４からの画像要求をリクエスト変換装置３を経由させ、リクエスト変換装置３にて宛先を変換して転送する。

伝送制御装置２０は、プロセッサ、メモリ及びネットワークインターフェースを備えるネットワーク機器（例えば、スイッチ、ルータ）であり、その配下に少なくとも１台のカメラＰＣ２１０が接続されている。

伝送制御装置２０は、リクエスト変換装置３から転送された画像要求をカメラＰＣ２１０に転送し、画像要求に対する返答である画像データの転送を優先度に基づいて制御する。この優先度は、画像表示装置５から送信される選択カメラ情報や、センサ情報変換装置７から送信される優先カメラ情報に基づいて決定される。伝送制御装置２０によって転送される画像データが優先制御されることによって、優先度が低い画像データは転送されづらくなる。そして、本実施の形態では、画像データが転送されないと次の画像要求が送信されないので、優先度が低い画像データの単位時間当たりに転送されるフレーム数は低下する。よって、優先度が低い画像データのフレームレートを低下させることができる。

本実施の形態では、伝送制御装置２０はモニタリング対象の拠点側（すなわち、カメラ２２０側）、リクエスト変換装置３は集約モニタリングを行う監視センタ側に設置される。また、伝送制御装置２０とリクエスト変換装置３との間は、ネットワークによって接続されている。このように、伝送制御装置２０及びリクエスト変換装置３が協働することによって、ネットワーク１００によって転送されるトラフィックを削減することができる。

＜監視センタの構成＞
次に、監視センタの構成要素について説明する。

画像蓄積装置４は、前述したように、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ２２０によって撮影された画像データを記憶装置に格納する。

センサ情報変換装置７は、プロセッサ、メモリ及び通信インターフェースを備えた計算機であり、センサネットワーク８から送られてくる情報を、伝送制御装置２０及び画像検索装置６が解釈可能な形式および送信手順に変換して、変換されたメッセージを伝送制御装置２０及び画像検索装置６に送信する。

センサ情報変換装置７は、固定ノード８２０の識別子とカメラＰＣ２１０の識別子との対応を示すセンサ・カメラ管理テーブルを備える。センサ情報変換装置７は、このセンサ−カメラ管理テーブルを参照して、固定ノード８２０の識別子から、当該ノードに対応するカメラＰＣ２１０の識別子を特定する。これによって、例えば、固定ノード８２０の近傍を通過する人や物体を撮影可能なカメラ２２０に接続されたカメラＰＣ２１０のＩＰアドレスを特定することができる。

センサ情報変換装置７は、移動ノード８１０の位置情報を保持し、無線基地局８００及び固定ノード８２０との接続（接近）／解除（離脱）を検出すると、位置情報を更新する。センサ情報変換装置７に保持される位置情報は、移動ノード８１０最新の位置情報の他、過去の位置情報の履歴を含めてもよい。センサ情報変換装置７は、移動ノード８１０の位置情報に基づいて、カメラ２２０が撮影した画像の転送の優先度を決定する。さらに、算出した展示物の注目度に基づいて、その展示物に対応するカメラの画像転送の優先度を決定する。

画像検索装置６は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ２２０によって撮影された画像データの画像特徴量及び低精細度画像データ（サムネイル画像）を記憶装置に格納する。さらに、センサ情報変換装置７から受信したセンサ情報を格納する。

画像検索装置６は、画像表示装置５からの検索要求に基づいて、画像蓄積装置４に蓄積された画像データの特徴量を検索し、検索結果（画像データの識別子及び低精細度画像データ）を画像表示装置５に返信する。なお、複数の画像検索装置６が、検索サーバ群を構成するとよい。

リクエスト変換装置３は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機であり、画像蓄積装置４とカメラＰＣ２１０の間の論理的な通信経路上に配置される。リクエスト変換装置３は、画像蓄積装置４からカメラＰＣ２１０に送信される画像要求を中継する際に、伝送制御装置２０を経由するようメッセージの送信元と宛先を変更し、かつ、伝送制御装置２０から画像蓄積装置４に向かうメッセージの送信元と宛先を変更する。

具体的には、リクエスト変換装置３は、画像蓄積装置４から送信される画像要求に含まれる宛先（カメラＰＣ２１０のＩＰアドレス）を伝送制御装置２０のＩＰアドレスとポート番号（カメラＰＣ２１０のＩＰアドレスに対応するポート番号）に変換し、送信元をリクエスト変換装置３に置き換えた画像要求を伝送制御装置２０に送信する。また、リクエスト変換装置３は、伝送制御装置２０から返信された高精細度画像データの宛先を画像蓄積装置４に変換し、送信元を返信された高精細度画像データの送信元であるカメラＰＣ２１０のＩＰアドレスに変換した画像データを画像蓄積装置４に送信する。このため、リクエスト変換装置３は、カメラＰＣ２１０のＩＰアドレスとポート番号を変換するためのアドレス変換テーブル３０を備える。

画像表示装置５は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部（モニタ５０）を備え、本映像ネットワークシステムの管理者が操作する計算機であり、複数のカメラ２２０のサムネイル画像と、所望のカメラ２２０の画像を高精細度の画像でモニタ５０に表示する。なお、操作部５０は、ディスプレイとキーボードやマウスなどで構成される。

画像表示装置５は、画像検索装置を経由して受信する検知情報に基づいて、優先度の高いと判断したカメラからの画像を優先的に高精細度で表示する。ここで、検知情報とは、特定の特徴（動きや顔）を含む画像の特徴量と、そのサムネイル画像と、その画像の撮影元であるカメラＩＤを含む情報、あるいは、ある特定の移動ノード８１０の識別子と、その移動ノード８１０の位置を特定する固定ノード８２０の識別子と、その固定ノード８２０に対応したカメラ２２０のカメラＩＤを含む情報である。また、例えば注目度の高い展示物に対応するカメラのカメラＩＤを含む情報である。また、画像表示装置５は、管理者が操作部の操作によって選択したカメラ２２０によって撮影された画像を画像蓄積装置４から取得して、選択されたカメラ２２０によって撮影された画像を表示する優先度を上げるように制御してもよい。

位置情報表示端末９は、プロセッサ、メモリ、通信インターフェース、及び表示部を備える計算機である。位置情報表示端末９は、無線基地局８００及び固定ノード８２０の位置（地図上の座標）を保持しており、移動ノード８１０と無線基地局８００との接続／解除、及び、移動ノード８１０と固定ノード８２０との接続／解除の情報を受信し、無線基地局８００又は固定ノード８２０の位置に、移動ノードに対応するアイコンを表示する。これによって、移動ノード８１０の位置情報を可視化することができる。

＜センサネットワーク＞
次に、センサネットワーク８について説明する。

センサネットワーク８は、センサ情報変換装置７に接続された無線基地局８００、無線ネットワークを介して無線基地局８００に接続されたノード８１０、８２０を備える。

本実施形態のノードには、位置が既知の固定ノード８２０、及び、人や物体に装着される移動ノード８１０が含まれる。

固定ノード８２０は、予め設定された識別子を赤外線発信機から送信するノードである。固定ノード８２０は、予め設定された固定ノードの識別子を格納するＩＤ格納部、識別子を発信する赤外線通信部を備える。なお、固定ノード８２０は無線基地局８００と通信する通信部を備えてもよい。

移動ノード８１０は、固定ノード８２０から赤外線通信によって送信された識別子を受信する赤外線通信部、予め設定された移動ノードの識別子を格納するＩＤ格納部、及び、赤外線通信部によって受信した固定ノード８２０の識別子を無線基地局８００へ送信する無線通信部を備える。なお、無線通信部は、受信した固定ノード８２０の識別子と共に、移動ノードの識別子を無線基地局８００へ送信する。

移動ノード８１０が固定ノード８２０の近傍を通過すると、赤外線通信部は固定ノード８２０から赤外線通信によって送信された識別子を受信し、受信した固定ノード８２０の識別子及び移動ノード８１０の識別子を無線基地局８００へ送信する。無線基地局８００は、移動ノード８１０が固定ノード８２０の近傍を通過したことを、センサ情報変換装置７に通知することができる。

なお、固定ノード８２０が赤外線送受信機能及び／又は無線通信機能を備えてもよい。固定ノード８２０が備える赤外線送受信機能によって、固定ノード８２０と移動ノード８１０とが赤外線通信によって相互に識別子を送受信することができる。

また、移動ノード８１０が、所定範囲外の加速度を検出した場合に、センサ情報変換装置７において、当該移動ノード８１０が通信中の固定ノード８２０に対応するカメラ２２０によって撮影された画像の転送の優先度を上げることができる。このようにすると、移動ノード８１０を携帯している者の不審な行動を検出することができる。

＜カメラ、ノードの配置＞
図１７及び図１８は、本実施形態のカメラ２２０、無線基地局８００及び固定ノード８２０の配置例を示し、図１７はその全体図、図１８は部屋１の拡大図である。なお、図１７では、カメラ２２０を省略した。

各部屋には、１台の無線基地局８００が設けられており、無線基地局８００は、無線通信可能範囲に存在する移動ノード８１０と無線通信をする。各部屋内には、複数の固定ノード８２０が設けられており、各固定ノード８２０は、赤外線通信可能範囲に存在する移動ノード８１０と赤外線通信をする。

例えば、図１７に示すように、移動ノード８１０が部屋１から部屋５に移動した場合、移動ノード８１０は、部屋１の無線基地局８００との通信を切断し（接続を解除し）、部屋５の無線基地局８００との通信を開始する（接続する）。

また、図１８に示すように、固定ノード８２０の通信範囲を撮影範囲に含むように複数のカメラ２２０が設けられる。各カメラ２２０と固定ノード８２０とは対応付けられている。また、室内には部屋俯瞰用カメラ２２１が設けられる。部屋俯瞰用カメラ２２１と無線基地局８００とは対応付けられている。この対応付けは、センサ情報変換装置７に保持されている基地局ＩＤとカメラＩＤの対応テーブル（図１５参照）に記録されている。

図１７及び図１８に示すように、無線通信は検出範囲が広いため、部屋単位等の広めで粗い位置単位で移動ノード８１０の位置を把握することができる。このため、無線通信によると、早期に移動ノード８１０の位置を把握することができる。一方、赤外線通信は検出範囲が狭いため、部屋内の狭く細かい位置単位で移動ノード８１０の位置を把握することができる。このため、赤外線通信によると、無線通信より遅れて移動ノード８１０の位置を把握することができる。

図１５は、本実施形態の基地局ＩＤとカメラＩＤの対応テーブル７００を示す。この対応テーブル７００は、前述したように、センサ情報変換装置７に保持されている。

基地局ＩＤとカメラＩＤの対応テーブル７００は、無線基地局８００の識別子７１０及びカメラ２２０の識別子７２０を含み、無線基地局８００の識別子７１０及びカメラ２２０の識別子７２０が対応して記録されている。

なお、無線基地局８００の識別子は、本実施形態の映像ネットワークシステムに備わる無線基地局８００に付与された一意の識別子である。なお、本実施の形態の映像ネットワークシステムに備わる固定ノード８２０にも一意の識別子が付与されており、対応テーブル７００には、固定ノード８２０の識別子とカメラ２２０の識別子７２０との対応も記録されている。

固定ノード８２０とカメラ２２０との対応、及び、無線基地局８００とカメラ２２０との対応は１対１の対応でなくてもよい。例えば、特定の位置を撮影している複数のカメラ２２０に一つの固定ノード８２０を対応させてもよい。

＜移動ノードの状態＞
図１３は、本実施形態の移動ノード８１０の状態の遷移図である。

移動ノード８１０の位置は、センサ情報変換装置７によって管理される。移動ノード８１０の状態は、部屋及び位置の２変数において、各々「不明」又は「確定」の２状態があり、４種類の状態が発生する。

これらの状態間は、下記の四つのイベントによって遷移する。
ＧＷ−ＩＮ：移動ノード８１０と無線基地局８００とが接続された。
ＧＷ−ＯＵＴ：移動ノード８１０と無線基地局８００との接続が解除された。
ＩＲ−ＩＮ：移動ノード８１０と固定ノード８２０とが接続された（移動ノード８１０が固定ノード８２０へ接近した）。
ＩＲ−ＯＵＴ：移動ノード８１０と固定ノード８２０との接続が解除された（移動ノード８１０が固定ノード８２０から遠ざかった）。

また、移動ノード８１０の４種類の状態は以下のように定義される。

［状態１］
状態１は、ＧＷ−ＯＵＴ及びＩＲ−ＯＵＴの状態であり、移動ノード８１０が存在する部屋が不明で、かつ、移動ノード８１０の位置も不明な状態である。状態１では、移動ノード８１０に対応するアイコンを表示しない。状態１は、「移動ノードと無線基地局との接続が解除された」イベントを受信した場合に状態２から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態４から遷移する。

［状態２］
状態２は、ＧＷ−ＩＮ及びＩＲ−ＯＵＴの状態であり、移動ノード８１０が存在する部屋は確定しているが、移動ノード８１０の部屋内の位置は不明な状態である。状態２では、移動ノード８１０に対応するアイコンが、移動ノード８１０と接続された基地局８が設置されている部屋の中心の位置に表示される。

なお、状態２では、アイコンの背景色は表示されない。状態２は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態１から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態３から遷移する。

［状態３］
状態３は、ＧＷ−ＩＮ及びＩＲ−ＩＮの状態であり、移動ノード８１０が存在する部屋は確定しており、かつ、移動ノード８１０の部屋内の位置も確定している状態である。状態３では、移動ノード８１０と接続された固定ノード８２０が設置されている位置に、移動ノード８１０に対応するアイコンが表示される。このとき、移動ノード８１０のアイコンをアニメーションによって（例えば、アイコンによって表された人が歩くように）、アイコンの表示位置を移動させるとよい。

なお、状態３では、移動ノード８１０のアイコンは、固定ノード８２０のアイコンの背景と同じ背景色で表示される。状態３は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態２から遷移し、「移動ノードと固定ノードとが接続された」イベントを受信した場合に状態４から遷移する。

［状態４］
状態４は、ＧＷ−ＯＵＴ及びＩＲ−ＩＮの状態であり、移動ノード８１０が存在する部屋は不明であるが、移動ノード８１０の位置が確定している状態である。状態４では、移動ノード８１０と接続された固定ノード８２０が設置されている位置に、移動ノード８１０に対応するアイコンが表示される。

なお、状態４では、移動ノード８１０のアイコンは、固定ノード８２０のアイコンの背景と同じ背景色で表示される。すなわち、状態３から状態４に遷移した場合、アイコンの表示は変更されない。状態４は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態１から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態３から遷移する。

＜無線通信の有無から位置を把握する動作＞
次に、無線通信によって移動ノード８１０の位置を把握する動作について説明する。

図１８に示すように、室内に配置された部屋俯瞰用カメラ２２１は無線基地局８００と対応付けられている。

センサ情報変換装置７は、移動ノード８１０が部屋毎に配置されている無線基地局８００と接続したことを検出し、移動ノード８１０の位置を把握する。さらに、センサ情報変換装置７は、検出された移動ノード８１０の位置（例えば、移動ノード８１０が接続した無線基地局８００が設けられた部屋の識別子）及び移動ノード８１０の位置に対応するカメラ２２０の識別子とを含む優先度情報を生成する。そして、センサ情報変換装置７は、生成された優先度情報を伝送制御装置２０及び画像検索装置６へ送信する。

移動ノード８１０は、いずれかの無線基地局８００と接続している間は、所定のタイミングで（例えば、周期的に）無線通信によって何らかのデータ、例えば図１４（詳細は後述する）に示す赤外線観測データ、を送信する。この場合、赤外線通信によって固定ノードの識別子を受信していなかった場合、自移動ノードの識別子のみ含む赤外線観測データを送信する。無線基地局８００は、移動ノード８１０から無線通信で送られてくる赤外線観測データを受信すると、受信した赤外線観測データ及び当該無線基地局８００に割り当てられた固有ＩＤをセンサ情報変換装置７へ送信する。

センサ情報変換装置７は、移動ノード８１０毎にどの無線基地局８００と接続しているか、又はいずれの基地局８にも接続していないかを表すフラグを管理している。具体的には、いずれかの無線基地局８００と接続している場合は、接続先の無線基地局８００の識別子がフラグに設定される。一方、いずれの無線基地局８００にも接続していない場合は、「ｎｕｌｌ」がフラグに設定される。

このように設定されたフラグ、無線基地局８００から受信した移動ノード８１０の識別子及び無線基地局８００の識別子を用いて、下記の位置情報生成処理を行う。

１）無線基地局Ａに移動ノードＸが接続し、移動ノードＸの接続先フラグが「ｎｕｌｌ」の場合、移動ノードＸの接続先フラグに無線基地局Ａの識別子を設定し、「移動ノードＸが無線基地局Ａに接続した」情報を生成する。

２）移動ノードＸの接続先フラグが「Ａ」で、無線基地局Ａから移動ノードＸの観測値が所定時間（例えば、５秒間）受信できなかった場合、移動ノードＸの接続先フラグを「ｎｕｌｌ」に設定し、「移動ノードＸが無線基地局Ａの通信範囲から離脱した」情報を生成する。

３）移動ノードＸのフラグが「Ａ」であり、移動ノードＸが無線基地局Ｂに接続した場合、移動ノードＸの接続先フラグに無線基地局Ｂの識別子を設定し、「移動ノードＸが無線基地局Ａから離脱した」情報、及び「移動ノードＸが無線基地局Ｂに接続した」情報を、続けて生成する。

生成された接続情報は、伝送制御装置２０及び画像検索装置６に送信される。生成された接続情報には、少なくとも、接続又は離脱した時刻、移動ノード８１０の識別子、接続または離脱した無線基地局８００の識別子、無線基地局８００に対応する部屋俯瞰用のカメラ２２０の識別子を含む。あるいは、該当する部屋にある全てのカメラの識別子を含んでもよい。

＜赤外線観測データから位置を把握する動作＞
図１８に示すように、赤外線を発信する固定ノード８２０はカメラ２２０とペアで配置される。

移動ノード８１０は、固定ノード８２０から送信される固定ノードの識別子を受信すると、受信した固定ノードの識別子を含むデータを無線基地局８００に送信する。すなわち、移動ノード８１０は、新たな固定ノード８２０から識別子を受信すると、無線基地局に送信するデータに、新たな固定ノードの識別子を含める。

センサ情報変換装置７は、移動ノード８１０から送信されたデータに新たな受信ノードＩＤが含まれるように変化したことを検出すると、移動ノード８１０（当該移動ノード８１０を保持した人物）が、ある固定ノード８２０の前に来たことを検出し、移動ノード８１０の位置を把握する。さらに、センサ情報変換装置７は、移動ノード８１０の位置情報及び移動ノード８１０の位置に対応するカメラの識別子を含む優先度情報を生成し、生成された優先度情報を伝送制御装置２０及び画像検索装置６へ送信する。

より具体的には、固定ノード８２０は、所定のタイミングで（例えば、０．２５秒等の所定の時間間隔で）自ノードに付与された識別子を赤外線を用いて送信する。

移動ノード８１０は、所定時間（例えば、２秒間）赤外線を受信し、受信した固定ノードの識別子を含む赤外線観測データを無線基地局８００へ送信する
図１４は、本実施形態の移動ノード８１０が無線通信によって送信する赤外線観測データ６００の形式を示す説明図である。

赤外線観測データ６００は、前記所定時間内に受信したノードのＩＤ数６３０、受信したノードのＩＤ６４０、及び、各ＩＤの２秒間の受信回数６５０を含む。さらに、赤外線観測データ６００は、前記移動ノードから赤外線観測データを無線送信した時刻６１０及び自ノードの識別子６２０を含む。なお、前記所定時間内に固定ノードの識別子を受信しなかった場合、赤外線観測データ６００は送信時刻６１０及び自ノードの識別子６２０のみを含む。

無線基地局８００は、移動ノード８１０から送信された赤外線観測データ６００を受信すると、受信した赤外線観測データ６００を自無線基地局の識別子と共に、センサ情報変換装置７へ送信する。

センサ情報変換装置７は、無線基地局８００から送信された赤外線観測データ６００を受信すると、受信した赤外線観測データ６００から、移動ノード８１０が通信している固定ノード８２０の識別子を抽出する。そして抽出された固定ノード識別子に基づいて、移動ノード８１０毎に設けられた固定ノード８２０との通信状態を表す通信先フラグを設定する。具体的には、いずれかの固定ノード８２０と接続している場合は、接続先の固定ノード８２０の識別子がフラグに設定される。一方、いずれの固定ノード８２０にも接続していない場合は、「ｎｕｌｌ」がフラグに設定される。

センサ情報変換装置７は、前述したように固定ノードＩＤとカメラＩＤの対応表７００（図１５参照）を保持している。なお、本実施形態では、固定ノードＩＤとカメラＩＤの対応表は、基地局ＩＤとカメラＩＤの対応テーブル７００に含まれているが、基地局ＩＤとカメラＩＤの対応テーブル７００とは別個に、固定ノードＩＤとカメラＩＤの対応表を設けてもよい。

センサ情報変換装置７は、移動ノード８１０が固定ノード８２０と接続した又は接続を解除した場合に、接続／解除時刻、移動ノードの識別子及びカメラの識別子を含む接続／離脱メッセージ９００（図１６参照）を、伝送制御装置２０及び画像検索装置６へ送信する。

なお、赤外線通信による「固定ノードへ接続」と、無線通信による「無線基地局へ接続」が同時に到来した場合、「固定ノードへ接続」が優先される。

図１６は、本実施形態の接続／離脱メッセージ９００の形式を示す説明図である。

接続／離脱メッセージ９００は、メッセージ長９１０、メッセージ種別９２０、移動ノードの識別子９３０、固定ノードの識別子／無線基地局の識別子９４０、カメラの識別子９５０及びタイムスタンプ９６０を含む。メッセージ種別９２０は、「接続通知」又は「離脱通知」に対応するコードが設定される。

画像検索装置６は、接続／離脱メッセージ９００を受信すると、受信した接続／離脱メッセージ９００を記憶する。画像検索装置６が、移動ノードの識別子９３０とカメラの識別子９５０と対応させて記憶することによって、移動ノードが特定された画像を（例えば、Ａさんの写っている画像）を検索することが可能になる。

画像表示装置５は、受信したカメラの識別子に基づいて、表示の優先度を決定する。特定の位置を撮影している複数のカメラ２２０に一つの固定ノード８２０が対応している場合、当該固定ノード８２０に対応する複数のカメラ２２０の優先度を全て上げることができる。

また、前述したように、固定ノード８２０が赤外線送受信機能及び／又は無線通信機能を備える場合には、固定ノード８２０と移動ノード８１０とが赤外線通信によって相互に識別子を送受信することができる。そして、固定ノード８２０は、移動ノード８１０の識別子を受信した場合に、受信した移動ノードの識別子を含む赤外線観測データを、無線基地局８００を経由して、センサ情報変換装置７に送る。このようにすれば、無線通信が不安定な場合にも、センサ情報変換装置７は、固定ノード８２０又は移動ノード８１０のどちらか一方から赤外線観測データが届けば、移動ノードの位置を認識することができ、信頼性を向上することができる。
＜想定する応用先＞
実施例では、展示会における、展示企業・機関毎、展示毎、あるいは展示説明者毎の注目度評価を例に説明したが、他の応用先もあり得る。例えば、学校やセミナーにおけるクラス（講師）毎の評価、共同就職説明会における企業毎の評価、企業側説明者毎の評価、学会発表会場における、発表(発表者)毎、ポスター毎、あるいはポスター説明者毎の評価、百貨店、量販店などの店舗における、売り場毎、あるいは販売員毎の評価、自動車販売店における、車種毎、あるいは販売員毎の評価、等も想定される。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものでなく、種々変形実施可能であり、上述した各実施形態を適宜組み合わせることが可能であることは、当業者に理解されよう。

実施例１におけるセンサネットワークシステムの構成を示す図の一例。実施例１におけるセンサ端末のハードウェア構成を示すブロック図の一例。実施例１における中継機のハードウェア構成を示すブロック図の一例。実施例１における基地局のハードウェア構成を示すブロック図の一例。実施例１における管理サーバのハードウェア構成を示すブロック図の一例。実施例１におけるセンサデータを格納するテーブルの構成図の一例。実施例１における対面、動作、発言、活発度、注目度を求める処理フロー概要の一例。実施例１における管理サーバでの対面、動作、活発度、発言、注目度の判定方法の詳細な処理フロー図の一例。実験結果から分類された動作に含まれる周波数と行動リズムと動作パターンの関係の一例。実施例１における注目度可視化画面の一例。実施例１における展示説明者への注目度フィードバック表示の一例。実施例２における映像ネットワークシステムの構成を示すブロック図の一例。実施例２における移動ノードの状態の遷移図の一例。実施例２における赤外線観測データの形式を示す説明図の一例。実施例２における基地局ＩＤとカメラＩＤの対応テーブルを示す説明図の一例。実施例２における接続／離脱メッセージの形式を示す説明図の一例。実施例２におけるカメラ、無線基地局及び固定ノードの配置例を示す全体図。実施例２におけるカメラ、無線基地局及び固定ノードの配置例を示す拡大図。実施例２におけるネットワーク映像モニタリングシステムの一例を示すブロック図。実施例２における伝送制御装置の優先度履歴テーブルの一例を示す説明図である。実施例２における伝送制御装置で行なわれる処理の一例を示すフローチャート。

符号の説明

ＢＳ１、ＢＳ２…基地局デバイス、ＷＣ１、ＷＣ２、ＷＣ３…無線通信、ＬＡＮ１…有線ネットワーク、ＳＶ１…管理サーバ、ＰＣ１、ＰＣ２…コンピュータ、ＫＥ１…キーボード、ＭＯ１…マウス、ＣＶ１…赤外線通信、ＰＨ１…ＩＰ電話、ＤＯ１…バーコード・タグ付媒体、ＲＤ２…バーコード・ＩＣタグ読み込み、ＲＤ１…バーコード・ＩＣタグリーダ、ＣＯ１…カメラ、ＭＩ１…マイク、ＷＫＲ１、ＷＫＲ２…展示参加者、ＳＮＳ１…音声センシング、ＳＤ１…センサデータ、ＳＮ０…センサノード、ＣＰＵ０…プロセッサ回路、ＲＦ０…無線回路、ＳＮＳ０…音・加速度・温度・赤外線センサ、ＭＳ２…センサデバイス制御プログラム、ＭＥＭ０…メモリ、ＩＮ０…ボタン、ＯＵＴ０…ＬＣＤ・ＬＥＤ・ブザー、ＭＡＩＬＳＶ１…メール管理サーバ、ＮＴＰＳ…時刻管理サーバ、ＢＣ１、ＢＣ２…赤外線信号発信機、ＢＩＲ１、ＢＩＲ２…赤外線信号

Claims

センサノードと、上記センサノードから送信されるデータを処理する管理サーバとからなる注目度測定可視化システムであって、
上記センサノードは、加速度データを取得する加速度センサと、評価対象あるいは他のセンサノードとの対面による赤外線データを取得する赤外線センサと、上記加速度データ及び上記赤外線データを上記管理サーバに送信する無線送受信部と、を有し、
上記管理サーバは、上記加速度データ及び上記赤外線データを受信する外部通信部と、上記加速度データ及び上記赤外線データに基づいて上記評価対象の注目度を算出する注目度算出部と、を有する注目度測定可視化システム。
請求項１に記載の注目度測定可視化システムにおいて、
上記管理サーバは、上記赤外線データから上記センサノードの携帯者が対面した評価対象を特定する評価対象特定部と、上記赤外線データから上記センサノードの携帯者と他のセンサノードの携帯者との対面情報を検出する対面者識別部と、上記加速度データから上記センサノードの携帯者の活発度を測定する動作識別部と、上記対面情報及び上記活発度に基づいて対面時の活発度を算出する活発度評価部と、をさらに有し、
上記注目度算出部は、上記対面時の活発度に基づいて上記特定された評価対象の注目度を算出する注目度測定可視化システム。
請求項２に記載の注目度測定可視化システムにおいて、
上記センサノードは、音声データを取得する音声センサをさらに有し、
上記管理サーバは、上記音声データから上記センサノードの携帯者が発話したか否かを検出する発言識別部をさらに有し、
上記活発度評価部は、上記発言識別部の検出結果を用いて上記対面時の活発度を算出する注目度測定可視化システム。
請求項３に記載の注目度測定可視化システムにおいて、
上記発言識別部は、上記音声データから上記センサノードの携帯者の発話内容を分析し、
上記活発度評価部は、上記発話内容の分析結果に基づいて上記対面時の活発度を算出する注目度測定可視化システム。
請求項１に記載の注目度測定可視化システムにおいて、
上記評価対象は複数存在し、上記注目度算出部は複数の上記評価対象それぞれの注目度を算出し、
上記管理サーバは、上記複数の評価対象の注目度をその値の大小関係に基づいて表形式で注目度表示部に表示させる注目度可視化部を有する注目度測定可視化システム。
請求項１に記載の注目度測定可視化システムにおいて、
上記センサノードは、時刻情報を保持しており、上記加速度データ及び赤外線データに時刻を付与し、
上記管理サーバは、上記付与された時刻を参照して、複数存在する上記評価対象ごとの注目度を所定の時間帯における所定の時間間隔の推移系列として求める注目度可視化部と、一つあるいは複数の評価対象の注目度を上記推移系列を示す折れ線グラフあるいは棒グラフの形式で表示する注目度表示部と、を有する注目度測定可視化システム。
請求項１に記載の注目度測定可視化システムにおいて、
上記評価対象は、特定の領域内に固定された評価対象物であって、
上記評価対象物に１対１に対応して、上記評価対象物を映すカメラが設置されており、
上記注目度算出部により注目度が高いと判定された評価対象物を映すカメラの映像を優先して表示する注目度測定可視化システム。
評価対象に関する会話を行う上記評価対象の説明者及び被説明者それぞれが携帯するセンサノードと、
上記センサノードにより取得されたデータを分析して、上記評価対象の注目度を算出する管理サーバと、
上記注目度を提示する注目度表示部とを備え、
上記センサノードは、上記被説明者の動作を検出する加速度センサと、上記評価対象と上記説明者との対面情報及び上記説明者と上記被説明者との対面情報を取得する赤外線センサと、を有し、
上記管理サーバは、上記被説明者の動作、上記評価対象と上記説明者との対面情報、及び、上記説明者と上記被説明者との対面情報に基づいて上記評価対象の注目度を算出する注目度算出部を有する注目度測定可視化システム。
請求項８に記載の注目度測定可視化システムにおいて、
上記管理サーバは、上記対面情報に含まれる識別子データから上記被説明者が対面した評価対象を特定する評価対象特定部と、上記対面情報に含まれる識別子データから上記被説明者が対面した説明者を特定する対面者識別部と、上記被説明者の動作から上記被説明者の活発度を測定する動作識別部と、上記活発度に基づいて上記説明者との対面時の活発度を算出する活発度評価部と、をさらに有し、
上記注目度算出部は、上記対面時の活発度に基づいて上記特定された評価対象の注目度を算出する注目度測定可視化システム。
請求項９に記載の注目度測定可視化システムにおいて、
上記センサノードは、音声データを取得する音声センサをさらに有し、
上記管理サーバは、上記音声データから上記被説明者が発話したか否かを検出する発言識別部をさらに有し、
上記活発度評価部は、上記発言識別部の検出結果を用いて上記対面時の活発度を算出する注目度測定可視化システム。
請求項１０に記載の注目度測定可視化システムにおいて、
上記発言識別部は、上記音声データから上記被説明者の発話内容を分析し、
上記活発度評価部は、上記発話内容の分析結果に基づいて上記対面時の活発度を算出する注目度測定可視化システム。