JP2017224148A - 人流解析システム - Google Patents

Abstract

【課題】被撮影人のプライバシーの問題等を克服できる人流解析システムを提供する。【解決手段】撮像端末１０は、距離画像を生成する距離画像生成部１１と、距離画像内の対象物の人の絶対位置を算出する絶対位置算出部１３と、人の絶対位置と存在時刻との情報を含む人情報を送信する第１送信部１５とを備える。解析サーバ３は、受信した複数の人情報から、同一人についての人情報であると推定される人情報を集めた人別情報群を生成する人別情報群生成部３２と、人別情報群から人別の移動状況を解析する解析部３３とを備える。【選択図】図３

Description

本発明は、撮影画像に基づいて人流を解析する人流解析システムに関する。

特許文献１は、複数の駅構内の自動改札機の近傍の箇所に撮像機を設置し、自動改札機を通過する人を撮像機で撮影し、撮影場所と撮影時刻と撮像画像とを関連情報としてネットワークを介して移動経路特定装置に送信するシステムを開示する。該システムでは、移動経路特定装置は、各駅からの多数の関連情報に含まれる撮像画像から顔の特徴を抽出するとともに、抽出した顔の特徴に基づいて同一人であると同定された人に係る関連情報をグルーピングして、グルーピングした関連情報に基づいて該人の移動経路を特定している。

特許文献２は、予め複数の人について人別にその顔を種々の方位から撮像された複数の登録領域画像を登録領域画像群として登録しておき、複数のカメラで異なる方向から撮影された人の顔画像と人別登録領域画像群の登録領域画像とを対比して、撮影された人と登録領域画像群に顔の画像が登録された人とが同一であるかを判断する画像認識システムを開示する。

特開２０１６−１４９３６号公報 特開２０１６−１４４７号公報

特許文献１の移動経路特定システムは、顔画像から抽出される顔の特徴に基づいて人の移動経路を特定している。特許文献２の装置も、撮影された顔の特徴に基づいて人を同定する。人の顔を撮影することは、プライバシーの侵害になることがあるので、好ましくない。

さらに、特許文献１の移動経路特定システムでは、撮像機の撮像画像を、ネットワークを介して移動経路特定装置へ送信する。これは、ネットワークのトラフィック増大の原因になる。また、撮像画像から人の顔の特徴を抽出することは処理装置の負荷増大の原因になる。

本発明の目的は、人のプライバシー等の問題になる顔画像の処理を省略して、人流を解析することができる人流解析システムを提供することである。

本発明の人流解析システムは、
ネットワークを介して相互に接続されている撮像端末と解析サーバとを備える人流解析システムであって、
前記撮像端末は、
所定の撮影範囲の距離画像を生成する距離画像生成部と、
前記撮像端末の位置に対する前記撮影範囲に存在する人の相対位置を前記距離画像に基づいて検出する相対位置検出部と、
所定の固定点に対する位置を絶対位置として、前記相対位置検出部が検出した前記人の相対位置と前記撮像端末の絶対位置とに基づいて前記人の絶対位置を算出する絶対位置算出部と、
前記絶対位置算出部が算出した前記人の絶対位置と、該絶対位置における該人の存在時刻との情報を含む人情報を生成する人情報生成部と、
前記人情報生成部が生成した前記人情報を、前記解析サーバへ前記ネットワークを介して送信する第１送信部とを備え、
前記解析サーバは、
前記ネットワークを介して前記人情報を受信する受信部と、
該受信部が受信した複数の人情報から、同一人についての人情報であると推定される人情報を集めた人別情報群を生成する人別情報群生成部と、
前記人別情報群生成部が生成した人別情報群に基づいて人別の移動状況を解析する解析部とを備えることを特徴とする。

本発明によれば、距離画像に基づいて検出した人の絶対位置及び存在時刻に基づいて人別に移動状況を解析する。この場合は、人の存在位置を検知すればよく、人の顔画像による個人の認識は不要となるので、プライバシーの問題を回避することができるとともに、ネットワークのトラフィック増大や、顔画像から人の顔の特徴を抽出する処理に起因する負荷増大を回避することができる。

本発明の人流解析システムにおいて、
前記撮影範囲内に配置され、前記ネットワークを介して前記解析サーバに接続されている入力端末を備え、
該入力端末は、近傍に存在する人についての入力データが入力される入力部と、
前記入力データと前記入力データの入力時刻と前記入力端末の絶対位置との情報を含む関連情報を生成する関連情報生成部と、
前記関連情報生成部が生成した関連情報を、前記解析サーバへ前記ネットワークを介して送信する第２送信部とを備え、
前記解析サーバの前記受信部は、前記入力端末から前記関連情報を受信し、
前記解析サーバの前記解析部は、前記受信部が受信した関連情報について、該関連情報の入力時刻に対する差分が第１閾値以内である存在時刻と、該関連情報の絶対位置との差分が第２閾値以内である絶対位置との情報を含む人情報を有する人別情報群の有無を判別し、該当する人別情報群が有れば、該人別情報群に該関連情報を紐付けし、各人別情報群に基づいて人別の移動状況を解析する際には、各人別情報群に紐付けされた関連情報に含まれる入力データを関連付けた解析を行うことが好ましい。

この構成によれば、人の移動経路に、関連情報の入力データを関連付けることにより、解析した移動経路の利用価値を高くすることができる。

本発明の人流解析システムにおいて、
前記撮像端末を、各撮像端末の撮影範囲が部分的に重複するように、複数備え、
前記人別情報群生成部は、複数のうちの２つの撮像端末がそれぞれ生成しかつ前記撮影範囲の重複部分に属する２つの人情報について、該２つの人情報における存在時刻の差分が第３閾値以内でありかつ該２つの人情報に含まれる絶対位置の差分が第４閾値以内であれば、該２つの人情報は、同一絶対位置の同一人の人情報として前記人別情報群を生成することが好ましい。

この構成によれば、２つの撮像端末の撮影範囲の重複部分における同一人の人情報を的確に処理して、撮影範囲の重複部分を有する複数の撮像端末間での人流解析を行うことができる。

本発明の人流解析システムにおいて、
前記撮像端末は、ＧＰＳセンサ、気圧センサ、加速度センサ及びジャイロセンサを備え、
前記絶対位置算出部は、前記撮像端末の位置を基準位置とし、前記人の絶対位置を、前記ＧＰＳセンサ及び前記気圧センサの検出値に基づいて算出した前記基準位置の絶対位置と、前記加速度センサ及び前記ジャイロセンサの検出値に基づいて算出した前記基準位置から見た前記撮影範囲の方向と、前記相対位置検出部が検出した前記人の相対位置とに基づいて算出することが好ましい。

この構成によれば、撮像端末の設置時や移動時に作業員が該撮像端末の絶対位置を一々、手入力する手間を省くことができる。また、撮像端末が、首振り等により撮影範囲を変動させるときも、各撮像範囲における人の絶対位置を支障なく算出することができる。

人流解析システムの構成図。 店舗内の距離画像カメラにより生成された距離画像の時系列を示す図。 人流解析システムのブロック図。 撮像端末による処理のフローチャート。 入力端末による処理のフローチャート。 解析サーバによる受信処理のフローチャート。 解析サーバの人別情報群生成部による人別情報群の生成処理のフローチャート。 解析サーバの解析部による関連情報の紐付け処理のフローチャート。 解析サーバの解析部による移動経路の解析処理のフローチャート。 ２つの距離画像カメラを使って人流解析を行うときの処理の説明図。

図１において、人流解析システム１は、インターネット２と、解析サーバ３と、店舗４、駅構内５及び人流存在領域６ａ〜６ｎに配備されてインターネット２を介して解析サーバ３との間でデータを授受する機器とを備えている。人流存在領域６ａ〜６ｎを特に区別しないときは、「人流存在領域６」と総称する。店舗４及び駅構内５は、人流存在領域６の例である。「人流存在領域６」と総称するときは、店舗４及び駅構内５も含むものとする。

店舗４は、距離画像カメラ４１ａ，４１ｂ，４１ｃ、ＰＯＳ端末４４及びネット接続器４５を備えている。

距離画像カメラ４１ａ，４１ｂ，４１ｃは、店舗４内の天井や壁等に設置される。ＰＯＳ端末４４は、店員によって操作される。人７（店舗４の顧客）は、店舗４内を移動した後、購入品をＰＯＳ端末４４の所へ持参して、ＰＯＳ端末４４において購入品の支払いを現金、電子マネー又はクレジットカード等で行う。その際、ＰＯＳ端末４４には、購入品や支払額が入力される。さらに、店員は、人７を観察し、人７について所定の項目（例：性別や年代等）の観察結果を入力する。人７についてＰＯＳ端末４４において入力された購入品や支払額及び店員が入力した観察結果は、後述の関連情報の所定の入力データの全部又は一部として選択される。

ネット接続器４５は、例えばルータであり、距離画像カメラ４１ａ〜４１ｃ及びＰＯＳ端末４４とインターネット２との間の入力データの授受を中継する。

駅構内５には、距離画像カメラ５１ａ，５１ｂ、自動改札機５２ａ〜５２ｃ及びネット接続器５３が配備される。距離画像カメラ５１ａ，５１ｂは、駅構内５内の天井や壁等に設置される。自動改札機５２ａ〜５２ｃは、駅の改札口に設置され、人７（乗降客）が通過する際、すなわち人７が近傍に存在する時に、人７から切符、定期又はＩＣカードの入力データを読み取る。読み取ったこれらの入力データは、人７の駅構内５への入場時の入力データ及び駅構内５からの退場時の入力データ共に、後述の関連情報の所定の入力データとして用いられる。

ネット接続器５３は、例えばルータであり、距離画像カメラ５１ａ，５１ｂ及び自動改札機５２ａ〜５２ｃとインターネット２との間の入力データの授受を中継する。

以下、距離画像カメラ４１ａ〜４１ｃを特に区別しないときは、「距離画像カメラ４１」と総称する。距離画像カメラ５１ａ，５１ｂを特に区別しないときは、「距離画像カメラ５１」と総称する。自動改札機５２ａ〜５２ｃを特に区別しないときは、「自動改札機５２」と総称する。

図２は店舗４内の距離画像カメラ４１により生成された距離画像の時系列を示している。複数の距離画像について、時系列の撮像時刻順にＧ１，Ｇ２，・・・Ｇｍの符号を付けしている。図１の店舗４には、距離画像カメラ４１ａ〜４１ｃの３つが図示されているが、図２については、１つの距離画像カメラ４１が、店舗４の天井のほぼ中央に取付けられ、単独で店舗４全体を撮影している。距離画像カメラ４１は、撮影範囲の距離画像を一定の時間間隔Δで生成する。したがって、図２において時系列に並ぶ距離画像Ｇ１，Ｇ２，・・・Ｇｍは、並び順で隣り同士の距離画像の生成の時間間隔はΔとなる。

また、図２の例では、距離画像カメラ４１の撮影範囲に人７（図１）が３人存在すると仮定している。以下、３人を区別するときは、人７ａ〜７ｃと呼ぶ。図２の人画像Ｍａ〜Ｍｃは人７ａ〜７ｃを撮影した画像となっている。以下、人画像Ｍａ〜Ｍｃを特に区別しないときは、「人画像Ｍ」と総称する。距離画像Ｇ１，Ｇ２，・・・を特に区別しないときは、「距離画像Ｇ」と総称する。

距離画像Ｇの生成方法は、公知であるが、一例を簡単に説明する。この距離画像カメラ４１は、ＴＯＦ（Time Of Flight）方式で距離画像カメラ４１から対象物としての人までの距離を算出する。図示していない光源は、撮影範囲の全体に向かってフラッシュ方式で所定周波数の変調光を出射する。具体的な変調光は、光源の点滅により生成されるパルス波形の光である。該変調光は、例えば、周波数が１０ＭＨｚで、１周期が半周期の点灯期間と半周期の消灯期間とから成る。

距離画像カメラ４１の撮影範囲に人７が存在すれば、距離画像カメラ４１の近傍に配置された光源からの出射光は該人７で反射して、距離画像カメラ４１の撮像素子（イメージセンサ）の対応の画素に入射する。そこで、画素ごとに出射光と反射光との位相差φを検出すれば、位相差φと光速とに基づいて画素ごとに対象物としての人７までの距離を算出することができる。

具体的には、光源の変調光に同期して、各画素に入射する反射光による光量（電荷生成量）を所定の位相期間、蓄積し、その蓄積した光量を撮像素子から読み取って、位相差φを算出する。詳細には、光源の変調光に同期して基準位相αが設定され、α〜α＋１８０°の電荷蓄積量Ｃ１、α＋９０°〜α＋２７０°の電荷蓄積量Ｃ２、α＋１８０°〜α＋３６０°の電荷蓄積量Ｃ３、α＋２７０°〜α＋４５０°の電荷蓄積量Ｃ４を画素ごとに検出する。

次に、位相差φを位相差φ＝ａｒｃｔａｎ｛（Ｃ１−Ｃ３）／（Ｃ２−Ｃ４）｝から計算する。画素から該画素に反射光を返した対象物までの距離は、（φ／３６０）×周期×光速×（１／２）から計算される。なお、Ｃ１−Ｃ３やＣ２−Ｃ４と差分を計算するのは、背景光を除去するためである。

図２に戻る。距離画像カメラ４１は、レンズの中心を通り撮影範囲の中心を貫通する中心線として定義される光軸を有する。なお、図２の例では、距離画像カメラ４１は首振りや直線移動しないので、光軸は、変動せず、固定されている。

ここで、人流解析システム１における相対位置及び絶対位置について説明する。距離画像カメラ４１の基準位置として距離画像カメラ４１の任意の部位を設定可能であるが、この例では、距離画像カメラ４１のレンズの中心を距離画像カメラ４１の基準位置に設定している。基準位置に対する各位置を相対位置と定義する。絶対位置は、所定の固定点に対する各位置を絶対位置と定義する。地球上の箇所は、すべて運動しているので、厳密な意味には固定点は地球上に存在しないが、移動する人７に対しでは、地球上で経度と緯度と海抜とが特定される各箇所は固定点となる。固定点を解析サーバ３の設置場所や、店舗４の本社の地点に設定してもよい。

撮影範囲に存在する人７は、距離画像Ｇにおいて人画像Ｍとして存在する。人画像Ｍの対象物としての人７の相対位置は、次のようにして求められる。距離画像Ｇから、基準位置（距離画像カメラ４１のレンズの中心）からの人７の方向と、基準位置から人７までの距離が検出される。該方向と該距離とに基づいて、該基準位置に対する人７の相対位置が一義に決定される。なお、相対位置の表現形式は任意である。相対位置は、例えば、基準位置からの方向と距離とで表現したり、基準位置を原点とするｘ軸、ｙ軸及びｚ軸の３軸座標系で表現したりすることができる。

店舗４内の人７の相対位置は、店舗４における人７の移動に伴って、時々刻々変化する。図２のＲａ〜Ｒｃは、距離画像Ｇ１から距離画像Ｇｍまでの人７ａ〜７ｃの相対位置の変化を時間順につなぎあわせて生成した移動経路を示している。以下、移動経路Ｒａ〜Ｒｃを特に区別しないときは、「移動経路Ｒ」と総称する。

図２の距離画像Ｇｍでは、人画像Ｍａの人７ａは、ＰＯＳ端末４４において購入品の支払いの手続を行っている最中である。この支払い手続きにより、人７ａについての前述の所定の入力データがＰＯＳ端末４４に入力される。さらに、不図示の店員は、人７ａに対する購入品の入力及び支払い金の受取り処理とは別に、人７ａを観察して性別や年代等をＰＯＳ端末４４に入力する。これらの観察項目の入力も、該所定の入力データに含められて、ＰＯＳ端末４４に入力される。

図３は人流解析システム１のブロック図である。各ブロックにおける具体的な処理については、図４〜図９のフローチャートと共に説明するので、ここでは、概略的に説明する。

解析サーバ３、撮像端末１０及び入力端末２０は、インターネット２を介して相互に接続される人流解析システム１を構成する。撮像端末１０は、具体的には、距離画像カメラ４１，５１である。入力端末２０は、具体的には、図１のＰＯＳ端末４４や自動改札機５２である。

図３には、撮像端末１０及び入力端末２０が１つずつしか図示されていない。しかしながら、実際の人流解析システム１では、図１において、共通の解析サーバ３に対して人流存在領域６が複数接続されているように、図２の人流解析システム１の一般的な適用例では、撮像端末１０及び入力端末２０はそれぞれ２以上存在する。そして、解析サーバ３は、それぞれ２以上の撮像端末１０及び複数の入力端末２０から関連情報や入力端末を共通に受信して、複数の人流存在領域６における人流を解析する。

撮像端末１０及び入力端末２０は、共に、図１の人流存在領域６に配備されている。撮像端末１０は、距離画像生成部１１、相対位置検出部１２、絶対位置算出部１３、人情報生成部１４及び第１送信部１５を備えている。距離画像生成部１１は具体的には撮像端末１０の撮像素子である。相対位置検出部１２、絶対位置算出部１３、人情報生成部１４及び第１送信部１５は、撮像端末１０が装備するマイクロプロセッサがソフトウェアの実行に伴い生成されるソフトウェア上の機能手段である。

撮像端末１０は、図示していないＧＰＳセンサ、気圧センサ、加速度センサ、ジャイロセンサ、重力センサ及び地磁気センサを含み、これらセンサの検出値を使用して、人７の相対位置及び絶対位置を算出する。人７の絶対位置を算出する具体的な方法は、後述の図６のＳＴＥＰ１０４において説明する。

入力端末２０は、入力部２１、関連情報生成部２２及び第２送信部２３を備えている。解析サーバ３は、受信部３１、人別情報群生成部３２及び解析部３３を備えている。

図４は、撮像端末１０による処理のフローチャートである。撮像端末１０は、一定時間間隔で図４の処理を行う。なお、該一定時間間隔とは、例えば、１つの距離画像Ｇを生成する時間間隔Δである。

ＳＴＥＰ１０１では、距離画像生成部１１は距離画像Ｇを生成する。撮影範囲内に人７が存在すれば、距離画像Ｇには、人画像Ｍが、撮影範囲内に存在する人７の人数に等しい個数含まれる。

ＳＴＥＰ１０２では、相対位置検出部１２は距離画像Ｇから人画像Ｍを抽出する。図２の距離画像Ｇの例では、距離画像カメラ４１は店舗４の天井に取り付けられているので、距離画像Ｇは、店舗４を上方から撮影したものになっている。したがって、人画像Ｍは、頭部と肩部が見えるだけとなり、顔はほとんど見ることができない。人７の頭部の形状及び大きさは、上方から見ると、性別、体格及び年齢に依存することが少なく、性別等に関係なくほぼ一定である。なお、人の頭部は、上方から見て、形状がほぼ円であり、該円の直径の平均値は約２０ｃｍの大きさである。

相対位置検出部１２は、具体的には、人画像Ｍ全体ではなく、人７の頭部を抽出する。人７の頭部の具体的な抽出の仕方は次のとおりである。距離画像Ｇからは、撮像端末１０の撮像素子の画素ごとに測距対象までの距離を検出される。距離画像Ｇから、連続画素同士がほぼ等距離を検出している画像部分を抽出する。次に、該抽出した画像部分の形状が円でありかつ該円の半径（実空間の半径）が所定範囲にあると判断されたときは、該画像部分は人７の頭部であると決定する。

ＳＴＥＰ１０３〜ＳＴＥＰ１０５は、ループＬ１に含まれる処理である。ループＬ１は、距離画像Ｇから抽出した頭部画像の個数と等しい回数、繰り返される。距離画像Ｇから抽出した各頭部画像は、撮像端末１０の撮影範囲に存在する各人７に対応する。

ＳＴＥＰ１０３では、相対位置検出部１２は、人７の相対位置を検出する。人７の相対位置は、前述したように、基準位置（撮像端末１０のレンズの中心）に対する人７の位置である。人７の相対位置は、距離画像Ｇから求めた基準位置からの人７の方向及び距離に基づいて検出される。

ＳＴＥＰ１０４では、絶対位置算出部１３は、当該人７の絶対位置を算出する。距離画像の中に物体画像として含まれる物体の絶対位置を算出する具体的な方法は、例えば特開２０１４−７４６１５号公報に記載されている。該公報に記載されている世界座標系の座標は、絶対位置の一例である。該公報の装置は、距離画像カメラの姿勢を検出し、検出した姿勢に基づいて距離画像中の物体の絶対位置を算出している。距離画像カメラの姿勢は、距離画像カメラの光軸の方向を意味する。さらに、距離画像カメラの光軸の方向は、距離画像カメラの撮影範囲を規定し、重力センサ及び地磁気センサの検出値に基づいて算出される。

この人流解析システム１における人７の絶対位置の算出方法を簡単に説明する。人７の絶対位置は、基準位置の絶対位置と、基準位置から見た撮影範囲の方向（距離画像カメラ４１の光軸の方向）と、基準位置に対する人７の相対位置とに基づいて算出される。

基準位置の絶対位置は、その水平方向成分についてはＧＰＳセンサの検出値に基づいて算出され、その鉛直方向成分については気圧センサの検出値に基づいて算出される。距離画像カメラ４１の光軸の方向は、重力センサ及び地磁気センサの検出値に基づいて算出される。距離画像カメラ４１の撮像素子の受光面の横方向及び縦方向をそれぞれｘ軸方向及びｙ軸方向とし、光軸方向をｚ軸方向とする。また、ｙ軸の回りの距離画像カメラ４１の回転角をヨー角、ｘ軸の回りの距離画像カメラ４１の回転角をピッチ角、ｚ軸の回りの距離画像カメラ４１の回転角をロール角とする。ピッチ角及びロール角は重力センサの検出値から求めることができる。ヨー角は地磁気センサの検出値から求めることができる。こうして、基準位置からのｘ軸、ｙ軸及びｚ軸の方向が決定される。

人７の絶対位置は、基準位置の絶対値と、距離画像カメラ４１の姿勢（距離画像カメラ４１の光軸の方向）と、基準位置に対する人７の相対位置とから算出される。

距離画像カメラ４１を固定せず、首振りさせて、光軸の方向を変化させることがある。前述のｘ軸、ｙ軸及びｚ軸の時々刻々の光軸の方向変化は、加速度センサ及びジャイロセンサの検出値に基づいて算出される。この結果、基準位置に対する人７の相対位置（該相対位置はｘ軸、ｙ軸及びｚ軸の３軸座標系のｘ座標、ｙ座標及びｚ座標で表される。また、基準位置は３軸座標系の原点である。）は、支障なく絶対位置に変換される。

ＳＴＥＰ１０５では、人情報生成部１４は、人情報を生成する。該人情報には、絶対位置算出部１３が算出した人７の絶対位置と、該絶対位置における人７の存在時刻（この例では、存在時刻＝人７の人画像Ｍを抽出した距離画像Ｇの撮影時刻）と、タグとを情報として含む。タグは、後述の関連情報にも使用される。以降、人情報をその成分と共に表現するときは、「人情報（絶対位置、存在時刻、タグ）」と、表現することにする。

タグは、人情報及び関連情報全体で解析サーバ３で管理可能なものとして設定され、人流解析システム１全体でタグの使いまわしはしないものとして、例えば桁数が十分大きい数値が使用される。この結果、タグは、人情報及び関連情報を識別するＩＤ（識別子）となる。また、タグは、人情報及び関連情報を生成した撮像端末１０や入力端末２０がどの撮像端末１０や入力端末２０であるかを判別できるように、タグの所定の桁範囲は各端末のＩＤに使用される。タグは、人情報生成部１４及び入力部２１において生成される。

ＳＴＥＰ１０６では、第１送信部１５は、インターネット２を介して人情報解析サーバ３へ人情報（絶対位置、存在時刻、タグ）を送信する。第１送信部１５は、ループＬ１で生成した全部の人情報をＳＴＥＰ１０６においてまとめて送信する。

図５は入力端末２０による処理のフローチャートである。入力端末２０は、立寄ったり通過したりする人７に対して図５の処理を行う。具体的には、入力端末２０が店舗４にＰＯＳ端末４４として配備されているときは、入力端末２０の場所に立寄った人７に対して、図５の処理が行われる。入力端末２０が駅構内５に自動改札機５２として配備されているときは、入力端末２０の近傍を通過する人７に対して、図５の処理が行われる。

ＳＴＥＰ１１１では、入力部２１は、人７の立寄り又は通過に伴って、該人について所定の入力データを受理する。所定の入力データとは、具体的に、入力部２１がＰＯＳ端末４４であるときは、例えば人７の購入品について品名、品名ごとの購入品の個数、及び購入品の合計金額である。なお、人７が支払をクレジットカードや電子マネーで行うときは、クレジットカードや電子マネーカードのカード番号の全部又は一部を所定の入力データに含めることができる。所定の入力データには、さらに、ＰＯＳ端末４４の担当の店員が人７に対する所定の観察項目（例：性別や年代等）に対して判断して入力した観察結果も含めることができる。

入力部２１が自動改札機５２であるときは、所定の入力データとは、例えば、人７が提示した定期券や切符等に登録されていて、自動改札機５２が定期券等から読み取った入力データ（例：乗車区間の両端の駅名や定期の有効期限）の全部又は所定の一部である。なお、自動改札機５２は、人７の通過時刻を検出するが、該通過時刻は、関連情報の入力時刻の情報として使用される。

ＳＴＥＰ１１２では、関連情報生成部２２は関連情報を生成する。該関連情報には、入力データと入力データの入力時刻と入力端末２０の絶対位置と、さらに、タグの情報を含む。この入力端末２０は、位置が移動しない固定式であるので、入力端末２０の絶対位置は変動しない。したがって、前述のＧＰＳセンサ及び気圧センサを省略して、設置時や移動時に作業員等が入力端末２０の絶対位置を入力することもできる。

以降、関連情報をその成分と共に表現するときは、「関連情報（絶対位置、入力データ、入力時刻、タグ）」と、表現することにする。関連情報のタグも、人情報のタグと同様に、人情報及び関連情報の情報全体のＩＤとなるとともに、生成源の入力端末２０示す情報にもなる。

関連情報（絶対位置、入力データ、入力時刻、タグ）に含まれる入力時刻は、入力端末２０がＰＯＳ端末４４であるときは、人７の支払いを処理した時刻であり、入力端末２０が自動改札機５２であるときは、人７が自動改札機５２を通過した時刻である。

ＳＴＥＰ１１３では、第２送信部２３は、インターネット２を介して関連情報を解析サーバ３へ送信する。第２送信部２３は、人７がＰＯＳ端末４４又は自動改札機５２を通過するごとに関連情報を１つずつ送信するか、又は一定時間ごと若しくは一定個数ごとにまとめて送信する。

図６は解析サーバ３による受信処理のフローチャートである。解析サーバ３は、インターネット２を介して人情報又は関連情報を受信することに伴い、該受信処理を開始する。

ＳＴＥＰ１２１では、受信部３１は、今回受信した情報が人情報及び関連情報のどちらであるかを判断する。具体的には、受信部３１は、受信した各情報の成分個数（この実施形態では、人情報は、絶対位置、存在時刻及びタグの３つの成分から成り、成分個数＝３となる。また、関連情報は、絶対位置、入力データ、入力時刻及びタグの４つの成分を含んでおり、成分個数＝４となる）や、タグの所定の桁範囲の数値に基づいて今回受信した情報が人情報及び関連情報のどちらであるかを判断する。受信部３１は、人情報であると判断したときは、処理をＳＴＥＰ１２２に進め、関連情報であると判断したときは、処理をＳＴＥＰ１２３に進める。

ＳＴＥＰ１２２では、受信部３１は、今回受信した人情報を第１メモリに記憶する。ＳＴＥＰ１２３では、受信部３１は、今回受信した人情報を第２メモリに記憶する。こうして、第１メモリには、撮像端末１０からの人情報が蓄積され、第２メモリには、入力端末２０からの関連情報が蓄積される。

なお、第１メモリにおける人情報の蓄積順及び第２メモリにおける関連情報の蓄積順は、それぞれ受信部３１による人情報及び関連情報の受信順になるが、受信順に制限されない。理由は、人情報及び関連情報は、タグを含むので、受信順に蓄積しなくても、適宜、受信順にソーティングして、受信順にタグのリストを作成し、必要時には、該リストを参照して、リストのタグに対応付けられた所望の人情報及び関連情報を参照することができるからである。

図７は解析サーバ３の人別情報群生成部３２による人別情報群の生成処理のフローチャートである。人別情報群生成部３２は、該生成処理を例えば一定時間間隔又は未処理の人情報の個数が一定値になると、実施する。

ＳＴＥＰ１３１では、人別情報群生成部３２は、第１メモリにおける未処理の人情報の有無を判別する。そして、未処理の人情報が有れば、処理をＳＴＥＰ１３２に進め、無ければ、該生成処理を終了する。

ＳＴＥＰ１３２では、人別情報群生成部３２は、未処理の人情報を存在時刻でソーティングする。

ＳＴＥＰ１３３〜ＳＴＥＰ１３５は、ループＬ２に含まれる処理であり、未処理の人情報について１つずつ処理が行われる。

ＳＴＥＰ１３３では、人別情報群生成部３２は、未処理の人情報のうちから選択した１つの人情報としての当該人情報が帰属可能となる既存の人別情報群の有無を判別する。そして、有れば、処理をＳＴＥＰ１３４に進め、無ければ、処理をＳＴＥＰ１３５に進める。

当該人情報が帰属可能となる人別情報群が有るか無いかは、同一人についての人情報であると推定されるか否かに基づいて判断される。さらに、具体的には、当該人情報が、該既存の人別情報群に付加されたときに、該既存の人別情報群の他の人情報と整合して、同一人に係る移動経路として的確性のあるものが生成できるか否かに基づいて判断される。

具体的には次のように調べることができる。既存の人別情報群には、同一人の人情報が時系列に並べられている。人別情報群生成部３２は、各人別情報群において存在時刻が最も後の人情報（以下、「末端の人情報」という）を選択し、存在時刻及び絶対位置の観点から、当該人情報が末端の人情報に対して当該人情報が人の移動として的確性が有るか無いかを判断する。

例えば、末端の人情報（絶対位置Ａ０、存在時刻Ｂ０、タグＣ０）と、当該人情報（絶対位置Ａ１、存在時刻Ｂ１、タグＣ１）とから両人情報の差分時間Ｂｓ（＝Ｂ１−Ｂ０）と差分距離Ａｓ（Ａ１とＡ０との間の距離）とを算出する。そして、的確要件１は、Δ−β＜Ｂｓ＜Δ＋βとする。βは正の所定値である。該的確要件１は、距離画像Ｇは時間間隔Δで生成されているので、同一人の追跡中は、該同一人の人画像Ｍが時系列の距離画像Ｇに連続して存在するということに依拠する。

的確要件２は、Ａｓ≦Ｖａ×Ｔｘとされる。ただし、Ｖａは人流存在領域６を移動する人７の移動速度の上限である。Ｔｘは例えばΔ−β≦Ｔｘ≦Δ＋βとされる。該的確要件２は、人７が店舗４内を移動速度の上限Ｖａを越えて移動することができないということに依拠する。

こうして、末端の人情報と当該人情報とが、的確要件１，２の両方を有する関係であるときは、当該人情報は当該人別情報群に帰属可能であると判断される。また、末端の人情報と当該人情報とが、的確要件１，２のいずれか一方を欠落する関係であるときは、当該人情報は当該人別情報群に帰属不可能であると判断される。

人別情報群生成部３２は、ＳＴＥＰ１３３を当該人情報について、既存の人別情報群のすべてに対して判断する。そして、人別情報群生成部３２は、当該人情報について、帰属可能な人別情報群が１つ以上存在したときは、処理をＳＴＥＰ１３４に進める。ＳＴＥＰ１３４では、人別情報群生成部３２は、帰属可能な人別情報群が１つであるときは、該人別情報群に当該人情報を登録する（帰属させる）。人別情報群生成部３２は、帰属可能な人別情報群が２つ以上であるときは、当該人情報に対して差分距離Ａｓが最も小さい関係となる末端の人別情報を有する人別情報群に、当該人情報を登録する。

人別情報群生成部３２は、ＳＴＥＰ１３３において、既存の人別情報群のなかに、１つも帰属可能な人別情報群が無いと判断したときは、処理をＳＴＥＰ１３５に進める。ＳＴＥＰ１３５では、人別情報群生成部３２は、当該人情報を新規の人別情報群に登録する。当該人情報は、該新規の人別情報群において唯一の人情報となり、時系列の人情報上で先端かつ末端の人情報となる。次回の人別情報群の生成処理では、該新規の人別情報群は、既存の人別情報群として処理される。

図８は解析サーバ３の解析部３３による関連情報の紐付け（関連付け）処理のフローチャートである。解析部３３は、該紐付け処理を例えば一定時間間隔で、又は未処理の関連情報の個数が一定値になると、実施する。

ＳＴＥＰ１４１では、解析部３３は、第２メモリにおける未処理の関連情報の有無を判別する。そして、未処理の関連情報が有れば、処理をＳＴＥＰ１４２に進め、無ければ、該紐付け処理を終了する。

ＳＴＥＰ１４２では、解析部３３は、未処理の関連情報を入力時刻でソーティングする。

ＳＴＥＰ１４３，１４４は、ループＬ３に含まれる処理であり、未処理の関連情報について１つずつ処理が行われる。

ＳＴＥＰ１４３では、解析部３３は、未処理の関連情報のうちから選択した１つの関連情報としての当該関連情報が紐付け可能である人別情報群の有無を判別する。そして、有れば、処理をＳＴＥＰ１４４に進め、無ければ、ＳＴＥＰ１４４をスキップする。

当該関連情報が紐付け可能である人別情報群の有無は、当該関連情報に情報として含まれる絶対位置及び入力時刻と、当該人別情報群（当該関連情報が紐付け可能である人別情報群であるか否かを今回、判断される人別情報群）に情報として含まれる絶対位置及び存在時刻とを対比して判断される。

具体的に説明すると、次のとおりである。人情報が時系列で並べられている当該人別情報群のうちから、当該関連情報の入力時刻より存在時刻が前及び後で最も近い人情報をそれぞれ「前人情報」といい、後の人情報を「後人情報」として選択する。

そして、解析部３３は、（ａ）前人情報の絶対位置及び存在時刻に対して当該関連情報の絶対位置及び入力時刻が当該人別情報群の人の移動として的確性のある関係が有るか無いかを判断するとともに、（ｂ）当該関連情報の絶対位置及び入力時刻に対して後人情報の絶対位置及び存在時刻が当該人別情報群の人の移動として的確性のある関係が有るか無いかを判断する。

具体的には、解析部３３は、上記（ａ）及び（ｂ）の判断を行うために、前述の的確要件１，２を変形した的確要件３及び４を採用する。すなわち、前述の的確要件１及び２における末端の人情報及び判断対象の人情報に代えて、的確要件３及び４では、前人情報、当該関連情報又は後人情報が使用される。

具体的に述べると、（ａ）の判断では、前人情報（絶対位置Ａ３、存在時刻Ｂ３、タグＣ３）と、当該関連情報（絶対位置Ａ４、入力データＫ、入力時刻Ｂ４、タグＣ４）とに対し、的確要件１における差分時間Ｂｓは、的確要件３では、Ｂｓ＝Ｂ４−Ｂ３に変更される。的確要件２の差分距離Ａｓは、的確要件４では、Ａ３とＡ４との間の距離に変更される。

（ｂ）の判断では、当該関連情報（絶対位置Ａ４、入力データＫ、入力時刻Ｂ４、タグＣ４）と後人情報（絶対位置Ａ５、存在時刻Ｂ５、タグＣ５）とに対し、的確要件１における差分時間Ｂｓは、的確要件３では、Ｂｓ＝Ｂ５−Ｂ４に変更される。的確要件２の差分距離Ａｓは、的確要件４では、Ａ４とＡ５との間の距離に変更される。

的確要件１では、Δ−β＜Ｂｓ＜Δ＋βとし、Ｂｓの下限Δ−β及び上限Δ＋βの両方が判断されたが、的確要件３では、Ｂｓ＜Δ＋βのみ判断され、Δ−β＜Ｂｓは判断されない。Δ＋βは、的確要件３における第１閾値に相当する。的確要件２におけるＶａ×Ｔｘは、的確要件４における第２閾値に相当する。

解析部３３は、（ａ）及び（ｂ）の各々において２つの的確要件３，４の具備を判断することになるので、解析部３３は、ＳＴＥＰ１４３において各人別情報群に対して計４つの判断を行うことになる。

そして、計４つの判断のうち、１つでも、的確要件が無いと判断したときは、当該関連情報は当該人別情報群に紐付け可能ではないと判断する。また、計４つの判断のうち全部について、的確要件が有ると判断したときは、当該関連情報は当該人別情報群に紐付け可能であると判断する。

ＳＴＥＰ１４４では、解析部３３は、当該関連情報を、当該関連情報が紐付け可能であると判断した人別情報群に紐付けする。

図９は、解析サーバ３の解析部３３による移動経路の解析処理のフローチャートである。該解析処理により、関連情報の１成分の入力データに紐付けされた移動経路Ｒが人７ごとに抽出される。

ＳＴＥＰ１５１では、解析部３３は、移動経路について未処理の人別情報群の有無を判別し、有れば、処理をループＬ４に進め、無ければ、当該人流解析処理を終了する。なお、人別情報群の移動経路の解析は、追跡を完了した人別情報群についてのみ行われる。追跡を完了した人別情報群とは、人別情報群の追跡対象の人７が撮影範囲の外に移動し、該人別情報群の末端の人情報に追加される人情報がなくなったことを意味する。

ループＬ４は、ＳＴＥＰ１５２〜ＳＴＥＰ１５４を含み、移動経路の解析が未処理である人別情報群の全部について繰り返される。

ＳＴＥＰ１５２では、解析部３３は、当該人別情報群（処理対象の未処理人別情報群）から絶対位置を時系列で並べて順次接続していく。これにより、当該人別情報群の追跡対象の人７の移動経路Ｒが作成される。

ＳＴＥＰ１５３では、解析部３３は、ＳＴＥＰ１５２で生成した移動経路Ｒに、該移動経路Ｒの抽出元の当該人別情報群に紐付けされている関連情報の成分の入力データを紐付けする。

ＳＴＥＰ１５４では、解析部３３は、関連情報の入力データを紐付けした移動経路を入力データ付き移動経路として所定のデータベースに登録する。

図１０は、２つの距離画像カメラ４１ａ，４１ｂを使って人流解析を行うときの処理の説明図である。

図１０において、撮影範囲Ｉａ，Ｉｂはそれぞれ距離画像カメラ４１ａ，４１ｂの撮影範囲を示している。撮影範囲Ｉａ，Ｉｂは、重複部分Ｉｗにおいて部分的に重複している。人７ａ，７ｂは撮影範囲Ｉａに存在する。人７ｄは撮影範囲Ｉｂに存在する。人７ｃは、撮影範囲Ｉａ，Ｉｂの両方に存在し、すなわち重複部分Ｉｗに存在する。

距離画像カメラ４１ａとしての撮像端末１０と、距離画像カメラ４１ｂとしての撮像端末１０を区別するために、それぞれ撮像端末１０ａ，１０ｂと呼ぶことにする。撮像端末１０ａ，１０ｂは、本明細書においてのみ使用し、図面には図示されていない。

撮像端末１０ａ，１０ｂが各人７について算出する絶対位置は、撮像端末１０ａ，１０ｂが非同期で個々にかつ相互に異なるばらつきで算出するので、重複部分Ｉｗに存在する人７ｃの同一時刻について算出した絶対位置に対し、撮像端末１０ａ，１０ｂがそれぞれ算出する絶対位置には差分が生じる。さらに、撮像端末１０ａ，１０ｂが人７ｃについて検出する存在時刻も、個々に誤差を有するので、同一の存在時刻であっても、撮像端末１０ａ，１０ｂが同一の人７ｃについて検出する存在時刻間に差分が生じる。

このような場合に、人７ｃが別々の人として処理されることは好ましくない。そこで、解析サーバ３の人別情報群生成部３２は、重複部分Ｉｗに属する２つの人情報（両人情報）について、撮像端末１０ａ，１０ｂの両方から受信している期間では、次の処理を行う。

人別情報群生成部３２は、各人情報に含まれているタグから撮像端末１０ａ，１０ｂのどちらからの人情報であるかを判別できるようになっている。以降、撮像端末１０ａ，１０ｂからの人情報をそれぞれ「人情報ａ」及び「人情報ｂ」という。なお、撮像端末１０ａ，１０ｂが距離画像Ｇを生成する時間間隔は共にΔで等しいとする。ただし、撮像端末１０ａ，１０ｂによる距離画像Ｇの生成は同期していないとする。

人情報ａ及び人情報ｂの両者に情報として含まれている絶対位置間の距離が所定距離（本発明の「第４閾値」に相当し、例えば、人７の頭部の平均値が２０ｃｍであるとして、それより小さい１５ｃｍ）以内でかつ両者の存在時刻の差分が所定時間（本発明の「第３閾値」に相当し、例えば、距離画像Ｇの生成時間間隔Δ）以内であれば、人情報ａ及び人情報ｂの絶対位置及び存在時刻には相違があっても、同一の値として処理する。こうして、人情報ａ及び人情報ｂは、１つの人情報ｃに統合されて、人情報ａ及び人情報ｂに代えて、人情報ｃにより人７の人別情報群が生成される。

これにより、重複部分Ｉｗに属する同一人の人情報を、同一人の人情報として正確に処理することが可能になる。また、異なる複数の撮像端末１０の撮影範囲をまたがって人が移動するときも、複数の撮影範囲における移動経路を解析することができる。

以下、本発明の変形例について説明する。

実施形態の人流解析システム１は、人情報と共に関連情報も入手して、両情報を合わせた人流解析を行っている。しかしながら、本発明の人流解析システムは、関連情報は省略して、人情報のみによる人７ごとの移動経路Ｒだけの人流解析も行うことができる。

実施形態のインターネット２は本発明のネットワークの一例である。本発明のネットワークは、イントラネットであってもよい。

実施形態の移動経路Ｒは、本発明の移動状況の一例である。本発明の移動状況には、人７の移動軌跡としての移動経路だけでなく、移動経路に、さらに、移動経路上の各点における移動速度に関する情報も含めてもよい。

ＳＴＥＰ１３３等で説明した的確要件１，２は、同一人の移動経路を推定する複数の人情報を集めた人別情報群を生成するために用いている。本発明では、同一人の移動経路を推定する複数の人情報を集めた人別情報群を生成するために、的確要件１，２以外の的確要件を用いたり、的確要件１，２にさらに的確要件を追加したりすることができる。的確要件１，２を一部変更したりすることも可能である。例えば、人７の移動速度を検出して、人７が加速中と判断されるときは、人７の移動速度の上限Ｖａを増大し、減速中と判断されるときは、上限Ｖａを減少して、人別情報群の生成精度を高めることができる。

実施形態の絶対位置として、世界座標系の絶対座標を選択することもできる。また、その場合は、相対位置はローカル座標系の座標となる。

実施形態の図９の解析処理は、撮影範囲の外に移動して追跡を完了した人についての人別情報群についてのみ行っている。しかしながら、本発明の人流解析システムは、撮影範囲の中にまだ残っている追跡中の人についての人別情報群について行うことも可能である。

図１０の実施形態において、距離画像カメラ４１ａ，４１ｂは、非同期ながら、距離画像Ｇを生成する時間間隔は共にΔに等しく設定されている。しかしながら、本発明では、撮影範囲が重部分的に重複している複数の撮像端末１０が、距離画像Ｇを非同期でかつ等しくない時間間隔で生成することもできる。

１・・・人流解析システム、２・・・インターネット（ネットワーク）、３・・・解析サーバ、６・・・人流存在領域（撮影範囲）、７・・・人、１０・・・撮像端末、１１・・・距離画像生成部、１２・・・相対位置検出部、１３・・・絶対位置算出部、１４・・・人情報生成部、１５・・・第１送信部、２０・・・入力端末、２１・・・入力部、２２・・・関連情報生成部、２３・・・第２送信部、３１・・・受信部、３２・・・人別情報群生成部、３３・・・解析部、４１，５１・・・距離画像カメラ（撮像端末）、４４・・・ＰＯＳ端末（入力端末）、５２・・・自動改札機（入力端末）、Ｇ・・・距離画像、Ｍ・・・人画像、Ｒ・・・移動経路、Ｉｗ・・・重複部分、Ｉａ，Ｉｂ・・・撮影範囲。

Claims (4)

1. ネットワークを介して相互に接続されている撮像端末と解析サーバとを備える人流解析システムであって、
   前記撮像端末は、
   所定の撮影範囲の距離画像を生成する距離画像生成部と、
   前記撮像端末の位置に対する前記撮影範囲に存在する人の相対位置を前記距離画像に基づいて検出する相対位置検出部と、
   所定の固定点に対する位置を絶対位置として、前記相対位置検出部が検出した前記人の相対位置と前記撮像端末の絶対位置とに基づいて前記人の絶対位置を算出する絶対位置算出部と、
   前記絶対位置算出部が算出した前記人の絶対位置と、該絶対位置における該人の存在時刻との情報を含む人情報を生成する人情報生成部と、
   前記人情報生成部が生成した前記人情報を、前記解析サーバへ前記ネットワークを介して送信する第１送信部とを備え、
   前記解析サーバは、
   前記ネットワークを介して前記人情報を受信する受信部と、
   該受信部が受信した複数の人情報から、同一人についての人情報であると推定される人情報を集めた人別情報群を生成する人別情報群生成部と、
   前記人別情報群生成部が生成した人別情報群に基づいて人別の移動状況を解析する解析部とを備えることを特徴とする人流解析システム。
2. 請求項１の人流解析システムにおいて、
   前記撮影範囲内に配置され、前記ネットワークを介して前記解析サーバに接続されている入力端末を備え、
   該入力端末は、近傍に存在する人についての入力データが入力される入力部と、
   前記入力データと前記入力データの入力時刻と前記入力端末の絶対位置との情報を含む関連情報を生成する関連情報生成部と、
   前記関連情報生成部が生成した関連情報を、前記解析サーバへ前記ネットワークを介して送信する第２送信部とを備え、
   前記解析サーバの前記受信部は、前記入力端末から前記関連情報を受信し、
   前記解析サーバの前記解析部は、前記受信部が受信した関連情報について、該関連情報の入力時刻に対する差分が第１閾値以内である存在時刻と、該関連情報の絶対位置との差分が第２閾値以内である絶対位置との情報を含む人情報を有する人別情報群の有無を判別し、該当する人別情報群が有れば、該人別情報群に該関連情報を紐付けし、各人別情報群に基づいて人別の移動状況を解析する際には、各人別情報群に紐付けされた関連情報に含まれる入力データを関連付けた解析を行うことを特徴とする人流解析システム。
3. 請求項１又は２記載の人流解析システムにおいて、
   前記撮像端末を、各撮像端末の撮影範囲が部分的に重複するように、複数備え、
   前記人別情報群生成部は、複数のうちの２つの撮像端末がそれぞれ生成しかつ前記撮影範囲の重複部分に属する２つの人情報について、該２つの人情報における存在時刻の差分が第３閾値以内でありかつ該２つの人情報に含まれる絶対位置の差分が第４閾値以内であれば、該２つの人情報は、同一絶対位置の同一人の人情報として前記人別情報群を生成することを特徴とする人流解析システム。
4. 請求項１〜３のいずれか１項に記載の人流解析システムにおいて、
   前記撮像端末は、ＧＰＳセンサ、気圧センサ、加速度センサ及びジャイロセンサを備え、
   前記絶対位置算出部は、前記撮像端末の位置を基準位置とし、前記人の絶対位置を、前記ＧＰＳセンサ及び前記気圧センサの検出値に基づいて算出した前記基準位置の絶対位置と、前記加速度センサ及び前記ジャイロセンサの検出値に基づいて算出した前記基準位置から見た前記撮影範囲の方向と、前記相対位置検出部が検出した前記人の相対位置とに基づいて算出することを特徴とする人流解析システム。