JP2019021019A - 人流分析方法、人流分析装置及び人流分析システム - Google Patents

Abstract

【課題】人物の移動する動線を高い精度で予測することができる人流分析方法、人流分析装置及び人流分析システムを提供する。
【解決手段】人流分析装置１は、所定の空間内を移動する複数の人物の所定の空間内における移動履歴を示す移動情報を取得する移動情報取得部１１１と、移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出する関連ノード抽出部１３１と、抽出された少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定する関連性情報特定部１３２と、特定された関連性情報に基づいて、少なくとも２人の人物をグループ化するか否かを判断するノード融合判断部１３３と、グループ化すると判断された少なくとも２人の人物の行動を予測する行動予測部１３４とを備える。
【選択図】図１

Description

本開示は、所定の空間内を移動する複数の人物の流れを分析する人流分析方法、人流分析装置及び人流分析システムに関するものである。

従来、複数の人物がいる場所において、複数の人物のそれぞれの移動方向から、複数の人物のそれぞれの次の移動先を予測する人流予測が行われている。

例えば、特許文献１では、複数の入出場ゲートの周辺に設置された複数のセンサから人の流動状況を取得し、流動状況に基づき、入出場ゲートの各方向の将来の流動需要を予測し、流動需要に基づき、各入出場ゲートの通行方向を決定し、複数の入出場ゲートに通行方向を設定する入出場ゲート制御システムが開示されている。

特開２０１６−３５６６５号公報

特許文献１では、例えば、カメラより収集したデータを活用して、現在の人の流動状況、もしくは流動状況の予測値を算出している。そして、流動状況としては、例えば特定の場所にいる人の人数、それらの人の位置、移動方向、速さなどが含まれる。

しかしながら、上記従来の技術では、人物の移動する動線を高い精度で予測することができず、更なる改善が必要とされていた。

本開示は、上記の問題を解決するためになされたもので、人物の移動する動線を高い精度で予測することができる人流分析方法、人流分析装置及び人流分析システムを提供することを目的とするものである。

本開示の一態様に係る人流分析方法は、所定の空間内を移動する複数の人物の流れを分析する人流分析装置における人流分析方法であって、前記複数の人物の前記所定の空間内における移動履歴を示す移動情報を取得し、取得した前記移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出し、抽出した前記少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定し、特定した前記関連性情報に基づいて、前記少なくとも２人の人物をグループ化するか否かを判断し、グループ化すると判断した前記少なくとも２人の人物の行動を予測する。

本開示によれば、互いに関連して移動していると推定される少なくとも２人の人物をグループ化するか否かが判断され、グループ化すると判断された少なくとも２人の人物の行動が予測されるので、人物の移動する動線を高い精度で予測することができる。

本開示の実施の形態１における人流分析システムの構成を示す図である。 本実施の形態１における移動情報の一例を示す図である。 グラフ最適化処理を用いた人物追跡について説明するための模式図である。 本実施の形態１において、融合ノードに付与されるラベルの一例を示す図である。 本実施の形態１における融合ノード情報の一例を示す図である。 本実施の形態１において、融合ノードの移動方向を予測する処理について説明するための模式図である。 本実施の形態１における人流分析装置の処理について説明するためのフローチャートである。 本実施の形態１における人流分析装置の動作について説明するための模式図である。 人口密度が低い領域における人物ノードの配置の一例を示す図である。 人口密度が高い領域における人物ノードの配置の一例を示す図である。 各人物ノード間の距離を示す図である。 ２人の人物ノードを結ぶ直線と、２人の人物ノードの進行方向との角度φ（φ＜９０度）に基づいて２人の人物ノードを抽出する第１の処理について説明するための模式図である。 ２人の人物ノードを結ぶ直線と、２人の人物ノードの進行方向との角度φ（φ＞９０度）に基づいて２人の人物ノードを抽出する第１の処理について説明するための模式図である。 ２人の人物ノードを結ぶ直線と、２人の人物ノードの進行方向との角度に基づいて２人の人物ノードを抽出する第２の処理について説明するための模式図である。 ２人の人物がゲートを通過する際の位置関係に応じて関連性情報を特定する処理について説明するための模式図である。 展示物に対する視線情報に基づいて、停止している２人の人物ノードの関連性情報を特定する処理について説明するための模式図である。 展示物に対する視線情報に基づいて、移動している２人の人物ノードの関連性情報を特定する処理について説明するための模式図である。 人物を案内するための案内情報に対する視線情報に基づいて、２人の人物ノードの関連性情報を特定する処理について説明するための模式図である。 ２人の人物のうちの一方の所有物に対する視線情報に基づいて、２人の人物ノードの関連性情報を特定する処理について説明するための模式図である。 人物の顔の向きにより人物の視線の方向を推定する処理について説明するための図である。 本開示の実施の形態２における人流分析システムの構成を示す図である。 本実施の形態２における人流分析装置及び端末装置の処理について説明するためのフローチャートである。 本実施の形態２における人流分析装置の予測結果について説明するための模式図である。 本実施の形態２における人流分析装置によって生成される移動軌跡画像の一例を示す図である。

（本開示の基礎となった知見）
上記のように、特許文献１では、例えば、カメラより収集したデータを活用して、現在の人の流動状況、もしくは流動状況の予測値を算出している。そして、流動状況としては、例えば特定の場所にいる人の人数、それらの人の位置、移動方向、速さなどが含まれる。

しかしながら、上記従来の技術では、複数の人の移動方向をそれぞれ個別に予測しているので、例えば、カメラのオクルージョンなどにより、画像中から人が一時的に消失した場合に、当該消失した人の移動方向を算出することができず、人の移動する動線を高い精度で予測することができなかった。

以上の課題を解決するために、本開示の一態様に係る人流分析方法は、所定の空間内を移動する複数の人物の流れを分析する人流分析装置における人流分析方法であって、前記複数の人物の前記所定の空間内における移動履歴を示す移動情報を取得し、取得した前記移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出し、抽出した前記少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定し、特定した前記関連性情報に基づいて、前記少なくとも２人の人物をグループ化するか否かを判断し、グループ化すると判断した前記少なくとも２人の人物の行動を予測する。

この構成によれば、複数の人物の所定の空間内における移動履歴を示す移動情報が取得される。取得された移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物が抽出される。抽出された少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報が特定される。特定された関連性情報に基づいて、少なくとも２人の人物をグループ化するか否かが判断される。グループ化すると判断された少なくとも２人の人物の行動が予測される。

したがって、互いに関連して移動していると推定される少なくとも２人の人物をグループ化するか否かが判断され、グループ化すると判断された少なくとも２人の人物の行動が予測されるので、人物の移動する動線を高い精度で予測することができる。

また、上記の人流分析方法において、前記抽出は、所定の期間、互いの間の距離が所定の距離以下である前記少なくとも２人の人物を抽出してもよい。

この構成によれば、所定の期間、互いの間の距離が所定の距離以下である少なくとも２人の人物は、互いに関連して移動していると推定することができるので、互いに関連して移動している少なくとも２人の人物を確実に抽出することができる。

また、上記の人流分析方法において、前記抽出は、所定の範囲において前記複数の人物間の距離を計算し、計算した全ての距離の中から所定の閾値より短い距離に対応する２人の人物を抽出してもよい。

この構成によれば、所定の範囲において複数の人物間の距離が計算され、計算された全ての距離の中から所定の閾値より短い距離に対応する２人の人物が抽出されるので、互いに関連して移動している２人の人物を高い精度で抽出することができる。

また、上記の人流分析方法において、前記抽出は、さらに、前記複数の人物のうちの２人の人物の進行方向に対する位置関係を利用して、互いに関連して移動していると推定される前記２人の人物を抽出してもよい。

この構成によれば、複数の人物のうちの２人の人物の進行方向に対する位置関係を利用して、互いに関連して移動していると推定される２人の人物が抽出されるので、互いに関連して移動している少なくとも２人の人物を確実に抽出することができる。

また、上記の人流分析方法において、前記関連情報の特定は、さらに、前記２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、９０度を中心とする所定の範囲内であるときに、前記２人の人物が、友人、カップル又は家族の関連性を有していると特定してもよい。

この構成によれば、２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、９０度を中心とする所定の範囲内であるときに、２人の人物が、友人、カップル又は家族の関連性を有していると特定される。

したがって、関連性を有している２人の人物が会話しながら移動している場合、２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、９０度を中心とする所定の範囲内になる。そのため、２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、９０度を中心とする所定の範囲内であると判断された場合に、容易に関連性情報を特定することができる。

また、上記の人流分析方法において、前記関連情報の特定は、さらに、前記２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、所定の角度以下であるときに、前記２人の人物が、車いすに乗る人物と介護者との関連性を有していると特定してもよい。

この構成によれば、２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、所定の角度以下であるときに、２人の人物が、車いすに乗る人物と介護者との関連性を有していると特定される。

したがって、２人の人物が、車いすに乗る人物と介護者とである場合、２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、略０度になる。そのため、２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、所定の角度以下であると判断された場合に、容易に関連性情報を特定することができる。

また、上記の人流分析方法において、前記抽出は、さらに、所定の人数だけが一度に通過可能なゲートに対して、前記複数の人物のうちの２人の人物が連続して通過したことを示す情報を利用して前記２人の人物を抽出してもよい。

この構成によれば、所定の人数だけが一度に通過可能なゲートに対して、複数の人物のうちの２人の人物が連続して通過したことを示す情報を利用して２人の人物が抽出される。

したがって、所定の人数だけが一度に通過可能なゲートを、複数の人物のうちの２人の人物が連続して通過した場合、この２人の人物は互いに関連して移動していると判断することができる。

また、上記の人流分析方法において、さらに、前記複数の人物の外観画像を取得し、前記特定は、取得した前記外観画像に含まれる前記少なくとも２人の人物のそれぞれの顔画像から、前記少なくとも２人の人物のそれぞれの年齢及び性別を識別し、識別した前記少なくとも２人の人物のそれぞれの前記年齢及び前記性別を用いて、前記関連性情報を特定してもよい。

この構成によれば、複数の人物の外観画像が取得される。取得された外観画像に含まれる少なくとも２人の人物のそれぞれの顔画像から、少なくとも２人の人物のそれぞれの年齢及び性別が識別され、識別された少なくとも２人の人物のそれぞれの年齢及び性別を用いて、関連性情報が特定される。

したがって、識別された少なくとも２人の人物のそれぞれの年齢及び性別の組み合せから、少なくとも２人の人物がどのような関連性を有しているかを特定することができる。

また、上記の人流分析方法において、さらに、前記複数の人物の視線の方向を示す視線情報を取得し、前記特定は、取得した前記視線情報のうち、前記少なくとも２人の人物の前記視線の方向を用いて、前記関連性情報を特定してもよい。

この構成によれば、複数の人物の視線の方向を示す視線情報が取得される。取得された視線情報のうち、少なくとも２人の人物の視線の方向を用いて、関連性情報が特定される。

したがって、少なくとも２人の人物の視線の方向が交わる、又は２人の人物の視線の方向が同じである場合に、当該２人の人物が何らかの関連性を有していると判断することができる。

また、上記の人流分析方法において、前記特定は、前記少なくとも２人の人物の前記視線の方向が共通の対象物へ向いている場合、前記関連性情報を特定してもよい。

この構成によれば、少なくとも２人の人物の視線の方向が共通の対象物へ向いている場合、関連性情報が特定されるので、共通の対象物を見ている少なくとも２人の人物は、何らかの関連性を有していると判断することができる。

また、上記の人流分析方法において、前記共通の対象物は、前記少なくとも２人の人物のうちの１人の人物の所有物であってもよい。

この構成によれば、少なくとも２人の人物のうちの１人の人物の所有物を見ている少なくとも２人の人物は、何らかの関連性を有していると判断することができる。

また、上記の人流分析方法において、前記共通の対象物は、公共の案内情報を提示する物体であってもよい。

この構成によれば、公共の案内情報を提示する物体を見ている少なくとも２人の人物は、何らかの関連性を有していると判断することができる。

また、上記の人流分析方法において、前記視線情報の取得は、前記複数の人物の外観画像から検出された前記複数の人物の顔の向きを、前記複数の人物の前記視線の方向とした前記視線情報を取得してもよい。

この構成によれば、複数の人物の外観画像から検出された複数の人物の顔の向きを、複数の人物の視線の方向とした視線情報が取得される。

したがって、人物の視線の方向を検出することができない場合であっても、人物の顔の向きから視線の方向を推定することができる。

また、上記の人流分析方法において、さらに、前記複数の人物のそれぞれが発話した音声情報を取得し、前記特定は、取得した前記音声情報のうち、前記少なくとも２人の人物が会話している前記音声情報を用いて、前記関連性情報を特定してもよい。

この構成によれば、複数の人物のそれぞれが発話した音声情報が取得される。取得された音声情報のうち、少なくとも２人の人物が会話している音声情報を用いて、関連性情報が特定される。

したがって、少なくとも２人の人物が会話している音声情報に、関連性を特定することが可能な文言が含まれている場合に、少なくとも２人の人物がどのような関連性を有しているかを特定することができる。

また、上記の人流分析方法において、前記特定は、前記少なくとも２人の人物が会話している前記音声情報の中から、固有名詞、又は親族関係を特定するキーワードを抽出することで、前記関連性情報を特定してもよい。

この構成によれば、少なくとも２人の人物が会話している音声情報の中から、固有名詞、又は親族関係を特定するキーワードを抽出することで、関連性情報が特定される。

したがって、少なくとも２人の人物の会話の中に、固有名詞、又は親族関係を特定するキーワードが含まれている場合に、少なくとも２人の人物がどのような関連性を有しているかを特定することができる。

また、上記の人流分析方法において、前記予測は、前記少なくとも２人の人物の前記関連性情報と、前記少なくとも２人の人物の前記移動情報とを用いて、前記少なくとも２人の人物をグループ化したグループ単位の移動方向を予測してもよい。

この構成によれば、少なくとも２人の人物の関連性情報と、少なくとも２人の人物の移動情報とを用いて、少なくとも２人の人物をグループ化したグループ単位の移動方向を予測することができる。

また、上記の人流分析方法において、前記予測は、前記少なくとも２人の人物の前記関連性情報と、前記所定の空間内に存在する領域に対応付けられた前記関連性情報の種別を示す領域種別情報とを用いて、前記少なくとも２人の人物をグループ化したグループ単位の移動方向を予測してもよい。

この構成によれば、少なくとも２人の人物の関連性情報と、所定の空間内に存在する領域に対応付けられた関連性情報の種別を示す領域種別情報とを用いて、少なくとも２人の人物をグループ化したグループ単位の移動方向が予測される。

したがって、少なくとも２人の人物の関連性情報の種別が、所定の空間内に存在する領域に対応付けられた関連性情報の種別と一致する場合に、少なくとも２人の人物をグループ化したグループが当該領域に向かって移動していると予測することができる。

また、上記の人流分析方法において、さらに、グループ化すると判断された前記少なくとも２人の人物間の距離をグループ化後に計算し、計算した前記距離が所定の距離を超えた場合、前記少なくとも２人の人物のグループ化を解消してもよい。

この構成によれば、グループ化すると判断された少なくとも２人の人物間の距離がグループ化後に再度計算され、再度計算された距離が所定の距離を超えた場合、少なくとも２人の人物のグループ化が解消される。

したがって、共に移動していた少なくとも２人の人物が、別々に移動し始めた場合、少なくとも２人の人物のグループ化を解消することができ、グループ単位の移動方向を正確に予測することができる。

本開示の他の態様に係る人流分析装置は、所定の空間内を移動する複数の人物の前記所定の空間内における移動履歴を示す移動情報を取得する移動情報取得部と、前記移動情報取得部によって取得された前記移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出する関連人物抽出部と、前記関連人物抽出部によって抽出された前記少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定する関連性情報特定部と、前記関連性情報特定部によって特定された前記関連性情報に基づいて、前記少なくとも２人の人物をグループ化するか否かを判断するグループ化判断部と、前記グループ化判断部によってグループ化すると判断された前記少なくとも２人の人物の行動を予測する行動予測部と、を備える。

この構成によれば、所定の空間内を移動する複数の人物の所定の空間内における移動履歴を示す移動情報が取得される。取得された移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物が抽出される。抽出された少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報が特定される。特定された関連性情報に基づいて、少なくとも２人の人物をグループ化するか否かが判断される。グループ化すると判断された少なくとも２人の人物の行動が予測される。

したがって、互いに関連して移動していると推定される少なくとも２人の人物をグループ化するか否かが判断され、グループ化すると判断された少なくとも２人の人物の行動が予測されるので、人物の移動する動線を高い精度で予測することができる。

本開示の他の態様に係る人流分析システムは、所定の空間内を移動する複数の人物の流れを分析する人流分析装置と、前記人流分析装置とネットワークを介して通信可能に接続された端末装置と、を備え、前記人流分析装置は、前記複数の人物の前記所定の空間内における移動履歴を示す移動情報を取得する移動情報取得部と、前記移動情報取得部によって取得された前記移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出する関連人物抽出部と、前記関連人物抽出部によって抽出された前記少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定する関連性情報特定部と、前記関連性情報特定部によって特定された前記関連性情報に基づいて、前記少なくとも２人の人物をグループ化するか否かを判断するグループ化判断部と、前記グループ化判断部によってグループ化すると判断された前記少なくとも２人の人物の行動を予測する行動予測部と、前記行動予測部による前記少なくとも２人の人物の行動予測結果を前記端末装置へ送信する送信部と、を備え、前記端末装置は、前記人流分析装置によって送信された前記行動予測結果を受信する受信部と、前記受信部によって受信された前記行動予測結果を表示する表示部と、を備える。

この構成によれば、人流分析装置は、所定の空間内を移動する複数の人物の流れを分析する。端末装置は、人流分析装置とネットワークを介して通信可能に接続されている。人流分析装置において、複数の人物の所定の空間内における移動履歴を示す移動情報が取得される。取得された移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物が抽出される。抽出された少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報が特定される。特定された関連性情報に基づいて、少なくとも２人の人物をグループ化するか否かが判断される。グループ化すると判断された少なくとも２人の人物の行動が予測される。少なくとも２人の人物の行動予測結果が端末装置へ送信される。端末装置において、人流分析装置によって送信された行動予測結果が受信される。受信された行動予測結果が表示される。

したがって、互いに関連して移動していると推定される少なくとも２人の人物をグループ化するか否かが判断され、グループ化すると判断された少なくとも２人の人物の行動が予測されるので、人物の移動する動線を高い精度で予測することができる。

以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

（実施の形態１）
図１は、本開示の実施の形態１における人流分析システムの構成を示す図である。

図１に示す人流分析システムは、人流分析装置１、第１のカメラ２、第２のカメラ３及びマイク４を備える。

第１のカメラ２は、所定の空間内を俯瞰する位置に配置され、所定の空間内を俯瞰した画像を取得する。例えば、所定の空間が店舗であれば、第１のカメラ２は、店舗内の天井に配置される。第１のカメラ２は、撮影した画像から、人物ノードの頭部を認識し、認識した頭部を識別するためのノードＩＤを付与し、撮影した時刻と、ノードＩＤと、座標位置とを対応付けた移動情報を生成する。人物ノードは、人物を示す。座標位置は、所定の空間を２次元座標系で表した際の座標値で表される。また、第１のカメラ２は、所定時間（例えば、２分）毎に撮影し、移動情報を生成する。なお、第１のカメラ２は、常時撮影し、所定時間（例えば、２分）毎に移動情報を生成してもよい。第１のカメラ２は、生成した移動情報を人流分析装置１へ送信する。

なお、本実施の形態１における人流分析システムは、１つの第１のカメラ２を備えているが、本開示は特にこれに限定されず、複数の第１のカメラ２を備えてもよい。複数の第１のカメラ２は、複数の領域に分割された所定の空間の各領域をそれぞれ撮影し、複数の撮影画像を合成してもよい。

第２のカメラ３は、所定の空間内に配置され、所定の空間内の複数の人物ノードの外観画像を撮影した画像を取得する。特に、第２のカメラ３は、複数の人物の顔を含む外観画像を取得する。第２のカメラ３は、撮影した外観画像を示す画像情報を人流分析装置１へ送信する。また、第２のカメラ３は、第１のカメラ２と同じタイミングで撮影することが望ましい。

なお、本実施の形態１における人流分析システムは、１つの第２のカメラ３を備えているが、本開示は特にこれに限定されず、複数の第２のカメラ３を備えてもよい。複数の第２のカメラ３は、複数の領域に分割された所定の空間の各領域をそれぞれ撮影してもよい。例えば、所定の空間の２次元平面上を１０×１０の領域に分割し、各領域に第２のカメラ３を配置してもよい。各第２のカメラ３は、各領域内を撮影し、撮影した位置を特定する２次元座標位置とともに画像情報を人流分析装置１へ送信してもよい。これにより、所定の空間内のどの位置で画像が取得されたかを特定することができる。

マイク４は、所定の空間内の複数の人物のそれぞれが発話した音声を収集し、収集した音声情報を人流分析装置１へ送信する。例えば、人流分析システムは、複数のマイク４を備えてもよい。複数のマイク４は、複数の領域に分割された所定の空間の各領域の音声を収集し、収集した領域の２次元座標位置とともに音声情報を人流分析装置１へ送信する。例えば、所定の空間の２次元平面上を１０×１０の領域に分割し、各領域にマイク４を配置してもよい。各マイク４は、各領域で発話された音声を収集し、収集した位置を特定する２次元座標位置とともに音声情報を人流分析装置１へ送信してもよい。これにより、所定の空間内のどの位置で音声が収集されたかを特定することができる。

人流分析装置１は、第１のカメラ２、第２のカメラ３及びマイク４とネットワーク５を介して互いに通信可能に接続される。なお、ネットワーク５は、例えばインターネットである。人流分析装置１は、例えばサーバであり、通信部１１、記憶部１２及び制御部１３を備える。

通信部１１は、ネットワーク５を介して第１のカメラ２、第２のカメラ３及びマイク４から情報を受信する。通信部１１は、移動情報取得部１１１、画像情報取得部１１２及び音声情報取得部１１３を備える。

移動情報取得部１１１は、複数の人物ノードの所定の空間内における移動履歴を示す移動情報を取得する。移動情報取得部１１１は、第１のカメラ２によって送信された移動情報を受信する。

図２は、本実施の形態１における移動情報の一例を示す図である。図２に示す移動情報は、カメラ２で撮影した時刻と、人物ノードを識別するためのノードＩＤと、所定の空間における人物ノードの位置を示す座標位置とを含む。なお、座標位置において、ｘ座標の値及びｙ座標の値は、所定の空間の２次元平面上の位置を示し、ｚ座標の値は、建物の階数を示す。例えば、図２では、ノードＩＤが「ＡＢＸ１２３」である人物ノードは、１５時５分に、建物の３階の座標（２１５，３４１）で示される２次元座標系の位置に存在している。なお、２次元座標系の原点は、例えば、所定の空間の複数の角のうちの１の角に設定する。

移動情報取得部１１１は、受信した移動情報を関連ノード抽出部１３１へ出力する。また、移動情報取得部１１１は、受信した移動情報を記憶部１２に記憶してもよい。

また、移動情報取得部１１１は、各時刻に、カメラ２に映った複数の人物が、それぞれ、どのノードＩＤであるかを特定する多人数追跡を行うために、例えば、グラフ最適化処理を用いることも可能である。グラフ最適化処理を用いた多人数追跡では、移動情報取得部１１１は、カメラ２が撮影した、各時刻の画像中の、人物の検出結果を用いてグラフを作成する。そして、グラフ最適化処理を用いた多人数追跡では、移動情報取得部１１１は、グラフの始点から終点までのすべてのパスの中から最適なパスを求めることで、複数の人物の移動軌跡を求めることができる。

図３は、グラフ最適化処理を用いた人物追跡について説明するための模式図である。

移動情報取得部１１１は、具体的なグラフ最適化処理として、Ｋ−Ｓｈｏｒｔｅｓｔ Ｐａｔｈｓアルゴリズムを用いてもよい。Ｋ−Ｓｈｏｒｔｅｓｔ Ｐａｔｈｓアルゴリズムを用いる場合、グラフの各人物ノードは、具体的には、図３に示すように、各時刻フレームにおける、空間領域の座標位置を表してもよい。そして、人物ノードと人物ノードとの間を結ぶエッジは、人間の存在確率から求められる重みの値に設定してもよい。そして、移動情報取得部１１１は、Ｋ−Ｓｈｏｒｔｅｓｔ Ｐａｔｈｓアルゴリズムを用いて求められたＫ個の最短経路を、Ｋ人の人物の移動軌跡と見なしてよい。

なお、上記のグラフ最適化処理は、空間領域が広い、追跡する時間長が長い、又は人物が多数検出される場合には、計算量が多くなる。そこで、空間領域、又は追跡する時間領域を、複数に分割し、分割した領域に各々計算資源を割り当てた並列計算を行うことで、高速な演算が可能になる。さらに、クラウド上の大型計算機を利用することで、より効率的な計算が可能になる。

画像情報取得部１１２は、複数の人物ノードの外観画像を示す画像情報を取得する。画像情報取得部１１２は、第２のカメラ３によって送信された画像情報を受信する。画像情報取得部１１２は、受信した画像情報を関連性情報特定部１３２へ出力する。

音声情報取得部１１３は、複数の人物ノードのそれぞれが発話した音声情報を取得する。音声情報取得部１１３は、マイク４によって送信された音声情報を受信する。音声情報取得部１１３は、受信した音声情報を関連性情報特定部１３２へ出力する。

記憶部１２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はハードディスクドライブで構成される。記憶部１２は、通信部１１によって受信された移動情報、画像情報及び音声情報を記憶してもよい。

制御部１３は、例えば、ＣＰＵ（中央演算処理装置）で構成される。制御部１３は、関連ノード抽出部１３１、関連性情報特定部１３２、ノード融合判断部１３３及び行動予測部１３４を備える。

関連ノード抽出部１３１は、移動情報取得部１１１によって取得された移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物ノードを抽出する。関連ノード抽出部１３１は、所定の期間、互いの間の距離が所定の距離以下である少なくとも２人の人物ノードを抽出する。例えば、２人の人物が、互いの間の距離が所定の距離以下を維持しながら移動している場合、この２人の人物は、互いに関連して移動していると推定することができる。

関連性情報特定部１３２は、関連ノード抽出部１３１によって抽出された少なくとも２人の人物ノードがどのような関連性を有しているかを示す関連性情報を特定する。具体的には、関連性情報特定部１３２は、画像情報取得部１１２によって取得された外観画像に含まれる少なくとも２人の人物ノードのそれぞれの顔画像から、少なくとも２人の人物ノードのそれぞれの年齢及び性別を識別し、識別した少なくとも２人の人物ノードのそれぞれの年齢及び性別を用いて、関連性情報を特定する。

例えば、抽出された３人の人物ノードのうち、第１の人物ノードが４０歳の男性であり、第２の人物ノードが４０歳の女性であり、第３の人物ノードが乳児であると識別された場合、この３人の人物ノードの関連性は親子であると判断することができる。例えば、特開２０１１−１２３６５７には、人物の年齢及び性別から家庭内の家族構成を判定する技術が開示されている。また、同姓の年齢の近い２人の人物ノードの関連性は、友人であると判断することができ、異性の年齢の近い２人の人物ノードの関連性は、カップルであると判断することができる。

また、関連性情報特定部１３２は、音声情報取得部１１３によって取得された音声情報のうち、少なくとも２人の人物ノードが会話している音声情報を用いて、関連性情報を特定してもよい。関連性情報特定部１３２は、少なくとも２人の人物が会話している音声情報の中から、固有名詞、又は親族関係を特定するキーワードを抽出することで、関連性情報を特定してもよい。例えば、抽出された２人の人物ノードの会話の中に、「お父さん」などの親子関係を推定することが可能なキーワードが含まれている場合、この２人の人物ノードの関連性は親子であると判断することができる。

ノード融合判断部１３３は、関連性情報特定部１３２によって特定された関連性情報に基づいて、少なくとも２人の人物ノードをグループ化するか否かを判断する。すなわち、ノード融合判断部１３３は、関連性情報特定部１３２によって関連性情報が特定された場合、少なくとも２人の人物ノードをグループ化すると判断する。

ノード融合判断部１３３は、少なくとも２人の人物ノードをグループ化した融合ノードに対して、関連性情報を示すラベルを付与する。

図４は、本実施の形態１において、融合ノードに付与されるラベルの一例を示す図である。図４に示すように、関連性情報を示すラベルには、大カテゴリと、大カテゴリをさらに細分化した小カテゴリとがある。大カテゴリとしては、例えば、家族、友人及びカップルがある。家族の小カテゴリとしては、例えば、父母−乳児グループ、父母−幼児グループ及び母−小学生グループなどがあり、友人の小カテゴリとしては、例えば、１０代女性友人グループ及び２０代男性友人グループなどがあり、カップルの小カテゴリとしては、例えば、１０代男女ペア及び２０代男女ペアなどがある。

関連性情報特定部１３２は、抽出された少なくとも２人の人物ノードが、少なくとも、家族、友人及びカップルなどの大カテゴリのうちのいずれの関連性情報であるかを特定する。また、関連性情報特定部１３２は、抽出された少なくとも２人の人物ノードが、さらに、父母−乳児グループ、１０代女性友人グループ及び１０代男女ペアなどの小カテゴリのうちのいずれの関連性情報であるかを特定してもよい。

ノード融合判断部１３３は、少なくとも２人の人物ノードをグループ化すると判断すると、少なくとも２人の人物ノードをグループ化した融合ノードに関する融合ノード情報を生成し、記憶部１２に記憶する。

図５は、本実施の形態１における融合ノード情報の一例を示す図である。図５に示す融合ノード情報は、融合ノードを識別するための融合ノードＩＤと、少なくとも２人の人物ノードを識別するためのノードＩＤと、大カテゴリのラベルと、小カテゴリのラベルとを含む。ノード融合判断部１３３は、少なくとも２人の人物ノードをグループ化すると判断すると、融合ノードＩＤを付与する。例えば、図５において、融合ノードＩＤが「ＸＹＺ１１１」である融合ノード情報には、グループ化された「ＡＢＸ１２３」及び「ＡＢＸ１２５」のノードＩＤが含まれ、大カテゴリが「家族」であり、小カテゴリが「母−幼児グループ」であるラベルが付与されている。

行動予測部１３４は、ノード融合判断部１３３によってグループ化すると判断された少なくとも２人の人物ノードの行動を予測する。行動予測部１３４は、少なくとも２人の人物ノードの関連性情報と、グループ化すると判断された少なくとも２人の人物ノードの移動情報とを用いて、少なくとも２人の人物ノードをグループ化した融合ノード（グループノード）の移動方向を予測する。

図６は、本実施の形態１において、融合ノードの移動方向を予測する処理について説明するための模式図である。

図６に示す第１の人物ノード１０１は母親を示し、第２の人物ノード１０２は幼児を示し、第１の人物ノード１０１と第２の人物ノード１０２とをグループ化した融合ノード１０３は、「母−幼児グループ」の関連性情報が対応付けられている。

第１の人物ノード１０１及び第２の人物ノード１０２の移動方向は、ベクトルの向きで表され、第１の人物ノード１０１及び第２の人物ノード１０２の移動速度は、ベクトルの大きさで表される。融合ノード１０３の移動方向は、第１の人物ノード１０１の重み付きベクトルｗ_１ａ_１と、第２の人物ノード１０２の重み付きベクトルｗ_２ａ_２との和（ｗ_１ａ_１＋ｗ_２ａ_２）によって算出される。

これにより、例えば、カメラのオクルージョンなどにより、２つの人物ノードのうちの１つの人物ノードが消失した場合であっても、融合ノードの他の人物ノードの移動情報を用いることによって、消失した人物ノードの移動方向を推定することができる。

また、幼児を示す第２の人物ノード１０２は、母親を示す第１の人物ノード１０１に依存して移動することになる。そのため、第１の人物ノード１０１の重みｗ_１は、第２の人物ノード１０２の重みｗ_２より大きい（ｗ_１＞ｗ_２）ことが好ましい。特に、第２の人物ノード１０２の重みｗ_２を０とし、融合ノードの移動方向を、第１の人物ノード１０１の移動方向のみとしてもよい。

これにより、融合ノードの移動方向を推定するための演算リソースを節約することができる。特に、Ｋ−Ｓｈｏｒｔｅｓｔ Ｐａｔｈｓをはじめとする、グラフ最適化処理を用いて、人物を追跡するときは、人物ノードを融合することで、グラフのノード数を削減でき、計算量が大幅に削減できる。このため、グラフ最適化処理を用いて人流を推定するときは、本開示の効果が、特に大きい。

なお、本実施の形態１では、人流分析装置は、画像情報及び音声情報を取得しているが、本開示は特にこれに限定されず、画像情報及び音声情報のいずれか一方のみを取得してもよい。画像情報のみを取得する場合は、音声情報取得部１１３及びマイク４は不要となり、音声情報のみを取得する場合は、画像情報取得部１１２及び第２のカメラ３は不要となる。

また、本実施の形態１において、人流分析装置１が人流分析装置の一例に相当し、移動情報取得部１１１が移動情報取得部の一例に相当し、関連ノード抽出部１３１が関連人物抽出部の一例に相当し、関連性情報特定部１３２が関連性情報特定部の一例に相当し、ノード融合判断部１３３がグループ化判断部の一例に相当し、行動予測部１３４が行動予測部の一例に相当する。

続いて、本実施の形態１における人流分析装置の処理について説明する。

図７は、本実施の形態１における人流分析装置の処理について説明するためのフローチャートである。なお、図７に示すフローチャートでは、音声情報を取得せずに、画像情報のみを取得する処理について説明する。

まず、ステップＳ１において、移動情報取得部１１１は、複数の人物ノードの所定の空間内における移動履歴を示す移動情報を取得する。このとき、移動情報取得部１１１は、第１のカメラ２から移動情報を受信する。

なお、本実施の形態１では、移動情報取得部１１１は、第１のカメラ２から移動情報を受信しているが、本開示は特にこれに限定されず、移動情報取得部１１１は、所定の空間を俯瞰する位置から撮影された画像を第１のカメラ２から受信し、受信した画像から移動情報を生成してもよい。

次に、ステップＳ２において、関連ノード抽出部１３１は、移動情報取得部１１１によって取得された移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物ノードを抽出する。このとき、関連ノード抽出部１３１は、所定の期間、互いの間の距離が所定の距離以下である少なくとも２人の人物ノードを抽出する。

次に、ステップＳ３において、画像情報取得部１１２は、複数の人物ノードの外観画像を示す画像情報を取得する。このとき、画像情報取得部１１２は、第２のカメラ３から画像情報を受信する。

次に、ステップＳ４において、関連性情報特定部１３２は、関連ノード抽出部１３１によって抽出された少なくとも２人の人物ノードがどのような関連性を有しているかを示す関連性情報を特定する。このとき、関連性情報特定部１３２は、画像情報取得部１１２によって取得された外観画像に含まれる少なくとも２人の人物ノードのそれぞれの顔画像から、少なくとも２人の人物ノードのそれぞれの年齢及び性別を識別し、識別した少なくとも２人の人物ノードのそれぞれの年齢及び性別の組み合わせを用いて、関連性情報を特定する。

次に、ステップＳ５において、ノード融合判断部１３３は、関連性情報特定部１３２によって特定された関連性情報に基づいて、少なくとも２人の人物ノードをグループ化するか否かを判断する。このとき、ノード融合判断部１３３は、関連性情報特定部１３２によって関連性情報が特定された場合、少なくとも２人の人物ノードをグループ化すると判断し、関連性情報が特定されなかった場合、少なくとも２人の人物ノードをグループ化しないと判断する。ここで、少なくとも２人の人物ノードをグループ化しないと判断された場合（ステップＳ５でＮＯ）、ステップＳ１の処理に戻る。

一方、少なくとも２人の人物ノードをグループ化すると判断された場合（ステップＳ５でＹＥＳ）、ステップＳ６において、行動予測部１３４は、ノード融合判断部１３３によってグループ化すると判断された少なくとも２人の人物ノードを１つの融合ノードとして決定し、融合ノードの行動を予測する。例えば、行動予測部１３４は、少なくとも２人の人物ノードのそれぞれの移動ベクトルを合成することにより、融合ノードの移動ベクトルを算出し、算出した移動ベクトルから融合ノードの移動方向を予測する。

次に、ステップＳ７において、行動予測部１３４は、予測結果を記憶部１２に記憶する。

なお、本実施の形態１では、行動予測部１３４は、予測結果を記憶部１２に記憶しているが、本開示は特にこれに限定されず、通信部１１は、行動予測部１３４による予測結果を、人流分析装置と通信可能に接続された端末装置へ送信してもよく、端末装置は、受信した予測結果を表示してもよい。

図８は、本実施の形態１における人流分析装置の動作について説明するための模式図である。図８の上図に示すように、従来では、複数の人物ノードのそれぞれの移動方向（移動ベクトル）が算出され、複数の人物ノードのそれぞれの移動先が予測されている。これに対し、図８の下図に示すように、本実施の形態１では、複数の人物ノードのうちの第１の人物ノード１０１と第２の人物ノード１０２とが、互いに関連して移動しているとして抽出される。そして、第１の人物ノード１０１及び第２の人物ノード１０２の関連性情報が特定され、第１の人物ノード１０１及び第２の人物ノード１０２をグループ化するか否かが判断される。第１の人物ノード１０１及び第２の人物ノード１０２をグループ化すると判断された場合、第１の人物ノード１０１及び第２の人物ノード１０２をグループ化した融合ノード１０３の移動方向が予測される。

これにより、一緒に移動する可能性が高い複数の人物ノードをグループ化し、グループ単位で移動方向が予測されるので、人物の移動する動線を高い精度で予測することができる。

なお、第２のカメラ３は、複数の人物ノードを撮影し、複数の人物ノードの２次元平面上における視線の方向を示す視線情報を生成し、人流分析装置１へ送信してもよい。人流分析装置１の通信部１１は、複数の人物ノードの視線の方向を示す視線情報を取得してもよい。そして、関連性情報特定部１３２は、取得した視線情報のうち、少なくとも２人の人物ノードの視線の方向を用いて、関連性情報を特定してもよい。例えば、関連性情報特定部１３２は、少なくとも２人の人物ノードの視線の方向が所定の期間一致する場合、少なくとも２人の人物ノードが、何らかの社会的な関連性を有していることを示す関連性情報を特定してもよい。また、関連性情報特定部１３２は、少なくとも２人の人物ノードの視線の方向が所定の期間交わる（互いを注視している）場合、少なくとも２人の人物ノードが、何らかの社会的な関連性を有していることを示す関連性情報を特定してもよい。

また、人流分析装置１は、予測された融合ノード１０３の移動方向に応じて電気機器を制御してもよい。例えば、電気機器が照明機器である場合、人流分析装置１は、予測された融合ノード１０３の移動方向に存在する照明機器を点灯させてもよい。このように、人物ノードの行動予測結果に基づいて電気機器を効率的に制御することができる。

また、実施の形態１において、関連ノード抽出部１３１は、２人の人物の距離が所定の距離より小さい範囲での移動が継続していた場合に、２人の人物が関連して移動していると推定した。しかしながら、２人の人物間の距離は、環境に応じて異なる場合が多い。そこで、関連ノード抽出部１３１は、複数の人物の周囲の環境に応じた閾値を定め、複数の人物間の距離が閾値より短い場合に、複数の人物が関連して移動していると推定してもよい。

図９は、人口密度が低い領域における人物ノードの配置の一例を示す図であり、図１０は、人口密度が高い領域における人物ノードの配置の一例を示す図であり、図１１は、各人物ノード間の距離を示す図である。なお、図９及び図１０において、実線で示した円は、人物ノードを示し、円内の数字は、各人物ノードを識別するためのノード番号を示し、矢印は、人物ノードの移動方向を示す。

図９に示すように、例えば、公園等の広い領域においては、関連性のない人物間の距離は大きい。これに対して、親子又は知り合い同士などの関連性のある人物間の距離は、相対的には短くなるが、少し離れていることもある。

一方で、図１０に示すように、混雑した駅又は交差点などの領域においては、関連性のある人物間の距離は十分に小さく、関連性のない人物間の距離よりも相対的に小さくなる。そこで、関連ノード抽出部１３１は、所定の領域の人口密度に応じて、関連性があると判断するための２つの人物ノード間の距離の閾値を決めてもよい。関連ノード抽出部１３１は、所定の領域に含まれる複数の人物ノード間の距離を全て計算し、計算した全ての距離の中から全体の距離に対して十分に距離が短い２人の人物ノードを関連性のある人物ノードとして抽出してもよい。

具体的には、図１１に示すように、関連ノード抽出部１３１は、所定の領域に含まれる複数の人物ノード間の距離を全て計算し、計算した全ての距離の中から所定の閾値より短い距離に対応する２人の人物ノードを抽出してもよい。

例えば、図１１では、人物ノード間の距離が「８」である２つの人物ノードが、関連性のある人物ノードとして特定される。このとき、関連ノード抽出部１３１は、複数の人物ノードが存在する所定の領域の人口密度を算出し、人口密度に応じて閾値を設定する。関連ノード抽出部１３１は、人口密度が所定値より低い場合、第１の閾値を設定し、人口密度が所定値以上である場合、第１の閾値より小さい第２の閾値を設定する。関連ノード抽出部１３１は、人物ノード間の距離が閾値より小さい２つの人物ノードを関連性のある人物ノードとして抽出する。

また、実施の形態１において、関連ノード抽出部１３１は、人物ノード間の距離を用いて、関連性のある２人の人物ノードを抽出しているが、さらに、複数の人物ノードのうちの２人の人物ノードの進行方向に対する位置関係を利用して、２人の人物ノードを抽出してもよい。

図１２は、２人の人物ノードを結ぶ直線と、２人の人物ノードの進行方向との角度φ（φ＜９０度）に基づいて２人の人物ノードを抽出する第１の処理について説明するための模式図であり、図１３は、２人の人物ノードを結ぶ直線と、２人の人物ノードの進行方向との角度φ（φ＞９０度）に基づいて２人の人物ノードを抽出する第１の処理について説明するための模式図である。

一般に、２人の人物が会話しながら歩行している場合には、頭頂を俯瞰する画像において、２人の人物の頭頂を結ぶ直線２０１と、２人の人物の進行方向２０２とがなす角度φは、略９０度になる。図１２及び図１３においては、第１の人物ノード１０１と第２の人物ノード１０２との関連性が高い場合には、角度φは略９０度になる。一方、角度φが１８０度又は０度に近い角度になると、２人の人物は、会話が困難な位置関係となる。そこで、実施の形態１においては、関連ノード抽出部１３１は、２人の人物ノードを結ぶ直線２０１と進行方向２０２とがなす角度φを用いて、２人の人物ノードを抽出してもよい。

例えば、関連ノード抽出部１３１は、２人の人物ノードを結ぶ直線２０１と進行方向２０２とがなす角度φが８０度より大きくかつ１１０度より小さい場合、２人の人物ノードを抽出してもよい。また、関連ノード抽出部１３１は、所定の期間における２人の人物ノードの間の距離が所定の距離以下であり、かつ２人の人物ノードを結ぶ直線２０１と進行方向２０２とがなす角度φが８０度より大きくかつ１１０度より小さい場合、２人の人物ノードを抽出してもよい。

さらに、実施の形態１において、関連性情報特定部１３２は、抽出された２人の人物ノードを結ぶ直線と進行方向とがなす角度φを用いて、２人の関連性情報を特定してもよい。例えば、歩行しながら会話した結果、２人の人物ノードの角度φの値が所定の値を超えた場合、関連性情報特定部１３２は、抽出された２人の人物ノードの関連性情報を、家族、カップル又は友人であると特定することができる。

関連性情報特定部１３２は、２人の人物ノードの頭頂部を結ぶ直線と、進行方向とのなす角度φが、９０度を中心とする所定の範囲内であるときに、２人の人物ノードが、友人、カップル又は家族の関連性を有していると特定してもよい。特に、関連性情報特定部１３２は、角度φが８０度より大きくかつ１１０度より小さい場合、抽出された２人の人物ノードの関連性情報を、家族、カップル又は友人であると特定してもよい。

一方、関連性のある２人の人物ノードであっても、２人の人物ノードを結ぶ直線と進行方向とがなす角度φが略９０度とならない場合もある。

図１４は、２人の人物ノードを結ぶ直線と、２人の人物ノードの進行方向との角度に基づいて２人の人物ノードを抽出する第２の処理について説明するための模式図である。

図１４に示すように、第１の人物ノード１０１が介護者であり、第２の人物ノード１０２が車いすに乗った人物である場合には、進行方向に沿って２人の人物が並ぶため、角度φの値が所定の値より小さくなる。そこで、関連性情報特定部１３２は、２人の人物ノードを結ぶ直線２０１と、抽出された２人の人物ノードの進行方向２０２とがなす角度φが所定の値より小さい場合、抽出された２人の人物ノードの関連性情報を、車いすに乗った人物とその介護者との関係であると特定することが可能になる。

関連性情報特定部１３２は、２人の人物ノードの頭頂部を結ぶ直線と、進行方向とのなす角度が、所定の角度以下であるときに、２人の人物ノードが、車いすに乗る人物と介護者との関連性を有していると特定する。特に、関連性情報特定部１３２は、角度φが０度より大きくかつ２０度より小さい場合、抽出された２人の人物ノードの関連性情報を、車いすに乗った人物とその介護者との関係であると特定してもよい。

図１５は、２人の人物がゲートを通過する際の位置関係に応じて関連性情報を特定する処理について説明するための模式図である。

例えば、図１５に示すように、駅の改札口、公共施設の入口、又は公共施設の出口等のゲート２０３で、各人物ごとに通過がチェックされる場合、関連性のある人物同士は、連続して通過するか、又は、複数の通過ゲートが人物の進行方向に対して垂直方向に並んでいるときには、並んで通過することが多い。そこで、関連ノード抽出部１３１は、ゲート２０３を通過するときの人物ノードの位置関係に基づいて、互いに関連して移動していると推定される少なくとも２人の人物ノードを抽出してもよい。

関連ノード抽出部１３１は、所定の人数だけが一度に通過可能なゲートに対して、複数の人物のうちの２人の人物が連続して通過したことを示す情報を利用して２人の人物を抽出する。関連ノード抽出部１３１は、ゲート２０３を通過する際に、２人の人物ノードを結ぶ直線２０１と、抽出された２人の人物ノードの進行方向２０２とがなす角度φが０度になった場合、２人の人物ノードを抽出する。

また、関連性情報特定部１３２は、抽出された２人の人物ノードのうち、ゲート２０３を先に通過する人物ノードを親と判定し、ゲート２０３を後に通過する人物ノードを子供と判定し、抽出された２人の人物ノードの関連性情報を親子に特定してもよい。

また、本実施の形態１において、関連性情報特定部１３２は、人物の視線情報を用いて関連性情報を特定することについて説明しているが、さらに、周囲の状況又は注視している対象と視線との関係を用いて、関連性情報を特定することも可能である。

図１６は、展示物に対する視線情報に基づいて、停止している２人の人物ノードの関連性情報を特定する処理について説明するための模式図であり、図１７は、展示物に対する視線情報に基づいて、移動している２人の人物ノードの関連性情報を特定する処理について説明するための模式図である。なお、図１６及び図１７において、破線の矢印は、人物の視線の方向を示し、実線の矢印は、人物の進行方向を示す。

例えば、図１６及び図１７に示すように、飲食店又はアパレルショップ等において、通行者向けに商品が展示されている際に、関連する２人の人物が同じ対象物の方向に視線を向けて対話する場合がある。そこで、図１６に示すように、関連性情報特定部１３２は、抽出された第１の人物ノード１０１及び第２の人物ノード１０２が同じ対象物に視線を向けている場合には、第１の人物ノード１０１及び第２の人物ノード１０２に関連性があると判断してもよい。関連性情報特定部１３２は、少なくとも２人の人物の視線の方向が共通の対象物へ向いている場合、関連性情報を特定してもよい。

また、２人の人物ノードの視線の方向が、共通の対象物に向いている場合には、周りの他の人物ノードの移動速度に対して、関連性の高い２人の人物ノードの移動速度が相対的に遅くなることがある。そこで、図１７に示すように、関連性情報特定部１３２は、抽出された２人の人物ノードの視線の方向が共通の対象物に向いており、かつ、抽出された２人の人物ノードの移動速度の平均と、周りの他の人物ノードの移動速度の平均との差分が所定値以上である場合、抽出された２人の人物ノードに関連性があると判断してもよい。

さらに、公共の地図を表示している案内板の前において、関連する複数の人物が行先等を確認する場合がある。

図１８は、人物を案内するための案内情報に対する視線情報に基づいて、２人の人物ノードの関連性情報を特定する処理について説明するための模式図である。この場合においても、関連性情報特定部１３２は、人物を案内するための案内情報を提示する案内板２０４に対する第１の人物ノード１０１及び第２の人物ノード１０２の視線情報を用いて関連性を判断してもよい。抽出された２人の人物ノードの視線方向が地図等の案内板２０４に向いている場合には、抽出された２人の人物ノードは、その地域の地理情報に関する知識が少ないという共通点がある。そこで、関連性情報特定部１３２は、少なくとも２人の人物の視線の方向が、公共の案内情報を提示する物体へ向いている場合、関連性情報を特定してもよい。特に、関連性情報特定部１３２は、抽出された２人の人物ノードの視線方向が案内情報に向いている場合、２人の人物ノードの関連性情報を観光客グループであると特定してもよい。

また、２人の人物の視線が、２人の人物のうちの一方の所有物に対して向いていることもある。そこで、関連性情報特定部１３２は、少なくとも２人の人物のうちの１人の人物の所有物に対する少なくとも２人の人物の視線情報を用いて関連性情報を特定してもよい。関連性情報特定部１３２は、少なくとも２人の人物の視線の方向が、少なくとも２人の人物のうちの１人の人物の所有物へ向いている場合、関連性情報を特定してもよい。

図１９は、２人の人物のうちの一方の所有物に対する視線情報に基づいて、２人の人物ノードの関連性情報を特定する処理について説明するための模式図である。

例えば、図１９に示すように、関連性情報特定部１３２は、抽出された第１の人物ノード１０１及び第２の人物ノード１０２の両者の視線方向が第１の人物ノード１０１の所有物２０５に向いている場合に、抽出された第１の人物ノード１０１及び第２の人物ノード１０２に関連性があると判断してもよい。所有物２０５は、例えば、タブレット型コンピュータ又はスマートフォン等の端末装置である。また、所有物２０５は、例えば、地図、パンフレット又はガイドブックなどであってもよい。

なお、各人物の視線の方向は、画像情報から眼球の画像を抽出し、眼球の画像の位置を用いて特定することが可能である。また、本実施の形態１においては、人物が歩行中であるため、画像情報から眼球の位置を検出することが困難である場合には、顔の向きが視線の方向であると推定してもよい。

図２０は、人物の顔の向きにより人物の視線の方向を推定する処理について説明するための図である。例えば、図２０に示すように、人物２０６が下方を向いている場合、視線の方向２０７も下方となり、画像情報から眼球の位置を検出することが困難となる。この場合、第２のカメラ３は、人物ノードの顔の向きを検出し、検出した顔の向きを視線の方向として視線情報を生成し、人流分析装置１へ送信してもよい。人流分析装置１の通信部１１は、複数の人物の外観画像から検出された複数の人物の顔の向きを、複数の人物の視線の方向とした視線情報を取得してもよい。

また、実施の形態１においては、人流分析装置１のノード融合判断部１３３は、２人の人物ノード間の距離が所定の距離以下になった場合に、関連性が高いと推定し、１つのノードに融合しているが、融合後にも、一定時間ごとに、２人の人物ノード間の距離を計算してもよい。そして、ノード融合判断部１３３は、融合後に、２人の人物ノード間の距離が所定の距離より長くなったときには、融合を解消してもよい。すなわち、ノード融合判断部１３３は、グループ化すると判断された少なくとも２人の人物間の距離をグループ化後に再度計算し、再度計算した距離が所定の距離を超えた場合、少なくとも２人の人物のグループ化を解消してもよい。また、ノード融合判断部１３３は、距離だけでなく、融合後に、２人の人物ノード間に所定数の他のノードが存在するようになった場合に、融合を解消してもよい。

（実施の形態２）
実施の形態２では、人流分析装置は、複数の人物が存在する所定の空間に関する空間情報を取得し、取得した空間情報を利用して融合ノードの行動を予測し、人流分析装置と通信可能に接続された端末装置へ予測結果を送信し、端末装置は、受信した予測結果を表示する。

図２１は、本開示の実施の形態２における人流分析システムの構成を示す図である。

図２１に示す人流分析システムは、人流分析装置１Ａ、第１のカメラ２、第２のカメラ３、マイク４及び端末装置６を備える。なお、実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。

人流分析装置１Ａは、第１のカメラ２、第２のカメラ３、マイク４及び端末装置６とネットワーク５を介して互いに通信可能に接続される。なお、ネットワーク５は、例えばインターネットである。人流分析装置１Ａは、例えばサーバであり、通信部１１Ａ、記憶部１２及び制御部１３Ａを備える。

通信部１１Ａは、移動情報取得部１１１、画像情報取得部１１２、音声情報取得部１１３、空間情報取得部１１４及び予測結果送信部１１５を備える。

制御部１３Ａは、例えば、ＣＰＵで構成される。制御部１３Ａは、関連ノード抽出部１３１、関連性情報特定部１３２、ノード融合判断部１３３及び行動予測部１３４Ａを備える。

空間情報取得部１１４は、所定の空間に関する空間情報を外部のサーバから取得する。空間情報取得部１１４は、外部のサーバによって送信された空間情報を受信する。空間情報は、例えば、地図情報であり、所定の空間が建物内の空間であれば、建物の間取り図を示す情報である。空間情報は、所定の空間内に存在する領域に対応付けられた関連性情報の種別を示す領域種別情報を含む。

所定の空間内に存在する領域には、当該領域を主に利用するグループの関連性情報の種別が対応付けられている。例えば、玩具店を示す領域には、父母−乳児グループ、父母−幼児グループ及び母−小学生グループなどの玩具店を主に利用するグループの関連性情報の種別が予め対応付けられている。

なお、本実施の形態２では、空間情報取得部１１４は、取得した空間情報を行動予測部１３４Ａへ出力しているが、本開示は特にこれに限定されず、取得した空間情報を記憶部１２に記憶してもよい。この場合、行動予測部１３４Ａは、記憶部１２から空間情報を読み出してもよい。また、記憶部１２は、予め空間情報を記憶してもよい。

行動予測部１３４Ａは、少なくとも２人の人物ノードの関連性情報と、所定の空間内に存在する領域に対応付けられた関連性情報の種別を示す領域種別情報とを用いて、少なくとも２人の人物ノードをグループ化した融合ノード（グループノード）の移動方向を予測する。行動予測部１３４Ａは、所定の空間内の複数の領域のうち、少なくとも２人の人物ノードの関連性情報の種別と一致する関連性情報の種別が対応付けられている領域を、少なくとも２人の人物ノードをグループ化した融合ノードの移動先として予測する。

予測結果送信部１１５は、行動予測部１３４Ａによる予測結果を端末装置６へ送信する。

端末装置６は、例えば、パーソナルコンピュータ、スマートフォン又はタブレット型コンピュータである。端末装置６は、通信部６１、制御部６２、表示部６３及び入力部６４を備える。

通信部６１は、人流分析装置１Ａによって送信された予測結果を受信する。

制御部６２は、例えばＣＰＵで構成され、通信部６１、表示部６３及び入力部６４を制御する。

表示部６３は、例えば、液晶表示装置であり、通信部６１によって受信された予測結果を表示する。

入力部６４は、例えば、タッチパネル、キーボード又はマウスであり、ユーザによる入力を受け付ける。

続いて、本実施の形態２における人流分析装置の処理について説明する。

図２２は、本実施の形態２における人流分析装置及び端末装置の処理について説明するためのフローチャートである。なお、図２２に示すフローチャートでは、音声情報を取得せずに、画像情報のみを取得する処理について説明する。

図２２に示すステップＳ１１〜ステップＳ１５の処理は、図７に示すステップＳ１〜Ｓ５の処理と同じである。

少なくとも２人の人物ノードをグループ化すると判断された場合（ステップＳ１５でＹＥＳ）、ステップＳ１６において、空間情報取得部１１４は、所定の空間に関する空間情報を外部のサーバから取得する。

次に、ステップＳ１７において、行動予測部１３４Ａは、ノード融合判断部１３３によってグループ化すると判断された少なくとも２人の人物ノードを１つの融合ノードとして決定し、融合ノードの行動を予測する。このとき、行動予測部１３４Ａは、少なくとも２人の人物ノードの関連性情報と、所定の空間内に存在する領域に対応付けられた関連性情報の種別を示す領域種別情報とを用いて、少なくとも２人の人物ノードをグループ化した融合ノード（グループノード）の移動方向を予測する。行動予測部１３４Ａは、所定の空間内の複数の領域のうち、少なくとも２人の人物ノードの関連性情報の種別と一致する関連性情報の種別が対応付けられている領域を融合ノードの移動先として予測する。

次に、ステップＳ１８において、予測結果送信部１１５は、行動予測部１３４Ａによる予測結果を端末装置６へ送信する。

次に、ステップＳ１９において、端末装置６の通信部６１は、人流分析装置１Ａによって送信された予測結果を受信する。

次に、ステップＳ２０において、表示部６３は、通信部６１によって受信された予測結果を表示する。

図２３は、本実施の形態２における人流分析装置の予測結果について説明するための模式図である。

図２３において、所定の空間は建物２００内の空間であり、建物２００内には、玩具店２０１と１０代の女性向けのアパレル店２０２とが存在している。そして、玩具店２０１には、父母−乳児グループ、父母−幼児グループ、母−幼児グループ及び母−小学生グループなどの関連性情報の種別が予め対応付けられている。また、アパレル店２０２には、１０代女性友人グループの関連性情報の種別が予め対応付けられている。

また、図２３に示す第１の人物ノード１０１は母親を示し、第２の人物ノード１０２は幼児を示し、第１の人物ノード１０１と第２の人物ノード１０２とをグループ化した融合ノード１０３は、「母−幼児グループ」の関連性情報が対応付けられている。

第１の人物ノード１０１の移動ベクトルと第２の人物ノード１０２の移動ベクトルとを合成した融合ノード１０３の移動ベクトルが図２３の破線の矢印で表される場合、行動予測部１３４Ａは、融合ノード１０３が、玩具店２０１とアパレル店２０２とのいずれの方向へ向かって移動するのかを予測することできない。

そこで、行動予測部１３４Ａは、建物２００内の玩具店２０１及びアパレル店２０２のうち、融合ノード１０３の関連性情報の種別（母−幼児グループ）と一致する関連性情報の種別が対応付けられている玩具店２０１を融合ノード１０３の移動先として予測する。

図２３に示すように、行動予測部１３４Ａは、融合ノード１０３から、移動先である玩具店２０１へ伸びる矢印を付加した予測結果画像を生成してもよい。予測結果送信部１１５は、図２３に示す予測結果画像を端末装置６へ送信してもよい。端末装置６の表示部６３は、図２３に示す予測結果画像を表示してもよい。

また、行動予測部１３４Ａは、所定の空間内における融合ノードの移動の軌跡を示す移動軌跡画像を生成し、端末装置６へ送信してもよい。

図２４は、本実施の形態２における人流分析装置によって生成される移動軌跡画像の一例を示す図である。

端末装置６の表示部６３は、建物の間取り図上に融合ノードを表示し、入力部６４は、建物内における移動の軌跡（動線）を表示する融合ノードのユーザによる選択を受け付ける。通信部６１は、選択された融合ノードを特定するための情報を人流分析装置１Ａへ送信する。人流分析装置１Ａの通信部１１Ａは、端末装置６によって送信された融合ノードを特定するための情報を受信する。そして、行動予測部１３４Ａは、移動情報を参照し、ユーザによって選択された融合ノードの移動の軌跡（動線）を建物の間取り図上に重畳した移動軌跡画像を生成する。通信部１１Ａは、行動予測部１３４Ａによって生成された移動軌跡画像を端末装置６へ送信する。端末装置６の通信部６１は、人流分析装置１Ａによって送信された移動軌跡画像を受信する。表示部６３は、通信部６１によって受信された移動軌跡画像を表示する。

図２４に示す移動軌跡画像では、建物の間取り図上に融合ノード１０３の移動の軌跡が重畳されている。融合ノード１０３は、「母−幼児グループ」の関連性情報が対応付けられている。融合ノード１０３の移動の軌跡は、点で表され、店舗に滞在した滞在時間の長さが色の濃淡で表されている。すなわち、滞在時間が長いほど、点の色が濃くなるように表示される。なお、融合ノード１０３の移動の軌跡は、線分で表されてもよく、滞在時間の長さに応じて線分の太さ又は線分の色を変化させてもよい。店舗に滞在した時間を建物の間取り図上に表示してもよい。また、表示部６３は、１つの融合ノードの移動の軌跡を表示するのではなく、複数の融合ノードの移動の軌跡を表示してもよい。

本開示に係る人流分析方法、人流分析装置及び人流分析システムは、人物の移動する動線を高い精度で予測することができ、所定の空間内を移動する複数の人物の流れを分析する人流分析方法、人流分析装置及び人流分析システムとして有用である。

１，１Ａ 人流分析装置
２ 第１のカメラ
３ 第２のカメラ
４ マイク
５ ネットワーク
６ 端末装置
１１，１１Ａ 通信部
１２ 記憶部
１３，１３Ａ 制御部
６１ 通信部
６２ 制御部
６３ 表示部
６４ 入力部
１１１ 移動情報取得部
１１２ 画像情報取得部
１１３ 音声情報取得部
１１４ 空間情報取得部
１１５ 予測結果送信部
１３１ 関連ノード抽出部
１３２ 関連性情報特定部
１３３ ノード融合判断部
１３４，１３４Ａ 行動予測部

Claims (20)

1. 所定の空間内を移動する複数の人物の流れを分析する人流分析装置における人流分析方法であって、
   前記複数の人物の前記所定の空間内における移動履歴を示す移動情報を取得し、
   取得した前記移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出し、
   抽出した前記少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定し、
   特定した前記関連性情報に基づいて、前記少なくとも２人の人物をグループ化するか否かを判断し、
   グループ化すると判断した前記少なくとも２人の人物の行動を予測する、
   人流分析方法。
2. 前記抽出は、所定の期間、互いの間の距離が所定の距離以下である前記少なくとも２人の人物を抽出する、
   請求項１記載の人流分析方法。
3. 前記抽出は、所定の範囲において前記複数の人物間の距離を計算し、計算した全ての距離の中から所定の閾値より短い距離に対応する２人の人物を抽出する、
   請求項２記載の人流分析方法。
4. 前記抽出は、さらに、前記複数の人物のうちの２人の人物の進行方向に対する位置関係を利用して、互いに関連して移動していると推定される前記２人の人物を抽出する、
   請求項２記載の人流分析方法。
5. 前記関連情報の特定は、さらに、前記２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、９０度を中心とする所定の範囲内であるときに、前記２人の人物が、友人、カップル又は家族の関連性を有していると特定する、
   請求項４記載の人流分析方法。
6. 前記関連情報の特定は、さらに、前記２人の人物の頭頂部を結ぶ直線と、進行方向とのなす角度が、所定の角度以下であるときに、前記２人の人物が、車いすに乗る人物と介護者との関連性を有していると特定する、
   請求項４記載の人流分析方法。
7. 前記抽出は、さらに、所定の人数だけが一度に通過可能なゲートに対して、前記複数の人物のうちの２人の人物が連続して通過したことを示す情報を利用して前記２人の人物を抽出する、
   請求項２記載の人流分析方法。
8. さらに、前記複数の人物の外観画像を取得し、
   前記特定は、取得した前記外観画像に含まれる前記少なくとも２人の人物のそれぞれの顔画像から、前記少なくとも２人の人物のそれぞれの年齢及び性別を識別し、識別した前記少なくとも２人の人物のそれぞれの前記年齢及び前記性別を用いて、前記関連性情報を特定する、
   請求項１記載の人流分析方法。
9. さらに、前記複数の人物の視線の方向を示す視線情報を取得し、
   前記特定は、取得した前記視線情報のうち、前記少なくとも２人の人物の前記視線の方向を用いて、前記関連性情報を特定する、
   請求項１記載の人流分析方法。
10. 前記特定は、前記少なくとも２人の人物の前記視線の方向が共通の対象物へ向いている場合、前記関連性情報を特定する、
    請求項９記載の人流分析方法。
11. 前記共通の対象物は、前記少なくとも２人の人物のうちの１人の人物の所有物である、
    請求項１０記載の人流分析方法。
12. 前記共通の対象物は、公共の案内情報を提示する物体である、
    請求項１０記載の人流分析方法。
13. 前記視線情報の取得は、前記複数の人物の外観画像から検出された前記複数の人物の顔の向きを、前記複数の人物の前記視線の方向とした前記視線情報を取得する、
    請求項９記載の人流分析方法。
14. さらに、前記複数の人物のそれぞれが発話した音声情報を取得し、
    前記特定は、取得した前記音声情報のうち、前記少なくとも２人の人物が会話している前記音声情報を用いて、前記関連性情報を特定する、
    請求項１記載の人流分析方法。
15. 前記特定は、前記少なくとも２人の人物が会話している前記音声情報の中から、固有名詞、又は親族関係を特定するキーワードを抽出することで、前記関連性情報を特定する、
    請求項１４記載の人流分析方法。
16. 前記予測は、前記少なくとも２人の人物の前記関連性情報と、前記少なくとも２人の人物の前記移動情報とを用いて、前記少なくとも２人の人物をグループ化したグループ単位の移動方向を予測する、
    請求項１記載の人流分析方法。
17. 前記予測は、前記少なくとも２人の人物の前記関連性情報と、前記所定の空間内に存在する領域に対応付けられた前記関連性情報の種別を示す領域種別情報とを用いて、前記少なくとも２人の人物をグループ化したグループ単位の移動方向を予測する、
    請求項１記載の人流分析方法。
18. さらに、グループ化すると判断された前記少なくとも２人の人物間の距離をグループ化後に再度計算し、再度計算した前記距離が所定の距離を超えた場合、前記少なくとも２人の人物のグループ化を解消する、
    請求項２記載の人流分析方法。
19. 所定の空間内を移動する複数の人物の前記所定の空間内における移動履歴を示す移動情報を取得する移動情報取得部と、
    前記移動情報取得部によって取得された前記移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出する関連人物抽出部と、
    前記関連人物抽出部によって抽出された前記少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定する関連性情報特定部と、
    前記関連性情報特定部によって特定された前記関連性情報に基づいて、前記少なくとも２人の人物をグループ化するか否かを判断するグループ化判断部と、
    前記グループ化判断部によってグループ化すると判断された前記少なくとも２人の人物の行動を予測する行動予測部と、
    を備える人流分析装置。
20. 所定の空間内を移動する複数の人物の流れを分析する人流分析装置と、
    前記人流分析装置とネットワークを介して通信可能に接続された端末装置と、
    を備え、
    前記人流分析装置は、
    前記複数の人物の前記所定の空間内における移動履歴を示す移動情報を取得する移動情報取得部と、
    前記移動情報取得部によって取得された前記移動情報に基づいて、互いに関連して移動していると推定される少なくとも２人の人物を抽出する関連人物抽出部と、
    前記関連人物抽出部によって抽出された前記少なくとも２人の人物がどのような関連性を有しているかを示す関連性情報を特定する関連性情報特定部と、
    前記関連性情報特定部によって特定された前記関連性情報に基づいて、前記少なくとも２人の人物をグループ化するか否かを判断するグループ化判断部と、
    前記グループ化判断部によってグループ化すると判断された前記少なくとも２人の人物の行動を予測する行動予測部と、
    前記行動予測部による前記少なくとも２人の人物の行動予測結果を前記端末装置へ送信する送信部と、
    を備え、
    前記端末装置は、
    前記人流分析装置によって送信された前記行動予測結果を受信する受信部と、
    前記受信部によって受信された前記行動予測結果を表示する表示部と、
    を備える、
    人流分析システム。

Images