JP2017184025A - 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム - Google Patents

Abstract

【課題】人物が表されている撮影画像とは別に、人物動線をヒートマップ画像により表すシステムが知られている。人物の足の位置に基づいて人物の位置を特定することができれば、ヒートマップ画像によって、奥行きを表現することができるため、閲覧者は、ヒートマップ画像から、人物の動線を把握することが容易になる。しかし、撮影画像データから足単体を検知（認識）する技術は精度が高くない。また、人物の足は床付近にあるため、障害物に隠れてしまい、足が撮影画像上に映し出されないことが少なくない。そのため、閲覧者は、ヒートマップ画像から人物の動線を把握することが困難である。【解決手段】人物の顔を含む頭部の検知から足の位置を算出することで、ヒートマップ画像が奥行きを表現することができるため、閲覧者は人物の動線を容易に把握することができるという効果を奏する。【選択図】図２３

Description

本発明は、通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラムに関するものである。

近年、撮影画像データから人物を含む矩形画像を認識し、人物の動線（滞留を含む）を分析して、店舗運営、商品企画、道路の整備、防犯等に反映する事例が増えており、そのための技術として監視カメラと画像処理技術を組み合わせた監視システムが知られている（特許文献１参照）。

また、人物が表されている撮影画像とは別に、人物の動線をヒートマップ画像により表すシステムが知られている（特許文献２参照）。これに対して、人物が表されている撮影画像に、人物の動線を表すヒートマップ画像をマッピングして表示すれば、閲覧者は、ヒートマップ画像によって撮影画像が表している状況を把握し易くなる。

ところが、図２４（ａ）に示されているように、手前側の人物と奥側の人物の重心の位置が波線で示されているように、同じ高さにある場合、人物を含む矩形画像の重心を基準に人物の位置を特定しようとすると、図２４（ｂ）に示されているように、ヒートマップ画像は、手前側の人物と奥側の人物が同じ位置として表される。そのため、閲覧者は、ヒートマップ画像から、人物の動線を把握することが困難である。

一方、人物の足の位置に基づいて人物の位置を特定することができれば、ヒートマップ画像によって、奥行きを表現することができるため、閲覧者は、ヒートマップ画像から、人物の動線を把握することが容易になる。

しかしながら、現時点では、撮影画像データから足単体を検知（認識）する技術は精度が高くない。また、人物の足は床付近にあるため、障害物に隠れてしまい、足が撮影画像上に映し出されないことが少なくない。そのため、閲覧者は、ヒートマップ画像から、人物の動線を把握することが困難であるという課題が生じる。

請求項１に係る発明は、である。

以上説明したように本発明によれば、人物の顔を含む頭部の検知から足の位置を算出することで、ヒートマップ画像が奥行きを表現することができるため、閲覧者は人物の動線を容易に把握することができるという効果を奏する。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図４の立体斜視図、（ｂ）はディスプレイに所定領域の画像が表示された通信端末を示す図である。 所定領域情報と所定領域画像との関係を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信端末３のハードウェア構成図である。 画像管理システム及び通信端末のハードウェア構成図である。 本実施形態の処理の概略を示した図である。 画像通信システムの機能ブロック図である。 人物画像管理テーブルを示す概念図である。 人物画像の位置と範囲の概念図である。 人物画像情報を作成する処理を示したフローチャートである。 全天球画像の撮影状況を示した平面図である。 全天球画像の撮影状況を示した側面図である。 頭部（顔）の直径を算出する処理を示した概念図である。描画点（第１の中心点と第２の中心点の平均中心点及び点数）を定める処理を示した概念図である。 頭部（顔）の中心から足までの距離を算出する処理を示した概念図である。 頭部（顔）の中心と水平線との角度を算出する処理を示した概念図である。 足と水平線との角度を差出する処理を示した概念図である。 （ａ）本実施形態の所定領域画像、（ｂ）ヒートマップが重畳されている所定領域画像を示した図である。 （ａ）従来の所定領域画像、（ｂ）ヒートマップが重畳されている所定領域画像を示した図である。

以下、図面を用いて、本発明の一実施形態について説明する。

＜＜実施形態の概略＞＞
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），（ｂ），（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮影装置１の正面側には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、３次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球パノラマ画像が、３次元の立体球ＣＳで表わされている。このように生成された全天球パノラマ画像が、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Ｔは、この全天球パノラマ画像における仮想カメラＩＣの位置の所定領域情報によって特定される。この所定領域情報は、例えば、座標ｘ(rH)、座標ｙ(rV)、及び画角α(angle)によって示される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。

そして、図６（ａ）で示されているように、全天球パノラマ画像における所定領域Ｔの画像は、図６（ｂ）に示されているように、所定のディスプレイに、所定領域画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報（ｘ，ｙ，α）によって表された画像である。

ここで、図７を用いて、所定領域情報と所定領域画像の関係について説明する。なお、図７は、所定領域情報と所定領域画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角を２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから所定領域Ｔの中心点ＣＰまでの距離である。そして、図７では、一般的に以下の式（１）で示される三角関数が成り立つ。

Ｌｆ＝ｔａｎ（α／２）・・・（式１）
＜画像通信システムの概略＞
続いて、図８を用いて、本実施形態の画像通信システムの構成の概略について説明する。図８は、本実施形態の画像通信システムの構成の概略図である。

図８に示されているように、本実施形態の画像通信システムは、撮影装置１、通信端末３、無線ルータ９ａ、画像管理システム５、及び通信端末７によって構成されている。

このうち、撮影装置１は、上述のように、全天球（３６０°）パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置１は、一般的なデジタルカメラであっても良く、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末３は、撮影装置１への充電やデータ送受信を行なうクレードル(Cradle)の一例である。また、通信端末３は、接点を介して撮影装置１とデータ通信を行なうことができると共に、無線ルータ９ａ及び通信ネットワーク９を介して画像管理システム５とデータ通信を行なうことができる。なお、通信ネットワーク９は、例えば、インターネットである。

また、画像管理システム５は、例えば、サーバコンピュータであり、通信ネットワーク９を介して、通信端末３，５とデータ通信を行なうことができる。画像管理システム５には、OpenGL ESがインストールされており、全天球パノラマ画像を作成する。また、画像管理システム５は、全天球パノラマ画像の一部の画像（所定領域画像）のサムネイルデータを作成し、通信端末７にサムネイルデータ及び撮影画像データを提供する。なお、画像管理システム５は、単一のサーバコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。

また、通信端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理システム５とデータ通信を行なうことができる。なお、通信端末７は、ノートＰＣだけでなく、デスクトップ型のＰＣ等のパーソナルコンピュータであってもよく、更に、スマートフォン、タブレット型端末、又はスマートウォッチであってもよい。

更に、撮影装置１、通信端末３、及び無線ルータ９ａは、衣服等の各販売拠点で設置者Ｘによって所定の位置に設置される。

＜実施形態のハードウェア構成＞
次に、図９乃至図１１を用いて、本実施形態の撮影装置１、通信端末３，７、及び画像管理システム５のハードウェア構成を詳細に説明する。

まず、図９を用いて、撮影装置１のハードウェア構成を説明する。なお、図９は、撮影装置のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全方位撮影装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

次に、図１０を用いて、通信端末３のハードウェア構成を説明する。なお、図１０は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図１０に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０３、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る撮像素子としてのＣＭＯＳセンサ３０５を備えている。

なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、ＣＭＯＳセンサ３０５の代わりにＣＣＤセンサを用いてもよい。

更に、通信端末３は、アンテナ３１３ａ、このアンテナ３１３ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う通信部３１３、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部３１４、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

図１１を用いて、画像管理システム５及びノートＰＣの場合の通信端末７のハードウェア構成を説明する。なお、図１１は、画像管理システム５及び通信端末７のハードウェア構成図である。画像管理システム５、及び通信端末７は、ともにコンピュータであるため、以下では、画像管理システム５の構成について説明し、通信端末７の構成の説明は省略する。

画像管理システム５は、画像管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、画像管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜実施形態の処理の概略＞
次に、図１２を用いて、本実施形態の処理の概略について説明する。図１２は、本実施形態の処理の概略を示した図である。

まず、通信端末３が撮影装置１から、撮影画像データ、所定領域情報、及び関連情報を取得する（ステップＳ１）。そして、通信端末３は、画像管理システム５に対して、撮影画像データ、所定領域画像、及び関連情報を送信する（ステップＳ２）。撮影装置１での撮像、及び通信端末３からの送信の各処理は、一定時間毎（例えば、１分おき）に行なわれる。そして、画像管理システム５は、通信端末７からの要求に応じ、通信端末７に対して、撮影画像データ、所定領域情報、及び関連情報を送信する（ステップＳ３）。これにより、通信端末７は、例えば、図２３（ａ）に示されているように、撮影画像データに係る撮影画像のうち、所定領域情報で示される所定領域画像を表示することができる。

次に、画像管理システム５は、通信端末７からの要求に応じ、通信端末３から時系列に順次送られて来る複数の撮影画像データに含まれている人物の位置を算出する（ステップＳ４）。そして、画像管理システム５は、通信端末７に対して、一定時間に撮影されて得られた複数の撮影画像データに関する複数の撮影画像ＩＤ及び複数の足の位置情報を送信する（ステップＳ５）。これにより、通信端末７は、複数の足の位置情報に基づいて、ヒートマップ画像を作成し、複数の撮影画像ＩＤの中のいずれかで示される撮影画像データに係る所定領域画像にヒートマップ画像をマッピングすることで、例えば、図２３（ｂ）に示されるような画像を表示することができる。

＜＜実施形態の機能構成＞＞
次に、図９乃至図１１、及び図１３を用いて、本実施形態の機能構成について説明する。図１３は、本実施形態の画像通信システムの一部を構成する、撮影装置１、通信端末３、画像管理システム５、及通信端末７の各機能ブロック図である。図１３では、画像管理システム５が、通信ネットワーク９を介して、通信端末３及び通信端末７とデータ通信することができる。

＜撮影装置１の機能構成＞
図１３に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、接続部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（撮影装置１の各機能構成）
次に、図９及び図１３を用いて、撮影装置１の各機能構成について更に詳細に説明する。

撮影装置１の受付部１２は、主に、図９に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者（図８では、設置者Ｘ）からの操作入力を受け付ける。

撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。

集音部１４は、図９に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を収音する。

接続部１８は、主に、電気接点、及びＣＰＵ１１１の処理によって実現され、通信端末３からの電源供給を受けると共に、データ通信を行う。

記憶・読出部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜通信端末３の機能構成＞
図１３に示されているように、通信端末３は、送受信部３１、接続部３８、及び記憶・読出部３９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された通信端末３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図１０に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。

（通信端末３の各機能構成）
次に、図１０及び図１３を用いて、通信端末３の各機能構成について更に詳細に説明する。

通信端末３の送受信部３１は、主に、図１０に示されている通信部３１３及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理システム５と各種データ（または情報）の送受信を行う。

接続部３８は、主に、電気接点、及びＣＰＵ３０１の処理によって実現され、通信端末３に電源供給すると共に、データ通信を行う。

記憶・読出部３９は、主に、図１０に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

なお、上記各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤ５０４は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜画像管理システムの機能構成＞
次に、図１１及び図１３を用いて、画像管理システム５の各機能構成について詳細に説明する。画像管理システム５は、送受信部５１、検出部５２、検知部５３、判断部５４、算出部５５、及び記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。干し
また、画像管理システム５は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、通信端末３から送られて来る撮影画像データが記憶される。また、記憶部５０００には、人物画像管理ＤＢ５００１が構築されている。人物画像管理ＤＢ５００１は、後述の人物画像管理テーブルによって構成されている。以下、人物画像管理テーブルについて詳細に説明する。

（人物画像管理テーブル）
図１４は、人物画像管理テーブルを示す概念図である。この人物画像管理テーブルでは、撮影画像ＩＤ毎に、撮影画像データのファイル名、撮影画像の撮影日時、顔ＩＤ、及び足の位置情報が関連付けて記憶されて管理されている。

このうち、撮影画像ＩＤは、撮影画像データを識別するための撮影画像識別情報の一例である。撮影画像データのファイル名は、この関連付けられている撮影画像ＩＤで示される撮影画像データのファイル名である。撮影画像の撮影日時は、この関連付けられている撮影画像データが装置ＩＤで示される撮影装置１で撮影された日時である。撮影画像データは、記憶部５０００に記憶されている。

また、顔ＩＤは、検知部５３によって、撮影画像データから検出された人物の顔を含む頭部を識別するための顔識別情報の一例である。足の位置情報は、算出部５５によって算出された撮影画像データにおける足の位置を示す。この場合、足の位置は、撮影画像であるメルカトル画像（図３（ｃ）参照）における２次元の足の位置を示す。なお、足の位置は、（ｘ，ｙ）＝（緯度，経度）によって示してもよい。

（画像管理システムの各機能構成）
次に、図１３を用いて、画像管理システム５の各機能構成について詳細に説明する。

画像管理システム５の送受信部５１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は通信端末７と各種データ（または情報）の送受信を行う。

検出部５２は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、ステップＳ２によって受信された関連情報の方位・傾き情報から天頂方向を検出する。

検知部５３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、撮影画像データにおいて、任意の人物の顔を含む頭部を検知する。この検出は、ＳＶＭ(Support Vector Machine)の人物検出方式等により行なわれる。具体的には、検知部５３は、撮影画像データにおける２次元の顔の画像の特徴量に基づいて各人物の顔を含む頭部を検知し、撮影画像データにおける位置を特定する。例えば、図１５に示されているように、顔を含む頭部の画像は矩形状に検知され、矩形の中心が人物の頭部の位置（ｘ１１，ｙ１１）を示す。なお、図１５では、足の位置は、（ｘ２１，ｙ２１）で示され、図１４に示されている人物管理テーブルの足の位置情報として管理される。

判断部５４は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、検知部５３によって、任意の人物の頭部が検知されたか否かを判断する。

算出部５５は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、検知部５３によって検知された頭部の大きさ（後述の「２Ｒ」）を算出する。また、算出部５５は、算出した頭部の大きさと、予め定められた平均的な人物の身体の大きさに基づき、頭部の中心と足との距離（後述の「ｈ」）を算出する。更に、算出部５５は、頭部の中心の位置から、頭部の中心と足との距離（ｈ）ほど離れた位置を、撮影画像データにおける足の位置として算出する。この算出部５５の処理に関しては、更に詳細に後述する。

記憶・読出部５９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜通信端末７の機能構成＞
次に、図１１及び図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、送受信部７１、受付部７２、表示制御部７３、ヒートマップ作成部７４、及び、記憶・読出部７９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末７は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。

（通信端末７の各機能構成）
次に、図１３を用いて、通信端末７の各機能構成について詳細に説明する。

通信端末７の送受信部７１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理システム５と各種データ（または情報）の送受信を行う。

受付部７２は、主に、図１１に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、利用者（図８では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、通信端末７のディスプレイ５０８に各種画像を表示させるための制御を行なう。表示制御部７３は、例えば、撮影画像データに関する画像（所定領域画像又は撮影画像）にヒートマップ画像をマッピングして、通信端末７のディスプレイ５０８に表示させる。

ヒートマップ作成部７４は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、足の位置情報に基づいて、ヒートマップ画像を作成する。具体的には、ヒートマップ作成部７４は、撮影装置１によって一定時間毎に撮影されることで得られた時系列の複数の撮影画像データにおける各足の位置を、色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングする。

記憶・読出部７９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜＜実施形態の処理又は動作＞＞
続いて、図１６乃至図２４を用いて、本実施形態の処理又は動作について説明する。図１６は、人物の足の位置を特定する処理を示したフローチャートである。

まず、記憶・読出部５９は、記憶部５０００から、人物の顔を検知するための撮影画像データを読み出す（ステップＳ１１）。そして、検出部５２は、ステップＳ２によって送られて来た関連情報から天頂方向を検出する（ステップＳ１２）。検知部５３は、撮影画像データにおいて、任意の人物の顔を含む頭部を検知する（ステップＳ１３）。判断部５４は、検知部５３によって、任意の人物の頭部が検知されたか否かを判断する（ステップＳ１４）。そして、頭部が検知された場合には（ＹＥＳ）、算出部５５は、検知された頭部の大きさ（後述の「２Ｒ」）を算出する（ステップＳ１５）。

次に、算出部５５は、算出した頭部の大きさと、予め定められた平均的な人物の身体の大きさに基づき、頭部の中心と足との距離（後述の「ｈ」）を算出する（ステップＳ１６）。更に、算出部５５は、頭部の中心の位置から、頭部の中心と足との距離（ｈ）ほど離れた位置を、撮影画像データにおける足の位置として算出する(ステップＳ１７)。

次に、記憶・読出部５９は、人物画像管理テーブルに対して、撮影画像ＩＤ、撮影画像データのファイル名、撮影画像の撮影日時情報、顔ＩＤ、及び足の位置情報を含む人物画像情報を記憶して管理する（ステップＳ１８）。

次に、上記ステップＳ１３に戻り、検知部５３は、最初に検知の処理を行なった撮影画像データと同一の撮影画像データにおいて、他の人物の顔を検知する。これにより、全ての人物の顔が検知されるまで、ステップＳ１３〜Ｓ１８の処理が繰り返される。そして、上記ステップＳ１４において、顔が検知されない場合には（ＮＯ）、全ての人物の顔が検知されたものとして、人物の足の位置を特定する処理が終了する。

ここで、図１７乃至図２３を用いて、ステップＳ１５〜Ｓ１７の処理を詳細に説明する。図１７は、全天球画像撮影状況を示した平面図である。図１８は、全天球画像撮影状況を示した側面図である。

例えば、図１７及び図１８では、人物９００と撮影装置１の間の床２０００に障害物２００１があり、人物９００の足９０４あたりは撮像されない状態になっている。この場合であっても、画像管理システム５は、現在、検知技術が高いレベルになっている顔検知（認識）技術を利用して、人物９００の頭部（顔）を検知し、頭部の位置から人物９００の足の位置を特定するため、障害物２００１があっても、足の位置を特定することができる。なお、障害物２００１がない場合であっても、顔に比べて足の検知（認識）技術は精度が高くないため、顔検知（認識）技術を利用する。

以下、更に詳細に説明する。図１７及び図１８において、撮影装置１の撮像素子１０３ａ（１０３ｂ）を円の中心として、撮像素子１０３ａ（１０３ｂ）からの水平線と、撮像素子１０３ａ（１０３ｂ）から人物９００の頭部（顔）の中心を通る仮想線との間の角度を「α」としている。また、撮影装置１の撮像素子１０３ａ（１０３ｂ）を円の中心として、撮像素子１０３ａ（１０３ｂ）から人物９００の頭部の上端を通る仮想線と、撮像素子１０３ａ（１０３ｂ）から人物９００の頭部の下端を通る仮想線との間の角度を「β」としている。本実施形態の画像管理システム５は、撮像素子１０３ａ（１０３ｂ）からの水平線と、撮像素子１０３ａ（１０３ｂ）から人物９００の足９０４を通る仮想線との間の角度「θ」を求めることで、足９０４の位置を特定する。

また、撮影装置１が、人物９００及び障害物２００１を撮影した場合、図４（ａ）に示されているように球の内側に表わされる全天球パノラマ画像は、頭部（顔）９０１の画像である頭部（顔）画像９１１、上肢９０２の上部の画像である上肢画像９１２、及び障害物２００１の画像である障害物画像２０１１を表わすことになる。よって、図１７及び図１８に示されている状況下では、撮影装置１は、上肢９０２の下部、及び下肢９０３（足９０４を含む）を撮影することができない。

なお、この場合、頭部は球体に近似している。頭部の縦幅を示す角度βは、顔検知（認識）技術を使用することで、実測値として算出することができる。また、本実施形態では、実世界での大きさ及び長さではなく、画像内での相対的な大きさ及び長さに意味がある。そのため、足９０４の位置の特定に際しては、人物９００の頭部９０１と撮像素子１０３ａ（１０３ｂ）との距離は１（単位円）で算出される。

そして、一般的な人間の体型（頭：身長＝１：ｎ，日本人であれば7.3が平均となる）を考慮すると、θは、（式１）のように表わすことができる。

以下に（式１）に至るまでの処理について説明する。

（１）頭部の大きさの算出（ステップＳ１５，図１９）
まず、図１９において、撮像素子１０３ａ（１０３ｂ）の位置を「ｏ１」（単位円）、人物９００の頭部９０１の中心点を「ｏ２」、及び、ｏ１から頭部９０１の上端を通る仮想線と、ｏ２を中心点とする円の外周との接点を「Ａ」とした場合、線（ｏ２−Ａ）の長さＲは、（式２）によって表わされる。

よって、頭部の大きさ（頭部の直径）２Ｒは、（式３）によって算することができる。

（２）頭部の中心と足との距離の算出（ステップＳ１６，図２０）
次に、図２０において、人間の身長Ｈは、（式４）によって表わされる。

よって、頭部９０１の中心ｏ２から足９０４の位置Ｂまでの距離ｈ（ｏ２−Ｂ）は、身長から頭部の長さの半分を引いて、（式５）によって算出することができる。

・・・（式５）
（３）足の位置の特定（ステップＳ１７，図２１，図２２）
次に、図２１において、足の位置Ｂから頭部９０１の中心ｏ２への延長線上で、撮像素子１０３ａ（１０３ｂ）の位置ｏ１からの水平線との交点を「Ｃ」とすると、直角三角形（ｏ１・Ｃ・Ｂ）のうち、辺（ｏ１−Ｃ）の長さはcos(α)で、辺（Ｃ−ｏ２）の長さはsin(α)となる。よって、辺（Ｃ−Ｂ）の長さは、辺（ｏ１−Ｃ）の長さと辺（Ｃ−ｏ２）の長さを足すことにより、（式６）によって算出することができる。

更に、図２２において、撮像素子１０３ａ（１０３ｂ）の位置ｏ１からの水平線と、撮像素子１０３ａ（１０３ｂ）から人物９００の足９０４を通る仮想線との間の角度θは、arctan(辺（Ｃ−Ｂ）の長さ／辺（ｏ１−Ｃ）の長さ)によって算出することができる。これにより、θは（式１）によって算出することができる。

以上により、図１２に示すステップＳ５に示されているよう、算出された足の位置を示す足の位置情報は、検知元である撮影画像データの撮影画像ＩＤと共に、通信端末７に送信される。そして、ステップＳ６に示されているように、通信端末７のヒートマップ作成部７４がヒートマップ画像を作成し、表示制御部７３は、所定領域画像にヒートマップ画像をマッピングして、通信端末７のディスプレイ５０８に表示させる。

図２３（ａ）は、ヒートマップ画像がマッピングされていない所定領域画像を示し、（ｂ）は、ヒートマップ画像がマッピングされている所定領域画像を示している。図２３（ｂ）に示されているように、ヒートマップ画像は、人物の足の軌跡を表わすことになる。よって、図２４（ｂ）に示されているように、人物の重心あたりにヒートマップ画像を付加した場合に比べて、人間の位置がわかり易くなる。

なお、図２３（ｂ）、図２４（ｂ）では、実際には、検知された頭部（足）の数に応じ、数が多い方から少ない方にかけて、赤色、オレンジ色、黄色、黄緑色、青色等で表現される。しかし、ここでは、白黒の濃淡で表現し、多い方から少ない方にかけて、濃色から淡色で表現されている。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、撮影画像データにおいて、人物の足の位置を特定する場合、直接、足の検知（認識）を行なわず、比較的技術が進歩している顔の検知（認識）を行い、顔を含む頭部の位置から足の位置を算出する。これにより、図２３（ｂ）に示されているように、ヒートマップ画像によって、奥行きを表現することができるため、閲覧者は、ヒートマップ画像から、人物の動線を把握することが容易になるという効果を奏する。

また、店舗等のように複数の商品が展示されることで、足が障害物に隠れてしまい、足が撮影画像上に映し出されない場合であっても、本実施形態では、顔の検知から足の位置を算出しているため、ヒートマップ画像で、店舗等における人物の動線を表わすことに優れている。特に、店舗が靴店の場合、足の検知（認識）技術が進歩しても、人物の足と商品の靴を誤検知（誤認識）する可能性が高い。このような場合であっても、本実施形態では、顔の検知から足の位置を算出しているため、ヒートマップ画像で、靴店における人物の動線を表わすことに優れている。

１ 撮影装置
３ 通信端末
５ 画像管理システム
７ 通信端末
９ 通信ネットワーク
５１ 送受信部（送信手段の一例）
５２ 検出部（検出部の一例）
５３ 検知部（検知部の一例）
５４ 判断部（判断手段の一例）
５５ 算出部（算出手段の一例）
５９ 記憶・読出部
７１ 送受信部
７２ 受付部
７３ 表示制御部（表示制御手段の一例）
７４ ヒートマップ作成部（ヒートマップ作成手段の一例）
５０００ 記憶部
５００１ 人物画像管理ＤＢ（人物画像手段の一例）
７０００ 記憶部

特開２０１１−６１５１１号公報 特開２００９−１３４６８８号公報

Claims (10)

1. 通信端末に送信する画像データを管理する画像管理システムであって、
   前記画像データから人物の顔を含む頭部を検知する検知手段と、
   前記検知手段によって人物の顔が検知された場合には、前記検知された顔を含む人物の頭部の大きさと平均的な人物の身体の大きさに基づいて、前記画像データにおける前記頭部の位置から前記人物の足の位置を算出する算出手段と、
   前記算出された前記足の位置を示す足の位置情報を、前記通信端末に送信する送信手段と、
   を有する画像管理システム。
2. 前記算出手段は、前記画像データにおける前記頭部の上端及び下端に基づいて、前記頭部の大きさを算出する請求項１に記載の画像管理システム。
3. 前記算出手段は、前記算出した頭部の大きさと、前記平均的な人物の身体の大きさに基づき、前記頭部の中心と足との距離を算出し、前記頭部の中心の位置から、当該頭部の中心と前記足との距離ほど離れた位置を、前記画像データにおける足の位置として算出する請求項２に記載の画像管理システム。
4. 請求項１乃至３のいずれか一項に記載の画像管理システムであって、
   前記算出手段によって算出された前記足の位置情報と、当該足の画像を含む画像データを識別するための画像識別情報を関連付けて管理する人物画像管理手段を有し、
   前記送信手段は、前記通信端末に、前記画像データ、並びに当該画像データの画像識別情報及び当該画像識別情報に関連付けられた前記足の位置情報を送信する画像管理システム。
5. 前記画像データは、全天球パノラマ画像データである請求項１乃至４に記載の画像管理システム。
6. 請求項１乃至５のいずれか一項に記載の画像管理システムと、
   前記通信手段と、
   を有する画像通信システムであって、
   前記画像管理システムの送信手段は、前記通信端末に対して、時系列に撮像されて得られた複数の画像データにおける人物の足の位置を示す各足の位置情報を送信し、
   前記通信端末は、
   前記各足の位置情報に基づいて、前記人物の動線を表すヒートマップ画像を作成するヒートマップ作成手段と、
   前記各足の位置情報に関連付けられている各画像識別情報で示される各画像データのうちの特定の画像データに対して前記作成されたヒートマップ画像をマッピングして、所定の表示手段に表示させる表示制御手段と、
   を有する画像通信システム。
7. 前記通信端末は、パーソナルコンピュータ、スマートフォン、タブレット型端末、又はスマートウォッチである請求項６に記載の画像通信システム。
8. 通信端末に送信する画像データを管理する画像管理システムが実行する画像送信方法であって、
   前記画像管理システムは、
   前記画像データから人物の顔を含む頭部を検知する検知ステップと、
   前記検知によって人物の顔が検知された場合には、前記検知された顔を含む人物の頭部の大きさと平均的な人物の身体の大きさに基づいて、前記画像データにおける前記頭部の位置から前記人物の足の位置を算出する算出ステップと、
   前記算出された前記足の位置を示す足の位置情報を、前記通信端末に送信する送信ステップと、
   を実行する画像送信方法。
9. 画像データを管理する画像通信システムが実行する画像表示方法であって、
   前記画像通信システムは、
   前記画像データから人物の顔を含む頭部を検知する検知ステップと、
   前記検知によって人物の顔が検知された場合には、前記検知された顔を含む人物の頭部の大きさと平均的な人物の身体の大きさに基づいて、前記画像データにおける前記頭部の位置から前記人物の足の位置を算出する算出ステップと、
   前記算出ステップによって算出された前記足の位置に基づいて、ヒートマップ画像を作成するヒートマップ作成ステップと、
   前記画像データに前記作成されたヒートマップ画像をマッピングして、所定の表示手段に表示させる表示制御ステップと、
   を実行する画像表示方法。
10. コンピュータに、請求項８に記載の方法を実行させるプログラム。

Images