JP2020088571A - 管理システム、情報処理システム、情報処理方法およびプログラム - Google Patents

管理システム、情報処理システム、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2020088571A
JP2020088571A JP2018219567A JP2018219567A JP2020088571A JP 2020088571 A JP2020088571 A JP 2020088571A JP 2018219567 A JP2018219567 A JP 2018219567A JP 2018219567 A JP2018219567 A JP 2018219567A JP 2020088571 A JP2020088571 A JP 2020088571A
Authority
JP
Japan
Prior art keywords
image
image data
area
coordinates
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018219567A
Other languages
English (en)
Inventor
新元 隆史
Takashi Niimoto
隆史 新元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018219567A priority Critical patent/JP2020088571A/ja
Priority to US16/680,695 priority patent/US11195295B2/en
Publication of JP2020088571A publication Critical patent/JP2020088571A/ja
Withdrawn legal-status Critical Current

Links

Abstract

【課題】分析の前準備に時間をかけることなく、任意のエリアで分析を行うことを目的とする。【解決手段】特定の空間が撮影装置10によって撮影されて取得された撮影画像を用いて、特定の空間における分析を行う管理システム5であって、撮影装置10から送信された、撮影画像に係る画像データを受信し、受信した画像データ、および当該画像データに含まれる人物の位置を示す人物座標を関連づけて記憶する。そして、管理システム5は、記憶した画像データに係る画像であって、ディスプレイ708に表示された画像における所定の分析エリアを設定するための入力を受け付け、受け付けた入力によって設定された特定の分析エリアの座標を示すエリア座標と記憶した人物座標とに基づいて、特定の分析エリアの内部における人物の数を計測する。【選択図】図9

Description

本発明は、管理システム、情報処理システム、情報処理方法およびプログラム
に関する。
近年、撮影画像データから、人物の滞留や動線を分析して、店舗運営、商品企画、道路の整備、防犯等に反映する事例が増えており、そのための技術として監視カメラと画像処理技術を組み合わせた監視システムが知られている(例えば、特許文献1)。
また、このような監視カメラと画像処理技術を用いて、計数ラインと呼ばれる計測位置を予め設定し、設定された計数ラインを人物が超えたかどうかを計測する技術が知られている(例えば、特許文献2)。このような技術によって、店舗やイベント会場等において撮影された撮影画像データから、その場所に出入りしている人数を計測することで、管理者が混雑具合を把握することができる。
しかしながら、従来の方法では、分析エリアとしての計測位置を予め設定しておく必要があり、エリア設定が適切かどうかは、実際の撮影が始まらないと分からなかった。また、最適なエリア設定を行いたい場合、分析の前段階で試し撮りをして結果を確認しながらエリア設定を行う方法もあるが、分析の前準備に時間が要してしまう。そのため、分析の前準備に時間をかけることなく、任意のエリアで分析を行うことができないという課題があった。
請求項1に係る管理システムは、特定の空間が撮影装置によって撮影されて取得された撮影画像を用いて、前記特定の空間における分析を行う管理システムであって、前記撮影装置から送信された、前記撮影画像に係る画像データを受信する受信手段と、前記受信された画像データ、および当該画像データに含まれる特定の移動体の位置を示す移動体座標を関連づけて記憶する記憶手段と、前記記憶された前記画像データに係る画像であって、表示部に表示された前記画像における所定の閉領域を設定するための入力を受け付ける受付手段と、前記受け付けられた入力によって設定された特定の閉領域の座標を示す閉領域座標と前記記憶された移動体座標とに基づいて、前記特定の閉領域の内部における前記特定の移動体の数を計測する計測手段と、を備える。
本発明によれば、分析の前準備に時間をかけることなく、任意のエリアで分析を行うことができる。
(a)は撮影装置の左側面図であり、(b)は撮影装置の背面図であり、(c)は撮影装置の平面図であり、(d)は撮影装置の底面図である。 撮影装置の使用イメージ図である。 (a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 (a)は正距円筒射影画像で球を被う状態を示した概念図、(b)は全天球画像を示した図である。 全天球画像を3次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は表示端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 第1の実施形態に係る情報処理システムのシステム構成の一例を示す図である。 第1の実施形態に係る情報処理システムの処理の概略の一例を示す図である。 第1の実施形態に係る撮影装置のハードウエア構成の一例を示す図である。 無線通信機能を有したクレードルの場合の通信端末のハードウエア構成図である。 第1の実施形態に係る管理サーバのハードウエア構成の一例を示す図である。 第1の実施形態に係る表示端末のハードウエア構成の一例を示す図である。 第1の実施形態に係る情報処理システムの機能構成の一例を示す図である。 第1の実施形態に係る画像管理テーブルの一例を示す概念図である。 第1の実施形態に係る人物情報管理テーブルの一例を示す概念図である。 第1の実施形態に係るエリア情報管理テーブルの一例を示す概念図である。 第1の実施形態に係る人数情報管理テーブルの一例を示す概念図である。 第1の実施形態に係る情報処理システムにおける人物情報の取得処理の一例を示すシーケンス図である。 第1の実施形態に係る撮影画像の一例を示す図である。 第1の実施形態に係る処理画像の一例を示す図である。 第1の実施形態に係る管理システムにおける動線分析処理の一例を示すシーケンス図である。 第1の実施形態に係る表示端末に表示された表示画面上におけるエリア指定処理の一例を示す画面例である。 第1の実施形態に係る管理サーバにおいて設定された分析エリアが、全天球画像にマッピングされた画面例を示す概念図である。 第1の実施形態に係る管理サーバにおける分析エリアの内部における人数の計測処理の一例を示すフローチャートである。 第1の実施形態に係る表示端末に表示される分析結果表示画像の一例を示す図である。 第1の実施形態に係る管理サーバにおける分析エリアの設定処理の一例を示すフローチャートである。 全天球画像の一例を説明するための図である。 全天球画像の一例を説明するための図である。 全天球画像から変換された平面画像の一例を説明するための図である。 第1の実施形態に係る管理サーバにおいて算出される、平面画像上における座標の具体例(その1)を示す概念図である。 第1の実施形態に係る管理サーバにおいて算出される、平面画像上における座標(その2)を示す概念図である。 第1の実施形態に係る管理サーバにおいて算出される、平面画像上における座標(その3)を示す概念図である。 第2の実施形態に係る情報処理システムの処理の概略の一例を示す図である。 第2の実施形態に係る情報処理システムの機能構成の一例を示す図である。 第2の実施形態に係る情報処理システムにおける人物情報の取得処理の一例を示すシーケンス図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●実施形態の概要●
以下、実施形態の概要について説明する。まずは、図1乃至図7を用いて、全天球画像の生成方法について説明する。
まず、図1を用いて、撮影装置10の外観を説明する。撮影装置10は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の背面図であり、図1(c)は撮影装置の平面図であり、図1(d)は撮影装置の底面図である。
図1(a)、図1(b)、図1(c)、図1(d)に示すように、撮影装置10の上部には、正面側(前側)に魚眼型のレンズ102aおよび背面側(後側)に魚眼型のレンズ102bが設けられている。撮影装置10の内部には、後述の撮像素子(画像センサ)103a,103bが設けられている。撮影装置10は、それぞれレンズ102a、102bを介して被写体や風景を撮影することで、半球画像(画角180°以上)を得ることができる。撮影装置10の正面側と反対側の面には、シャッターボタン115aが設けられている。また、撮影装置10の側面には、電源ボタン115b、Wi−Fi(Wireless Fidelity(登録商標))ボタン115cおよび撮影モード切替ボタン115dが設けられている。電源ボタン115b、およびWi−Fiボタン115cは、いずれも押下されるたびに、オンとオフが切り替えられる。また、撮影モード切替ボタン115dは、押下されるたびに、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン115a、電源ボタン115b、Wi−Fiボタン115cおよび撮影モード切替ボタン115dは、操作部115の一部である。操作部115は、これらのボタンに限られない。
また、撮影装置10の底部150の中央には、カメラ用三脚に撮影装置10を取り付けるための三脚ねじ穴151が設けられている。また、底部150の左端側には、Micro USB(Universal Serial Bus(登録商標))端子152が設けられている。底部150の右端側には、HDMI(High-Definition Multimedia Interface(登録商標))端子153が設けられている。
次に、図2を用いて、撮影装置10の使用状況を説明する。図2は、撮影装置の使用イメージ図である。撮影装置10は、図2に示すように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図1に示した撮像素子103aおよび撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
次に、図3および図4を用いて、撮影装置10で撮影された画像から正距円筒射影画像ECおよび全天球画像CEが作成されるまでの処理の概略を説明する。図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図4(a)は正距円筒射影画像で球を被う状態を示した概念図、図4(b)は全天球画像を示した図である。
図3(a)に示すように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示すように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮影装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、図3(c)に示すような正距円筒射影画像ECを作成する。
そして、撮影装置10は、OpenGLES(Open Graphics Library for Embedded Systems)を利用することで、図4(a)に示すように、球面を覆うように正距円筒射影画像を貼り付け、図4(b)に示すような全天球画像CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGLESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像CEは、静止画であっても動画であってもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮影装置10は、所定のディスプレイに、全天球画像CEの一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示させることで、人間に違和感を与えない表示をすることができる。これに関して、図5および図6を用いて説明する。
図5は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)は、図4に示した全天球画像CEを、三次元の立体球CSで表している。このように生成された全天球画像CEが、立体球CSであるとした場合、図5に示すように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示す所定領域画像Qは、図6(b)に示すように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示す画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下、仮想カメラICの撮影方向(ea,aa)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮影方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように変更される。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
●第1の実施形態●
続いて、図8乃至図33を用いて、第1の実施形態に係る情報処理システムについて説明する。なお、以下の説明において、撮影装置1によって全天球画像が撮影される例を説明するが、撮影装置1によって撮影される画像は全天球画像に限られず、平面画像であってもよい。
●システム構成
まず、図8を用いて、第1の実施形態に係る情報処理システムの構成の概略について説明する。図8は、第1の実施形態に係る情報処理システムのシステム構成の一例を示す図である。図8に示す情報処理システム1は、特定の空間が撮影装置10によって撮影された取得された撮影画像を用いて、特定の空間における分析を行うシステムである。また、情報処理システム1は、分析の前準備に時間をかけることなく、任意のエリアで分析を行うことができる。
図8に示されているように、本実施形態の画像通信システムは、撮影装置10、通信端末30、無線ルータ9、管理サーバ50および表示端末70によって構成されている。
このうち、撮影装置10は、上述のように、全天球(360°)パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置10は、一般的なデジタルカメラであっても良く、通信端末30にカメラが付いている場合は、通信端末30がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末30は、撮影装置10への充電やデータ送受信を行なうクレードル(Cradle)の一例である。また、通信端末30は、接点を介して撮影装置10とデータ通信を行なうことができるとともに、無線ルータ9および通信ネットワーク7を介して管理サーバ50とデータ通信を行なうことができる。なお、通信ネットワーク7は、例えば、インターネットである。また、撮影装置10および通信端末30は、撮影システム3を構成する。なお、撮影装置10および通信端末30によって構成される撮影システム3は、撮影装置10および通信端末30の機能を備えた一台の装置または端末によって構成されてもよい。
また、管理サーバ50は、例えば、サーバコンピュータであり、通信ネットワーク7を介して、通信端末30および表示端末70とデータ通信を行なうことができる。管理サーバ50には、OpenGL ESがインストールされており、全天球パノラマ画像を作成する。また、管理サーバ50は、全天球パノラマ画像の一部の画像(所定領域画像または後述の特定領域画像)のサムネイルデータを作成し、表示端末70にサムネイルデータおよび撮影画像データを提供する。
また、表示端末70は、例えば、ノートPC(Personal Computer)であり、通信ネットワーク7を介して、管理サーバ50とデータ通信を行なうことができる。なお、管理サーバ50は、単一のサーバコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。また、表示端末70は、ノートPCのみならず、スマートフォン、タブレット型PCまたはデスクトップPC等であってもよい。
さらに、撮影装置10、通信端末30、および無線ルータ9は、衣服等の各販売拠点で設置者Xによって所定の位置に設置される。表示端末70は、各販売拠点を統括する本社等に設置され、管理サーバ50を介して送られて来る各拠点の状況を表した画像を表示することで、閲覧者Yが各拠点の特定の空間(状況)を表した画像を閲覧することができる。管理サーバ50は、各拠点の通信端末30から送られて来た撮影画像データに基づいてサムネイルデータを作成したり、表示端末70にサムネイルデータや撮影画像データを提供したりするサービスを行なうサービス会社等に設置されている。なお、撮影装置10等が設置される拠点は、上記のような販売拠点に限られず、イベント会場、道路等の動線分析を行うために、各種の拠点に設置されてもよい。管理サーバ50および表示端末70は、管理システム5を構成する。
なお、以下の説明において、情報処理システム1は、拠点内の人物の動線を分析する例を説明するが、分析は、動線や数を計測することに限られず、情報処理システム1は、滞留時間、滞留パターン、身長(大きさ)、性別、年齢推定または人物の行動(動作)等も分析することができる。また、分析対象は、人物に限られず、車、ロボット等の特定の移動体であればよい。さらに、特定の移動体には、商品または展示物等の人によって移動させるものである特定の分析対象物も含まれる。また、管理サーバ50および表示端末70によって構成される管理システム5は、管理サーバ50および表示端末70の機能を備えた一台の装置または端末によって構成されてもよい。
●概略
ここで、第1の実施形態に係る情報処理システムの処理の概略について説明する。図9は、第1の実施形態に係る情報処理システムの処理の概略の一例を示す図である。
まず、通信端末30は、撮影装置10によって特定の空間が撮影されて取得された撮影画像に係る撮影画像データ600、および撮影画像が撮影された日時を示す日時情報を、撮影装置10から受信する(ステップS1a)。そして、通信端末30は、受信した撮影画像データ600および日時情報を、管理サーバ50へ送信する(ステップS2a)。
次に、管理サーバ50は、受信した撮影画像データ600に含まれる人物の画像を検出すると共に、この検出した人物の画像の、撮影画像データ600上における位置を示す人物座標を検出する(ステップS3a)。また、管理サーバ50は、検出した人物の画像に対してぼかし処理を施した処理画像データ650を生成する。そして、管理サーバ5は、処理画像データ650を、表示端末70へ送信する(ステップS4a)。
表示端末70は、受信した処理画像データ650に係る画像に対して、エリア指定処理を行う(ステップS5a)。具体的には、表示端末70は、ディスプレイ708上に表示された画像に対して、所定の分析エリアの設定を行うための入力を受け付ける。そして、表示端末70は、入力された入力情報を、管理サーバ50へ送信する。
次に、管理サーバ50は、受信した入力情報に基づいて、エリア内の人数の計測処理を実行する(ステップS7a)。具体的には、管理サーバ50は、受信した入力情報を用いて、動線分析を行う分析エリアを設定する。そして、管理サーバ50は、ステップS3において検出された人物座標と、設定した分析エリアのエリア座標とに基づいて、分析エリア内の人数を計測する。
管理サーバ50は、計測された分析エリアごとおよび時間帯ごとの人数に基づいて生成された分析結果表示画像データを、表示端末70へ送信する(ステップS8a)。そして、表示端末70は、受信した分析結果表示画像データに係る分析結果表示画像800を、ディスプレイ708に表示させる(ステップS9a)。
これにより、情報処理システム1は、動線分析を行うための前準備に時間をかけることなく、撮影装置10による撮影の前後に関わらず、閲覧者Yが分析したいエリアを意図どおりに設定できる。また、情報処理システム1は、動線分析を行うための前準備に時間がかからなくなるため、撮影装置10、通信端末30およびそれらの関連機材の設置時間を短縮することができるので、設置コストを抑制することができる。さらに、閲覧者Yの意図どおりに分析エリアを指定することができるため、分析のやり直しといった手戻りを防ぐことができる。このように、情報処理システム1は、動線分析の前準備に時間をかけることなく、任意のエリアで動線分析を行うことができる。
また、情報処理システム1は、撮影装置10によって取得される撮影画像が全天球画像である場合、ステップS7において分析エリアを設定する際に、全天球画像(例えば、図4に示した全天球画像CE)から変換された平面画像(例えば、図4に示した正距円筒射影画像EC)上における、全天球画像に対して受け付けられた入力に対応する座標を算出する。これは、例えば、平面画像の境界を跨ぐようなエリアを、全天球画像においてユーザが指定した場合には、純粋にユーザが指定した座標情報だけだと、管理サーバ50は、平面画像上で指定されたエリアを描画(設定)することができないためである。これによって、情報処理システム1は、全天球画像を用いた動線分析においても、ユーザによって指定された全天球画像上の任意のエリアを、分析エリアとして設定することができる。
●ハードウエア構成
続いて、図10および図13を用いて、第1の実施形態における撮影装置10、通信端末30、管理サーバ50および表示端末70のハードウエア構成を説明する。なお、図10および図13に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
〇撮影装置のハードウエア構成〇
まず、図10を用いて、撮影装置10のハードウエア構成を説明する。図10は、第1の実施形態に係る撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置10は、二つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は、二つ以上いくつでもよい。また、撮影装置10は、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に撮影装置10と同じ機能を有するようにしてもよい。
図10に示すように、撮影装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイクロフォン108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、アンテナ117aおよび加速度・方位センサ118によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。
撮像素子103a,103bは、それぞれ画像処理ユニット104とパラレルI/Fバスで接続されている。また、撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105および音処理ユニット109は、バスライン110を介してCPU111と接続される。さらに、バスライン110は、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117および加速度・方位センサ118等と接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込む。そして、画像処理ユニット104は、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示したような正距円筒射影画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置10は、ディスプレイ(例えば、表示端末70のディスプレイ708)によるプレビュー表示機能、静止画や動画の表示に対応する機能を持つ場合もある。動画の場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態において、撮影装置10は、ディスプレイが設けられていないが、表示部を設けてもよい。
マイクロフォン108は、それぞれ、撮影装置10の周辺環境から集音し、集音した音を音(信号)データに変換する。音処理ユニット109は、マイクロフォン108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。マイクロフォン108は、それぞれ周辺環境から集音する集音手段を構成する。また、図10は、マイクロフォン108が撮影装置10に内蔵される場合のみを示すが、マイクロフォン108は、撮影装置10に外付けされてもよい。さらに、マイクロフォン108の数は、1つに限られず、所定の配置構成を有する複数のマイクロフォンを有していてもよい。好ましくは、マイクロフォン108は、アンビソニックス・マイクロフォンである。
CPU111は、撮影装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113およびDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特に、DRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、シャッターボタン115a等の操作ボタンの総称である。ユーザは、操作部115を操作することで、種々の撮影モードや撮影条件等を入力する。
入出力I/F116は、SDカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して表示端末70等の外部端末(装置)に送信されたりする。
近距離通信回路117は、撮影装置10に設けられたアンテナ117aを介して、Wi−Fi(登録商標)、NFC(Near Field Communication)またはBluetooth(登録商標)等の近距離無線通信技術によって、表示端末70等の外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを表示端末70等の外部端末(装置)に送信することができる。
加速度・方位センサ118は、地球の磁気から撮影装置10の方位を算出し、方位情報を出力する。方位情報は、Exif(Exchangeable image file format)に沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時、および画像データのデータ容量の各データを含む。
〇通信端末のハードウエア構成〇
次に、図11を用いて、通信端末30aのハードウエア構成を説明する。図11は、無線通信機能を有したクレードルの場合の通信端末のハードウエア構成図である。
図11に示すように、通信端末30は、通信端末30全体の動作を制御するCPU301、基本入出力プログラムを記憶したROM302、CPU301のワークエリアとして使用されるRAM(Random Access Memory)303、CPU301の制御にしたがってデータの読み出しまたは書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)304、CPU301の制御に従って被写体を撮像し画像データを得る撮像素子としてのCMOSセンサ305を備えている。
なお、EEPROM304には、CPU301が実行するオペレーティングシステム(O
S)、その他のプログラム、および種々データが記憶されている。また、CMOSセンサ3
05の代わりにCCDセンサを用いてもよい。
さらに、通信端末30は、アンテナ313a、このアンテナ313aを利用して無線通信信号により、無線ルータ9等と通信を行う近距離通信回路313、GPS(Global Positioning Systems)衛星または屋内GPSとしてのIMES(Indoor MEssagingSystem)によって通信端末30の位置情報(緯度、経度、および高度)を含んだGPS信号を受信するGPS受信回路314、および上記各部を電気的に接続するためのアドレスバスまたはデータバス等のバスライン310を備えている。
〇管理サーバのハードウエア構成〇
次に、図12を用いて、管理サーバ50のハードウエア構成を説明する。図12は、第1の実施形態に係る管理サーバのハードウエア構成の一例を示す図である。
管理サーバ50は、コンピュータによって構築されており、図12に示すように、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)コントローラ505、記録メディア506、メディアI/F507、ネットワークI/F509、DVD−RW(Digital Versatile Disk Rewritable)ドライブ514、およびバスライン510を備えている。
これらのうち、CPU501は、管理サーバ50全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。メディアI/F507は、フラッシュメモリ等の記録メディア506に対するデータの読み出しまたは書き込み(記憶)を制御する。ネットワークI/F509は、通信ネットワーク7を利用してデータ通信をするためのインターフェースである。DVD−RWドライブ514は、着脱可能な記録媒体の一例としてのDVD−RW513に対する各種データの読み出しまたは書き込みを制御する。なお、DVD−RWに限らず、DVD−R等であってもよい。また、DVD−RWドライブ514は、ブルーレイディスクに対する各種データの読み出しまたは書き込みを制御するブルーレイドライブであってもよい。
また、管理サーバ50は、バスライン510を備えている。バスライン510は、図12に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
〇表示端末のハードウエア構成〇
次に、図13を用いて、表示端末70のハードウエア構成を説明する。図13は、第1の実施形態に係る表示端末のハードウエア構成の一例を示す図である。
表示端末70は、コンピュータによって構築されており、図13に示すように、CPU701、ROM702、RAM703、HD704、HDDコントローラ705、記録メディア706、メディアI/F707、ディスプレイ708、ネットワークI/F709、キーボード711、マウス712、DVD−RWドライブ714、およびバスライン710を備えている。
これらのうち、CPU701は、表示端末70全体の動作を制御する。ROM702は、IPL等のCPU701の駆動に用いられるプログラムを記憶する。RAM703は、CPU701のワークエリアとして使用される。HD704は、プログラム等の各種データを記憶する。HDDコントローラ705は、CPU701の制御にしたがってHD704に対する各種データの読み出しまたは書き込みを制御する。メディアI/F707は、フラッシュメモリ等の記録メディア706に対するデータの読み出しまたは書き込み(記憶)を制御する。ディスプレイ708は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ708は、表示部の一例である。ネットワークI/F709は、通信ネットワーク7を利用してデータ通信をするためのインターフェースである。キーボード711は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス712は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD−RWドライブ714は、着脱可能な記録媒体の一例としてのDVD−RW713に対する各種データの読み出しまたは書き込みを制御する。なお、DVD−RWに限らず、DVD−R等であってもよい。また、DVD−RWドライブ714は、ブルーレイディスクに対する各種データの読み出しまたは書き込みを制御するブルーレイドライブであってもよい。
また、表示端末70は、バスライン710を備えている。バスライン710は、図13に示すCPU701等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたHD(Hard Disk)やCD−ROM等の記録媒体は、いずれもプログラム製品(Program Product)として、国内または国外へ提供されることができる。
●機能構成
続いて、第1の実施形態に係る装置および端末の機能構成について説明する。図14は、第1の実施形態に係る情報処理システムの機能構成の一例を示す図である。
〇撮影システムの機能構成〇
まず、撮影装置10および通信端末30によって構成される撮影システム3の機能構成について説明する。撮影装置10によって実現される機能は、受付部11、撮影部12、集音部13、センサ情報取得部14、画像・音処理部15、接続部16、記憶・読出部19および記憶部1000を含む。
受付部11は、ユーザ(例えば、図8に示した設置者X)からの操作入力を受け付ける機能である。受付部11は、主に、図10に示した操作部115およびCPU111の処理によって実現される。
撮影部12は、被写体や風景画像等を撮像し、撮影画像データ600を得る機能である。撮影画像データは、図3(a)、(b)に示したように、全天球画像データの元になる二つの半球画像データである。撮影画像データは、静止画のみならず、動画であってもよい。撮影部12は、主に、図10に示した撮像ユニット101、画像処理ユニット104および撮像制御ユニット105、並びにCPU111の処理によって実現される。撮影部12は、撮影手段の一例である。
集音部13は、撮影装置10の周囲の音を集音する機能である。集音部13は、主に、図10に示したマイクロフォン108および音処理ユニット109、並びにCPU111の処理によって実現される。集音部13は、図10に示したマイクロフォン108を用いて集音された集音データを取得する。
センサ情報取得部14は、加速度・方位センサ118等のセンサから、各方位(方位角、磁北)の方向等のセンサ検出結果情報を取得する機能である。計測される各方位の方向等のセンサ検出結果情報は、撮影装置10の所定時点の姿勢を示すものである。センサ情報取得部14は、主に、図10に示した加速度・方位センサ118およびCPU111の処理によって実現される。
画像・音処理部15は、撮影部12によって得られた撮影画像データ、または集音部13によって得られた音データに対して、各種処理を行う機能である。画像・音処理部15は、例えば、二つの撮像素子103a、103bのそれぞれによって得られた二つの半球画像データ(図3(a)、(b))に基づいて、正距円筒射影画像データ(図3(c))を作成する。画像・音処理部15は、主に、図10に示したCPU111からの命令によって実現される。
接続部16は、主に、電気接点、およびCPU111の処理によって実現され、通信端末30からの電源供給を受けるとともに、データ通信を行う機能である。
記憶・読出部19は、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶・読出部19は、主に、図10に示したCPU111の処理によって実現される。記憶部1000は、主に、図10に示したROM112、SRAM113およびDRAM114によって実現される。また、記憶部1000は、撮影部12によって取得された撮影画像データ600を記憶している。
次に、通信端末30によって実現される機能は、送受信部31、接続部32、記憶・読出部39および記憶部3000を含む。
送受信部31は、無線ルータ9および通信ネットワーク7を介して、管理サーバ50と各種データ(または情報)の送受信を行う機能である。送受信部31は、撮影装置10によって取得された撮影画像データを、通信ネットワーク7を介して管理サーバ50へ送信する。送受信部31は、主に、図11に示したCPU301の処理、並びに近距離通信回路313およびアンテナ313aによって実現される。送受信部31は、送信手段の一例である。
接続部32は、主に、電気接点、およびCPU301の処理によって実現され、通信端末30に電源供給するとともに、データ通信を行う。
記憶・読出部39は、記憶部3000に各種データを記憶させ、または記憶部3000から各種データを読み出す機能である。記憶・読出部39は、主に、図11に示したCPU301の処理によって実現される。記憶部3000は、主に、図11に示したROM302、RAM303およびEEPROM304によって実現される。
〇管理システムの機能構成〇
次に、管理サーバ50および表示端末70によって構成される管理システム5の機能構成について説明する。管理サーバ50および表示端末70は、全天球画像を表示させるための専用のアプリケーションプログラムをインストールしている。管理サーバ50および表示端末70は、例えば、インストールされたアプリケーションプログラムをCPU501およびCPU701が実行することによって、本発明に係る情報処理方法を実現する。
管理サーバ50によって実現される機能は、送受信部51、検出部52、画像処理部53、座標算出部54、分析エリア設定部55、計測部56、画像生成部57、判断部58、記憶・読出部59および記憶部5000を含む。
送受信部51は、通信ネットワーク7を介して、撮影システム3と各種データ(または情報)の送受信を行う機能である。送受信部51は、例えば、撮影システム3から送信された、撮影装置10によって撮影されて取得された撮影画像に係る撮影画像データ600を受信する。送受信部51は、主に、図12に示したCPU501の処理、およびネットワークI/F509によって実現される。送受信部51は、受信手段の一例である。
検出部52は、撮影画像データ600における人物の画像を検出する機能である。この人物検出は、SVM(Support Vector Machine)の人物検出方式等により行なわれる。また、検出部52は、検出した人物の画像に基づいて、撮影画像データ600に含まれる人物の位置を示す人物座標を検出する。ここで、人物座標は、移動体座標の一例である。検出部52は、主に、図12に示したCPU501の処理によって実現される。検出部52は、第1の検出手段の一例である。
画像処理部53は、撮影システム3から送信された撮影画像データ600に対する各種処理を行う機能である。画像処理部53は、例えば、検出部52によって検出された撮影画像データにおける人物の画像にぼかしを入れる「ぼかし処理」を実行する。画像処理部53は、主に、図12に示したCPU501の処理によって実現される。
座標算出部54は、表示端末70から送信された、表示端末70に表示された撮影画像に対する入力に係る入力情報に基づいて、動線分析を行う分析エリアを設定するための座標を算出する機能である。座標算出部54は、例えば、入力情報に含まれる入力座標に対応する二次元座標(X,Y座標)をエリア座標として算出する。また、座標算出部54は、全天球画像へ対する入力に係る入力座標に対応する、全天球画像から変換された平面座標(正距円筒射影画像EC)における二次元座標を、エリア座標として算出する。座標算出部54は、主に、図12に示したCPU501の処理によって実現される。座標算出部54は、算出手段の一例である。
分析エリア設定部55は、座標算出部54によって算出されたエリア座標を用いて、動線分析を行う分析エリアを設定する機能である。分析エリア設定部55は、例えば、座標算出部54によって算出されたエリア座標を、後述するエリア情報管理テーブル(図17参照)に記憶させることで、分析エリアを設定する。分析エリア設定部55は、主に、図12に示したCPU501の処理によって実現される。分析エリア設定部55は、設定手段の一例である。また、動線分析を行うための分析エリアは、特定の閉領域の一例である。
計測部56は、分析エリア設定部55によって設定された分析エリアの内部における人物の数を計測する機能である。計測部56は、例えば、分析エリア設定部55によって設定された分析エリアを構成するエリア座標と、検出部52によって検出されて人物情報管理DB(図16参照)に記憶された人物座標とに基づいて、分析エリアの内部における人物の数を計測する。計測部56は、主に、図12に示したCPU501の処理によって実現される。計測部56は、計測手段の一例である。
画像生成部57は、計測部56による計測結果に基づいて、動線分析の結果を示す分析結果表示画像を生成する機能である。画像生成部57は、主に、図12に示したCPU501の処理によって実現される。
判断部58は、主に、図12に示したCPU501の処理によって実現され、各種判断を行う機能である。
記憶・読出部59は、記憶部5000に各種データを記憶させ、または記憶部5000から各種データを読み出す機能である。記憶・読出部59は、主に、図12に示したCPU501の処理によって実現される。記憶部5000は、主に、図12に示したROM502、HD504および記録メディア506によって実現される。また、記憶部5000には、画像管理DB5001、人物情報管理DB5002、エリア情報管理DB5003、および人数情報管理DB5004が構築されている。このうち、画像管理DB5001は、後述の画像管理テーブルによって構成されている。人物情報管理DB5002は、後述の人物情報管理テーブルによって構成されている。エリア情報管理DB5003は、エリア情報管理テーブルによって構成されている。人数情報管理DB5004は、後述の人数情報管理テーブルによって構成されている。記憶部5000は、記憶手段の一例である。
〇画像管理テーブル
図15は、第1の実施形態に係る画像管理テーブルの一例を示す概念図である。図15に示す画像管理テーブルでは、画像IDごとに、画像データのファイル名および当該画像データの撮影日時が関連づけて記憶されて管理されている。このうち、画像IDは、画像データを識別するための画像識別情報の一例である。画像データのファイル名は、この関連づけられている画像IDで示される画像データのファイル名である。撮影日時は、この関連づけられている画像データが撮影された日時を示す日時情報である。なお、画像管理テーブルによって管理される画像データは、撮影システム3から送信された撮影画像データ600であってもよいし、撮影画像データ600が画像処理部53によって処理された処理画像データ650であってもよいし、それらの両方であってもよい。
〇人物情報管理テーブル
図16は、第1の実施形態に係る人物情報管理テーブルの一例を示す概念図である。この人物情報管理テーブルでは、画像IDごとに、画像データに含まれる人物の画像を識別するための人物IDおよび当該人物の画像の画像データ上での位置を示す人物座標が関連づけて記憶されて管理されている。このうち、人物IDは、画像データに含まれる人物の画像を識別するための人物識別情報の一例である。また、人物座標は、例えば、図20または図21に示されているように、画像IDに係る画像に含まれる人物の位置を示す二次元座標である。人物座標は、画像上の人物の位置を示すX座標とY座標とを含む。例えば、人物ID「T0001」によって特定される人物の位置は、No1〜No4の4つのX,Y座標によって特定される。また、同じ画像データに複数の人物の画像が含まれる場合、一つの画像IDに対して、複数の人物IDが関連づけられる。ここで、人物座標は、移動体座標の一例である。
〇エリア情報管理テーブル
図17は、第1の実施形態に係るエリア情報管理テーブルの一例を示す概念図である。このエリア情報管理テーブルでは、画像IDごとに、エリアID、共通エリアID、エリア座標が関連づけて記憶されて管理されている。このうち、エリアIDは、分析エリア設定部55によって設定された分析エリアを識別するためのエリア識別情報の一例である。また、共通エリアIDは、例えば、離れた二か所以上のエリアを、一つの分析エリアとして設定した場合に、一つの分析エリアとして設定したい複数のエリアIDに関連づけられる。さらに、エリア座標は、画像IDに係る画像に含まれる分析エリアの頂点の位置を示す二次元座標である。エリア座標は、画像上に形成された分析エリアの頂点の位置を示すX座標とY座標とを含む。エリアIDによって識別される一つの分析エリアは、複数のエリア座標によって構成される多角形の領域である。例えば、エリアID「A0001」によって識別される分析エリアは、No.1〜No.6の6つのX,Y座標によって特定される。また、同じ画像データに複数のエリアが含まれる場合、一つの画像IDに対して、複数のエリアIDが関連づけられる。エリア座標は、特定の閉領域の座標を示す閉領域座標の一例である。
〇人数情報管理テーブル
図18は、第1の実施形態に係る人数情報管理テーブルの一例を示す概念図である。この人数情報管理テーブルでは、エリアIDごとに、共通エリアID、当該分析エリアに含まれる人物の数(人数)、および対象日時が関連づけて記憶されて管理されている。このうち、対象日時は、分析エリアに含まれる人物の数(人数)を計測するために用いた画像データに係る画像を、撮影装置10によって取得された日時(撮影日時)を示す。管理サーバ50は、画像データを用いて分析エリア内の人数を計測し、計測された人数と、計測に用いた画像の撮影日時を、分析エリアごとに管理している。
次に、表示端末70によって実現される機能は、送受信部71、受付部72、表示制御部73、記憶・読出部79および記憶部7000を含む。
送受信部71は、通信ネットワーク7を介して管理サーバ50と各種データ(または情報)の送受信を行う機能である。送受信部71は、主に、主に、図13に示したCPU701の処理、およびネットワークI/F709によって実現される。
受付部72は、ユーザ(例えば、図8に示した閲覧者Y)からの操作入力を受け付ける機能である。受付部72は、例えば、表示制御部73によってディスプレイ708に表示された撮影画像における所定のエリアを設定するための入力を受け付ける。受付部72は、主に、図13に示したキーボード711もしくはマウス712等の入力手段、並びにCPU701の処理によって実現される。受付部72は、受付手段の一例である。
表示制御部73は、表示端末70のディスプレイ708に各種画像を表示させるための制御を行う機能である。画像表示方法は、特に限定されるものではなく、全天球画像をそのまま表示させてもよいし、全天球画像の所定画角に対応する画像範囲を切り出して表示させてもよい。表示制御部73は、主に、図13に示したCPU701の処理によって実現される。表示制御部73は、表示制御手段の一例である。
記憶・読出部79は、記憶部7000に各種データを記憶させ、または記憶部7000から各種データを読み出す機能である。記憶・読出部79は、主に、図13に示したCPU701の処理によって実現される。記憶部7000は、主に、図13に示したROM702、HD704および記録メディア706によって実現される。
●第1の実施形態の処理または動作
続いて、図19乃至図33を用いて、第1の実施形態に係る情報処理システムにおける処理または動作について説明する。
〇人物情報の取得処理〇
まず、図19乃至図21に用いて、撮影装置10によって、撮影装置10が設置された特定の空間が撮影されて取得された撮影画像に含まれる人物の位置を示す人物座標を取得するための処理について説明する。図19は、第1の実施形態に係る情報処理システムにおける人物情報の取得処理の一例を示すシーケンス図である。なお、図19は、撮影画像に含まれる人物の位置を検出する処理を説明するが、人物に限られず、車、ロボット等の特定の移動体の位置を検出する場合であっても同様の処理が行うことができる。
ステップS11において、撮影装置10は、撮影部12による撮影処理を実行する。撮影装置10の撮影部12は、撮影装置10が設置された特定の空間が撮影された撮影画像データ600を取得する。ステップS12において、撮影装置10の接続部16は、撮影部12によって取得された撮影画像データ600、および撮影画像データ600が取得された撮影日時を示す日時情報を、通信端末30aへ送信する。これにより、通信端末30aの接続部32は、撮影装置10から送信された撮影画像データ600および日時情報を受信する。
ステップS13において、通信端末30aの送受信部31は、接続部32によって受信された撮影画像データ600および日時情報を、通信ネットワーク7を介して管理サーバ50へ送信する。そして、管理サーバ50の送受信部51は、通信端末30aから送信された撮影画像データ600および日時情報を受信する(受信ステップの一例)。これにより、撮影装置10によって取得された撮影画像データ600は、管理サーバ50へアップロードされる。
ステップS14において、管理サーバ50の検出部52は、送受信部51によって受信された撮影画像データ600に含まれる人物の検出処理を実行する。管理サーバ50の検出部52は、受信された撮影画像データ600に含まれる人物の画像を検出する。この人物の画像の検出は、SVMによる人物検出方式等によって行なわれる。また、検出部52は、検出された人物の画像に基づいて、撮影画像データ600における人物の位置を示す人物座標を検出する。
ステップS15において、管理サーバ50の画像処理部53は、撮影画像データ600に対する画像処理を実行する。画像処理部53は、例えば、検出部52によって検出された人物の画像にぼかしを入れるぼかし処理を実行する。なお、ステップS15において実行される画像処理は、ぼかし処理に限られず、撮影画像データに対して「ぼかし処理」の他、他の処理を施してもよい。そして、画像処理部53は、撮影画像データ600に対して、所定の画像処理を施した処理画像である処理画像データ650を生成する。
ステップS16において、管理サーバ50の記憶・読出部59は、画像処理部53によって処理されて生成された処理画像データ650を記憶部5000に記憶させる(記憶制御ステップの一例)。また、記憶・読出部59は、検出部52によって検出された人物情報を、人物情報管理DB5002(図16参照)。さらに、記憶・読出部59は、送受信部51によって受信された日時情報と、処理画像データ650とを関連づけて画像管理DB5001(図15参照)に記憶させる。なお、管理サーバ50は、処理画像データ650に加えて、または処理画像データ650に変えて、撮影装置10から送信された撮影画像データ600を記憶部5000および画像管理テーブルに記憶してもよい。
情報処理システム1は、図19に示した処理を、撮影装置10による撮影が行われるたびに繰り返し実行する。これにより、管理サーバ50は、動線分析を行う前に、撮影装置10から送信された撮影画像に含まれる人物の位置を示す人物座標を、撮影画像の撮影が行われた撮影日時に関連づけて記憶することができる。
ここで、撮影装置10によって取得された撮影画像データ600または管理サーバ50によって処理された処理画像データ650について説明する。図20は、第1の実施形態に係る撮影画像の一例を示す図である。図21は、第1の実施形態に係る処理画像の一例を示す図である。図20は、撮影装置10によって取得された撮影画像データ600に係る撮影画像が、表示端末70に表示された状態を示す。図20に示す撮影画像400は、全天球画像によって処理された画像である。一方で、図21は、管理サーバ50によって処理された処理画像データ650に係る処理画像が、表示端末70に表示された状態を占示す。図21に示す処理画像430は、図20に示す撮影画像400に含まれる人物の顔にぼかし処理が施された画像である。
〇動線分析処理〇
まず、図22乃至図33に用いて、撮影装置10によって取得された撮影画像を用いて動線分析処理について説明する。図22は、第1の実施形態に係る管理システムにおける動線分析処理の一例を示すシーケンス図である。なお、図22は、管理サーバ50に記憶された処理画像データ650を用いて動線分析処理を行う例を説明するが、撮影画像データ600が管理サーバ50に記憶されている場合、撮影画像データ600を用いてもよい。
ステップS31において、表示端末70の送受信部71は、撮影装置10が設置された拠点における動線分析を行うためのエリア指定要求を、管理サーバ50へ送信する。具体的には、表示端末70の受付部72は、所定の入力画面に対する、エリア指定を行うための所定の入力操作を受け付ける。送受信部71は、受付部72によって上記入力操作が受け付けられた場合、エリア指定要求を管理サーバ50へ送信する。これにより、管理サーバ50の送受信部51は、表示端末70から送信されたエリア指定要求を受信する。
ステップS32において、管理サーバ50の記憶・読出部59は、送受信部51によってエリア指定要求が受け付けられた場合、記憶部5000に記憶された処理画像データ650を読み出す。ステップS33において、管理サーバ50の送受信部51は、記憶・読出部59によって読み出された処理画像データ650を、表示端末70へ送信する。これにより、表示端末70の送受信部71は、管理サーバ50から送信された処理画像データ650を受信する。なお、ステップS32において読み出され、ステップS33によって送信される処理画像データ650は、記憶部5000に記憶されたいずれかの処理画像に係る処理画像データ650であればよい。
ステップS34において、表示端末70の表示制御部73は、送受信部71によって受信された処理画像データ650に係る画像を、ディスプレイ708に表示させる。ここで、ディスプレイ708に表示される処理画像データ650に係る画像は、例えば、図21に示した処理画像430である。
ステップS35において、表示端末70の受付部72は、表示制御部73によってディスプレイ708に表示された画像に対して、表示された画像における所定の分析エリアを設定するための入力を受け付ける(受付ステップの一例)。これにより、表示端末70を使用するユーザ(閲覧者Y)は、ディスプレイ708に表示された画像に対して、動線分析を行いたいエリアを指定するエリア指定処理を行う。図23は、第1の実施形態に係る表示端末に表示された表示画面上におけるエリア指定処理の一例を示す画面例である。図23に示す表示画面450は、ディスプレイ708に表示された全天球画像(例えば、図21に示した処理画像430)に対して、四箇所の入力(a1〜a4)が受け付けられた状態を示す。図23に示すように、表示端末70を使用するユーザ(閲覧者)は、表示画面450に対して、動線分析を行いたいエリアの頂点を入力(指定)する。分析エリアは、少なくとも三角形以上の多角形を構成する閉領域である必要があるため、ユーザは、少なくとも3点の頂点を入力(指定)する。
なお、受付部72によって受け付けられる入力の態様は、これに限られず、予め定められるエリア指定を行うための態様に基づく入力であればよい。例えば、エリア指定を行うエリアの形状が予め定められている場合、表示画面450に表示された所定のエリア形状に対するクロップ操作によるエリアの拡大縮小、または所定のエリア形状に対するドラックアンドドロップ操作によるエリアの位置の移動等に係る入力であってもよい。また、例えば、表示画面450の一点の入力が受け付けられることによって、入力箇所を重心として所定のエリア形状が指定されるような場合、受付部72は、所定のエリア形状の重心となる箇所の入力を受け付ける構成であってもよい。
ステップS36において、表示端末70の送受信部71は、受付部72によって受け付けられた入力に関する入力情報を、管理サーバ50へ送信する。ここで、入力情報には、受付部72によって受け付けられた入力に対する、表示端末70に表示された画像(例えば、表示画面450)上における位置を示す位置情報が含まれる。例えば、図23に示したような入力が受け付けられた場合、入力情報には、入力箇所a1〜a4の表示画面450上における位置を示す位置情報がそれぞれ含まれる。位置情報は、例えば、表示画面450上における座標情報である。
ステップS37において、管理サーバ50は、送受信部51によって受信された入力情報を用いて、動線分析を行う分析エリアの設定処理を行う(算出ステップの一例)。具体的には、まず、管理サーバ50の座標算出部54は、受信された入力情報に含まれる位置情報に対応する、処理画像データ650上における座標を示すエリア座標を算出する。特に、表示端末70に表示された画像が全天球画像である場合、座標算出部54は、全天球画像上における位置に対応する、全天球画像から変換された平面画像上の座標を算出する。そして、管理サーバ50の分析エリア設定部55は、座標算出部54によって算出されたエリア座標を、エリア情報管理DB5003(図17参照)に記憶・設定することによって、動線分析を行う分析エリアを設定する。分析エリアの設定処理の詳細については後述する。
図24は、第1の実施形態に係る管理サーバにおいて設定された分析エリアが、全天球画像にマッピングされた画面例を示す概念図である。図24は、撮影装置10によって取得された処理画像データ650に係る処理画像430上に設定された分析エリアが表示された表示画面470が、表示端末70に表示された状態を示す。図24に示す表示画面470には、分析エリア設定部55によって設定された三つ分析エリア(分析エリアA,分析エリアB,分析エリアC)が表示されている。これにより、管理サーバ50は、上記処理において、一枚の処理画像に係る処理画像データ650に対して分析エリアの設定処理を行うことで、撮影装置10によって取得される撮影画像に対して共通する分析エリアを設定することができる。また、管理サーバ50は、設定した分析エリアを表示画面470に表示させることで、動線分析を行うユーザ(閲覧者Y)に設定した分析エリアを提示することができるので、動線分析を行うユーザ(閲覧者Y)は、設定された分析エリアが適切か否かを確認することができる。また、設定した分析エリアを修正したい場合には、管理サーバ50は、上記ステップS31からの処理を繰り返すことによって分析エリアの修正を行うことができる。
ステップS38において、管理サーバ50の計測部56は、分析エリア設定部55によって設定された分析エリアの内部における人物の数を計測する(計測ステップの一例)。具体的には、計測部56は、エリア情報管理DB5003(図17参照)に含まれるエリア情報に係るエリア座標と、人物情報管理DB5002(図16参照)に含まれる人物情報に係る人物座標とに基づいて、分析エリアの内部の人数を計測する。
〇エリア内の人数の計測処理
ここで、図25を用いて、ステップS38における計測処理の具体的な内容について説明する。図25は、第1の実施形態に係る管理サーバにおける分析エリアの内部における人数の計測処理の一例を示すフローチャートである。ここで、図25は、例えば、図24に示した表示画面470に対応する処理画像データ650に対して、エリア内の人数の計測処理を行う場合について説明する。
ステップS381において、管理サーバ50の記憶・読出部59は、記憶部5000に構築された人物情報管理DB5002に記憶された人物情報、およびエリア情報管理DB5003に記憶されたエリア情報を読み出す。具体的には、記憶・読出部59は、計測処理を行う処理画像データ650に係る画像IDに関連づけられたエリア情報、および人物情報を読み出す。
ステップS382において、管理サーバ50の計測部56は、記憶・読出部59によって読み出されたエリア情報に含まれるエリア座標と、人物情報に含まれる人物座標とに基づいて、分析エリアの内部における人物の数を計測する。具体的には、計測部56は、エリア情報管理DB5003(図17参照)に含まれる同一のエリアIDに関連づけられた複数のエリア座標によって、分析エリアを特定する。例えば、図24に示した表示画面470における「分析エリアA」に対する計測処理を行う場合、分析エリアAに対応するエリアIDに関連づけられた複数のエリア座標を用いて、分析エリアAを特定する。計測部56は、人物情報管理DB5002(図16参照)に含まれる同一の人物IDに関連づけられた複数の人物座標によって、その人物が位置する範囲を特定する。そして、計測部56は、特定した分析エリアの内部に、特定した人物が位置する範囲が含まれる場合、分析エリアの内部にその人物が存在するものとして計測する。例えば、計測部56は、人物座標によって特定される人物が位置する範囲において、当該人物の足元座標が、分析エリアの内部に含まれるかを判断する。人物の足元の座標とは、特定される人物が位置する範囲のうち、撮影装置10の撮影方向における真下方向において、最小値となる座標である。
ステップS383において、管理サーバ50の記憶・読出部59は、計測部56によって計測されたエリア内の人数と、計測処理を行った処理画像データ650に係る撮影画像を撮影した日時を示す対象日時(日時情報)を関連づけて、人数情報管理DB5004に記憶させる。
ステップS384において、計測部56は、同一の処理画像データ650内に、他の分析エリアが存在する場合、ステップS381からの処理を繰り返す。具体的には、図24に示した表示画面470には、「分析エリアA」の他に、「分析エリアB」および「分析エリアC」が存在するため、計測部56は、「分析エリアB」および「分析エリアC」に対する計測を行うため、ステップS381からの処理を繰り返す。一方で、計測部56は、同一の処理画像データ650内に、他の分析エリアが存在しない場合、処理をステップS394へ移行させる。
ステップS385において、計測部56は、記憶部5000に記憶された他の処理画像データ650が存在する場合、ステップS391からの処理を繰り返す。一方で、計測部56は、記憶部5000に記憶された他の処理画像データ650が存在しない場合、処理を終了する。
図19に戻り、動線分析処理の説明を続ける。ステップS39において、管理サーバ50の画像生成部57は、計測部56によって計測された計測結果を用いて、動線分析の結果を示す分析結果表示画像データを生成する。ステップS40において、管理サーバ50の送受信部51は、画像生成部57によって生成された分析結果表示画像データを、表示端末70へ送信する。これにより、表示端末70の送受信部71は、管理サーバ50から送信された分析結果表示画像データを受信する。
ステップS41において、表示端末70の表示制御部73は、送受信部71によって受信された分析結果表示画像データに係る分析結果表示画像800を、ディスプレイ708に表示させる。図26は、第1の実施形態に係る表示端末に表示される分析結果表示画像の一例を示す図である。図26に示す分析結果表示画像800は、撮影装置10が設置された特定の空間(拠点)における、分析エリアごとの滞在人数を時系列に示したものである。分析結果表示画像800に示すように、表示端末70は、拠点において存在する人物の計測結果を、分析エリアごとおよび時刻ごとに、ユーザ(閲覧者Y)に提示させることで、ユーザ(閲覧者Y)に分析結果を有益に活用させることができる。
なお、分析結果表示画像800による分析結果の表示形式は、図26に示した例に限られない。分析結果表示画像800は、例えば、図24に示した表示画面470に、分析エリアごとの計測人数の分布を、ヒートマップ形式で重畳表示させてもよい。
これにより、管理サーバ50は、分析エリア設定部55によって設定した分析エリアと、分析エリアの設定とは異なる処理によって検出した処理画像データ650に含まれる人物に係る人物情報とに基づいて、撮影装置10による撮影日時に対応する分析エリアごとの動線分析処理を行うことができる。
ここで、上記説明において、人物の動線または数を分析する例を説明したが、本実施形態に係る構成を用いた他の分析方法についても説明する。まず、管理サーバ50は、図19に示したステップS38のエリア内の人数の計測処理に変えて、または当該計測処理とともに、エリア内の人物を識別する処理を行ってもよい。この場合、管理サーバ50の計測部56は、例えば、顔認識処理技術を用いて、人物(個人)の識別を行う。管理サーバ50は、予め人物の顔画像を登録(記憶)しておき、計測部56による一般的なテンプレートマッチング等を用いた顔認識処理(人物特定処理)によって、個人を特定する。
また、管理サーバ50は、図19に示したステップS36によって受信された入力情報から人物の座標情報を取得することで、人物の移動軌跡(動線)を分析してもよい。移動軌跡の分析方法としては、例えば、オプティカルフローを用いて過分割領域を抽出し、グループ化の概念を用いることにより人物毎の動線を抽出する方法等が用いられる。また、管理サーバ50は、撮影画像データから各人物の座標間の距離を算出したり、撮影画像の撮影日時等を用いたりすることで、人物の滞留時間等も分析・計測することができる。
さらに、管理サーバ50は、図19に示したステップS38のエリア内の人数の計測処理に変えて、または当該計測処理とともに、エリア内の人物の性別または年齢を特定する処理を行ってもよい。この場合、管理サーバ50は、撮影画像データに含まれる人物の顔の形状のパターン、しわ、またはたるみ等の分析を行うことで、人物の年齢や性別等を特定することができる。また、管理サーバ50は、撮影画像データを用いて、単位時間あたりの移動画素を検出することにより、子供や高齢者等の人物の特徴を特定することができる。
なお、管理サーバ50を用いた分析方法は、撮影画像データに含まれる人物(特定の移動体)に関する情報を用いた処理であれば、上記の例に限られない。管理サーバ50は、撮影画像データに含まれる人物に関する情報を用いて、設定された分析エリア内における人物に関する様々な分析を行うことができる。
〇分析エリアの設定処理
ここで、図27乃至図34を用いて、図19のステップS37における分析エリアの設定処理について詳細に説明する。図27は、第1の実施形態に係る管理サーバにおける分析エリアの設定処理の一例を示すフローチャートである。図27は、撮影装置10によって取得される画像が全天球画像である場合について説明する。
ステップ371において、管理サーバ50の座標算出部54は、送受信部51によって受信された入力情報に基づいて、平面画像データ上の座標を算出する。具体的には、座標算出部54は、入力情報に含まれる全天球画像上の位置を示す位置情報を、全天球画像を平面画像に変換した平面画像データ上の座標を変換することによって、入力に対応するエリア座標を算出する。
ここで、全天球画像上の位置情報を、全天球画像から変換された平面画像上の座標に変換する処理について概略的に説明する。図28および図29は、全天球画像の一例を説明するための図である。なお、図28は、図3(a)に示す半球画像を光軸に対して水平方向および垂直方向の入射角が等位となる箇所を線で結んで示す図である。以下、光軸に対して水平方向の入射角を「θ」、光軸に対して垂直方向の入射角を「φ」という。さらに、図29は、図28と同様に、図3(b)に示す半球画像を光軸に対して水平方向および垂直方向の入射角が等位となる箇所を線で結んで示す図である。
また、図30(a)は、メルカトル図法によって処理された画像の一例を説明する図である。具体的には、図30(a)に示す画像は、例えば、図28および図29に示す画像をあらかじめ生成されるLUT(LookUpTable)等で対応させ、正距円筒図法によって処理し、処理された図28および図29に示すそれぞれの画像を合成すると、全天球画像に対応する、図30(a)に示す平面画像が、撮影装置10によって生成される。図30(a)に示す平面画像は、図3(c)に示した正距円筒射影画像ECである。
なお、図30(a)に示す平面画像への合成処理は、図28および図29に示す半球画像を単に連続して配置する処理に限られない。例えば、全天球画像の水平方向中心がθ=180°でない場合には、合成処理では、撮影装置10は、まず、図3(a)に示す半球画像を前処理し、全天球画像の中心に配置する。次に、撮影装置10は、生成する画像の左右部分に、図3(b)に示す半球画像を前処理した画像を左右部分に配置できる大きさに分割し、半球画像を合成して図3(c)に示す正距円筒射影画像ECを生成してもよい。
また、図30(a)に示す平面画像において、図28および図29に示す半球画像(全天球画像)の極点(PL1またはPL2)に対応する箇所は、線分CT1またはCT2となる。これは、図4(a)および図4(b)に示したように、全天球画像(例えば、全天球画像CE)が、OpenGLES(Open Graphics Library for Embedded Systems)を利用することで、図30(a)に示した平面画像(正距円筒射影画像EC)を球面に貼り付けることにより作成されたものであるからである。
さらに、図30(b)に示すように、撮影装置10または管理サーバ50において記憶されている全天球画像データである撮影画像データ600または処理画像データ650は、二次元座標が付与された平面画像として記憶されている。
ステップS372において、管理サーバ50の判断部58は、座標算出部54によって算出されたエリア座標を用いて、分析エリアを形成可能かどうか判断する。判断部58は、座標算出部54によって算出されたエリア座標を用いて、平面画像上で閉領域を形成可能かどうか判断する。判断部58は、閉領域を形成可能な場合、処理をステップS373へ移行させる。一方で、判断部58は、閉領域を形成できないと判断する場合、処理をステップS373へ移行させる。
ステップS373において、管理サーバ50の座標算出部54は、算出したエリア座標を用いて分析エリアを形成できない場合、算出したエリア座標に基づく付加座標を算出する。ステップS374において、分析エリア設定部55は、座標算出部54によって算出されたエリア座標および付加座標を用いて、分析エリアを設定する。具体的には、分析エリア設定部55は、座標算出部54によって算出されたエリア座標および付加座標を、エリア情報としてエリア情報管理DB5003(図17参照)に記憶する。
ここで、図31乃至図33を用いて、付加座標の算出方法の具体例を説明する。図31乃至図33に示すそれぞれの画像は、図30に示したような全天球画像から変換された平面画像であり、全天球画像上に入力された入力位置に対応する平面画像上のエリア座標が表示されている。図31は、第1の実施形態に係る管理サーバにおいて算出される、平面画像上における座標の具体例(その1)を示す概念図である。図31に示す平面画像は、6つのエリア座標によって閉領域としての多角形を形成している。図31に示す例の場合、エリア座標を用いて閉領域を形成可能なため、座標算出部54は、付加座標の算出は行わない(ステップS372のYES)。
図32は、第1の実施形態に係る管理サーバにおいて算出される、平面画像上における座標の具体例(その2)を示す概念図である。図32に示す平面画像900bでは、座標算出部54によって算出された六つのエリア座標(B1〜B6)を示すが、六つのエリア座標を用いて形成される分析エリアが、平面画像900bの境界BRで分断されている。
言い換えれば、座標算出部54によるエリア座標B1(x1,y1)からB2(x2,y2)の間の座標算出時に一度境界BRを横切り、エリア座標B4(x4,y4)からB5(x5,y5)の座標算出時に再度境界BRを横切る。このように、平面画像900bは、全天球画像上で閉領域を設定するために指定されたエリア座標を用いて、平面画像上で閉領域を形成することができない(ステップS372のNO)。
そこで、座標算出部54は、分断された領域である平面画像900bの境界BRを示す座標(b1〜b4)を付加座標として算出する。より具体的には、座標算出部54は、エリア座標B1(x1,y1)とB2(x2,y2)の間で、全天球画像上で形成される閉領域が分断されるため、当該分断される箇所を付加座標b1およびb2として算出する。エリア座標B1およびB2は、それぞれ第1の座標および第2の座標の一例である。また、付加座標b1およびb2は、それぞれ第1の付加座標および第2の付加座標の一例である。
さらに、座標算出部54は、エリア座標B4(x4,y4)とB5(x5,y5)の間で、全天球画像上で形成される閉領域が分断されるため、当該分断される箇所を付加座標b3およびb4として算出する。エリア座標B4およびB5は、それぞれ第3の座標および第4の座標の一例である。また、付加座標b3およびb4は、それぞれ第3の付加座標および第4の付加座標の一例である。
したがって、分析エリア設定部55は、エリア座標B1〜B6および付加座標b1〜b4を用いて、平面画像900b上で閉領域となる分析エリアを設定することができる。分析エリア設定部55は、エリア座標B1、B5およびB6並びに付加座標b1およびb2によって平面画像900b上に構築された一つのエリアに、エリアIDを付与してエリア情報としてエリア情報管理DB5003(図17参照)に登録する。また、分析エリア設定部55は、エリア座標B2、B3およびB4並びに付加座標b3およびb4によって平面画像900b上に構築された一つのエリアに、エリアIDを付与してエリア情報としてエリア情報管理DB5003(図17参照)に登録する。そして、分析エリア設定部55は、この二つのエリアIDに共通エリアIDを付与することで、一つの分析エリアとして設定することができる。これにより、管理サーバ50は、ユーザによって全天球画像上で指定されたエリアが平面画像上で分断される場合においても、分断された箇所に対応する付加座標を算出することで、平面画像においてもユーザの意図通りの分析エリアを設定することができる。
図33は、第1の実施形態に係る管理サーバにおいて算出される、平面画像上における座標の具体例(その3)を示す概念図である。図33に示す平面画像900cは、撮影装置10の真下方向(または真上方向)を含むエリアを設定する場合の例である。図33に示す平面画像900cでは、座標算出部54によって算出された四つのエリア座標(C1〜C4)を示すが、四つのエリア座標を用いて形成される分析エリアは、閉領域を形成できていない(ステップS372のNO)。これは、全天球画像に対して入力されたエリアが、図28および図29に示した全天球画像の極点を含むエリアであるからである。全天球画像の極点に対応する平面画像上の位置は、例えば、図33に示す線分CTとなる。図33に示す平面画像900cでは、図32に示した平面画像900bとは異なり、、座標算出部54によるエリア座標の算出時に、一度平面画像の境界CR(図32に示す境界BRに対応)を横切った場合、再度境界CRを横切ることがない。
そこで、座標算出部54は、分断された領域である平面画像900cの境界CRを示す座標(c1〜c4)を付加座標として算出する。より具体的には、座標算出部54は、エリア座標C1(x1,y1)とC2(x2,y2)の間で、全天球画像上で形成される閉領域が分断されるため、当該分断される境界CR上の箇所を付加座標c1およびc2として算出する。エリア座標C1およびC2は、それぞれ第1の座標および第2の座標の一例である。また、付加座標c1およびc2は、それぞれ第1の付加座標および第2の付加座標の一例である。
さらに、座標算出部54は、エリア座標の算出時に再度境界CRを横切ることがないため、全天球画像の特定の極点に対応する平面画像上の線分CTの両方の端点を、付加座標c3およびc4として算出する。付加座標c3およびc4は、それぞれ第5の付加座標および第6の付加座標の一例である。また、エリア座標C3およびC4は、それぞれ第3の座標および第4の座標の一例である。
したがって、分析エリア設定部55は、エリア座標C1〜C4および付加座標c1〜c4を用いて、平面画像900c上で閉領域となる分析エリアを設定することができる。分析エリア設定部55は、エリア座標C1〜C4および付加座標c1〜c4によって平面画像900c上に構築された一つのエリアに、エリアIDを付与して一つの分析エリアとなるエリア情報をエリア情報管理DB5003(図17参照)に登録することができる。なお、図33の例の場合、図32の場合と異なり、平面画像900cの境界CTを二度(二回)横切ることがないため、一つの分析エリアが複数のエリアIDが付与されるエリアを共有することがない。これにより、管理システム5は、ユーザによって全天球画像上で指定されたエリアが全天球画像における極点を含む場合であっても、極点に対応する平面画像上の箇所に対応する付加座標を算出することで、平面画像においてもユーザの意図通りの分析エリアを設定することができる。
このように、管理サーバ50は、ユーザによって全天球画像上で指定されたエリアによって平面画像上における閉領域が形成できない場合に付加座標を算出することで、平面画像においてもユーザの意図通りの分析エリアを設定することができる。そのため、管理サーバ50は、全天球画像を用いた動線分析においても、ユーザによって指定された全天球画像上の任意のエリアを、分析エリアとして設定することができる。
なお、図27乃至図34の説明において、撮影装置1による撮影処理によって全天球画像を取得する例を説明したが、撮影装置1によって取得される画像は、全天球画像に限られず、所定値以上の画角を有する広角画像であればよい。この場合、広角画像は、広角カメラやステレオカメラ等の撮影装置1によって取得される。すなわち、撮影装置1は、所定値より焦点距離の短いレンズを用いて撮影された画像(全天球画像、広角画像)を取得可能な撮影手段であればよい。
●第1の実施形態の効果
したがって、第1の実施形態に係る情報処理システムは、動線分析を行うための前準備に時間をかけることなく、撮影装置10による撮影の前後に関わらず、閲覧者Yが分析したいエリアを意図どおりに設定できる。また、情報処理システム1は、動線分析を行うための前準備に時間がかからなくなるため、撮影装置10、通信端末30およびそれらの関連機材の設置時間を短縮することができるので、設置コストを抑制することができる。さらに、閲覧者Yの意図どおりに分析エリアを指定することができるため、分析のやり直しといった手戻りを防ぐことができる。
●第2の実施形態●
次に、第2の実施形態に係る情報処理システムついて説明する。なお、第1の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第2の実施形態に係る情報処理システムは、撮影システム3が、撮影装置10によって取得された撮影画像データに含まれる人物の検出処理を行う。これにより、第2の実施形態に係る情報処理システムは、管理サーバ50の処理負担を低減させることができる。
●概略
まずは、図34を用いて、第2の実施形態の情報処理システムの構成の概略について説明する。図34は、第2の実施形態に係る情報処理システムの処理の概略の一例を示す図である。
まず、通信端末30は、撮影装置10によって特定の空間が撮影されて取得された撮影画像に係る撮影画像データ600、および撮影画像が撮影された日時を示す日時情報を、撮影装置10から受信する(ステップS1b)。そして、通信端末30は、受信した撮影画像データ600に含まれる人物の画像を検出すると共に、この検出した人物の画像の、撮影画像データ600上における位置を示す人物座標を検出する(ステップS2b)。また、管理サーバ50は、検出した人物の画像に対してぼかし処理を施した処理画像データ650を生成する。
次に、通信端末30は、検出した人物座標を含む人物情報、生成した処理画像データ650、およびステップS1bで受信された日時情報を、管理サーバ50へ送信する(ステップS3b)。そして、管理サーバ50は、受信した処理画像データを、表示端末70へ送信する(ステップS4a)。以降ステップS5b〜ステップS9bの処理は、図9に示したステップS5a〜ステップS9aの処理と同様であるため、説明を省略する。
これにより、情報処理システム2は、通信端末30によって人物検出処理を実行し、管理サーバ50には検出結果および処理画像データ650がアップロードされる。そのため、管理サーバ50の処理負担を低減させることができる。また、情報処理システム2は、撮影装置10によって取得された撮影画像データ600と比較して、容量の少ない処理画像データ650を管理サーバ50へ送信するので、通信ネットワーク7の通信帯域への負荷を低減させることができる。さらに、情報処理システム2は、所定の画像処理が施される前の撮影画像データ600が管理サーバ50に送信されないので、管理サーバ50に撮影画像データ600が保持されることによるセキュリティリスクを低減させることができる。
●機能構成
図35は、第2の実施形態に係る情報処理システムの機能構成の一例を示す図である。通信端末30bによって実現される機能は、通信端末30aに含まれる機能に加え、検出部34および画像処理部35を含む。なお、図35に示す他の機能は、図14に示した内容と同様であるため、説明を省略する。
検出部34は、撮影画像データにおける人物の画像を検出する機能である。この人物検出は、SVMの人物検出方式等により行なわれる。また、検出部34は、検出した人物の画像に基づいて、撮影画像データに含まれる人物の位置を示す人物座標を検出する。ここで、人物座標は、移動体座標の一例である。検出部34は、主に、図11に示したCPU301の処理によって実現される。検出部34は、第2の検出手段の一例である。
画像処理部35は、撮影装置10から送信された撮影画像データに対する各種処理を行う機能である。画像処理部35は、例えば、検出部34によって検出された撮影画像データにおける人物の画像にぼかしを入れる「ぼかし処理」を実行する。画像処理部35は、主に、図11に示したCPU301の処理によって実現される。
●第2の実施形態の処理または動作
続いて、図36を用いて、第2の実施形態に係る情報処理システム2の処理または動作について説明する。図36は、第2の実施形態に係る情報処理システムにおける人物情報の取得処理の一例を示すシーケンス図である。なお、第2の実施形態にいて、図36に示す人物情報の取得処理以外の処理は、第1の実施形態で説明した各処理の内容と同様であるため、説明を省略する。
ステップS51において、撮影装置10は、撮影部12による撮影処理を実行する。撮影装置10の撮影部12は、撮影装置10が設置された特定の空間が撮影された撮影画像データ600を取得する。ステップS52において、撮影装置10の接続部16は、撮影部12によって取得された撮影画像データ600、および撮影画像データ600が取得された撮影日時を示す日時情報を、通信端末30bへ送信する。これにより、通信端末30bの接続部32は、撮影装置10から送信された撮影画像データ600および日時情報を受信する。
ステップS53において、通信端末30bの検出部34は、接続部32によって受信された撮影画像データ600に含まれる人物の検出処理を実行する。検出部34は、受信された撮影画像データに含まれる人物の画像を検出する。この人物の画像の検出は、SVMによる人物検出方式等によって行なわれる。また、検出部34は、検出された人物の画像に基づいて、撮影画像データ600における人物の位置を示す人物座標を検出する。
ステップS54において、通信端末30bの画像処理部35は、撮影画像データ600に対する画像処理を実行する。画像処理部35は、例えば、検出部34によって検出された人物の画像にぼかしを入れるぼかし処理を実行する。なお、ステップS54において実行される画像処理は、ぼかし処理に限られず、撮影画像データ600に対して「ぼかし処理」の他、他の処理を施してもよい。そして、画像処理部35は、撮影画像データ600に対して、所定の画像処理を施した処理画像である処理画像データ650を生成する。
ステップS55において、通信端末30bの送受信部31は、画像処理部35によって処理された処理画像データ650、検出部34によって検出された人物座標を含む人物情報、および接続部32によって受信された日時情報を、管理サーバ50へ送信する。そして、管理サーバ50の送受信部51は、通信端末30から送信された処理画像データ650、人物情報および日時情報を受信する。これにより、通信端末30bによって処理された処理画像データ650は、管理サーバ50へアップロードされる。
ステップS56において、管理サーバ50の記憶・読出部59は、送受信部51によって受信された処理画像データ650を記憶部5000に記憶させる。また、記憶・読出部59は、送受信部51によって受信された日時情報と処理画像データ650とを関連づけて画像管理DB5001(図15参照)に記憶させる。さらに、記憶・読出部59は、送受信部51によって受信された人物情報を、人物情報管理DB5002(図16参照)に記憶させる。
●第2の実施形態の効果
したがって、第2の実施形態に係る情報処理システムは、撮影システム3によって撮影画像データ600の人物検出処理を行うため、管理サーバ50の処理負担を低減させつつ、撮影装置10によって取得された撮影画像データ600と比較して、容量の少ない処理画像データ650を管理サーバ50へ送信するので、通信ネットワーク7の通信帯域への負荷を低減させることができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る管理システムは、特定の空間が撮影装置10によって撮影されて取得された撮影画像を用いて、特定の空間における分析を行う管理システム5であって、撮影装置10から送信された、撮影画像に係る撮影画像データ600または処理画像データ650(画像データの一例)を受信し、受信した撮影画像データ600または処理画像データ650、および当該撮影画像データ600または処理画像データ650に含まれる人物(特定の移動体の一例)の位置を示す人物座標(移動体座標の一例)を関連づけて記憶する。そして、管理システム5は、記憶した画像データに係る画像であって、ディスプレイ708(表示部の一例)に表示された画像における所定の分析エリア(閉領域の一例)を設定するための入力を受け付け、受け付けた入力によって設定された特定の分析エリアの座標を示すエリア座標(閉領域座標の一例)と記憶した人物座標とに基づいて、特定の分析エリアの内部における人物の数を計測する。これにより、管理システム5は、これにより、本発明の一実施形態に係る情報処理方法は、分析の前準備に時間をかけることなく、任意のエリアで分析を行うことができる。
また、本発明の一実施形態に係る管理システムは、受信した撮影画像データ600または処理画像データ650(画像データの一例)に含まれる人物(特定の移動体の一例)の位置を示す人物座標(移動体座標の一例)を検出し、受信した撮影画像データ600または処理画像データ650、および検出した人物座標を関連づけて記憶する。これにより、管理システム5は、分析を行う前に、撮影装置10から送信された撮影画像に含まれる人物の位置を示す人物座標を撮影画像ごとに記憶することで、撮影装置10による撮影の前後に関わらず、ユーザが分析したいエリアを意図どおりに設定することができる。
さらに、本発明の一実施形態に係る管理システムは、複数の分析エリア(閉領域の一例)ごとの、当該分析エリアの内部における人物(特定の移動体の一例)の数を含む分析結果表示画像800(表示画像の一例)を、ディスプレイ708(表示部の一例)に表示させる。これにより、管理システム5は、拠点において存在する人物の計測結果を、分析エリアごとおよび時刻ごとにユーザに提示させることで、ユーザに分析の結果を有益に活用させることができる。
また、本発明の一実施形態に係る管理システムは、受信した撮影画像データ600または処理画像データ650(画像データの一例)、当該撮影画像データ600または処理画像データ650に係る撮影画像が撮影装置10よって取得された日時、および当該撮影画像データ600または処理画像データ650に含まれる人物(特定の移動体の一例)の位置を示す人物座標(移動体座標の一例)を関連づけて記憶し、撮影画像データ600または処理画像データ650に関連づけられた日時における、特定の分析エリア(閉領域の一例)の内部における人物の数を計測し、撮影画像が撮影装置10よって取得された日時に基づいて、特定の分析エリアの内部における人物の数を、ディスプレイ708(表示部の一例)に時系列に表示させる。これにより、管理システム5は、設定した分析エリアと、分析エリアの設定とは異なる処理によって検出した処理画像データ650に含まれる人物に係る人物情報とに基づいて、撮影装置10による撮影日時に対応する分析エリアごとの分析処理を行うことができる。
さらに、本発明の一実施形態に係る情報処理システムは、管理システム5と、管理システム5と通信ネットワーク7を介して接続され、撮影装置10を含む撮影システム3と、を備える。撮影システム3は、特定の空間が撮影されて取得された撮影画像に係る撮影画像データ600(画像データの一例)に含まれる人物(特定の移動体の一例)の位置を示す人物座標(移動体座標の一例)を検出し、撮影画像に係る処理画像データ650(画像データの一例)および検出した人物座標を、通信ネットワーク7を介して管理システム5へ送信する。そして、管理システム5は、撮影システム3から送信された処理画像データ650および人物座標を関連づけて記憶する。これにより、本発明の一実施形態に係る情報処理システムは、撮影システム3によって撮影画像データ600の人物検出処理を行うため、管理サーバ50の処理負担を低減させつつ、撮影装置10によって取得された撮影画像データ600と比較して、容量の少ない処理画像データ650を管理サーバ50へ送信するので、通信ネットワーク7の通信帯域への負荷を低減させることができる。
また、本発明の一実施形態に係る情報処理方法は、特定の空間が撮影装置10によって撮影されて取得された撮影画像を用いて、特定の空間における分析を行う管理システム5が実行する情報処理方法であって、撮影装置10から送信された、撮影画像に係る撮影画像データ600または処理画像データ650(画像データの一例)を受信する受信ステップと、受信した撮影画像データ600または処理画像データ650、および当該撮影画像データ600または処理画像データ650に含まれる人物(特定の移動体の一例)の位置を示す人物座標(移動体座標の一例)を関連づけて記憶部5000に記憶される記憶制御ステップと、記憶された撮影画像データ600または処理画像データ650に係る画像であって、ディスプレイ708(表示部の一例)に表示された画像における所定の分析エリア(閉領域の一例)を設定するための入力を受け付ける受付ステップと、受け付けた入力によって設定された特定の分析エリアの座標を示すエリア座標(閉領域座標の一例)と前記記憶した人物座標とに基づいて、特定の分析エリアの内部における人物の数を計測する計測ステップと、を実行する。これにより、本発明の一実施形態に係る情報処理方法は、分析の前準備に時間をかけることなく、任意のエリアで分析を行うことができる。
●補足●
なお、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、ROM、EEPROM、EPROM(Erasable Programmable Read-Only Memory)、フラッシュメモリ、フレキシブルディスク、CD−ROM、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、ブルーレイディスク、SDカード、MO(Magneto-Optical disc)等の装置可読な記録媒体に格納して、または電気通信回線を通じて頒布することができる。
また、各実施形態の機能の一部または全部は、例えばFPGA(Field Programmable Gate Array)等のプログラマブル・デバイス(PD)上に実装することができ、またはASICとして実装することができ、各実施形態の機能をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog−HDL等により記述されたデータとして記録媒体により配布することができる。
これまで本発明の一実施形態に係る管理システム、情報処理システム、情報処理方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1 情報処理システム
3 撮影システム
5 管理システム
7 通信ネットワーク
10 撮影装置
12 撮影部(撮影手段の一例)
30 通信端末
31 送受信部(送信手段の一例)
34 検出部(第2の検出手段の一例)
50 管理サーバ
51 送受信部(受信手段の一例)
52 検出部(第1の検出手段の一例)
54 座標算出部(算出手段の一例)
55 分析エリア設定部(設定手段の一例)
56 計測部(計測手段の一例)
70 表示端末
72 受付部(受付手段の一例)
73 表示制御部(表示制御手段の一例)
708 ディスプレイ(表示部の一例)
800 分析結果表示画像(表示画像の一例)
5000 記憶部(記憶手段の一例)
特開2011−61511号公報 特開2017−118324号公報

Claims (12)

  1. 特定の空間が撮影装置によって撮影されて取得された撮影画像を用いて、前記特定の空間における分析を行う管理システムであって、
    前記撮影装置から送信された、前記撮影画像に係る画像データを受信する受信手段と、
    前記受信された画像データ、および当該画像データに含まれる特定の移動体の位置を示す移動体座標を関連づけて記憶する記憶手段と、
    前記記憶された前記画像データに係る画像であって、表示部に表示された前記画像における所定の閉領域を設定するための入力を受け付ける受付手段と、
    前記受け付けられた入力によって設定された特定の閉領域の座標を示す閉領域座標と前記記憶された移動体座標とに基づいて、前記特定の閉領域の内部における前記特定の移動体の数を計測する計測手段と、
    を備える管理システム。
  2. 請求項1に記載の管理システムであって、更に、
    前記移動体座標を検出する第1の検出手段を備え、
    前記記憶手段は、前記画像データ、および前記検出された移動体座標を関連づけて記憶する管理システム。
  3. 請求項1または2に記載の管理システムであって、更に、
    前記受け付けられた入力に基づいて、前記画像データにおける特定の閉領域を設定する設定手段を備え、
    前記計測手段は、前記設定された特定の閉領域の内部における前記特定の移動体の数を計測する管理システム。
  4. 前記受付手段は、前記受信された画像データに対する複数の入力を受け付け、
    前記設定手段は、前記受け付けられた複数の入力に基づいて特定される、前記画像データにおける複数の座標に基づいて、前記特定の閉領域を設定する請求項3に記載の管理システム。
  5. 前記設定手段は、前記受け付けられた複数の入力に基づいて特定される、前記画像データにおける複数の座標によって構成される多角形の領域を、前記特定の閉領域として設定する請求項4に記載の管理システム。
  6. 請求項1乃至5のいずれか一に記載の管理システムであって、
    前記計測された前記特定の閉領域の内部における前記特定の移動体の数を含む表示画像を、前記表示部に表示させる表示制御手段を備える管理システム。
  7. 前記記憶手段は、前記画像データ、当該画像データに係る前記撮影画像が前記撮影装置よって取得された日時、および前記移動体座標を関連づけて記憶し、
    前記計測手段は、前記画像データに関連づけられた日時における、前記特定の閉領域の内部における前記特定の移動体の数を計測し、
    前記表示制御手段は、前記日時に基づいて、前記特定の閉領域の内部における前記特定の移動体の数を時系列に表示させる請求項6に記載の管理システム。
  8. 前記表示制御手段は、複数の前記閉領域ごとの、当該閉領域の内部における前記特定の移動体の数を含む前記表示画像を表示させる請求項6または7に記載の管理システム。
  9. 請求項1乃至8のいずれか一項に記載の管理システムと、前記管理システムと通信ネットワークを介して接続され、前記撮影装置を含む撮影システムと、を備える情報処理システムであって、
    前記撮影システムは、
    前記特定の空間を撮影する撮影手段と、
    前記撮影手段によって撮影されて取得された前記撮影画像に係る前記画像データを、前記通信ネットワークを介して前記管理システムへ送信する送信手段と、を備え、
    前記管理システムの前記受信手段は、前記撮影システムから送信された前記画像データを受信する情報処理システム。
  10. 前記撮影システムは、更に、
    前記移動体座標を検出する第2の検出手段を備え、
    前記送信手段は、前記画像データおよび前記検出された移動体座標を、前記通信ネットワークを介して前記管理システムへ送信し、
    前記記憶手段は、前記撮影システムから送信された前記画像データおよび前記移動体座標を関連づけて記憶する請求項9に記載の情報処理システム。
  11. 特定の空間が撮影装置によって撮影されて取得された撮影画像を用いて、前記特定の空間における分析を行う管理システムが実行する情報処理方法であって、
    前記撮影装置から送信された、前記撮影画像に係る画像データを受信する受信ステップと、
    前記受信された画像データ、および当該画像データに含まれる特定の移動体の位置を示す移動体座標を関連づけて記憶部に記憶される記憶制御ステップと、
    前記記憶された前記画像データに係る画像であって、表示部に表示された前記画像における所定の閉領域を設定するための入力を受け付ける受付ステップと、
    前記受け付けられた入力によって設定された特定の閉領域の座標を示す閉領域座標と前記記憶された移動体座標とに基づいて、前記特定の閉領域の内部における前記特定の移動体の数を計測する計測ステップと、
    を実行する情報処理方法。
  12. コンピュータに請求項11に記載の方法を実行させるプログラム。
JP2018219567A 2018-11-22 2018-11-22 管理システム、情報処理システム、情報処理方法およびプログラム Withdrawn JP2020088571A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018219567A JP2020088571A (ja) 2018-11-22 2018-11-22 管理システム、情報処理システム、情報処理方法およびプログラム
US16/680,695 US11195295B2 (en) 2018-11-22 2019-11-12 Control system, method of performing analysis and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018219567A JP2020088571A (ja) 2018-11-22 2018-11-22 管理システム、情報処理システム、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2020088571A true JP2020088571A (ja) 2020-06-04

Family

ID=70909109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018219567A Withdrawn JP2020088571A (ja) 2018-11-22 2018-11-22 管理システム、情報処理システム、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2020088571A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455715B2 (ja) 2020-09-24 2024-03-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 混雑状況推定装置、方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189295A (ja) * 2001-12-17 2003-07-04 Cec:Kk 監視カメラシステム及びこれを用いた情報提供システム
JP2016220145A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 画像解析装置、画像解析方法、およびプログラム
JP2017184025A (ja) * 2016-03-30 2017-10-05 株式会社リコー 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189295A (ja) * 2001-12-17 2003-07-04 Cec:Kk 監視カメラシステム及びこれを用いた情報提供システム
JP2016220145A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 画像解析装置、画像解析方法、およびプログラム
JP2017184025A (ja) * 2016-03-30 2017-10-05 株式会社リコー 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455715B2 (ja) 2020-09-24 2024-03-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 混雑状況推定装置、方法およびプログラム

Similar Documents

Publication Publication Date Title
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US9491357B2 (en) Image-processing system and image-processing method in which a size of a viewing angle and a position of a viewing point are changed for zooming
JP5093053B2 (ja) 電子カメラ
JP2018129716A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP2019057903A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2020149635A (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JPWO2017014126A1 (ja) 画像管理システム、画像管理方法及びプログラム
JP2022050979A (ja) 通信端末、画像通信システム、画像表示方法およびプログラム
JP2022057800A (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
US10147160B2 (en) Image management apparatus and system, and method for controlling display of captured image
JP2018110384A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US11195295B2 (en) Control system, method of performing analysis and storage medium
JP2018036760A (ja) 画像管理システム、画像管理方法、及びプログラム
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2018139052A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2018109946A (ja) 表示装置、プログラム、表示方法
JP2022013427A (ja) 情報処理装置、画像生成方法、プログラム
JP2020088571A (ja) 管理システム、情報処理システム、情報処理方法およびプログラム
JP2017182681A (ja) 画像処理システム、情報処理装置、プログラム
JP6812643B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230110