JP2017201743A - 画像管理システム、画像管理装置、プログラム及び情報端末 - Google Patents

Abstract

【課題】全方位画像の表示領域に応じた音声を出力できる画像管理システムを提供することを課題とする。【解決手段】撮像装置が撮像した全方位画像を管理する画像管理装置と、全方位画像の表示領域を表示する情報端末と、を有する画像管理システムであって、全方位画像の撮像時に撮像装置において録音された複数方向からの音声データを、撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、情報端末において全方位画像上の表示領域を表示する表示手段と、全方位画像の撮像時に撮像装置において録音された複数方向からの音声データのうち、表示する全方位画像上の表示領域と、複数方向からの音声データに対応付けられた全方位画像上の位置と、に基づき、音声データを選択して再生する音声再生手段とを有することにより上記課題を解決する。【選択図】図８

Description

本発明は画像管理システム、画像管理装置、プログラム及び情報端末に関する。

例えば周囲３６０°の全方位を一度に撮像できる撮像装置がある。撮像装置が撮像により作成する全方位画像は全方位が写った画像である。このような全方位画像の所定領域に対して情報を付加できると便利である。

例えば全方位画像の所定領域画像に対するユーザのコメントを表示する技術は従来から知られている（例えば特許文献１参照）。

全方位画像を撮像する撮像装置には、全方位画像を撮像する際に、音声を録音できるものもある。全方位画像を情報端末などで閲覧する場合は、全方位画像における表示領域を移動させることで全方位を閲覧できるが、閲覧している表示領域に応じた音声を出力できなかった。

本発明の一実施形態は、上記の点に鑑みなされたもので、全方位画像の表示領域に応じた音声を出力できる画像管理システムを提供することを目的とする。

上記目的を達成するため、本願請求項１は、撮像装置が撮像した全方位画像を管理する画像管理装置と、前記全方位画像の表示領域を表示する情報端末と、を有する画像管理システムであって、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、前記情報端末において前記全方位画像上の表示領域を表示する表示手段と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段とを有することを特徴とする。

本発明の一実施形態によれば、全方位画像の表示領域に応じた音声を出力できる。

撮像装置の左側面図、正面図、平面図の一例である。 撮像装置の使用イメージ図の一例である。 撮像装置で撮像された半球画像（前）、撮像装置で撮像された半球画像（後）、メルカトル図法により表された画像を示した図の一例である。 メルカトル画像で球を被う状態を示した概念図、全方位画像を示した図の一例である。 全方位画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図の一例である。 図４の立体斜視図、ディスプレイに表示された所定領域の画像を示す図の一例である。 所定領域情報と所定領域画像の関係との関係を示した図である。 画像管理システムの概略構成図の一例である。 撮像装置のハードウェア構成図の一例である。 無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。 画像管理装置及び情報端末のハードウェア構成図の一例である。 撮像装置の一例の機能ブロック図である。 通信端末の一例の機能ブロック図である。 画像管理装置の一例の機能ブロック図である。 情報端末の一例の機能ブロック図である。 画像管理装置にアクセスした情報端末に表示される画面の一例について説明する図である。 全方位画像の座標（画像位置）と対応付けられている複数方向の音声データを示した説明図である。 全方位画像の座標（画像位置）と複数方向の音声データとを対応付ける対応表の一例の構成図である。 情報端末において複数方向の音声から一方向の音声を選択して再生する処理の一例のフローチャートである。 全方位画像の表示領域が動かされた場合に、再生される音声データが切り替わる様子を示した説明図である。 全方位画像の表示領域が拡大される様子を示した説明図である。 情報端末において表示領域の拡大縮小により再生する音声の音量を制御する処理の一例のフローチャートである。 情報端末において大きい音量で録音されている音声データの方向に、全方位画像の表示領域を切り替える処理の一例のフローチャートである。 ステップＳ３２においてテーブルを作成する処理の説明図である。 自動音声追従処理のオン、オフ操作を閲覧者Ｙから受け付ける表示画面の一例のイメージ図である。 自動音声追従処理がオンである場合に、自動音声追従処理を行う一例のフローチャートである。 情報端末において全方位画像の表示領域の中心と、音声データと対応付けられている全方位画像の座標（画像位置）との距離により、再生する音声の音量を制御する処理の一例のフローチャートである。 複数の方向の音声を再生する様子を示した説明図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。
［第１の実施形態］
＜用語について＞
視点とは閲覧者の視線が注がれる場所を言う。本実施形態では、全方位画像の全体のうち閲覧者がディスプレイに表示させた一部の画像を便宜的に視点という場合がある。この一部の画像を所定領域画像という。全方位画像における所定領域画像を特定するための情報を所定領域情報という。

全方位画像は、周囲３６０°の全方位が撮像された画像であり、全天球画像、パノラマ画像、全天球パノラマ画像など、どのように呼ばれていてもよい。また、周囲３６０°の画像の一部が画像処理などの関係で欠けていても本実施形態の説明に支障がない場合は全方位画像と称する。

＜撮像装置について＞
ここでは図１〜図７を用いて、周囲３６０°の全方位を撮像可能な撮像装置について説明する。図１は撮像装置１の外観を説明する図の一例である。図１（ａ）は撮像装置１の左側面図であり、図１（ｂ）は撮像装置１の正面図であり、図１（ｃ）は撮像装置１の平面図である。

図１（ａ）に示されているように、撮像装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），図１（ｂ）及び図１（ｃ）に示されているように、撮像装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮像装置１の正面側には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮像装置１の使用状況を説明する。なお、図２は、撮像装置の使用イメージ図である。撮像装置１は、図２に示されているように、ユーザが手に持って周りの被写体を撮影するために用いられる。この場合、撮像装置１は図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体を撮像することで、２つの半球画像を得ることができる。

次に、図３を用いて、撮像装置１で撮像された画像及び合成された画像を説明する。なお、図３（ａ）は撮像装置で撮像された半球画像（前側）、図３（ｂ）は撮像装置で撮像された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。なお、正距円筒図法で表されてもよい。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮像装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

図４は、図３（ｃ）に示されている撮像画像（メルカトル画像）から、作成された全方位画像を示す。例えば、図４のような全方位画像は、立体球に図３(ｃ)に示されるメルカトル画像を貼り付けることで作成される。

図５〜図７を用いて、全方位画像における所定領域の画像（これが上記の「所定領域画像」である）の作成及び表示の処理について説明する。なお、図５は、全方位画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、３次元の立体球として表示されている全方位画像に対して、その画像を見るユーザの視点の位置に相当するものである。

また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された所定領域画像を示す図である。図６（ａ）は図４に示されている全方位画像を３次元の立体球ＣＳで見せている。このように生成された全方位画像の立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣは全方位画像の中心に位置し、この中心から上下左右の回転と、この中心からの視点での回転(ROLL)の３軸の回転を行うことができる。

この全方位画像における所定領域Ｔは、この全方位画像における仮想カメラＩＣの位置の所定領域情報によって特定される。この所定領域情報は、座標ｘ(rH)、座標ｙ(rV)、及び画角α(angle)によって示される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。すなわち、座標ｘ、座標ｙで図７の中心点ＣＰを特定でき、画角αで所定領域画像の広さを特定できる。座標ｘ、座標ｙは全方位画像の例えば、左上コーナーを原点とする座標である。

図７を用いて、所定領域情報と所定領域画像の関係について説明する。図７は、所定領域情報と所定領域画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。（ｘ，ｙ）は中心点ＣＰでなく所定領域画像の左上コーナーなどの座標でもよい。

なお、ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。そして、図７では、一般的に以下の式（１）で示される関係が成り立つ。Ｌは所定領域画像の対角線の長さの半分である。

Ｌｆ＝ｔａｎ（α／２）・・・式（１）
所定領域画像のアスペクト比で対角線と下辺のなす角βが分かるので、所定領域画像の各コーナーの座標も算出できる。例えば、左上コーナーのｘ座標はｘ−Ｌcosβ、ｙ座標はｙ＋Ｌsinβである。

＜画像管理システム２００の構成＞
図８は、画像管理システム２００の概略構成図の一例である。画像管理システム２００は、通信ネットワーク９を介して接続された撮像装置１、通信端末３、画像管理装置５及び情報端末７を有している。撮像装置１は撮影者Ｘにより操作される。情報端末７は閲覧者Ｙにより操作される。

通信ネットワーク９は、閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。撮像装置１、通信端末３又は情報端末７はＬＡＮを介さずに直接、回線電話網や携帯電話網に接続してもよい。

通信ネットワーク９にはＷＡＮやインターネット等が含まれる。通信ネットワーク９は有線又は無線のどちらで構築されてもよく、また、有線と無線とが組み合わされていてもよい。

撮像装置１は、上記のように１度の撮像で周囲３６０度を撮像し、全方位画像を作成するカメラである。撮像装置１はデジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３が全方位画像を得るためのデジタルカメラとなりうる。さらに、情報端末７にカメラが付いている場合は情報端末７が全方位画像を得るためのデジタルカメラとなりうる。

本実施形態では、説明を分かりやすくするために撮像装置１が全方位画像を得るためのデジタルカメラとして説明を行う。撮像装置１は周囲３６０を撮像し、全方位画像を得ると共に、指向性マイクなどにより録音した複数方向の音声データを得る。撮像装置１は定期的又は不定期に撮像してもよいし、撮影者Ｘの操作により撮像してもよいし、閲覧者Ｙによる画像管理装置５からの命令で撮像してもよい。なお、撮像装置１は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全方位画像を作成してもよい。

通信端末３は、例えばクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有する。これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。また、通信端末３は無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。

また、情報端末７は撮像装置１と接続するためのインタフェースを有する。これにより撮像装置１は情報端末７の機能を利用できる。情報端末７は、このインタフェースを介して撮像装置１とデータ通信を行なう。また、情報端末７は無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。

撮像装置１は無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３又は情報端末７を介さず、無線ルータ９ａや通信ネットワーク９と通信を行う。撮像装置１は通信端末３又は情報端末７と一体に構成されていてもよい。

画像管理装置５は、例えば、サーバとして機能する情報処理装置である。画像管理装置５は、撮像装置１からの静止画及び動画を受信する機能、情報端末７に全方位画像を表示させる機能、全方位画像の座標に音声データを対応付ける機能、を有する。

画像管理装置５は、通信ネットワーク９を介して、撮像装置１、通信端末３又は情報端末７とデータ通信を行なうことができる。画像管理装置５には、OpenGL ES（3Dグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全方位画像を作成したり、全方位画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。

なお、画像管理装置５は、クラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。

また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。

情報端末７は、例えばノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して画像管理装置５とデータ通信を行う。情報端末７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。情報端末７は、全方位画像の表示領域を表示する機能、表示している全方位画像の表示領域に対応する音声データを選択して再生する機能を有する。

本実施形態に係る画像管理システム２００では、撮像装置１が全方位画像を撮像すると共に、複数方向の音声データを録音する。録音した音声データは、後述のように、全方位画像における座標と対応付けられる。撮像した全方位画像と録音した音声データとは撮像装置１から画像管理装置５に送信され、画像管理装置５に保存される。

閲覧者Ｙの操作する情報端末７から閲覧要求があると、画像管理装置５は閲覧者Ｙの操作する情報端末７が全方位画像の表示領域を表示し、その表示領域に対応する音声を再生するための画面情報を配信する。

＜実施形態のハードウェア構成＞
次に、図９〜図１１を用いて、本実施形態の撮像装置１、通信端末３，画像管理装置５及び情報端末７のハードウェア構成を説明する。

<<撮像装置>>
図９は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した全方位撮像装置とするが、３つ以上の撮像素子を使用した全方位撮像装置としてもよい。また、撮像装置１は必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。

図９に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、複数のマイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８及び加速度センサー１１９によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。

撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサーを有している。また、撮像素子１０３ａ，１０３ｂは、画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５と、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、電子コンパス１１８及び加速度センサー１１９なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込む。そして、画像処理ユニット１０４は、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、例えば図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。なお、撮像装置１は、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を有している場合もある。この場合、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。

複数のマイク１０８には、特定の方向の音を捉えやすい性質を持っている単一指向性や超指向性などの指向性マイクを利用する。複数のマイク１０８は例えば図１に示した撮像装置１の正面側、背面側、左側面側、右側面側、上部側、下部側からの音を捉えやすい位置にそれぞれ配置される。マイク１０８は捉えた音を音（信号）データに変換する。音処理ユニット１０９は、複数のマイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータ等とのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。

また、ネットワークＩ／Ｆ１１６は無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出して、方位・傾き情報を出力する。この方位・傾き情報は、Exifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。加速度センサー１１９は撮像装置１の運動による動きの変化や重力による運動の変化を計測することで、撮像装置１の傾きを算出し、出力する。

<<通信端末>>
次に、図１０を用いて、通信端末３のハードウェア構成を説明する。図１０は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図１０に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Wi-fi、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ Ｉ／Ｆ３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。

また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム（ＯＳ）、その他のプログラム、及び、種々データが記憶されている。また、通信部３０５は、アンテナ３０５ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う。

図示する他、通信端末３はＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。

<<画像管理装置、情報端末>>
図１１を用いて、画像管理装置５及び情報端末７のハードウェア構成例を説明する。図１１は画像管理装置５及び情報端末７のハードウェア構成図である。図１１は、情報端末７がノートＰＣの場合を示している。なお、画像管理装置５及び情報端末７は、ともにコンピュータである。そこで、以下では、画像管理装置５の構成について説明する。情報端末７の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し、支障がないものとする。

画像管理装置５は画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５は画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。

また、画像管理装置５はフラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、画像管理装置５は通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。

また、画像管理装置５は、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、画像管理装置５は、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜画像管理システム２００の機能について＞
ここでは、本実施形態の画像管理システム２００の一部を構成する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロックについて説明する。

<<撮像装置１の機能構成>>
図１２は撮像装置の一例の機能ブロック図である。撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、記憶・読出部１９、記憶部１０００を有している。記憶部１０００には撮像装置１用のプログラム及び各種データが記憶されている。

受付部１２はユーザ（図８では、撮影者Ｘ）からの操作入力を受け付ける。なお、撮像装置１は撮影者Ｘによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像するようにしてもよい。また、撮像装置１は閲覧者Ｙによる画像管理装置５を介した操作入力を受け付けてもよい。

撮像部１３は、全方位画像を撮像する。集音部１４は複数の指向性マイクにより撮像装置１の周囲（各方向）の音を収音し、音データに変換する。接続部１５は、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。また、記憶・読出部１９は記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。

<<通信端末３の機能構成>>
図１３は通信端末の一例の機能ブロック図である。通信端末３は、送受信部３１、受付部３２、接続部３３、記憶・読出部３９及び記憶部３０００を有している。送受信部３１は無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。

受付部３２はユーザからの操作入力を受け付ける。接続部３３は撮像装置１に電力供給すると共に、データ通信を行う。記憶部３０００は各種データを記憶する。記憶・読出部３９は記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。

<<画像管理装置５の機能構成>>
図１４は画像管理装置の一例の機能ブロック図である。図１４の画像管理装置５は、送受信部５１、人物検出部５２、サムネイル作成部５３、画面作成部５４、音声付加部５５及び記憶・読出部５９を有している。

また、画像管理装置５は記憶部５０００を有している。この記憶部５０００には、拠点管理ＤＢ、解析情報管理ＤＢ、撮像管理ＤＢ、画像管理ＤＢ、サムネイル管理ＤＢ、全方位画像などの画像データ、音声データを保存している。

送受信部５１は通信ネットワーク９を介して通信端末３又は情報端末７と各種データの送受信を行う。人物検出部５２は、画像データから人物を検出する。この人物の検出は適切な特徴量の設定と、学習識別装置の設定により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置としては、ＳＶＭ(Support Vector Machines)、AdaBoostを用いたカスケード分類などが知られている。ただし、これらに限られるものではなく人を検出できればよい。

サムネイル作成部５３は、所定領域画像のサムネイル画像を作成する。画面作成部５４は情報端末７からの要求に応じて画面情報を生成する機能、生成した画面情報を配信する機能を有する。画面情報は、情報端末７が画面を表示するためのコンテンツである。例えば情報端末７のＷｅｂブラウザからアクセスがあった場合、画面作成部５４は記憶部５０００にアクセスし、コンテンツを動的に生成して、Ｗｅｂブラウザに返す。生成されるコンテンツは、ＨＴＭＬ、ＣＳＳやＪａｖａＳｃｒｉｐｔ（登録商標）などである。コンテンツを返されたＷｅｂブラウザはコンテンツを処理して画面をレンダリングする。

また、音声付加部５５は全方位画像の画像位置（座標）に複数方向の音声データを対応付ける。記憶・読出部５９は、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。

<<情報端末７の機能構成>>
図１５は情報端末の一例の機能ブロック図である。情報端末７は、送受信部７１、受付部７２、表示制御部７３、表示部７４、音声再生部７５、記憶・読出部７９及び記憶部７０００を有している。記憶部７０００は各種データを記憶する。

送受信部７１は、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。受付部７２はユーザ（図８では、閲覧者Ｙ）からの操作入力を受け付ける。表示制御部７３は画像管理装置５から送信されたコンテンツ（画面情報）を解釈して情報端末７のディスプレイ５０８に各種画面を表示させるための制御を行なう。

表示部７４はディスプレイ５０８に各種画面を表示させる。音声再生部７５は表示されている全方位画像の表示領域に応じた音声データを後述のように選択し、再生する。音声再生部７５は、全方位画像の表示領域に応じた音声データの音量を後述するように制御してもよい。音声追従制御部５７は、音声データの音量に応じて全方位画像の表示領域を後述のように切り替えてもよい。また、記憶・読出部７９は記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。

＜情報端末７に表示される画面例＞
図１６は画像管理装置にアクセスした情報端末に表示される画面の一例について説明する図である。図１６（ａ）は図３（ｃ）のメルカトル画像であり、全方位画像の全体を表している。情報端末７は全方位画像の表示領域が表示された図１６（ｂ）に示す表示画面を表示する。このように、情報端末７には全方位画像の一部分である表示領域が画面に表示されることになる。

本実施形態に係る画像管理システム２００では、撮像装置１においてマイク１０８で録音した複数方向の音声データを、図１７のように、全方位画像の座標（画像位置）と対応付けておく。図１７は、全方位画像の座標（画像位置）と対応付けられている複数方向の音声データを示した説明図である。

なお、図１７は複数のマイク１０８で録音した方向が６つである例を示している。図１７は理解を容易とするために、音声データが対応付けられている座標を「×」で示しているが、表示しなくてもよい。また、例えば全方位画像の座標（画像位置）と複数方向の音声データとの対応付けは例えば図１８に示すような対応表により設定しておく。

図１８は全方位画像の座標（画像位置）と複数方向の音声データとを対応付ける対応表の一例の構成図である。なお、図１８の対応表は、撮像装置１の撮像ユニット１０１により撮像される全方位画像と、撮像装置１に配置されたマイク１０８の指向性の方向とに基づき、予め設定しておき、撮像装置１の記憶部１０００などに保存しておく。例えば撮像装置１は全方位画像や音声データを画像管理装置５に送信する際、図１８の対応表も画像管理装置５に送信しておく。また、図１８では全方位画像の座標（画像位置）を二次元座標で表しているが、図５に示したような全方位画像を３次元の立体球とし、三次元座標で表すようにしてもよい。

情報端末７のＷｅｂブラウザからアクセスがあった場合、画像管理装置５の画面作成部５４は、情報端末７が例えば図１６（ｂ）のような画面を表示するための画面情報を生成する。また、画像管理装置５の音声付加部５５は、図１８の対応表により、全方位画像の画像位置（座標）に複数方向の音声データを対応付ける。

情報端末７のＷｅｂブラウザは画像管理装置５からの画面情報及び図１８の対応表に基づいて全方位画像の初期表示領域を表示し、その初期表示領域に含まれる座標と対応付けられている音声データを再生する。図１７の例では、表示領域に「方向４音声に対応付けられた座標」が含まれるため、方向４音声の音声データが選択される。なお、選択される音声データは、図１８の対応表の画像位置（座標）が、表示領域の中心の座標に一番近いものであってもよい。

図１９は情報端末において複数方向の音声から一方向の音声を選択して再生する処理の一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ１１からステップＳ１２に進む。ステップＳ１２において、表示制御部７３は画像管理装置５から送信された画面情報により全方位画像の初期表示領域を表示する。

また、音声再生部７５は初期表示領域に対応する音声データを選択し、再生する。ここで言う「初期表示領域に対応する音声データ」とは、図１８の対応表の画像位置が、初期表示領域の中心の座標に一番近い音声データとする。なお、一番近い音声データが複数ある場合、音声再生部７５は例えば単位時間あたりの音量が大きい方を選択するようにしてもよい。なお、ステップＳ１２において、全方位画像と音声とは記録時間で同期して再生される。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所で表示領域の方向を見て立っているかのような臨場感のある体験ができる。

例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ１３からステップＳ１４に進む。ステップＳ１４において表示制御部７３は表示されていた全方位画像の初期表示領域を図２０のように移動させる。情報端末７は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまでステップＳ１３〜Ｓ１５の処理を繰り返す。

図２０は全方位画像の表示領域が動かされた場合に、再生される音声データが切り替わる様子を示した説明図である。音声再生部７５は移動後の表示領域に対応する音声データを選択し、再生する。図２０の例では移動後の表示領域の中心の座標に、図１８の対応表の画像位置が一番近い音声データである「方向３音声」の音声データが選択される。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所で顔の向きを変えたような臨場感のある体験ができる。

また、情報端末７は図２１に示すように、閲覧者Ｙから全方位画像の表示領域を拡大縮小する操作を受け付ける。図２１は全方位画像の表示領域が拡大される様子を示した説明図である。

ここで言う「表示領域の拡大」は、いわゆるズームアップのことであり、画像を拡大する意味である。表示領域の拡大により、情報端末７の音声再生部７５は再生する音声の音量を大きくする。また「表示領域の縮小」は、いわゆるズームバックのことであり、画像を縮小する意味である。表示領域の縮小により、情報端末７の音声再生部７５は再生する音声の音量を小さくする。

図２２は情報端末において表示領域の拡大縮小により再生する音声の音量を制御する処理の一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ２１からステップＳ２２に進む。ステップＳ２２において、表示制御部７３は画像管理装置５から送信された画面情報により全方位画像の初期表示領域を等倍で表示する。また、音声再生部７５は初期表示領域に対応する音声データを選択し、標準音量で再生する。

例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ２３からステップＳ２４に進む。ステップＳ２４において表示制御部７３は表示されていた全方位画像の初期表示領域を図２０のように移動させる。音声再生部７５は移動後の表示領域に対応する音声データを選択し、再生する。

一方、閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けなければ情報端末７はステップＳ２３からステップＳ２５に進む。ステップＳ２５において表示制御部７３は閲覧者Ｙから全方位画像の表示領域を拡大縮小する操作を受け付けたか否かを判定する。

全方位画像の表示領域を拡大縮小する操作を受け付けたと判定すると、情報端末７の音声再生部７５はステップＳ２６に進み、表示領域の拡大縮小により再生する音声の音量を制御する。例えば音声再生部７５は表示領域が最大限に拡大された状態である場合に最大音量、表示領域が最小限に縮小された状態である場合に最小音量、表示領域が等倍の状態である場合に標準音量とする。

ステップＳ２３〜Ｓ２６の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。なお、全方位画像の表示領域の拡大縮小の上限は、画面の仕様に従えばよい。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所にいて、表示領域に表示されている物体に近づいたり離れたりするような臨場感のある体験ができる。
［第２の実施形態］
第１の実施形態は、表示している全方位画像の表示領域に対応する音声を選択して再生していた。第２の実施形態は、より大きい音量で録音されている音声データの方向に、全方位画像の表示領域を自動的に切り替えるものである。

図２３は、情報端末において大きい音量で録音されている音声データの方向に、全方位画像の表示領域を切り替える処理の一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ３１からステップＳ３２に進む。ステップＳ３２において、表示制御部７３は画像管理装置５から送信された複数方向の音声データを参照し、どの時間に、どの音声データと表示領域とを選択するかを示す図２４のようなテーブルを作成する。

図２４はステップＳ３２においてテーブルを作成する処理の説明図である。図２４は４方向の音声データである例を示している。図２４（ａ）は４方向の音声データの時間ｔごとの音量レベルを表している。また、図２４（ｂ）はステップＳ３２で作成されるテーブルの一例を表している。

表示制御部７３は図２４（ａ）に示したように所定時間ごとに音量レベルの平均が最も大きい音声データの方向を選択し、図２４（ｂ）に示すようなテーブルを作成する。図２４（ｂ）は所定時間ごとに音量レベルの平均が最も大きい音声データの方向を表した一例のテーブルである。

図２３のステップＳ３３に進み、表示制御部７３は図２４（ｂ）のテーブルに表された所定時間ごとの音声データの方向に基づき、その音声データと対応付けられた座標を中心とする全方位画像の表示領域を表示し、その音声データを再生する。ステップＳ３３の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。

なお、より大きい音量で録音されている音声データの方向に、全方位画像の表示領域を自動的に切り替える処理（以下、自動音声追従処理という）は、例えば図２５に示すようにオン、オフできるようにしてもよい。

図２５は自動音声追従処理のオン、オフ操作を閲覧者Ｙから受け付ける表示画面の一例のイメージ図である。図２５（ｂ）に示すように、情報端末７を操作する閲覧者Ｙは表示画面から自動音声追従処理のオン、オフを設定できる。

図２６は自動音声追従処理がオンである場合に、自動音声追従処理を行う一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ４１からステップＳ４２に進む。

ステップＳ４２において、表示制御部７３は自動音声追従処理の設定がオン（ＯＮ）であるか否かを判定する。自動音声追従処理の設定がオンであれば、表示制御部７３は図２３に示したステップＳ３２〜Ｓ３３と同様な処理であるステップＳ４３〜Ｓ４４の処理を行う。

自動音声追従処理の設定がオンでなければ、ステップＳ４５において、表示制御部７３は画像管理装置５から送信された画面情報により全方位画像の初期表示領域を等倍で表示する。また、音声再生部７５は初期表示領域に対応する音声データを選択し、標準音量で再生する。

例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ４５からステップＳ４６に進む。ステップＳ４６において表示制御部７３は、表示していた全方位画像の初期表示領域が動かされると、ステップＳ４７に進む。

ステップＳ４７において、音声再生部７５は移動後の表示領域に対応する音声データを選択し、再生する。ステップＳ４２〜Ｓ４７の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。

本実施形態によれば、閲覧者Ｙが音のしている方向を注視したい場合に、音のしている方向の表示領域に自動で表示が切り替えられる。また、音のしている方向の表示領域に自動で表示が切り替えられる機能は設定によりオン／オフできる。したがって、閲覧者Ｙは音のしている方向を注視しなくてもよい場合など、利用状況に合わせて機能をオン／オフできる。
［第３の実施形態］
第３の実施形態は、全方位画像の表示領域の中心と、図１８の対応表により音声データと対応付けられている全方位画像の座標（画像位置）との距離により、再生する音声の音量を制御するものである。

図２７は情報端末において全方位画像の表示領域の中心と、音声データと対応付けられている全方位画像の座標（画像位置）との距離により、再生する音声の音量を制御する処理の一例のフローチャートである。

ステップＳ５１〜Ｓ５３の処理は図１９のステップＳ１１〜Ｓ１３と同様である。例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ５３からステップＳ５４に進む。ステップＳ５４において表示制御部７３は表示されていた全方位画像の初期表示領域を図２０のように移動させる。

ステップＳ５５に進み、音声再生部７５は移動後の表示領域の中心の座標に、図１８の対応表の画像位置が一番近い音声データを選択される。ステップＳ５６に進み、音声再生部７５は移動後の表示領域の中心の座標と、ステップＳ５５で選択した音声データの画像位置との距離により、再生する音声の音量を決定する。例えば音声再生部７５は距離が近い（短い）ほど音量を大きくする。また、音声再生部７５は距離が遠い（長い）ほど音量を小さくする。

ステップＳ５７に進み、音声再生部７５はステップＳ５６で決定した音量で音声の再生を行う。ステップＳ５３〜Ｓ５７の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所にいて、表示領域に表示されている物体に近づいたり離れたりするような臨場感のある体験ができる。
［第４の実施形態］
第１〜第３の実施形態は、複数方向の音声から一つの方向の音声を選択して再生するものである。第４の実施形態は、閲覧者Ｙの周りに複数の音声再生部を配置し、複数の方向の音声を複数の音声再生部（例えばスピーカ）に割り当てて再生するものである。

図２８は複数の方向の音声を再生する様子を示した説明図である。第４の実施形態では全方位画像の表示領域の中心に図１８の対応表の画像位置が一番近い音声データを、閲覧者Ｙの前方に配置した音声再生部から再生するように処理を行う。

例えば図２８の例では、閲覧者Ｙの前方に配置した音声再生部から、表示領域の中心に一番近い画像位置の音声データ（方向４音声）が再生される。また、閲覧者Ｙの後方、右側面、左側面に設置した音声再生部からも、対応する方向の音声データ（例えば後方：方向２音声、右側面：方向５音声、左側面：方向３音声）が再生される。

なお、複数の方向の音声を複数の音声再生部に割り当てる方法は図２８の例に限定するものではなく、既存のサラウンド方式を利用して、複数の音声再生部から音声を再生するようにしてもよい。

＜まとめ＞
本実施形態では、全方位画像（静止画、動画）に対し、録音に使用したマイクの指向性を考慮した全方位画像上の座標に音声データを対応付けることができる。このように本実施形態では、全方位画像（静止画、動画）と、音声を方向ごとに録音できるマイクにより録音した音声データとを、全方位画像上の座標で対応付けておくことで、閲覧している表示領域に応じた音声を出力できる。

本実施形態によれば、閲覧している全方位画像の表示領域の方向からの音声を選択して出力できるので、より臨場感のある再生が可能となる。

また、以上の実施例で示した図８などの構成例は、撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって、本願発明が制限されることはない。

撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、画像管理装置５が有する機能の全て又は１以上を情報端末７が有していてよく、情報端末７が有する機能の全て又は１以上を画像管理装置５が有していてもよい。画像管理装置５の記憶部５０００は、画像管理装置５が直接有する他、画像管理装置５が読み書き可能な通信ネットワーク９上にあってもよい。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。対応表、音声付加部５５は特許請求の範囲に記載した対応付け手段の一例である。表示制御部７３、表示部７４は表示手段の一例である。音声再生部７５は音声再生手段の一例である。送受信部５１は受信手段及び送信手段の一例である。

１ 撮像装置
３ 通信端末
５ 画像管理装置
７ 情報端末
９ 通信ネットワーク
９ａ 無線ルータ
１３ 撮像部
１４ 集音部
５４ 画面作成部
５５ 音声付加部
７３ 表示制御部
７４ 表示部
７５ 音声再生部
２００ 画像管理システム
１０００ 記憶部

特開２０１４−１１２３０２号公報

Claims (12)

1. 撮像装置が撮像した全方位画像を管理する画像管理装置と、前記全方位画像の表示領域を表示する情報端末と、を有する画像管理システムであって、
   前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、
   前記情報端末において前記全方位画像上の表示領域を表示する表示手段と、
   前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段と
   を有する画像管理システム。
2. 前記音声再生手段は、前記全方位画像上の表示領域が動かされた場合、移動後の前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき選択した前記音声データに切り替えて再生すること
   を特徴とする請求項１記載の画像管理システム。
3. 前記音声再生手段は、前記全方位画像上の表示領域の拡大縮小により、再生する前記音声データの音量を制御すること
   を特徴とする請求項１又は２記載の画像管理システム。
4. 前記表示手段は、前記複数方向からの音声データのうち、最も大きい音量で録音されている前記音声データと対応付けられた前記全方位画像上の位置が表示されるように、前記全方位画像上の表示領域を切り替えること
   を特徴とする請求項１乃至３何れか一項記載の画像管理システム。
5. 前記表示手段は、最も大きい音量で録音されている前記音声データと対応付けられた前記全方位画像上の位置が表示されるように、前記全方位画像上の表示領域を切り替える機能を設定によりオン／オフできること
   を特徴とする請求項４記載の画像管理システム。
6. 前記音声再生手段は、前記全方位画像上の表示領域の中心の座標と、再生する前記音声データと対応付けられた前記全方位画像上の位置の座標との距離により、再生する前記音声データの音量を制御すること
   を特徴とする請求項１乃至３何れか一項記載の画像管理システム。
7. 前記音声再生手段は、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、ユーザの前方から再生する前記音声データを選択し、該選択した前記音声データを基準として前記ユーザの前方以外から再生する前記音声データを選択すること
   を特徴とする請求項１乃至６何れか一項記載の画像管理システム。
8. 前記全方位画像を撮像すると共に、前記全方位画像の撮像時に前記複数方向からの音声データを録音する前記撮像装置、を更に有すること
   を特徴とする請求項１乃至７何れか一項記載の画像管理システム。
9. 撮像装置が撮像した全方位画像を管理する画像管理装置であって、
   前記撮像装置が撮像した全方位画像と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データとを、受信する受信手段と、
   前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、
   前記撮像装置が撮像した全方位画像と、前記全方位画像上の位置と対応付けられた前記複数方向からの音声データとを、前記全方位画像の表示を行う情報端末に送信する送信手段と
   を有する画像管理装置。
10. 撮像装置が撮像した全方位画像を管理する画像管理装置を、
    前記撮像装置が撮像した全方位画像と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データとを、受信する受信手段、
    前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段、
    前記撮像装置が撮像した全方位画像と、前記全方位画像上の位置と対応付けられた前記複数方向からの音声データとを、前記全方位画像の表示を行う情報端末に送信する送信手段
    として機能させるためのプログラム。
11. 撮像装置が撮像した全方位画像の表示領域を表示する情報端末であって、
    前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、
    前記全方位画像上の表示領域を表示する表示手段と、
    前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段と
    を有する情報端末。
12. 撮像装置が撮像した全方位画像の表示領域を表示する情報端末を、
    前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段、
    前記全方位画像上の表示領域を表示する表示手段、
    前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段
    として機能させるためのプログラム。

Images