JP2022040434A - 通信端末、画像通信システム、画像表示方法およびプログラム - Google Patents

Abstract

【課題】撮影装置に対する処理を行わずに、配信拠点側で指定された注目点に対応する配信拠点の画像を表示させることを目的とする。【解決手段】画像通信システムにおいて、全体画像（例えば、全天球画像）における所定領域の画像を表示可能な通信端末７０は、全体画像が撮影された配信拠点における注目点を含む所定領域（第１の所定領域の一例）を示す注目点領域情報（第１の所定領域情報の一例）を記憶する注目点管理ＤＢ７００３（記憶手段の一例）と、配信拠点に設置された配信システムから、注目点を示す注目点指定情報を受信する送受信部７１（受信手段の一例）と、受信した注目点指定情報に示されている注目点に対応する注目点領域情報に基づいて、注目点を含む所定領域画像（第１の所定領域画像の一例）を表示する表示制御部７４（表示制御手段の一例）と、を備える。【選択図】図１４

Description

本開示内容は、通信端末、画像通信システム、画像表示方法およびプログラムに関する。

複数の広角レンズまたは魚眼レンズを用いて全方位を撮影可能な撮影装置が知られている。また、このような撮影装置を用いて撮影された画像データをリアルタイムに配信し、撮影装置が設置された配信拠点の状況を、別拠点においてリアルタイムに閲覧可能なシステムが知られている。

例えば、特許文献１には、遠隔地に配置された複数のカメラが撮像した画像を端末に表示させて、ユーザが遠隔地の様子を把握することができるシステムが開示されている。

しかしながら、従来の方法では、配信拠点の注目すべき箇所である注目点が外部から指定された場合、閲覧者が注目点を閲覧するためには、配信拠点に設置された撮影装置に対する個別操作が必要であるという課題があった。

上述した課題を解決すべく、請求項１に係る発明は、全体画像における所定領域の画像を表示可能な通信端末であって、前記全体画像が撮影された配信拠点における注目点を含む第１の所定領域を示す第１の所定領域情報を記憶する記憶手段と、前記配信拠点に設置された配信システムから、前記注目点を示す注目点指定情報を受信する受信手段と、前記受信手段で受信された前記注目点指定情報に示されている前記注目点に対応する前記第１の所定領域に基づいて、第１の所定領域画像を表示する表示制御手段と、を備える通信端末である。

本発明によれば、撮影装置に対する処理を行わずに、配信拠点側で指定された注目点に対応する配信拠点の画像を表示させることができるという効果を奏する。

（Ａ）は撮影装置の左側面図であり、（Ｂ）は撮影装置の正面図であり、（Ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （Ａ）は撮影装置で撮影された半球画像（前）、（Ｂ）は撮影装置で撮影された半球画像（後）、（Ｃ）は正距円筒図法により表された画像を示した図である。 （Ａ）正距円筒射影画像で球を被う状態を示した概念図、（Ｂ）全天球画像を示した図である。 全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。 （Ａ）は図５の立体斜視図、（Ｂ）はディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 球座標による三次元ユークリッド空間内の点を示した図である。 画像通信システムの全体構成の一例を示す図である。 画像通信システムの概略を説明するための図である。 撮影装置のハードウエア構成の一例を示す図である。 配信端末、通信管理システム、通信端末および注目点指定機器のハードウエア構成の一例を示す図である。 画像通信システムの機能構成の一例を示す図である。 画像通信システムの機能構成の一例を示す図である。 （Ａ）は、撮影装置管理テーブルの一例を示す概略図であり、（Ｂ）は、画像種類管理テーブルの一例を示す概念図である。 注目点管理テーブルの一例を示す概念図である。 （Ａ）は、セッション管理テーブルの一例を示す概略図であり、（Ｂ）は、画像種類管理テーブルの一例を示す概念図である。 （Ａ）は、所定領域管理テーブルの一例を示す概略図であり、（Ｂ）は、設置情報管理テーブルの一例を示す概念図である。 配信拠点管理テーブルの一例を示す概略図である。 （Ａ）は、画像種類管理テーブルの一例を示す概略図であり、（Ｂ）は、所定領域管理テーブルの一例を示す概念図である。 注目点管理テーブルの一例を示す概略図である。 画像通信システムにおける特定の通信セッションへの参加処理の一例を示すシーケンス図である。 通信セッションの選択画面の一例を示す図である。 画像通信システムにおける画像種類情報の管理処理の一例を示すシーケンス図である。 画像通信システムにおける撮影画像データおよび音データの通信処理の一例を示すシーケンス図である。 所定領域画像の表示処理の一例を示すシーケンス図である。 画像通信システムにおける注目点の表示処理の一例を示すシーケンス図である。 通信端末における注目点の表示処理の一例を示すフローチャートである。 画像通信システムにおける注目点の表示処理の変形例を示すシーケンス図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

●実施形態●
●全天球画像の生成方法
図１乃至図８を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、撮影装置１０の外観を説明する。撮影装置１０は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。図１（Ａ）は撮影装置の左側面図であり、図１（Ｂ）は撮影装置の正面図であり、図１（Ｃ）は撮影装置の平面図である。

図１（Ａ）に示されているように、撮影装置１０は、人間が片手で持つことができる大きさである。また、図１（Ａ），図１（Ｂ），図１（Ｃ）に示されているように、撮影装置１０の上部には、正面側（前側）に撮像素子１０３ａおよび背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ,１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述するレンズ１０２ａ,１０２ｂ）と併せて用いられる。また、図１（Ｂ）に示されているように、撮影装置１０の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１０の使用状況を説明する。図２は、撮影装置の使用イメージ図である。撮影装置１０は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａおよび撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、二つの半球画像を得ることができる。

次に、図３および図４を用いて、撮影装置１０で撮影された画像から全天球画像が作成されるまでの処理の概略を説明する。図３（Ａ）は撮影装置で撮影された半球画像（前側）、図３（Ｂ）は撮影装置で撮影された半球画像（後側）、図３（Ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（Ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（Ｂ）は全天球画像を示した図である。

図３（Ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述のレンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（Ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述のレンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、撮影装置１０は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図３（Ｃ）に示されているような正距円筒射影画像ＥＣが作成する。

そして、撮影装置１０は、OpenGL ES（Open Graphics Library for Embedded Systems）を利用することで、図４（Ａ）に示されているように、球面を覆うように正距円筒射影画像ＥＣを貼り付け、図４（Ｂ）に示されているような全天球画像ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮影装置１０は、全天球画像ＣＥの一部の所定領域Ｔ（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５乃至図８を用いて説明する。

図５は、全天球パノラマ画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。図６（Ａ）は、図５の立体斜視図、図６（Ｂ）は、ディスプレイに表示された場合の所定領域画像を表す図である。図６（Ａ）は、図５に示した全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図５に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図７参照）。

そして、図６（Ａ）に示されている所定領域画像Ｑは、図６（Ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（Ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下、仮想カメラＩＣの撮影方向（ｅａ，ａａ）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。図７は、所定領域情報と所定領域Ｔの画像との関係を示した図である。図７に示されているように、「ea」はelevation angle（仰角）、「aa」はazimuth angle（方位角）、「α」は画角(Angle)を示す。すなわち、仮想カメラＩＣの姿勢は、撮影方向(ea,aa)で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰ（x,ｙ）となるように変更される。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰ（x,ｙ）が、所定領域情報のパラメータ(（x,ｙ）)となる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰ（x,ｙ）までの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰ（x,ｙ）との距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

なお、上記で説明した撮影装置１０は、広角画像を取得可能な撮影装置の一例であり、全天球画像は、広角画像の一例である。ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に３５ｍｍフィルム換算で３５ｍｍ以下の焦点距離のレンズで、撮影された画像を意味する。

図８は、球座標による三次元ユークリッド空間内の点を示した図である。ここで、中心点ＣＰを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図８は、これらの関係を表した図である。以降、仮想カメラＩＣの位置座標(r,θ,φ)を用いて説明する。

●画像通信システムの概略
続いて、図９を用いて、第１の実施形態の画像通信システムの構成の概略について説明する。図９は、画像通信システムの全体構成の一例を示す図である。図９に示されている画像通信システム１は、図９に示されている画像通信システム１は、配信拠点から配信される映像等の撮影画像を、複数の閲覧拠点において表示させることで、配信拠点が撮影された広範囲な画像（例えば、全天球画像）を、リアルタイムに閲覧できるシステムである。

図９に示されているように、画像通信システム１は、配信拠点に位置する撮影装置１０、注目点指定機器２０および配信端末３０、通信管理システム５０、並びに複数の閲覧拠点（閲覧拠点Ａ、閲覧拠点Ｂ）のそれぞれに位置する通信端末７０（７０Ａ,７０Ｂ、以下区別する必要のないときは、通信端末７０と称する。）を含む。

画像通信システム１を構成する配信端末３０、通信管理システム５０および通信端末７０は、通信ネットワーク１００を介して通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等によって構築されている。なお、通信ネットワーク１００には、有線通信だけでなく、３Ｇ(3rd Generation)、４Ｇ(4th Generation)、５Ｇ（5th Generation）、Ｗｉ－Ｆｉ(Wireless Fidelity)（登録商標）、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。

配信拠点に位置する撮影装置１０、注目点指定機器２０および配信端末３０は、配信システム３を構成する。このうち、撮影装置１０は、上述のように、被写体や風景等を撮影して全天球画像の元になる二つの半球画像を得るための特殊なデジタルカメラである。撮影装置１０によって取得される撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影画像は、画像とともに音声を含んでもよい。

注目点指定機器２０は、配信拠点における特定の箇所である注目点を指定するための専用機器である。注目点指定機器２０は、配信拠点の特定の箇所での異常発生等のトラブルを検知するために、予め配信拠点の特定の位置に固定されて設置されている。

配信端末３０は、ＵＳＢ(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮影装置１０から取得した画像を、通信管理システム５０を介して、通信端末７０に配信する。また、配信端末３０は、ＵＳＢケーブル等の有線ケーブルを介して注目点指定機器２０から取得した注目点指定情報を、通信管理システム５０を介して、通信端末７０に配信する。

なお、画像通信システム１に含まれる配信拠点は、一拠点に限られず、画像通信システム１は、複数の配信拠点を含んでもよい。また、撮影装置１０および注目点指定機器２０と配信端末３０との接続関係は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。

通信管理システム５０は、配信端末３０および通信端末７０の通信を管理および制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。ここでは、特殊画像は、全天球画像である。また、通信管理システム５０は、画像通信のサービスを行なうサービス会社等に設置されている。

なお、通信管理システム５０は、単一のコンピュータによって構築されてもよいし、各部（機能または手段）を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、通信管理システム５０の機能の全てまたは一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。

通信端末７０は、各閲覧拠点の利用者によって使用されるＰＣ等のコンピュータである。通信端末７０は、配信端末３０から配信された画像（静止画または動画）を表示させる。通信端末７０は、通信ネットワーク１００を介して、撮影装置１０によって撮影された撮影画像である全天球画像を取得する。また、通信端末７０は、OpenGL ESをインストールしており、全天球画像の一部の領域を示す所定領域情報を作成したり、配信端末３０から送られて来た全天球画像から所定領域画像を作成したりすることができる。ここでは、通信端末７０Ａは、利用者Ａ１が位置する閲覧拠点Ａに置かれており、通信端末７０Ｂは、利用者Ｂが位置する閲覧拠点Ｂに置かれている。

なお、図９に示す各端末および装置（通信端末、撮影装置および配信端末）、並びに利用者の配置は一例であり、他の例であってもよい。また、通信端末７０は、ＰＣに限られず、例えば、タブレット端末、スマートフォン、ウェアラブル端末、、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）または自律走行ロボット等であってもよい。

ここで、図１０を用いて、画像通信システム１を概略的に説明する。図１０は、画像通信システムの概略を説明するための図である。図１０に示されている配信拠点は、例えば、工場またはサーバルーム等である。なお、配信拠点は、工場またはサーバルームに限られず、オフィスフロア、学校、倉庫、建設現場または店舗等、閲覧拠点の利用者（閲覧者）が遠隔拠点の状況を把握したいニーズが存在する空間であればよい。図１０は、配信拠点に、複数の撮影装置１０（撮影装置１０ａ,１０ｂ）、および複数の注目点指定機器２０（注目点指定機器２０ａ,２０ｂ）が設置されている様子を示す。撮影装置１０は、例えば、工場のライン等の作業場において、所定の間隔で配置されている。配信拠点は、複数の撮影装置１０を用いて、配信拠点の全体が撮影される。撮影装置１０は、上述の全天球画像を撮影可能な撮影装置であり、物理的に固定されたまま広範囲な画像を撮影する。閲覧拠点の通信端末７０は、複数の撮影装置１０で撮影された撮影画像（撮影画像１、撮影画像２）を表示している。なお、配信拠点に設置される撮影装置１０の数は、これに限られない。

注目点指定機器２０は、配信拠点の特定の位置に配置され、それぞれの設置位置に対応する注目点を指定する。注目点指定機器２０ａは、例えば、配信拠点における注目点の候補である注目点１を注目点として指定する。一方で、注目点指定機器２０ｂは、例えば、配信拠点における注目点の候補である注目点２を注目点として指定する。

図１０に示されている例は、注目点２においてトラブル等が発生した際に、閲覧拠点の利用者に配信拠点の注目点２を注目させる場合の例である。注目点２でトラブル等が発生した場合、注目点指定機器２０ｂは、通信端末７０に対して、注目点指定情報を送信する。通信端末７０は、受信した注目点指定情報に基づき、予め登録された注目点領域情報を参照することで、各撮影画像に表示される所定領域として注目点２が画面に表示されるように表示を変更する。このようにすることで、通信端末７０は、表示している全ての撮影画像を、注目点２が写った画像に表示変更することができる。

従来、遠隔地に配置された複数の撮影装置によって取得された撮影画像を、閲覧拠点から閲覧可能なシステムにおいて、配信拠点の特定の箇所の様子を見たい場合、利用者は、どの撮影装置の撮影画像を見ればよいのかがわからなかった。また、異なる閲覧拠点の利用者が異なる箇所を閲覧したい場合、撮影装置に対する操作（例えば、ＰＴＺ(pan-tilt-zoom)操作）が競合するため、同じ配信拠点を閲覧する複数の利用者がそれぞれ異なる箇所を閲覧するような排他的な閲覧を行うことができなかった。さらに、撮影装置によって上述のような全天球画像を撮影する場合であっても、複数の全天球画像を個別に操作して目的の箇所を表示させるための処理を行わなければならず、利用者が直感的に操作することができなかった。そこで、画像通信システム１は、利用者の表示画面に対する直感的な操作によって、複数の利用者が同じ撮影装置から取得された撮影画像を用いて配信拠点の異なる箇所を注目して閲覧可能にする。

●ハードウエア構成
続いて、図１０および図１１を用いて、実施形態に係る画像通信システムを構成する各装置または端末のハードウエア構成を説明する。なお、図１０および図１１に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。

○撮影装置のハードウエア構成○
まず、図１０を用いて、撮影装置１０のハードウエア構成を説明する。図１０は、撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置１０は、二つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１０と同じ機能を有するようにしてもよい。

図１０に示されているように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ,１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）、および各レンズに対応させて設けられている二つの撮像素子１０３ａ,１０３ｂを備えている。撮像素子１０３ａ,１０３ｂは、レンズ１０２ａ,１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、およびこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。

撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスを介して接続している。一方、撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）を介して接続している。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続している。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１等も接続される。

画像処理ユニット１０４は、撮像素子１０３ａ,１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（Ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ,１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ,１０３ｂに画像データの出力を指示する。撮影装置１０によっては、ディスプレイ（例えば、近距離通信回路１１７を用いて撮影装置１０と近距離通信を行うスマートフォン等の外部端末のディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ,１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ,１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３およびＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、および表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。

入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。

近距離通信回路１１７は、撮影装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ(Near Field Communication)、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１０の方位を算出し、方位情報を出力する。この方位情報は、Ｅｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時および画像データのデータ容量の各データも含む。また、ジャイロセンサ１１９は、撮影装置１０の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。さらに、加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮影装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮影装置１０）の姿勢（重力方向に対する角度）を算出する。撮影装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワーク１００を利用したデータ通信を行うためのインターフェースである。

○配信端末のハードウエア構成○
図１２は、配信端末のハードウエア構成の一例を示す図である。配信端末３０の各ハードウエア構成は、３００番台の符号で示されている。配信端末３０は、コンピュータによって構築されており、図１２に示されているように、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ(Hard Disk)３０４、ＨＤＤコントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、キーボード３１１、ポインティングデバイス３１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ３１４、メディアＩ／Ｆ３１６、音入出力Ｉ／Ｆ３１７、マイク３１８、スピーカ３１９および近距離通信回路３２０を備えている。

これらのうち、ＣＰＵ３０１は、配信端末３０全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ３０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ３０６は、表示部の一例である。なお、ディスプレイ３０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリまたはプリンタ等である。ネットワークＩ／Ｆ３０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン３１０は、図１２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

また、キーボード３１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１２は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード３１１およびポインティングデバイス３１２のみならず、タッチパネルまたは音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ３１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲまたはＢｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ３１６は、フラッシュメモリ等の記録メディア３１５に対するデータの読み出しまたは書き込み（記憶）を制御する。マイク３１８は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１７は、ＣＰＵ３０１の制御に従ってマイク３１８およびスピーカ３１９との間で音信号の入出力を処理する回路である。近距離通信回路３２０は、ＮＦＣ、ＢｌｕｅｔｏｏｔｈまたはＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行うための通信回路である。

○通信管理システムのハードウエア構成○
図１２は、通信管理システムのハードウエア構成の一例を示す図である。通信管理システム５０の各ハードウエア構成は、括弧内の５００番台の符号で示されている。通信管理システム５０は、コンピュータによって構築されており、図１２に示されているように、配信端末３０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。

○通信端末のハードウエア構成○
図１２は、通信端末のハードウエア構成の一例を示す図である。通信端末７０の各ハードウエア構成は、括弧内の７００番台の符号で示されている。通信端末７０は、コンピュータによって構築されており、図１２に示されているように、配信端末３０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。

○注目点指定機器のハードウエア構成○
図１２は、注目点指定機器のハードウエア構成の一例を示す図である。注目点指定機器２０の各ハードウエア構成は、括弧内の２００番台の符号で示されている。注目点指定機器２０は、コンピュータによって構築されており、図１２に示されているように、配信端末３０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、通信端末７０は、本発明に係るプログラムが実行されることで本発明に係る画像表示方法を実現する。

●機能構成
続いて、図１３乃至図２１を用いて、実施形態に係る画像通信システムの機能構成について説明する。図１３および図１４は、画像通信システムの機能構成の一例を示す図である。なお、図１３および図１４は、図９に示されている装置または端末のうち、後述の処理または動作に関連しているものを示す。

○撮影装置の機能構成○
まず、図１３を用いて、撮影装置１０の機能構成について説明する。撮影装置１０は、通信部１１、受付部１２、撮像部１３、集音部１４、判断部１５および記憶・読出部１９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能または手段である。また、撮影装置１０は、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３およびＤＲＡＭ１１４によって構築される記憶部１０００を有している。記憶部１０００は、自装置のＧＵＩＤ(Globally Unique Identifier)を記憶している。

通信部１１は、主に、ＣＰＵ１１１の処理によって実現され、他の装置または端末と各種データまたは情報の通信を行う。通信部１１は、例えば、近距離通信回路１１７を用いて、他の装置または端末との間で、近距離無線通信技術によるデータ通信を行う。また、通信部１１は、例えば、入出力Ｉ／Ｆ１１６を用いて、他の装置または端末との間で、各種ケーブル等を介したデータ通信を行う。さらに、通信部１１は、ネットワークＩ／Ｆ１２１を用いて、他の装置または端末との間で、通信ネットワーク１００を介したデータ通信を行う。

受付部１２は、主に、操作部１１５に対するＣＰＵ１１１の処理によって実現され、利用者から各種の選択または入力を受け付ける。撮像部１３は、主に、撮像ユニット１０１、画像処理ユニット１０４および撮像制御ユニット１０５に対するＣＰＵ１１１の処理によって実現され、風景等の被写体を撮像し、撮影画像データを取得する。集音部１４は、主に、マイク１０８および音処理ユニット１０９に対するＣＰＵ１１１の処理によって実現され、撮影装置１０の周囲の音を集音する。判断部１５は、ＣＰＵ１１１の処理によって実現され、各種判断を行う。

記憶・読出部１９は、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に、各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

○注目点指定機器の機能構成○
次に、図１３を用いて、注目点指定機器２０の機能構成について説明する。注目点指定機器２０は、通信部２１および検知部２２を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開された注目点指定機器用プログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能または手段である。

通信部２１は、主に、ＣＰＵ２０１の処理によって実現され、他の装置または端末と各種データまたは情報の通信を行う。通信部２１は、例えば、近距離通信回路２２０を用いて、他の装置または端末との間で、近距離無線通信技術によるデータ通信を行う。また、通信部２１は、例えば、外部機器接続Ｉ／Ｆ２０８を用いて、他の装置または端末との間で、各種ケーブル等を介したデータ通信を行う。さらに、通信部２１は、ネットワークＩ／Ｆ２０９を用いて、他の装置または端末との間で、通信ネットワーク１００を介したデータ通信を行う。

検知部２２は、主に、ＣＰＵ２０１の処理によって実現され、注目点指定機器２０が設置された特定の位置に対応する注目点の指定を検知する。検知部２２は、例えば、注目点指定機器２０が設置された特定の位置（注目点）に異常が発生した場合、閲覧拠点の利用者に注目して欲しい箇所を示す注目点の指定を検知する。検知部２２における検知方法としては、配信拠点が撮影された画像に対する画像認識によって異常発生等を検知する方法であってもよいし、注目点指定機器２０に備えられた各種センサを用いて異常発生等を検知してもよい。また、検知部２２は、配信拠点の作業者等によって注目点指定機器２０に備えられた専用ボタン等の操作を受け付けた場合、注目点の指定を検知する構成であってもよい。

○配信端末の機能構成○
次に、図１３を用いて、配信端末３０の機能構成について説明する。配信端末３０は、送受信部３１、受付部３２、画像・音処理部３３、表示制御部３４、判断部３５、作成部３６、通信部３７および記憶・読出部３９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開された配信端末用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能または手段である。また、配信端末３０は、図１２に示されているＲＯＭ３０２、ＲＡＭ３０３およびＨＤ３０４によって構築される記憶部３０００を有している。

送受信部３１は、主に、ネットワークＩ／Ｆ３０９に対するＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。

受付部３２は、主に、キーボード３１１またはポインティングデバイス３１２に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。画像・音処理部３３は、主に、ＣＰＵ３０１の処理によって実現され、撮影装置１０が被写体を撮像して取得した撮影画像データに対して画像処理を行う。また、画像・音処理部３３は、マイク３１８によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行う。さらに、画像・音処理部３３は、表示制御部３４がディスプレイ３０６に画像を表示させるため、ソース名等の画像種類情報に基づき、撮影装置１０から受信された撮影画像データに対して画像処理を行う。具体的には、画像種類情報が特殊画像である旨を示す場合、画像・音処理部３３は、撮影画像データ（例えば、図３（Ａ），（Ｂ）に示されているような各半球画像のデータ）に基づいて、図４（Ｂ）に示されているような全天球画像データに変換することで全天球パノラマ画像データを作成し、さらに、図６（Ｂ）に示されているような所定領域画像を作成する。

表示制御部３４は、主に、ＣＰＵ３０１の処理によって実現され、ディスプレイ３０６に、各種画像または文字等を表示させる。判断部３５は、ＣＰＵ３０１の処理によって実現され、各種判断を行う。判断部３５は、例えば、撮影装置１０から受信された撮影画像データに係る画像種類を判断する。

作成部３６は、主に、ＣＰＵ３０１の処理によって実現され、判断部３５によって、一般画像または特殊画像（ここでは、全天球画像）と判断された結果に基づき、命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部３５が、一般画像であると判断した場合、作成部３６は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部３５が、特殊画像であると判断した場合、作成部３６は、特殊画像である旨を示すソース名「Video_Theta」を作成する。

通信部３７は、主に、近距離通信回路３２０に対するＣＰＵ３０１の処理によって実現され、撮影装置１０の通信部１１および注目点指定機器２０の通信部２１と、ＮＦＣ、ＢｌｕｅｔｏｏｔｈまたはＷｉＦｉ等の近距離無線通信技術による通信を行う。なお、通信部３７と送受信部３１とは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。

記憶・読出部３９は、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００に、各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

○撮影装置管理テーブル
図１５（Ａ）は、撮影装置管理テーブルの一例を示す概念図である。記憶部３０００には、図１５（Ａ）に示されている撮影装置管理テーブルによって構成されている撮影装置管理ＤＢ３００１が構築されている。この撮影装置管理テーブルは、全天球画像の元になる二つの半球画像を得ることができる撮影装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤを記憶して管理している。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、例えば、配信端末３０の工場出荷時から記憶されていてもよいし、工場出荷後に追加で記憶してもよい。

○画像種類管理テーブル
図１５（Ｂ）は、画像種類管理テーブルの一例を示す概念図である。記憶部３０００には、図１５（Ｂ）に示されている画像種類管理テーブルによって構成されている画像種類管理ＤＢ３００２が構築されている。この画像種類管理テーブルは、画像データＩＤ、撮影装置の宛先の一例であるＩＰ(Internet Protocol)アドレス、およびソース名を関連づけて管理している。このうち、画像データＩＤは、画像配信を行う際の画像データを識別するための画像データ識別情報の一例である。撮影装置のＩＰアドレスは、関連づけられている画像データＩＤで示される画像データを撮影した撮影装置１０のＩＰアドレスを示す。ソース名は、関連づけられている画像データＩＤで示される画像データを撮影した撮影装置１０を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、配信端末３０によって作成された名称である。

例えば、ＩＰアドレスがそれぞれ「２．１．２．３」、「２．１．１．５」、「２．１．５．４」、「２．１．５．６」の四つの撮影装置は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」、「ＲＳ００４」によって示される画像データを送信していることが表されている。さらに、各撮影装置のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。本実施形態において、特殊画像は、全天球画像である。なお、ＩＰアドレスは、宛先情報の一例であって、宛先情報は、ＭＡＣ(Media Access Control)アドレスまたは端末ＩＤ(Identification)等であってもよい。また、ＩＰアドレスは、ＩＰｖ４アドレスを簡略化して表すが、ＩＰアドレスは、ＩＰｖ６であってもよい。さらに、画像データ以外のデータについても、画像データＩＤと関連づけて管理してもよい。画像データ以外のデータは、例えば、音データ、配信拠点と閲覧拠点との画面共有時の資料データ等である。

○注目点管理テーブル
図１６は、注目点管理テーブルの一例を示す概念図である。記憶部３０００には、図１６に示されている注目点管理テーブルによって構成されている注目点管理ＤＢ３００３が構築されている。この注目点管理テーブルは、配信拠点における注目点を識別する注目点ＩＤ、および注目点の位置を示す座標値を関連づけて管理している。

○通信管理システムの機能構成○
次に、図１４を用いて、通信管理システム５０の機能構成について説明する。通信管理システム５０は、送受信部５１、判断部５２、生成部５３、配信拠点管理部５４および記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、通信管理システム５０は、図１２に示されているＲＯＭ５０２、ＲＡＭ５０３およびＨＤ５０４によって構築される記憶部５０００を有している。

送受信部５１は、主に、ネットワークＩ／Ｆ５０９に対するＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の送受信を行う。

判断部５２は、ＣＰＵ５０１の処理によって実現され、各種判断を行なう。生成部５３は、主に、ＣＰＵ５０１の処理によって実現され、画像データＩＤおよび所定領域情報を生成する。生成部５３は、例えば、撮影装置１０によって撮影された撮影画像における所定領域を示す所定領域情報を生成する。配信拠点管理部５４は、主に、ＣＰＵ５０１の処理によって実現され、配信拠点の状態を示す配信拠点情報を管理する。

記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

○セッション管理テーブル
図１７（Ａ）は、セッション管理テーブルの一例を示す概念図である。記憶部５０００には、図１７（Ａ）に示されているセッション管理テーブルによって構成されているセッション管理ＤＢ５００１が構築されている。このセッション管理テーブルは、セッションＩＤ、拠点ＩＤおよび参加した通信端末のＩＰアドレスを関連づけて管理している。このうち、セッションＩＤは、画像通信を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。拠点ＩＤは、配信拠点を識別するための拠点識別情報の一例である。参加した通信端末のＩＰアドレスは、関連づけられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。

○画像種類管理テーブル
図１７（Ｂ）は、画像種類管理テーブルの一例を示す概念図である。記憶部５０００には、図１７（Ｂ）に示されている画像種類管理テーブルによって構成されている画像種類管理ＤＢ５００２が構築されている。この画像種類管理テーブルは、図１５（Ｂ）に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤを関連づけて管理している。なお、通信管理システム５において、配信端末３０および通信端末７０で管理される、画像データＩＤ、撮影装置のＩＰアドレスおよび画像種類情報と同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に画像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。

○所定領域管理テーブル
図１８（Ａ）は、所定領域管理テーブルの一例を示す概念図である。記憶部５０００には、図１８（Ａ）に示されている所定領域管理テーブルによって構成されている所定領域管理ＤＢ５００３が構築されている。この所定領域管理テーブルは、撮影画像データの送信元の配信端末のＩＰアドレス、撮影画像データの送信先の通信端末のＩＰアドレス、および撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報を関連づけて管理している。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図６および図７に示されているように、撮影画像から、この撮影画像における所定領域Ｔの画像（所定領域画像）に変換するための変換パラメータである。

例えば、図１８（Ａ）の所定領域管理テーブルの１行目から４行目までは、配信端末３０のＩＰアドレスが「１．３．２．３」の場合、配信端末３０から送信された撮影画像データが、通信管理システム５を介して、ＩＰアドレスが「１．２．１．３」の通信端末７０に送信された旨を管理している。さらに、配信端末３０は、図１８（Ａ）の所定領域管理テーブルの１行目から４行目までの四つの所定領域情報の送信元の配信端末である旨を管理している。

また、送受信部５１によって、既に管理されている撮影画像データの送信元の配信端末のＩＰアドレスおよび撮影画像データの送信先の通信端末のＩＰアドレスと同じ組のＩＰアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部５９は、既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。

○設置情報管理テーブル
図１８（Ｂ）は、設置情報管理テーブルの一例を示す概念図である。記憶部５０００には、図１８（Ｂ）に示されている設置情報管理テーブルによって構成されている設置情報管理ＤＢ５００４が構築されている。この設置情報管理テーブルは、配信拠点を識別するための拠点ＩＤ、配信拠点に設置された撮影装置１０のＩＰアドレス、撮影装置１０が設置された位置を示す座標値、および撮影装置１０の設置方向が関連づけられた設置情報を管理している。これらのうち、座標値は、撮影装置１０が設置された配信拠点のマップ上の座標値を示す。また、撮影装置１０の設置方向は、撮影装置１０の正面が向いているマップ上の方向を示す。なお、この設置情報は、配信拠点または配信端末３０の管理者によって設定される。

○配信拠点管理テーブル
図１９は、配信拠点管理テーブルの一例を示す概念図である。記憶部５０００には、図１９に示されている配信拠点管理テーブルによって構成されている配信拠点管理ＤＢ５００５が構築されている。この配信拠点管理テーブルは、配信拠点を識別するための拠点ＩＤおよび拠点名、並びに配信拠点の状態を示す配信拠点情報を関連づけて管理している。このうち、配信拠点情報は、配信拠点のマップを示すマップ画像データおよび配信拠点の座標値を示す拠点座標情報にアクセスするためのＵＲＬ(Uniform Resource Locator)を含む。通信端末７０は、通信管理システム５０から送信されたＵＲＬへアクセスすることで、配信拠点のマップ画像データおよび拠点座標情報を取得することができる。なお、ＵＲＬは、記憶先情報の一例である。記憶先情報は、ＵＲＬに限られず、ＵＲＩ(Uniform Resource Identifier)等であってもよい。

○通信端末の機能構成○
次に、図１４を用いて、通信端末７０の機能構成について説明する。通信端末７０は、送受信部７１、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、注目点特定部７７、生成部７８および記憶・読出部７９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された通信端末用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能または手段である。また、通信端末７０は、図１２に示されているＲＯＭ７０２、ＲＡＭ７０３およびＨＤ７０４によって構築される記憶部７０００を有している。

送受信部７１は、主に、ネットワークＩ／Ｆ７０９に対するＣＰＵ７０１の処理によって実現され、通信ネットワーク１００を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。

受付部７２は、主に、キーボード７１１またはポインティングデバイス７１２に対するＣＰＵ７０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。画像・音処理部７３は、主に、ＣＰＵ７０１の処理によって実現され、画像・音処理部３３と同様の機能を実現する。表示制御部７４は、主に、ＣＰＵ７０１の処理によって実現され、ディスプレイ７０６に、各種画像または文字等を表示させる。判断部７５は、ＣＰＵ７０１の処理によって実現され、各種判断を行う。

作成部７６は、主に、ＣＰＵ７０１の処理によって実現され、作成部３６と同様の機能を実現する。注目点特定部７７は、主に、ＣＰＵ７０１の処理によって実現され、撮影装置１０が設置されている配信拠点における注目点を特定する。注目点特定部７７は、配信システム３から配信された注目点指定情報および注目点管理ＤＢ７００３に記憶された注目点情報に基づいて、表示画面に表示させる注目点を特定する。

生成部７８は、主に、ＣＰＵ７０１の処理によって実現され、所定領域情報を生成する。生成部７８は、例えば、撮影装置１０によって撮影された撮影画像における所定領域を示す所定領域情報を生成する。

記憶・読出部７９は、主に、ＣＰＵ７０１の処理によって実現され、記憶部７０００に、各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

○画像種類管理テーブル
図２０（Ａ）は、画像種類管理テーブルの一例を示す概念図である。記憶部７０００には、図２０（Ａ）に示されている画像種類管理テーブルによって構成されている画像種類管理ＤＢ７００１が構築されている。この画像種類管理テーブルは、図１５（Ｂ）に示されている画像種類管理テーブルと同じデータ構成であるため、説明を省略する。

○所定領域管理テーブル
図２０（Ｂ）は、所定領域管理テーブルの一例を示す概念図である。記憶部７０００には、図２０（Ｂ）に示されている所定領域管理テーブルによって構成されている所定領域管理ＤＢ７００２が構築されている。この所定領域管理テーブルは、撮影画像データの送信元の配信端末のＩＰアドレス、撮影画像データを撮影した撮影装置のＩＰアドレス、および表示中の所定領域画像を示す所定領域情報を関連づけて管理している。所定領域情報は、図６および図７に示されているように、撮影画像から、この撮影画像における所定領域Ｔの画像（所定領域画像）に変換するための変換パラメータである。

○注目点管理テーブル
図２１は、注目点管理テーブルの一例を示す概念図である。記憶部７０００には、図２１に示されている注目点管理テーブルによって構成されている注目点管理ＤＢ７００３が構築されている。この注目点管理テーブルは、撮影画像データの送信元の配信端末のＩＰアドレス、撮影画像データを撮影した撮影装置のＩＰアドレス、および各注目点を表示するための所定領域情報を示す注目点領域情報を関連づけて管理している。このうち、注目点領域情報は、注目点ごとに、全天球画像におけるそれぞれの注目点を表示するための方向および画角を示す所定領域情報（動径ｒ、極角θ、方位角φ）を含む。図２１に示されている注目点管理テーブルは、予め設定されている注目点が２箇所である場合の例を示す。通信端末７０は、例えば、注目点が指定された場合、画像送信元である配信端末３０から配信された全天球画像を、注目点管理デーブルに記憶された注目点領域情報に基づいて透視射影変換することで、表示させる画像を注目点が写るような所定領域画像に変更する。注目点領域情報は、第１の所定領域情報の一例である。

●実施形態の処理または動作
○セッション参加処理○
続いて、図２２乃至図２８を用いて、実施形態に係る画像通信システムの処理または動作について説明する。まず、図２２および図２３を用いて、特定の通信セッションへの参加処理について説明する。図２２は、画像通信システムにおける特定の通信セッションへの参加処理の一例を示すシーケンス図である。図２３は、通信セッションの選択画面の一例を示す図である。

まず、閲覧拠点Ａの利用者（例えば、利用者Ａ１）が通信セッションの選択画面の表示を行う操作を行い、受付部７２が選択画面を表示する操作を受け付けることで、通信端末７０Ａの表示制御部７４は、ディスプレイ７０６に、図２１に示されている選択画面８００を表示させる（ステップＳ１１）。図２１に示されている選択画面８００は、選択対象である各フロアＡ１，Ｂ１，Ｂ２等を示す選択ボタン８１０ａ，８１０ｂ，８１０ｃ等を表示している。また、各選択ボタン８１０ａ等は、各セッションＩＤを関連づけている。

ここで、利用者Ａ１が配信拠点である仮想のフロアの所望の選択ボタン（ここでは選択ボタン８１０ａ）を選択した場合、受付部７２は、通信セッションの選択を受け付ける（ステップＳ１２）。そして、送受信部７１は、通信管理システム５０に対して、配信拠点との通信セッションへの参加要求を送信する（ステップＳ１３）。この参加要求は、ステップＳ１２で選択を受け付けられた通信セッションを示すセッションＩＤ、および要求元端末である通信端末７０ＡのＩＰアドレスを含む。これにより、通信管理システム５０の送受信部５１は、参加要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、セッション管理ＤＢ５００１（図１７（Ａ）参照）において、ステップＳ１３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ１３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行なう（ステップＳ１４）。また、記憶・読出部５９は、セッション管理ＤＢ５００１において、参加処理が行われた通信セッションのセッションＩＤに関連づけられた拠点ＩＤを読み出す。次に、記憶・読出部５９は、ステップＳ１４で読み出された拠点ＩＤを検索キーとして配信拠点管理ＤＢ５００５（図１９参照）を検索することにより、読み出された拠点ＩＤと同じ拠点ＩＤに関連づけられた配信拠点情報を読み出す（ステップＳ１５）。そして、送受信部５１は、通信端末７０Ａに対して、参加要求応答を送信する（ステップＳ１６）。この参加要求応答は、ステップＳ１３によって受信されたセッションＩＤ、ステップＳ１５で読み出された配信拠点情報および参加処理結果を含む。また、この参加処理結果は、ステップＳ１４で読み出された拠点ＩＤを含む。これにより、通信端末７０Ａの送受信部７１は、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。

○画像種類情報の管理処理○
次に、図２４を用いて、画像種類情報の管理処理を説明する。図２４は、画像種類情報の管理処理を示すシーケンス図である。

まず、配信拠点の利用者が、配信端末３０に、撮影装置１０を接続すると、撮影装置１０の記憶・読出部１９は、記憶部１０００に記憶されている自装置（撮影装置１０）のＧＵＩＤを読み出す。そして、撮影装置１０の通信部１１は、配信端末３０に対して自装置のＧＵＩＤを送信する（ステップＳ３１）。これにより、配信端末３０の通信部３７は、撮影装置１０のＧＵＩＤを受信する。

次に、配信端末３０の判断部３５は、撮影装置管理ＤＢ３００１（図１５（Ａ）参照）において、ステップＳ３１で受信されたＧＵＩＤ中のベンダＩＤおよびプロダクトＩＤと、同じベンダＩＤおよびプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（ステップＳ３２）。具体的には、撮影装置管理ＤＢ３００１において、同じベンダＩＤおよびプロダクトＩＤが管理されている場合、判断部３５は、撮影装置１０が特殊画像（ここでは、全天球画像）を撮影する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ３００１において、同じベンダＩＤおよびプロダクトＩＤが管理されていない場合には、判断部３５は、撮影装置１０が一般画像を撮影する撮影装置であると判断する。

次に、記憶・読出部３９は、画像種類管理ＤＢ３００２（図１５（Ｂ）参照）に対して、撮影装置１０のＩＰアドレスと、ステップＳ３２で判断された判断結果である画像種類情報とを関連づけて記憶する（ステップＳ３３）。この状態では、画像データＩＤは関連づけられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名または画像種類（一般画像、特殊画像）である。

次に、送受信部３１は、通信管理システム５０に対して、画像種類情報の追加要求を送信する（ステップＳ３４）。この画像種類情報の追加要求は、ステップＳ３３で記憶した撮影装置１０のＩＰアドレス、配信拠点の拠点ＩＤおよび画像種類情報を含む。これにより、通信管理システム５０の送受信部５１は、画像種類情報の追加要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、ステップＳ３４によって受信された拠点ＩＤを検索キーとして、セッション管理ＤＢ５００１（図１７（Ａ）参照）を検索することにより、対応するセッションＩＤを読み出す（ステップＳ３５）。

次に、生成部５３は、固有の画像データＩＤを生成する（ステップＳ３６）。そして、記憶・読出部５９は、画像種類管理ＤＢ５００２（図１７（Ｂ）参照）に、新たなレコードとして、ステップＳ３５で読み出されたセッションＩＤ、ステップＳ３６で生成された画像データＩＤ、並びにステップＳ３４で受信された撮影装置１０のＩＰアドレスおよび画像種類情報を関連づけて記憶する（ステップＳ３７）。そして、送受信部５１は、配信端末３０に対して、ステップＳ３６で生成された画像データＩＤを送信する（ステップＳ３８）。これにより、配信端末３０の送受信部３１は、画像データＩＤを受信する。

次に、配信端末３０の記憶・読出部３９は、画像種類管理ＤＢ３００２（図１５（Ｂ）参照）に、ステップＳ３３で記憶しておいた撮影装置１０のＩＰアドレスおよび画像種類情報に関連づけて、ステップＳ３８で受信された画像データＩＤを記憶する（ステップＳ３９）。

一方、通信管理システム５０の送受信部５１は、通信端末７０Ａに対して、画像種類情報の追加通知を送信する（ステップＳ４０）。この画像種類情報の追加通知は、ステップＳ３６で生成された画像データＩＤ、並びにステップＳ３７で記憶された撮影装置１０のＩＰアドレスおよび画像種類情報を含む。これにより、通信端末７０Ａの送受信部７１は、画像種類情報の追加通知を受信する。

次に、通信端末７０Ａの記憶・読出部７９は、画像種類管理ＤＢ７００１（図２０（Ａ）参照）に、新たなレコードとして、ステップＳ４０で受信された、画像データＩＤ、撮影装置１０のＩＰアドレスおよび画像種類情報を関連づけて記憶する（ステップＳ４１）。以上より、配信端末３０と通信端末７０Ａでは、各画像種類管理ＤＢ３００２，７００１で同じ情報を共有することができる。なお、同じように、他の通信端末である通信端末７０Ｂにも画像種類情報の追加通信が送信され、通信端末７０Ｂでも、画像種類管理ＤＢ７００１に記憶される。

○撮影画像データの通信処理○
次に、図２５および図２６を用いて、配信拠点で得られた撮影画像データおよび音データが、通信管理システム５０を介して、各通信端末（通信端末７０Ａ，７０Ｂ）へ送信される処理について説明する。図２５は、画像通信システムにおける撮影画像データおよび音データの通信処理の一例を示すシーケンス図である。なお、図２５は、一台の撮影装置１０によって取得された撮影画像を各通信端末７０に表示させる例を示すが、配信拠点に設置された他の撮影装置１０によって取得された複数の撮影画像を表示させる場合においても同様の処理が行われる。

まず、撮影装置１０の通信部１１は、配信端末３０に対して、被写体や風景等を撮影して取得された撮影画像データおよび集音して取得された音データを送信する（ステップＳ５１）。この場合、撮影装置１０は、全天球画像の元になる二つの半球画像を得ることができる装置であるため、図３（Ａ），（Ｂ）に示されているように、撮影画像データは、二つの半球画像のデータによって構成されている。これにより、配信端末３０の通信部３７は、撮影画像データおよび音データを受信する。

次に、配信端末３０の送受信部３１は、通信管理システム５０に対して、撮影装置１０から送られてきた撮影画像データおよび音データを送信する（ステップＳ５２）。この送信は、送信対象である撮影画像データを識別するための画像データＩＤを含む。これにより、通信管理システム５０の送受信部５１は、撮影画像データおよび音データ、並びの画像データＩＤを受信する。

次に、通信管理システム５０の送受信部５１は、配信端末３０と同じセッションに参加している通信端末（通信端末７０Ａ,７０Ｂ）に対して、撮影画像データおよび音データを送信する（ステップＳ５３,Ｓ５５）。これら各送信は、送信対象である撮影画像データを識別するための画像データＩＤを含む。これにより、通信端末７０Ａおよび通信端末７０Ｂの送受信部７１は、それぞれ撮影画像データおよび音データ、並びに画像データＩＤを受信する。そして、通信端末７０Ａおよび通信端末７０Ｂの表示制御部７４は、受信された各種データに基づいて、撮影画像をディスプレイ７０６にそれぞれ表示させる（ステップＳ５４,Ｓ５６）。

ここで、図２６を用いて、通信端末７０に所定領域画像を表示させる処理について説明する。図２６は、所定領域画像の表示処理の一例を示すシーケンス図である。なお、図２６は、通信端末７０Ａに所定領域画像を表示させる処理について説明するが、他の通信端末７０（例えば、通信端末７０Ｂ）に所定領域画像を表示させる場合においても同様の処理が行われる。

まず、利用者Ａ１が通信端末７０Ａに表示された撮影画像である全天球画像に対する所定の入力操作を行うことで、通信端末７０Ａの受付部７２は、所定の表示位置の選択を受け付ける（ステップＳ７１）。次に、送受信部７１は、通信管理システム５０に対して、所定領域情報の取得を要求する旨を示す所定領域情報取得要求を送信する（ステップＳ７２）。この所定領域情報取得要求は、ステップＳ７１で受け付けられた選択位置の位置座標を含む。これにより、通信管理システム５０の送受信部５１は、通信端末７０Ａから送信された所定領域情報取得要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、ステップＳ５２で受信された撮影装置１０のＩＰアドレスと検索キーとして設置情報管理ＤＢ５００４（図１８参照）を検索することにより、受信されたＩＰアドレスと同じＩＰアドレスに関連づけられた設置情報を読み出す（ステップＳ７３）。

そして、生成部５３は、ステップＳ７２で受信された位置座標に対応する所定領域情報を生成する（ステップＳ７４）。具体的には、生成部５３は、全天球画像に対して、受信された位置座標が中心にくるような所定領域画像（透視射影変換画像）表示させるための所定領域情報を生成する。ここで、動径（ｒ）と極角（θ）は、予め設定された所定の値が用いられるものとする。これは、透視射影変換画像の画角と仰角を一定として処理することを示している。方位角（φ）は、ステップＳ７３で読み出された設置情報に示されている撮影装置１０の設置方向と撮影装置１０から位置座標の方向との相対値として算出することができる。そして、生成部５３は、算出された結果をもとに、撮影装置１０が取得する全天球画像から位置座標を中心とした所定領域画像を表示（透視射影表示）させるための所定領域情報を生成する。なお、撮影装置１０の設置位置（座標値）および設置方向（撮影装置１０の正面がどの方向を向いているか）は、予め管理者等によって設置情報管理ＤＢ５００４に設定されている。

次に、記憶・読出部５９は、所定領域管理ＤＢ５００３（図１８（Ａ）参照）ステップＳ７４で生成された所定領域情報を、撮影装置１０のＩＰアドレスに関連づけて記憶する（ステップＳ７５）。そして、送受信部５１は、通信端末７０Ａに対して、ステップＳ７４で生成された所定領域情報を送信する（ステップＳ７６）。これにより、通信端末７０Ａの送受信部７１は、通信管理システム５０から送信された所定領域情報を受信する。

次に、通信端末７０Ａの記憶・読出部７９は、所定領域管理ＤＢ７００２（図２０（Ｂ）参照）に対して、ステップＳ７６で受信された所定領域情報を撮影装置１０のＩＰアドレスに関連づけて記憶する（ステップＳ７７）。

次に、利用者Ａ１による所定の入力操作によって、受付部７２は、ステップＳ５３で受信された撮影画像データのうち、通信端末７０Ａに表示させる表示画像の選択を受け付ける（ステップＳ７８）。なお、通信端末７０Ａが複数の撮影画像を同時に表示することが可能な場合、または受信された撮影画像が通信端末７０Ａで同時に表示可能な数より少ない場合において、ステップＳ７８の処理は省略されてもよい。

次に、画像・音処理部７３は、ステップＳ７６で受信された所定領域情報によって特定される所定領域の画像を表示させるため、受信された所定領域情報を用いた透視射影変換を行うことで、所定領域画像を生成する（ステップＳ７８）。そして、表示制御部７４は、ステップＳ７８で生成された所定領域画像を、ディスプレイ７０６に表示させる（ステップＳ７９）。これにより、通信端末７０Ａは、表示された全天球画像における、利用者Ａ１によって選択された表示位置を含む所定領域画像を表示させることができる。

○注目点の表示処理○
次に、図２７および図２８を用いて、通信端末７０に配信拠点の注目点の画像を表示させる処理について説明する。図２７は、画像通信システムにおける注目点の表示処理の一例を示すシーケンス図である。図２７は、図２５に示されている処理によって、通信端末７０（７０Ａ,７０Ｂ）に撮影画像が表示されている場合の処理を示す。

まず、注目点指定機器２０の検知部２２は、注目点の指定を検知する（ステップＳ１０３）。この場合、検知部２２は、例えば、画像認識または各種センサによる検知結果によって配信拠点による異常発生または注目して欲しい事象が発生を検知した場合、注目点の指定を検知する。また、検知部２２は、上述のような自動的な検知処理のほか、配信拠点の作業者等によって注目点指定機器２０に備えられた専用ボタン等の操作を受け付けることで、注目点の指定を検知する構成であってもよい。

次に、通信部２１は、配信端末３０に対して、注目点指定情報を送信する（ステップＳ１０２）。この注目点指定情報は、注目点指定機器２０を識別する注目点ＩＤを含む。これにより、配信端末３０の通信部３７は、注目点指定機器２０から送信された注目点指定情報を受信する。

次に、配信端末３０の送受信部３１は、通信管理システム５０に対して、注目点指定機器２０から送信された注目点指定情報を送信する（ステップＳ１０３）。これにより、通信管理システム５０の送受信部５１は、注目点指定情報を受信する。

次に、通信管理システム５０の送受信部５１は、配信端末３０と同じセッションに参加している通信端末（通信端末７０Ａ,７０Ｂ）に対して、注目点指定情報を送信する（ステップＳ１０４,Ｓ１０６）。これにより、通信端末７０Ａおよび通信端末７０Ｂの送受信部７１は、それぞれ注目点指定情報を受信する。そして、通信端末７０Ａおよび通信端末７０Ｂは、受信された注目点指定情報を用いて、注目点の表示処理を実行する（ステップＳ１０５,Ｓ１０７）。

ここで、図２８を用いて、通信端末７０Ａ,７０Ｂにおける注目点の表示処理について詳細に説明する。図２８は、通信端末における注目点の表示処理の一例を示すフローチャートである。なお、通信端末７０Ａ,７０Ｂの処理は同様であるため、図２８は、通信端末７０における処理として説明する。

まず、判断部７５は、送受信部７１によって注目点指定情報が受信された場合、表示画面の表示変更の有無を判断する（ステップＳ２０１）。具体的には、判断部７５は、受付部７２によって利用者の所定の入力操作を受け付けることで、表示変更を受け入れるか否かを判断する。これにより、画像通信システム１は、注目点に対する表示変更を行う通信端末と、表示変更を行わずに現状の表示状態をそのまま継続する通信端末とを併存させることができる。そのため、利用者は、配信拠点の別の箇所を見ている最中である場合等の表示を変更したくない場合に、注目点指定情報が受信された場合であっても、通信端末７０の表示を変更しないまま、全天球画像の別の領域を閲覧し続けることができる。

判断部７５は、表示画面の表示変更を受け入れると判断する場合（ステップＳ２０１のＹＥＳ）、処理をステップＳ２０２へ移行させる。一方で、判断部７５は、表示画面の表示変更を受け入れないと判断する場合（ステップＳ２０１のＮＯ）、表示変更を行わずに処理を終了する。

次に、注目点特定部７７は、表示された撮影画像を撮影した撮影装置１０のＩＰアドレスを検索キーとして注目点管理ＤＢ７００３（図２１参照）を検索することで、撮影装置１０のＩＰアドレスと同じＩＰアドレスに関連づけれた注目点領域情報を、記憶・読出部７９を介して読み出して取得する（ステップＳ２０２）。この場合、注目点特定部７７は、注目点領域情報のうち、受信された注目点指定情報に含まれる注目点ＩＤに対応する注目点領域情報を取得する。

次に、利用者Ａ１による所定の入力操作によって、受付部７２は、ステップＳ７６で取得された注目点領域情報のうち、表示させる表示画像の選択を受け付ける（ステップＳ２０３）。なお、通信端末７０が複数の撮影画像を同時に表示することが可能な場合、または受信された撮影画像データの数が通信端末７０で同時に表示可能な数より少ない場合において、ステップＳ２０３の処理は省略されてもよい。

次に、画像・音処理部７３は、ステップＳ２０３で選択された表示画像に対応する注目点領域情報を用いた透視射影変換を行うことで、所定領域画像を生成する（ステップＳ２０４）。そして、表示制御部７４は、ステップＳ２０４で生成された所定領域画像へ、ディスプレイ７０６の表示を変更する（ステップＳ２０５）。表示制御部７４は、例えば、ステップＳ７９で表示された所定領域画像（例えば、第２の所定領域画像）から、ステップＳ２０４で生成された所定領域画像（例えば、第１の所定領域画像）に表示を切り替える。

通信端末７０は、このような処理を、表示された全ての撮影画像に対して実行する。この場合、通信端末７０は、現在表示されている全ての撮影画像ごとの、注目点領域情報を取得する（ステップＳ２０２）ことで、全ての撮影画像に注目点が表示される状態に変更することができる。

このように、通信端末７０は、注目点指定機器２０によって指定された注目点の位置を、予め設定された注目点領域情報に基づいて取得し、取得した注目点領域情報に基づいて指定された注目点が表示されるように生成された所定領域画像を表示する。これにより、通信端末７０は、指定された注目点を表示させるように全天球画像の表示位置を変更することで、撮影装置１０に対する操作を行わずに、注目点が写る画像を表示させることができる。

また、従来、通常の平面画像を撮影する撮影装置を用いる場合、通信端末に注目点を表示させるためには、撮影装置の向きを物理的に変える必要があった。この場合、他の通信端末に表示させる画像も注目点が表示された画像になってしまう。そこで、画像通信システム１は、撮影装置１０によって撮影された全天球画像を用いることで、通信端末７０では全天球画像の注目点を写す領域のみを切り出して表示させ、他の通信端末７０では別の領域を表示させることができる。

○注目点の表示処理の変形例○
次に、図２９を用いて、画像通信システム１における注目点の表示処理の変形例について説明する。図２９は、画像通信システムにおける注目点の表示処理の変形例を示すシーケンス図である。図２９は、配信拠点に注目点指定機器２０が設けられていない場合に、配信拠点の注目点を通信端末７０に表示させる場合の例を示す。

まず、撮影装置１０の通信部１１は、配信端末３０に対して、撮影画像データおよび音データを送信する（ステップＳ３０１）。これにより、配信端末３０の送受信部３１は、撮影装置１０から送信された撮影画像データおよび音データを受信する。

配信端末３０の判断部３５は、取得された撮影画像データに基づいて、注目点の指定の有無を判断する（ステップＳ３０２）。具体的には、判断部３５は、例えば、予め設定された配信拠点の基準画像と取得された撮影画像との一致度または類似度等のパラメータが所定の範囲外である場合、注目点の指定を行うと判断する。また、判断部３５は、例えば、パラメータが所定の範囲外である全天球画像の位置を、指定する注目点として判断する。なお、以下は、判断部３５によって注目点の指定を行うと判断された場合について説明する。

次に、記憶・読出部３９は、ステップＳ３０２で注目点の指定を行うと判断された場合、指定する注目点として判断された座標値に基づいて、注目点管理ＤＢ３００３に記憶された注目点指定情報を読み出す（ステップＳ３０３）。具体的には、記憶・読出部３９は、注目点管理ＤＢ３００３に記憶された座標値のうち、指定する注目点の座標値に最も近い座標値に関連づけられた注目点ＩＤを注目点指定情報として読み出す。

そして、送受信部３１は、通信管理システム５０に対して、ステップＳ３０１で受信された撮影画像データおよび音データ、並びにステップＳ３０３で読み出された注目点指定情報を送信する（ステップＳ３０４）。これにより、通信管理システム５０の送受信部５１は、配信端末３０から配信された撮影画像データ、音データおよび注目点指定情報を受信する。以降、ステップＳ３０５～ステップＳ３０８の処理は、図２７のステップＳ１０４～ステップＳ１０７の処理と同様であるため、説明を省略する。

このように、実施形態の変形例に係る画像通信システムは、配信拠点に注目点指定機器２０が設置されていない場合であっても、配信装置が撮影画像の内容に基づいて注目点の指定の有無および注目点の位置を判断することによって、注目すべき領域を通信端末７０に表示させる。これにより、画像通信システム１は、注目点指定機器２０を備えていない場合であっても、配信端末３０によって注目点の指定を行うことができるため、閲覧拠点の利用者に指定された注目点を閲覧させることができる。

●実施形態の効果
以上説明したように、画像通信システム１は、閲覧拠点の通信端末７０に対して配信システム３から注目点の指定が行われた場合に、配信拠点の撮影装置１０に対する操作を行わずに、指定された注目点の画像を通信端末７０に表示させることができる。

また、画像通信システム１は、通信端末７０で全天球画像における注目点を写す領域のみを切り出して表示させることで、例えば、他の通信端末７０で別の領域が表示されている場合であっても、他の通信端末７０では表示変更を行わずに、全天球画像の任意の領域を表示させ続けることができる。

上記実施形態において、所定領域Ｔは、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定されるが、これに限るものではない。例えば、画角を一定にして利用する場合等、所定領域Ｔは、図７において、中心点ＣＰまたは矩形の所定領域Ｔの四隅の任意の点を示す所定点情報によって特定されるようにしてもよい。また、上記実施形態では、全天球画像（全天球パノラマ画像）の一例として、撮影画像（全体画像）が三次元のパノラマ画像である場合について説明したが、二次元のパノラマ画像であってもよい。

上記実施形態において、閲覧拠点の通信端末７０は、閲覧専用の端末である必要は無く、この端末自身から撮影画像が配信されていて、配信機能と閲覧機能を同時に行える構成となっていてもよい。同様に、配信拠点の配信端末３０は、配信専用の端末である必要はなく、他の拠点から配信された撮影画像を表示し、配信機能と閲覧機能を同時に行える構成となっていてもよい。このように、画像通信システム１は、複数の拠点の間において、撮影画像の双方向の通信を行うような構成であってもよい。

●まとめ●
以上説明したように、本発明の一実施形態に係る通信端末は、全体画像（例えば、全天球画像）における所定領域の画像を表示可能な通信端末７０であって、全体画像が撮影された配信拠点における注目点を含む所定領域（第１の所定領域の一例）を示す注目点領域情報（第１の所定領域情報の一例）を記憶する注目点管理ＤＢ７００３（記憶手段の一例）と、配信拠点に設置された配信システム３から、注目点を示す注目点指定情報を受信する送受信部７１（受信手段の一例）と、受信された注目点指定情報に示されている注目点に対応する注目点領域情報に基づいて、注目点を含む所定領域画像（第１の所定領域画像の一例）を表示する表示制御部７４（表示制御手段の一例）と、を備える。これにより、通信端末７０は、撮影装置１０に対する処理を行わずに、配信システム３で指定された注目点に対応する配信拠点の画像を表示させることができる。

また、本発明の一実施形態に係る通信端末は、全体画像（例えば、全天球画像）における第２の所定領域の画像である第２の所定領域画像を表示するとともに、注目点指定情報が受信された場合、第２の所定領域画像から注目点を含む所定領域画像（第１の所定領域画像の一例）に表示を変更する。これにより、通信端末７０は、表示させる全体画像における領域を、配信システム３で指定された注目点を含む領域に変更することができる。

さらに、本発明の一実施形態に係る通信端末は、注目点指定情報が受信された場合、表示変更の有無を判断する判断部７５（第１の判断手段の一例）を備え、表示変更を行うと判断された場合、第２の所定領域画像から注目点を含む所定領域画像（第１の所定領域画像の一例）に表示を変更する。これにより、通信端末７０は、注目点指定情報が受信された場合であっても、注目点に対する表示変更を行う場合と、表示変更を行わずに現状の表示状態をそのまま継続する場合を切り替えることができる。

また、本発明の一実施形態に係る画像通信システムは、通信端末７０と、配信システム３と、を備える画像通信システム１である。配信システム３は、配信拠点が撮影された全体画像（例えば、全天球画像）を取得する撮影装置１０（取得手段の一例）と、取得された全体画像を、通信端末７０へ送信する送受信部３１（送信手段の一例）と、を備える。また、配信システム３は、注目点を指定する注目点指定機器２０を備え、注目点指定機器２０によって指定された注目点を示す注目点指定情報を、通信端末７０へ送信する。これにより、画像通信システム１は、注目点指定機器２０によって指定された注目点を含む所定領域画像を、通信端末７０に表示させることで、閲覧拠点の利用者に注目点に対応する配信拠点の画像を閲覧させることができる。また、画像通信システム１は、配信システム３から送信された注目点指定情報を用いて通信端末７０が注目点を表示させるための処理を行うことで、複数の通信端末７０に異なる領域の画像を表示させることができる。

さらに、本発明の一実施形態に係る画像通信システムにおいて、配信システム３は、取得された全体画像（例えば、全天球画像）に基づいて、注目点の指定の有無を判断する判断部３５（第２の判断手段の一例）を備え、注目点の指定を行うと判断された場合、当該注目点を示す注目点指定情報を、通信端末７０へ送信する。これにより、画像通信システム１は、配信システム３によって注目点の指定を行うことができるため、閲覧拠点の利用者に指定された注目点を閲覧させることができる。

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習および深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

これまで本発明の一実施形態に係る通信端末、画像通信システム、画像表示方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１ 画像通信システム
３ 配信システム
１０ 撮影装置（取得手段の一例）
２０ 注目点指定機器
３０ 配信端末
３１ 送受信部（送信手段の一例）
３５ 判断部（第２の判断手段の一例）
５０ 通信管理システム
７０ 通信端末
７１ 送受信部（受信手段の一例）
７４ 表示制御部（表示制御手段の一例）
７５ 判断部（第１の判断手段の一例）
７００３ 注目点管理ＤＢ（記憶手段の一例）

特開２０１７－２２５８７号公報

Claims (10)

1. 全体画像における所定領域の画像を表示可能な通信端末であって、
   前記全体画像が撮影された配信拠点における注目点を含む第１の所定領域を示す第１の所定領域情報を記憶する記憶手段と、
   前記配信拠点に設置された配信システムから、前記注目点を示す注目点指定情報を受信する受信手段と、
   前記受信手段で受信された前記注目点指定情報に示されている前記注目点に対応する前記第１の所定領域情報に基づいて、第１の所定領域画像を表示する表示制御手段と、
   を備える通信端末。
2. 前記表示制御手段は、前記全体画像における第２の所定領域の画像である第２の所定領域画像を表示するとともに、前記注目点指定情報が受信された場合、前記第２の所定領域画像から前記第１の所定領域画像に表示を変更する請求項１に記載の通信端末。
3. 請求項２に記載の通信端末であって、更に、
   前記注目点指定情報が受信された場合、表示変更の有無を判断する第１の判断手段を備え、
   前記表示制御手段は、前記表示変更を行うと判断された場合、前記第２の所定領域画像から前記第１の所定領域画像に表示を変更する通信端末。
4. 前記表示制御手段は、異なる撮影装置によって撮影された全体画像における前記第１の所定領域の画像である複数の前記第１の所定領域画像を表示する請求項１乃至３のいずれか一項に記載の通信端末。
5. 前記全体画像は、全天球画像である請求項１乃至４のいずれか一項に記載の通信端末。
6. 請求項１乃至５のいずれか一項に記載の通信端末と、前記配信システムと、を備える画像通信システムであって、
   前記配信システムは、
   前記配信拠点が撮影された前記全体画像を取得する取得手段と、
   前記取得手段で取得された前記全体画像を、前記通信端末へ送信する送信手段と、
   を備える画像通信システム。
7. 請求項６に記載の画像通信システムであって、
   前記配信システムは、更に、
   前記注目点を指定する注目点指定機器を備え、
   前記送信手段は、前記注目点指定機器によって指定された前記注目点を示す前記注目点指定情報を、前記通信端末へ送信する画像通信システム。
8. 請求項６に記載の画像通信システムであって、
   前記配信システムは、更に、
   前記取得手段で取得された前記全体画像に基づいて、前記注目点の指定の有無を判断する第２の判断手段を備え、
   前記注目点の指定を行うと判断された場合、前記送信手段は、当該注目点を示す前記注目点指定情報を、前記通信端末へ送信する画像通信システム。
9. 全体画像における所定領域の画像を表示可能な通信端末が実行する画像表示方法であって、
   前記通信端末は、
   前記全体画像が撮影された配信拠点における注目点を含む第１の所定領域を示す第１の所定領域情報を記憶する記憶手段を備え、
   前記配信拠点に設置された配信システムから、前記注目点を示す注目点指定情報を受信する受信ステップと、
   前記受信ステップで受信された前記注目点指定情報に示されている前記注目点に対応する前記第１の所定領域に基づいて、第１の所定領域画像を表示する表示制御ステップと、
   を実行する画像表示方法。
10. 全体画像における所定領域の画像を表示可能な通信端末に実行させるプログラムであって、
    前記通信端末は、
    前記全体画像が撮影された配信拠点における注目点を含む第１の所定領域を示す第１の所定領域情報を記憶する記憶手段を備え、
    前記配信拠点に設置された配信システムから、前記注目点を示す注目点指定情報を受信する受信ステップと、
    前記受信ステップで受信された前記注目点指定情報に示されている前記注目点に対応する前記第１の所定領域に基づいて、第１の所定領域画像を表示する表示制御ステップと、
    を実行させるプログラム。

Images