JP2019068261A - 配信システムおよび配信方法、配信装置および配信プログラム、ならびに、受信装置および受信プログラム - Google Patents

Abstract

【課題】広範囲を撮像した画像に対して指定された範囲に含まれる情報を、より効率的に転送可能とする。【解決手段】配信装置は、第１の撮影装置により撮影された第１の撮影画像を受信装置に配信し、第１の撮影装置の画角中心から指定位置に対応する位置に向けた方向を示す方向情報を生成し、方向情報に従い撮影方向を制御される第２の撮影装置により撮影された第２の撮影画像から情報を取得する。受信装置は、配信装置とネットワークを介して通信可能とされ、第１の撮影画像の指定領域の画像を第１の画像として表示部に表示させ、指定領域を変更する変更入力を受け付け、変更入力に応じて指定される、表示部に表示される第１の画像に対する位置を、指定位置として配信装置に対して指定する。受信装置は、第２の撮影画像から取得した情報を表示部に表示させる。【選択図】図１７

Description

本発明は、配信システムおよび配信方法、配信装置および配信プログラム、ならびに、受信装置および受信プログラムに関する。

近年、撮像位置を中心とした立体角３６０°の範囲である全天球を１回の撮像で撮像可能な、全天球カメラが実用化されている。また、全天球カメラで撮像した立体角３６０°の画角を持つ画像である全天球画像においては、全天球画像を観察する観察者が、任意の視点を選択することが可能である。また、この全天球画像をネットワークを介して転送することで、物理的に離れた場所の現在の状況を、配信先において任意の視点で確認することが可能な配信システムも、実用化されている。

また、特許文献１には、魚眼レンズを含む広角レンズを備える広角カメラと、パン・チルト機能を備えるパンチルトカメラとを組み合わせたシステムが記載されている。特許文献１によれば、広角カメラの撮像画像から移動物体の検出を行い、パンチルトカメラの撮像方向を検出された移動物体の方向に向けることで、移動物体の追跡を可能としている。

ところで、従来技術による、全天球カメラで撮像された全天球画像を転送する配信システムでは、転送先において任意の視点が選択された場合に、全天球画像の、選択された指定位置に応じた所定範囲を拡大した拡大画像を配信している。そのため、転送先において観察される画像の解像度が低くなってしまうという問題点があった。

この問題を解決するために、全天球画像自体の解像度を高くすることが考えられる。しかしながら、この場合、全天球カメラにおける画像取得センサのコストが嵩む一方で、全天球画像における大半の画像情報が利用されず無駄になってしまうという問題点があった。この問題点は、特許文献１によっても解決できていない。

本発明は、上記に鑑みてなされたものであって、広範囲を撮像した画像に対して指定された範囲に含まれる情報を、より効率的に転送可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、配信装置と、配信装置とネットワークを介して通信可能な受信装置とを含む配信システムであって、配信装置は、第１の撮影装置により撮影された第１の撮影画像を受信装置に配信する配信部と、第１の撮影装置の画角中心から指定位置に対応する位置に向けた方向を示す方向情報を生成する生成部と、方向情報に従い撮影方向を制御される第２の撮影装置により撮影された第２の撮影画像から情報を取得する取得部と、を備え、受信装置は、第１の撮影画像の指定領域の画像を第１の画像として表示部に表示させる表示制御部と、指定領域を変更する変更入力を受け付ける入力受付部と、入力受付部に受け付けられた変更入力に応じて指定される、表示部に表示される第１の画像に対する位置を、指定位置として配信装置に対して指定する位置指定部と、を備え、表示制御部は、取得部により取得された情報を表示部に対して表示させる。

本発明によれば、広範囲を撮像した画像に対して指定された範囲に含まれる情報を、より効率的に転送可能となるという効果を奏する。

図１は、第１の実施形態に係る配信システムの一例の構成を示すブロック図である。 図２は、第１の実施形態に適用可能な全天球カメラの外観の例を示す図である。 図３は、第１の実施形態に適用可能な全天球カメラの一例の構成を示すブロック図である。 図４は、第１の実施形態に適用可能な、全天球カメラによって撮影された映像の例を示す図である。 図５は、第１の実施形態に適用可能な、全天球カメラの映像処理部による全天球画像の生成の例を示す図である。 図６は、第１の実施形態に適用可能なパンチルトカメラの外観の例を示す図である。 図７は、第１の実施形態に適用可能なパンチルトカメラの一例の構成を示すブロック図である。 図８は、第１の実施形態に適用可能な配信装置の一例の構成を示すブロック図である。 図９は、第１の実施形態に係る配信装置の機能を説明するための一例の機能ブロック図を示す。 図１０は、第１の実施形態に適用可能な受信装置の一例の構成を示すブロック図である。 図１１は、第１の実施形態に係る受信装置の機能を説明するための一例の機能ブロック図を示す。 図１２は、第１の実施形態に係る配信装置の処理を示す一例のフローチャートである。 図１３は、第１の実施形態に係る受信装置の処理を示す一例のフローチャートである。 図１４は、実施形態に適用可能な、全天球画像に対して指定される指定領域について概略的に説明するための図である。 図１５は、実施形態に適用可能な、全天球画像に対して指定される指定領域について概略的に説明するための図である。 図１６は、第１の実施形態に係る処理の例をより具体的に示すシーケンス図である。 図１７は、第１の実施形態に係る処理の各時点における指定領域、ディスプレイの表示、および、パンチルトカメラの撮影方向の関係を概略的に示す図である。 図１８は、第１の実施形態に適用可能な、初期化処理に用いるパターン画像の例を示す図である。 図１９は、第１の実施形態に適用可能な、初期化処理を実行するための一例の構成を示すブロック図である。 図２０は、第１の実施形態に適用可能な、パンチルトカメラの撮影方向の初期化の方法について説明するための図である。 図２１は、第２の実施形態における処理ついて概略的に説明するための図である。 図２２は、第２の実施形態に係る配信装置の処理を示す一例のフローチャートである。 図２３は、第２の実施形態に係る受信装置の処理を示す一例のフローチャートである。 図２４は、第２の実施形態に係る処理の例をより具体的に示すシーケンス図である。 図２５は、第３の実施形態における処理について概略的に説明するための図である。 図２６は、第３の実施形態に係る配信装置の処理を示す一例のフローチャートである。 図２７は、第３の実施形態に係る受信装置の処理を示す一例のフローチャートである。 図２８は、第３の実施形態に係る処理の例をより具体的に示すシーケンス図である。

以下に添付図面を参照して、配信システムおよび配信方法、配信装置および配信プログラム、ならびに、受信装置および受信プログラムの実施形態を詳細に説明する。

（第１の実施形態の概要）
図１は、第１の実施形態に係る配信システムの一例の構成を示す。図１において、配信システム１は、配信装置１０と受信装置４０とを含む。配信装置１０は、ネットワーク２を介して受信装置４０と接続可能とされている。例えば、受信装置４０は、無線通信が可能であって、ネットワーク２に接続されるＡＰ（アクセスポイント）３と無線通信を用いて通信して、ネットワーク２に接続される。

配信装置１０は、第１の撮影装置としての全天球カメラ２０と、第２の撮影装置としてのパンチルトカメラ３０とが接続される。

全天球カメラ２０は、例えばそれぞれ画角が１８０°以上である２枚の魚眼レンズと、ミラーあるいはプリズムを含む光学系とを組み合わせて、画角が４π［ｓｒ］（ステラジアン）の撮影画像を取得することが可能とされている。以降、この全天球カメラ２０で撮影された、画角が４π［ｓｒ］（ステラジアン）の撮影画像を全天球画像と呼び、この４π［ｓｒ］の立体角の中心を画角中心と呼ぶ。また、全天球カメラ２０は、動画として撮影された全天球画像を出力可能である。全天球カメラ２０から出力された全天球画像は、第１の撮影画像として配信装置１０に渡される。全天球カメラ２０は、例えば三脚２１により保持されて設置される。

パンチルトカメラ３０は、直交する２軸にて所定の角度範囲内で撮影方向を変更可能とされる。例えば、パンチルトカメラ３０は、配信装置１０から供給される方向情報に従い、撮影方向が変更される。また、パンチルトカメラ３０は、配信装置１０の指示に従い撮影動作を行い、撮影された撮影画像を、第２の撮影画像として配信装置１０に渡す。

受信装置４０は、例えばタブレット型コンピュータや多機能型携帯端末装置を適用することができ、表示デバイスと、操作位置に応じた制御信号を出力する入力デバイスとが一体的に構成されたタッチパネル４２を含み、例えばＡＰ３から受信した受信信号に基づく画面をタッチパネル４２に表示させることができる。また、タッチパネル４２は、表示される画面に対する操作に応じた制御信号を出力することができる。

このような構成の第１の実施形態に係る配信システム１において、配信装置１０は、全天球カメラ２０から出力された全天球画像を、ネットワーク２を介して受信装置４０に送信し、全天球画像を配信する。受信装置４０は、配信装置１０から配信された全天球画像を受信し、受信した全天球画像の一部である指定領域の画像を、タッチパネル４２に表示させる。

ここで、受信装置４０において、タッチパネル４２に指定領域の画像が表示された状態で、タッチパネル４２上の任意の位置にユーザの手指４１が接触された場合について考える。タッチパネル４２に手指４１が接触された後、タッチパネル４２に対する手指４１の接触状態が保たれたまま手指４１の位置が移動されたとする。受信装置４０は、この手指４１のタッチパネル４２への接触状態を保った状態での移動を検知すると、移動方向および移動距離に応じて、全天球画像における指定領域の位置を移動させる。ここでは、タッチパネル４２上での手指４１の移動方向と、全天球画像における指定領域の移動方向とを一致させるものとする。これにより、ユーザは、タッチパネル４２に表示される画面により、全天球画像の所望の領域を観察できる。

なお、手指４１をタッチパネル４２に接触させる行為を、「タップ」と呼ぶ。また、手指４１をタッチパネル４２に接触させた状態を保った状態でタッチパネル４２上を移動させる行為を、「スワイプ」と呼ぶ。

次に、ユーザが、スワイプを行う手指４１の動きを、手指４１のタッチパネル４２への接触を保った状態で所定時間（例えば１秒）停止させたものとする。この場合、受信装置４０は、タッチパネル４２に表示される指定領域における手指４１の位置に対応する全天球画像の位置（座標）を取得し、取得した位置を示す位置情報を配信装置１０に送信する。

配信装置１０は、受信装置４０から送信された位置情報を受信すると、受信した位置情報が示す全天球画像の位置の、全天球画像カメラ２０の画角中心からの方向を示す方向情報を求める。配信装置１０は、パンチルトカメラ３０の撮影方向が位置情報に基づき求めたこの方向情報に示される方向に向くようにパンチルトカメラ３０の方向制御を行う。配信装置１０は、パンチルトカメラ３０の方向制御が完了すると、パンチルトカメラ３０に撮影動作を実行させる。パンチルトカメラ３０で撮影された撮影画像は、配信装置１０に送信される。

配信装置１０は、パンチルトカメラ３０から受信した撮影画像を、受信装置４０に送信する。受信装置４０は、配信装置１０から渡された、パンチルトカメラ３０により撮影された撮影画像を、タッチパネル４２の画面に表示される指定領域の画像に対して合成して表示させる。パンチルトカメラ３０により撮影された撮影画像は、指定領域内の画像に対して高解像度とすることが容易であり、ユーザは、タッチパネル４２に表示される全天球画像に対して指定した位置の詳細な画像を観察することができる。

（第１の実施形態に適用可能な構成例）
図２は、第１の実施形態に適用可能な全天球カメラ２０の外観の例を示す。図２（ａ）は、全天球カメラ２０の上面、図２（ｂ）は、正面をそれぞれ示している。図２（ａ）において、レンズ２１０ａおよび２１０ｂは、それぞれ全天球カメラ２０の前面側および後方側の光を、２π［ｓｒ］以上の画角で集光する。図２（ｂ）において、全天球カメラ２０の前面側には、レンズ２１０ａの他に、シャッタボタン２１１、電源ランプ２１２およびモード表示部２１３が設けられる。モード表示部２１３は、例えば、全天球カメラ２０の撮影モードが静止画撮影モードおよび動画撮影モードのうち何れであるかを示す。

図３は、第１の実施形態に適用可能な全天球カメラ２０の一例の構成を示す。図３において、全天球カメラ２０は、撮影系の構成として、撮影ユニット２２０と、映像処理部２２３と、撮影制御部２２４とを含む。また、制御系の構成として、ＣＰＵ(Central Processing Unit)２３０と、ＲＯＭ(Read Only Memory)２３１と、ＲＡＭ(Random Access Memory)２３２と、操作Ｉ／Ｆ（インタフェース）２３３と、スイッチ２３４と、データＩ／Ｆ２３５と、無線Ｉ／Ｆ２３６と、これら各部を接続するバス２３７と、を含む。また、バス２３７には、映像処理部２２３および撮影制御部２２４も接続される。

制御系の構成において、ＣＰＵ２３０は、ＲＯＭ２３１に予め記憶されるプログラムに従い、ＲＡＭ２３２をワークメモリとして用いて動作して、この全天球カメラ２０の全体の動作を制御する。スイッチ２３４は、上述したシャッタボタン２１１など１以上の操作子を含み、操作に応じた制御信号を出力する。スイッチ２３４から出力された制御信号は、操作Ｉ／Ｆ２３３を介してバス２３７に送られ、ＣＰＵ２３０に渡される。

データＩ／Ｆ２３５は、ＵＳＢ(Universal Serial Bus)などのデータ通信に対応するインタフェースであって、ＣＰＵ２３０の制御に従い、外部の機器との間でデータ通信を行う。データＩ／Ｆ２３５による接続を行うためのコネクタは、例えば全天球カメラ２０の底面側に設けられる。無線Ｉ／Ｆ２３６は、ＣＰＵ２３０の制御に従い無線通信を行う。

撮影系の構成において、撮影ユニット２２０は、全天球カメラ２０の前面側の撮影を行うための前面撮影素子２２１ａと、後方側の撮影を行うための後方撮影素子２２１ｂとを含む。前面撮影素子２２１ａおよび後方撮影素子２２１ｂは、それぞれ例えばＣＣＤ(Charge Coupled Device)を用いて構成され、レンズ２１０ａおよび２１０ｂから入射された光を電気信号に変換して撮影信号として出力する。

撮像制御部２２４は、ＣＰＵ２３０の制御に従い、前面撮影素子２２１ａおよび後方撮影素子２２１ｂにおける撮影タイミングなど撮影処理の制御を行う。映像処理部２２３は、前面撮影素子２２１ａおよび後方撮影素子２２１ｂから出力された各信号に、ノイズ除去、レベル補正などの所定の処理を施し、その後Ａ／Ｄ変換してディジタル方式のデータによる撮影画像に変換する。さらに、映像処理部２２３は、前面撮影素子２２１ａおよび後方撮影素子２２１ｂによる各撮影画像を合成して、ＸＹ座標系による２次元の画像（全天球画像と呼ぶ）を生成する。映像処理部２２３で生成された全天球画像は、例えばデータＩ／Ｆ２３５から外部に出力することができる。

図４および図５を用いて、全天球カメラ２０において撮影される映像について説明する。

図４は、第１の実施形態に適用可能な、全天球カメラ２０によって撮影された映像の例を示す。図４（ａ）は、全天球カメラ２０の前面撮影素子２２１ａによって撮影された映像の例、図４（ｂ）は後方撮影素子２２１ｂによって撮影された映像の例をそれぞれ示している。なお、図４（ａ）と図４（ｂ）とでは、映像の天地が逆になっている。これは、光学系を簡略化し、全天球カメラ２０の筐体の前面および後方に配置されたレンズ２１０ａおよび２１０ｂから入射した光線を１つのミラーの表裏で上下に反射し、反射光の光軸上に前面撮影素子２２１ａと後方撮影素子２２１ｂとを配置したことによる。図４（ａ）および図４（ｂ）の映像は、映像処理部２２３により１の映像に合成され、図４（ｃ）に例示する、正距円筒図法による全天球画像となる。

図５は、第１の実施形態に適用可能な、全天球カメラ２０の映像処理部２２３による全天球画像の生成の例を示す。図５において、上段は、前面撮影素子２２１ａと後方撮影素子２２１ｂから得られる各映像の画素位置に対し、水平方向の角度θと垂直方向の角度φとの対応関係を示している。上段の左右では、一方の映像の天地が逆になっていることに対応し、角度φの正負が逆になっている。

映像処理部２２３は、上段に示す各映像に含まれる各画素に対し、角度θと角度φとを直交する座標に変換するルックアップテーブルに基づいて、中段に示す各映像への変換を行う。次いで、映像処理部２２３は、中段に示す２つの映像を合成し、下段に示す、角度θが０°〜３６０°である１の映像を生成する。そして、これを３角形状のポリゴンに分解し、角度θと角度φと対応付けて３次元データとする。これが全天球画像として、映像処理部２２３から出力される。

図６は、第１の実施形態に適用可能なパンチルトカメラ３０の外観の例を示す。図６において、パンチルトカメラ３０は、光学系３００を含むカメラ本体３０１と、回転部３０２と、台座３０３とを備える。カメラ本体３０１は、回転部３０２により、水平軸Ｈの周りに所定角度範囲で回転可能に保持される。また、回転部３０２は、台座３０３により、垂直軸Ｖの周りに所定角度範囲（例えば３６０°）で回転可能に保持される。すなわち、パンチルトカメラ３０は、水平軸Ｈおよび垂直軸Ｖの２軸により、撮影方向を所定の角度範囲内で自在に変更できる。パンチルトカメラ３０の撮影方向は、所定の制御信号に従い制御できる。

図７は、第１の実施形態に適用可能なパンチルトカメラ３０の一例の構成を示す。図７において、パンチルトカメラ３０は、撮影系の構成として、光学系３００と、光学系Ｉ／Ｆ３１３と、撮像素子３１１と、画像処理部３１２とを含む。また、上述した回転部３０２による２軸の回転を駆動する駆動系として、モータＭ３１４ａおよび３１４ｂと、駆動部３１５と、駆動Ｉ／Ｆ３１６とを含む。さらに、制御系の構成として、ＣＰＵ３２０と、ＲＯＭ３２１と、ＲＡＭ３２２と、操作部Ｉ／Ｆ３２３と、操作入力部３２４と、データＩ／Ｆ３２５と、これら各部を接続するバス３２６と、を含む。また、バス３２６には、画像処理部３１２、光学系Ｉ／Ｆ３１３および駆動Ｉ／Ｆ３１６も接続される。

制御系の構成において、ＣＰＵ３２０は、ＲＯＭ３２１に予め記憶されるプログラムに従い、ＲＡＭ３２２をワークメモリとして用いて動作して、このパンチルトカメラ３０の全体の動作を制御する。操作入力部３２４は、このパンチルトカメラ３０を手動にて操作するための各種操作子を含み、操作に応じた制御信号を出力する。操作入力部３２４から出力された制御信号は、操作部Ｉ／Ｆ３２３を介してバス３２６に送られ、ＣＰＵ３２０に渡される。

データＩ／Ｆ３２５は、ＵＳＢなどのデータ通信に対応するインタフェースであって、ＣＰＵ３２０の制御に従い、外部の機器との間でデータ通信を行う。データＩ／Ｆ３２５による接続を行うためのコネクタは、例えばパンチルトカメラ３０の台座３０３に設けられる。

撮影系の構成において、光学系３００は、レンズや絞り機構、オートフォーカス機構、ズーム機構などを含む。絞り機構、オートフォーカス機構、ズーム機構は、ＣＰＵ３２０から光学系Ｉ／Ｆ３１３を介して供給される制御信号に従い制御される。外部から入射された光は、光学系３００を介して撮影素子３１１に入射される。撮影素子３１１は、例えばＣＣＤを用いて構成され、入射された光を電気信号に変換して撮影信号として出力する。

ここで、撮像素子３１１の解像度は、全天球カメラ２０により撮影された全天球画像に対して指定された指定領域の画像の解像度よりも高解像度であるものとする。

撮影素子３１１から出力された撮影信号は、画像処理部３１２に入力される。画像処理部３１２は、撮影素子３１１から出力された撮影信号に、ノイズ除去、レベル補正などの所定の処理を施し、その後Ａ／Ｄ変換してディジタル方式のデータである撮影画像に変換する。画像処理部３１２は、撮影信号を変換した撮影画像を、バス３２６に出力する。

駆動系の構成において、駆動部３１５は、ＣＰＵ３２０から駆動Ｉ／Ｆ３１６を介して供給される制御信号に従い、モータＭ３１４ａおよび３１４ｂをそれぞれ駆動する。モータＭ３１４ａおよび３１４ｂは、それぞれ、回転部３０２における水平軸Ｈおよび垂直軸Ｖの回転を駆動する。

図８は、第１の実施形態に適用可能な配信装置１０の一例の構成を示す。図８において、配信装置１０は、ＣＰＵ１０００と、ＲＯＭ１００１と、ＲＡＭ１００２と、映像出力Ｉ／Ｆ１００３と、操作部Ｉ／Ｆ１００９と、を含み、これら各部がバス１０１１に接続される。配信装置１０は、さらに、通信Ｉ／Ｆ１００４と、データＩ／Ｆ１００５と、映像入力Ｉ／Ｆ１００６および１００７と、オーディオＩ／Ｆ１００８と、を含み、これら各部がバス１０１１に接続される。このように、配信装置１０は、バス１０１１で接続されたＣＰＵ１０００、ＲＯＭ１００１およびＲＡＭ１００２を含むコンピュータが搭載されていると考えることができる。

ＣＰＵ１０００は、ＲＯＭ１００１に予め記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて動作して、この配信装置１０の全体の動作を制御する。映像出力Ｉ／Ｆ１００３は、この配信装置１０にディスプレイを接続する際のインタフェースである。映像出力Ｉ／Ｆ１００３は、例えば、ＣＰＵ１０００からバス１０１１を介して供給された画像（映像）を、ディスプレイが対応可能な形式に変換して出力する。

操作部Ｉ／Ｆ１００９は、操作入力部１０１０が接続される。操作入力部１０１０は、この配信装置１０を手動にて操作するための各種操作子を含み、操作に応じた制御信号を出力する。操作入力部１０１０から出力された制御信号は、操作部Ｉ／Ｆ１００９を介してバス１０１１に送られ、ＣＰＵ１０００に渡される。

映像出力Ｉ／Ｆ１００３は、この配信装置１０にディスプレイを接続する際のインタフェースである。映像出力Ｉ／Ｆ１００３は、例えば、ＣＰＵ１０００からバス１０１１を介して供給された画像（映像）を、ディスプレイが対応可能な形式に変換して出力する。

通信Ｉ／Ｆ１００４は、ＣＰＵ１０００の制御に従い、ネットワーク２に対する通信を制御する。データＩ／Ｆ１００５は、ＵＳＢなどのデータ通信に対応するインタフェースであって、ＣＰＵ１０００の制御に従い、１以上の外部の機器との間でデータ通信を行う事が可能である。例えば、全天球カメラ２０のデータＩ／Ｆ２３５、および、パンチルトカメラ３０のデータＩ／Ｆ３２５と、データＩ／Ｆ１００５とを接続し、配信装置１０から全天球カメラ２０およびパンチルトカメラ３０の動作を、データＩ／Ｆ１００５を介して制御することができる。

映像入力Ｉ／Ｆ１００６および１００７は、それぞれ、外部からの画像（映像）の入力を受け付け、入力された画像をバス１０１１に出力する。例えば、上述した全天球カメラ２０から出力された全天球画像や、パンチルトカメラ３０から出力された撮影画像は、それぞれ、これら映像入力Ｉ／Ｆ１００６および１００７に入力され、ＣＰＵ１０００に渡される。なお、通信Ｉ／Ｆ１００４やデータＩ／Ｆ１００５を、映像入力Ｉ／Ｆ１００６および１００７として用いることも可能である。

オーディオＩ／Ｆ１００８は、バス１０１１を介して供給されたディジタル方式の音声信号をＤ／Ａ変換によりアナログ方式の音声信号に変換し、さらに増幅等の処理を施して出力し、例えばスピーカに供給する。また、オーディオＩ／Ｆ１００８は、マイクロホンから入力されたアナログ方式の音声信号をＡ／Ｄ変換によりディジタル方式の音声信号に変換して、バス１０１１に出力する。

図９は、第１の実施形態に係る配信装置１０の機能を説明するための一例の機能ブロック図を示す。図９において、配信装置１０は、制御部１００と、通信部１０１と、生成部１０２と、取得部１０３と、を含む。これら制御部１００、通信部１０１、生成部１０２および取得部１０３は、ＣＰＵ１０００上で動作する配信プログラムにより構成される。これに限らず、制御部１００、通信部１０１、生成部１０２および取得部１０３の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

制御部１００は、通信部１０１、生成部１０２および取得部１０３を含む配信装置１０の全体の動作を制御する。通信部１０１は、通信Ｉ／Ｆ１００４を制御して、ネットワーク２を介した通信を行う。

生成部１０２は、受信装置４０から受信した位置情報に基づき、全天球カメラ２０の画角中心から、当該位置情報に示される位置に向けた方向を示す方向情報を生成する。例えば制御部１００は、生成部１０２により生成された方向情報を、パンチルトカメラ３０に渡す。また、制御部１００は、パンチルトカメラ３０に対して撮影を指示する。

取得部１０３は、方向情報に従い撮影方向を制御されたパンチルトカメラ３０により撮影されて得られた撮影画像から情報を取得する。第１の実施形態では、取得部１０３は、例えば当該撮影画像そのものを情報として取得する。取得部１０３により取得された情報は、制御部１００による制御に従い、通信部１０１により受信装置４０に送信される。

配信装置１０における第１の実施形態に係る各機能を実現するための配信プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該配信プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該配信プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

当該配信プログラムは、制御部１００、通信部１０１、生成部１０２および取得部１０３を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がＲＯＭ１００１などの記憶媒体から当該配信プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、制御部１００、通信部１０１、生成部１０２および取得部１０３が主記憶装置上に生成されるようになっている。

図１０は、第１の実施形態に適用可能な受信装置４０の一例の構成を示す。図１０において、受信装置４０は、ＣＰＵ４０００と、ＲＯＭ４００１と、ＲＡＭ４００２と、オーディオＩ／Ｆ４００３と、ストレージ４００４と、通信Ｉ／Ｆ４００５と、映像出力Ｉ／Ｆ４００６と、入力Ｉ／Ｆ４００７と、を含み、これら各部がバス４０１０により接続される。このように、受信装置４０は、バス４０１０で接続されたＣＰＵ４０００、ＲＯＭ４００１およびＲＡＭ４００２を含むコンピュータが搭載されていると考えることができる。

ストレージ４００４は、不揮発性メモリやハードディスクドライブといった不揮発性の記憶媒体であって、ＣＰＵ４０００が動作するためのプログラムや、各種データを記憶することができる。ＣＰＵ４０００は、ＲＯＭ４００１およびストレージ４００４に予め記憶されるプログラムに従い、ＲＡＭ４００２をワークメモリとして用いて動作して、この受信装置４０の全体の動作を制御する。

映像出力Ｉ／Ｆ４００６は、ディスプレイ４００８ａが接続され、ＣＰＵ４０００からバス４０１０を介して供給された画像（映像）や表示制御信号を、ディスプレイ４００８ａが対応可能な形式に変換して出力する。例えば、映像出力Ｉ／Ｆ４００６は、ディスプレイ４００８ａの各画素に対応して画像を記憶するフレームメモリを含み、フレームメモリに画素単位で記憶された画像をディスプレイ４００８ａに転送する。なお、ディスプレイ４００８ａは、例えばＬＣＤ(Liquid Crystal Display)による表示デバイスと、表示デバイスを駆動する駆動回路を含む。

入力Ｉ／Ｆ４００７は、位置に応じた制御信号を出力する入力デバイス４００８ｂが接続され、入力デバイス４００８ｂから出力された制御信号をＣＰＵ４０００が対応可能な形式に変換して、バス４０１０を介してＣＰＵ４０００に渡す。これらディスプレイ４００８ａと、入力デバイス４００８ｂとが一体的に形成されて、タッチパネル４２（図１参照）が構成される。

通信Ｉ／Ｆ４００５は、無線通信による送受信の機能を備え、ＣＰＵ４０００の制御に従い、ＡＰ３と通信を行い、ネットワーク２を介した通信を行う。オーディオＩ／Ｆ４００３は、バス４０１０から供給されたディジタル方式の音声信号をＤ／Ａ変換によりアナログ方式の音声信号に変換し、さらに、増幅などの処理を施してスピーカＳＰ４０２０に出力する。

図１１は、第１の実施形態に係る受信装置４０の機能を説明するための一例の機能ブロック図を示す。図１１において、受信装置４０は、制御部４００と、通信部４０１と、ＵＩ部４０２と、表示制御部４０３と、位置指定部４０６と、を含む。これら制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６は、ＣＰＵ４０００上で動作する受信プログラムにより構成される。これに限らず、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

制御部４００は、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６を含む受信装置４０の全体の動作を制御する。通信部４０１は、通信Ｉ／Ｆ４００５を制御して、ネットワーク２を介した通信を行う。

ＵＩ部４０２は、タッチパネル４２における入力デバイス４００８ｂに対する入力操作を受け付ける。例えばＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１の接触を検知し、手指４１が接触された位置を検出する。また、ＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１の接触の検知結果に基づき、入力デバイス４００８ｂに対する入力操作がタップあるいはスワイプの何れであるかを判定する。

表示制御部４０３は、描画部４０４と合成部４０５とを含み、ディスプレイ４００８ａに対する静止画像および動画像の表示を制御する。描画部４０４は、フレームメモリに対して静止画像あるいは動画像を描画する。このフレームメモリに描画された画像がディスプレイ４００８ａに転送されることで、ディスプレイ４００８ａに静止画像あるいは動画像が表示される。

合成部４０５は、ディスプレイ４００８ａに表示されている画像に対して、他の画像を合成する。合成部４０５は、例えば、描画部４０４によりフレームメモリに描画された画像を、当該他の画像により上書きすることで、当該他の画像の合成を行う。

位置指定部４０６は、タッチパネル４２において、ディスプレイ４００８ａに表示される、全天球画像の一部である指定領域に対して入力デバイス４００８ｂにより入力された位置に対応する、当該全天球画像の位置を指定する。位置指定部４０６により指定された位置を示す位置情報は、通信部４０１により配信装置１０に送信される。

受信装置４０における第１の実施形態に係る各機能を実現するための受信プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、フレキシブルディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該受信プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該受信プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

当該受信プログラムは、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ４０００がＲＯＭ４００１およびストレージ４００４などの記憶媒体から当該受信プログラムを読み出して実行することにより、上述した各部がＲＡＭ４００２などの主記憶装置上にロードされ、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６が主記憶装置上に生成されるようになっている。

（第１の実施形態に係る配信システムの動作の詳細）
次に、第１の実施形態に係る配信システム１による動作について、より詳細に説明する。図１２は、第１の実施形態に係る配信装置１０の処理を示す一例のフローチャートである。

図１２において、ステップＳ１００で、制御部１００は、全天球カメラ２０から全天球画像を取得し、取得した全天球画像を通信部１０１により受信装置４０に送信する。この、制御部１００による全天球画像の取得、および、取得した全天球画像の送信は、例えば配信装置１０の動作が停止されるまで、全天球カメラ２０の撮影制御部２２４による撮影タイミング（フレームタイミング）に応じて繰り返し実行される。すなわち、全天球カメラ２０は、動画像として全天球画像を出力し、配信装置１０は、この動画像としての全天球画像を受信装置４０に送信する。

次のステップＳ１０１で、制御部１００は、受信装置４０から指定位置情報を受信したか否かを判定する。制御部１００は、指定位置情報を受信していないと判定した場合（ステップＳ１０１、「Ｎｏ」）、処理をステップＳ１０１に戻す。一方、制御部１００は、指定位置情報を受信したと判定した場合（ステップＳ１０１、「Ｙｅｓ」）、処理をステップＳ１０２に移行させる。

ステップＳ１０２で、生成部１０２は、ステップＳ１０１で受信装置４０から受信した指定位置情報に基づき、指定位置情報が示す位置に対応する全天球画像における位置を求める。そして、生成部１０２は、全天球カメラ２０の画角中心から、求めた位置に向けた方向を示す方向情報を生成する。

次のステップＳ１０３で、制御部１００は、ステップＳ１０２で生成された方向情報をパンチルトカメラ３０に送信し、パンチルトカメラ３０に対して、方向情報に従い撮影方向を制御するよう指示する。次のステップＳ１０４で、制御部１００は、パンチルトカメラ３０に対して撮影指示を送信し、取得部１０３は、この撮影指示に応じてパンチルトカメラ３０で撮影された撮影画像を取得する。

次のステップＳ１０５で、取得部１０３は、ステップＳ１０４でパンチルトカメラ３０から取得された撮影画像に基づき、受信装置４０において表示画像に合成させるための画像（パッチ画像と呼ぶ）を作成する。取得部１０３は、作成したパッチ画像を、通信部１０１により受信装置４０に送信する。制御部１００は、パッチ画像の送信を行うと、処理をステップＳ１０１に戻す。

図１３は、第１の実施形態に係る受信装置４０の処理を示す一例のフローチャートである。なお、図１３のフローチャートによる処理に先立って、配信装置１０では図１２のステップＳ１００の処理が実行され、全天球カメラ２０により撮影された、動画としての全天球画像が配信装置１０から受信装置４０に送信される。

ステップＳ１２０で、受信装置４０において、表示制御部４０３は、配信装置１０から送信された全天球画像の一部を指定領域として取得し、取得した指定領域の画像を描画部４０４によりフレームメモリに描画する。フレームメモリに描画された指定領域の画像が、ディスプレイ４００８ａに表示される。以降、特に記載の無い限り、「画像をフレームメモリに描画し、フレームメモリに描画された画像をディスプレイ４００８ａに表示する」動作を、「画像をディスプレイ４００８ａに描画する」のように記載する。

次のステップＳ１２１で、ＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１などの接触の有無を判定する。ＵＩ部４０２は、接触が検知されていないと判定した場合（ステップＳ１２１、「Ｎｏ」）、処理をステップＳ１２１に戻す。一方、ＵＩ部４０２は、接触が検知されたと判定した場合（ステップＳ１２１、「Ｙｅｓ」）、処理をステップＳ１２２に移行させる。

ステップＳ１２２で、表示制御部４０３は、ＵＩ部４０２から、接触が検知された位置（接触位置）を取得し、取得した接触位置に応じて指定領域の全天球画像内での位置を変更させる。描画部４０４は、全天球画像における、変更された指定領域の画像をディスプレイ４００８ａに描画する。次のステップＳ１２３で、ＵＩ部４０２は、所定時間（例えば１秒間）以上、同一の位置に対する接触が維持されているか否かを判定する。なお、同一の位置に対する接触の維持を判定する所定時間は、１秒に限られない。

ＵＩ部４０２は、同一位置に対する接触の維持が所定時間未満であると判定した場合（ステップＳ１２３、「Ｎｏ」）、処理をステップＳ１２１に戻す。ここで、接触位置が前回のステップＳ１２１の処理時に対して移動している場合、スワイプ操作がなされていると判定できる。

一方、ＵＩ部４０２は、所定時間以上、同一位置に対する接触が維持されていると判定した場合（ステップＳ１２３、「Ｙｅｓ」）、位置指定操作が行われたとして、処理をステップＳ１２４に移行させる。ステップＳ１２４で、位置指定部４０６は、位置指定操作が行われた接触位置を取得し、次のステップＳ１２５で、取得した接触位置を示す指定位置情報を、通信部４０１により配信装置１０に送信する。

次のステップＳ１２６で、制御部４００は、配信装置１０から送信されたパッチ画像を受信したか否かを判定する。制御部４００は、パッチ画像を受信していないと判定した場合（ステップＳ１２６、「Ｎｏ」）、処理をステップＳ１２６に戻す。一方、制御部４００は、パッチ画像を受信したと判定した場合（ステップＳ１２６、「Ｙｅｓ」）、処理をステップＳ１２７に移行する。また、制御部４００は、受信したパッチ画像を表示制御部４０３に渡す。

ステップＳ１２７で、表示制御部４０３は、合成部４０５により、ステップＳ１２６で受信したパッチ画像と、現在ディスプレイ４００８ａに表示されている全天球画像における指定領域の画像とを合成する。第１の実施形態では、合成部４０５は、パッチ画像を指定領域の画像と差し替えることで、パッチ画像の指定領域の画像に対する合成を行う。より具体的には、合成部４０５は、描画部４０４により指定領域の画像が描画されたフレームメモリを、当該パッチ画像により上書きすることで、当該パッチ画像の合成を行う。

次のステップＳ１２８で、ＵＩ部４０２は、パッチ画像の合成を解除するユーザ操作（解除指示）を受け付けたか否かを判定する。例えば、ＵＩ部４０２は、パッチ画像が指定領域の画像に合成された合成画像がディスプレイ４００８ａに表示されている状態で、さらにタップ操作が行われた場合に、解除指示を受け付けたと判定する。ＵＩ部４０２は、解除指示を受け付けていないと判定した場合（ステップＳ１２８、「Ｎｏ」）、処理をステップＳ１２８に戻す。この場合には、ディスプレイ４００８ａに対する合成画像の表示は維持される。

一方、ＵＩ部４０２は、解除指示を受け付けたと判定した場合（ステップＳ１２８、「Ｙｅｓ」）、処理をステップＳ１２９に移行させる。ステップＳ１２９で、表示制御部４０３は、パッチ画像の表示を消去する。例えば、表示制御部４０３は、上述したステップＳ１２０と同様にして、配信装置１０から送信された全天球画像の一部を指定領域として取得し、取得した指定領域の画像を描画部４０４によりディスプレイ４００８ａに対して上書きで描画する。パッチ画像が消去されると、処理がステップＳ１２２に戻される。

図１４〜図１７を用いて、第１の実施形態に係る処理について、より具体的に説明する。

先ず、図１４および図１５を参照して、実施形態に適用可能な、全天球画像に対して指定される指定領域について概略的に説明する。図１４は、第１の実施形態に適用可能な、指定領域の例を示す。図１４（ａ）は、Ｘ軸、Ｙ軸、Ｚ軸の関係を示している。立体球ＣＳは、上述した全天球画像が仮想的に貼り付けられている球面である。図１４（ｂ）は、指定領域の特定のための仮想カメラＣＡＭの配置の例を示している。仮想カメラＣＡＭは、立体球ＣＳの内部に配置され、仮想カメラＣＡＭで捉えられる所定領域Ｔが指定領域となる。図１４（ｃ）は、仮想カメラＣＡＭの視野を示しており、所定領域Ｔの対角線の両端を挟む角度が視野角αとなる。距離ｆは、仮想カメラＣＡＭと、所定領域Ｔの中心点ＣＰとの距離である。

図１５は、第１の実施形態に適用可能な、仮想カメラＣＡＭの位置と立体球ＣＳの原点との関係を示す。なお、図１５において、立体球ＣＳの半径は、１に正規化されている。このように、原点よりも距離ｄだけ後退した位置から立体球ＣＳを眺めたものが、視野角αとなる。距離ｄの位置が立体球ＣＳの内部にある場合は、原点からの画角ωで立体球ＣＳと交わる位置と視野角αで立体球ＣＳと交わる位置とが一致するものとする。一方、距離ｄの位置が立体球ＣＳの外部にある場合は、視野角αは、立体球ＣＳに外接するものとする。距離ｄが０の場合は、原点からの画角ωと視野角αとが一致する。全天球カメラ２０は、立体球ＣＳに対して距離ｄ＝０の位置に配置されるものと考えられ、このときの全天球カメラ２０の位置が画角中心の位置とされる。

なお、画角ωと視野角αと距離ｄとを適当に制御することで、指定領域内の画像の拡大および縮小を行うことができる。拡大／縮小の倍率は、画角ω、視野角αおよび距離ｄにより決定される。縮小していくと、表示される映像の輪郭が円形になる。

図１６は、第１の実施形態に係る処理の例をより具体的に示すシーケンス図である。なお、図１６において、上述した図１、図９および図１１と共通する部分には同一の符号を付して、詳細な説明を省略する。また、図１６において、パンチルトカメラ３０を「ＰＴカメラ３０」として省略して記載している。

また、図１７（ａ）〜図１７（ｄ）は、図１６のシーケンス図の各時点ｔ₁〜ｔ₄における指定領域、ディスプレイ４００８ａの表示、および、パンチルトカメラ３０の撮影方向の関係を概略的に示す。なお、図１７において、立体球５００は、図１５で説明した立体球ＣＳに対応するもので、全天球カメラ２０により撮影される全天球画像が仮想的に貼り付けられる。

ステップＳ５００で、全天球カメラ２０により撮影が行われ、撮影された全天球画像が全天球カメラ２０から配信装置１０に送られる（ステップＳ５０１）。配信装置１０に送られた全天球画像は、通信部１０１により、ネットワーク２を介して受信装置４０に送信される（ステップＳ５０２）。この全天球画像は、受信装置４０において、通信部４０１に受信される。通信部４０１は、受信した全天球画像を、描画部４０４に渡す（ステップＳ５０３）。描画部４０４は、全天球画像において指定される指定領域の画像を、ディスプレイ４００８ａに表示させる（時点ｔ₁）。

図１７（ａ）の上段に、時点ｔ₁における、指定領域５０１の全天球画像における初期位置を示す。図１７（ａ）の中段に、時点ｔ₁において、受信装置４０のタッチパネル４２（ディスプレイ４００８ａ）に、全天球画像の指定領域の画像が表示される様子を模式的に示している。なお、図１７（ａ）〜図１７（ｄ）では、煩雑さを避けるために、タッチパネル４２（ディスプレイ４００８ａ）の表示内容の具体例については省略されている。また、図１７（ａ）の下段に、時点ｔ₁におけるパンチルトカメラ３０の撮影方向５０２の例を示す。この撮影方向５０２が、パンチルトカメラ３０の初期状態での撮影方向であるものとする。

図１６の説明に戻り、ＵＩ部４０２は、図１７（ｂ）の中段に示すように、タッチパネル４２（入力デバイス４００８ｂ）に対するスワイプ操作を検知すると（ステップＳ５０４）、タッチパネル４２上の手指４１の位置を示す位置情報を表示制御部４０３に渡す（ステップＳ５０５）。表示制御部４０３は、ＵＩ部４０２から渡された位置情報に従い、時点ｔ₂にて、指定領域５０１の全天球画像内での位置を変更させる。図１７（ｂ）上段に、指定領域５０１の位置がスワイプ操作に応じて指定領域５０１’の位置に変更される様子を模式的に示す。描画部４０４は、全天球画像における変更された指定領域の画像をタッチパネル４２（ディスプレイ４００８ａ）に描画する（ステップＳ５０５）。なお、この時点ｔ₂においては、パンチルトカメラ３０の撮影方向は、時点ｔ₁から変化しない。

ＵＩ部４０２により同一位置に対する接触が所定時間以上維持されたと判定された場合（ステップＳ５０６）、位置指定操作が行われたとして、位置指定部４０６は、当該位置指定操作により指定された位置を示す情報をＵＩ部４０２から取得する（ステップＳ５０７）。位置指定部４０６は、ＵＩ部４０２から取得した位置情報に応じた指定位置情報を、通信部４０１により配信装置１０に送信する（ステップＳ５０８、ステップＳ５０９）。

指定位置情報は、配信装置１０において通信部１０１により受信され、通信部１０１から生成部１０２に渡される（ステップＳ５１０）。生成部１０２は、通信部１０１から渡された指定位置情報に基づき、指定位置情報が示す位置に対応する、全天球画像における位置を求め、求めた位置に基づき、パンチルトカメラ３０の撮影方向を制御するための方向情報を生成する。生成部１０２は、生成した方向情報を、制御部１００によりパンチルトカメラ３０に送信する（ステップＳ５１１）。

パンチルトカメラ３０は、配信装置１０から送信された方向情報に従い撮影方向が制御される（時点ｔ₃）。例えば、図１７（ｃ）の下段に示されるように、パンチルトカメラ３０の撮影方向は、初期の撮影方向５０２から、指定領域５０１’の画角中心（全天球カメラ２０位置）からの方向（図１７（ｃ）上段参照）に応じた撮影方向５０２’に変更される（ステップＳ５１２）。パンチルトカメラ３０は、配信装置１０から撮影指示を受信すると（ステップＳ５１３）、撮影方向５０２’に向けて撮影を行い（ステップＳ５１４）、撮影画像を配信装置１０に送信する（ステップＳ５１５）。

パンチルトカメラ３０から送信された撮影画像は、配信装置１０に受信され、取得部１０３に渡される。取得部１０３は、渡された撮影画像に基づきパッチ画像を作成する。取得部１０３は、作成したパッチ画像を、通信部１０１により受信装置４０に送信する（ステップＳ５１６、ステップＳ５１７）。

受信装置４０において、通信部４０１は、配信装置１０から送信されたパッチ画像を受信し、受信したパッチ画像を合成部４０５に渡す（ステップＳ５１８）。合成部４０５は、通信部４０１から渡されたパッチ画像を、現在ディスプレイ４００８ａに表示されている指定領域の画像に合成する合成処理を行う（ステップＳ５１９）。合成部４０５は、パッチ画像を指定領域の画像に合成した合成画像を、描画部４０４に渡す（ステップＳ５２０）。

描画部４０４は、合成部４０５から渡された合成画像をディスプレイ４００８ａに表示させる（時点ｔ₄）。第１の実施形態では、図１７（ｄ）に模式的に示されるように、直前にディスプレイ４００８ａに表示される指定領域の画像をパッチ画像に差し替えることで生成された合成画像がディスプレイ４００８ａに表示される。

ＵＩ部４０２は、パッチ画像の合成を解除するユーザ操作（解除指示）を受け付けると（ステップＳ５２１）、パッチ画像の消去を描画部４０４に指示する（ステップＳ５２２）。描画部４０４は、この指示に従い、ディスプレイ４００８ａに表示されるパッチ画像を消去し、ディスプレイ４００８ａに指定領域の画像を描画する。

このように、第１の実施形態によれば、全天球カメラ２０により撮影された全天球画像において指定された指定領域の画像を受信装置４０に表示させ、当該指定領域の画像に対する、全天球カメラ２０の画角中心からの方向に従いパンチルトカメラ３０の撮影方向を制御する。そして、撮影方向が制御されたパンチルトカメラ３０により撮影された撮影画像を、パッチ画像として指定領域の画像と合成して受信装置４０に表示させている。そのため、受信装置４０のユーザは、指定領域に対応する被写体範囲を高解像度化した画像を観察することができる。また、全天球画像そのものを高解像度化する必要が無いため、情報の転送を効率的に行うことが可能である。

（第１の実施形態に適用可能な撮影方向の初期化方法）
次に、第１の実施形態に適用可能な、パンチルトカメラ３０の撮影方向の初期化の方法について説明する。第１の実施形態では、パンチルトカメラ３０は、全天球画像に対して指定された位置に対応する方向に撮影方向が制御される。したがって、第１の実施形態に係る配信システム１を利用する場合、利用に先んじて、全天球カメラ２０により撮影される全天球画像における方向と、パンチルトカメラ３０の撮影方向との関連付けを行う必要がある。

第１の実施形態では、１つの所定のパターン画像を、全天球カメラ２０とパンチルトカメラ３０とにより同時に撮影し、全天球カメラ２０により撮影された全天球画像と、パンチルトカメラ３０により撮影された撮影画像とを重ね合わせて表示させる。ユーザは、この表示を確認しながら、全天球画像に含まれるパターン画像と、撮影画像に含まれる撮影画像とが一致するように、パンチルトカメラ３０の台座３０３の方向、角度および位置を調整する。

図１８〜図２０を用いて、より具体的に説明する。図１８は、第１の実施形態に適用可能な、初期化処理に用いるパターン画像の例を示す。図１８に例示されるパターン画像５１は、矩形の４隅のうち３つの角にマークを配置した画像となっている。このパターン画像５１を、例えば印刷媒体５０に形成する。

図１９は、第１の実施形態に適用可能な、初期化処理を実行するための一例の構成を示す。配信装置１０に対して、例えば映像出力Ｉ／Ｆ１００３を利用してディスプレイ１１を接続する。また、配信装置１０に対して、全天球カメラ２０およびパンチルトカメラ３０が接続される。パンチルトカメラ３０は、回転部３０２の水平軸Ｈおよび垂直軸Ｖの角度を予め初期値（例えばそれぞれ０°）に設定しておく。

また、配信装置１０は、全天球カメラ２０で撮影された全天球画像から、当該全天球画像に対して予め指定される指定領域の画像を抽出することができる。さらに、配信装置１０は、この抽出された指定領域の画像と、パンチルトカメラ３０から出力される撮影画像とを重ねてディスプレイ１１に表示させることができる。このとき、配信装置１０は、少なくともパンチルトカメラ３０の撮影画像に対して透過属性を与えることができる。例えば、配信装置１０は、当該撮影画像の透過率を５０％に設定し、背面に重ねられる指定領域の画像が撮影画像を透過して表示されるようにする。

図１９に示されるように、上述したパターン画像５１を、全天球カメラ２０とパンチルトカメラ３０とで同時に、動画像として撮影する。図２０（ａ）は、全天球カメラ２０で撮影した全天球画像から抽出した指定領域の画像２２と、パンチルトカメラ３０で撮影した撮影画像３１の例を示す。画像２２および撮影画像３１には、それぞれ、印刷媒体５０上のパターン画像５１が撮影されたパターン画像５１ａおよび５１ｂが含まれている。

配信装置１０は、図２０（ｂ）に例示されるように、これら画像２２と撮影画像３１とを重ね合わせた画像１２を生成し、生成した画像１２をディスプレイ１１に表示させる。図２０（ｂ）の例では、画像２２に含まれるパターン画像５１ａに対して、撮影画像３１に含まれるパターン画像５１ｂの位置がずれていることが分かる。ユーザは、ディスプレイ１１の表示を見ながら、パターン画像５１ｂの位置がパターン画像５１ａの位置と一致するように、パンチルトカメラ３０の台座３０３の向き、水平面に対する角度および位置を調整する。例えば、ユーザは、パターン画像５１ｂが方向ａに移動するように、台座３０３の角度を調整する。また、パターン画像５１ｂが方向ｂに移動するように、台座３０３の位置および向きを調整する。

このように、ディスプレイ１１の表示を見ながらパンチルトカメラ３０の台座３０３の角度、位置および向きを調整し、図２０（ｃ）に例示されるように、パターン画像５１ａとパターン画像５１ｂとが一致し１つのパターン画像５２のように見えると、パンチルトカメラ３０の撮影方向の初期化が完了する。

なお、実際には、全天球カメラ２０とパンチルトカメラ３０とでは光学中心が一致しないため、パターン画像５１ａおよびパターン画像５１ｂは、完全には一致しない。

なお、ここでは、パンチルトカメラ３０の方向等の調整を、ユーザが実際に台座３０３を動かして行うものとしている。これに限らず、指定領域の画像２２と、撮影画像３１とに対してパターン画像５１ａおよび５１ｂに関するマッチング処理を行い、マッチング処理結果に基づきパンチルトカメラ３０の撮影方向を制御して、パンチルトカメラ３０の方向等の調整を行うことも可能である。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、受信装置４０のタッチパネル４２（ディスプレイ４００８ａ）に表示される指定領域の画像に対して設定した領域を高解像度化する。

なお、第２の実施形態では、図１〜図１１を用いて説明した第１の実施形態に係る配信システム１の構成をそのまま適用可能である。

図２１を用いて、第２の実施形態における処理ついて概略的に説明する。図２１（ａ）は、ユーザの手指４１がタッチパネル４２上の同一位置に所定時間以上接触し、これにより全天球画像に対して指定した指定領域の画像が受信装置４０のタッチパネル４２に表示されている様子を示している。

受信装置４０は、図２１（ｂ）に示されるように、タッチパネル４２に表示される指定領域の画像に対して、所定の方法を用いて対象領域４３を設定する。受信装置４０は、全天球画像における指定領域の位置を示す指定位置情報と、対象領域４３を示す情報とを配信装置１０に送信する。

配信装置１０は、受信装置４０から送信された指定位置情報に従いパンチルトカメラ３０の撮影方向を制御して撮影を行う。配信装置１０は、図２１（ｃ）に示されるように、パンチルトカメラ３０による撮影で取得した撮影画像３１における、対象領域４３に対応する領域３２を求め、この領域３２に含まれる画像を受信装置４０に送信する。

受信装置４０は、配信装置１０から送信された領域３２の画像を、指定領域の画像と合成して合成画像を生成し、この合成画像をタッチパネル４２（ディスプレイ４００８ａ）に表示させる。このとき、受信装置４０は、図２１（ｄ）に示されるように、対象領域４３に位置および大きさが対応する領域４４ａに、領域３２の画像を嵌め込んで合成画像を生成することができる。また、図２１（ｅ）に示されるように、タッチパネル４２上に位置が予め定められた領域４４ｂに、領域３２の画像を合成して合成画像を生成してもよい。この場合、領域４４ｂの大きさは、対象領域４３の大きさと異なっていてもよい。

第２の実施形態では、図２１（ｃ）に示した領域３２を、画像の特徴を示す特徴情報に基づき検出する。例えば、受信装置４０は、対象領域４３に含まれる画像に基づき、当該画像の特徴を示す第１の特徴情報（特徴点、特徴量）を求め、求めた第１の特徴情報を配信装置１０に送信する。配信装置１０は、全天球画像の全体、または、全天球画像における指定領域に対応する領域の画像の第２の特徴情報を求める。配信装置１０は、第２の特徴情報と第１の特徴情報とのマッチング処理を行い、全天球画像における指定領域に対応する撮影画像３１における、対象領域４３に対応する領域３２を特定する。

なお、上述した対象領域４３は、例えば、予め定められたオブジェクトの種類に応じた特徴情報に基づき設定することができる。例えば、オブジェクトとして顔を予め設定し、指定領域の画像から求めた特徴情報に基づき、当該画像に含まれる顔らしき領域を検出し、対象領域４３として設定することが考えられる。これに限らず、例えば、オブジェクトとしてポスターなど形状が固定的（矩形）で、文字情報を含む画像を設定しておくこともできる。

また、上述した図２１（ｂ）の例において、対象領域４３の位置がタッチパネル４２に表示中の指定領域の画像の中心から離れるに連れ、対象領域４３の形状が歪む。一方、撮影画像３１における領域３２は、撮影画像３１内の任意の位置において矩形であると考えられる。この場合、図２１（ｄ）に示す、領域４４ａに領域３２の画像を嵌め込んで合成画像を生成する場合、領域３２の画像の形状を、対象領域４３の形状に合わせて変形させて、領域４４ａに嵌め込むと好ましい。なお、対象領域４３の歪みの度合は、全天球画像の倍率、対象領域４３の指定領域内での位置、対象領域４３の大きさなどに基づき求めることができる。

（第２の実施形態に係る配信システムの動作の詳細）
次に、第２の実施形態に係る配信システム１による動作について、より詳細に説明する。図２２は、第２の実施形態に係る配信装置１０の処理を示す一例のフローチャートである。なお、図２２において、上述した図１２のフローチャートと共通する処理には同一の符号を付して、詳細な説明を省略する。

図２２において、ステップＳ１００で、制御部１００は、全天球カメラ２０から全天球画像を取得し、取得した全天球画像を通信部１０１により受信装置４０に送信する。

次のステップＳ１０１０で、制御部１００は、受信装置４０から指定位置情報および第１の特徴情報を受信したか否かを判定する。制御部１００は、受信していないと判定した場合（ステップＳ１０１０、「Ｎｏ」）、処理をステップＳ１０１０に戻す。一方、制御部１００は、指定位置情報および第１の特徴情報を受信したと判定した場合（ステップＳ１０１０、「Ｙｅｓ」）、処理をステップＳ１０２に移行させる。

ステップＳ１０２で、生成部１０２は、ステップＳ１０１０で受信装置４０から受信した指定位置情報に基づき、指定位置情報が示す位置に対応する全天球画像における位置を求め、全天球カメラ２０の画角中心から、求めた位置に向けた方向を示す方向情報を生成する。次のステップＳ１０３で、制御部１００は、ステップＳ１０２で生成された方向情報をパンチルトカメラ３０に送信し、パンチルトカメラ３０に対して、方向情報に従い撮影方向を制御するよう指示する。次のステップＳ１０４で、制御部１００は、パンチルトカメラ３０に対して撮影指示を送信し、取得部１０３は、この撮影指示に応じてパンチルトカメラ３０で撮影された撮影画像３１（図２１（ｃ）参照）を取得する。

次のステップＳ１０４０で、取得部１０３は、ステップＳ１０４で取得された撮影画像３１から第２の特徴情報を求める。取得部１０３は、求めた第２の特徴情報と、ステップＳ１０１０で受信した第１の特徴情報とのマッチング処理を行い、撮影画像３１における、第１の特徴情報に対応する領域３２（図２１（ｃ）参照）を検出し、当該領域３２の画像を取得する。

次のステップＳ１０５で、取得部１０３は、ステップＳ１０４０で取得した領域３２の画像に基づき、パッチ画像を作成する。取得部１０３は、作成したパッチ画像を、通信部１０１により受信装置４０に送信する。制御部１００は、パッチ画像の送信を行うと、処理をステップＳ１０１０に戻す。

図２３は、第２の実施形態に係る受信装置４０の処理を示す一例のフローチャートである。なお、図２３のフローチャートにおいて、上述した図１３のフローチャートと対応する処理には同一の符号を付して、詳細な説明を省略する。

ステップＳ１２０で、表示制御部４０３は、配信装置１０から送信された全天球画像の一部を指定領域として取得し、取得した指定領域の画像をディスプレイ４００８ａに表示する。次のステップＳ１２１で、ＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１などの接触の有無を判定し、接触が検知されていないと判定した場合（ステップＳ１２１、「Ｎｏ」）、処理をステップＳ１２１に戻す。一方、ＵＩ部４０２は、接触が検知されたと判定した場合（ステップＳ１２１、「Ｙｅｓ」）、処理をステップＳ１２２に移行させる。

ステップＳ１２２で、表示制御部４０３は、ＵＩ部４０２から、接触が検知された位置（接触位置）を取得し、取得した接触位置に応じて指定領域の全天球画像内での位置を変更させ、変更された指定領域の画像をディスプレイ４００８ａに表示させる。次のステップＳ１２３で、ＵＩ部４０２は、所定時間以上、同一の位置に対する接触が維持されているか否かを判定し、同一位置に対する接触の維持が所定時間未満であると判定した場合（ステップＳ１２３、「Ｎｏ」）、処理をステップＳ１２１に戻す。

一方、ＵＩ部４０２は、所定時間以上、同一位置に対する接触が維持されていると判定した場合（ステップＳ１２３、「Ｙｅｓ」）、位置指定操作が行われたとして、処理をステップＳ１２４に移行させる。ステップＳ１２４で、位置指定部４０６は、位置指定操作が行われた接触位置を取得する。

次のステップＳ１２５０で、位置指定部４０６は、指定領域の画像から特徴情報を求め、求めた特徴情報に含まれる、予め定められた種類のオブジェクトに対応する特徴情報（第１の特徴情報）を取得する。この第１の特徴情報に対応する指定領域内の領域が、対象領域４３となる。すなわち、位置指定部４０６は、指定領域に対して対象領域４３を設定する領域指定部としても機能する。

次のステップＳ１２５１で、位置指定部４０６は、ステップＳ１２５０で取得された第１の特徴情報を、通信部４０１により配信装置１０に送信する。

次のステップＳ１２６で、制御部４００は、ステップＳ１２５１で送信した特徴情報に応じたパッチ画像が受信されたか否かを判定する。制御部４００は、パッチ画像が受信されていないと判定した場合（ステップＳ１２６、「Ｎｏ」）、処理をステップＳ１２６に戻す。一方、制御部４００は、パッチ画像を受信したと判定した場合（ステップＳ１２６、「Ｙｅｓ」）、処理をステップＳ１２７０に移行する。また、制御部４００は、受信したパッチ画像を表示制御部４０３に渡す。

ステップＳ１２７０で、表示制御部４０３は、合成部４０５により、ステップＳ１２６で受信したパッチ画像と、現在ディスプレイ４００８ａに表示されている全天球画像における指定領域の画像とを合成する。第２の実施形態では、図２１（ｅ）に示したように、指定領域上に位置が予め定められた領域４４ｂの画像をパッチ画像の画像で上書きして、パッチ画像の指定領域の画像に対する合成を行う。

次のステップＳ１２８で、ＵＩ部４０２は、パッチ画像の合成を解除するユーザ操作（解除指示）を受け付けたか否かを判定する。ＵＩ部４０２は、解除指示を受け付けていないと判定した場合（ステップＳ１２８、「Ｎｏ」）、処理をステップＳ１２８に戻す。この場合には、ディスプレイ４００８ａに対する合成画像の表示は維持される。

一方、ＵＩ部４０２は、解除指示を受け付けたと判定した場合（ステップＳ１２８、「Ｙｅｓ」）、処理をステップＳ１２９に移行させる。ステップＳ１２９で、表示制御部４０３は、パッチ画像の表示を消去する。例えば、表示制御部４０３は、上述したステップＳ１２０と同様にして、配信装置１０から送信された全天球画像の一部を指定領域として取得し、取得した指定領域の画像を描画部４０４によりディスプレイ４００８ａに対して上書きで描画する。パッチ画像が消去されると、処理がステップＳ１２２に戻される。

図２４は、第２の実施形態に係る処理の例をより具体的に示すシーケンス図である。なお、図２４において、上述した図１、図９および図１１と共通する部分、ならびに、上述した図１６と共通する処理には同一の符号を付して、詳細な説明を省略する。

図２４において、ステップＳ５００〜ステップＳ５０７の処理は、図１６のステップＳ５００〜ステップＳ５０７の処理と同一であるので、ここでの説明を省略する。位置指定部４０６は、ステップＳ５０７において、位置指定操作により指定された位置を示す情報をＵＩ部４０２から取得した後、ステップＳ５３０で、指定領域の画像に基づき特徴情報を求め、求めた特徴情報から、例えば予め定められた種類のオブジェクトに対応する第１の特徴情報を取得する。

位置指定部４０６は、ステップＳ５０７で取得した位置に応じた指定位置情報と、ステップＳ５３０で取得した第１の特徴情報とを、通信部４０１により配信装置１０に送信する（ステップＳ５３１、ステップＳ５３２）。指定位置情報および第１の特徴情報は、配信装置１０において通信部１０１に受信される。通信部１０１は、指定位置情報および第１の特徴情報のうち第１の特徴情報を取得部１０３に渡し（ステップＳ５３３）、指定位置情報を生成部１０２に渡す（ステップＳ５３４）。

生成部１０２は、通信部１０１から渡された指定位置情報に基づき、指定位置情報が示す位置に対応する、全天球画像における位置を求め、求めた位置に基づき、パンチルトカメラ３０の撮影方向を制御するための方向情報を生成する。生成部１０２は、生成した方向情報を、制御部１００によりパンチルトカメラ３０に送信する（ステップＳ５１１）。パンチルトカメラ３０は、配信装置１０から送信された方向情報に従い撮影方向が制御され（ステップＳ５１２）、配信装置１０から撮影指示を受信すると（ステップＳ５１３）、制御された撮影方向に向けて撮影を行い（ステップＳ５１４）、撮影画像を配信装置１０に送信する（ステップＳ５１５）。

パンチルトカメラ３０から送信された撮影画像は、配信装置１０に受信され、取得部１０３に渡される。取得部１０３は、渡された撮影画像に基づき、当該撮影画像の特徴を示す第２の特徴情報を求める（ステップＳ５３４）。取得部１０３は、ステップＳ５３３で通信部１０１から渡された第１の特徴情報と、ステップＳ５３４で撮影画像から求められた第２の特徴情報とのマッチング処理を行い、撮影画像における、第１の特徴情報に対応する領域を検出し、当該領域の画像を取得する。

取得部１０３は、ステップＳ５３４で取得した画像に基づきパッチ画像を作成する。取得部１０３は、作成したパッチ画像を、通信部１０１により受信装置４０に送信する（ステップＳ５３５、ステップＳ５３６）。

受信装置４０において、通信部４０１は、配信装置１０から送信されたパッチ画像を受信し、受信したパッチ画像を合成部４０５に渡す（ステップＳ５３７）。合成部４０５は、通信部４０１から渡されたパッチ画像を、現在ディスプレイ４００８ａに表示されている指定領域の画像に合成する合成処理を行う（ステップＳ５３８）。このとき、合成部４０５は、指定領域に対して予め設定される領域の画像を、パッチ画像により上書きすることで合成処理を行い、合成画像を作成する。

合成部４０５は、パッチ画像を指定領域の画像に合成した合成画像を、描画部４０６に渡す（ステップＳ５３９）。描画部４０４は、合成部４０５から渡された合成画像をディスプレイ４００８ａに表示させる。第２の実施形態では、図２１（ｅ）に例示したように、直前にディスプレイ４００８ａに表示される指定領域における領域４４ｂの画像をパッチ画像により上書きすることで生成された合成画像がディスプレイ４００８ａに表示される。

ＵＩ部４０２は、パッチ画像の合成を解除するユーザ操作（解除指示）を受け付けると（ステップＳ５２１）、パッチ画像の消去を描画部４０４に指示する（ステップＳ５２２）。描画部４０４は、この指示に従い、ディスプレイ４００８ａに表示される合成画像を消去し、ディスプレイ４００８ａに指定領域の画像を描画する。

このように、第２の実施形態では、受信装置４０のタッチパネル４２に表示される、全天球画像に対して指定された指定領域の画像の一部の領域を、当該領域に対応するパンチルトカメラ３０の撮影画像の領域の画像を用いて表示している。そのため、受信装置４０のユーザは、指定領域に対応する被写体範囲を高解像度化した画像を観察することができる。また、高解像度化を、パンチルトカメラ３０の撮影画像の一部の領域の画像を用いて行っているため、情報の転送をより効率的に実行することが可能である。

なお、上述では、対象領域４３を特徴情報に基づき設定しているが、これはこの例に限定されない。例えば、タッチパネル４２を２本の手指４１により同時に接触し、２本の手指４１の間隔を拡げるピンチアウト操作により、２本の手指４１の接触位置を矩形の対角位置として指定した領域を、対象領域４３として設定することができる。この場合、受信装置４０は、当該対象領域４３の指定領域の画像内での座標を配信装置１０に送信する。配信装置１０は、この座標に基づき、パンチルトカメラ３０の撮影画像における対象領域４３に対応する領域を特定することができる。配信装置１０は、この特定された領域の画像をパッチ画像として用いる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態では、受信装置４０のタッチパネル４２（ディスプレイ４００８ａ）に表示される指定領域の画像に含まれる文字情報を、配信装置１０において、パンチルトカメラ３０の撮影画像に基づき抽出するようにしている。配信装置１０は、抽出した文字情報を受信装置４０に送信する。受信装置４０は、配信装置１０から送信された文字情報を示す画像を、タッチパネル４２の所定領域に表示させる。

なお、第３の実施形態では、図１〜図１１を用いて説明した第１の実施形態に係る配信システム１の構成をそのまま適用可能である。

図２５を用いて、第３の実施形態における処理について概略的に説明する。図２５（ａ）は、受信装置４０のタッチパネル４２（ディスプレイ４００８ａ）に表示される指定領域の画像に、文字情報を含むオブジェクト４５ａ、４５ｂおよび４５ｃが含まれる例を示している。図２５（ｂ）は、この図２５（ａ）の指定領域に対応する、パンチルトカメラ３０による撮影画像３１の例を示す。撮影画像３１は、オブジェクト４５ａ、４５ｂおよび４５ｃにそれぞれ対応するオブジェクト４５ａ’、４５ｂ’および４５ｃ’を含んでいる。

配信装置１０は、例えばＯＣＲ(Optical Character Recognition/Reader)に用いられる既知の文字認識技術を利用して、撮影画像３１の各オブジェクト４５ａ’、４５ｂ’および４５ｃ’から文字情報を抽出する。図２５（ｃ）は、各オブジェクト４５ａ’、４５ｂ’および４５ｃ’からそれぞれ抽出された文字情報３３ａ、３３ｂおよび３３ｃを示している。配信装置１０は、これら文字情報３３ａ、３３ｂおよび３３ｃを受信装置４０に送信する。受信装置４０は、例えば図２５（ｄ）に例示されるように、タッチパネル４２（ディスプレイ４００８ａ）の所定領域４６に、文字情報３３ａ、３３ｂおよび３３ｃを纏めて表示させる。

このようにすることで、ユーザは、受信装置４０のタッチパネル４２に表示される文字情報を、より明瞭に認識することができる。また、配信装置１０から受信装置４０に送信される情報が文字情報であるため、情報の転送を極めて効率的に行うことが可能である。

（第３の実施形態に係る配信システムの動作の詳細）
次に、第３の実施形態に係る配信システム１による動作について、より詳細に説明する。図２６は、第３の実施形態に係る配信装置１０の処理を示す一例のフローチャートである。なお、図２６において、上述した図１２のフローチャートと共通する処理には同一の符号を付して、詳細な説明を省略する。

図２６において、ステップＳ１００〜ステップＳ１０４の処理は、上述した図１２のステップＳ１００〜ステップＳ１０４の処理と同一であるので、ここでの説明を省略する。

取得部１０３は、ステップＳ１０４でパンチルトカメラ３０により撮影された撮影画像を取得すると、次のステップＳ１０４１で、取得した撮影画像から、例えばＯＣＲに用いられる既知の文字認識技術を用いて文字情報を抽出する。次のステップＳ１０５０で、取得部１０３は、抽出した文字情報を、通信部１０１により受信装置４０に送信する。

制御部１００は、ステップＳ１０５０の処理が終了すると、処理をステップＳ１０１に戻す。

図２７は、第３の実施形態に係る受信装置４０の処理を示す一例のフローチャートである。なお、図２７のフローチャートにおいて、上述した図１３のフローチャートと共通する処理には同一の符号を付して、詳細な説明を省略する。

図２７において、ステップＳ１２０〜ステップＳ１２５の処理は、図１３のステップＳ１２０〜ステップＳ１２５の処理と同一であるので、ここでの説明を省略する。ステップＳ１２５で、位置指定部４０６により、位置指定操作が行われた接触位置を示す指定位置情報が配信装置１０に送信されると、処理がステップＳ１２６０に移行される。

ステップＳ１２６０で、制御部４００は、配信装置１０から文字情報を受信したか否かを判定する。制御部４００は、文字情報を受信していないと判定した場合（ステップＳ１２６０、「Ｎｏ」）、処理をステップＳ１２６０に戻す。一方、制御部４００は、ステップＳ１２６０で文字情報を受信したと判定した場合（ステップＳ１２６０、「Ｙｅｓ」）、処理をステップＳ１２７１に移行する。また、制御部４００は、受信した文字情報を表示制御部４０３に渡す。

ステップＳ１２７１で、表示制御部４０３は、合成部４０５により、ステップＳ１２６０で受信した文字情報を示す画像をパッチ画像として、指定領域の画像における所定領域に重畳させ、指定領域の画像に文字情報を示す画像を合成し、合成画像を作成する。描画部４０４は、文字情報を示す画像を含んで作成された合成画像を、タッチパネル４２（ディスプレイ４００８ａ）に表示させる。

次のステップＳ１２８で、ＵＩ部４０２は、パッチ画像の合成を解除するユーザ操作（解除指示）を受け付けたか否かを判定する。ＵＩ部４０２は、解除指示を受け付けていないと判定した場合（ステップＳ１２８、「Ｎｏ」）、処理をステップＳ１２８に戻す。この場合には、ディスプレイ４００８ａに対する合成画像の表示は維持される。

一方、ＵＩ部４０２は、解除指示を受け付けたと判定した場合（ステップＳ１２８、「Ｙｅｓ」）、処理をステップＳ１２９０に移行させる。ステップＳ１２９０で、表示制御部４０３は、パッチ画像すなわち文字情報を示す画像の表示を消去する。ステップＳ１２９０の処理が終了すると、処理がステップＳ１２２に戻される。

図２８は、第３の実施形態に係る処理の例をより具体的に示すシーケンス図である。なお、図２８において、上述した図１、図９および図１１と共通する部分、ならびに、上述した図１６と共通する処理には同一の符号を付して、詳細な説明を省略する。

図２８において、ステップＳ５００〜ステップＳ５１５の処理は、図１６のステップＳ５００〜ステップＳ５１５の処理と同一であるので、ここでの説明を省略する。ステップＳ５１５で、取得部１０３は、パンチルトカメラ３０で撮影された撮影画像を取得すると、取得した撮影画像から、例えばＯＣＲに用いられる既知の文字認識技術を用いて文字情報を抽出する（ステップＳ５５０）。取得部１０３は、抽出した文字情報を、通信部１０１により受信装置４０に送信する（ステップＳ５５１、ステップＳ５５２）。

受信装置４０において、通信部４０１は、配信装置１０から送信された文字情報を受信し、受信した文字情報を合成部４０５に渡す（ステップＳ５５３）。合成部４０５は、通信部４０１から渡された文字情報を示す画像を生成し、生成した文字情報を示す画像を、現在ディスプレイ４００８ａに表示されている指定領域の画像における所定領域に重畳させ、指定領域の画像に文字情報を示す画像を合成し、合成画像を作成する（ステップＳ５５４）。合成部４０５は、作成した合成画像を、描画部４０４に渡す（ステップＳ５５５）。描画部４０４は、文字情報を示す画像を含んで作成された合成画像を、タッチパネル４２（ディスプレイ４００８ａ）に表示させる。

ＵＩ部４０２は、文字情報を示す画像の合成を解除するユーザ操作（解除指示）を受け付けると（ステップＳ５２１）、文字情報を示す画像の消去を描画部４０４に指示する（ステップＳ５２２）。描画部４０４は、この指示に従い、ディスプレイ４００８ａに表示される文字情報を示す画像を消去し、ディスプレイ４００８ａに指定領域の画像を描画する。

なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

１ 配信システム
２ ネットワーク
１０ 配信装置
２０ 全天球カメラ
３０ パンチルトカメラ
３１ 撮影画像
４０ 受信装置
４２ タッチパネル
４３ 対象領域
５１，５１ａ，５１ｂ，５２ パターン画像
１００，４００ 制御部
１０１，４０１ 通信部
１０２ 生成部
１０３ 取得部
２１０ａ，２１０ｂ レンズ
２２１ａ 前面撮影素子
２２１ｂ 後方撮影素子
２２３ 映像処理部
２２４ 撮影制御部
３００ 光学系
３０１ カメラ本体
３０２ 回転部
３０３ 台座
３１１ 撮像素子
３１２ 画像処理部
３１４ａ，３１４ｂ モータＭ
３１５ 駆動部
４０２ ＵＩ部
４０３ 表示制御部
４０４ 描画部
４０５ 合成部
４０６ 位置指定部
４００８ａ ディスプレイ
４００８ｂ 入力デバイス

特許第３９６３２６１号公報

Claims (14)

1. 配信装置と、該配信装置とネットワークを介して通信可能な受信装置とを含む配信システムであって、
   前記配信装置は、
   第１の撮影装置により撮影された第１の撮影画像を前記受信装置に配信する配信部と、
   前記第１の撮影装置の画角中心から指定位置に対応する位置に向けた方向を示す方向情報を生成する生成部と、
   前記方向情報に従い撮影方向を制御される第２の撮影装置により撮影された第２の撮影画像から情報を取得する取得部と、
   を備え、
   前記受信装置は、
   前記第１の撮影画像の指定領域の画像を第１の画像として表示部に表示させる表示制御部と、
   前記指定領域を変更する変更入力を受け付ける入力受付部と、
   前記入力受付部に受け付けられた前記変更入力に応じて指定される、前記表示部に表示される前記第１の画像に対する位置を、前記指定位置として前記配信装置に対して指定する位置指定部と、
   を備え、
   前記表示制御部は、
   前記取得部により取得された前記情報を前記表示部に対して表示させる
   配信システム。
2. 前記取得部は、
   前記第２の撮影画像の少なくとも一部を含む画像を前記情報として取得する
   請求項１に記載の配信システム。
3. 前記受信装置は、
   前記第１の画像に対して情報取得の対象となる対象領域を設定し、該対象領域を示す情報を前記配信装置に指定する領域指定部をさらに備え、
   前記取得部は、
   前記第２の撮影画像における、前記対象領域に対応する画像を第２の画像として取得し、
   前記表示制御部は、
   前記第２の画像を前記表示部に対して表示させる
   請求項２に記載の配信システム。
4. 前記領域指定部は、
   前記対象領域に含まれる画像の特徴を示す第１の特徴情報を求め、該第１の特徴情報を、該対象領域を示す情報として前記配信装置に指定し、
   前記取得部は、
   前記第２の撮影画像の特徴を示す第２の特徴情報を求め、該第２の特徴情報と、前記領域指定部により指定された前記第１の特徴情報とに基づき、前記第２の画像を取得する
   請求項３に記載の配信システム。
5. 前記入力受付部は、前記第１の画像に対して領域を指定する領域指定入力をさらに受け付け、
   前記領域指定部は、
   前記入力受付部が前記領域指定入力を受け付けた場合に、該領域指定入力により指定された領域を前記対象領域として設定する
   請求項３に記載の配信システム。
6. 前記表示制御部は、
   前記第２の画像を、形状を変えずに前記第１の画像に重畳させて前記表示部に表示させる
   請求項３乃至請求項５の何れか１項に記載の配信システム。
7. 前記表示制御部は、
   前記第２の画像を、前記領域指定部により設定された前記対象領域の前記表示部における表示形状に応じて変形させ、変形させた該第２の画像を、該表示部の前記第１の画像に指定される該対象領域の位置に、該第１の画像に重畳させて表示させる
   請求項３乃至請求項５の何れか１項に記載の配信システム。
8. 前記取得部は、
   前記第２の撮影画像に含まれる文字情報を、前記情報として取得する
   請求項１に記載の配信システム。
9. 前記表示制御部は、
   前記取得部により取得された前記文字情報を、前記表示部の所定領域に纏めて表示させる
   請求項８に記載の配信システム。
10. 配信装置と、該配信装置とネットワークを介して通信可能な受信装置とを含む配信システムにおける配信方法であって、
    第１の撮影装置により撮影された第１の撮影画像を前記受信装置に配信する配信ステップと、
    前記第１の撮影装置の画角中心から指定位置に対応する位置に向けた方向を示す方向情報を生成する生成ステップと、
    前記方向情報に従い撮影方向を制御される第２の撮影装置により撮影された第２の撮影画像から情報を取得する取得ステップと、
    前記第１の撮影画像の指定領域の画像を第１の画像として前記受信装置の表示部に表示させる表示制御ステップと、
    前記指定領域を変更する変更入力を受け付ける入力受付ステップと、
    前記入力受付ステップにより受け付けられた前記変更入力に応じて指定される、前記表示部に表示される前記第１の画像に対する位置を、前記指定位置として前記配信装置に対して指定する位置指定ステップと、
    を有し、
    前記表示制御ステップは、
    前記取得ステップにより取得された前記情報を前記表示部に対して表示させる
    配信方法。
11. 受信装置とネットワークを介して通信可能な配信装置であって、
    第１の撮影装置により撮影された第１の撮影画像を前記受信装置に配信する配信部と、
    前記第１の撮影装置の画角中心から、前記受信装置により指定された、該受信装置の表示部に表示される前記第１の撮影画像に対して該受信装置に対して入力された指定位置に対応する位置、に向けた方向を示す方向情報を生成する生成部と、
    前記方向情報に従い撮影方向を制御される第２の撮影装置により撮影された第２の撮影画像から、前記受信装置の表示部に表示させるための情報を取得し、取得した該情報を前記受信装置に送信する取得部と、
    を備える配信装置。
12. 受信装置とネットワークを介して通信可能な配信装置に搭載されるコンピュータに実行させるための配信プログラムであって、
    第１の撮影装置により撮影された第１の撮影画像を前記受信装置に配信する配信ステップと、
    前記第１の撮影装置の画角中心から、前記受信装置により指定された、該受信装置の表示部に表示される前記第１の撮影画像に対して該受信装置に対して入力された指定位置に対応する位置、に向けた方向を示す方向情報を生成する生成ステップと、
    前記方向情報に従い撮影方向を制御される第２の撮影装置により撮影された第２の撮影画像から、前記受信装置の表示部に表示させるための情報を取得し、取得した該情報を前記受信装置に送信する取得ステップと、
    を前記コンピュータに実行させるための配信プログラム。
13. 配信装置とネットワークを介して通信可能な受信装置であって、
    第１の撮影装置により撮影され前記配信装置により配信された第１の撮影画像の指定領域の画像を第１の画像として表示部に表示させる表示制御部と、
    前記指定領域を変更する変更入力を受け付ける入力受付部と、
    前記入力受付部に受け付けられた前記変更入力に応じて指定される、前記表示部に表示される前記第１の画像に対する指定位置を前記配信装置に対して指定する位置指定部と、
    を備え、
    前記表示制御部は、
    前記配信装置により、前記第１の撮影装置の画角中心から前記指定位置に対応する位置に向けた方向を示す方向情報に従い撮影方向を制御されて第２の撮影装置により撮影された第２の撮影画像から取得された情報を、前記表示部に対して表示させる
    受信装置。
14. 配信装置とネットワークを介して通信可能な受信装置に搭載されるコンピュータに実行させるための受信プログラムであって、
    第１の撮影装置により撮影され前記配信装置により配信された第１の撮影画像の指定領域の画像を第１の画像として表示部に表示させる表示制御ステップと、
    前記指定領域を変更する変更入力を受け付ける入力受付ステップと、
    前記入力受付ステップにより受け付けられた前記変更入力に応じて指定される、前記表示部に表示される前記第１の画像に対する指定位置を前記配信装置に対して指定する位置指定ステップと、
    を含み、
    前記表示制御ステップは、
    前記配信装置により、前記第１の撮影装置の画角中心から前記指定位置に対応する位置に向けた方向を示す方向情報に従い撮影方向を制御されて第２の撮影装置により撮影された第２の撮影画像から取得された情報を、前記表示部に対して表示させる
    受信プログラム。

Images