以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[動画配信システムの構成]
図1を参照して、動画配信システム100の構成について説明する。図1は、本実施の形態に従う動画配信システム100の構成の概略を表す図である。
動画配信システム100は、一例として、動画撮影システム110A、110B、110C、110Dと、スマートフォン160A、160B、160C、160D(コンピュータ、情報処理装置)と、サーバ170と、ネットワーク2とを含む。動画配信システム100は、動画撮影システム110A、110B、110C、110Dの各々が撮影した動画を、ネットワーク2およびサーバ170を介して、スマートフォン160A、160B、160C、160Dの各々に配信するシステムである。以下、スマートフォン160A、160B、160C、160Dを総称して、スマートフォン160とも言う。
[スマートフォン160]
スマートフォン160は、配信された動画を、スマートフォン160のユーザに閲覧させる。つまり、スマートフォン160のユーザは、配信された動画の視聴者であるとも言える。スマートフォン160は、ネットワーク2を介してサーバ170と通信可能に構成される。動画配信システム100を構成するスマートフォン160の数は、4つに限られず、3つ以下でも、5つ以上でもよい。
図2を参照して、スマートフォン160について、さらに詳細に説明する。図2は、本実施の形態に従うスマートフォン160のハードウェア構成の一例を示すブロック図である。スマートフォン160は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、タッチスクリーン240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
プロセッサ210は、スマートフォン160に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、スマートフォン160に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、動画をユーザに閲覧させるためのアプリケーションプログラム、シミュレーションプログラム、ユーザ認証プログラムを含んでもよい。ストレージ230に格納されるデータは、各プログラムのためのデータおよびオブジェクト等を含む。別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、スマートフォン160に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成の場合、スマートフォン160は、ネットワーク2を介した通信、あるいは、WiFi(登録商標)(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)等の近距離無線通信により、該外部の記憶装置に保存されているプログラムおよびデータを使用してもよい。
タッチスクリーン240は、タッチパネル241とディスプレイ242とを備えた電子部品である。タッチパネル241は、入力面に対しユーザの操作(主にタッチ操作、スライド操作、スワイプ操作、およびタップ操作等の物理的接触操作)が入力された位置を検知して、位置を示す情報を入力信号として送信する機能を備える。タッチパネル241は、図示しないタッチセンシング部を備えていればよい。タッチセンシング部は、静電容量方式または抵抗膜方式等のどのような方式を採用したものであってもよい。ディスプレイ242は、例えば液晶ディスプレイ、または有機EL(Electro-Luminescence)ディスプレイ等によって構成される。
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ170)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)等の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFC等の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、動画をユーザに閲覧させるためのアプリケーションプログラム等を含み得る。プロセッサ210は、ネットワーク2、サーバ170、および通信インターフェイス250を介して受信した動画をタッチスクリーン240(ディスプレイ242)に表示する。
[動画撮影システム110A]
図1に戻り、動画撮影システム110Aの詳細について説明する。動画撮影システム110Aは、被写体150の動画(映像)を撮影するシステムである。本実施の形態に従う動画撮影システム110Aは、各フレームが全天球画像である全天球映像を撮影する。動画撮影システム110Aは、一例として、全天球カメラ120、全天球映像生成装置130、表示装置140と、を含む。本実施の形態では、動画撮影システム110B、110C、110Dについても、動画撮影システム110Aと同様に、全天球カメラ120、全天球映像生成装置130、表示装置140と、を含むものとして説明する。以下、動画撮影システム110A、110B、110C、110Dを総称して、動画撮影システム110とも言う。動画配信システム100を構成する動画撮影システム110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。
(全天球カメラ120)
全天球カメラ120は、複数の撮像部を備え、被写体150を撮影する。一例として、全天球カメラ120は、2つの撮像部を備える。具体的には、全天球カメラ120は、第1撮像部121および第2撮像部122を備える。
第1撮像部121および第2撮像部122は、動画像を撮像するように構成されており、CCD(Charge-Coupled Device)やCMOS(complementary metal-oxide semiconductor)などの撮像素子、および、レンズによって構成されている。以降、第1撮像部121および第2撮像部122が撮像する動画像を「撮影映像」と称する場合がある。
図3は、ある実施の形態に従う全天球カメラ120の視野を説明するための図である。第1撮像部121および第2撮像部122は、一例として、互いに反対方向を撮像するように全天球カメラ120に配置されている。第1撮像部121は、一例として、図3に示す視野311を有する。また、第2撮像部122は、一例として、図3に示す視野312を有する。視野311および視野312は、それぞれ、第1撮像部121および第2撮像部122の撮像領域と表現することもできる。
図3は、全天球カメラ120の上面図であるため、視野311および視野312を、一部が欠けた円形(扇形)で示している。しかしながら、第1撮像部121および第2撮像部122は、垂直方向(紙面に垂直な方向)にも視野を有している。つまり、視野311および視野312は、実際は、一部が欠けた球形である。よって、全天球カメラ120の視野は、互いに反対方向であり、かつ、一部が欠けた球形の2つの視野である。これにより、全天球カメラ120は、全天球カメラ120の全周囲(360度)の領域を撮影することができる。
図4は、ある実施の形態に従う全天球カメラ120のハードウェア構成の一例を表すブロック図である。図4に示すように、全天球カメラ120は、主たる構成要素として、プロセッサ411と、メモリ412と、ストレージ413と、第1撮像部121と、第2撮像部122と、入出力インターフェイス414と、通信インターフェイス415とを備える。各構成要素は、それぞれ、バス416に接続される。
プロセッサ411は、全天球カメラ120に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ412またはストレージ413に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ411は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
メモリ412は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ413からロードされる。データは、全天球カメラ120に入力されたデータと、プロセッサ411によって生成されたデータとを含む。ある局面において、メモリ412は、RAMその他の揮発メモリとして実現される。
ストレージ413は、プログラムおよびデータを永続的に保持する。ストレージ413は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ413に格納されるプログラムは、撮影映像の撮像を実現するためのプログラム、その他の装置との通信を実現するためのプログラムなどを含んでもよい。ストレージ413に格納されるデータは、撮影映像(撮影映像データ)を含んでもよい。
別の局面において、ストレージ413は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、全天球カメラ120に内蔵されたストレージ413の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成の場合、全天球カメラ120は、ネットワーク2を介した通信、あるいは、WiFi、Bluetooth、NFC等の近距離無線通信により、該外部の記憶装置に保存されているプログラムおよびデータを使用してもよい。
第1撮像部121および第2撮像部122は、上述したように、撮影映像を撮像する。入出力インターフェイス414は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス414は、USB、DVI、HDMI(登録商標)その他の端子を用いて実現される。入出力インターフェイス414は上述のものに限られない。通信インターフェイス1775は、ネットワーク2に接続されて、ネットワーク2に接続されている装置と通信する。ある局面において、通信インターフェイス415は、例えば、LAN等の有線通信インターフェイス、あるいは、WiFi,Bluetooth、NFC等の無線通信インターフェイスとして実現される。通信インターフェイス415は上述のものに限られない。なお、プロセッサ411は、通信インターフェイス415を用いて、撮影映像をリアルタイムに全天球映像生成装置130へ送信する。
(全天球映像生成装置130)
全天球映像生成装置130は、全天球カメラ120から取得した撮影映像を用いて、全天球映像を生成する。ある局面において、全天球映像生成装置130は、ネットワーク2を介して全天球カメラ120から撮影映像を取得する。
全天球映像生成装置130は、全天球カメラ120の第1撮像部121が撮像した撮影映像と、第2撮像部122が撮像した撮影映像とを取得する。図3に示すように、第1撮像部121の視野131と、第2撮像部122の視野132とは、一部が互いに重複している。このため、全天球カメラ120の第1撮像部121が撮像した撮影映像と、第2撮像部122が撮像した撮影映像とは、一部が互いに重複している。全天球映像生成装置130は、これら2つの撮影映像に含まれる、対応する2つのフレームを歪ませて、当該歪んだ2つのフレームをスティッチング処理する。「対応する2つのフレーム」とは、撮影時刻が一致する2つのフレームである。全天球映像生成装置130は、対応する2つのフレーム全てに対し、スティッチング処理を行うことにより、全天球映像を生成する。全天球映像生成装置130は、生成した全天球映像を、ネットワーク2を介して、サーバ170へ送信する。
全天球カメラ120が、全天球映像を生成し、サーバ170へ送信する機能を備えていてもよい。この例の場合、動画撮影システム110は、全天球映像生成装置130を含まなくてもよい。
(表示装置140)
表示装置140は、全天球映像生成装置130が生成した全天球映像を、ネットワーク2およびサーバ170を介して取得し、表示する。これにより、被写体150は、自身が撮影された全天球映像を確認しながら、撮影を行うことができる。表示装置140は、一例として、スマートフォン160のストレージ230に記憶されている、動画(全天球映像)をユーザに閲覧させるためのアプリケーションプログラムと同一のアプリケーションプログラムを記憶していてもよい。つまり、表示装置140は、該アプリケーションプログラムを用いて、全天球映像を表示してもよい。
[サーバ170]
サーバ170は、動画撮影システム110の各々から受信した全天球映像をスマートフォン160へ配信する。ある局面において、サーバ170は、スマートフォン160に対するユーザの入力に基づく第1指示を受信した場合、第1指示が示す全天球映像をスマートフォン160へ送信する。つまり、第1指示は、特定の全天球映像の送信指示である。
[被写体の撮影]
図5は、動画撮影システム110Aを用いた被写体150の撮影の一例を示す図である。本実施の形態では、被写体150が女性である例を説明する。この例のように、被写体150が人間である場合、被写体150は映像の配信者と表現することもできる。
一例として、被写体150は、撮影中において、視聴者(スマートフォン160のユーザ)に向けて喋ったり、演技、演奏、歌唱などを行なったり、ゲームをプレイしたり、日常の行動をしたりする。つまり、視聴者は、全天球映像を視聴することで、一例として、被写体150のこれらの動作、行動を視聴する。なお、被写体150の撮影中の動作、行動はこの例に限定されない。なお、図5の例では、被写体150はマイクを持ち、歌唱(カラオケ)を行なっている。このため、図5の例では、撮影現場にモニタ551およびカラオケ機材552が配置されている。
全天球カメラ120は、被写体150を第1位置から撮影する。図5の例では、被写体150は、第1撮像部121の視野の正面に位置し、全天球カメラ120の方向を向いている。換言すれば、図5の例では、被写体150は第1撮像部121によって撮影される。なお、図5では、第1撮像部121は、表示装置140によって隠れているため、図示していない。
一例として、表示装置140は、図5に示すように、全天球カメラ120の上部に、表示領域が被写体150側となるように配置される。これにより、被写体150は、全天球カメラ120の撮像部(図5の例では第1撮像部121)に目線を向けながら、自身が撮影された全天球映像を確認することができる。換言すれば、被写体150は、カメラ目線を維持しながら、自身が撮影された全天球映像を確認することができる。
一例として、全天球映像をユーザに閲覧させるためのアプリケーションプログラムは、視聴者が全天球映像を視聴しながらコメント等を入力する機能、および、該コメント等を表示する機能を備えていてもよい。これにより、被写体150は、自身が撮影された全天球映像を視聴している視聴者が入力したコメントを視認することができ、該コメントに対して応答することができる。なお、アプリケーションプログラムは、視聴者の入力に基づく処理の実行を、通知として表示する機能を備えていてもよい。一例として、視聴者に対する課金に関する処理が実行され、ギフトオブジェクトが被写体150に贈呈されたことを示す通知が、該機能によって表示されてもよい。
[サーバ170のハードウェア構成]
図6を参照して、本実施の形態に係るサーバ170について、さらに詳細に説明する。図6は、ある実施の形態に従うサーバ170のハードウェア構成の一例を表すブロック図である。サーバ170は、主たる構成要素として、プロセッサ611と、メモリ612と、ストレージ613と、入出力インターフェイス614と、通信インターフェイス615とを備える。各構成要素は、それぞれ、バス616に接続されている。
プロセッサ611は、サーバ170に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ612またはストレージ613に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ611は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
メモリ612は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ613からロードされる。データは、サーバ170に入力されたデータと、プロセッサ611によって生成されたデータとを含む。ある局面において、メモリ612は、RAMその他の揮発メモリとして実現される。
ストレージ613は、プログラムおよびデータを永続的に保持する。ストレージ613は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。
別の局面において、ストレージ613は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ170に内蔵されたストレージ613の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成の場合、サーバ170は、ネットワーク2を介した通信、あるいは、WiFi、Bluetooth、NFC等の近距離無線通信により、該外部の記憶装置に保存されているプログラムおよびデータを使用してもよい。
入出力インターフェイス614は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス614は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス614は上述のものに限られない。
通信インターフェイス615は、ネットワーク2に接続されて、ネットワーク2に接続されている全天球映像生成装置130、表示装置140、および、スマートフォン160と通信する。ある局面において、通信インターフェイス615は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス615は上述のものに限られない。
ある局面において、プロセッサ611は、ストレージ613にアクセスし、ストレージ613に格納されている1つ以上のプログラムをメモリ612にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ170のオペレーティングシステム、スマートフォン160および表示装置140に全天球映像を配信するためのアプリケーションプログラム等を含み得る。プロセッサ611は、通信インターフェイス615、または、入出力インターフェイス614を介して、全天球映像をスマートフォン160および表示装置140に配信してもよい。
ここで、図示してはいないが、サーバ170のモジュール構成の詳細について説明する。サーバ170は、コントロールモジュールと、メモリモジュールと、通信制御モジュールとを備える。ある局面において、コントロールモジュールは、プロセッサ611によって実現される。メモリモジュールは、メモリ612またはストレージ613によって実現される。通信制御モジュールは、通信インターフェイス615によって実現される。
コントロールモジュールは、スマートフォン160から第1指示を受信すると、スマートフォン160に全天球映像を送信する。コントロールモジュールは、一例として、ライブ方式で全天球映像のストリーミング(ライブストリーミング)を行う。ライブストリーミングとは、データをダウンロードしつつ同時に再生する方式であるストリーミングの一種で、映像や音声をリアルタイムで配信し、リアルタイムでデータの変換(エンコード)を行い、そのままストリーミング再生することである。つまり、コントロールモジュールは、全天球映像生成装置130から受信した全天球映像のストリーミングをリアルタイムに行う。換言すれば、該全天球映像は、ライブストリーミング映像であると表現することもできる。
つまり、動画配信システム100では、(1)全天球カメラ120から全天球映像生成装置130への撮影映像の送信、(2)全天球映像生成装置130による全天球映像の生成、および、該全天球映像のサーバ170への送信、(3)サーバ170から、第1指示を送信したスマートフォン160への全天球映像の送信がリアルタイムに行われる。これにより、視聴者は、現在撮影されている被写体150の全天球映像を視聴することができる。なお、第1指示は、表示装置140から送信されてもよい。
[スマートフォン160のモジュール構成]
図7および図8を参照して、スマートフォン160のモジュール構成について説明する。図7は、ある実施の形態に従うスマートフォン160をモジュール構成として表すブロック図である。図8は、ある実施の形態に従うスマートフォン160のモジュールの詳細構成を表すブロック図である。
図7に示すように、スマートフォン160は、コントロールモジュール710と、メモリモジュール720と、通信制御モジュール730とを備える。ある局面において、コントロールモジュール710は、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210が、コントロールモジュール710として作動してもよい。メモリモジュール720は、メモリ220またはストレージ230によって実現される。通信制御モジュール730は、通信インターフェイス250によって実現される。
図8に示すように、コントロールモジュール710は、動画制御モジュール811、平面画像制御モジュール812、動画切換モジュール813、および、操作判別モジュール814を備えている。
動画制御モジュール811は、ユーザが閲覧する全天球映像を制御する。動画制御モジュール811は、例えば、ユーザがタッチスクリーン240に対して入力した操作に基づいて、サーバ170に第1指示を送信し、第1指示が示す全天球映像を再生する。ここで、「全天球映像を再生する」とは、全天球映像を受信し、タッチスクリーン240(ディスプレイ242)に表示することを指す。
具体的には、動画制御モジュール811は、第1指示の送信をトリガとして、第1指示が示す全天球映像の受信を開始する。ただし、全天球映像はその容量が大きいため、動画制御モジュール811は、受信開始直後に全天球映像を再生し、ユーザに視聴させることはできない。換言すれば、第1指示のための操作が行われてから、全天球映像が視聴可能となるまでには、ある程度の時間が必要となる。動画制御モジュール811は、第1期間の間全天球映像の受信を継続し、該全天球映像の再生に十分なデータを受信した時点で、該全天球映像の再生を開始する。以降、第1指示のための操作が行われてから全天球映像の再生が開始されるまでの時間を第1期間と称する。
全天球映像の再生について、図9を参照して説明する。図9は、ある実施の形態に従う全天球映像、および、該全天球映像のスマートフォン160への表示例を示す図である。
上述したように、全天球カメラ120は、全天球カメラ120の全周囲(360度)の領域を撮影する。このため、全天球映像は、球で表現することが可能である。換言すれば、球の外縁に全天球映像が貼り付いていると表現することもできる。図9(A)の例では、説明を複雑にしないために、全天球映像910の上半分(半球)を例示している。
一方、動画の興趣性、ユーザによる動画の視認のしやすさなどを考慮すれば、スマートフォン16は、全天球映像の一部の領域をディスプレイ242に表示することが好ましい。つまり、本実施の形態において、全天球映像を再生するとは、ディスプレイ242に全天球映像の一部の領域を表示することである。以降、該一部の領域を「表示領域」と称する。
該表示領域の設定について説明する。全天球映像910の中心911は、撮影現場における全天球カメラ120の位置に対応する。動画制御モジュール811は、一例として、中心911を、表示領域の決定のための基準点912として設定する。動画制御モジュール811は、一例として、基準点912から球(半球)の外縁に向かう方向に延びる基準線913と、スマートフォン16のディスプレイ242のサイズに基づいて、全天球映像910の再生開始時の表示領域914を設定する。具体的には、動画制御モジュール811は、基準線913が全天球映像910(すなわち球の外縁)と交わる点を中心とする、ディスプレイ242のサイズと略同一の表示領域914を設定する。
基準線913が延びる方向(全天球映像の基準方向)は、一例として、撮影現場における、全天球カメラ120から被写体150へ向かう方向に対応する。基準線913が延びる方向は、全天球映像の正面方向と表現することもできる。動画制御モジュール811は、設定された表示領域914を、図9(B)に示すように、ディスプレイ242に表示する。これにより、全天球映像の再生が開始された時点で、被写体150を含む映像がディスプレイ242に表示される。
また、動画制御モジュール811は、例えば、ユーザがタッチスクリーン240に対して入力した操作に基づいて、表示領域を変更する。動画制御モジュール811は、一例として、該操作に応じた、基準線913とは異なる方向に延びる直線を特定する。そして、該直線が全天球映像910と交わる点を中心とする、ディスプレイ242のサイズと略同一の表示領域を特定し、該表示領域をディスプレイ242に表示する。この処理は、換言すれば、基準点から伸びる直線と、全天球映像910との交点の位置を、ユーザがタッチスクリーン240に対して入力した操作に基づいて移動させる処理とも言える。あるいは、この処理は、表示領域914を、ユーザがタッチスクリーン240に対して入力した操作に基づいて移動させる処理とも言える。
平面画像制御モジュール812は、第1期間における、タッチスクリーンへの第1画像の表示を制御する。第1画像とは、第1期間、すなわち、第1指示のための操作が行われてから全天球映像の再生が開始されるまでの期間において表示される平面画像である。また、第1画像は、全天球映像に含まれる画像であり、サーバ170によって生成される。
平面画像制御モジュール812は、第1指示のための操作が行われると、第1画像の送信指示である第2指示をサーバ170へ送信し、第1画像を受信する。そして、平面画像制御モジュール812は、受信した第1画像をタッチスクリーン240に表示する。また、平面画像制御モジュール812は、全天球映像の再生が可能となった時点で、第1画像の表示を停止する。
動画切換モジュール813は、ユーザがタッチスクリーン240に対して入力した操作に基づいて、再生する全天球映像、すなわち、ディスプレイ242に表示する全天球映像を変更する。具体的には、動画切換モジュール813は、第1全天球映像を再生している場合において、ユーザがタッチスクリーン240に対して入力した操作に基づいて、第1全天球映像の再生を停止し、第1全天球映像と異なる第2全天球映像を再生する。
操作判別モジュール814は、タッチスクリーン240に対するユーザの操作を判別する。操作判別モジュール814は、例えば、(1)「接近操作」、(2)「リリース操作」、(3)「タップ操作」、(4)「ダブルタップ操作」、(5)「長押し操作(ロングタッチ操作)」、(6)「ドラッグ操作(スワイプ操作)」、(7)「ムーブ操作」、(8)「フリック操作」、その他のユーザの操作を判別する。操作判別モジュール814が判別するユーザの操作は、上記に限られない。例えば、タッチスクリーン240が、ユーザがタッチスクリーン240に対して押下する圧力の大きさを検出可能な機構を有する場合、操作判別モジュール814は、ユーザにより押下された圧力の大きさを判別する。
(1)「接近操作」とは、ユーザが指などをタッチスクリーン240に接近させる操作である。タッチスクリーン240は、ユーザの指などが接近したこと(ユーザの指などがタッチスクリーン240に接触したことを含む)をタッチスクリーン240により検出し、検出したタッチスクリーン240の座標に応じた信号をコントロールモジュール710へ出力する。コントロールモジュール710は、タッチスクリーン240へのユーザの指などの接近を検出しない状態から、接近を検出したときに、状態が「タッチオン状態」になったと判別する。
(2)「リリース操作」とは、ユーザがタッチスクリーン240を接近操作している状態を止める操作である。操作判別モジュール814は、例えば、ユーザが指などをタッチスクリーン240に接触させている状態から、指を離す操作をしたときに、ユーザの操作を「リリース操作」と判別する。コントロールモジュール710は、タッチスクリーン240へのユーザの指などの接近を検出している状態から、接近を検出しない状態になったときに、状態が「タッチオン状態」から「タッチオフ状態」になったと判別する。
(3)「タップ操作」とは、ユーザがタッチスクリーン240に対して指などを接近させる接近操作をした後に、接近操作をした位置でリリース操作を行うことである。操作判別モジュール814は、接近操作が検出されない状態(ユーザの指などがタッチスクリーン240から離れており、タッチスクリーン240がユーザの指などの接近を検出していない状態)から、タッチスクリーン240の出力に基づいて、ユーザの指などが接近したことを検出した場合に、その検出した座標を「初期タッチ位置」として保持する。操作判別モジュール814は、初期タッチ位置の座標と、リリース操作をした座標とがほぼ同一である場合(接近操作が検出された座標から一定範囲内の座標においてリリース操作の座標が検出された場合)に、ユーザの操作を「タップ操作」と判別する。
(4)「ダブルタップ操作」とは、ユーザがタップ操作を一定時間内に2回行う操作である。操作判別モジュール814は、例えば、ユーザの操作をタップ操作と判別してから一定時間内に、タップ操作にかかる座標で再びタップ操作を判別した場合に、ユーザの操作を「ダブルタップ操作」と判別する。
(5)「長押し操作」とは、ユーザがタッチスクリーン240を押し続ける操作である。タッチスクリーン240は、ユーザの操作を検出して接近操作を判別してから、接近操作が検出された座標において接近操作が継続している時間が一定時間を超えた場合に、ユーザの操作を「長押し操作」(「長押し操作」を、「ロングタッチ操作」と称することもある)と判別する。
(6)「ドラッグ操作」とは、ユーザがタッチスクリーン240に指などを接近させた接近状態を維持したまま、指をスライドさせる操作である。
(7)「ムーブ操作」とは、ユーザがタッチスクリーン240において、接近操作を維持しつつ、タッチスクリーン240に指などを接近させている位置を移動させてリリース操作を行う一連の操作をいう。
(8)「フリック操作」は、ユーザがムーブ操作を予め定められた時間よりも短い時間で行う操作をいう。フリック操作は、ユーザがタッチスクリーン240で指を弾くような操作である。
[処理フロー]
図10は、ある実施の形態に従うスマートフォン160において実行される処理、および、サーバ170において実行される処理の一部を示すシーケンス図である。本実施形態では、視聴者側の一連の処理が、スマートフォン160Aにより実行されるものとして説明する。ただし、当該処理は、他のスマートフォン160B、160C、160Dにより実行されてもよいし、当該処理の一部または全部がサーバ170によって実行されてもよい。
ステップS1011において、サーバ170のプロセッサ611は、全天球映像生成装置130から全天球映像を受信する。具体的には、プロセッサ611は、現在撮影を行っている動画撮影システム110に含まれる全天球映像生成装置130の各々から、全天球映像を受信する。つまり、複数の動画撮影システム110において同時に撮影が行なわれている場合、プロセッサ611は、複数の全天球映像を受信する。なお、全天球映像はリアルタイムで撮影されているため、プロセッサ611は、全天球映像のフレームを順次受信することとなる。
ステップS1012において、プロセッサ611は、第1画像を生成する。プロセッサ611は、一例として、全天球映像における受信したフレームの一部を抽出する。例えば、プロセッサ611は、最初に受信したフレームを抽出し、以降、所定数ごとにフレームを抽出してもよい。そして、プロセッサ611は、抽出した各フレームから、第1画像を生成する。プロセッサ611は、一例として、抽出したフレームから全天球映像の正面方向の領域を切り出すことにより、第1画像を生成する。これにより、プロセッサ611は、複数の第1画像を生成する。換言すれば、プロセッサ611は、全天球映像の異なる時点にそれぞれ対応する、全天球映像を構成するフレームの総数より少ない複数の静止画像を、第1画像として生成する。
ステップS1001において、スマートフォン160Aのタッチパネル241は、第1全天球映像の再生操作を受け付ける。該操作は、例えば、ユーザが閲覧可能な複数の全天球映像それぞれを示す複数のUIを表示したタッチスクリーン240における、第1全天球映像を示すUIへのタップ操作であってもよい。該画面は、例えば、動画をユーザに閲覧させるためのアプリケーション(以下、単に「アプリケーション」と記載)を起動した直後に表示されてもよい。また、該複数のUIは、閲覧可能な複数の全天球映像それぞれのサムネイル画像であってもよい。ステップS1002において、スマートフォン160Aのプロセッサ210は、動画制御モジュール811として、第1全天球映像の再生操作に基づく、第1全天球映像の再生指示をサーバ170へ送信する。
ステップS1013において、プロセッサ611は、第1全天球映像の再生指示を受信したことに伴い、第1全天球映像のスマートフォン160Aへの送信を開始する。プロセッサ610は、一例として、第1全天球映像の再生指示を受信した時点(あるいは該時点の直近)に全天球映像生成装置130より受信したフレームから、スマートフォン160Aへ送信する。例えば、第1全天球映像の再生指示を16時00分00秒に受信した場合、プロセッサ611は、16時00分00秒に全天球映像生成装置130より受信したフレームから、スマートフォン160Aへ送信する。第1全天球映像が16時00分00秒より前から配信されている場合、スマートフォン160Aのユーザは、第1全天球映像を途中から視聴することとなる。
ステップS1003において、プロセッサ210は、動画制御モジュール811として、第1全天球映像の受信を開始する。プロセッサ210は、サーバ170から送信された第1全天球映像のフレームを順次受信する。
ステップS1014において、プロセッサ611は、第1全天球映像から生成した平面画像、すなわち第1画像をスマートフォン160Aへ送信する。プロセッサ611は、一例として、第1全天球映像の再生指示を受信した時点で生成が完了している第1画像を、生成の順序をスマートフォン160Aが特定可能な形式で、スマートフォン160Aへ送信する。生成の順序とは、すなわち、生成元のフレームの、第1全天球映像における順序である。例えば、プロセッサ611は、第1画像を、生成の順序を示す情報と対応付けて、スマートフォン160Aへ送信してもよい。あるいは、プロセッサ611は、第1画像を生成順にスマートフォン160Aへ送信してもよい。なお、ステップS1014の処理は、ステップS1013の処理と同時に行われてもよいし、ステップS1013の処理より前に開始されてもよい。
図11は、ある実施の形態に従う、スマートフォンにおける第1画像および全天球映像の表示例を示す図である。ステップS1004において、プロセッサ210は、平面画像制御モジュール812として、受信した第1画像を、第1全天球映像が再生可能となるまで、タッチスクリーン240(ディスプレイ242)に表示させる。プロセッサ210は、一例として、第1画像を生成された順に、所定の時間間隔でディスプレイ242に表示させる。換言すれば、プロセッサ210は、受信した複数の第1画像を、第1全天球映像における時系列順に1つずつ表示する。なお、一例として、プロセッサ210は、所定のデータ量のストリーミングデータを受信した時点で、第1全天球映像が再生可能となったと判定する。
例えば、プロセッサ210は、まず、図12(A)に示す第1画像1121Aをディスプレイ242に表示させる。プロセッサ210は、図12(A)に示すように、第1全天球映像を受信中であることを示す画像1131を、第1画像1121に重畳させて表示させてもよい。これにより、スマートフォン160Aのユーザは、第1全天球映像を受信中である、すなわち、まだ第1全天球映像を視聴することはできない、ということを認識する。
図12(A)に示す第1画像1121Aでは、被写体150がマイクを持ってポーズをとっている。スマートフォン160Aのユーザは、第1画像1121Aを視認することにより、第1全天球映像において、被写体150によるマイクを使ったパフォーマンスが行われると推測することができる。
続いて、プロセッサ210は、第1画像1121Aの表示から所定時間が経過した後、図12(B)に示す第1画像1121Bをディスプレイ242に表示させる。第1画像1121Bでは、被写体150が歌唱している。スマートフォン160Aのユーザは、第1画像1121Bを視認することにより、第1全天球映像において、被写体150はパフォーマンスとして歌唱を行なっていることを認識することができる。
プロセッサ210は、第1画像1121Bの表示から所定時間が経過した後、図12(C)に示す第1画像1121Cをディスプレイ242に表示させる。第1画像1121Cでは、被写体150がアップになっている。スマートフォン160Aのユーザは、第1画像1121Cを視認することにより、第1全天球映像において、被写体150が歌唱しながらカメラ(全天球カメラ120)に近づくパフォーマンスを行なったことを認識することができる。
ステップS1005において、プロセッサ210は、動画制御モジュール811として、第1全天球映像を再生可能となったか否かを判定する。具体的には、プロセッサ210は、第1画像の表示を行いながら、第1全天球映像が再生可能となるまで待機する。換言すれば、第1全天球映像が再生可能となるまでは、プロセッサ210は、第1画像の表示を継続する(ステップS1005でNO)。第1全天球映像が再生可能となった場合(ステップS1005でYES)、ステップS1006において、プロセッサ210は、第1画像の表示を終了し、第1全天球映像を再生する。
プロセッサ210は、一例として、第1全天球映像が再生可能となると、図12(D)に示すように、第1全天球映像の一部である表示領域1114をディスプレイ242に表示する。また、プロセッサ210は、UI1141A、UI1141B、UI1141Cをディスプレイ242に表示している。
表示領域1114では、被写体150がマイクを持って喜んでいる。つまり、第1全天球映像の再生は、被写体150がマイクを持って喜んでいるところからスタートする。スマートフォン160Aのユーザは、第1全天球映像の再生前に、第1画像1121A、1121B、1121Cを視認しているので、被写体150の歌唱がうまくいったと推測することができる。つまり、スマートフォン160Aのユーザは、第1全天球映像の視聴を、第1全天球映像の途中から開始したにもかかわらず、第1全天球映像の内容を把握した状態で、視聴を開始することができる。これにより、スマートフォン160Aのユーザは、第1全天球映像の視聴をより楽しむことができる。
また、第1全天球映像の再生が開始されると、ユーザは、スマートフォン160Aに対して所定の操作(第2操作)を入力して、第1全天球映像の表示領域を変更することができる。第2操作は、一例として、ユーザが把持したスマートフォン160A自体を動かす操作であってもよい。ユーザが把持したスマートフォン160A自体を動かすと、スマートフォン160Aのジャイロ機能により、第1全天球映像の表示領域が変更される。あるいは、第2操作は、タッチパネル241に対するドラッグ操作であってもよい。これにより、ユーザは、第1全天球映像の再生開始時に表示されている表示領域とは異なる表示領域を視認することができる。また、ドラッグ操作と異なる、タッチパネル241に接触させた指示体(指など)を移動させる移動操作(例えばフリック操作)により、表示領域の変更が実行されてもよい。
また、全天球映像の再生指示をサーバ170に送信してから、全天球映像の再生可能となるまでの期間は、平面映像に比べて長い。スマートフォン160Aは、この期間において第1画像を表示し、ユーザに視認させるので、ユーザが、全天球映像の再生開始をただ待機している、という状況の発生を防ぐことができる。これにより、ユーザが、全天球映像の再生がなかなか開始されないために、全天球映像の視聴を止めてしまうといった状況の発生を防ぐことができる。つまり、全天球映像の再生操作を行ってから、再生開始までに時間がかかることに起因するユーザの不満を抑えることができる。
[変形例1]
図12は、ある実施の形態に従う、スマートフォンにおける第1画像および全天球映像の表示例を示す図である。第1全天球映像(第2ライブストリーミング映像)を再生するための操作は、第1全天球映像とは別の第2全天球映像(第1ライブストリーミング映像)の再生中における、タッチパネル241への操作であってもよい。つまり、第1全天球映像を再生するための操作は、第2全天球映像の再生中における、第2全天球映像を、第1全天球映像へ変更する切換操作であってもよい。該切換操作は、図12(A)に示すように、タッチパネル241に対するフリック操作であってもよい。プロセッサ210は、被写体1250の第2全天球映像を再生中に、該フリック操作を受け付けると、第2全天球映像の表示領域1214を非表示とし、第1全天球映像の受信を開始する。
これにより、プロセッサ210は、図12(B)に示すように、第1全天球映像から生成された第1画像1121Aをディスプレイ242に表示する。そして、第1全天球映像が再生可能となると、プロセッサ210は、第1全天球映像の表示領域(例えば、図11(D)に示す表示領域1114)を表示する。
該変形例によれば、ユーザは、フリック操作という簡易な操作で視聴する全天球映像を切り換えることができる。一方で、切り換え後の全天球映像(第1全天球映像)は、再生可能となるまで時間がかかるため、簡易な操作で全天球映像を切り換えたにもかかわらず、ユーザは切り換え後の全天球映像をなかなか視聴することができず、不満に感じて視聴を止めてしまうおそれがある。換言すれば、フリック操作という簡易な操作に、全天球映像の再生開始までのスピード感が対応していないことに対し、ユーザが不満に感じるおそれがある。
そこで、全天球映像が再生可能となるまで第1画像を表示することにより、全天球映像の切換後に、ユーザにコンテンツの内容を迅速に提供することができる。換言すれば、フリック操作という簡易な操作に対応したスピード感で、コンテンツの内容を提供することができる。これにより、ユーザの不満を抑えることができる。
なお、図12の例では、第1方向1270(図12における右方向)へのフリック操作により、第1全天球映像の受信が開始される。これに対して、第1方向1270と異なる方向、例えば、第1方向の反対方向(図12における左方向)へのフリック操作が行われた場合、第1全天球映像と異なる第3全天球映像の受信が開始されてもよい。つまり、スマートフォン160は、再生中の全天球映像を、フリック操作の方向に応じた別の全天球映像に切り換える構成であってもよい。なお、フリック操作の方向は左右方向に限定されない。例えば上下方向であってもよい。フリック操作と異なる移動操作(例えばドラッグ操作)により、全天球映像の切換が実行されてもよい。
また、スマートフォン160Aが、タッチパネル241に対する移動操作(ドラッグ操作)で全天球映像の表示領域を変更する機能を有している場合、スマートフォン160Aは、全天球映像の切換のための移動操作(フリック操作)と、全天球映像の表示領域の変更のための移動操作とを区別する必要がある。一例として、全天球映像の表示領域の変更のための移動操作は、タッチスクリーン240へ指1260を接触させ、所定の閾値(以下、単に「閾値」と記載する)秒以上待機した後、指1260を移動させる操作であってもよい。一方、全天球映像の切換のための移動操作は、タッチスクリーン240へ指1260を接触させ、閾値病が経過する前に、指1260を移動させる操作であってもよい。
[変形例2]
図13は、ある実施の形態に従う、スマートフォンにおける全天球映像の表示例を示す図である。プロセッサ210は、全天球映像の再生の開始とともに、表示領域の変更が可能となったことをユーザに報知してもよい。
一例として、プロセッサ210は、図13(A)に示すように、表示領域の変更、換言すれば、全天球映像に対する視界の変更が可能になったことを示すテキスト1332を、第1全天球映像の表示領域1114に重畳させて表示してもよい。
これにより、スマートフォン160Aのユーザは、全天球映像の再生が開始されたときに、表示領域を変更できることを認識することができる。よって、図13(B)に示すように、全天球映像の表示領域を変更することができる。図13(B)に示す表示領域1314には、モニタ551およびカラオケ機材552が含まれている。ユーザは、表示領域の変更により、被写体150がカラオケを行なっていることを認識することができる。このように、ユーザに表示領域の変更を促すことで、全天球映像の内容を迅速に認識させることが可能となる場合がある。
なお、報知の態様はディスプレイ242への表示に限定されない。例えば、プロセッサ210は、表示領域の変更が可能となったことを音声でユーザに報知してもよい。
[変形例3]
図14は、ある実施の形態に従う、スマートフォンにおける第1画像の表示例を示す図である。第1画像は、全天球映像から抽出されたフレームそのもの、すなわち全天球画像であってもよい。
一例として、プロセッサ210は、図14(A)に示すように、全天球画像の表示領域1471Aを表示する。第1画像が全天球画像である場合、第2操作(第3操作)による表示領域の変更が可能であってもよい。一例として、プロセッサ210は、第2操作に基づいて全天球画像の表示領域を変更し、図14(B)に示すように、表示領域1471Aに代えて表示領域1471Bを表示する。表示領域1471Bには、モニタ551およびカラオケ機材552が含まれている。ユーザは、表示領域の変更により、被写体150による歌唱がカラオケであることを、第1画像を表示している段階で認識することができる。よって、スマートフォン160Aは、全天球映像の再生前に、全天球映像の内容を、さらに詳細に把握することができる。
[その他の変形例]
プロセッサ210が第1期間に表示する第1画像の数は特に限定されない。プロセッサ210は、上述したように複数の第1画像を表示してもよいし、1つの第1画像を表示してもよい。1つの第1画像を表示する場合、該第1画像は、全天球映像の内容をユーザが推測できるような画像であることが好ましい。
プロセッサ210が第1期間に表示する第1画像は、映像であってもよい。該映像は、例えば、全天球映像の正面方向の領域に対応する平面映像であってもよい。
プロセッサ210は、全天球映像の再生のための第1指示とともに、スマートフォン160Aのディスプレイ242の形状および面積を示す情報を送信してもよい。この場合、サーバ170のプロセッサ611は、該情報に基づいて、第1画像(全天球映像の正面方向の領域に対応する平面画像)の形状および面積を調整することができる。プロセッサ611は、例えば、第1画像の形状および面積をディスプレイ242の形状および面積と略同一とすることができる。
プロセッサ611は、スマートフォン160Aから所定の通知を受信するまで、新たに生成された第1画像をスマートフォン160Aへ送信してもよい。これにより、スマートフォン160のプロセッサ210は、全天球映像の再生開始時点、すなわち、ユーザによる全天球映像の視聴開始時点までに生成された第1画像をディスプレイ242に表示することができる。なお、該所定の指示とは、すなわち、全天球映像が再生可能となったため、第1画像の表示を停止する旨の通知である。
配信される全天球映像はライブストリーミング映像に限定されない。例えば、全天球映像は、既に撮影が終了している映像(アーカイブ映像)であってもよい。この例の場合、第1画像は、全天球映像を構成する全てのフレームから生成することができる。
また、配信される動画は全天球映像に限定されない。例えば、配信される動画は、平面映像、換言すれば、ディスプレイ242にそのすべてが表示される映像であってもよい。
第1画像が平面画像である場合、該平面画像は、全天球映像の基準方向の領域に対応する平面画像であればよい。該基準方向は、全天球映像の正面方向でなくてもよい。
上述した例では、サーバ170のプロセッサ611が第1画像を生成する例を説明したが、スマートフォン160のプロセッサ210が、受信した全天球映像のデータから第1画像を生成してもよい。別の例として、全天球映像生成装置130が、全天球映像の生成とは別に、第1画像を生成してもよい。換言すれば、第1画像は、全天球映像に含まれる画像であればよく、全天球映像から生成されるものに限定されない。この例において、第1画像を管理するサーバは、サーバ170とは別のサーバであってもよい。サーバ170は、全天球映像の再生のための第1指示を受信した場合、該別のサーバに、第1指示にて特定される全天球映像の第1画像をスマートフォン160Aに送信するよう指示すればよい。
ユーザが全天球映像を閲覧するために使用する端末装置は、タッチパネルを搭載した端末装置であればよく、スマートフォン160に限定されない。例えば、ユーザが全天球映像を閲覧するために使用する端末装置は、タブレット端末、タッチパネルを搭載したゲーム機(ゲーム端末)などであってもよい。
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
(項目1) プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ(210)およびメモリ(220)を備えたコンピュータ(スマートフォン160)によって実行される。プログラムは、プロセッサに、ユーザの第1操作に基づいて全天球映像の受信を開始するステップ(S1003)と、第1操作が行われてから全天球映像が視聴可能となるまでの第1期間において、全天球映像に含まれる第1画像を表示するステップ(S1004)と、を実行させる。
(項目2) (項目1)において、全天球映像はライブストリーミング映像である。受信を開始するステップでは、ライブストリーミング映像について、第1操作が入力されたタイミングに応じた時点から受信を開始する。表示するステップでは、第1画像として、ライブストリーミング映像における、該ライブストリーミング映像の配信開始時点からユーザの視聴開始時点までの部分映像に含まれる画像を、第1期間において表示する。
(項目3) (項目2)において、コンピュータは、さらに、タッチパネル(241)を備える。受信を開始するステップでは、第1操作として、タッチパネルに接触させた指示体を移動させる移動操作を受け付けた場合に、ユーザが視聴している第1ライブストリーミング映像を非表示とし、第1ライブストリーミング映像と異なる、配信中の第2ライブストリーミング映像の受信を開始する。表示するステップでは、第1画像として、第2ライブストリーミング映像における、該第2ライブストリーミング映像の配信開始時点からユーザの視聴開始時点までの部分映像に含まれる画像を、第1期間において表示する。
(項目4) (項目1)から(項目3)において、コンピュータは、さらに、ディスプレイ(242)を備える。表示するステップでは、第1画像として、全天球映像の基準方向における画像を、第1期間においてディスプレイに表示する。
(項目5) (項目4)において、プログラムは、プロセッサに、全天球映像が視聴可能となった場合、第1画像を非表示とするとともに、全天球映像を再生するステップ(S1006)と、全天球映像の再生中に、ユーザの第2操作に基づいて、全天球映像における、ディスプレイに表示させる領域を変更するステップと、全天球映像が視聴可能となった場合、全天球映像における、ディスプレイに表示させる領域を変更可能であることをユーザに報知するステップと、をさらに実行させる。
(項目6) (項目1)から(項目3)において、コンピュータは、さらに、ディスプレイ(241)を備える。表示するステップでは、第1画像として、全天球映像を構成する静止画像である全天球画像の一部の領域を、第1期間において表示させる。プログラムは、プロセッサに、ユーザの第3操作に基づいて、全天球画像における、ディスプレイに表示させる領域を変更するステップをさらに実行させる。
(項目7) (項目1)から(項目6)において、第1画像は、全天球映像の異なる時点にそれぞれ対応する、全天球映像を構成する静止画像の総数より少ない複数の静止画像である。表示するステップでは、第1期間において、複数の静止画像を、全天球映像における時系列順に1つずつ表示する。
(項目8) 情報処理装置を説明した。本開示のある局面によると、情報処理装置(スマートフォン160)は、情報処理装置によって実行されるプログラムを記憶する記憶部(メモリ220)と、プログラムを実行することにより、情報処理装置の動作を制御する制御部(プロセッサ210)と、を備える。制御部は、ユーザの第1操作に基づいて全天球映像の受信を開始し、第1操作が行われてから全天球映像が視聴可能となるまでの第1期間において、全天球映像に含まれる第1画像を表示する。
(項目9) プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、プロセッサ(210)およびメモリ(220)を備えたコンピュータ(スマートフォン160)によって実行される。方法は、プロセッサが、ユーザの第1操作に基づいて全天球映像の受信を開始するステップ(S1003)と、第1操作が行われてから全天球映像が視聴可能となるまでの第1期間において、全天球映像に含まれる第1画像を表示するステップ(S1004)と、を含む。