JP2020150417A - 情報処理装置、方法、および記録媒体 - Google Patents

Abstract

【課題】実映像と仮想映像との効果的な使い分けを実現する。【解決手段】本開示の一例としての情報処理装置は、ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御部と、前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成部と、を備える。【選択図】図２

Description

本開示は、情報処理装置、方法、および記録媒体に関する。

空間内の複数の視点（および視線）から実カメラによって収集した実映像から、空間内の任意の視点（および視線）における仮想映像を取得する技術が検討されている。

国際公開第２０１６／０８８４３７号

上記のような仮想映像は、任意の視点（および視線）で自由に取得することはできるものの、あくまで、実映像から計算で求められる計算上の映像であるので、実映像に比べて低品質になる傾向がある。

一方、実映像は、現実に存在する実カメラによる撮影に応じて取得されるので、仮想映像に比べて高品質になる傾向がある。しかしながら、実カメラは、たとえば被写体への接触のおそれがある領域などといった、実カメラでの撮影が不可能な領域として設定された撮影不可領域内における実映像を得ることができない。

したがって、たとえば撮影不可領域を含む任意の領域（空間）の任意の期間における任意の視点（および視線）に対応した一連の映像の高品質化を図るためには、実映像と仮想映像とを効果的に使い分けることが望まれる。

そこで、本開示は、実映像と仮想映像との効果的な使い分けを実現することが可能な情報処理装置、方法、および記録媒体を提案する。

本開示の一例としての情報処理装置は、ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御部と、前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成部と、を備える。

本開示の実施形態にかかる技術の一つの適用例を示した例示的かつ模式的な図である。 本開示の実施形態にかかる情報処理装置の機能を示した例示的かつ模式的なブロック図である。 本開示の実施形態にかかる移動指示を設定するための設定画面の一例を示した例示的かつ模式的な図である。 本開示の実施形態にかかる撮影不可領域の一例を示した例示的かつ模式的な図である。 本開示の実施形態にかかる一連の映像の構成の一例を示した例示的かつ模式的な図である。 本開示の実施形態にかかる仮想映像から実映像への切り替わりの際に実行される制御の一例を示した例示的かつ模式的な図である。 本開示の実施形態にかかる情報処理装置が撮影計画を作成する際に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 本開示の実施形態にかかる情報処理装置が撮影計画に従った一連の映像を生成する際に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 本開示の実施形態にかかる技術の図１とは異なる適用例を示した例示的かつ模式的な図である。 本開示の実施形態にかかる技術の図１および図９とは異なる適用例を示した例示的かつ模式的な図である。 本開示の実施形態にかかる情報処理装置の機能を実現するコンピュータのハードウェア構成の一例を示した例示的かつ模式的なブロック図である。

以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。

図１は、本開示の実施形態にかかる技術の一つの適用例を示した例示的かつ模式的な図である。図１に示されるように、実施形態にかかる技術は、たとえば、試合会場１００において行われるスポーツの試合を、撮像装置１１０と複数の撮像装置１３０とで撮影するような状況に適用される。撮像装置１１０は、「第１の撮像装置」の一例であり、撮像装置１３０は、「第２の撮像装置」の一例である。

撮像装置１１０は、試合会場１００内を自由に移動可能な実カメラとして構成されている。たとえば、撮像装置１１０は、カメラを搭載した飛行体としてのドローンによって構成される。なお、実施形態において、撮像装置１１０は、先端にカメラが設置されたクレーンなどであってもよい。なお、図１に示される例では、撮像装置１１０が１つしか存在していないが、実施形態にかかる技術は、撮像装置１１０が複数存在し、複数の撮像装置１１０が互いに独立して移動可能に構成されているような場合にも適用可能である。

また、複数の撮像装置１３０は、試合会場１００を取り囲むように配置された実カメラとして構成されている。複数の撮像装置１３０によって得られる実映像は、試合会場１００内の空間、すなわち撮像装置１１０が撮像する撮影対象空間の三次元モデルの生成に利用される。この三次元モデルからは、試合会場１００内の任意の視点から任意の視線で見た、自由視点映像などと呼ばれる仮想映像を取得することができる。

なお、図１に示される例では、仮想映像を取得する仮想カメラとしての撮像装置１２０が便宜的に図示されているが、この撮像装置１２０は、あくまで仮想的なものであって、実在はしていない。また、実施形態では、三次元モデルの生成に、撮像装置１３０によって得られる実映像に代えてまたは加えて、撮像装置１１０によって得られる実映像を利用することができる。

ところで、上記のような仮想映像は、任意の視点（および視線）で自由に生成することはできるものの、三次元モデルに基づいて生成される計算上の映像であるので、実映像に比べて低品質になる傾向がある。

一方、実映像は、現実に存在する実カメラとしての撮像装置１１０による撮影に応じて取得されるので、仮想映像に比べて高品質になる傾向がある。しかしながら、実カメラとしての撮像装置１１０は、たとえば被写体への接触のおそれがある領域などといった、実カメラでの撮影が不可能な領域として設定された撮影不可領域内における実映像を得ることができない。

したがって、撮影不可領域を含む任意の領域（空間）の任意の期間における任意の視点（および視線）に対応した一連の映像の高品質化を図るためには、実映像と仮想映像とを効果的に使い分けることが望まれる。

そこで、実施形態は、次の図２に示されるような機能を有した情報処理装置２００によって、実映像と仮想映像との効果的な使い分けを実現する。情報処理装置２００は、映像制作者（ユーザ）の操作に応じて動作する。

図２は、本開示の実施形態にかかる情報処理装置２００の機能を示した例示的かつ模式的なブロック図である。図２に示されるように、情報処理装置２００は、移動指示受付部２１０と、撮影制約条件検出部２２０と、撮影制約条件管理部２３０と、撮影計画作成部２４０と、撮影制御部２５０と、実映像取得部２６０と、仮想映像取得部２７０と、を備えている。

図２に示される各機能は、たとえば、後述するコンピュータ１０００（図１０参照）におけるソフトウェアとハードウェアとの協働によって実現されるが、実施形態では、図２に示される機能の一部または全部が、専用のハードウェア（回路）によって実現されてもよい。

移動指示受付部２１０は、映像制作者の入力操作に応じて設定される移動指示を受け付ける。移動指示は、映像制作者によって指定される所定の期間におけるカメラワークを表す情報である。カメラワークとは、所定の期間における視点および視線の少なくとも一方の変化の状態を表す情報である。より具体的に、カメラワークとは、所定の期間における視点の移動軌道および移動速度と、所定の期間における視線の変化軌道および変化速度と、の少なくとも一方を含む情報である。なお、所定の期間は、短期間にも長期間にも任意に設定可能である。

撮影制約条件検出部２２０は、撮像装置１１０による撮影が制限される条件を表す撮影制約条件を検出する。撮影制約条件は、たとえば、撮像装置１１０による撮影が不可能な領域として設定された撮影不可領域や、撮像装置１１０による撮影が不可能になるほどの撮像装置１１０の視点（および視線）の移動速度を示す制限速度、撮像装置１１０のバッテリの残量などに起因する障害の発生可能性などに関する設定情報を含んでいる。

撮影制約条件管理部２３０は、撮影制約条件検出部２２０によって検出された撮影制約条件の保持や更新などを含む管理を実行する。

撮影計画作成部２４０は、移動指示受付部２１０が受け付けた移動指示と、撮影制約条件管理部２３０が保持している撮影制約条件と、に基づいて、実映像と仮想映像とをどのように使い分けて所定の期間分の一連の映像を生成するかを示す撮影計画を作成する。詳細は後述するが、撮影計画作成部２４０は、基本的には撮像装置１１０による撮影を実行することで実映像を取得し、撮像装置１１０による撮影が撮影制約条件に抵触する場合は実映像の代わりに仮想映像を取得する、といった撮影計画を作成する。

撮影制御部２５０は、撮像装置１１０の移動を制御する移動制御部２５１を備えており、当該移動制御部２５１により、撮影計画作成部２４０が作成した撮影計画に従って、撮像装置１１０による撮影を制御する。なお、撮影制御部２５０は、撮像装置１１０に障害が発生したか否かを検知する障害検知部２５２も備えているが、障害検知部２５２の役割については後述する。

実映像取得部２６０は、撮影制御部２５０の制御のもとで撮像装置１１０が撮影した実映像を取得する。

仮想映像取得部２７０は、複数の撮像装置１３０によって得られる実映像に基づいて生成される三次元モデルから仮想映像を取得する。仮想映像の取得は、障害検知部２５２により障害が検知された場合（後述）などを除き、基本的には撮影計画作成部２４０が作成した撮影計画に従って実行される。

映像生成部２８０は、実映像取得部２６０が取得した実映像と、仮想映像取得部２７０が取得した仮想映像と、に基づいて、ユーザの移動指示に応じた所定の期間における一連の映像を生成する。生成された映像は、後述するコンピュータ１０００（図１０参照）の通信インターフェイス１５００または入出力インターフェイス１６００に接続される表示装置（不図示）などに出力される。

ここで、実施形態において、撮影制御部２５０は、移動指示受付部２１０が受け付けたユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう撮像装置１１０を制御する。そして、映像生成部２８０は、移動指示に応じた視点および視線のうち少なくとも一方の移動中に、撮像装置１１０が撮影不可領域に近接する場合、実映像から、撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する。

たとえば、移動指示受付部２１０が受け付けた移動指示が、少なくとも視点の移動軌道の指定を伴っている場合を想定する。この場合、撮影制御部２５０は、移動指示において指定された移動軌道に沿って少なくとも視点を移動しつつ実映像を取得するよう撮像装置１１０を制御する。

そして、映像生成部２８０は、移動軌道上の視点が撮影不可領域に進入する場合、実映像から、移動軌道上でかつ撮影不可領域内の視点に対応した仮想映像に連続的に切り替わる映像を生成する。そして、撮影制御部２５０は、視点の撮影不可領域への進入に応じて実行される実映像から仮想映像への切り替わりに対応したタイミングで、撮影不可領域への進入を回避するよう撮像装置１１０を制御する。

そして、映像生成部２８０は、移動軌道上の視点が撮影不可領域から進出する場合、仮想映像から、移動軌道上でかつ撮影不可領域外の視点に対応した実映像に連続的に切り替わる映像を生成する。そして、撮影制御部２５０は、撮影不可領域への進入を回避した後、仮想映像から実映像への切り替わりに対応したタイミング以前に、移動軌道上の視点が撮影不可領域から進出する進出位置の撮影不可領域外の近傍に移動するよう撮像装置１１０を制御する。

以下、上述した各機能について、具体例とともに詳細に説明する。

まず、映像制作者による移動指示の設定について詳細に説明する。移動指示は、たとえば次の図３に示されるような設定画面ＩＭ３００を介した映像制作者の入力操作に応じて設定される。

図３は、本開示の実施形態にかかる移動指示を設定するための設定画面ＩＭ３００の一例を示した例示的かつ模式的な図である。図３に示されるように、設定画面ＩＭ３００は、動画像を表示可能な表示画面を有した表示装置３００に表示される。

なお、実施形態において、表示装置３００は、後述するコンピュータ１０００（図１０参照）の通信インターフェイス１５００または入出力インターフェイス１６００に接続される。この表示装置３００は、映像生成部２８０により生成される映像が出力される上述した表示装置と同一であってもよいし異なっていてもよい。また、実施形態において、設定画面ＩＭ３００に対する操作入力は、マウスやキーボードや、表示装置３００の表示画面に重なって設けられるタッチパネルなどといった入力デバイスを介して実行することが可能である。

図３に示される例では、設定画面ＩＭ３００に、カメラを模したアイコン３０１が表示されている。このアイコン３０１は、上記のような入力デバイスを介した映像制作者の入力操作に応じて、表示態様（位置および向き）が任意に調整されるように構成されている。

たとえば、アイコン３０１の位置が調整されると、カメラワークにおける視点が調整され、アイコン３０１の向き（カメラ部分の方向）が調整されると、カメラワークにおける視線が調整される。図３に示される例では、一例として、視点の移動軌道が、位置Ｐ３０１から位置Ｐ３０２を経て位置Ｐ３０３に至る矢印Ａ３００として表され、位置Ｐ３０１、Ｐ３０２、およびＰ３０３における視線の向きがそれぞれ矢印Ａ３０１、Ａ３０２、およびＡ３０３として表されている。

なお、図３に示される例では図示が省略されているが、設定画面ＩＭ３００は、視点の移動速度や視線の変化速度などを設定するためのＧＵＩ（グラフィカルユーザインターフェイス）を有していてもよい。

また、実施形態では、移動指示の設定方法として、図３に示されるような方法の他、ホログラムやＡＲ（拡張現実）、ＶＲ（仮想現実）の技術を利用した方法も考えられる。これらの技術を利用すれば、たとえば、撮影対象空間を模したモデルとカメラを模したモデルとを映像制作者の手元に（ミニチュアモデルとして）表示することができる。そして、このような場合、映像制作者がカメラを模したモデルを手で持って移動させるような操作入力を受け付けることで、当該操作入力に応じた移動指示の設定を実現することができる。

次に、実映像と仮想映像とを切り替える基準の一つとしての撮影不可領域について詳細に説明する。実施形態において、撮影不可領域は、たとえば次の図４に示されるような形で、実カメラとしての撮像装置１１０の撮像対象物を基準として設定される。

図４は、本開示の実施形態にかかる撮影不可領域の一例を示した例示的かつ模式的な図である。図４に示される例では、人間Ｘ４０１が、撮像対象物に対応し、空間ＳＰ４０１が、撮影不可領域に対応する。空間ＳＰ４０１の境界は、たとえば人間Ｘ４０１に対する距離などによって定義される。この距離は、予め固定的に設定されてもよいし、映像制作者によって適宜変更（更新）されてもよい。

図４に示される例では、人間Ｘ４０１が移動すると、それに伴い、空間ＳＰ４０１も移動する。したがって、この場合、撮影制約条件検出部２２０は、人間Ｘ４０１が映った実映像および仮想映像のうちの少なくとも一方に対してリアルタイム画像処理などを実行し、人間Ｘ４０１の位置を検出することで、人間Ｘ４０１の位置に応じた空間ＳＰ４０１の境界を検出する。

ここで、図４に示される例において、位置Ｐ４０１から空間ＳＰ４０１内を通過して位置Ｐ２０２に至る、矢印Ａ４０１〜Ａ４０３で表される移動軌道が、移動指示において設定された場合について考える。この場合、空間ＳＰ４０１の境界の外側にある領域、より具体的には、位置Ｐ４０１から空間ＳＰ４０１への進入位置Ｐ４０３に至る矢印Ａ４０１と、空間ＳＰ４０１からの進出位置Ｐ４０４から位置Ｐ４０２に至る矢印Ａ４０３に対応した領域とについては、撮像装置１１０による撮影が可能である。しかしながら、空間ＳＰ４０１の境界の内側にある領域、より具体的には、進入位置Ｐ４０３から進出位置Ｐ４０４に至る矢印Ａ４０２に対応した領域については、撮像装置１１０による撮影が不可能である。

したがって、図４に示される例において、撮影制御部２５０は、矢印Ａ４０１に沿って撮像装置１１０を実際に移動させつつ、撮像装置１１０が空間ＳＰ４０１に実際に進入しないように、撮像装置１１０を進入位置Ｐ４０３から空間ＳＰ４０１の外側に退避させる。そして、撮影制御部２５０は、仮想映像内における矢印Ａ４０２に沿った視点の移動が完了する以前に、撮像装置１１０を進出位置Ｐ４０４の近傍に移動させておき、その後、矢印Ａ４０３に沿って撮像装置１１０を実際に移動させる。

なお、撮像装置１１０が１つしか存在しない場合は、進入位置Ｐ４０３から退避させた撮像装置１１０そのものを、進出位置Ｐ４０４の近傍に移動させる必要がある。しかしながら、撮像装置１１０が複数存在する場合は、進入位置Ｐ４０３から退避させた撮像装置１１０とは異なる撮像装置１１０を進出位置Ｐ４０４の近傍に移動させればよい。この場合、進出位置Ｐ４０４に最も近い撮像装置１１０を進出位置Ｐ４０４の近傍に移動させれば、最も効率的である。

このように、図４に示される例において、映像生成部２８０は、矢印Ａ４０１およびＡ４０３に対応した領域の実映像と、矢印Ａ４０２に対応した領域の仮想映像を、を組み合わせることで、矢印Ａ４０１〜Ａ４０３で表される移動軌道の全体に対応した一連の映像を生成する。これにより、映像生成部２８０は、次の図５に示されるような形で一連の映像を生成する。

図５は、本開示の実施形態にかかる一連の映像の構成の一例を示した例示的かつ模式的な図である。図５に示されるように、実施形態において、映像生成部２８０は、フレームＦ１１〜Ｆ１８を含む実映像と、フレームＦ１１〜Ｆ１８とそれぞれ同タイミングのフレームＦ２１〜Ｆ２８を含む仮想映像と、の双方を取得することができる。

前述したように、映像生成部２８０は、撮影不可領域内の映像については仮想映像を採用し、それ以外のたとえば撮影可能領域と表現される領域の映像については実映像を採用する。したがって、図５に示される例において、映像生成部２８０は、撮影可能領域に対応した期間については実映像のフレームＦ１１、Ｆ１２、Ｆ１７、およびＦ１８を採用し、撮影不可領域に対応した期間については仮想映像のフレームＦ２３〜Ｆ２６を採用する。すなわち、図５に示される例において、映像生成部２８０は、フレームＦ１１、Ｆ１２、Ｆ２３〜Ｆ２６、Ｆ１７、およびＦ１８を含む一連の映像を生成する。

なお、実施形態では、撮影計画作成部２４０が作成する撮影計画も、図５に示される例と同様の概念として捉えることができる。すなわち、撮影計画作成部２４０は、上述した移動指示および撮影制約条件に基づいて、撮像装置１１０による撮影が可能な区間においては当該撮影を実行することで実映像を実映像取得部２６０に取得させ、撮像装置１１０による撮影が不可能な区間においては仮想映像取得部２７０に仮想映像を取得させる、という撮影計画を作成する。

ところで、撮像装置１１０の移動速度には、性能上の限界があるので、撮像装置１１０による撮影が不可能になるほどの撮像装置１１０の視点（および視線）の移動速度を示す制限速度というものが存在する。しかしながら、移動指示は、映像制作者の任意に設定するものであるため、移動指示において指定された視点（および視線）の移動速度が閾値としての制限速度を超えることも想定される。

そこで、実施形態において、撮影計画作成部２４０は、移動指示において指定された視点（および視線）の移動速度が制限速度を超える区間においては、仮想映像取得部２７０に仮想映像を取得させる、という撮影計画を作成する。そして、映像生成部２８０は、その後の撮影段階で、移動軌道上でかつ撮影不可領域外を移動中の視点の移動速度が制限速度を超える場合、実映像から仮想映像に連続的に切り替わる映像を生成する。

また、実施形態では、撮影計画の作成段階で撮像装置１１０にバッテリの残量などに起因する何らかの障害が発生している（または障害が発生することが予測される）場合、その後の撮影段階で撮像装置１１０を通常通りに制御することができない。したがって、この場合、撮影計画作成部２４０は、実映像ではなく仮想映像を取得するという撮影計画を作成する。そして、映像生成部２８０は、その後の撮影段階で、実映像から仮想映像に連続的に切り替わる（あるいは最初から障害が発生している場合は仮想映像のみからなる）映像を生成する。

このように、撮影計画作成部２４０は、撮影不可領域や制限速度、障害などに関して前述のように決められた撮影制約条件に抵触する状況が発生する区間においては実映像を取得し、それ以外の区間においては仮想映像を取得する、という撮影計画を作成する。これにより、映像生成部２８０は、実映像と仮想映像とが効果的に使い分けられた一連の映像を生成する。

なお、実施形態では、撮影計画の作成段階では発生していなくても、実際の撮影段階で撮像装置１１０に何らかの障害が発生した場合は、撮像装置１１０による撮影が不可能になる。この場合、撮影計画で実映像を取得することになっていたとしても、仮想映像を取得する必要がある。

そこで、図２に戻り、実施形態において、撮影制御部２５０は、撮像装置１１０に障害が発生したか否かを検知する障害検知部２５２を備えている。そして、障害検知部２５２により撮像装置１１０の障害の発生が検知されると、仮想映像取得部２７０は、撮影計画によらずに、仮想映像を取得する。これにより、映像生成部２８０は、移動軌道上でかつ撮影不可領域外の視点の移動に応じて移動中の撮像装置１１０に障害が発生した場合、実映像から、撮像装置１１０の現在の視点および視線に対応した仮想映像に連続的に切り替わる映像を生成する。

このように、実施形態では、映像生成部２８０が生成する一連の映像内に、実映像から仮想映像への切り替わりと、仮想映像から実映像への切り替わりとが存在しうるが、後者の切り替わりにおいては、撮像装置１１０の仮想映像への映り込みが発生することがある。

特に、実施形態では、前述したように、撮像装置１１０は、仮想映像から実映像への切り替わりに対応したタイミング以前に、移動軌道上の視点が撮影不可領域から進出する進出位置の撮影不可領域外の近傍に移動するよう制御される。したがって、このような進出位置への撮像装置１１０の移動時に、撮像装置１１０の仮想映像への映り込みが発生することが想定される。

そこで、実施形態は、仮想映像から実映像へ切り替わりの際に、たとえば次の図６に示されるような制御を実行することで、仮想映像における仮想カメラの視界に実カメラとしての撮像装置１１０が入ることを抑制する。

図６は、本開示の実施形態にかかる仮想映像から実映像への切り替わりの際に実行される制御の一例を示した例示的かつ模式的な図である。図６に示される例では、実カメラとしての撮像装置１１０と、仮想カメラとしての撮像装置１２０と、が図示されている。なお、撮像装置１２０があくまで便宜的に図示されたものであって実在はしていないという留意点は、図１と同様である。

図６に示される例では、撮像装置１２０を矢印Ａ６１０に沿って移動させることで撮像装置１１０に合流させる制御と、撮像装置１１０および１２０をそれぞれ矢印Ａ６２１およびＡ６２２に沿って移動させることで両者を合流させる制御と、が例示されている。これらの制御のいずれかを実行すれば、撮像装置１２０の視界に撮像装置１１０が入るのを（合流直前まで）回避することができるので、視聴者に違和感を与えることなく、仮想映像から実映像へのスムーズな切り替わりを実現することができる。

さらに、実施形態では、仮想映像から実映像への切り替わりの際のみならず、その前の仮想映像が採用されている間も、上記と同様の観点で、仮想映像における仮想カメラの視界に実カメラとしての撮像装置１１０が入ることが抑制される。すなわち、実施形態において、撮影制御部２５０は、移動軌道上の視点が撮影不可領域内に存在する場合、仮想映像に直接的に映るのを回避するよう撮像装置１１０を制御する。

なお、上記の「直接的に映る」という表現は、撮像装置１１０の外観がそのまま映ることを意図している。したがって、実施形態では、撮像装置１１０が仮想映像に映り込むような状況であっても、撮像装置１１０がたとえば何らかのアイコン化が施された画像として表示されるよう画像処理を実行すれば、視聴者に与える違和感が低減されるので、ある程度は許容される。

以上の構成に基づき、実施形態では、たとえば次の図７および図８に示されるようなフローチャートに従って処理が実行される。

図７は、本開示の実施形態にかかる情報処理装置２００が撮影計画を作成する際に実行する処理の流れを示した例示的かつ模式的なフローチャートである。

図７に示されるように、実施形態において撮影計画が作成される場合、まず、ステップＳ７０１において、撮影制約条件検出部２２０は、上述した撮影不可領域や制限速度、障害の発生可能性などに関する設定情報を含む撮影制約条件を検出する。

そして、ステップＳ７０２において、撮影制約条件管理部２３０は、ステップＳ７０１で検出された撮影制約条件を保持する。

そして、ステップＳ７０３において、移動指示受付部２１０は、映像制作者（ユーザ）の移動指示を、たとえば上述した設定画面ＩＭ３００（図３参照）などを介して受け付ける。

そして、ステップＳ７０４において、撮影計画作成部２４０は、ステップＳ７０２で保持された撮影制約条件と、ステップＳ７０３で受け付けられた移動指示とに基づいて、計画対象時刻において撮影制約条件に抵触する状況が発生するか否かを判断する。なお、計画対象時刻とは、たとえば、移動指示に対応した所定の期間のうち、実映像を取得するか仮想映像を取得するかが決まっていない最初の時刻である。また、撮影制約条件に抵触する状況とは、前述したような、撮像装置１１０が撮影不可領域に入る状況や、撮像装置１１０の移動速度が制限速度を超える状況や、撮像装置１１０に何らかの障害が発生する状況などである。

ステップＳ７０４において、計画対象時刻において撮影制約条件に抵触する状況が発生しないと判断された場合、ステップＳ７０５に処理が進む。そして、ステップＳ７０５において、撮影計画作成部２４０は、計画対象時刻の次の時刻において撮影制約条件に抵触する状況が発生するか否かを判断する。

ステップＳ７０５において、次の時刻においても撮影制約条件に抵触する状況が発生しないと判断された場合、ステップＳ７０６に処理が進む。そして、ステップＳ７０６において、撮影計画作成部２４０は、計画対象時刻およびその次の時刻において実映像を連続的に取得する撮影計画を作成する。そして、後述するステップＳ７１０に処理が進む。

一方、ステップＳ７０５において、次の時刻においては撮影制約条件に抵触する状況が発生すると判断された場合、ステップＳ７０７に処理が進む。そして、ステップＳ７０７において、撮影計画作成部２４０は、実映像から仮想映像に連続的に切り替える撮影計画、すなわち、計画対象時刻において実映像を取得し、その次の時刻において仮想映像を取得する撮影計画を作成する。

そして、ステップＳ７０８において、撮影計画作成部２４０は、仮想映像から実映像への切り替わりのポイント、たとえば、移動軌道上の移動する視点の撮影不可領域からの進出位置や進出時刻などが特定可能か否かを判断する。

ステップＳ７０８において、仮想映像から実映像への切り替わりのポイントとしての進出位置や進出時刻などが特定可能と判断された場合、ステップＳ７０９に処理が進む。そして、ステップＳ７０９において、撮影計画作成部２４０は、仮想映像から実映像への切り替わり以前に撮像装置１１０を移動させる撮影計画、たとえば、進出時刻以前に進出位置の近傍に撮像装置１１０を移動させる撮影計画を作成する。

そして、ステップＳ７１０において、撮影計画作成部２４０は、ステップＳ７０３で受け付けられた移動指示において指定された期間全体の撮影計画が完成したか否か、すなわち、実映像を取得するか仮想映像を取得するかが未決定の時間が無くなったか否かを判断する。

ステップＳ７１０において、撮影計画が完成したと判断された場合、そのまま処理が終了する。

しかしながら、撮影計画が完成していないと判断された場合、ステップＳ７１１に処理が進む。そして、ステップＳ７１１において、撮影計画作成部２４０は、計画対象時刻をインクリメントする。そして、ステップＳ７０４に処理が戻る。

一方、ステップＳ７０４において、計画対象時刻において撮影制約条件に抵触する状況が発生すると判断された場合、ステップＳ７１２に処理が進む。そして、ステップＳ７１２において、撮影計画作成部２４０は、計画対象時刻の次の時刻において撮影制約条件に抵触する状況が解消するか否かを判断する。

ステップＳ７１２において、次の時刻においては撮影制約条件に抵触する状況が解消すると判断された場合、ステップＳ７１３に処理が進む。そして、ステップＳ７１３において、撮影計画作成部２４０は、仮想映像から実映像に連続的に切り替える撮影計画、すなわち、計画対象時刻において仮想映像を取得し、その次の時刻において実映像を取得する撮影計画を作成する。そして、ステップＳ７１０に処理が進む。

一方、ステップＳ７１２において、次の時刻においても撮影制約条件に抵触する状況が解消しないと判断された場合、ステップＳ７１４に処理が進む。そして、ステップＳ７１４において、撮影計画作成部２４０は、計画対象時刻およびその次の時刻において仮想映像を連続的に取得する撮影計画を作成する。そして、ステップＳ７０８に処理が進む。

このようにして、実施形態にかかる撮影計画作成部２４０は、計画対象時刻およびその次の時刻に実映像を取得するか仮想映像を取得するかを、移動指示において指定された期間の全てについて繰り返し決定することで、全体の撮影計画を作成する。

図８は、本開示の実施形態にかかる情報処理装置２００が撮影計画に従った一連の映像を生成する際に実行する処理の流れを示した例示的かつ模式的なフローチャートである。

図８に示されるように、実施形態において撮影計画に従った一連の映像が生成される場合、まず、ステップＳ８０１において、実映像取得部２６０／仮想映像取得部２７０は、図７に示される処理の結果として作成される撮影計画に従って実映像／仮想映像を取得する。実映像取得部２６０は、撮像装置１１０が移動しながら撮影した実映像を取得し、仮想映像取得部２７０は、三次元モデルに基づいて仮想映像を取得する。

ここで、ステップＳ８０２において、仮想映像取得部２７０は、撮像装置１１０の障害の発生が、撮影制御部２５０の障害検知部２５２により検知されたか否かを判断する。

ステップＳ８０２において、障害の発生が検知されたと判断された場合、ステップＳ８０３に処理が進む。そして、ステップＳ８０３において、仮想映像取得部２７０は、障害の発生が検知された以降、撮影計画によらずに仮想映像を連続的に取得する。

そして、ステップＳ８０４において、映像生成部２８０は、ステップＳ８０１（およびステップＳ８０３）で取得された実映像および仮想映像を組み合わせて、一連の映像を生成する。そして、処理が終了する。

一方、ステップＳ８０２において、障害の発生が検知されていないと判断された場合、ステップＳ８０５に処理が進む。そして、ステップＳ８０５において、実映像取得部２６０／仮想映像取得部２７０は、撮影計画に従った実映像／仮想映像の取得が完了したか否かを判断する。

ステップＳ８０５において、撮影計画に従った実映像／仮想映像の取得が完了していないと判断された場合、ステップＳ８０１に処理が戻る。しかしながら、ステップＳ８０５において、撮影計画に従った実映像／仮想映像の取得が完了したと判断された場合、ステップＳ８０４に処理が進む。

このようにして、実施形態にかかる映像生成部２８０は、障害の発生を検知しながら必要に応じて撮影計画に従ったり従わなかったりしつつ実映像／仮想映像を取得し、取得した実映像／仮想映像をつなげることで、一連の映像を作成する。

なお、上述した実施形態にかかる技術は、次の図９に示されるような状況にも、有効に適用可能である。

図９は、本開示の実施形態にかかる技術の図１とは異なる適用例を示した例示的かつ模式的な図である。図９に示されるように、実施形態にかかる技術は、たとえば、壁Ｗ９０１を通り抜けるイメージの一連の映像を取得するような状況にも適用可能である。

図９に示される例では、撮像装置１１０が、位置Ｐ９０１から壁Ｗ９０１内を通過して位置Ｐ９０２に至る、矢印Ａ９０１〜Ａ９０３で表される移動軌道が、移動指示において設定されるものとする。壁Ｗ９０１の内部は、撮像装置１１０による撮影（進入）が物理的に不可能であり、前述した撮影不可領域に対応する。

したがって、図９に示される例では、壁Ｗ９０１への進入位置Ｐ９０３から壁Ｗ９０１からの進出位置Ｐ９０４に至る矢印Ａ９０２に対応した領域について、仮想映像が取得される。進出位置Ｐ９０４での仮想映像から実映像への切り替え時に、撮像装置１１０が進出位置Ｐ９０４の近傍に予め待機していてもよいことは、上述した図４に示される例などと同様である。

なお、上述した図４や図９などに示される例は、視点の移動を伴う移動指示が設定される例に該当する。しかしながら、実施形態にかかる技術は、次の図１０に示されるような、移動指示が視点の移動を伴わない例にも、有効に適用可能である。

図１０は、本開示の実施形態にかかる技術の図１および図９とは異なる適用例を示した例示的かつ模式的な図である。図１０に示される例では、路面ＲＳを矢印Ａ１００１に沿って走行する車両Ｖを、位置Ｐ１００１に設置された撮像装置１１０によって撮像する状況が例示されている。図１０では図示が省略されているが、上述した図４などに示される例と同様、車両Ｖに対しても、当該車両Ｖを基準とした撮影不可領域が設定される。

図１０に示される例において、撮像装置１１０の視点は固定とし、視線のみを矢印Ａ１００２に沿って移動させる移動指示が設定された場合を考える。この場合、車両Ｖがある程度進むと、撮像装置１１０の位置に変更はなくても、車両Ｖの撮影不可領域に撮像装置１１０が入ることが想定される。

そこで、図１０に示される例では、車両Ｖの撮影不可領域に撮像装置１１０が入るまでの区間については実映像を採用し、それ以降の区間については仮想映像を採用することで、走行する車両Ｖを固定視点から撮影した一連の映像を得ることができる。また、このような構成によれば、車両Ｖと撮像装置１１０とが衝突し、撮像装置１１０に障害が発生した場合においても、仮想映像を利用して、走行する車両Ｖを固定視点から撮影した一連の映像を問題無く得ることができる。

以上説明したように、実施形態にかかる情報処理装置２００は、撮影制御部２５０と、映像生成部２８０と、を備えている。撮影制御部２５０は、映像制作者（ユーザ）の移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう、実カメラとしての撮像装置１１０を制御する。映像生成部２８０は、移動指示に応じた視点および視線のうち少なくとも一方の移動中に、撮像装置１１０が撮影不可領域に近接する場合、実映像から、撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する。なお、撮影不可領域とは、撮像装置１１０による撮影が不可能な領域として設定された領域である。

上記のような構成によれば、撮影中の撮像装置１１０が撮影不可領域に近接するか否かに応じて、実映像と仮想映像との効果的な使い分けを実現することができる。たとえば、実映像に比べて低品質になる傾向はあるもののカメラワークの制限が無い仮想映像と、仮想映像に比べて高品質になる傾向がある実映像とを効果的に使い分けることで、全体としてより高品質な一連の映像を生成することができる。

また、実施形態では、上述したように、撮影制御部２５０は、移動指示において指定された移動軌道に沿って少なくとも視点を移動しつつ実映像を取得するよう撮像装置１１０を制御する場合がある。この場合、映像生成部２８０は、移動軌道上の視点が撮影不可領域に進入する場合、実映像から、移動軌道上でかつ撮影不可領域内の視点に対応した仮想映像に連続的に切り替わる映像を生成する。このような構成によれば、撮影不可領域への視点の進入に応じて、実映像から仮想映像に適切に切り替えることができる。

上記のような構成において、撮影制御部２５０は、視点の撮影不可領域への進入に応じて実行される実映像から仮想映像への切り替わりに対応したタイミングで、撮影不可領域への進入を回避するよう撮像装置１１０を制御する。このような構成によれば、映像の視点に合わせて撮像装置１１０が撮影不可領域に実際に進入するのを回避することができる。

また、上記のような構成において、映像生成部２８０は、移動軌道上の視点が撮影不可領域から進出する場合、仮想映像から、移動軌道上でかつ撮影不可領域外の視点に対応した実映像に連続的に切り替わる映像を生成する。このような構成によれば、撮影不可領域からの視点の進出に応じて、仮想映像から実映像に適切に切り替えることができる。

また、上記のような構成において、撮影制御部２５０は、撮影不可領域への進入を回避した後、仮想映像から実映像への切り替わりに対応したタイミング以前に、移動軌道上の視点が撮影不可領域から進出する進出位置の撮影不可領域外の近傍に移動するよう撮像装置１１０を制御する。このような構成によれば、進出位置の撮影不可領域外の近傍に撮像装置１１０を予め移動させておくことで、仮想映像の後の実映像を容易に取得することができる。

また、上記のような構成において、撮影制御部２５０は、撮像装置１１０が互いに独立して移動可能に複数存在する場合、当該複数の撮像装置１１０のうちのいずれか１つを、進出位置の撮影不可領域外の近傍に移動するよう制御する。このような構成によれば、たとえば複数の撮像装置１１０の全てを進出位置の撮影不可領域外の近傍に移動させるような非効率を回避することができる。

また、上記のような構成において、撮影制御部２５０は、複数の撮像装置１１０のうち、進出位置に最も近い１つの撮像装置１１０を、進出位置の撮影不可領域外の近傍に移動するよう制御する。このような構成によれば、進出位置の撮影不可領域外の近傍への１つの撮像装置１１０の移動をより効率的に実行することができる。

また、上記のような構成において、撮影制御部２５０は、移動軌道上の視点が撮影不可領域内に存在する場合、仮想映像に直接的に映るのを回避するよう撮像装置１１０を制御する。このような構成によれば、仮想映像に直接的に映り込んだ撮像装置１１０が視聴者に違和感を与えるのを抑制することができる。

また、上記のような構成において、移動指示は、移動軌道に沿った視点の移動速度の指定を含んでいる。そして、映像生成部２８０は、移動軌道上でかつ撮影不可領域外を移動中の視点の移動速度が閾値を超える場合、実映像から仮想映像に連続的に切り替わる映像を生成する。このような構成によれば、たとえば、視点の移動速度が閾値を超えることで当該視点の移動に応じて移動中の撮像装置１１０による撮影が困難になる場合に、実映像に代えて仮想映像を採用することができる。

また、上記のような構成において、映像生成部２８０は、移動軌道上でかつ撮影不可領域外の視点の移動に応じて移動中の撮像装置に障害が発生した場合、実映像から仮想映像に連続的に切り替わる映像を生成する。このような構成によれば、障害の発生により撮像装置１１０による撮影が困難になる場合に、実映像に代えて仮想映像を採用することができる。

また、上記のような構成において、撮影不可領域は、撮像装置１１０の撮影対象物を基準として設定される。このような構成によれば、撮影対象物が移動する場合においても撮影不可領域を適切に決定することができる。

また、上記のような構成において、仮想映像は、撮像装置１１０が撮影する撮影対象空間の三次元モデルに基づいて取得される。このような構成によれば、三次元モデルに基づいて、撮影対象空間内の任意の視点（および視線）に対応した仮想映像を容易に取得することができる。

また、上記のような構成において、三次元モデルは、撮像装置１１０により取得される実映像と、撮影対象空間を囲むように配置された、撮像装置１１０とは異なる複数の撮像装置１３０により取得される実映像と、のうち少なくとも一方に基づいて生成される。このように構成すれば、２種類の撮像装置のうち少なくとも一方に基づいて、三次元モデルを容易に生成することができる。

また、上記のような構成において、移動指示は、たとえば図３に示されるような、表示装置３００に表示される設定画面ＩＭ３００を介したユーザの入力操作に応じて設定される。このような構成によれば、移動指示の設定を視覚的な方法で容易に行うことができる。

また、上記のような構成において、撮像装置１１０は、たとえば、カメラを搭載した飛行体としてのドローンである。このような構成によれば、小回りの利くドローンによって柔軟に撮影を実行することができる。

なお、上述した実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、上述した内容に限られるものではない。

たとえば、上述した実施形態では、音声について特に言及されていないが、実施形態にかかる技術は、実映像と仮想映像との切り替えと同様の考え方で、実音声と仮想音声との切り替えを実行してもよい。なお、実音声とは、物理的なマイクによって取得された実際の音声であり、仮想音声とは、複数の物理的なマイクによって取得された複数の実音声に基づいて算出される任意の位置での仮想的な音声である。

また、上述した実施形態では、省電力化などのため、仮想映像を常に取得するのではなく、実映像の取得が困難になる場合にのみ、仮想映像を取得するような構成が採用されてもよい。

また、上述した実施形態では、撮影制約条件に抵触する状況が発生する場合に実映像から仮想映像に切り替わり、その状況が解消する場合に仮想映像から実映像に切り替わる構成が例示されている。しかしながら、たとえばハイライトになりうるシーンなどにおける切り替わりの発生は、視聴者の違和感につながるので、実映像と仮想映像との切り替わりのタイミングは、状況に応じて前倒しや延期などといった調整が施されてもよい。

また、上述した実施形態では、たとえば撮像装置１１０の周辺にのみ霧が出ている場合などにおいて、仮想映像の方が実映像よりも高品質になる場合も考えられる。この場合、実映像の品質と仮想映像の品質とを評価する何らかの指標を算出し、当該指標に応じて、撮影計画では実映像が採用されることになっていたとしても仮想映像の方を採用するといった構成が採用されてもよい。

ここで、前述したように、実施形態にかかる情報処理装置２００は、たとえば次の図１１に示されるような構成のコンピュータ１０００によって実現することが可能である。

図１１は、本開示の実施形態にかかる情報処理装置２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。図１１に示されるように、コンピュータ１０００は、ＣＰＵ（Central Processing Unit）１１００、ＲＡＭ（Random Access Memory）１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。たとえば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）などのブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例としての、実施形態にかかる情報処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（たとえばインターネット）と接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウスなどの入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、表示装置やスピーカーやプリンタなどの出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラムなどを読み取るメディアインターフェイスとして機能してもよい。メディアとは、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）などの光学記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。

たとえば、コンピュータ１０００が実施形態にかかる情報処理装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、図２に示された各機能を実現する。また、ＨＤＤ１４００には、本開示にかかる情報処理プログラムや、コンテンツ記憶部１２１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

なお、本開示にかかる技術は、以下のような構成を取ることもできる。
（１）
ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御部と、
前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成部と、
を備える、情報処理装置。
（２）
前記撮影制御部は、前記移動指示において指定された移動軌道に沿って少なくとも前記視点を移動しつつ前記実映像を取得するよう前記第１の撮像装置を制御し、
前記映像生成部は、前記移動軌道上の前記視点が前記撮影不可領域に進入する場合、前記実映像から、前記移動軌道上でかつ前記撮影不可領域内の前記視点に対応した前記仮想映像に連続的に切り替わる前記映像を生成する、
前記（１）に記載の情報処理装置。
（３）
前記撮影制御部は、前記視点の前記撮影不可領域への進入に応じて実行される前記実映像から前記仮想映像への切り替わりに対応したタイミングで、前記撮影不可領域への進入を回避するよう前記第１の撮像装置を制御する、
前記（２）に記載の情報処理装置。
（４）
前記映像生成部は、前記移動軌道上の前記視点が前記撮影不可領域から進出する場合、前記仮想映像から、前記移動軌道上でかつ前記撮影不可領域外の前記視点に対応した前記実映像に連続的に切り替わる前記映像を生成する、
前記（３）に記載の情報処理装置。
（５）
前記撮影制御部は、前記撮影不可領域への進入を回避した後、前記仮想映像から前記実映像への切り替わりに対応したタイミング以前に、前記移動軌道上の前記視点が前記撮影不可領域から進出する進出位置の前記撮影不可領域外の近傍に移動するよう前記第１の撮像装置を制御する、
前記（４）に記載の情報処理装置。
（６）
前記撮影制御部は、前記第１の撮像装置が互いに独立して移動可能な複数の第１の撮像装置を含む場合、当該複数の第１の撮像装置のうちのいずれか１つの第１の撮像装置を、前記進出位置の前記撮影不可領域外の近傍に移動するよう制御する、
前記（５）に記載の情報処理装置。
（７）
前記撮影制御部は、前記複数の第１の撮像装置のうち、前記進出位置に最も近い前記１つの第１の撮像装置を、前記進出位置の前記撮影不可領域外の近傍に移動するよう制御する、
前記（６）に記載の情報処理装置。
（８）
前記撮影制御部は、前記移動軌道上の前記視点が前記撮影不可領域内に存在する場合、前記仮想映像に直接的に映るのを回避するよう前記第１の撮像装置を制御する、
前記（３）〜（７）のうちいずれかに記載の情報処理装置。
（９）
前記移動指示は、前記移動軌道に沿った前記視点の移動速度の指定を含み、
前記映像生成部は、前記移動軌道上でかつ前記撮影不可領域外を移動中の前記視点の前記移動速度が閾値を超える場合、前記実映像から前記仮想映像に連続的に切り替わる前記映像を生成する、
前記（２）〜（８）のうちいずれかに記載の情報処理装置。
（１０）
前記映像生成部は、前記移動軌道上でかつ前記撮影不可領域外の前記視点の移動に応じて移動中の前記第１の撮像装置に障害が発生した場合、前記実映像から前記仮想映像に連続的に切り替わる映像を生成する、
前記（２）〜（９）のうちいずれかに記載の情報処理装置。
（１１）
前記撮影不可領域は、前記第１の撮像装置の撮影対象物を基準として設定される、
前記（２）〜（１０）のうちいずれかに記載の情報処理装置。
（１２）
前記仮想映像は、前記第１の撮像装置が撮影する撮影対象空間の三次元モデルに基づいて取得される、
前記（１）〜（１１）のうちいずれかに記載の情報処理装置。
（１３）
前記三次元モデルは、前記第１の撮像装置により取得される前記実映像と、前記撮影対象空間を囲むように配置された、前記第１の撮像装置とは異なる複数の第２の撮像装置により取得される前記実映像と、のうち少なくとも一方に基づいて生成される、
前記（１２）に記載の情報処理装置。
（１４）
前記移動指示は、表示装置に表示される設定画面を介した前記ユーザの入力操作に応じて設定される、
前記（１）〜（１３）のうちいずれかに記載の情報処理装置。
（１５）
前記第１の撮像装置は、カメラを搭載した飛行体としてのドローンを含む、
前記（１）〜（１４）のうちいずれかに記載の情報処理装置。
（１６）
ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御ステップと、
前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成ステップと、
を備える、方法。
（１７）
コンピュータに、
ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御ステップと、
前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成ステップと、
を実行させるためのプログラムが格納された、コンピュータが読み取り可能な非一時的な記録媒体。

１１０ 撮像装置（第１の撮像装置）
１３０ 撮像装置（第２の撮像装置）
２００ 情報処理装置
２５０ 撮影制御部
２８０ 映像生成部
３００ 表示装置
ＩＭ３００ 設定画面

Claims (17)

1. ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御部と、
   前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成部と、
   を備える、情報処理装置。
2. 前記撮影制御部は、前記移動指示において指定された移動軌道に沿って少なくとも前記視点を移動しつつ前記実映像を取得するよう前記第１の撮像装置を制御し、
   前記映像生成部は、前記移動軌道上の前記視点が前記撮影不可領域に進入する場合、前記実映像から、前記移動軌道上でかつ前記撮影不可領域内の前記視点に対応した前記仮想映像に連続的に切り替わる前記映像を生成する、
   請求項１に記載の情報処理装置。
3. 前記撮影制御部は、前記視点の前記撮影不可領域への進入に応じて実行される前記実映像から前記仮想映像への切り替わりに対応したタイミングで、前記撮影不可領域への進入を回避するよう前記第１の撮像装置を制御する、
   請求項２に記載の情報処理装置。
4. 前記映像生成部は、前記移動軌道上の前記視点が前記撮影不可領域から進出する場合、前記仮想映像から、前記移動軌道上でかつ前記撮影不可領域外の前記視点に対応した前記実映像に連続的に切り替わる前記映像を生成する、
   請求項３に記載の情報処理装置。
5. 前記撮影制御部は、前記撮影不可領域への進入を回避した後、前記仮想映像から前記実映像への切り替わりに対応したタイミング以前に、前記移動軌道上の前記視点が前記撮影不可領域から進出する進出位置の前記撮影不可領域外の近傍に移動するよう前記第１の撮像装置を制御する、
   請求項４に記載の情報処理装置。
6. 前記撮影制御部は、前記第１の撮像装置が互いに独立して移動可能な複数の第１の撮像装置を含む場合、当該複数の第１の撮像装置のうちのいずれか１つの第１の撮像装置を、前記進出位置の前記撮影不可領域外の近傍に移動するよう制御する、
   請求項５に記載の情報処理装置。
7. 前記撮影制御部は、前記複数の第１の撮像装置のうち、前記進出位置に最も近い前記１つの第１の撮像装置を、前記進出位置の前記撮影不可領域外の近傍に移動するよう制御する、
   請求項６に記載の情報処理装置。
8. 前記撮影制御部は、前記移動軌道上の前記視点が前記撮影不可領域内に存在する場合、前記仮想映像に直接的に映るのを回避するよう前記第１の撮像装置を制御する、
   請求項３に記載の情報処理装置。
9. 前記移動指示は、前記移動軌道に沿った前記視点の移動速度の指定を含み、
   前記映像生成部は、前記移動軌道上でかつ前記撮影不可領域外を移動中の前記視点の前記移動速度が閾値を超える場合、前記実映像から前記仮想映像に連続的に切り替わる前記映像を生成する、
   請求項２に記載の情報処理装置。
10. 前記映像生成部は、前記移動軌道上でかつ前記撮影不可領域外の前記視点の移動に応じて移動中の前記第１の撮像装置に障害が発生した場合、前記実映像から前記仮想映像に連続的に切り替わる映像を生成する、
    請求項２に記載の情報処理装置。
11. 前記撮影不可領域は、前記第１の撮像装置の撮影対象物を基準として設定される、
    請求項２に記載の情報処理装置。
12. 前記仮想映像は、前記第１の撮像装置が撮影する撮影対象空間の三次元モデルに基づいて取得される、
    請求項１に記載の情報処理装置。
13. 前記三次元モデルは、前記第１の撮像装置により取得される前記実映像と、前記撮影対象空間を囲むように配置された、前記第１の撮像装置とは異なる複数の第２の撮像装置により取得される前記実映像と、のうち少なくとも一方に基づいて生成される、
    請求項１２に記載の情報処理装置。
14. 前記移動指示は、表示装置に表示される設定画面を介した前記ユーザの入力操作に応じて設定される、
    請求項１に記載の情報処理装置。
15. 前記第１の撮像装置は、カメラを搭載した飛行体としてのドローンを含む、
    請求項１に記載の情報処理装置。
16. ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御ステップと、
    前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成ステップと、
    を備える、方法。
17. コンピュータに、
    ユーザの移動指示に応じて視点および視線のうち少なくとも一方を移動しつつ実映像を取得するよう第１の撮像装置を制御する撮影制御ステップと、
    前記移動指示に応じた前記視点および前記視線のうち少なくとも一方の移動中に、前記第１の撮像装置が、当該第１の撮像装置による撮影が不可能な領域として設定された撮影不可領域に近接する場合、前記実映像から、前記撮影不可領域内の仮想映像に連続的に切り替わる映像を生成する映像生成ステップと、
    を実行させるためのプログラムが格納された、コンピュータが読み取り可能な非一時的な記録媒体。

Images