JP2020205549A - 映像処理装置、映像処理方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点映像と実カメラ映像の切替前後での映像の連続性を向上させるための技術を提供する。【解決手段】本発明の一実施形態において、仮想視点に応じた仮想視点映像と、実カメラにより撮影された実カメラ映像とを切り替えて表示させることが可能な映像処理装置は、映像の切替前に、仮想視点映像の構図を実カメラ映像の構図に一致させるように、仮想視点を制御する制御手段と、制御された仮想視点に応じた仮想視点映像と実カメラ映像とを含む切替支援画面を提示する提示手段とを有する。【選択図】図１

Description

本発明は、複数のカメラを用いて撮影された多視点映像から生成される仮想視点映像に関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた多視点映像を用いて仮想視点映像を生成する技術が注目されている（特許文献１参照）。このような仮想視点映像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、従来の映像と比較して視聴者に高臨場感を与えることが出来る。

また、サッカー等のイベントが、放送用カメラ等でも撮影されていた場合、仮想視点映像と、放送用カメラ等で撮影された実カメラ映像とを切り替えて、テレビで中継したり、インターネットで配信したりすることができる。例えば、ゴールシーンにおいて、目の前に飛び込んできたボールが脇を抜けていくような、ゴールキーパー目線での仮想視点映像から、ゴールキーパーやキッカーの表情をズームアップした実カメラ映像に切り替えるようにして、映像を生成することができる。このように、仮想視点映像を従来の実カメラ映像とともに用いることで、より臨場感の高い映像体験を視聴者に提供することができる。

特開２００８−０１５７５６号公報

上述したように、仮想視点映像と実カメラ映像とを切り替えて用いる場合、映像の切替前後のカメラの動かし方の違いが大きいことなどにより、映像が不連続な印象を視聴者に与える恐れがある。

本発明は、上記課題に鑑みてなされたものであり、仮想視点映像と実カメラ映像の切替前後での映像の連続性を向上させるための技術を提供することを目的とする。

本発明の一実施形態において、仮想視点に応じた仮想視点映像と、実カメラにより撮影された実カメラ映像とを切り替えて表示させることが可能な映像処理装置は、映像の切替前に、前記仮想視点映像の構図を前記実カメラ映像の構図に一致させるように、前記仮想視点を制御する制御手段と、前記制御された仮想視点に応じた仮想視点映像と前記実カメラ映像とを含む切替支援画面を提示する提示手段とを有する。

本発明によれば、仮想視点映像と実カメラ映像の切替前後での映像の連続性を向上させることができる。

第１の実施形態における映像処理システムの全体構成図である。 第１の実施形態における切替区間制御の処理フロー図である。 第１の実施形態における切替支援情報提示の処理フロー図である。 第１の実施形態における切替支援情報の提示例を示す図である。 第１の実施形態における構図合わせ状態の提示例を示す図である。 第２の実施形態における映像処理システムの全体構成図である。 第２の実施形態における切替区間制御の処理フロー図である。 第２の実施形態における仮想カメラの自動操縦内容および切替後操作制限内容を説明する図である。 第２の実施形態における切替後操作制限内容決定の処理フロー図である。 第３の実施形態における映像処理システムの全体構成図である。 第１の実施形態における映像処理装置のハードウェア構成図である。

以下、添付の図面を参照して、本発明の実施形態について詳細に説明する。なお、以下の実施形態は例であり、本発明の範囲を限定するものではない。また、以下で説明される特徴の組み合わせの全てが本発明に必須のものとは限らない。同一の構成要素については、同じ符号を付す。

（第１の実施形態）
図１は、本発明の第１の実施形態が適用される映像処理システムの全体構成図である。映像処理装置１０は、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点映像を生成するシステムである。本実施形態における仮想視点映像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する映像に限定されず、例えば複数の候補からユーザが選択した視点に対応する映像なども仮想視点映像に含まれる。また、本実施形態では仮想視点映像が動画である場合を中心に説明するが、仮想視点映像は静止画であってもよい。すなわち、映像処理装置１０は動画像を処理してもよいし、静止画像を処理してもよい。

また、本実施形態における仮想カメラとは、実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点映像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点映像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した映像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点映像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像映像を模擬した映像であると言える。そのため、以下では仮想視点映像を仮想カメラ映像とも表記する。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点映像が生成されればよい。

映像処理装置１０は、多視点映像撮影部１０１、仮想カメラ操縦部１０２、仮想カメラパス生成部１０３、仮想視点映像生成部１０４、実カメラ情報取得部１０５、仮想カメラ切替区間制御部１０６、および切替支援情報提示部１０７を有している。

多視点映像撮影部１０１は、競技フィールド等を取り囲むように設置された複数台のカメラによる同期撮影を行うとともに、撮影された多視点映像を仮想視点映像生成部１０４に渡す。

仮想カメラ操縦部１０２は、仮想カメラオペレータによる仮想カメラ制御を行い、制御結果を仮想カメラパラメータとして仮想カメラパス生成部１０３に渡す。ここで、仮想カメラパラメータは、少なくとも仮想カメラの位置及び姿勢（向き）を示すパラメータを含む。ただしこれに限らず、例えば仮想カメラの画角を示すパラメータを含んでもよい。仮想カメラオペレータは、ジョイスティック等の操作部を用いて仮想カメラの位置や姿勢を制御したり、スライダー等の操作部を用いて仮想カメラの画角を制御したりすることができる。また、仮想カメラオペレータは、タッチパネルやキーボード等の操作部を用いて仮想カメラパラメータを直接指定して仮想カメラを制御してもよい。また、仮想カメラ操縦部１０２は、実カメラと仮想カメラとの切替要求や切替実施を仮想カメラ切替区間制御部１０６に通知する。ここで、実カメラとは、放送用カメラ、ドローンカメラ、多視点映像撮影カメラ等であって、実カメラ映像は、当該実カメラによって撮影された映像である。また、切替要求とは、実カメラ映像から仮想カメラ映像への切り替えまたは仮想カメラ映像から実カメラ映像への切り替えを行うための要求であり、ディレクター等により指示される。切替要求通知は、ディレクター等の指示をインカム等から受け取った仮想カメラオペレータが、切替要求を操作部を介して入力すること（例えば、タッチパネル画面上に表示されたボタンの押下等）により行われる。また、切替実施通知は、映像切替部３０によって切替要求に従った切り替えが実施されたことを確認した仮想カメラオペレータが、切替実施を操作部を介して入力すること（例えば、タッチパネル上に表示されたボタンの押下等）により行われる。また、仮想カメラ操縦部１０２は、仮想カメラパラメータを仮想カメラ切替区間制御部１０６に渡す。

仮想カメラパス生成部１０３は、仮想カメラ操縦部１０２または仮想カメラ切替区間制御部１０６から仮想カメラパラメータを受け取り、仮想カメラパスを生成し、仮想視点映像生成部１０４に渡す。ここで、仮想カメラパスは、時間的に連続する仮想カメラパラメータにより表される。仮想カメラパス生成部１０３は、仮想カメラパスを生成する際に、どのフレームがどのパラメータであるか特定できるようフレーム番号またはタイムコードとの関連付けを行う。仮想カメラパス生成部１０３は、仮想カメラ切替区間制御部１０６から自動操縦モードを受け取り、自動操縦モードがオンであれば仮想カメラ切替区間制御部１０６からの仮想カメラパラメータを用いて仮想カメラパスを生成する。仮想カメラパス生成部１０３は、自動操縦モードがオフであれば仮想カメラ操縦部１０２からの仮想カメラパラメータを用いて仮想カメラパスを生成する。自動操縦モードとは、切替区間において、仮想カメラパス生成部１０３が仮想カメラ切替区間制御部１０６からの仮想パラメータに従って仮想カメラパスを生成して、仮想カメラを自動的に操縦するモードである。

仮想視点映像生成部１０４は、多視点映像撮影部１０１が撮影した多視点映像から３次元モデルを生成する。そして、仮想カメラパス生成部１０３が生成した仮想カメラパスにおける仮想視点（すなわち、仮想カメラの位置、姿勢、および画角）でテクスチャをマッピングすることで、仮想視点映像を生成する。仮想視点映像生成部１０４は、生成した仮想視点映像を切替支援情報提示部１０７および映像切替部３０に渡す。

実カメラ情報取得部１０５は、実カメラ映像撮影部２０から実カメラに関する情報（以下、実カメラ情報とも称する）を取得し、仮想カメラ切替区間制御部１０６に渡す。ここで、実カメラ情報には、少なくとも実カメラの位置及び姿勢（向き）を示す情報が含まれる。ただしこれに限らず、実カメラの画角を示す情報が含まれてもよい。

仮想カメラ切替区間制御部１０６は、実カメラ情報取得部１０５から受け取った実カメラ情報と、仮想カメラ操縦部１０２から受け取った仮想カメラパラメータ、切替要求通知、および切替実施通知から、切替区間における仮想カメラを制御する。ここで、切替区間とは、切替要求通知を受け取ってから、自動操縦モードをオフにするまでの区間である。仮想カメラ切替区間制御部１０６は、制御結果を仮想カメラパラメータとして仮想カメラパス生成部１０３に渡す。仮想カメラ切替区間制御部１０６は、自動操縦モードを仮想カメラパス生成部１０３に渡す。仮想カメラ切替区間制御部１０６は、切替支援情報提示部１０７に、切替支援情報提示を指示し、切替状況を通知する。仮想カメラ切替区間制御部１０６の詳細は、後述する。

切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６からの切替支援情報提示指示に基づき、切替支援画面を作成し、実カメラオペレータまたは仮想カメラオペレータ、若しくはその双方の操作画面（不図示）上へ提示する。切替支援情報提示部１０７は、仮想視点映像生成部１０４からの仮想視点映像と、実カメラ映像撮影部２０からの実カメラ映像とを取得する。切替支援情報提示部１０７の詳細は、後述する。

実カメラ映像撮影部２０は、競技フィールド脇等に配置された放送局のカメラ等であり、実カメラオペレータにより実カメラの位置、姿勢、および画角が制御され、撮影された映像を映像切替部３０および切替支援情報提示部１０７に渡す。実カメラ映像撮影部２０は、ＧＰＳ受信機やジャイロセンサーなどの測定器を備え、実カメラの位置や姿勢の特定を行う。また、実カメラ映像撮影部２０は、ズーム状態から実カメラの画角の特定を行う。また、実カメラ映像撮影部２０は、実カメラの位置、姿勢、および画角を実カメラ情報として実カメラ情報取得部１０５に渡す。実カメラ映像撮影部２０は、他の実カメラ映像撮影部２０との区別ができれば、複数あってもよい。なお、実カメラ映像撮影部２０が多視点映像撮影部１０１を構成する複数のカメラのうちの一部であってもよい。

映像切替部３０は、少なくとも仮想視点映像生成部１０４からの仮想視点映像と実カメラ映像撮影部２０からの実カメラ映像とを含む複数の映像から１つの映像を選択して、不図示の放送設備や配信サーバ等に渡す。ここで、映像の選択は、ディレクター等の指示をインカム等から受け取ったスイッチャーにより行われる。

図１１は、映像処理装置１０として動作可能な情報処理装置２００のハードウェア構成を示す。情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ（インターフェース）２１７、及びバス２１８を有する。

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御することで、図１に示す各機能を実現する。なお、情報処理装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。

本実施形態では、表示部２１５と操作部２１６が情報処理装置２００の内部に存在するものとして説明するが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。

図２は、仮想カメラ切替区間制御部１０６による切替区間制御の処理フロー図である。ここではまず、図２（ａ）を参照して、切替区間制御の全体的な処理フローを説明する。以下の記号「Ｓ」は、フロー図における「ステップ」を意味する。その他のフロー図においても同様である。

仮想カメラ切替区間制御部１０６は、仮想カメラ操縦部１０２から切替要求通知を受け取ると、切替区間制御処理を開始する。切替要求通知を受け取った際の映像切替部３０が、実カメラ映像を選択していた場合は実カメラ映像から仮想カメラ映像への切り替えであり、仮想カメラ映像を選択していた場合は仮想カメラ映像から実カメラ映像への切り替えである。

まず、仮想カメラ切替区間制御部１０６は、実カメラ情報取得部１０５からの実カメラ情報（すなわち、実カメラの位置、姿勢、および画角）の取得を開始する（Ｓ６０１）。実カメラ情報は、実カメラ情報取得部１０５から定期的に取得し続けるようにしてもよいし、実カメラ情報取得部１０５が実カメラ情報の更新を仮想カメラ切替区間制御部１０６に通知するようにして更新時のみ取得するようにしてもよい。また、仮想カメラから実カメラへの切り替えにおいて実カメラが複数台ある場合は、切替要求通知に実カメラＩＤを含めるようにして特定の実カメラを選択できるようにしてもよいし、仮想カメラの最も近くにある実カメラを特定するようにしてもよい。次いで、仮想カメラ切替区間制御部１０６は、仮想カメラ操縦部１０２から仮想カメラパラメータを取得する（Ｓ６０２）。尚、Ｓ６０１およびＳ６０２の処理順序は、どちらが先でもよい。

次いで、仮想カメラ切替区間制御部１０６は、自動操縦モードをオンとして仮想カメラパス生成部１０３に渡す（Ｓ６０３）。すなわち、仮想カメラパス生成部１０３は、仮想カメラ切替区間制御部１０６からの仮想パラメータに従って仮想カメラパスを生成して、仮想カメラを自動的に操縦するように設定される。

仮想カメラ切替区間制御部１０６は、実カメラ映像から仮想カメラ映像への切り替えであれば（Ｓ６０４のｙｅｓ）、仮想カメラ映像の構図が実カメラ映像の構図と揃うよう仮想カメラパラメータを設定する（Ｓ６０５）。すなわち、切り替え前に表示されているのは実カメラ映像であるため、切り替え前に仮想カメラ映像の構図を実カメラ映像の構図に一致させる。

一方、仮想カメラ切替区間制御部１０６は、仮想カメラ映像から実カメラ映像への切り替えであれば（Ｓ６０４のｎｏ）、仮想カメラ映像の構図が実カメラ映像の構図に徐々に近づくよう仮想カメラパラメータを設定する（Ｓ６０６）。すなわち、切り替え前に選択されている仮想カメラ映像の構図を、実カメラ映像の構図に徐々に近づけて一致させる。

なお、Ｓ６０５およびＳ６０６における仮想カメラパラメータ設定処理の詳細については、それぞれ図２（ｂ）及び図２（ｃ）を参照して後述する。

次いで、仮想カメラ切替区間制御部１０６は、実カメラ情報の取得を終了し（Ｓ６０７）、自動操縦モードをオフにして仮想カメラパス生成部１０３に渡す（Ｓ６０８）。自動操縦モードがオフになると、仮想カメラパス生成部１０３は、仮想カメラ操縦部１０２からの仮想カメラパラメータを用いて仮想カメラパスを生成することができる。さらに、仮想カメラ切替区間制御部１０６は、自動操縦が完了した旨を切替支援情報提示部１０７に通知し（Ｓ６０９）、切替区間制御処理を終了する。

図２（ｂ）は、仮想カメラ切替区間制御部１０６による実カメラ映像から仮想カメラ映像への切り替えにおける仮想カメラパラメータ設定（図２（ａ）のＳ６０５）の処理フロー図である。

まず、仮想カメラ切替区間制御部１０６は、実カメラから仮想カメラへの切替支援情報を提示するよう切替支援情報提示部１０７に指示する（Ｓ６０５１）。切替支援情報提示部１０７による切替支援情報提示処理については、図３を参照して後述する。

次いで、仮想カメラ切替区間制御部１０６は、実カメラの位置、姿勢、および画角を仮想カメラパラメータとして仮想カメラパス生成部１０３に渡す（Ｓ６０５２）。これにより、仮想カメラパス生成部１０３が生成する仮想カメラパラメータは、実カメラと同じ位置、姿勢および画角となるため、切り替え前の実カメラの構図と切り替え後の仮想カメラの構図が揃うことになる。仮想カメラ切替区間制御部１０６は、仮想カメラ操縦部１０２から切替実施通知を受け取らない間は（Ｓ６０５３のｎｏ）、仮想カメラパラメータの設定（Ｓ６０５２）を継続する。仮想カメラ切替区間制御部１０６は、仮想カメラ操縦部１０２からの切替実施通知を受け取ると（Ｓ６０５３のｙｅｓ）、切替支援情報提示部１０７に切替実施を通知し（Ｓ６０５４）、仮想カメラパラメータ設定処理を終了する。

図２（ｃ）は、仮想カメラ切替区間制御部１０６による仮想カメラ映像から実カメラ映像への切り替えにおける仮想カメラパラメータ設定（図２（ａ）のＳ６０６）の処理フロー図である。

まず、仮想カメラ切替区間制御部１０６は、仮想カメラから実カメラへの切替支援情報を提示するよう切替支援情報提示部１０７に指示する（Ｓ６０６１）。切替支援情報提示部１０７による切替支援情報提示処理については、図３を参照して後述する。

次いで、仮想カメラ切替区間制御部１０６は、実カメラ情報および仮想カメラパラメータから、仮想カメラの位置が実カメラの位置に徐々に近づいて一致するよう仮想カメラパラメータを設定する（Ｓ６０６２）。仮想カメラと実カメラの位置のずれが所定の閾値より大きい場合は、仮想カメラ位置から実カメラ位置へ徐々に変化するような複数個の仮想カメラパラメータを求め、仮想カメラパス生成部１０３に渡す。また、仮想カメラ切替区間制御部１０６は、実カメラ情報および仮想カメラパラメータから、仮想カメラの姿勢が実カメラの姿勢に徐々に近づいて一致するよう仮想カメラパラメータを設定する（Ｓ６０６３）。仮想カメラと実カメラの姿勢のずれが所定の閾値より大きい場合は、仮想カメラ姿勢から実カメラ姿勢へ徐々に変化するような複数個の仮想カメラパラメータを求め、仮想カメラパス生成部１０３に渡す。また、仮想カメラ切替区間制御部１０６は、実カメラ情報および仮想カメラパラメータから、仮想カメラの画角が実カメラの画角に徐々に近づいて一致するよう仮想カメラパラメータを設定する（Ｓ６０６４）。仮想カメラと実カメラの画角の差が所定の閾値より大きい場合は、仮想カメラ画角から実カメラ画角へ徐々に変化するような複数個の仮想カメラパラメータを求め、仮想カメラパス生成部１０３に渡す。尚、位置調整（Ｓ６０６２）、姿勢調整（Ｓ６０６３）、および画角調整（Ｓ６０６４）は、異なる順序で行ってもよいし、位置調整と画角調整を同時に行うといったように２つの調整をまとめて行ってもよいし、３つの調整をまとめて行ってもよい。

次いで、仮想カメラ切替区間制御部１０６は、仮想カメラ映像と実カメラ映像の構図が一致した旨を切替支援情報提示部１０７に通知する（Ｓ６０６５）。

仮想カメラ切替区間制御部１０６は、仮想カメラ操縦部１０２からの切替実施通知を受け取ると（Ｓ６０６６のｙｅｓ）、切替が実施された旨を切替支援情報提示部１０７に通知し（Ｓ６０６７）、仮想カメラパラメータ設定処理を終了する。

図３は、切替支援情報提示部１０７による切替支援情報提示の処理フロー図である。切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６から切替支援情報提示を指示されると（図２（ｂ）のＳ６０５１、および図２（ｃ）のＳ６０６１）、切替支援情報提示処理を開始する。

まず、切替支援情報提示部１０７は、受け取った指示が実カメラから仮想カメラへの切替支援情報提示であれば（Ｓ７０１のｙｅｓ）、実カメラ映像撮影部２０より実カメラ映像（すなわち、切替元の映像）を取得する（Ｓ７０２）。そして、実カメラ映像の構図に一致させた仮想カメラ映像に基づき、切替前の切替支援画面を作成する（Ｓ７０３）。Ｓ７０３で作成する切替支援画面は、仮想カメラオペレータの操作画面上に提示され、図４（ａ）の例で示したように、実カメラ映像７１、自動操縦中である旨の通知７３、および構図が一致している旨の通知７４を少なくとも含む。操作画面上には併せて切り替え先の仮想カメラ映像が表示されてもよい。実カメラから仮想カメラに切り替わるまでの時間が、ディレクターが「あと５秒で切替」と伝える等により既知であれば、残り時間７６をカウントダウンしながら提示してもよい。また、切替支援情報提示部１０７は、図４（ｂ）の例で示したような実カメラオペレータの操作画面上に提示する画面を、Ｓ７０３で更に作成してもよい。この画面は、映像切替部３０にて当該映像（すなわち、切替元映像である実カメラ映像）が選択中である旨の通知７５を含んでもよい。通知７５により、実カメラオペレータは、実カメラ映像が現在選択されていることを知ることができる。

次いで、切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６から切替実施通知を受けると（Ｓ７０４のｙｅｓ）、切替後の切替支援画面を作成する（Ｓ７０５）。なお、実カメラから仮想カメラへの切り替えの場合、切り替え後も自動操縦モードが継続される（すなわち、切替区間は継続する）。Ｓ７０５で作成する切替支援画面は、仮想カメラオペレータの操作画面上に提示され、図４（ｃ）の例で示したように、自動操縦中である旨の通知７３、および構図が一致している旨の通知７４を少なくとも含む。また、映像切替部３０にて仮想カメラ映像が選択中である旨の通知７５を更に含んでもよい。仮想カメラの映像に切り替わってから自動操縦が完了するまでの時間が、固定値等により既知であれば、残り時間７６をカウントダウンしながら提示してもよい。

次いで、切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６から自動操縦完了通知（すなわち、自動操縦モードをオフにした旨の通知）を受けると（Ｓ７０６のｙｅｓ）、切替支援画面を消去し（Ｓ７１３）、切替支援情報提示処理を終了する。

Ｓ７０１の説明に戻り、切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６から受け取った指示が仮想カメラから実カメラへの切替支援情報提示であれば（Ｓ７０１のｎｏ）、仮想視点映像生成部１０４より仮想カメラ映像を取得する（Ｓ７０７）。すなわち、切替支援情報提示部１０７は、切替元の映像として仮想カメラ映像を取得する。

次いで、切替支援情報提示部１０７は、構図合わせ状態を特定し（Ｓ７０８）、構図一致前の切替支援画面を作成する（Ｓ７０９）。ここで、構図合わせ状態とは、仮想カメラ切替区間制御部１０６による位置、姿勢、および画角の調整（図２（ｃ）のＳ６０６２〜Ｓ６０６４）の状態である。Ｓ７０９で作成する切替支援画面は、実カメラオペレータの操作画面上に提示され、図４（ｄ）の例で示したように、仮想カメラ映像７２および構図合わせ状態７７を少なくとも含む。操作画面上には併せて切り替え先の実カメラ映像が表示されてもよい。この切替支援画面には、仮想カメラ映像の構図が実カメラ映像の構図に徐々に近づけられる様子が示される。また、切替支援情報提示部１０７は、図４（ｅ）の例で示したような仮想カメラオペレータの操作画面上に提示する画面を、Ｓ７０９で更に作成してもよい。この画面は、映像切替部３０において当該映像（すなわち、切替元映像である仮想カメラ映像）が選択中である旨の通知７５を含んでもよい。通知７５により、仮想カメラオペレータは、仮想カメラ映像が現在選択されていることを知ることができる。また、この画面は、自動操縦中である旨の通知７３をさらに含んでもよい。

切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６から構図一致通知を受け取らない間は（Ｓ７１０のｎｏ）、構図合わせ状態の特定（Ｓ７０８）および構図一致前の切替支援画面の作成（Ｓ７０９）を継続する。構図合わせ状態７７は、図４（ｄ）に示したような構図合わせ中である旨の通知でもよいし、図５に示したような実カメラと仮想カメラとの関係を図示化したものでもよい。例えば、実カメラ４と仮想カメラ５との位置関係が、図５（ａ）に示したような位置関係であった場合、図５（ｂ）のように実カメラ４からの仮想カメラ５の相対位置（ここでは、前方やや右１８ｍより接近中）を示してもよい。また、図５（ｃ）のように、撮影範囲の俯瞰マップ６上に実カメラ４および仮想カメラ５の絶対位置をプロットして示してもよい。

切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６から構図一致通知を受け取ると（Ｓ７１０のｙｅｓ）、構図一致後の切替支援画面を作成する（Ｓ７１１）。Ｓ７１１で作成する切替支援画面は、実カメラオペレータの操作画面上に提示され、図４（ｆ）の例で示したように、仮想カメラ映像７２および構図が一致した旨の通知７４を少なくとも含む。構図が一致してから切り替えが実施されるまでの時間が、固定値等により既知であれば、残り時間７６をカウントダウンしながら提示してもよい。また、切替支援情報提示部１０７は、図４（ｇ）の例で示したような仮想カメラオペレータに提示する画面を、Ｓ７１１で更に作成してもよい。この画面は、映像切替部３０において当該映像（すなわち、切替元映像である仮想カメラ映像）が選択中である旨の通知７５、自動操縦中である旨の通知７３を含んでもよく、さらに、残り時間７６をカウントダウンしながら提示してもよい。

次いで、切替支援情報提示部１０７は、仮想カメラ切替区間制御部１０６から切替実施通知を受け取ると（Ｓ７１２のｙｅｓ）、切替支援画面を消去し（Ｓ７１３）、切替支援情報提示処理を終了する。

以上説明したように、本実施形態によると、実カメラ映像と仮想カメラ映像の構図が揃うように仮想カメラを自動制御して、その際のカメラ映像や構図合わせ状態をカメラオペレータに提示することができる。そうすることにより、構図一致前や切替前のカメラの動かし方をカメラオペレータが把握できるようになる。カメラオペレータは、切替前のカメラの動かし方を引き継ぐことができるため、切り替え前後のカメラの動かし方を大きく変化させることなく、実カメラ映像と仮想カメラ映像を切り替えられるようになる。すなわち、映像の切替前後で視聴者に対して不連続な印象を与えないように、カメラオペレータによるカメラの操作を支援することができる。

（第２の実施形態）
図６は、本発明の第２の実施形態が適用される映像処理システムの全体構成図である。

映像処理装置１１は、多視点映像撮影部１０１、仮想カメラ操縦部１１２、仮想カメラパス生成部１０３、仮想視点映像生成部１０４、および実カメラ情報取得部１０５を有している。また、仮想カメラ切替区間制御部１１６、切替支援情報提示部１１７、および切替後操作制限決定部１１８を有している。

多視点映像撮影部１０１、仮想カメラパス生成部１０３、仮想視点映像生成部１０４、および実カメラ情報取得部１０５は、図１と同様のため説明を省略する。

仮想カメラ操縦部１１２は、仮想カメラオペレータおよび切替後操作制限決定部１１８による仮想カメラ制御を行い、制御結果を仮想カメラパラメータとして仮想カメラパス生成部１０３に渡す。仮想カメラ操縦部１１２は、切替要求通知、切替実施通知、および仮想カメラパラメータを仮想カメラ切替区間制御部１１６に渡す。

仮想カメラ切替区間制御部１１６は、実カメラ情報取得部１０５からの実カメラ情報、仮想カメラ操縦部１１２からの仮想カメラパラメータ、切替要求通知、および切替実施通知から、仮想カメラを制御する。仮想カメラ切替区間制御部１１６は、制御結果である仮想カメラパラメータおよび自動操縦モードを仮想カメラパス生成部１０３に渡すとともに、切替支援情報提示部１１７に、切替支援情報の提示を指示し、切替状況を通知する。また、仮想カメラ切替区間制御部１１６は、自動操縦内容を切替後操作制限決定部１１８に渡す。仮想カメラ切替区間制御部１１６の詳細は、後述する。

切替支援情報提示部１１７は、仮想カメラ切替区間制御部１１６からの切替状況通知、仮想視点映像生成部１０４からの仮想視点映像、実カメラ映像撮影部２０からの実カメラ映像とから、切替支援画面を作成して提示する。また、切替支援情報提示部１１７は、切替後操作制限決定部１１８から実カメラの切替後操作制限情報（すなわち、後述する操作制限内容）を受け取り、切替支援画面を作成して実カメラオペレータへ提示する。

切替後操作制限決定部１１８は、仮想カメラ切替区間制御部１１６からの自動操縦内容に基づき、切替後の操作制限内容を決定し、仮想カメラ操縦部１１２または切替支援情報提示部１１７、若しくはその双方へ渡す。切替後操作制限決定部１１８の詳細は、後述する。

実カメラ映像撮影部２０および映像切替部３０は、図１と同様のため説明を省略する。

図７は、仮想カメラ切替区間制御部１１６による切替区間制御の処理フロー図である。ここではまず、図７（ａ）を参照して、切替区間制御の全体的な処理フローを説明する。なお、図２（ａ）と同様の処理については同一の符号を付し、詳細な説明を省略する。

仮想カメラ切替区間制御部１１６は、仮想カメラ操縦部１１２から切替要求通知を受け取ると、切替区間制御処理を開始する。

まず、仮想カメラ切替区間制御部１１６は、実カメラ情報取得部１０５からの実カメラ情報の取得を開始する（Ｓ６０１）。次いで、仮想カメラ切替区間制御部１１６は、仮想カメラ操縦部１１２から仮想カメラパラメータを取得し（Ｓ６０２）、自動操縦モードをオンとして仮想カメラパス生成部１０３に渡す（Ｓ６０３）。

仮想カメラ切替区間制御部１１６は、実カメラ映像から仮想カメラ映像への切り替えであれば（Ｓ６０４のｙｅｓ）、仮想カメラ映像の構図が実カメラ映像の構図と揃うよう仮想カメラパラメータを設定するとともに、自動操縦内容を解析する（Ｓ６１５）。

一方、仮想カメラ切替区間制御部１１６は、仮想カメラ映像から実カメラ映像への切り替えであれば（Ｓ６０４のｎｏ）、仮想カメラ映像の構図が実カメラ映像の構図に徐々に近づくよう仮想カメラパラメータを設定し、自動操縦内容を解析する（Ｓ６１６）。

なお、Ｓ６１５およびＳ６１６における仮想カメラパラメータ設定処理及び自動操縦内容の解析処理の詳細については、それぞれ図７（ｂ）及び図７（ｃ）を参照して後述する。

次いで、仮想カメラ切替区間制御部１１６は、実カメラ情報の取得を終了し（Ｓ６０７）、自動操縦モードをオフにして仮想カメラパス生成部１０３に渡し（Ｓ６０８）、自動操縦が完了した旨を切替支援情報提示部１０７に通知する（Ｓ６０９）。次いで、仮想カメラ切替区間制御部１１６は、解析した自動操縦内容（すなわち、仮想カメラの制御内容）を切替後操作制限決定部１１８に通知し（Ｓ６１１）、切替区間制御処理を終了する。

図７（ｂ）は、仮想カメラ切替区間制御部１１６による実カメラ映像から仮想カメラ映像への切り替えにおける仮想カメラパラメータ設定および解析（図７（ａ）のＳ６１５）の処理フロー図である。図２（ｂ）と同様の処理については同一の符号を付し、詳細な説明を省略する。

まず、仮想カメラ切替区間制御部１１６は、実カメラから仮想カメラへの切替支援情報を提示するよう切替支援情報提示部１０７に指示する（Ｓ６０５１）。次いで、仮想カメラ切替区間制御部１１６は、実カメラの位置、姿勢、および画角を仮想カメラパラメータとして仮想カメラパス生成部１０３に渡す（Ｓ６０５２）。次いで、仮想カメラ切替区間制御部１１６は、仮想カメラパラメータから自動操縦内容を解析する（Ｓ６１５１）。

仮想カメラ切替区間制御部１１６は、仮想カメラ操縦部１１２から切替実施通知を受け取らない間は（Ｓ６０５３のｎｏ）、仮想カメラパラメータの設定（Ｓ６０５２）と自動操縦内容の解析（Ｓ６１５１）を継続する。ここで、Ｓ６０５２で設定される仮想カメラパラメータは、切替実施前の実カメラ操作に相当するため、Ｓ６１５１で解析される自動操縦内容も、切替実施前の実カメラ操作に相当することになる。実カメラ映像と構図が揃うよう自動制御された仮想カメラ位置が、図８（ａ）に示した例であったとすると、切替要求を受け取ってから切替を実施するまでの５秒間に、カメラ位置は変化せずカメラ向きが右へ５度パンしたことになる。従って、自動制御による仮想カメラの位置操作（前後、左右、上下）、姿勢操作（パン、チルト、ロール）、および画角操作（ズーム）は、図８（ｂ）で示したように、位置操作なし、姿勢操作あり（１度／秒の速度で右方向へパン）、画角操作なしと解析される。尚、切替要求の受信から切替実施までの全区間ではなく、Ｓ６０５２で設定した最新の仮想カメラパラメータから遡った直近所定フレーム分の区間における仮想カメラパラメータから自動操縦内容を解析するようにしてもよい。

仮想カメラ切替区間制御部１１６は、仮想カメラ操縦部１１２からの切替実施通知を受け取ると（Ｓ６０５３のｙｅｓ）、切替が実施された旨を切替支援情報提示部１０７に通知し（Ｓ６０５４）、仮想カメラパラメータ設定処理を終了する。

図７（ｃ）は、仮想カメラ切替区間制御部１１６による仮想カメラ映像から実カメラ映像への切り替えにおける仮想カメラパラメータ設定および解析（図７（ａ）のＳ６１６）の処理フロー図である。図２（ｃ）と同様の処理については同一の符号を付し、詳細な説明を省略する。

まず、仮想カメラ切替区間制御部１１６は、仮想カメラから実カメラへの切替支援情報を提示するよう切替支援情報提示部１１７に指示する（Ｓ６０６１）。次いで、仮想カメラ切替区間制御部１１６は、実カメラ情報と仮想カメラパラメータから、仮想カメラの位置、姿勢、および画角が実カメラの位置、姿勢、および画角に徐々に近づいて一致するよう仮想カメラパラメータを設定する（Ｓ６０６２〜Ｓ６０６４）。仮想カメラ切替区間制御部１１６は、切替要求通知を受け取ってから構図が一致するまでの間にＳ６０６２〜Ｓ６０６４で設定した仮想カメラパラメータから自動操縦内容を解析する（Ｓ６１６１）。

次いで、仮想カメラ切替区間制御部１１６は、仮想カメラ映像と実カメラ映像の構図が一致した旨を切替支援情報提示部１１７に通知し（Ｓ６０６５）、切替実施を待つ（Ｓ６０６６）。仮想カメラ切替区間制御部１１６は、仮想カメラ操縦部１１２からの切替実施通知を受け取ると（Ｓ６０６６のｙｅｓ）、切替が実施された旨を切替支援情報提示部１０７に通知し（Ｓ６０６７）、仮想カメラパラメータ設定処理を終了する。

図９は、切替後操作制限決定部１１８による切替後操作制限内容決定の処理フロー図である。切替後操作制限決定部１１８は、仮想カメラ切替区間制御部１１６から解析された自動操縦内容を受け取ると（図７（ａ）のＳ６１１）、切替後操作制限内容決定処理を開始する。

切替後操作制限決定部１１８は、受け取った自動操縦内容（すなわち、仮想カメラの制御内容）に基づき、切替後の操作制限内容を決定する（Ｓ８０１）。ここで、切替後操作制限とは、切替前後で操作内容が大きく変化するのを抑制するための操作制限であり、切替前操作を継続したり主要被写体を維持したりする以外の操作を切替後しばらく制限するものである。図８（ｂ）は、自動操縦内容の例を示し、図８（ｃ）は操作制限内容の例を示す。受け取った自動操縦内容が図８（ｂ）に示したものである場合、図８（ｃ）の制御可否欄に示したように、切替前操作を継続する操作は右へのパン操作となり、主要被写体を維持する操作は前後移動、ズーム、または自動チルト付き上下移動となる。また、切替前に比べてパン速度や前後移動及びズーム速度が急激に変わらないよう、図８（ｃ）の感度欄に示したように、ジョイスティック等による操作感度を制限してもよい。ここで、操作感度の初期値は、制御可否で一意に決めておいてもよいし、制御可となった操作の優先度に応じて割り当てておいてもよい。操作制限内容は、位置操作（前後、左右、上下）、姿勢操作（パン、チルト、ロール）、および画角操作（ズーム）のうちの少なくとも１つを含む。

切替後操作制限決定部１１８は、実カメラ映像から仮想カメラ映像への切替であれば（Ｓ８０２のｙｅｓ）、操作制限内容を仮想カメラ操縦部１１２に渡す（Ｓ８０３）。すなわち、仮想カメラ操縦部１１２による操作は、操作制限内容に従って制限される。一方、仮想カメラ映像から実カメラ映像への切替であれば（Ｓ８０２のｎｏ）、操作制限内容を切替支援情報提示部１１７に渡す（Ｓ８０４）。すなわち、切替支援情報提示部１１７による切替支援情報は、操作制限内容に従って提示される。

次いで、切替後操作制限決定部１１８は、操作制限がなくなっていなければ（Ｓ８０５のｎｏ）、操作制限内容を段階的に緩和する（Ｓ８０６）。ここで、操作制限内容の緩和とは、時間経過とともに制限を徐々に解除して無制限にするために、無効化した操作を有効化したり操作感度を上げたりすることである。図８（ｃ）の操作制限内容において待機量欄や緩和量欄に示したように、操作を有効化するまでの時間や操作感度を上げる度合いに基づいて、段階的に操作制限内容が緩和される。ここで、待機量や緩和量の値は、操作種類毎に一意に決めておいてもよいし、感度の初期値に応じて割り当てておいてもよい。また、緩和量は、図８（ｃ）に示したように直線的に増加させるのではなく、指数関数的に増加させてもよい。切替後操作制限決定部１１８は、操作制限内容の緩和により操作制限がなくなっていれば（Ｓ８０５のｙｅｓ）、切替後操作制限内容決定処理を終了する。

以上説明したように、本実施形態によると、切替前のカメラの自動操縦内容に応じて切替後のカメラの操作を制限することができる。そうすることにより、切替前のカメラ操作から切替後のカメラ操作が大きく変わらないよう仮想カメラ操作に制限を与えたり、実カメラの操作内容をオペレータに提示したりできる。カメラオペレータは、切替前のカメラの動かし方を急激に変えることなく切替後のカメラを動かすことができるため、切り替え前後のカメラの動かし方を大きく変化させることなく実カメラ映像と仮想カメラ映像を切り替えられるようになる。

（第３の実施形態）
図１０は、本発明の第３の実施形態が適用される映像処理システムの全体構成図である。

映像処理装置１２は、多視点映像撮影部１０１、仮想カメラ操縦部１０２、仮想カメラパス生成部１０３、仮想視点映像生成部１２４、実カメラ情報取得部１０５、仮想カメラ切替区間制御部１２６、および切替支援情報提示部１０７を有している。

多視点映像撮影部１０１、仮想カメラ操縦部１０２、仮想カメラパス生成部１０３、実カメラ情報取得部１０５、および切替支援情報提示部１０７は、図１と同様のため説明を省略する。

仮想視点映像生成部１２４は、多視点映像撮影部１０１からの多視点映像および仮想カメラパス生成部１０３からの仮想カメラパラメータに基づき仮想視点映像を生成し、切替支援情報提示部１０７および映像切替部３０に渡す。仮想視点映像生成部１２４は、仮想カメラ切替区間制御部１２６から実カメラとの差異軽減のための指示および差異軽減条件を受け取った場合、生成した仮想視点映像と、実カメラ映像撮影部２０から受け取った実カメラ映像とを用いて、差異軽減処理を行う。ここで、実カメラとの差異とは、例えば解像度や色再現における画質の差異である。また、差異軽減処理とは、構図が一致している実カメラ映像と仮想カメラ映像を例えばブレンド処理することである。また、差異軽減条件とは、実カメラから仮想カメラへの切替なのか、または仮想カメラから実カメラへの切替なのかという切替方向を少なくとも含む。仮想視点映像生成部１２４は、実カメラ映像をブレンドする割合を、実カメラから仮想カメラへの切替であれば段階的に減らし、仮想カメラから実カメラへの切替であれば段階的に増やすことで、実カメラとの画質の差異を軽減する。

仮想カメラ切替区間制御部１２６は、実カメラ情報取得部１０５からの実カメラ情報および仮想カメラ操縦部１０２からの仮想カメラパラメータ、切替要求通知、および切替実施通知から、切替区間における仮想カメラを制御する。仮想カメラ切替区間制御部１２６は、仮想カメラパラメータおよび自動操縦モードを仮想カメラパス生成部１０３に渡し、切替支援情報提示部１０７に、切替支援情報提示を指示し、切替状況を通知する。仮想カメラ切替区間制御部１２６は、実カメラ映像と仮想カメラ映像の構図が一致したら、仮想視点映像生成部１２４へ差異軽減条件を渡すことで差異軽減を行うよう指示する。

以上説明したように、本実施形態によると、実カメラ映像と仮想カメラ映像の構図が一致するよう仮想カメラを自動制御した後に、仮想カメラ映像と実カメラ映像の画質の差異を軽減する。そうすることにより、構図だけでなく、画質も連続的に切り替えることができるようになる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 映像処理装置
１０１ 多視点映像撮影部
１０２ 仮想カメラ操縦部
１０３ 仮想カメラパス生成部
１０４ 仮想視点映像生成部
１０５ 実カメラ情報取得部
１０６ 仮想カメラ切替区間制御部
１０７ 切替支援情報提示部
２０ 実カメラ映像撮影部
３０ 映像切替部

Claims (17)

1. 仮想視点に応じた仮想視点映像と、実カメラにより撮影された実カメラ映像とを切り替えて表示させることが可能な映像処理装置であって、
   映像の切替前に、前記仮想視点映像の構図を前記実カメラ映像の構図に一致させるように、前記仮想視点を制御する制御手段と、
   前記制御された仮想視点に応じた仮想視点映像と前記実カメラ映像とを含む切替支援画面を提示する提示手段と
   を有することを特徴とする映像処理装置。
2. 前記制御手段は、前記実カメラの位置、姿勢、及び画角に基づいて、前記仮想視点映像の構図を前記実カメラ映像の構図に一致させるように制御することを特徴とする請求項１に記載の映像処理装置。
3. 前記切替支援画面は、前記仮想視点映像の構図が前記実カメラ映像の構図と一致した旨の通知を表示することを特徴とする請求項１または２に記載の映像処理装置。
4. 前記切替支援画面は、前記仮想視点が前記制御手段によって制御された状態にあり、自動操縦中である旨の通知を表示することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
5. 前記切替支援画面は、映像の切替が実施されるまでの残り時間を表示することを特徴とする請求項１乃至４のいずれか１項に記載の映像処理装置。
6. 前記制御手段は、前記仮想視点映像から前記実カメラ映像へ切り替える場合に、前記仮想視点映像の構図を前記実カメラ映像の構図に徐々に近づけるように、前記仮想視点の位置、姿勢、及び画角を制御することを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
7. 前記切替支援画面は、前記仮想視点映像の構図を前記実カメラ映像の構図に徐々に近づける間は、構図合わせ中である旨の通知を表示することを特徴とする請求項６に記載の映像処理装置。
8. 前記切替支援画面は、前記仮想視点映像の構図を前記実カメラ映像の構図に徐々に近づける間は、前記仮想視点の前記実カメラに対する相対位置を表示することを特徴とする請求項６に記載の映像処理装置。
9. 前記制御手段による前記仮想視点の制御内容に基づき、映像の切替後の前記仮想視点の操作制限を決定する決定手段をさらに有し、
   前記映像の切替後に、前記仮想視点の操作は前記操作制限にしたがって制限されることを特徴とする請求項１乃至８のいずれか１項に記載の映像処理装置。
10. 前記操作制限は、切替前の操作が継続されるように、あるいは主要被写体が維持されるように、前記仮想視点の操作を制限することを特徴とする請求項９に記載の映像処理装置。
11. 前記操作制限は、位置操作、姿勢操作、および画角操作に関する制限を含むことを特徴とする請求項９または１０に記載の映像処理装置。
12. 前記操作制限は、段階的に緩和されることを特徴とする請求項９乃至１１のいずれか１項に記載の映像処理装置。
13. 前記仮想視点映像の構図と前記実カメラ映像の構図が一致した後に、前記仮想視点映像と前記実カメラ映像との画質の差異が軽減されることを特徴とする請求項１乃至１２のいずれか１項に記載の映像処理装置。
14. 前記仮想視点映像と前記実カメラ映像をブレンドすることにより、前記画質の差異が軽減されることを特徴とする請求項１３に記載の映像処理装置。
15. 前記実カメラ映像から前記仮想視点映像への切替の場合、前記実カメラ映像をブレンドする割合が段階的に減り、前記仮想視点映像から前記実カメラ映像への切替の場合、前記実カメラ映像をブレンドする割合が段階的に増えることを特徴とする請求項１４に記載の映像処理装置。
16. コンピュータを請求項１乃至１５のいずれか１項に記載の映像処理装置として機能させるためのプログラム。
17. 仮想視点に応じた仮想視点映像と、実カメラにより撮影された実カメラ映像とを切り替えて表示させるための映像処理方法であって、
    映像の切替前に、前記仮想視点映像の構図を前記実カメラ映像の構図に一致させるように、前記仮想視点を制御する制御ステップと、
    前記制御された仮想視点に応じた仮想視点映像と前記実カメラ映像とを含む切替支援画面を提示する提示ステップと
    を含むことを特徴とする映像処理方法。

Images