JP2022182477A - 情報処理装置、システム、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】実カメラ映像と仮想視点映像との切替を行う場合に、ユーザの違和感を軽減させる。
【解決手段】本発明の一実施形態に係る情報処理装置は、撮像装置の位置及び姿勢を表す情報を含む撮像情報と、前記撮像装置の特定の動きを表す動き情報とを取得する取得手段と、前記撮像装置により取得される撮像映像と、複数の画像に基づいて生成される仮想視点映像とを切り替える場合、前記取得手段により取得された撮像情報と動き情報とに基づいて、前記仮想視点映像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を生成する視点情報生成手段と、を有する、ことを特徴とする情報処理装置である。
【選択図】図２

Description

本開示は、仮想視点映像を生成する技術に関する。

複数の撮像装置（カメラ）を異なる位置に設置し多視点で同期撮像して、当該撮像により得られた多視点映像を用いて仮想視点映像を生成する技術が注目されている。このような技術として、特許文献１には、被写体を取り囲むように複数のカメラを配置し、複数のカメラで撮像した被写体の画像を用いて、指定された視点（仮想視点）に対応する仮想視点映像を生成する技術が開示されている。

また、多視点による撮像が行われたサッカー等のイベントが、放送用カメラ等の物理カメラ（以降、実カメラという）でも撮像されていた場合、仮想視点映像と、実カメラで撮像された実カメラ映像とを組み合わせたテレビ中継やインターネット配信を実施できる。特許文献２には、仮想視点映像の位置、姿勢、及び画角を実カメラに合わすための手段を設け、仮想視点映像と実カメラ映像とをシームレスに切り替える技術が開示されている。

特開２００８－０１５７５６号公報 特開２０２０－４２６６５号公報

しかしながら、特許文献２では、例えば実カメラの手振れ等の動きまで仮想視点映像で再現できない。このように、実カメラ映像と仮想視点映像との切替を行う場合に、実カメラの動きが反映されず、ユーザが、実カメラ映像と仮想視点映像との違いを認識しやすくなってしまうという問題がある。

そこで本開示は、上記課題に鑑みて、実カメラ映像と仮想視点映像との切替を行う場合に、ユーザの違和感を軽減させる技術を提供することを目的とする。

本発明の一実施形態に係る情報処理装置は、撮像装置の位置及び姿勢を表す情報を含む撮像情報と、前記撮像装置の特定の動きを表す動き情報とを取得する取得手段と、前記撮像装置により取得される撮像映像と、複数の画像に基づいて生成される仮想視点映像とを切り替える場合、前記取得手段により取得された撮像情報と動き情報とに基づいて、前記仮想視点映像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を生成する視点情報生成手段と、を有する、ことを特徴とする情報処理装置である。

本開示によれば、実カメラ映像と仮想視点映像との切替を行う場合に、ユーザの違和感を軽減させることが可能になる。

第１実施形態に係るシステムを操作するオペレータ種別 第１実施形態に係るシステムの構成を示すブロック図 第１実施形態に係る仮想カメラ制御装置７００のハードウェア構成を示すブロック図 第１実施形態に係る仮想カメラ制御装置７００のソフトウェア構成を示すブロック図 第１実施形態に係るカメラパラメータの内訳 第１実施形態に係る実カメラ映像から仮想視点映像への切替の流れ 第１実施形態に係る仮想視点映像から実カメラ映像への切替の流れ 第１実施形態に係るカメラパス種別 第１実施形態に係る実カメラ映像から仮想視点映像への切替時のカメラ動きスケジュールの例 第１実施形態に係る仮想視点映像から実カメラ映像への切替時のカメラ動きスケジュールの例 第１実施形態に係るカメラ動きスケジュール生成処理のフローチャート 第１実施形態に係るカメラパス出力処理のフローチャート 第２実施形態に係るシステムの構成を示すブロック図

以下、図面を参照しながら実施形態を説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本開示の思想は、図示された構成に限定されるものではない。

［第１実施形態］
＜システム構成＞
本実施形態における情報処理システムについて説明する。本実施形態における情報処理システムは、例えば放送カメラ等、実際に撮像を行うための撮像装置（以降、実カメラという）の撮像映像（以降、実カメラ映像ともいう）と、仮想視点に対応する仮想視点映像とを切り替えて出力する機能を有する。仮想視点とは、ユーザにより指定される視点である。また、以下の説明においては、説明の便宜のため、仮想視点の位置に仮想的に配置されるカメラ（以降、仮想カメラという）を使用して説明を行う。すなわち、仮想視点の位置及び仮想視点からの視線方向は、それぞれ、仮想カメラの位置及び姿勢に対応する。また、仮想視点からの視界（視野）は、仮想カメラの画角に対応する。

また、本実施形態における仮想視点映像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する映像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点映像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点映像が動画である場合を中心に説明する。仮想視点映像は、仮想カメラにより撮像される映像であるといえる。

図１は、本実施形態に係る情報処理システム上におけるオペレータの種別を示す図である。本システムを操作するオペレータには少なくとも、実カメラを操作する実カメラオペレータ、仮想カメラを操作する仮想カメラオペレータ、及び実カメラ映像と仮想視点映像との切替操作を行う映像切替オペレータという３種のオペレータが含まれる。尚、各種オペレータは複数人いてもよい。また、１人のオペレータが異なる種のオペレータを兼務してもよい。またオペレータは人である必要はなく、例えばプログラム化されたソフトウェアであってもよい。

図２は、本実施形態に係る情報処理システムの構成を示すブロック図である。本システムは、時間源１００、実カメラ２００、遅延装置３００、切替装置４００、カメラ群５００、仮想視点映像生成装置６００、及び仮想カメラ制御装置７００を有する。

時間源１００は、実カメラ２００とカメラ群５００とに時間情報（以下、「タイムコード」と記載）を出力する。実カメラ２００とカメラ群５００とは、このタイムコードに基づいて同一のタイミングで撮像を行い、該同一のタイミングで撮像した映像を外部に出力する。

実カメラ２００は、競技フィールド脇等に配置された放送局の手持ちカメラ等であり、実カメラオペレータにより実カメラ２００の位置、姿勢、及び画角が制御される。実カメラ２００は、撮像された映像（以下、「実カメラ映像」と記載）とタイムコードとを遅延装置３００に出力する。実カメラ２００は、受信機を有するＧＰＳセンサ、ジャイロセンサ、加速度センサといった測定器（センサ）を内蔵するか、又は、このような測定器が外部に付随している。実カメラ２００は、これらのセンサ情報、並びに、実カメラの位置、姿勢、及び画角（ズーム値）を表す情報を含む撮像情報（以下、これらをまとめて「実カメラパラメータ」と記載）も実カメラ映像と共に、遅延装置３００に出力する。尚、図２では、実カメラが１台の例を示しているが、システムが複数台の実カメラを有してもよい。また、実カメラの種類は、手持ちカメラに限定されない。例えば、雲台により制御されるカメラ、ワイヤー等につるされた状態で制御されるカメラ、及び、非行型のカメラなどであってもよい。

遅延装置３００は、実カメラ２００から出力された実カメラ映像と実カメラパラメータとを内蔵メモリ、又は外付けのメモリに保存する。そして、遅延装置３００は、保存した実カメラ映像を切替装置４００へ、予め設定された所定の時間遅延させた後に出力する。遅延装置３００は、切替装置４００にて実カメラ映像と仮想視点映像とを切り替えるタイミングを調整するために使用する。通常、実カメラ映像と同一のタイムコードを持つ仮想視点映像は、仮想視点映像を生成する処理に時間を要するため、数フレーム～数十秒の遅延が生じる。遅延装置３００は、この処理遅延を吸収する役割を持つ。また、遅延装置３００は、保存した実カメラパラメータと該実カメラパラメータに対応するタイムコードとを仮想カメラ制御装置７００へ、予め設定された所定のタイミングで出力する。

切替装置４００には、遅延装置３００によって送信される実カメラ映像と、仮想視点映像生成装置６００によって送信される仮想視点映像とが入力される。切替装置４００は、映像切替オペレータによって設定される切替制御情報を受け付け、該受け付けた切替制御情報に基づいて、実カメラ映像と仮想視点映像との何れかを外部に出力する。ここでは遅延装置３００によって、同一のタイムコードで撮像された実カメラ映像と仮想視点映像とが、切替装置４００に同一タイミングで入力される。そのため、切替装置４００では、出力する映像の切替を行うだけで、同一のタイムコードの映像が切り替わることになる。尚、図２では、遅延装置３００と切替装置４００とが別個の形態を示しているが、切替装置４００が遅延装置３００を内蔵する形態でもよい。この場合、仮想視点映像生成装置６００によって送信されたタイムコード付きの仮想視点映像が入力される切替装置４００の中で、同一タイムコードの映像間の切替を行う。

カメラ群５００は、競技フィールド等を取り囲むように設置された複数台の撮像装置から構成される。本実施形態では、カメラ群５００に含まれる撮像装置（カメラ）は、実カメラ２００とは異なるカメラであるものとする。カメラ軍５００により取得される撮像画像は、仮想視点映像を生成するために使用される。カメラ群５００によって撮像された各映像は、仮想視点映像生成装置６００に出力される。尚、実カメラ２００が、カメラ群５００に含まれるカメラであってもよい。

仮想視点映像生成装置６００は、多視点映像から３次元モデルを作成し、仮想視点の位置及び仮想視点からの視線方向に応じてテクスチャをマッピングすることで仮想視点映像を生成する。ここでは、カメラ群５００の各カメラの位置、姿勢、及び画角の情報は予め測定し取得済みであるものとして、それらの情報と多視点映像とに基づいて３次元モデルを作成する。そして、仮想視点映像生成装置６００は、３次元モデルに基づいて生成した仮想視点映像を切替装置４００に出力する。

仮想カメラ制御装置７００は、仮想カメラオペレータによって入力された操作情報に基づいて、仮想カメラの移動経路を表す仮想カメラパスを生成する。尚、仮想カメラパスは、仮想カメラの位置の移動経路だけでなく、仮想カメラの姿勢及び画角等の変化も表す情報であって、仮想視点情報とも呼ばれる。本実施形態における仮想カメラパスは、仮想カメラの位置、姿勢、及び画角の情報と、タイムコードと、から構成される。尚、以降の説明においては、仮想カメラパスを、単にカメラパスと表記する場合がある。

仮想カメラ制御装置７００は、生成した仮想カメラパスを仮想視点映像生成装置６００へ出力する。仮想カメラ制御装置７００は、生成した仮想カメラパスを、１フレーム単位で、又は数～数千フレーム分の複数のカメラパスを一度に出力する。この際、仮想カメラ制御装置７００は、遅延装置３００によって送信され仮想カメラ制御装置７００内のメモリに保存されている実カメラパラメータとタイムコードとに基づく実カメラの手振れ等の動きを、仮想カメラパスに反映させる。これは本実施形態の主要な特徴であり、詳細は後述する。尚、仮想カメラ制御装置７００は、実カメラパラメータ及びタイムコードを実カメラ２００から直接入力してもよい。

＜仮想カメラ制御装置の構成＞
以下、本実施形態に係る仮想カメラ制御装置７００の構成について、図３及び図４を用いて説明する。図３は、仮想カメラ制御装置７００のハードウェア構成を示すブロック図である。

仮想カメラ制御装置７００は、ＣＰＵ７００１、ＲＯＭ７００２、ＲＡＭ７００３、補助記憶装置７００４、表示部７００５、操作部７００６、通信Ｉ／Ｆ７００７、及びバス７００８を有する。

ＣＰＵ７００１は、ＲＯＭ７００２又はＲＡＭ７００３に格納されているコンピュータプログラム及びデータを用いて仮想カメラ制御装置７００の全体を制御することで、図４に示す仮想カメラ制御装置７００の各機能モジュールを実現する。尚、仮想カメラ制御装置７００がＣＰＵ７００１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ７００１による処理の少なくとも一部を該専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ７００２には、変更を必要としないプログラム等が記憶される。ＲＡＭ７００３には、補助記憶装置７００４から供給されるプログラム及びデータ、並びに、通信Ｉ／Ｆ７００７を介して外部から供給されるデータ等が一時的に記憶される。補助記憶装置７００４は、例えばハードディスクドライブ等で構成され、画像データ、音声データ等の種々のデータが記憶される。

表示部７００５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが仮想カメラ制御装置７００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等が表示される。操作部７００６は、例えば、キーボード、マウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ７００１に入力する。通信Ｉ／Ｆ７００７は、仮想カメラ制御装置７００と、仮想カメラ制御装置７００の外部の装置との間の通信に用いられる。例えば、仮想カメラ制御装置７００が外部の装置と有線で接続される場合には、通信用ケーブルが通信Ｉ／Ｆ７００７に接続される。仮想カメラ制御装置７００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ７００７はアンテナを有する。バス７００８は、仮想カメラ制御装置７００の各部をつないで情報を伝達する。

本実施形態では、表示部７００５と操作部７００６とが仮想カメラ制御装置７００の内部に存在するものとするが、表示部７００５と操作部７００６との少なくとも一方が仮想カメラ制御装置７００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ７００１が、表示部７００５を制御する表示制御部、操作部７００６を制御する操作制御部として動作してもよい。

尚、本実施形態に係る情報処理システムが有する仮想カメラ制御装置７００以外の装置のハードウェア構成については、仮想カメラ制御装置７００の構成と同様である。

図４は、仮想カメラ制御装置７００の機能構成を示すブロック図である。仮想カメラ制御装置７００は、実カメラパラメータ入力部７０１１、操作入力部７０１２、カメラ動きスケジュール生成部７０１３、仮想カメラ制御部７０１４、及びカメラパス生成部７０１５を有する。尚、カメラパス生成部は、視点情報生成部とも呼ばれる。

実カメラパラメータ入力部７０１１は、仮想カメラ制御装置７００外部から入力された実カメラパラメータ及びタイムコードを、カメラ動きスケジュール生成部７０１３と、仮想カメラ制御部７０１４と、カメラパス生成部７０１５とへ出力する。操作入力部７０１２は、仮想カメラ制御装置７００外部から入力された仮想カメラオペレータの操作情報を、仮想カメラ制御部７０１４と、カメラパス生成部７０１５とへ出力する。また、操作入力部７０１２は、仮想カメラ制御装置７００外部から入力された映像切替オペレータの切替制御情報を、カメラパス生成部７０１５へ出力する。カメラ動きスケジュール生成部７０１３は、実カメラパラメータに基づきカメラ動きスケジュールを生成し、該生成したカメラ動きスケジュールをカメラパス生成部７０１５に出力する。尚、カメラ動きスケジュールについては後述する。

仮想カメラ制御部７０１４は、操作情報及び実カメラパラメータに基づいて、自動操縦モード用のカメラパスを生成し、該生成したカメラパスをカメラパス生成部７０１５へ出力する。自動操縦モードとは、仮想視点映像の構図を実カメラ映像の構図に徐々に寄せるために使用されるモードである。すなわち、自動操縦モードでは、仮想カメラの位置と実カメラの位置との差が小さくなるように制御される。同様に、自動操縦モードでは、仮想カメラの姿勢と実カメラの姿勢との差が小さくなるように制御される。同様に、自動操縦モードでは、仮想カメラの画角と実カメラの画角との差が小さくなるように制御される。

このように、自動操縦モードでは、仮想カメラの位置、姿勢及び画角が、実カメラの位置、姿勢及び画角に徐々に近づくように変更される。これにより、仮想カメラからの見えに相当する仮想視点映像の構図と、実カメラからの見えに相当する実カメラ映像の構図とが徐々に近づくように変化する。カメラパス生成部７０１５は、入力された各種情報に基づいてカメラパスを生成し、該生成したカメラパスを仮想視点映像生成装置６００へ出力する。

＜動き情報の例＞
図５は、実カメラパラメータの内訳を示す。実カメラパラメータは、実カメラの位置、姿勢、及びズーム値等の各パラメータに加えて、実カメラ２００の動き情報のパラメータから成る。動き情報とは、（１）実カメラ２００の振動量、回転量等の実カメラの振動及び回転に関わる情報、（２）実カメラ２００の移動方向、移動速度、移動量等の実カメラの移動に関する情報、（３）ズームの値、移動方向、移動速度等のズーム移動に関わる情報である。

実カメラ２００の振動量とは、実カメラ２００筐体の所定位置を原点にした３次元直交座標系における各方向（Ｘ方向、Ｙ方向、及びＺ方向）毎の所定時間あたりの変化量である。この情報は、例えば実カメラ２００の加速度センサから得る。

実カメラ２００の回転量とは、Ｘ軸、Ｙ軸、又はＺ軸を中心軸とした所定時間当たりの変化量である。この情報は、例えば実カメラ２００のジャイロセンサから得る。

実カメラ２００の移動量とは、実カメラ２００の筐体が移動した変化量である。この変化量として、前述した振動量、回転量等を所定時間の中で加算、平滑化して得られる値を用いてよい。或いは、実カメラ２００の移動量を、ＧＰＳセンサを用いて測定してもよい。

ズームの値（いわゆるズーム値）とは、実カメラ２００の焦点距離値である。ズームの移動方向とは、広角方向又は望遠方向を指す。ズームの移動速度とは、所定時間の焦点距離の変化量である。これらの情報は、例えばレンズに内蔵されるセンサから得る。

尚、動き情報は、上述した情報の全てを含んでいなくてもよく、例えば、（１）～（３）のうち少なくとも何れかの情報を含む構成であってもよい。また、動き情報は、上述した情報以外の情報を含んでいてもよい。

尚、本実施形態における動き情報とは、上述したように、実カメラの振動、手振れ、位置ずれ、ズームずれ等を表す情報である。しかしながら、実カメラ２００は、位置、姿勢、画角を制御可能なカメラであり、この制御による実カメラの動きと、上述した動き情報が表す動きは異なりうる。従って、動き情報により表される実カメラの動きは、例えば以下の条件を満たす特定の動きであるものとする。すなわち、動き情報により表される動きは、実カメラの位置、姿勢、ズーム等の制御が行われていない間に観測される実カメラの動きでありうる。また、動き情報により表される動きは、所定時間における実カメラの位置、姿勢、ズームの変化量が閾値よりも小さい動きでありうる。

＜映像切替の流れ＞
図６及び図７は、本実施形態に係る映像切替の概要を示している。先ず、図６を用いて、実カメラ映像から仮想視点映像への切替の流れを説明する。

切替指示タイミングＴ１０１は、映像切替オペレータが切替装置４００に切替制御情報を入力するタイミングである。また、切替実行タイミングＴ１０２は、切替指示を受けた切替装置４００が実カメラ映像から仮想視点映像への切替を実際に実行するタイミングである。実カメラ映像から仮想視点映像への切替実行は、映像切替オペレータの切替指示を受けて即時に実行されてもよいし、或いは、該切替指示を受けて予め決められた所定時間経過後に実行されてもよい。尚、図６は、即時実行された例を示す。

実カメラ映像Ｆ１０１～Ｆ１０７は、遅延装置３００から切替装置４００に入力された１フレーム毎の実カメラ映像である。

仮想視点映像Ｆ２０１～Ｆ２０７は、仮想視点映像生成装置６００から切替装置４００に入力された１フレーム毎の仮想視点映像である。

出力映像Ｆ３０１～Ｆ３０７は、切替装置４００によって実カメラと仮想視点映像との何れかが選択的に出力された映像である。図６では、出力映像Ｆ３０１～Ｆ３０２として実カメラ映像Ｆ１０１～Ｆ１０２が選択されている。また、切替実行を契機に切替実行タイミングＴ１０２以降で、出力映像Ｆ３０３～Ｆ３０７として仮想視点映像Ｆ２０３～Ｆ２０７が選択されている。

図６において、仮想カメラのカメラパスＰ１０１～Ｐ１０７は、仮想カメラ制御装置７００が仮想視点映像生成装置６００へ出力するカメラパスの種別を示している。

ここで、仮想カメラパスの種別について説明する。図８に仮想カメラパスの種別を示した。尚、本実施形態では、第１～第４の４つのカメラパスを利用するものとする。これらのカメラパスについて、本明細書及び図８等ではカメラパス１～４と記載し、図６及び図７では（１）～（４）と表している。

カメラパス１は、実カメラオペレータによる操作を表す仮想カメラパスである。このカメラパス１を採用した場合の仮想視点映像の構図は、実カメラ映像の構図と同一となる。カメラパス２は、仮想カメラオペレータによる操作に、カメラ動きスケジュールに従った操作を加えたものを表す仮想カメラパスである。カメラパス３は、仮想カメラオペレータによる操作を表す仮想カメラパスである。カメラパス４は、自動操縦モードによる操作に、カメラ動きスケジュールに従った操作を加えたものを表す仮想カメラパスである。

図６の符号Ｐ１０１～Ｐ１０７は、本例における仮想カメラパスの変遷を示している。先ず、切替実行を契機に、仮想カメラパスが、カメラパス１（Ｐ１０２）からカメラパス２（Ｐ１０３）に切り替わる。この切り替えタイミングは、出力映像が実カメラ映像（出力映像Ｆ３０２）から仮想視点映像（出力映像Ｆ３０３）に切り替わるタイミングだが、実カメラ映像と仮想視点映像との構図が一致しているため見た目は変化しない。切替実行タイミングＴ１０２以後、仮想視点映像はカメラパス２に基づく映像となる。前述したように、カメラパス２は、仮想カメラオペレータの操作に、カメラ動きスケジュールによる操作を加えたものを表すため、実カメラオペレータによるカメラの振動、移動、及びズーム動作等の動き情報が引き継がれる。手振れ等の振動は、その後徐々に緩和される。カメラ動きスケジュールは、この緩和の具合をスケジュール化したものであり、フレーム毎に振動量などを予め決めている。振動が収束する、つまりカメラ動きスケジュールが終了すると、カメラパス２（Ｐ１０５）からカメラパス３（Ｐ１０６）に切り替わる。これは、仮想カメラオペレータのみの操作になることを意味する。

次に、図７を用いて、仮想視点映像から実カメラ映像の切替の流れを説明する。

切替指示タイミングＴ２０１は、映像切替オペレータが切替装置４００に切替制御情報を入力するタイミングである。また、切替実行タイミングＴ２０２は、切替指示を受けた切替装置４００が仮想視点映像から実カメラ映像への切替を実際に実行するタイミングである。通常、仮想視点映像の構図と実カメラ映像の構図とは異なる。従って、スムーズな切替を実現するためには、一旦仮想視点映像において、当該仮想視点映像の構図を実カメラ映像の構図まで徐々に近づけて、最終的に一致させる必要がある。そのため、切替指示タイミングＴ２０１と切替実行タイミングＴ２０２とは異なる。具体的には、切替実行タイミングＴ２０２は、切替指示タイミングＴ２０１より遅い。

実カメラ映像Ｆ４０１～Ｆ４０７は、遅延装置３００から切替装置４００に入力された１フレーム毎の実カメラ映像である。

仮想視点映像Ｆ５０１～Ｆ５０７は、仮想視点映像生成装置６００から切替装置４００に入力された１フレーム毎の仮想視点映像である。

出力映像Ｆ６０１～Ｆ６０７は、切替装置４００によって実カメラと仮想視点映像との何れかが選択的に出力された映像である。図７では、出力映像Ｆ６０１～Ｆ６０５として仮想視点映像Ｆ５０１～Ｆ５０５が選択されている。また、切替実行を契機に切替実行タイミングＴ２０２以降ある程度時間が経過した後に、出力映像Ｆ６０６～Ｆ６０７として実カメラ映像Ｆ４０６～Ｆ４０７が選択されている。

図７の符号Ｐ２０１～Ｐ２０７は、仮想カメラ制御装置７００が仮想視点映像生成装置６００へ出力する仮想カメラパスの変遷を示している。先ず、切替指示タイミングＴ２０１における切替指示を契機に、仮想カメラパスが、カメラパス３（Ｐ２０２）からカメラパス４（Ｐ２０３）に切り替わる。前述したように、カメラパス４は、自動操縦モードによる操作を表しており、この切り替えにより、以降、仮想視点映像の構図が実カメラ映像の構図に徐々に近づいていく。また、カメラパス４には、カメラ動きスケジュールによって表現される操作情報も加わっている。従って、実カメラ映像に生じている手振れ等の動き情報が、仮想視点映像を生成するための情報に徐々に加えられる。

次に、切替実行タイミングＴ２０２における切替実行を契機に、仮想カメラパスが、カメラパス４（Ｐ２０５）からカメラパス１（Ｐ２０６）に切り替わる。この切り替えタイミングは、出力映像が仮想視点映像（出力映像Ｆ６０５）から実カメラ映像（出力映像Ｆ６０６）に切り替わるタイミングだが、実カメラ映像と仮想視点映像との構図が一致しているため見た目は変化しない。また、このタイミングで、カメラ動きスケジュールによって、仮想視点映像を生成するための情報に加えられた動き情報が、実カメラ映像の動き情報と同一になっている。そのため、見た目上の違和感が生じない。以後、仮想視点映像の構図は、カメラパス１に基づいた映像、つまり実カメラ映像の構図と同様の構図となる。

尚、切替の際の仮想視点映像の構図と実カメラ映像の構図とは、完全に一致していなくてもよい。例えば、切替時の仮想視点映像の構図が所定の基準を満たすように制御されてもよい。所定の基準とは、例えば、仮想視点映像に含まれるオブジェクトのサイズと、実カメラ映像に含まれる同一のオブジェクトのサイズとの差が、閾値よりも小さいことであってもよい。また、所定の基準は、仮想カメラと実カメラとの間の、位置の差、姿勢の差、及び画角の差が、閾値よりも小さいことであってもよい。

＜カメラ動きスケジュールの例＞
図９は、実カメラ映像から仮想視点映像への切替の際に使用するカメラ動きスケジュールの例を示している。具体的に図９（ａ）は、仮想視点映像上の振動量（又は回転量）が時間方向に変化（減衰）していく様子を示している。尚、図９では、ＸＹＺ直交座標のうち１方向のみを簡略して記載している。

カメラ動きスケジュールは、切替装置４００から実カメラ映像が出力されている間（図６のＦ３０１～Ｆ３０２）、毎フレーム周期で、実カメラパラメータを取得することで更新される。そのため、切替実行タイミングＴ１０２における切替実行を受けて仮想視点映像に切り替わった直後（図６のＦ３０３）、その直前の実カメラ２００の振動量に略同一の値と、実カメラ２００の回転量に略同一の値と、が仮想視点映像上で再現される。仮想視点映像に切り替わった後、カメラ動きスケジュールの更新は止まり、その後、そのカメラ動きスケジュールに従って、毎フレームの振動量及び回転量の動作が、仮想カメラオペレータの操作に加算される。この振動量と回転量との夫々は、所定の係数によって徐々に減衰する（図６のＦ３０３～Ｆ３０５）。そして、カメラ動きスケジュールが終了した時点、つまり振動や回転が収まった時点で、仮想カメラオペレータによる操作のみに切り替わる（図６のＦ３０６、Ｐ１０６）。尚、カメラの映像に通常振動量が僅かながら残る定常状態を設けるために、最低限の一定振動量を常に残すようなカメラ動きスケジュールを採用してもよい。

図９（ｂ）は、カメラ動きスケジュールの別の例を示し、仮想視点映像上の視点移動速度（又はズーム移動速度）が時間方向に変化（減少）していく様子を示している。カメラ動きスケジュールの動作は、図９（ａ）と同様である。

図１０は、仮想視点映像から実カメラ映像への切替の際に使用するカメラ動きスケジュールの例を示している。具体的に図１０（ａ）は、仮想視点映像上の振動量（又は回転量）が時間方向に変化（増幅）していく様子を示している。尚、図１０では、ＸＹＺ直交座標のうち１方向のみを簡略して記載している。

カメラ動きスケジュールは、切替指示タイミングＴ２０１における切替指示が入力されるまで（図７のＦ６０１～Ｆ６０２）、毎フレーム周期で、実カメラパラメータを取得することで更新される。このカメラ動きスケジュールの波形形状は、実カメラ映像から仮想視点映像への切替時の形状と逆の形状となる（図９参照）。

その後、切替実行を行う切替実行タイミングＴ２０１で（図７のＦ６０３以降）、カメラ動きスケジュールに従って、仮想視点映像上の振動量及び回転量が、実カメラ２００の振動量及び回転量に徐々に近づくよう再現される。その後、実カメラ２００と略同一の振動量及び回転量になった時点で、実カメラ映像に切り替わる（図７のＦ６０６）。

図１０（ｂ）は、カメラ動きスケジュールの別の例を示し、仮想視点映像上の視点移動速度（又はズーム移動速度）が時間方向に変化（増加）していく様子を示している。カメラ動きスケジュールの動作は、図１０（ａ）と同様である。

＜カメラ動きスケジュールの生成フロー＞
図１１は、本実施形態に係るカメラ動きスケジュールの生成処理の流れを示すフローチャートである。

ステップＳ１１０１にてカメラ動きスケジュール生成部７０１３は、実カメラパラメータ入力部７０１１によって送信された実カメラパラメータを取得する。以降、「ステップＳ～」を「Ｓ～」と略記する。

Ｓ１１０２にてカメラ動きスケジュール生成部７０１３は、仮想カメラの振動量と回転量とのスケジュール情報を生成する。

Ｓ１１０３にてカメラ動きスケジュール生成部７０１３は、仮想カメラの移動速度のスケジュール情報を生成する。

Ｓ１１０４にてカメラ動きスケジュール生成部７０１３は、仮想カメラのズーム移動速度のスケジュール情報を生成する。

尚、Ｓ１１０２～Ｓ１１０４で生成する順序は入れ替わってもよいし、各ステップを並列して実行してもよい。

Ｓ１１０５にてカメラ動きスケジュール生成部７０１３は、Ｓ１１０２～Ｓ１１０４で生成したスケジュール情報を、カメラパス生成部７０１５へ出力する。

Ｓ１１０１～Ｓ１１０５までの処理は、1フレーム周期で行われる。その後、Ｓ１１０６にてＣＰＵ７００１が、終了指示があったと判定しない限り、再度Ｓ１１０１から処理を繰り返す。

＜カメラパスの出力フロー＞
図１２は、本実施形態に係るカメラパス出力処理の流れを示すフローチャートである。

Ｓ１２０１にて、カメラパス生成部７０１５は、操作情報を取得する。Ｓ１２０２にて、カメラパス生成部７０１５は、実カメラパラメータを取得する。Ｓ１２０３にて、カメラパス生成部７０１５は、カメラ動きスケジュール情報を取得する。Ｓ１２０４にて、カメラパス生成部７０１５は、自動操縦用カメラパスを取得する。尚、Ｓ１２０１～Ｓ１２０４の順序は入れ替わってもよいし、Ｓ１２０１～Ｓ１２０４が並列で実行されてもよい。

Ｓ１２０５にて、カメラパス生成部７０１５は、切替装置４００が現在出力している映像が実カメラ映像か判定する。本ステップの判定結果が真の場合、Ｓ１２０６に進む一方、該判定結果が偽の場合（つまり、切替装置４００が現在出力している映像が仮想視点映像の場合）、Ｓ１２１１に進む。

Ｓ１２０６にて、カメラパス生成部７０１５は、実カメラ映像から仮想視点映像への切替が実行されているか判定する（図６のＴ１０２参照）。本ステップの判定結果が真の場合、Ｓ１２０８に進む一方、該判定結果が偽の場合、Ｓ１２０７に進む。

実カメラ映像から仮想視点映像への切替実行前であれば、Ｓ１２０７にて、カメラパス生成部７０１５は、カメラパス１を仮想視点映像生成装置６００へ出力する。

実カメラ映像から仮想視点映像への切替実行済みの場合、Ｓ１２０８にて、カメラパス生成部７０１５は、カメラ動きスケジュールに従ったスケジュール実行がなされている最中か判定する。本ステップの判定結果が真の場合、Ｓ１２０９に進む一方、該判定結果が偽の場合、Ｓ１２１０に進む。

Ｓ１２０９にて、カメラパス生成部７０１５は、カメラパス２を仮想視点映像生成装置６００へ出力する。

Ｓ１２１０にて、カメラパス生成部７０１５は、カメラパス３を仮想視点映像生成装置６００へ出力する。

Ｓ１２１１にて、カメラパス生成部７０１５は、仮想視点映像から実カメラ映像への切替指示が出ているか判定する（図７のＴ２０１参照）。本ステップの判定結果が真の場合、１２１３に進む一方、該判定結果が偽の場合、Ｓ１２１２に進む。

Ｓ１２１２にて、カメラパス生成部７０１５は、カメラパス３を仮想視点映像生成装置６００へ出力する。

切替指示が出ている場合（Ｓ１２１１でＹＥＳ）、Ｓ１２１３にて、カメラパス生成部７０１５は、カメラ動きスケジュールに従ったスケジュール実行がなされている最中か判定する。本ステップの判定結果が真の場合、Ｓ１２１４に進む一方、該判定結果が偽の場合、Ｓ１２１５に進む。

Ｓ１２１４にて、カメラパス生成部７０１５は、カメラパス４を仮想視点映像生成装置６００へ出力する。

Ｓ１２１５にて、カメラパス生成部７０１５は、カメラパス１を仮想視点映像生成装置６００へ出力する。

尚、カメラパス生成部７０１５は、Ｓ１２１６にて特に終了指示がない限り、Ｓ１２０１～Ｓ１２１５の処理を１フレーム周期で行う。

また、Ｓ１２０６にて切替実行と判定した直後の場合、カメラパス生成部７０１５は、Ｓ１２０３での実カメラ映像から仮想視点映像への切替のためのカメラ動きスケジュール情報の取得を停止する。或いは、カメラ動きスケジュール情報を取得するが、カメラ動きスケジュールの更新を行わない。同様に、Ｓ１２１１にて切替指示が出されたと判定した直後の場合、カメラパス生成部７０１５は、Ｓ１２０３での仮想視点映像から実カメラ映像への切替のためのカメラ動きスケジュール情報の取得を停止する。

本実施形態により、実カメラと仮想カメラとの切替後の違和感を軽減することができ、より臨場感の高い映像体験を視聴者に提供することができる。尚、本実施形態では、実カメラ２００及びカメラ群５００について実在するカメラとしたが、カメラをシミュレートした情報処理装置（具体的にはコンピュータ）で置き換えてもよい。

［第２実施形態］
第１実施形態では、実カメラ２００に内蔵されている、或いは実カメラ２００外部に備えてあるジャイロセンサ、加速度センサ等の測定器からの情報を使って実カメラパラメータを生成していた。これに対し本実施形態では、情報処理システムが、実カメラパラメータの一部を推定する手段を実カメラ２００とは別に有する。

＜システム構成＞
図１３は、本実施形態に係る情報処理システムの構成を示すブロック図である。本システムは、時間源１００、実カメラ２００、遅延装置３００、切替装置４００、カメラ群５００、仮想視点映像生成装置６００、仮想カメラ制御装置７００、及び画像解析装置８００を有する。画像解析装置８００以外の構成要素は、第１実施形態と同様であるが、本実施形態の実カメラ２００は、実カメラパラメータを生成するための測定器を有していなくてもよい。

画像解析装置８００には、遅延装置３００によって送信される実カメラ映像が入力される。画像解析装置８００は、入力された実カメラ映像に基づいて、実カメラ２００の動き情報を導出し、該導出した動き情報を仮想カメラ制御装置７００へ出力する。画像解析装置８００は、仮想カメラ制御装置７００と一体化していてもよい。

画像解析装置８００が出力する動き情報とは、第１実施形態に記載した情報の全て又は一部である。画像解析装置８００は、数フレーム分の実カメラ映像を蓄積するバッファを有し、フレーム間の映像差を解析して動き情報を導出し、該導出した動き情報を１フレーム周期で、仮想カメラ制御装置７００へ出力する。フレーム間の映像差とは、例えば、映像内の画素値のフレーム間の移動量や移動方向、或いは、映像内におけるオブジェクトのフレーム間の位置の移動量や移動方向などに基づき導出される。また、移動差を導出する際には、実空間において位置が変化しない、フィールドラインや構造物等を特徴点として、映像内における特徴点の移動量や移動方向が導出される。尚、移動差の導出方法は、他の方法が使用されてもよい。

以上、本実施形態により、実カメラ２００が動き情報を出力できない場合であっても、映像解析に基づいて動き情報を取得することにより、第１実施形態と同様の効果を得ることができる。

［第３実施形態］
第１実施形態では、実カメラ２００が実カメラパラメータを出力し、該出力された実カメラパラメータが遅延装置３００を介して仮想カメラ制御装置７００に入力されることで、実カメラ映像の動きを仮想視点映像上で再現した。これに対し本実施形態では、実カメラ２００が動き情報以外の情報を出力し、該出力された情報が仮想カメラ制御装置７００に入力される。動き情報以外の情報として、例えば、実カメラ２００のレンズ歪値と、実カメラ２００のフォーカス状態を示す情報との少なくとも１つ以上が含まれる。

レンズ歪値は、レンズの種別と焦点距離とによって一意に決まる。そのため、本実施形態に係る実カメラ２００が出力する実カメラパラメータには、ズーム値と共にレンズ歪情報が内包される。仮想カメラ制御装置７００は、仮想視点映像生成装置６００に仮想カメラパスを出力する際、そのレンズ歪情報も合わせて出力する。そして、仮想視点映像生成装置６００は、そのレンズ歪情報が示すレンズ歪具合を仮想視点映像上で再現する。

フォーカス状態とは、例えば実カメラ映像上のフォーカス度合いを表す情報である。具体的には、フォーカス度合いの値を、予め所定の段階に分けるように設定しておき、実カメラパラメータには、その設定値が内包される。例えば、フォーカスがボケた状態を０、フォーカスがあった状態を１０とし、その間の整数値１～９でフォーカス状態を段階的に表す。仮想カメラ制御装置７００は、仮想視点映像生成装置６００にカメラパスを出力する際、そのフォーカス状態の情報も合わせて出力する。仮想視点映像生成装置６００は、そのフォーカス状態の情報に基づき仮想視点映像にブラー等の画像処理を施すことで、実カメラ映像と同様のボケ具合を再現させる。

尚、レンズ歪値に関しては、仮想カメラ制御装置７００がレンズ焦点距離毎の歪値が保持されるテーブルを予め有しておき、当該テーブルを用いて、実カメラパラメータ内の焦点距離情報が示す焦点距離に対応付けされた歪値を求めてもよい。

本実施形態により、仮想視点映像において、実カメラと同様のレンズ歪具合、ボケ具合等を再現させることができる。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、前述の実施形態の内容を適宜組み合わせて用いてもよい。

７００：仮想カメラ制御装置
７０１１：実カメラパラメータ入力部
７０１５：カメラパス生成部

Claims (19)

1. 撮像装置の位置及び姿勢を表す情報を含む撮像情報と、前記撮像装置の特定の動きを表す動き情報とを取得する取得手段と、
   前記撮像装置により取得される撮像映像と、複数の画像に基づいて生成される仮想視点映像とを切り替える場合、前記取得手段により取得された撮像情報と動き情報とに基づいて、前記仮想視点映像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を生成する視点情報生成手段と、
   を有する、
   ことを特徴とする情報処理装置。
2. 前記撮像情報は、更に、ズーム値を表す情報を含む、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記動き情報は、前記撮像装置の振動及び回転に関わる情報、前記撮像装置の移動に関わる情報、並びに前記撮像装置のズーム移動に関わる情報のうち少なくともいずれかを含む、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記撮像装置の振動及び回転に関わる情報は、前記撮像装置の振動量と、前記撮像装置の回転量とのうち少なくともいずれかを含む、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記撮像装置の移動に関わる情報は、前記撮像装置の３次元直交座標の各方向における移動量を含む、
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記撮像装置のズーム移動に関わる情報は、前記撮像装置におけるズームの値と、移動方向と、移動速度とのうち少なくともいずれかを含む、
   ことを特徴とする請求項３乃至５の何れか１項に記載の情報処理装置。
7. 前記撮像装置は、前記動き情報を取得するためのセンサを有する、
   ことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記撮像情報は更に、前記撮像装置のレンズ歪値と、該撮像装置のフォーカス度合いの値とを含む、
   ことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記特定の動きは、前記撮像装置の位置及び姿勢が変更されるように制御されない状態において観測される動きを含む
   ことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記特定の動きは、前記撮像装置の位置及び姿勢の変化量が閾値よりも小さい動きを含む
    ことを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 請求項１乃至８の何れか１項に記載の情報処理装置と、
    前記撮像装置と、
    前記仮想視点映像の生成に使用される複数の画像を取得するための撮像装置群と、
    前記複数の撮像映像と、前記視点情報とに基づいて、前記仮想視点映像を生成する生成装置と、
    前記撮像映像と、前記仮想視点映像との何れかを出力する出力装置と、
    を有する、
    ことを特徴とするシステム。
12. 前記情報処理装置は、前記視点情報生成手段によって生成された視点情報を、前記生成装置に対してフレーム毎に送信する、
    ことを特徴とする請求項１１に記載のシステム。
13. 前記フレーム毎に送信される視点情報は、前記撮像装置を操作する第１オペレータによる操作を表す第１の視点情報と、前記仮想視点を操作する第２オペレータによる操作に、前記動き情報に従う操作を加えたものを表す第２の視点情報と、前記第２オペレータによる操作を表す第３の視点情報と、前記仮想視点映像の構図と前記撮像映像の構図との差が小さくなるように制御する自動操縦モードによる操作に、前記動き情報に従う操作を加えたものを表す第４の視点情報との何れかである、
    ことを特徴とする請求項１２に記載のシステム。
14. 前記動き情報は、前記撮像映像を解析することにより取得される、
    ことを特徴とする請求項１１乃至１３の何れか１項に記載のシステム。
15. 前記撮像映像から前記仮想視点映像への切替が実行された場合に、前記出力装置は、前記仮想視点映像を出力し、
    前記出力される仮想視点映像において、前記切替を実行する前の前記撮像装置の動きが再現される、
    ことを特徴とする請求項１１乃至１４の何れか１項に記載のシステム。
16. 前記仮想視点映像から前記撮像映像への切替の指示があった場合、前記出力装置は先ず、該仮想視点映像を出力し、
    前記出力される仮想視点映像において、切替後の前記撮像装置の動きが徐々に再現されていく、
    ことを特徴とする請求項１１乃至１５の何れか１項に記載のシステム。
17. 前記出力される仮想視点映像において前記撮像装置の動きが再現された後、前記切替が実行され、前記出力装置は、前記撮像映像を出力する、
    ことを特徴とする請求項１６に記載のシステム。
18. 撮像装置の位置及び姿勢を表す情報を含む撮像情報と、前記撮像装置の特定の動きを表す動き情報とを取得する取得工程と、
    前記撮像装置により取得される撮像映像と、複数の画像に基づいて生成される仮想視点映像とを切り替える場合、前記取得工程において取得された撮像情報と動き情報とに基づいて、前記仮想視点映像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を生成する視点情報生成工程と、
    を有する、
    ことを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置として機能させるための、プログラム。

Images