JP2020042665A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】実カメラと仮想カメラとの切り替えを効果的に行う。【解決手段】仮想カメラを制御する情報処理装置であって、実カメラの位置及び姿勢に関するパラメータを含む実カメラパラメータを取得する第１取得手段と、前記仮想カメラの位置及び姿勢に関するパラメータを含む仮想カメラパラメータを取得する第２取得手段と、前記実カメラと前記仮想カメラとを切り替えるための切替操作に応じて、前記実カメラパラメータと、前記切替操作を検出したときの前記仮想カメラパラメータとのうち、少なくとも何れか一方に基づいて前記切替操作後の仮想カメラの位置及び姿勢に関する仮想カメラパラメータを決定し、当該決定された仮想カメラパラメータに基づいて前記仮想カメラを制御する制御手段とを備える。【選択図】 図１

Description

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。

複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた多視点映像を用いて仮想視点映像を生成する技術が注目されている。このような多視点映像から仮想視点映像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の映像と比較して視聴者に高臨場感を与えることができる。

特許文献１には、被写体を取り囲むように複数のカメラを配置し、複数のカメラで撮影した被写体の画像を用いて任意の視点での仮想カメラ映像を生成する技術が開示されている。

多視点による同期撮影が行われたサッカー等のイベントが、放送用カメラ等の実カメラでも撮影されていた場合、仮想カメラ映像及び実カメラ映像を組み合わせてテレビ中継やインターネット配信することができる。例えば、目の前に飛び込んできたボールが脇を抜けるといったキーパー目線での仮想カメラ映像からキーパーやキッカーの表情をズームアップした実カメラ映像に切り替える、といったゴールシーンを作ることができる。このように、キーパー目線や俯瞰といった実カメラでは撮れない仮想カメラ映像を、従来の実カメラ映像に加えることで、より臨場感の高い映像体験を視聴者に提供できる。

特開２００８−０１５７５６号公報

しかしながら、仮想カメラ映像と実カメラ映像との切り替え方や仮想カメラの動かし方によっては、どの場所からどの方向に向かって撮影した映像か分からなくなり、視聴者が戸惑う恐れがある。

本発明は、上記の課題に鑑みてなされたものであり、実カメラと仮想カメラとの切り替えを効果的に行うための技術を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
仮想カメラを制御する情報処理装置であって、
実カメラの位置及び姿勢に関するパラメータを含む実カメラパラメータを取得する第１取得手段と、
前記仮想カメラの位置及び姿勢に関するパラメータを含む仮想カメラパラメータを取得する第２取得手段と、
前記実カメラと前記仮想カメラとを切り替えるための切替操作に応じて、前記実カメラパラメータと、前記切替操作を検出したときの前記仮想カメラパラメータとのうち、少なくとも何れか一方に基づいて前記切替操作後の仮想カメラの位置及び姿勢に関する仮想カメラパラメータを決定し、当該決定された仮想カメラパラメータに基づいて前記仮想カメラを制御する制御手段と、
を備えることを特徴とする。

本発明によれば、実カメラと仮想カメラとの切り替えを効果的に行うことができる。

（ａ）第１の実施形態に係る映像処理システムの全体構成図、（ｂ）情報処理装置のハードウェア構成の一例を示す図。 第１の実施形態に係る切替区間制御の処理手順を示すフローチャート。 第１の実施形態に係る切替区間制御の処理概要の説明図。 第１の実施形態に係る目標画質決定の説明図。 第２の実施形態に係る映像処理システムの全体構成図。 第２の実施形態に係る切替区間制御の処理概要の説明図。 第２の実施形態に係る実カメラ遠隔制御の処理手順を示すフローチャート。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
＜映像処理システム及び情報処理装置の構成＞
図１（ａ）は、第１の実施形態に係る映像処理システムの全体構成図である。映像処理システムは、情報処理装置１０、実カメラ２０、映像切替装置３０、及びカメラ群４０を含んで構成されている。

情報処理装置１０は、多視点映像取得部１０１、仮想カメラ操縦部１０２、仮想カメラパス生成部１０３、仮想視点映像生成部１０４、実カメラ情報取得部１０５および仮想カメラ制御部１０６を有している。各処理部の機能は、図１（ｂ）を参照して後述するＣＰＵ等の制御部がコンピュータプログラムを読み出して実行することにより実現される。

多視点映像取得部１０１は、競技フィールド等を取り囲むように設置された複数台のカメラから構成されるカメラ群４０により同期撮影された多視点映像（マルチ視点映像）を取得する。また、取得した多視点映像を仮想視点映像生成部１０４へ出力する。

仮想カメラ操縦部１０２は、仮想カメラオペレータによる操縦に基づいて仮想カメラを制御し、制御結果を仮想カメラパラメータとして、仮想カメラパス生成部１０３及び仮想カメラ制御部１０６へ出力する。ここで、仮想カメラパラメータとは、少なくとも仮想カメラの位置及び姿勢に関するパラメータを含む情報である。仮想カメラパラメータは、画角に関するパラメータをさらに含んでもよい。仮想カメラオペレータは、ジョイスティック等の入力装置を用いて仮想カメラの位置や姿勢を制御したり、スライダ等の入力装置を用いて仮想カメラの画角を制御したりする。或いは、タッチパネルやキーボード等の入力装置を用いて仮想カメラパラメータを直接指定して仮想カメラを制御してもよい。

また、仮想カメラ操縦部１０２は、実カメラと仮想カメラとの切替要求通知や切替実施通知を仮想カメラ制御部１０６へ出力する。ここで、切替要求通知とは、実カメラ映像から仮想カメラ映像への切り替え、または、仮想カメラ映像から実カメラ映像への切り替えを行うための切替操作の要求がなされたことを示す通知である。切替要求通知は、ディレクタ等からなされた切替の指示をインカム等を介して受けた仮想カメラオペレータが、タッチパネル画面上に表示されたボタンを押下する等により行われる。また、切替実施通知とは、切替操作が完了したことを示す通知であり、映像切替装置３０において切替要求に従った切り替えが行われたことを確認した仮想カメラオペレータが、タッチパネル上に表示されたボタンを押下する等により行われる。

仮想カメラパス生成部１０３は、仮想カメラ操縦部１０２及び仮想カメラ制御部１０６から仮想カメラパラメータを取得し、仮想カメラパスを生成して仮想視点映像生成部１０４へ出力する。ここで、仮想カメラパスとは、時間的に連続する複数の仮想カメラパラメータの集合である。仮想カメラパス生成部１０３は、仮想カメラパスを生成する際に、どのフレームがどの仮想カメラパラメータに対応するのかを特定できるように、仮想カメラパラメータと、フレーム番号及び／又はタイムコードとの関連付けを行う。また、仮想カメラパス生成部１０３は、仮想カメラ制御部１０６から自動操縦モードのオン／オフ情報を取得する。そして、自動操縦モードがオンであれば仮想カメラ制御部１０６から取得した仮想カメラパラメータを用いて仮想カメラパスを生成する。一方、自動操縦モードがオフであれば仮想カメラ操縦部１０２から取得した仮想カメラパラメータを用いて仮想カメラパスを生成する。オペレータによる切替操作に応じて自動操縦モードに移行するまでは、オペレータによる仮想カメラの操縦に従って決定される仮想カメラパラメータに従って仮想カメラが制御される。また、オペレータによる切替操作に応じて自動操縦モードがオフに移行するまでは、自動操縦モードの下で決定された仮想カメラパラメータに従って仮想カメラが制御される。

仮想視点映像生成部１０４は、多視点映像取得部１０１が取得した多視点映像から３次元モデルを生成し、仮想カメラパス生成部１０３が生成した仮想カメラパスの仮想視点でテクスチャをマッピングすることで、仮想視点映像を生成する。仮想視点映像生成部１０４は、仮想カメラ制御部１０６から切替時の目標画質の情報を受信し、生成する仮想視点映像の画質を目標画質に応じて変化させる。ここで、目標画質とは、例えば、仮想カメラから基準距離だけ離れた位置にある基準被写体を撮影した際の最小表示サイズｘ_vminに係数を掛けたものである。仮想視点映像生成部１０４は、目標画質に応じて３次元モデルのボクセルサイズを変えたり、テクスチャとして使用する多視点映像の量を変えたりして、仮想視点映像の画質を制御する。仮想視点映像生成部１０４は、生成した仮想視点映像を映像切替装置３０へ出力する。

実カメラ情報取得部１０５は、実カメラ２０から実カメラに関する情報を取得し、仮想カメラ制御部１０６へ出力する。ここで、実カメラパラメータとは、少なくとも実カメラの位置及び姿勢に関するパラメータを含む情報である。実カメラパラメータは、画角に関するパラメータを更に含んでもよい。

仮想カメラ制御部１０６は、実カメラ情報取得部１０５から取得した実カメラパラメータ、仮想カメラ操縦部１０２から取得した仮想カメラパラメータ、切替要求通知および切替実施通知に基づいて、切替区間における仮想カメラの挙動を制御する。ここで切替区間とは、切替要求通知を受信してから、自動操縦モードをオフにするまでの区間である。

仮想カメラ制御部１０６は、制御結果を仮想カメラパラメータとして仮想カメラパス生成部１０３へ出力する。カメラ切替区間制御部１０６は、自動操縦モードのオン／オフ情報を仮想カメラパス生成部１０３へ出力する。カメラ切替区間制御部１０６は、実カメラパラメータと仮想カメラパラメータとから、切替時の仮想視点映像の目標画質を決定し、目標画質の情報を仮想視点映像生成部１０４へ出力する。仮想カメラ制御部１０６の制御内容の詳細については後述する。

実カメラ２０は、競技フィールド脇等に配置された放送局カメラ等であり、実カメラオペレータにより実カメラの位置、姿勢及び／又は画角が制御される。実カメラ２０により撮影された映像は映像切替装置３０へ出力される。実カメラ２０は、ＧＰＳ受信機やジャイロセンサといった測定器を備えており、実カメラの位置や姿勢の特定を行う。また、実カメラ２０は、ズーム状態から実カメラの画角の特定を行う。実カメラ２０は、実カメラの位置、姿勢及び／又は画角を実カメラパラメータとして実カメラ情報取得部１０５へ出力する。実カメラ２０は、他の実カメラ２０と区別できれば、複数台存在してもよい。

映像切替装置３０は、少なくとも仮想視点映像生成部１０４から取得した仮想視点映像と実カメラ２０から取得した実カメラ映像とを含む複数の映像の中から１つの映像を選択する。そして、選択した映像を不図示の放送設備や配信サーバ等へ出力する。ここで、映像の選択は、ディレクタ等の指示をインカム等から受けたスイッチャにより行われる。

カメラ群４０は、競技フィールド等を取り囲むように設置された複数台のカメラから構成されるカメラ群である。カメラ群４０は、実カメラ映像撮影部２０とは異なるカメラ群であり、仮想視点映像を生成するための多視点映像を撮影する。カメラ群４０を構成する各カメラにより撮影された各映像が多視点映像取得部１０１へ入力される。

＜情報処理装置のハードウェア構成＞
続いて、図１（ｂ）を参照して、本実施形態に係る情報処理装置１０のハードウェア構成の一例を説明する。情報処理装置１０は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５、及び入力装置１００６を備えている。

ＣＰＵ１００１は、本実施形態に係る情報処理装置１０の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問われない。

記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。

バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。

＜処理＞
続いて、図２（ａ）のフローチャートを参照して、本実施形態に係る情報処理装置１０の仮想カメラ制御部１０６が実施する切替区間制御の処理手順を説明する。仮想カメラ制御部１０６は、仮想カメラ操縦部１０２から切替要求通知を受信すると、切替区間制御処理を開始する。

Ｓ１０６１において、仮想カメラ制御部１０６は、実カメラ情報取得部１０５により実カメラ２０から取得された、実カメラの位置、姿勢及び画角に関するパラメータを含む実カメラパラメータの取得を開始する。実カメラパラメータは、実カメラ情報取得部１０５から定期的に取得し続けるようにしても良いし、実カメラ情報取得部１０５が実カメラパラメータの更新を仮想カメラ制御部１０６へ通知するようにして更新時のみ取得するようにしても良い。また、仮想カメラから実カメラへの切り替えにおいて、実カメラ２０が複数台存在する場合は、切替要求通知に実カメラＩＤを含めるようにして特定の実カメラを選択できるようにしても良い。或いは、仮想カメラの最も近くに存在する実カメラを特定するようにしても良い。

Ｓ１０６２において、仮想カメラ制御部１０６は、切替操作が検出されたときの仮想カメラの位置、姿勢及び画角に関するパラメータを含む仮想カメラパラメータを取得する。仮想カメラ制御部１０６は、仮想カメラ操縦部１０２による操縦により決定される現在の仮想カメラパラメータを、仮想カメラ操縦部１０２から取得する。

Ｓ１０６３において、仮想カメラ制御部１０６は、実カメラパラメータおよび仮想カメラパラメータとから、切り替え時の仮想カメラの目標画質を決定する。仮想カメラ制御部１０６による目標画質決定処理の詳細については図４を参照して後述する。尚、Ｓ１０６１およびＳ１０６２の処理順序は、Ｓ１０６３の処理より前であればどちらが先であっても良い。また、実カメラ映像と仮想カメラ映像との画質差が所定値よりも小さい場合は、Ｓ１０６３の処理を省略しても良い。実カメラ映像と仮想カメラ映像との画質差が所定値以上である場合は、その旨を仮想カメラオペレータからディレクタや実カメラオペレータに伝達できるように切替不可メッセージをタッチパネル等に表示しても良い。

Ｓ１０６４において、仮想カメラ制御部１０６は、自動操縦モードをオンにして、自動操縦モードがオンであることを示す情報を仮想カメラパス生成部１０３へ出力する。仮想カメラ制御部１０６は、自動操縦モードがオンであることを示す情報を仮想カメラ操縦部１０２へも出力する。仮想カメラ操縦部１０２は、タッチパネル画面上にアイコン表示する等して、仮想カメラオペレータが自動操縦モードになったことが分かるようにしても良い。

Ｓ１０６５において、仮想カメラ制御部１０６は、仮想カメラ操縦部１０２から受信した切替要求通知に基づいて、映像切替が、実カメラ映像から仮想カメラ映像への切り替えであるか否かを判定する。実カメラ映像から仮想カメラ映像への切り替えである場合、Ｓ１０６６へ進む。一方、仮想カメラ映像から実カメラ映像への切り替えである場合、Ｓ１０６７へ進む。

Ｓ１０６６において、仮想カメラ制御部１０６は、仮想カメラの構図が実カメラ構図と揃うように、切替操作後の仮想カメラパラメータを設定する。Ｓ１０６６の処理の詳細については図２（ｂ）を参照して後述する。Ｓ１０６７において、仮想カメラ制御部１０６は、仮想カメラの構図が実カメラ構図に近づくように、切替操作後の仮想カメラパラメータを設定する。Ｓ１０６７の処理の詳細については図２（ｃ）を参照して後述する。Ｓ１０６８において、仮想カメラ制御部１０６は、実カメラパラメータの取得を終了する。

Ｓ１０６９において、仮想カメラ制御部１０６は、自動操縦モードをオフにし、自動操縦モードがオフであることを示す情報を仮想カメラパス生成部１０３へ出力する。仮想カメラ制御部１０６は、自動操縦モードがオフであることを示す情報を仮想カメラ操縦部１０２へも出力する。仮想カメラ操縦部１０２は、タッチパネル画面上にアイコン表示する等して、仮想カメラオペレータが、自動操縦モードが解除されたことが分かるようにしても良い。以上で切替区間制御処理が終了する。

＜切替区間制御処理の概要＞
ここで、図３は、仮想カメラ制御部１０６による切替区間制御処理の概要を説明する図である。映像切替装置３０が実カメラ映像を選択している際に、仮想カメラ操縦部１０２から仮想カメラ制御部１０６へ切替要求が通知された場合は、実カメラ映像から仮想カメラ映像への切り替えとなる。実カメラ映像から仮想カメラ映像への切替処理の概要は図３（ａ）に示す通りである。

図３（ａ）に示すように、仮想カメラ制御部１０６は、実カメラ映像から仮想カメラ映像への切替要求を受信すると、自動操縦モードをオンにして仮想カメラの構図および画質を実カメラと同じにした状態で、切替実施通知を待つ。これにより、実カメラ映像から仮想カメラ映像への切り替え時に構図や画質がぶれることを回避することができる。仮想カメラ制御部１０６は、実カメラ映像から仮想カメラ映像への切替実施通知を受信すると、仮想カメラの画質を、仮想カメラワークに適した所定の画質である標準画質へ段階的に変更していき、標準画質となった段階で自動操縦モードをオフにする。これにより、実カメラ映像から仮想カメラ映像への切り替え後の仮想カメラ映像を、仮想カメラワークに適した画質にすることができる。

一方、映像切替装置３０が仮想カメラ映像を選択している際に、仮想カメラ操縦部１０２から仮想カメラ制御部１０６へ切替要求が通知された場合は、仮想カメラ映像から実カメラ映像への切り替えとなる。仮想カメラ映像から実カメラ映像への切替処理の概要は図３（ｂ）に示す通りである。

図３（ｂ）に示すように、仮想カメラ制御部１０６は、仮想カメラ映像から実カメラ映像への切替要求を受信すると、自動操縦モードをオンにして仮想カメラの構図を実カメラの構図に段階的に近づける。そして構図を近づけた後に、仮想カメラの画質を実カメラの画質に段階的に近づけ、切替実施通知を待つ。これにより、仮想カメラ映像から実カメラ映像への切り替え時に構図や画質がぶれることを回避することができる。仮想カメラ制御部１０６は、仮想カメラ映像から実カメラ映像への切替実施通知を受信すると、自動操縦モードをオフにする。

＜目標画質決定処理の概要＞
続いて、図４は、仮想カメラ制御部１０６による目標画質決定処理を説明する図である。図４（ａ）は、実カメラの現在の画質に関する実カメラパラメータである。図４（ｂ）は、自動操縦モードフ時の仮想カメラの標準画質に関するカメラパラメータである。図４（ｃ）は、切り替え時の仮想カメラの目標画質に関するカメラパラメータである。

図４（ａ）において、θ_rcは実カメラ画角であり、ｄ_rcは実カメラのイメージセンササイズを表す。ｆ_rcは実カメラの焦点距離であり、ｘ_rcは、実カメラから基準距離Ｚだけ離れた位置にあるサイズＸの基準被写体４００を画角θ_rcで撮影した際の表示サイズである。

同様に、図４（ｂ）において、θ_vcsは仮想カメラ画角であり、ｄ_vcは仮想カメラのイメージセンササイズを表す。ｆ_vcsは仮想カメラの焦点距離であり、ｘ_vcsは、仮想カメラから基準距離Ｚだけ離れた位置にあるサイズＸの基準被写体４００を画角θ_vcsで撮影した際の表示サイズである。

同様に、図４（ｃ）において、θ_vctは仮想カメラ画角であり、ｄ_vcは仮想カメラのイメージセンササイズを表す。ｆ_vctは仮想カメラの焦点距離であり、ｘ_vctは、仮想カメラから基準距離Ｚだけ離れた位置にあるサイズＸの基準被写体４００を画角θ_vctで撮影した際の表示サイズである。

仮想カメラ制御部１０６は、図４（ａ）に示した実カメラパラメータおよび図４（ｂ）に示した仮想カメラの仮想カメラパラメータとから、図４（ｃ）に示した切り替え時の仮想カメラの目標画質を決定する。図４（ｃ）に示したように、θ_vct = θ_rcとすることで、実カメラと仮想カメラの構図が揃うことになる。仮想カメラ画角の設定は、画角θ_vctを直接指定しても良いし、画角θ_vctとなるような焦点距離ｆ_vctを式（１）から求めることで間接的に指定しても良い。

ｆ_vct = ｄ_vc / 2tan(θ_vct/2 )...（１）
図４（ａ）の１０６ａで示したように、実カメラから基準距離Ｚだけ離れた位置にあるサイズＸの基準被写体４００を画角θ_rcで撮影した際の表示サイズｘ_rcと実カメラにおける最小表示サイズｘ_rminとから、実カメラの画質をｘ_rc / ｘ_rminとする。また、図４（ｃ）の１０６ｃ１及び１０６ｃ２に示したように、仮想カメラから基準距離Ｚだけ離れた位置にあるサイズＸの基準被写体４００を画角θ_vctで撮影した際の表示サイズｘ_vctと仮想カメラにおける最小表示サイズｘ_vminとから、仮想カメラの画質をｘ_vct / ｘ_vminとする。その結果、仮想カメラの画質が図４（ｃ）の１０６ｃ１に示したように実カメラ画質と同等であった場合は、目標画質の決定を省略しても良い。一方、仮想カメラの画質が図４（ｃ）の１０６ｃ２に示したように実カメラ画質より低い場合は、決定した目標画質の情報を仮想視点映像生成部１０４へ出力することにより、実カメラ画質と同等な仮想カメラ画質とすることができる。切り替え時の仮想カメラの目標画質は、実カメラの画質と同等であれば良いので、ｘ_rc / ｘ_rmin ≧ ｃ(ｘ_vct / ｘ_vmin)となる最小のｃを求めることで、切り替え時の仮想カメラの目標画質を決定する。尚、ｘ_rc / ｘ_rmin ＜ｘ_vct / ｘ_vminとなる場合は、目標画質をｘ_vct / ｘ_vminとして決定しても良いし、目標画質を設定せずに切替不可としても良い。

＜Ｓ１０６６の処理詳細＞
図２（ｂ）のフローチャートを参照して、仮想カメラ制御部１０６による実カメラ映像から仮想カメラ映像への切り替え時の仮想カメラパラメータ設定処理（図２（ａ）のＳ１０６６）の詳細手順を説明する。

Ｓ１０６６１において、仮想カメラ制御部１０６は、目標画質を設定するために、切り替え時の仮想カメラの目標画質の情報を仮想視点映像生成部１０４へ出力する。なお、Ｓ１０６３の処理を省略した場合は、Ｓ１０６６１の処理も省略する。

Ｓ１０６６２において、仮想カメラ制御部１０６は、構図が同じになる仮想カメラパラメータを設定するために、実カメラの位置、姿勢及び画角に関するパラメータを含む実カメラパラメータを、仮想カメラパラメータとして仮想カメラパス生成部１０３へ出力する。Ｓ１０６６２の処理により、仮想カメラパス生成部１０３が生成する仮想カメラパラメータは、実カメラと同じ位置、姿勢および画角となるため、切り替え前の実カメラの構図と切り替え後の仮想カメラの構図とが揃うことになる。なお、当初から画角が一致している場合、少なくとも位置及び姿勢に関するパラメータを一致させるように制御すればよい。

Ｓ１０６６３において、仮想カメラ制御部１０６は、仮想カメラ操縦部１０２から切替実施通知を受信したか否かを判定する。切替実施通知を受信した場合、Ｓ１０６６４へ進む。一方、切替実施通知を受信していない場合、受信するまで待機する。

Ｓ１０６６４において、仮想カメラ制御部１０６は、切り替え後の仮想カメラの目標画質である標準画質の情報を仮想視点映像生成部１０４へ出力する。切り替え時と切り替え後との仮想カメラ画質の差が所定値以上である場合は、切り替え時の目標画質から切り替え後の標準画質へ段階的に画質が変化するよう目標画質を複数回に分けて細分化する。そして、仮想視点映像生成部１０４へ複数回に分けて目標画質の情報を出力するように構成する。これにより、急激な画質の変化を抑制し、違和感の少ない切り替えを実現することができる。なお、Ｓ１０６３の処理を省略した場合は、Ｓ１０６６４の処理も省略する。以上で、実カメラ映像から仮想カメラ映像への切り替え時の仮想カメラパラメータ設定処理が終了する。

＜Ｓ１０６７の処理詳細＞
図２（ｃ）のフローチャートを参照して、仮想カメラ制御部１０６による仮想カメラ映像から実カメラ映像への切り替え時の仮想カメラパラメータ設定処理（図２（ａ）のＳ１０６７）の詳細手順を説明する。

Ｓ１０６７１において、仮想カメラ制御部１０６は、実カメラパラメータに基づいて、仮想カメラの位置が実カメラの位置と揃うように仮想カメラパラメータを設定する。仮想カメラの位置と実カメラの位置とのずれが所定値以上である場合は、仮想カメラ位置から実カメラ位置へ段階的に変化するような複数個の仮想カメラパラメータを求め、仮想カメラパス生成部１０３へ出力するように構成する。

Ｓ１０６７２において、仮想カメラ制御部１０６は、実カメラパラメータに基づいて、仮想カメラの姿勢が実カメラの姿勢と揃うよう仮想カメラパラメータを設定する。仮想カメラの姿勢と実カメラの姿勢とのずれが所定値以上である場合は、仮想カメラ姿勢から実カメラ姿勢へ段階的に変化するような複数個の仮想カメラパラメータを求め、仮想カメラパス生成部１０３へ出力するように構成する。

Ｓ１０６７３において、仮想カメラ制御部１０６は、実カメラパラメータに基づいて、仮想カメラの画角が実カメラの画角と揃うよう仮想カメラパラメータを設定する。仮想カメラの画角と実カメラの画角との差が所定値以上である場合は、仮想カメラ画角から実カメラ画角へ段階的に変化するような複数個の仮想カメラパラメータを求め、仮想カメラパス生成部１０３へ出力するように構成する。

なお、位置調整、姿勢調整および画角調整は、本実施形態とは異なる順序でそれぞれ行っても良いし、位置調整と画角調整とを同時に行うといったように２つの調整をまとめて行っても良いし、３つの調整をまとめて行っても良い。また、当初から画角が一致していれば画角に関するパラメータは調整しなくてもよく、その場合、構図を揃えるために、少なくとも位置及び姿勢に関するパラメータを調整すればよい。

Ｓ１０６７４において、仮想カメラ制御部１０６は、切り替え時の仮想カメラの目標画質を仮想視点映像生成部１０４へ出力する。切り替え前と切り替え時との仮想カメラ画質の差が所定値以上である場合は、切り替え前の標準画質から切り替え時の目標画質へ段階的に画質が変化するよう目標画質を細分化する。そして、仮想視点映像生成部１０４へ複数回に分けて目標画質の情報を出力するように構成する。これにより、急激な画質の変化を抑制し、違和感の少ない切り替えを実現することができる。なお、Ｓ１０６３の処理を省略した場合は、Ｓ１０６７４の処理も省略する。

Ｓ１０６７５において、仮想カメラ制御部１０６は、仮想カメラ操縦部１０２から切替実施通知を受信したか否かを判定する。切替実施通知を受信した場合、処理を終了する。一方、切替実施通知を受信していない場合、受信するまで待機する。以上で、仮想カメラ映像から実カメラ映像への切り替え時の仮想カメラパラメータ設定処理が終了する
以上説明したように、本実施形態では、実カメラと仮想カメラとの構図および画質が揃うよう仮想カメラを自動制御する。これにより、切り替え前後の構図が不連続となることなく実カメラと仮想カメラを切り替えられるようになる。従って、仮想カメラのオペレータのスキルに依存せずに、違和感の少ない実カメラと仮想カメラとの切り替えが可能となる。

なお、本実施形態では、仮想カメラの構図及び画質の両方を制御する例を説明したが、仮想カメラの画質については必ずしも自動制御する必要はない。構図が略一致していれば、切り替え前後の構図が不連続となることなく実カメラと仮想カメラを切り替えられるようになるので、少なくとも構図が一致するように仮想カメラを制御すればよい。仮想カメラの構図に加えて、仮想カメラの画質についても制御することで、より違和感の少ない実カメラと仮想カメラとの切り替えが可能となる。

（第２の実施形態）
＜映像処理システム及び情報処理装置の構成＞
図５は、第２の実施形態に係る映像処理システムの全体構成図である。映像処理システムは、情報処理装置１１、実カメラ２１、映像切替装置３０、及びカメラ群４０を含んで構成されている。

情報処理装置１１は、多視点映像取得部１０１、仮想カメラ操縦部１０２、仮想カメラパス生成部１０３、仮想視点映像生成部１０４、実カメラ情報取得部１０５、仮想カメラ制御部１１６、撮影条件保持部１１７および実カメラ遠隔制御部１１８を有している。

多視点映像取得部１０１、仮想カメラ操縦部１０２、仮想カメラパス生成部１０３、仮想視点映像生成部１０４および実カメラ情報取得部１０５は、図１（ａ）と同様であるため説明を省略する。

仮想カメラ制御部１１６は、実カメラ情報取得部１０５から取得した実カメラパラメータ、仮想カメラ操縦部１０２から取得した仮想カメラパラメータ、切替要求通知および切替実施通知、仮想カメラ遠隔制御部１１８から出力された遠隔制御完了通知に基づいて、仮想カメラの挙動を制御する。仮想カメラ制御部１１６は、制御結果である仮想カメラパラメータおよび自動操縦モードのオン／オフ情報を仮想カメラパス生成部１０３へ出力する。

また、仮想カメラ制御部１１６は、切り替え時の仮想視点映像の目標画質を決定して仮想視点映像生成部１０４へ出力する。仮想カメラ制御部１１６は、実カメラ遠隔制御部１１８へ、実カメラ映像撮影部２１の遠隔制御指示を出す。また、仮想カメラ制御部１１６は、実カメラ遠隔制御部１１８へ、実カメラパラメータおよび、切替方向が実カメラから仮想カメラなのか、或いは、仮想カメラから実カメラなのかを特定するための情報を出力する。また、仮想カメラ制御部１１６は、切替区間制御完了通知を、実カメラ遠隔制御部１１８へ出力する。

撮影条件保持部１１７は、仮想カメラによる撮影条件を保持している。ここで、撮影条件とは、少なくとも仮想カメラの撮影範囲を含む。撮影範囲は、画質Ａの撮影範囲Ａ、画質Ｂの撮影範囲Ｂといったように、異なる画質の複数の撮影範囲に分かれていても良い。撮影条件保持部１１７は、仮想カメラによる撮影条件を実カメラ遠隔制御部１１８へ出力する。

実カメラ遠隔制御部１１８は、仮想カメラ制御部１１６から出力された遠隔制御指示および実カメラパラメータと、撮影条件保持部１１７から出力された仮想カメラ撮影条件とに基づいて、実カメラの遠隔制御を行う。ここで、遠隔制御とは、実カメラの姿勢及び画角の少なくとも１つを制御することであり、実カメラ２１に搭載された雲台等を介して直接制御しても良いし、ディレクタ等から実カメラオペレータへの指示を介して間接的に制御しても良い。実カメラ遠隔制御部１１８は、遠隔制御モードのオン／オフ情報および実カメラの制御情報を実カメラ２１へ出力する。実カメラ遠隔制御部１１８の詳細については後述する。

実カメラ２１は、実カメラの位置、姿勢および画角に関する実カメラパラメータを特定して実カメラ情報取得部１０５へ出力する。実カメラ２１は、実カメラ遠隔制御部１１８から遠隔制御モードのオン／オフ情報および制御情報を受信し、遠隔制御モードがオンであれば制御情報に従って動作する。実カメラ２１は、実カメラ遠隔制御部１１８が直接遠隔制御できるように実カメラの姿勢や画角を外部から制御するための雲台を搭載していても良い。

映像切替装置３０及びカメラ群４０は、図１と同様であるため説明を省略する。また、情報処理装置１１のハードウェア構成についても図１（ｂ）と同様であるため、説明を省略する。

＜切替区間制御処理の概要＞
ここで、図６は、仮想カメラ制御部１１６による切替区間制御処理の概要を説明する図である。映像切替装置３０が実カメラ映像を選択している際に、仮想カメラ操縦部１０２から仮想カメラ制御部１１６へ切替要求が通知された場合は、実カメラ映像から仮想カメラ映像への切り替えとなる。実カメラ映像から仮想カメラ映像への切替処理の概要は図６（ａ）に示す通りである。

図６（ａ）に示すように、仮想カメラ制御部１１６は、実カメラ映像から仮想カメラ映像への切替要求通知を受信すると、実カメラ遠隔制御部１１８へ遠隔制御指示を出し、実カメラ遠隔制御部１１８からの遠隔制御完了通知を待つ。これにより、実カメラ映像から仮想カメラ映像への切り替え時に実カメラと仮想カメラの撮影条件とが合わせられずに切替できない事態を回避することができる。

仮想カメラ制御部１１６は、実カメラ遠隔制御部１１８から遠隔制御完了通知を受信すると、自動操縦モードをオンにして仮想カメラの構図を実カメラと同じにし、切替実施通知を待つ。そして、切替実施通知を受信すると、自動操縦モードをオフにする。

一方、映像切替装置３０が仮想カメラ映像を選択している際に、仮想カメラ操縦部１０２から仮想カメラ制御部１１６へ切替要求が通知された場合は、仮想カメラ映像から実カメラ映像への切り替えとなる。仮想カメラ映像から実カメラ映像への切替処理の概要は図６（ｂ）に示す通りである。

図６（ｂ）に示すように、仮想カメラ制御部１１６は、仮想カメラ映像から実カメラ映像への切替要求通知を受信すると、実カメラ遠隔制御部１１８へ遠隔制御指示を出し、実カメラ遠隔制御部１１８からの遠隔制御完了通知を待つ。これにより、仮想カメラ映像から実カメラ映像への切り替え時に実カメラと仮想カメラの撮影条件とが合わせられずに切替できない事態を回避することができる。仮想カメラ制御部１１６は、実カメラ遠隔制御部１１８から遠隔制御完了通知を受信すると、自動操縦モードをオンにして仮想カメラの構図を実カメラの構図に段階的に近づけてから、仮想カメラの画質を実カメラの画質に段階的に近づけ、切替実施通知を待つ。そして、切替実施通知を受信すると、自動操縦モードをオフにする。

＜処理＞
続いて、図７（ａ）のフローチャートを参照して、本実施形態に係る情報処理装置１０の実カメラ遠隔制御部１１８が実施する実カメラ遠隔制御の処理手順を説明する。実カメラ遠隔制御部１１８は、仮想カメラ制御部１１６から遠隔制御指示を受信すると、遠隔制御処理を開始する。

Ｓ１１８１において、実カメラ遠隔制御部１１８は、撮影条件保持部１１７から仮想カメラの撮影範囲を含む撮影条件を取得する。Ｓ１１８２において、実カメラ遠隔制御部１１８は、仮想カメラ制御部１１６から、実カメラ２１の姿勢及び画角の少なくとも１つを含む実カメラパラメータを取得する。

Ｓ１１８３において、実カメラ遠隔制御部１１８は、実カメラ２１に対する遠隔制御モードをオンに設定する。なお、Ｓ１１８１、Ｓ１１８２およびＳ１１８３の処理順序は、本実施形態の順序に限定されるものではなく、他の順序であってもよいし、いくつかの処理を同時に行ってもよい。

Ｓ１１８４において、実カメラ遠隔制御部１１８は、実カメラパラメータから特定した実カメラ構図が仮想カメラ撮影条件に適合するか否かを判定する。ここで、撮影条件に適合するかどうかは、実カメラ２１の姿勢と、仮想カメラの姿勢とが所定角度以上異なっているかどうか、且つ／又は、実カメラ２１の画角と、仮想カメラの画角とが所定値以上異なっているかどうかに基づいて判定することができる。実カメラ２１の姿勢と、仮想カメラの姿勢とが大きく異なっている場合には、適合しないと判定できる。また、実カメラ２１の画角と、仮想カメラの画角とが大きく異なっている場合にも、適合しないと判定できる。なお、ここでは実カメラ２１は固定の場所に設置されている放送用カメラであり、その位置は固定であるものとして、姿勢、画角について比較を行ったが、位置についても比較してもよい。Ｓ１１８４の判定処理の結果、適合する場合、Ｓ１１８６へ進む。一方、適合しない場合、Ｓ１１８５へ進む。

Ｓ１１８５において、実カメラ遠隔制御部１１８は、実カメラ構図を補正する処理を行う。なお、Ｓ１１８５の処理の詳細は図７（ｂ）を参照して後述する。Ｓ１１８６において、実カメラ遠隔制御部１１８は、実カメラを固定する。具体的には、実カメラ遠隔制御部１１８は、実カメラ構図が仮想カメラ撮影条件に適合していれば（Ｓ１１８４でｙｅｓ）、実カメラ構図を維持するよう実カメラを固定する。また、実カメラ構図が仮想カメラ撮影条件に適合していなければ（Ｓ１１８４でｎｏ）、Ｓ１１８５で補正された実カメラ構図を維持するよう実カメラを固定する。

Ｓ１１８７において、実カメラ遠隔制御部１１８は、実カメラ制御完了通知を仮想カメラ制御部１１６へ出力する。Ｓ１１８８において、実カメラ遠隔制御部１１８は、仮想カメラ制御部１１６から切替区間制御完了通知を受信したか否かを判定する。切替区間制御完了通知を受信した場合、Ｓ１１８９へ進む。一方、切替区間制御完了通知を受信していない場合、受信するまで待機する。Ｓ１１８９において、実カメラ遠隔制御部１１８は、実カメラ２１に対する遠隔制御モードをオフに設定して、遠隔制御処理を終了する。

＜Ｓ１１８５の処理詳細＞
図７（ｂ）のフローチャートを参照して、実カメラ遠隔制御部１１８による実カメラ構図補正処理（図７（ａ）のＳ１１８５）の詳細手順を説明する。

Ｓ１１８５１において、実カメラ遠隔制御部１１８は、補正前である現在の実カメラ構図と仮想カメラ撮影条件とから、条件に適合する補正後の実カメラ構図を決定する。例えば、姿勢及び／又は画角の差異が所定値以内の任意の姿勢及び／又は画角となるように実カメラ構図を決定する。なお、姿勢及び／又は画角の差異があまりにも大きく、例えば差異が所定の許容値以上である場合には、実カメラと仮想カメラとの切替処理自体を行わないように構成してもよい。

Ｓ１１８５２において、実カメラ遠隔制御部１１８は、補正前の実カメラ構図と、補正後の実カメラ構図とから、実カメラの補正量を決定する。Ｓ１１８５３において、実カメラ遠隔制御部１１８は、切替方向が仮想カメラから実カメラへの切り替えであるか否かを判定する。仮想カメラから実カメラへの切り替えである場合、Ｓ１１８５４へ進む。一方、実カメラから仮想カメラへの切り替えである場合、Ｓ１１８５５へ進む。

Ｓ１１８５４において、実カメラ遠隔制御部１１８は、実カメラの補正量を実カメラ２１に対して設定し、処理を終了する。これにより、現在の実カメラ構図が補正後の実カメラ構図に段階的に変更するのではなく一度に変更されることになる。Ｓ１１８５５において、実カメラ遠隔制御部１１８は、細分化した実カメラの補正量を複数回に分けて実カメラ２１に対して設定し、処理を終了する。これにより、実カメラ構図が補正前から補正後にかけて段階的に変化していくことになる。

以上説明したように、本実施形態では、仮想カメラの撮影範囲を含む撮影条件に適合するように実カメラの撮影範囲（例えば姿勢、画角に関するパラメータ）を補正してから、実カメラと仮想カメラとの構図が揃うよう仮想カメラを自動制御する。これにより、仮想カメラ映像から実カメラ映像への切り替え時に実カメラと仮想カメラの撮影条件とが合わせられずに切替できない事態を回避することができる。また、切り替え前後の構図が不連続となることなく実カメラと仮想カメラとを切り替えられるようになる。従って、仮想カメラのオペレータのスキルに依存せずに、違和感の少ない実カメラと仮想カメラとの切り替えが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：情報処理装置、１０１：多視点映像取得部、１０２：仮想カメラ操縦部、１０３：仮想カメラパス生成部、１０４：仮想視点映像生成部、１０５：実カメラ情報取得部、１０６：仮想カメラ制御部、２０：実カメラ、３０：映像切替装置

Claims (18)

1. 仮想カメラを制御する情報処理装置であって、
   実カメラの位置及び姿勢に関するパラメータを含む実カメラパラメータを取得する第１取得手段と、
   前記仮想カメラの位置及び姿勢に関するパラメータを含む仮想カメラパラメータを取得する第２取得手段と、
   前記実カメラと前記仮想カメラとを切り替えるための切替操作に応じて、前記実カメラパラメータと、前記切替操作を検出したときの前記仮想カメラパラメータとのうち、少なくとも何れか一方に基づいて前記切替操作後の仮想カメラの位置及び姿勢に関する仮想カメラパラメータを決定し、当該決定された仮想カメラパラメータに基づいて前記仮想カメラを制御する制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記制御手段は、前記実カメラから前記仮想カメラへの切替操作に応じて、前記仮想カメラの位置及び姿勢に基づく構図が前記実カメラの位置及び姿勢に基づく構図と一致した状態を維持することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記実カメラから前記仮想カメラへの切替操作に応じて、前記仮想カメラの映像の画質を所定の画質へ段階的に変更することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記制御手段は、前記仮想カメラの映像の画質が前記所定の画質になったことに応じて、オペレータによる仮想カメラの操縦を受け付けるモードへ変更することを特徴とする請求項３に記載の情報処理装置。
5. 前記制御手段は、前記仮想カメラから前記実カメラへの切替操作に応じて、前記仮想カメラの位置及び姿勢に基づく構図が前記実カメラの位置及び姿勢に基づく構図に段階的に近づくように前記仮想カメラパラメータを決定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記制御手段は、前記仮想カメラの構図が前記実カメラの構図と一致した後、前記仮想カメラの画質を前記実カメラの画質と一致する画質へ段階的に変更することを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、前記仮想カメラから前記実カメラへの切替操作に応じて、オペレータによる仮想カメラの操縦を受け付けるモードへ変更することを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記制御手段は、前記実カメラから前記仮想カメラへの切替操作、又は、前記仮想カメラから前記実カメラへの切替操作に応じた切替要求通知を受信したことに応じて、オペレータによる仮想カメラの操縦を受け付けない自動操縦モードで前記仮想カメラを制御することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記実カメラから前記仮想カメラへの切替操作、又は、前記仮想カメラから前記実カメラへの切替操作に応じた切替要求通知を受信したことに応じて、前記実カメラを遠隔制御する遠隔制御手段をさらに備え、
   前記遠隔制御手段は、前記仮想カメラの撮影範囲を含む撮影条件に基づいて、前記実カメラの構図が前記撮影条件に適合するように、前記実カメラの構図を補正することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記遠隔制御手段は、前記実カメラから前記仮想カメラへの切替である場合、前記実カメラの構図を段階的に補正することを特徴とする請求項９に記載の情報処理装置。
11. 前記遠隔制御手段は、前記仮想カメラから前記実カメラへの切替である場合、前記実カメラの構図を一度に補正することを特徴とする請求項９又は１０に記載の情報処理装置。
12. 前記遠隔制御手段は、前記実カメラの姿勢及び画角の少なくとも１つを補正することにより、前記実カメラの構図を補正することを特徴とする請求項９乃至１１の何れか１項に記載の情報処理装置。
13. 前記制御手段は、前記遠隔制御手段による前記実カメラの補正が完了した後に、オペレータによる仮想カメラの操縦を受け付けない自動操縦モードで前記仮想カメラを制御することを特徴とすることを特徴とする請求項９乃至１２の何れか１項に記載の情報処理装置。
14. オペレータからの入力に基づいて前記仮想カメラを操縦する操縦手段をさらに備え、
    前記制御手段は、前記切替操作に応じてオペレータによる仮想カメラの操縦を受け付けない自動操縦モードに移行するまでは、前記操縦手段による操縦に従って決定される仮想カメラパラメータに従って前記仮想カメラを制御することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 複数のカメラを含むカメラ群により撮影されたマルチ視点映像を取得する映像取得手段と、
    前記マルチ視点映像と、前記制御手段により決定された仮想カメラパラメータとに基づいて、前記仮想カメラの位置及び姿勢に応じた仮想視点映像を生成する生成手段と、
    をさらに備えることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
16. 前記生成手段により生成された前記仮想視点映像を出力する出力手段をさらに備えることを特徴とする請求項１５に記載の情報処理装置。
17. 仮想カメラを制御する情報処理装置の制御方法であって、
    実カメラの位置及び姿勢に関するパラメータを含む実カメラパラメータを取得する工程と、
    前記仮想カメラの位置及び姿勢に関するパラメータを含む仮想カメラパラメータを取得する工程と、
    前記実カメラと前記仮想カメラとを切り替えるための切替操作に応じて、前記実カメラパラメータと、前記切替操作を検出したときの前記仮想カメラパラメータとのうち、少なくとも何れか一方に基づいて前記切替操作後の仮想カメラの位置及び姿勢に関する仮想カメラパラメータを決定し、当該決定された仮想カメラパラメータに基づいて前記仮想カメラを制御する工程と、
    を有することを特徴とする情報処理装置の制御方法。
18. コンピュータを、請求項１乃至１６の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。