JP2017163245A - 多視点映像生成システム、多視点映像生成装置およびそのプログラム - Google Patents

Abstract

【課題】多視点カメラで撮影された映像から、注視点の指定と多視点映像の仮想的なカメラワークとを３次元空間上で指定して、多視点映像を生成することが可能な多視点映像生成システムを提供する。【解決手段】多視点映像生成システム１は、注視点Ｐを先端部で指し示す指示棒２２３ｂを備えた模型カメラ２２を、多視点カメラ１０の配置をモデル化したモデル空間ＳＶの任意の３次元位置に自在に配置するカメラワーク指定装置２０と、先端部を操作者Ｍが指定した注視点Ｐの位置に固定して、模型カメラ２２の可動範囲を多視点カメラ１０の配置に対応する範囲に制御するとともに、多視点カメラ１０で撮影された映像から、注視点Ｐに対応する位置を中心として、模型カメラ２２の動きをカメラワークとする多視点映像を生成する多視点映像生成装置３０と、を備える。【選択図】図１

Description

本発明は、多視点カメラで撮影された複数の映像から、仮想的なカメラワークの映像を生成する多視点映像生成システム、多視点映像生成装置およびそのプログラムに関する。

映像制作において、撮影シーンを多面的に見せることに対するニーズは非常に高い。例えば、スポーツ中継においては、日常的に複数のカメラを用いて中継を行っている。これは、的確にスポーツシーンを切り取って映像化するためである。
そして、近年では、被写体を囲むように水平でほぼ均等にカメラを配置し、同時刻における多視点の映像を取得して、被写体を多面的に見せる手法が知られている。
このような複数のカメラで撮影した映像から同時刻の多面的な映像を生成する手法は、一般的にバレットタイムと呼ばれている。また、この手法は、スポーツ映像の演出にとどまらず、映画、ドラマ等の制作においても、出演者や対象物の位置関係、表情等を、時間を止めた上で見せることで、その瞬間に対して視聴者に強い印象を与える演出にも用いられている。

このバレットタイムのような多視点映像の演出は、被写体や注視点が各カメラでつじつまが合った状態（例えば、すべてのカメラが空間的に同一点を画像中心に捉えた状態）で撮影する必要がある。しかし、実際には、注視点を固定し、複数のカメラがその注視点を中心に撮影する場合を除き、バレットタイムのような演出映像を生成することは困難である。

そこで、多視点カメラの注視点の方向をほぼ揃えることができる姿勢制御可能な雲台に搭載した各カメラの映像内で注視点を指定し、多視点カメラの各映像を、その注視点が画像中心となるように射影変換することで、多視点映像を生成する手法が開示されている（特許文献１参照）

この手法によって、例えば、スポーツ中継において、あるプレイで各カメラが被写体の注視点を画像中心に捉えていない場合でも、同時刻に撮影された複数のカメラの映像に対して注視点を画像中心となるように射影変換し、離散的、または、補間映像を生成して連続的に切り替えることで、プレイの内容を多面的に提示することを可能にしている。
なお、補間映像を生成する手法としては、例えば、画素パッチのフレーム間の移動を推定して、フレーム間の内挿処理を行う手法が知られている（非特許文献１参照）。

特開２０１４−２７５２８号公報

大久保英彦，三ッ峰秀樹，「画素パッチのフレーム間移動推定を利用した映像フレーム内挿手法の検討」，一般社団法人映像情報メディア学会，映像情報メディア学会年次大会講演予稿集（２０１４）,１７−６，２０１４年９月１日

前記したように、特許文献１の手法（以下、従来手法）は、多視点カメラの各映像で注視点を指定し、その注視点が映像の中心となるように各カメラの撮影映像を変換するため、スポーツ映像のように、常に注視点をカメラ映像の中心に捉えることが困難な場合であっても、注視点を中心とした多視点映像を生成することができる。

しかし、従来手法は、注視点が、複数のカメラで遮蔽されることなく映っていることが必要となる。また、従来手法は、例えば、２人の人物の間に相当する空間上の点を注視点としたい場合、各カメラの映像には、注視点の対象となる目標物がないため、注視点を指定することができない。

また、従来手法は、注視点を指定するために、個々のカメラ映像ごとに注視点を指定する必要があるため、カメラの数が多くなった場合、対応する注視点を特定して指定するために時間がかかってしまう。
また、従来手法は、映像上でそれぞれのカメラにおける対応した注視点を画面上でのみ指定するため、実際に配置されている各カメラとの３次元的な位置に基づく被写体の空間的配置関係のイメージが掴みにくく、所望の演出を実現した多視点映像を生成することが困難である。

本発明は、このような問題に鑑みてなされたものであり、複数のカメラで撮影された映像から、注視点の指定と多視点映像の仮想的なカメラワークとを３次元空間上で直感的に指定して、所望の多視点映像を生成することが可能な多視点映像生成システム、多視点映像生成装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る多視点映像生成システムは、実カメラ空間の多視点カメラで撮影された映像から、前記多視点カメラの配置をモデル化したモデル空間において操作者が操作した模型カメラのカメラワークに応じた多視点映像を生成する多視点映像生成システムであって、カメラワーク指定装置と、多視点映像生成装置と、を備える構成とした。

かかる構成において、多視点映像生成システムは、操作者の注視点を指し示す伸縮自在の指示棒を備えた模型カメラをモデル空間上の所定の可動範囲で動作させるカメラワーク指定装置をモデル空間に配置する。
この模型カメラの指示棒の先端部によって、モデル空間において注視点の位置を指定することが可能になる。また、模型カメラの動きによって、実空間上では実現できない仮想的なカメラワークを行うことが可能になる。

そして、多視点映像生成システムは、多視点映像生成装置によって、モデル空間上で操作者が指定した注視点の位置に指示棒の先端部を固定して、所定の可動範囲として、模型カメラの可動範囲を多視点カメラの配置に対応する範囲に制御する。これにより、多視点映像生成システムは、注視点の方向に模型カメラの指示棒を向けて、所定の可動範囲である実空間上の多視点カメラの各カメラの位置を含んだ線上または面上であたかも動作するように、模型カメラをモデル空間上で動作させることができる。

また、多視点映像生成システムは、多視点映像生成装置によって、多視点カメラで撮影された映像から、模型カメラによって指定した注視点に対応する実カメラ空間上の位置を実際の注視点として、操作者が操作した模型カメラのカメラワークに対応する多視点映像を生成する。これにより、操作者がモデル空間上で操作した模型カメラの動きに対応する多視点映像を生成することができる。

また、前記課題を解決するため、本発明に係る多視点映像生成装置は、注視点を先端部で指し示す伸縮自在の指示棒を備えた模型カメラを多視点カメラの配置をモデル化したモデル空間上の所定の可動範囲で動作するように制御されるカメラワーク指定装置を用いて、前記模型カメラのカメラワークに応じた多視点映像を生成する多視点映像生成装置であって、模型カメラ位置制御手段と、注視点位置制御手段と、映像生成手段と、を備える構成とした。

かかる構成において、多視点映像生成装置は、模型カメラ位置制御手段によって、多視点カメラの配置に対応するモデル空間における模型カメラの可動範囲を示す形状データに基づいて、模型カメラの位置をその可動範囲内に補正する。これにより、多視点映像生成装置は、操作者に対して、模型カメラの位置を可動範囲内で動作するように力覚フィードバックをかけることができる。

また、多視点映像生成装置は、注視点位置制御手段によって、模型カメラの先端部が注視点の位置を保持するように、模型カメラの姿勢および指示棒の長さを補正する。これにより、多視点映像生成装置は、注視点の位置を保持しつつ、操作者が模型カメラによってカメラワークを行うことができる。

そして、多視点映像生成装置は、映像生成手段によって、多視点カメラの各映像の指定された時刻におけるフレーム画像から注視点を中心とする画像を抽出し、カメラワークに基づいた多視点映像を生成する。
これにより、操作者が模型カメラを操作したカメラワークに応じた多視点画像が生成されることになる。

なお、本発明に係る多視点映像生成装置は、コンピュータを、模型カメラ位置制御手段、注視点位置制御手段、映像生成手段として機能させるための多視点映像生成プログラムで動作させることができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、注視点位置を任意の位置に設定することができる。このとき、本発明は、モデル空間上の３次元空間で注視点を指定できるため、従来のような２次元平面で注視点を指定することなく、直感的に注視点の位置を指定することができる。
また、本発明によれば、多視点カメラに対応した可動範囲で模型カメラを動作可能とすることができる。これにより、本発明は、操作者が模型カメラを用いて動作可能な範囲で直感的な操作でカメラワークを決定することができる。

本発明の実施形態に係る多視点映像生成システムの全体構成を示す構成図である。 注視点と多視点映像との関係を示す図であって、（ａ）は実カメラ空間における注視点の位置を示す図、（ｂ）は多視点映像の例を示す図である。 多視点カメラを配置した実カメラ空間の例を示す図であって、（ａ）は平面図、（ｂ）は正面図である。 模型カメラの構成例を示す図であって、（ａ）は側面図、（ｂ）は平面図である。 本発明の実施形態に係る多視点映像生成装置の構成を示すブロック構成図である。 模型カメラを操作するモデル空間の例を示す図であって、（ａ）は正面図、（ｂ）は側面図である。 形状データの例を示す図であって、（ａ）は平面図、（ｂ）はＸ−Ｘ断面図、（ｃ）はＹ−Ｙ断面図、（ｄ）は斜視図である。 本発明の実施形態に係る多視点映像生成システムの動作を示すフローチャートである。 本発明の他の実施形態に係る模型カメラの例を示す図である。 本発明の他の実施形態に係る多視点映像生成装置の構成を示すブロック構成図である。

以下、本発明の実施形態について図面を参照して説明する。
〔多視点映像生成システムの構成〕
まず、図１を参照して、本発明の実施形態に係る多視点映像生成システム１の構成について説明する。

多視点映像生成システム１は、多視点カメラ１０の撮影空間（実カメラ空間Ｓ_Ｒ）と模型によりモデル化した３次元空間（モデル空間Ｓ_Ｖ）とを予め定めた関係で対応させ、３次元空間（モデル空間Ｓ_Ｖ）において操作者Ｍが模型カメラ２２を移動させることで、模型カメラ２２の動き（カメラワーク）に応じた実カメラ空間Ｓ_Ｒの多視点映像を生成する。
ここで、模型カメラ２２は、実カメラ空間Ｓ_Ｒにおけるカメラ位置とその撮影方向を、モデル空間Ｓ_Ｖ上で示すための模型である。

実カメラ空間Ｓ_Ｒとモデル空間Ｓ_Ｖとは、対応する予め定めた位置を座標原点とする座標空間である。また、モデル空間Ｓ_Ｖは、実カメラ空間Ｓ_Ｒを予め定めた縮尺でモデル化した空間であって、操作者Ｍが模型カメラ２２を操作する空間である。例えば、実カメラ空間Ｓ_Ｒでサッカーフィールドを撮影する場合、モデル空間Ｓ_Ｖに仮想的なサッカーフィールドＦ_Ｖの図面を配置しておく。
なお、実カメラ空間Ｓ_Ｒの座標系（Ｘ_ＲＹ_ＲＺ_Ｒ）と、モデル空間Ｓ_Ｖの座標系（Ｘ_ＶＹ_ＶＺ_Ｖ）とは、予め対応付けておく。

また、多視点映像生成システム１は、模型カメラ２２がモデル空間Ｓ_Ｖで予め定めた注視点Ｐを向くように制御する。
このように、多視点映像生成システム１は、モデル空間Ｓ_Ｖ上において、模型カメラ２２を注視点Ｐに向けた操作者Ｍによるカメラワークを特定し、対応する実カメラ空間Ｓ_Ｒ上の仮想的なカメラワークによる多視点映像を生成する。

例えば、図１に示したモデル空間Ｓ_Ｖ上の注視点Ｐが、図２（ａ）に示す実カメラ空間Ｓ_Ｒ上の注視点Ｐに対応する場合、多視点映像生成システム１は、模型カメラ２２のカメラワークに応じて、図２（ｂ）に示すように、注視点Ｐを中心とする同一時刻の多視点映像を生成する。

以下、多視点映像生成システム１の各構成について説明する。
多視点映像生成システム１は、多視点カメラ１０と、カメラワーク指定装置２０と、多視点映像生成装置３０と、で構成される。

多視点カメラ１０は、異なる位置（視点位置）に配置された複数のカメラ１１，１１，…，１１で構成され、実カメラ空間Ｓ_Ｒを撮影する。
この多視点カメラ１０は、多視点映像を生成する素材となる映像を撮影するため、各カメラ１１は、水平方向または垂直方向、あるいは、２次元的におおむね均等に配置してもよく、円弧上、球面上等の曲線上、曲面上に配置してもよい。また、各カメラ１１は、生成される多視点映像の解像度よりも高い解像度で撮影可能なカメラであってもよい。

また、各カメラ１１は、実カメラ空間Ｓ_Ｒ上で少なくとも多視点映像の注視点となる位置を含んで撮影することとする。
すなわち、多視点映像を生成する対象となる被写体が予め定まっている場合、カメラ１１は、その特定の対象を中心として撮影することとする。例えば、野球のピッチャーの投球フォームを解析するため、投球フォームの一場面を多視点映像として生成する場合、各カメラ１１は、ピッチャーを撮影する種々の方向に配置され、ピッチャーマウンド上の所定位置を注視点とし、当該注視点を中心に撮影する。

また、多視点映像を生成する対象となる被写体が予め定まっていない場合、カメラ１１は、少なくとも注視点となり得る範囲を含んだ映像を撮影する。例えば、サッカーのフィールド上の選手の多視点映像を生成する場合、各カメラ１１は、サッカーのフィールド全体を撮影する。
図３には、一例として、サッカーフィールドＦ_Ｒを撮影する例を示す。
多視点カメラ１０は、例えば、図３（ａ），（ｂ）に示すように、サッカーフィールドＦ_Ｒのサイドラインに沿って、水平方向に６台のカメラ１１と、垂直方向に４台のカメラ１１とで計２４台を配置して、すべてのカメラ１１がサッカーフィールドＦ_Ｒ全体を撮影する。

多視点カメラ１０は、カメラ１１で撮影される映像と、実カメラ空間Ｓ_Ｒの予め定めた座標系におけるカメラ１１の位置および姿勢（光軸の向き）とを、多視点映像生成装置３０に出力する。

カメラワーク指定装置２０は、モデル空間Ｓ_Ｖで、模型カメラ２２の位置、姿勢および注視点を指定する。多視点映像生成装置３０は、後記するように、模型カメラ２２をモデル空間Ｓ_Ｖ上の所定の可動範囲内で動作するようにカメラワーク指定装置２０を制御する。カメラワーク指定装置２０は、模型カメラ位置指定装置２１と、模型カメラ２２と、を備える。

模型カメラ位置指定装置２１は、予め定めた３次元空間（モデル空間Ｓ_Ｖ）上で、模型カメラ２２の３次元位置（座標位置）を指定する。この模型カメラ位置指定装置２１は、例えば、複数の駆動部（回転駆動部）２１１，２１２，２１３を備え、模型カメラ位置指定装置２１の先端部に備えた模型カメラ２２を操作者Ｍが移動させて模型カメラ２２の位置を指定する。なお、模型カメラ位置指定装置２１は、例えば天井等の固定部材に上部を固定しておく。
この模型カメラ位置指定装置２１は、駆動部２１１，２１２，２１３の駆動量（ここでは、回転角）を、制御データとして、多視点映像生成装置３０に出力する。

また、模型カメラ位置指定装置２１は、多視点映像生成装置３０から、制御データとして、駆動部２１１，２１２，２１３に対する駆動量を取得し、取得した駆動量で駆動部２１１，２１２，２１３を駆動する。
この多視点映像生成装置３０から取得した駆動量は、操作者Ｍの模型カメラ２２の位置操作に対する力覚フィードバックとして模型カメラ２２の移動範囲に制限を与える。なお、模型カメラ２２の移動範囲は、多視点カメラ１０のカメラ１１，１１，…，１１の配置で特定される範囲である。この模型カメラ２２の移動範囲については、後記する多視点映像生成装置３０の説明において説明する。

模型カメラ２２は、模型カメラ位置指定装置２１の先端部に備え、実カメラ空間Ｓ_Ｒとモデル空間Ｓ_Ｖとの関係から、実カメラ空間Ｓ_Ｒ上のカメラ１１の位置を間接的に取得する。
この模型カメラ２２は、モデル空間Ｓ_Ｖ上で、予め定めた注視点Ｐを向くように姿勢を制御する。模型カメラ２２は、模型カメラ２２の位置に対して、多視点映像生成装置３０から、駆動部（２２１，２２２，２２３）の駆動量を取得し、注視点Ｐの位置を保持しながら、注視点Ｐの方向を向くように姿勢を制御する。すなわち、模型カメラ２２は、操作者Ｍの操作による位置の移動に連動し、注視点Ｐを向くように姿勢を制御する。

ここで、図４を参照（適宜図１参照）して、模型カメラ２２の構成例について説明する。
図４に示すように、模型カメラ２２は、本体部２２０と、回転駆動部２２１，２２２と、伸縮駆動部２２３と、注視点登録部２２４と、フレーム時刻指定部２２５と、ズーム値指定部２２６と、登録指示部２２７と、を備える。
本体部２２０は、模型カメラ２２の本体である。本体部２２０の中心Ｃの位置を、模型カメラ２２の位置（視点位置）とする。

回転駆動部２２１は、模型カメラ位置指定装置２１と模型カメラ２２とを連接する軸を基準に、模型カメラ２２を回転駆動する。例えば、回転駆動部２２１は、歯車、チェーン等で、多視点映像生成装置３０からの駆動量の指示に応じて、模型カメラ２２を回転する。これにより、回転駆動部２２１は、模型カメラ２２のパン角を制御する。

回転駆動部２２２は、模型カメラ２２の中心Ｃを通る水平軸を基準に、模型カメラ２２を回転駆動する。例えば、回転駆動部２２１は、歯車、チェーン等で、多視点映像生成装置３０からの駆動量の指示に応じて、模型カメラ２２を回転する。これにより、回転駆動部２２１は、模型カメラ２２のチルト角を制御する。

伸縮駆動部２２３は、先端部に注視点指示部２２３ａを配置した、模型カメラ２２の仮想の光軸を示す指示棒２２３ｂを伸張駆動し、注視点Ｐの位置を指し示す注視点指示部２２３ａを固定する。例えば、伸縮駆動部２２３は、モータ駆動による１軸ステージ等によって、多視点映像生成装置３０からの駆動量の指示に応じて、指示棒２２３ｂを伸縮する。
このように、多視点映像生成装置３０が回転駆動部２２１，２２２および伸縮駆動部２２３を駆動制御することで、模型カメラ２２は、注視点指示部２２３ａを注視点Ｐに固定し、注視点Ｐを向くように姿勢を制御する。

注視点登録部２２４は、注視点Ｐの位置、すなわち、注視点指示部２２３ａの位置を登録する。例えば、注視点登録部２２４は、スイッチで構成してもよい。この注視点登録部２２４は、注視点Ｐ（注視点指示部２２３ａ）の位置を登録する指示を多視点映像生成装置３０に通知することで、それ以降、多視点映像生成装置３０が、注視点Ｐ（注視点指示部２２３ａ）の位置を固定するように、回転駆動部２２１，２２２および伸縮駆動部２２３を制御する。

一方、注視点登録部２２４は、注視点Ｐ（注視点指示部２２３ａ）の位置を解除する指示を多視点映像生成装置３０に通知する。これにより、それ以降、多視点映像生成装置３０は、模型カメラ２２の姿勢や、注視点指示部２２３ａの位置の制御を中止する。
これにより、操作者Ｍが、所望の注視点Ｐを指定して、模型カメラ２２を注視点Ｐに向けた状態で、パン、チルト等のカメラワークを行う。

フレーム時刻指定部２２５は、回転量を入力する回転機構であって、例えば、一般的なジョグシャトルである。フレーム時刻指定部２２５は、多視点カメラ１０で撮影された映像のフレームを探索し、指定時間の変位をジョグシャトルの回転量によって入力する。そして、フレーム時刻指定部２２５は、時計回りまたは反時計回りの回転量を検出し、多視点映像生成装置３０に登録操作指示として検出した回転量を出力する。
これにより、多視点映像生成装置３０は、操作者Ｍが、多視点映像を生成する時刻のフレームを探索することができる。

ズーム値指定部２２６は、模型カメラ２２の光軸方向の前後のスライド量を入力するためのスライド機構である。ズーム値指定部２２６は、模型カメラ２２の光軸方向の前後にスライドさせたスライド量をズーム値として検出する。そして、ズーム値指定部２２６は、登録操作指示として、検出したスライド量を多視点映像生成装置３０に出力する。
これにより、多視点映像生成装置３０は、多視点映像を生成する際のズーム値を取得できる。

登録指示部２２７は、模型カメラ２２の動き（カメラワーク）の登録を、多視点映像生成装置３０に指示する。例えば、登録指示部２２７は、スイッチで構成してもよい。この登録指示部２２７は、カメラワークの登録開始を登録操作指示として、例えば、押下（プレス）された段階で、多視点映像生成装置３０に出力する。また、この登録指示部２２７は、カメラワークの登録終了を登録操作指示として、解放（リリース）された段階で、多視点映像生成装置３０に出力する。
なお、カメラワーク指定装置２０と多視点映像生成装置３０とは、各構成において図示を省略した信号線で連結され、相互に各信号（データ、指示等）を送受する。

以上説明したように、カメラワーク指定装置２０は、操作者Ｍが、模型カメラ２２の位置を３次元空間で視覚的に確認できる。
また、カメラワーク指定装置２０は、被写体が存在せず、従来、注視点を指定することができなかった点においても、注視点を指定できる。

なお、模型カメラ２２のフレーム時刻指定部２２５およびズーム値指定部２２６は、操作者Ｍが、一連の操作において、フレーム時刻やズーム値を指定することができ、操作性を高めることができる。
図１に戻って、多視点映像生成システム１の構成について説明を続ける。

多視点映像生成装置３０は、操作者Ｍが、モデル空間Ｓ_Ｖで操作した模型カメラ２２の操作（カメラワーク）に応じて、多視点カメラ１０の各カメラ１１が撮影した映像から、多視点映像を生成する。
この多視点映像生成装置３０は、模型カメラ２２の操作時において、カメラワーク指定装置２０から、模型カメラ２２の位置を制御する各駆動部（２１１，２１２，２１３）の変位データを入力し、模型カメラ２２の位置を検出する。そして、多視点映像生成装置３０は、模型カメラ２２を所定の可動範囲内で制御する。
また、多視点映像生成装置３０は、模型カメラ２２の操作時において、注視点の位置を保持し、保持した注視点の位置に基づいて、模型カメラ２２の各駆動部（２２１，２２２，２２３）を制御する。
これにより、操作者Ｍが模型カメラ２２を所定の移動範囲を超えて動作した場合、または、模型カメラ２２を異なる注視点の方向に向けようとした場合には、操作者Ｍに力覚フィードバックを与える。

次に、図５を参照（適宜図１参照）して、多視点映像生成装置３０の構成例について説明する
図５に示すように、多視点映像生成装置３０は、記憶部Ａと制御部Ｂとを備える。

記憶部Ａは、多視点映像生成装置３０の動作において必要となる種々のデータを記憶するもので、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成できる。記憶部Ａは、形状データ３１_１と、カメラワークデータ３１_２と、多視点カメラ映像３１_３と、多視点カメラ位置・姿勢データ３１_４と、多視点映像３１_５と、を記憶する。

形状データ３１_１は、模型カメラ２２が動作可能な可動範囲を形状で表した３次元空間（モデル空間Ｓ_Ｖ）上のデータである。
図６に示すように、この可動範囲は、例えば、多視点カメラ１０のカメラ１１，１１，…，１１を、モデル空間Ｓ_Ｖ上に、縮尺に応じて仮想的に配置したときのカメラ１１ｖ，１１ｖ，…，１１ｖの位置を含む最大平面領域とする。
図６（ａ），（ｂ）に示すように、形状データ３１_１は、可動範囲Ｒの形状である長方形の面データとする。

なお、ここでは、形状データ３１_１を長方形の面データとしている。例えば、多視点カメラ１０のカメラ１１を直線状に配置する場合は、形状データ３１_１を直線（線分データ）として定義してもよい。また、多視点カメラ１０のカメラ１１を、曲線上や曲面上に配置する場合は、形状データ３１_１を曲線や曲面を表すデータとして定義してもよい。
このように、形状データ３１_１を曲線や曲面で定義する場合、予めカメラ１１の位置に対応するモデル空間Ｓ_Ｖ上のカメラ１１ｖの３次元の位置から、例えば、非一様有理Ｂスプライン（Non-Uniform Rational Basis Spline：ＮＵＲＢＳ）によって求めておけばよい。

この形状データ３１_１が示す形状は、操作者Ｍに対して、モデル空間Ｓ_Ｖにおける多視点カメラ１０のカメラ１１，１１，…，１１の位置を知覚させる形状が好ましい。
図７に示すように、例えば、形状データ３１_１が示す形状は、カメラ１１の位置に対応する位置に半球状のくぼみ（凹部）を持たせる形状としてもよい。
これにより、操作者Ｍは、例えば、カメラワークにおいて、実カメラの位置に対応する位置で操作を止めることで、カメラワークにより多視点映像の演出後と、実際のカメラ１１への切り替わりを、視覚的に違和感なく行うことができる。
なお、この半球状のくぼみは、実カメラの位置を力覚フィードバックにより操作者Ｍに知覚させるものであればよく、例えば、半球状の凸形状であってもよい。
この形状データ３１_１は、制御部Ｂの模型カメラ位置制御手段３２によって、模型カメラ２２の可動範囲を制御する際に参照される。

カメラワークデータ３１_２は、模型カメラ２２を動作させたときの模型カメラ２２の位置と姿勢とを時系列に記憶したデータである。
制御部Ｂのカメラワーク登録手段３４は、このカメラワークデータ３１_２を登録する。登録されたカメラワークデータ３１_２は、映像生成手段３５によって参照できる。

多視点カメラ映像３１_３は、実カメラ空間Ｓ_Ｒの多視点カメラ１０で撮影された個々のカメラ１１の映像である。多視点カメラ映像３１_３は、カメラ１１ごとにフレーム単位でタイムコードを対応付ける。
制御部Ｂの映像生成手段３５は、多視点映像を生成する際に多視点カメラ映像３１_３を参照する。

多視点カメラ位置・姿勢データ３１_４は、実カメラ空間Ｓ_Ｒの多視点カメラ１０が撮影した個々のカメラ１１の位置および姿勢（パン角、チルト角）を示すデータである。この多視点カメラ位置・姿勢データ３１_４は、予め強校正によって、個々のカメラ１１の位置および姿勢を決定したものであり既知の手法を用いることができる。例えば、加納正規らの「現場設置を考慮した可動式多視点カメラの校正手法」（２０１５年映像情報メディア学会年次大会講演予稿集２４Ａ−２）等を用いてもよい。

多視点映像３１_５は、モデル空間Ｓ_Ｖ上の模型カメラ２２のカメラワークに対応した多視点カメラ１０の映像である。
この多視点映像３１_５は、制御部Ｂの映像生成手段３５が生成する。そして、映像再生手段３６が多視点映像３１_５を参照して映像を再生する。
ここでは、視点映像生成装置３０内部の記憶部Ａは、各種の映像、各種のデータを記憶しているが、映像ごと、あるいは、データごとに個別の記憶部を設け記憶してもよいし、外部の記憶装置に記憶してもよい。

制御部Ｂは、多視点映像生成装置３０の内部動作を制御する。制御部Ｂは、模型カメラ位置制御手段３２と、注視点位置制御手段３３と、カメラワーク登録手段３４と、映像生成手段３５と、映像再生手段３６と、を備える。

模型カメラ位置制御手段３２は、操作者Ｍが模型カメラ２２を操作する際に、模型カメラ２２をモデル空間Ｓ_Ｖ上の所定範囲内に存在するように、模型カメラ２２の位置を補正する。模型カメラ位置制御手段３２は、位置算出手段３２１と、位置補正手段３２２と、を備える。

位置算出手段３２１は、模型カメラ２２の位置を特定する模型カメラ位置指定装置２１から入力される駆動部（２１１，２１２，２１３）の変位データから、模型カメラ２２の位置を逐次算出する。
位置算出手段３２１は、模型カメラ位置指定装置２１の駆動部（２１１，２１２，２１３）の変位データである回転角を取得し、模型カメラ２２のモデル空間Ｓ_Ｖ上の位置を算出する。なお、模型カメラ位置指定装置２１の各駆動部の回転中心間の距離や、模型カメラ２２の初期位置は、予め設定しておく。
位置算出手段３２１は、算出した模型カメラ２２の位置を位置補正手段３２２に出力する。

位置補正手段３２２は、模型カメラ２２の位置を、モデル空間Ｓ_Ｖ上の所定範囲内である形状データ３１_１で特定される範囲内に補正する。
位置補正手段３２２は、位置算出手段３２１で逐次算出される模型カメラ２２の位置が形状データ３１_１で特定される範囲から外れているか否かを判定する。そして、位置補正手段３２２は、その範囲内に模型カメラ２２の位置に補正するための模型カメラ位置指定装置２１の駆動部（２１１，２１２，２１３）の駆動量（位置補正駆動量）を算出する。
位置補正手段３２２は、算出した位置補正駆動量を、模型カメラ位置指定装置２１に出力する。次に、位置補正手段３２２は、補正後の模型カメラ２２の位置を、注視点位置制御手段３３およびカメラワーク登録手段３４に出力する。
これにより、模型カメラ位置制御手段３２は、操作者Ｍの模型カメラ２２の位置操作に対して、逐次、力覚フィードバックを行うことができる。

注視点位置制御手段３３は、操作者Ｍが模型カメラ２２を操作する際に、模型カメラ２２の注視点指示部２２３ａ（図４）を、モデル空間Ｓ_Ｖ上で登録されている注視点の位置に固定する。このために、注視点位置制御手段３３は、模型カメラ２２の姿勢と、模型カメラ２２の指示棒２２３ｂ（図４）による注視点までの距離を補正する制御を行う。注視点位置制御手段３３は、注視点登録手段３３１と、姿勢補正手段３３２と、伸縮補正手段３３３と、を備える。

注視点登録手段３３１は、モデル空間Ｓ_Ｖ上における注視点の位置を登録または解除する。注視点登録手段３３１は、模型カメラ位置制御手段３２で逐次算出される模型カメラ２２の位置と、模型カメラ２２から入力される駆動部（２２１，２２２，２２３）の変位データとから、注視点の位置を逐次算出する。なお、模型カメラ２２の各駆動部の回転角度や伸縮量は、予め初期値に設定しておく。

そして、注視点登録手段３３１は、模型カメラ２２から注視点位置登録が指示された段階で、その時点の注視点の位置を内部メモリ等に登録（保持）する。また、注視点登録手段３３１は、模型カメラ２２から注視点位置の解除が指示された段階で、登録されている注視点の位置を解除する。
そして、注視点登録手段３３１は、登録後の注視点位置を、カメラワーク登録手段３４に出力する。

姿勢補正手段３３２は、模型カメラ２２が登録された注視点位置に向くように模型カメラ２２の姿勢を補正する。なお、姿勢補正手段３３２は、注視点登録手段３３１で、注視点が登録された場合にのみ動作する。
姿勢補正手段３３２は、位置算出手段３２１で逐次算出される模型カメラ２２の位置に対して、模型カメラ２２の向きが登録された注視点を外れているか否かを判定し、模型カメラ２２の姿勢を補正するための模型カメラ２２の駆動部（２２１，２２２）の駆動量（姿勢補正駆動量）を算出する。
姿勢補正手段３３２は、算出した姿勢補正駆動量を、模型カメラ２２に出力する。

伸縮補正手段３３３は、模型カメラ２２の注視点指示部２２３ａ（図４）が登録された注視点Ｐの位置を保持するように模型カメラ２２の指示棒２２３ｂ（図４）の伸縮量を補正する。なお、伸縮補正手段３３３は、注視点登録手段３３１で、注視点が登録された場合にのみ動作する。
伸縮補正手段３３３は、位置算出手段３２１で逐次算出される模型カメラ２２の位置から、模型カメラ２２の注視点指示部２２３ａの位置が登録された注視点までの距離を算出し、現在設定されている距離との差分に対応する伸縮駆動部２２３の駆動量（伸縮駆動量）を求める。
そして、伸縮補正手段３３３は、求めた伸縮駆動量を模型カメラ２２に出力する。
このように、注視点位置制御手段３３は、操作者Ｍの模型カメラ２２の位置操作に対して、逐次、模型カメラ２２の注視点指示部２２３ａを注視点Ｐの位置に固定するように力覚フィードバックを行う。

カメラワーク登録手段３４は、操作者Ｍが模型カメラ２２を操作した動き（カメラワーク）を登録する。
このカメラワーク登録手段３４は、模型カメラ位置制御手段３２から入力される模型カメラ位置と、注視点位置制御手段３３から入力される注視点位置と、模型カメラ２２から入力される登録操作指示のうち、フレーム時刻指定部２２５で指定される回転量に応じたフレーム時刻と、ズーム値指定部２２６で指定されるスライド量に応じたズーム値とを、映像生成手段３５に出力し、カメラワーク開始時の映像の生成を指示する。これにより、カメラワーク登録手段３４は、カメラワーク開始時の映像を映像生成手段３５によって操作者Ｍに確認させる。

そして、カメラワーク登録手段３４は、模型カメラ２２から入力される登録操作指示のうち、登録指示部２２７によって、カメラワークの登録が指示されている間、予め定めたフレームレートで、模型カメラ位置、注視点位置、フレーム時刻およびズーム値を、カメラワークデータ３１_２として記憶部Ａに記憶する。そして、カメラワーク登録手段３４は、映像生成手段３５に対してカメラワークに応じた映像の生成を指示する。

映像生成手段３５は、多視点カメラ１０で撮影された映像から、模型カメラ２２に位置に対応する映像を生成する。なお、映像生成手段３５は、カメラワーク登録手段３４から、カメラワーク開始時の映像の生成を指示された場合、模型カメラ２２に位置（現在の位置）に対応する画像を生成し、カメラワークの映像の生成を指示された場合、カメラワークデータ３１_２に対応する連続画像（多視点映像）を生成する。
映像生成手段３５は、画像抽出手段３５１と、補間画像生成手段３５２と、を備える。

画像抽出手段３５１は、指定されたフレーム時刻に対応する多視点カメラ映像３１_３のフレーム画像から、注視点の位置を中心とした指定されたズーム値で画像（注視点画像）を抽出する。
この画像抽出手段３５１は、多視点カメラ位置・姿勢データ３１_４から、個々のカメラ１１の画角を特定し、指定された注視点の位置を中心とする注視点画像を射影変換により抽出する。
なお、画像抽出手段３５１は、すべてのカメラ１１のフレーム画像から注視点画像を抽出する必要はなく、補間画像生成手段３５２で必要とするカメラ１１のみの注視点画像を抽出してもよい。

補間画像生成手段３５２は、模型カメラ２２の位置が、多視点カメラ１０のカメラ１１の位置に対応する位置に存在しない場合に、カメラ１１間の画像を補間により生成する。
例えば、補間画像生成手段３５２は、カメラ１１のモデル空間Ｓ_Ｖ上の位置と、模型カメラ２２の位置との距離に応じた重み付けで、画像抽出手段３５１で抽出された注視点画像を平均化することで、補間画像を生成する。
なお、補間画像生成手段３５２は、非特許文献１の手法によって、高品質に補間画像を生成してもよい。あるいは、補間画像生成手段３５２は、補間を行わずに、模型カメラ２２の位置に対応する実カメラ空間Ｓ_Ｒで最も近いカメラ１１の画像を用いることとしてもよい。
このような補間画像生成手段３５２における補間画像生成処理は、多視点映像生成装置３０の性能（ＣＰＵ性能等）に応じて予め定めておく。

この補間画像生成手段３５２は、カメラワーク開始時の映像の生成を指示された場合、生成した補間画像を表示装置Ｄに出力する。また、補間画像生成手段３５２は、カメラワークの映像の生成を指示された場合、カメラワークに応じて、予め定めたフレームレートで順次生成される補間画像（多視点映像）を表示装置Ｄに出力するとともに、多視点映像３１_５として記憶部Ａに記憶する。

映像再生手段３６は、外部からの再生指示に応じて、記憶部Ａに記憶された多視点映像３１_５を再生する。
この映像再生手段３６は、例えば、図示を省略したスイッチ等によって、映像確認の再生を指示された場合、記憶部Ａに記憶された多視点映像３１_５を読み出して、表示装置Ｄに出力する。

また、映像再生手段３６は、例えば、図示を省略したスイッチ等によって、放送映像としての再生を指示された場合、記憶部Ａに記憶された多視点映像３１_５を読み出して、図示を省略した放送出力装置に出力する。
これにより、映像再生手段３６は、生成した多視点映像を、操作者Ｍが確認後、放送に利用することができる。

以上説明したように多視点映像生成装置３０を構成することで、多視点映像生成装置３０は、任意の位置を注視点として多視点映像を生成することができる。
また、多視点映像生成装置３０は、模型カメラ２２の操作によって、カメラワークを直感的に把握することができ、多視点カメラにおけるカメラワークを容易に決定することができる。
なお、多視点映像生成装置３０は、図示を省略したコンピュータを、前記した各手段として機能させる多視点映像生成プログラムで動作させることができる。

〔多視点映像生成システムの動作〕
次に、図８を参照（構成については、適宜図１、図４、図５参照）して、多視点映像生成システム１の動作について説明する。ここでは、主に、制御の主体となる多視点映像生成装置３０の動作について説明する。
なお、多視点映像生成装置３０の記憶部Ａには、模型カメラ２２のモデル空間Ｓ_Ｖ上の可動範囲を示す形状データ３１_１が記憶されているものとする。

まず、操作者Ｍは、モデル空間Ｓ_Ｖ上で模型カメラ２２の注視点指示部２２３ａの位置を、所望の注視点の位置に配置し、注視点登録部２２４を押下する（ステップとして図示せず）。

そして、多視点映像生成装置３０は、注視点位置制御手段３３の注視点登録手段３３１によって、モデル空間Ｓ_Ｖ上における注視点の位置を登録する（ステップＳ１）。その後、操作者Ｍは、モデル空間Ｓ_Ｖ上で模型カメラ２２の位置や姿勢を操作する（ステップとして図示せず）。
このとき、多視点映像生成装置３０は、模型カメラ位置制御手段３２の位置算出手段３２１によって、模型カメラ位置指定装置２１から入力される駆動部（２１１，２１２，２１３）の変位データから、模型カメラ２２の位置を逐次算出する（ステップＳ２）。

また、多視点映像生成装置３０は、模型カメラ位置制御手段３２の位置補正手段３２２によって、模型カメラ２２の位置を、モデル空間Ｓ_Ｖ上の形状データ３１_１で特定される範囲内に補正する（ステップＳ３）。すなわち、位置補正手段３２２は、ステップＳ２で逐次算出される模型カメラ２２の位置が形状データ３１_１で特定される範囲内となるように、模型カメラ位置指定装置２１の駆動部（２１１，２１２，２１３）を駆動する。
これにより、模型カメラ２２の可動範囲が、多視点映像を生成可能な範囲に制限されることになる。

また、多視点映像生成装置３０は、注視点位置制御手段３３の姿勢補正手段３３２によって、模型カメラ２２がステップＳ１で登録された注視点Ｐの方向を向くように模型カメラ２２の姿勢を補正する（ステップＳ４）。すなわち、姿勢補正手段３３２は、模型カメラ２２の仮想の光軸が注視点Ｐを通過するように、模型カメラ２２の駆動部（２２１，２２２）を駆動する。

さらに、多視点映像生成装置３０は、注視点位置制御手段３３の伸縮補正手段３３３によって、模型カメラ２２の注視点指示部２２３ａがステップＳ１で登録された注視点Ｐの位置を保持するよう補正する（ステップＳ５）。すなわち、伸縮補正手段３３３は、注視点指示部２２３ａが注視点Ｐの位置に到達するように指示棒２２３ｂを伸縮方向に駆動する。

そして、多視点映像生成装置３０は、カメラワーク登録手段３４によって、ステップＳ１で登録された注視点の位置と、ステップＳ３で補正された模型カメラの位置と、別途入力されるフレーム時刻とズーム値とを、カメラワークデータ３１_２として記憶部Ａに記憶する（ステップＳ６）。

そして、多視点映像生成装置３０は、映像生成手段３５の画像抽出手段３５１によって、指定されたフレーム時刻に対応する多視点カメラ映像３１_３のフレーム画像から、注視点の位置を中心とした指定されたズーム値で画像を抽出する（ステップＳ７）。

その後、多視点映像生成装置３０は、映像生成手段３５の補間画像生成手段３５２によって、ステップＳ６で記憶されたカメラワークデータ３１_２に基づいて、予め定めたフレームレートで、模型カメラ２２の移動履歴に応じた注視点画像を補間により生成し、模型カメラで仮想的に撮影した映像となる多視点映像を生成する（ステップＳ８）。

そして、映像生成手段３５は、ステップＳ８で生成した多視点映像を記憶部Ａに多視点映像３１_５として記憶する（ステップＳ９）。
なお、記憶部Ａに記憶された多視点映像３１_５は、適宜、映像を確認する際に、映像再生手段３６によって読み出されて表示装置Ｄに出力されたり、放送用の映像として、外部に出力されたりする（ステップとして図示せず）。

以上の動作によって、多視点映像生成システム１は、モデル空間Ｓ_Ｖ上の任意の位置に注視点を設定することができる。また、多視点映像生成システム１は、模型カメラ２２の操作によって、カメラワークを直感的に把握することができ、多視点カメラにおけるカメラワークを容易に決定することができる。

〔変形例〕
以上、本発明の実施形態について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、多視点映像生成装置３０が、内部に模型カメラ位置制御手段３２と注視点位置制御手段３３とを備える構成としたが、これらの構成は、それぞれ、模型カメラ位置指定装置２１や模型カメラ２２の内部に備える構成としてもよい。

また、ここでは、多視点映像生成装置３０の注視点位置制御手段３３が、模型カメラ２２の注視点指示部２２３ａを注視点Ｐの位置に固定するように制御することとした。
しかし、注視点指示部２２３ａを物理的に注視点Ｐの位置に固定することとしてもよい。例えば、図９に示すように、モデル空間Ｓ_ＶのフィールドＦ_Ｖに物理的にポール２２８を立てて、その先端部と模型カメラ２２の指示棒２２３ｂとをユニバーサルジョイント等の回転自在の駆動機構２２３ｃで連接することで、駆動機構２２３ｃの中心を注視点とすればよい。

この場合、模型カメラ２２の指示棒２２３ｂの先端位置が固定され、模型カメラ２２の可動範囲Ｒ内での動作時に、その動作に連動して、模型カメラ２２の駆動部（２２１，２２２，２２３）が駆動されることになる。
このように、模型カメラ２２の注視点指示部２２３ａを物理的に固定する場合、多視点映像生成装置３０は、図１０に示す多視点映像生成装置３０Ｂの構成とすればよい。すなわち、図１０に示すように、注視点位置制御手段３３（図５）から、姿勢補正手段３３２と伸縮補正手段３３３とを省略し、注視点位置制御手段３３Ｂとすればよい。

１ 多視点映像生成システム
１０ 多視点カメラ
１１ カメラ
２０ カメラワーク指定装置
２１ 模型カメラ位置指定装置
２１１ 回転駆動部
２１２ 回転駆動部
２１３ 回転駆動部
２２ 模型カメラ
２２１ 回転駆動部
２２２ 回転駆動部
２２３ 伸縮駆動部
２２３ａ 注視点指示部（先端部）
２２３ｂ 指示棒
３０ 多視点映像生成装置
３２ 模型カメラ位置制御手段
３２１ 位置算出手段
３２２ 位置補正手段
３３ 注視点位置制御手段
３３１ 注視点登録手段
３３２ 姿勢補正手段
３３３ 伸縮補正手段
３４ カメラワーク登録手段
３５ 映像生成手段
３５１ 画像抽出手段
３５２ 補間画像生成手段
３６ 映像再生手段
Ｐ 注視点

Claims (6)

1. 実カメラ空間の多視点カメラで撮影された映像から、前記多視点カメラの配置をモデル化したモデル空間において操作者が操作した模型カメラのカメラワークに応じた多視点映像を生成する多視点映像生成システムであって、
   前記操作者の注視点を指し示す伸縮自在の指示棒を備えた前記模型カメラを前記モデル空間上の所定の可動範囲で動作させるカメラワーク指定装置と、
   前記モデル空間上で前記操作者が指定した前記注視点の位置に前記指示棒の先端部を固定して、前記多視点カメラの配置に対応する範囲となるように前記所定の可動範囲で前記カメラワーク指定装置を制御し、前記模型カメラによって指定した前記注視点に対応する前記実カメラ空間上の位置を実際の注視点として、前記多視点カメラで撮影された映像から、前記カメラワークに対応する前記多視点映像を生成する多視点映像生成装置と、
   を備えることを特徴とする多視点映像生成システム。
2. 前記多視点映像生成装置は、
   前記モデル空間における前記模型カメラの可動範囲を示す形状データに基づいて、前記模型カメラの位置を前記可動範囲内に補正する模型カメラ位置制御手段と、
   前記模型カメラの前記先端部が前記注視点の位置を保持するように、前記模型カメラの姿勢および前記指示棒の長さを補正する注視点位置制御手段と、
   前記多視点カメラの各映像の指定された時刻におけるフレーム画像から前記注視点を中心とする画像を抽出し、前記カメラワークに基づいた前記多視点映像を生成する映像生成手段と、
   を備えることを特徴とする請求項１に記載の多視点映像生成システム。
3. 前記模型カメラ位置制御手段は、前記模型カメラの可動範囲を示す前記形状データが、前記多視点カメラの配置に対応する線形状または面形状のデータであって、前記多視点カメラを構成する個々のカメラの位置に対応する位置に凹部または凸部の形状を有するデータを用いることを特徴とする請求項２に記載の多視点映像生成システム。
4. 請求項１に記載の多視点映像生成システムにおける多視点映像生成装置であって、
   前記多視点カメラの配置に対応する前記モデル空間における前記模型カメラの可動範囲を示す形状データに基づいて、前記模型カメラの位置を前記可動範囲内に補正する模型カメラ位置制御手段と、
   前記模型カメラの前記先端部が前記注視点の位置を保持するように、前記模型カメラの姿勢および前記指示棒の長さを補正する注視点位置制御手段と、
   前記多視点カメラの各映像の指定された時刻におけるフレーム画像から前記注視点を中心とする画像を抽出し、前記カメラワークに基づいた前記多視点映像を生成する映像生成手段と、
   を備えることを特徴とする多視点映像生成装置。
5. 前記模型カメラ位置制御手段は、前記形状データとして、前記多視点カメラの配置に対応する線形状または面形状のデータであって、前記多視点カメラを構成する個々のカメラの位置に対応する位置に凹部または凸部の形状を有するデータを用いることを特徴とする請求項４に記載の多視点映像生成装置。
6. コンピュータを、請求項４または請求項５に記載の多視点映像生成装置として機能させるための多視点映像生成プログラム。

Images