JP2014027528A - 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 - Google Patents

Abstract

【課題】本発明は、被写体が撮影映像の中央に捉えられていないときでも、多視点映像表現を可能とする多視点映像表現装置１を提供する。
【解決手段】多視点映像表現装置１は、多視点映像撮影部１０と、多視点映像格納部２０と、撮影映像に弱校正カメラキャリブレーションを施す弱校正カメラキャリブレーション部３０と、注視点として、被写体の位置が指定される注視点指定部５０と、撮影カメラの位置から注視点を向いたロール軸単位ベクトルを算出するロール軸算出部６１と、ロール軸単位ベクトルと設置面法線単位ベクトルとの外積で表されるチルト軸単位ベクトルを算出するチルト軸算出部６３と、チルト軸単位ベクトルとロール軸単位ベクトルとの外積で表されるパン軸単位ベクトルを算出するパン軸算出部６５と、注視点が画像中央に位置するように撮影映像を射影変換する射影変換部７０とを備える。
【選択図】図１

Description

本発明は、撮影した映像を撮影カメラの並びに沿って切替えることで、被写体を様々な視点から提示する多視点映像表現の技術に関する。

従来から、被写体を取り囲むように撮影カメラを配置し、撮影した映像を撮影カメラの並びに沿って切替えることで、動きのある被写体のある瞬間を様々な視点から提示する多視点映像表現という映像表現が知られている。この多視点映像表現には、例えば、カーネギーメロン大学が開発した“Ｅｙｅ Ｖｉｓｉｏｎ（登録商標）”と呼ばれるシステムが用いられている（非特許文献１）。

この多視点映像表現システムは、複数のロボットカメラをそれぞれ電動雲台に乗せて配置し、機械的なパンやチルトの制御により、スポーツの試合のような被写体が動き回る場合においても、前記した多視点映像表現を準リアルタイムで実現するものである。具体的には、カメラマンが１台のマスターカメラを操作し、注視する被写体が常に撮影映像の中央に映るように撮影する。このとき、この多視点映像表現システムは、カメラマンのカメラワークに応じて、他の複数のスレーブカメラの視線が注視点で輻輳するように電動雲台を自動制御する。

伊佐憲一、他４名、「最新スポーツ中継技術 世界初！ プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５

前記したように、従来の多視点映像表現システムでは、多視点映像表現を行うため、ロボットカメラで被写体を追随し、被写体を撮影映像の中央に捉える必要がある。しかし、従来の多視点映像表現システムでは、手動でロボットカメラを操作した場合、被写体への追随が遅れ、被写体を撮影映像の中央に捉えられず、多視点映像表現を行えないことがある。

そこで、本発明は、前記した問題を解決し、被写体が撮影映像の中央に捉えられていないときでも、多視点映像表現を可能とする射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置を提供することを課題とする。

前記した課題に鑑みて、本願第１発明に係る射影変換映像生成装置は、同一の被写体を複数の撮影カメラで撮影した撮影映像を射影変換することで、画像中央に被写体が位置する射影変換映像を生成する多視点映像表現用の射影変換映像生成装置であって、弱校正カメラキャリブレーション部と、注視点指定部と、ロール軸算出部と、チルト軸算出部と、パン軸算出部と、射影変換部とを備えることを特徴とする。

かかる構成によれば、射影変換映像生成装置は、弱校正カメラキャリブレーション部によって、撮影映像が入力され、入力された撮影映像に弱校正カメラキャリブレーションを施すことで、撮影カメラ毎に、少なくとも撮影カメラの位置が含まれるカメラパラメータを算出する。

また、射影変換映像生成装置は、注視点指定部によって、注視点として、撮影映像における被写体の位置が予め指定される。そして、射影変換映像生成装置は、ロール軸算出部によって、撮影カメラ毎に、弱校正カメラキャリブレーション部で算出された撮影カメラの位置から前記注視点を向くロール軸単位ベクトルを、注視点に向いた撮影カメラのロール軸として算出する。

また、射影変換映像生成装置は、チルト軸算出部によって、撮影カメラ毎に、ロール軸算出部で算出されたロール軸単位ベクトルと、撮影カメラの設置面に垂直な設置面法線単位ベクトルとの外積で表されるチルト軸単位ベクトルを、注視点に向いた撮影カメラのチルト軸として算出する。そして、射影変換映像生成装置は、パン軸算出部によって、撮影カメラ毎に、チルト軸算出部で算出されたチルト軸単位ベクトルと、ロール軸単位ベクトルとの外積で表されるパン軸単位ベクトルを、注視点に向いた撮影カメラのパン軸として算出する。

また、射影変換映像生成装置は、射影変換部によって、パン軸算出部で算出されたパン軸単位ベクトルとロール軸単位ベクトルとチルト軸単位ベクトルとの転置が要素として含まれる回転行列により、注視点が画像中央に位置するように撮影映像を射影変換することで、射影変換映像を生成する。すなわち、射影変換映像生成装置は、射影変換によって注視点を向くように撮影カメラを仮想的に方向制御して、被写体を画像中央に捉えることができる。

また、本願第２発明に係る射影変換映像生成装置は、弱校正カメラキャリブレーション部が、さらに、カメラパラメータとして、弱校正カメラキャリブレーションを施したときの撮影カメラのチルト角を算出し、チルト軸算出部が、予め設定された２台の撮影カメラについて、弱校正カメラキャリブレーション部で算出したチルト軸単位ベクトルの外積により設置面法線単位ベクトルを算出することを特徴とする。

かかる構成によれば、射影変換映像生成装置は、撮影カメラのチルト軸が三脚と垂直になり、かつ、この三脚が地面と垂直に設置される性質を利用するため、キャリブレーションパターンを用いた強校正カメラキャリブレーションを行わず、設置面法線単位ベクトルを算出することができる。

また、前記した課題に鑑みて、本願第３発明に係る多視点映像表現装置は、複数の撮影カメラで同一の被写体が撮影された撮影映像である多視点映像を、生成する多視点映像生成部と、多視点映像を格納する多視点映像格納部と、本願第１発明に係る射影変換映像生成装置と、予め設定された切替規則に従って、射影変換部で生成された射影変換映像を切り替えて出力する射影変換映像切替部と、を備えることを特徴とする。

かかる構成によれば、多視点映像表現装置は、射影変換によって、注視点を向くように撮影カメラを仮想的に方向制御して、被写体が画像中央に捉えられた射影変換映像を生成する。そして、多視点映像表現装置は、この射影変換映像を用いて、多視点映像表現を行う。

なお、本願第１発明に係る射影変換映像生成装置は、ＣＰＵ、メモリ、ハードディスク等のハードウェア資源を備えるコンピュータを、前記した各手段として協調動作させる射影変換映像生成プログラムによって実現することもできる。この射影変換映像生成プログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本発明によれば、以下のような優れた効果を奏する。
本願第１，３発明によれば、注視点を向くように撮影カメラを仮想的に方向制御して、被写体が画像中央に捉えられた射影変換映像を生成する。このため、本願第１，３発明によれば、被写体が撮影映像の中央に捉えられていないときでも、多視点映像表現を可能とする。

本願第２発明によれば、撮影カメラのチルト軸が三脚と垂直になり、かつ、この三脚が地面と垂直に設置される性質を利用して、設置面法線単位ベクトルを算出する。このため、本願第２発明によれば、キャリブレーションパターンに必須となるキャリブレーションパターンの撮影を不要とし、多視点映像表現に要する作業時間を短縮することができる。

本発明の実施形態に係る多視点映像表現装置の構成を示すブロック図である。 図１の多視点映像撮影部を説明する説明図である。 本発明の実施形態において、（ａ）はロボットカメラの方向誤差を説明する説明図であり、（ｂ）はロボットカメラの仮想的な方向制御を説明する説明図である。 本発明の実施形態においてロボットカメラの姿勢を説明する図であり、（ａ）はロボットカメラを側面視した図であり、（ｂ）はロボットカメラを正面視した図であり、（ｃ）はロボットカメラを上面視した図である。 本発明の実施形態において、ロボットカメラのチルト軸と、三脚と、設置面との位置関係を説明する説明図であり、ロボットカメラを正面視した図である。 図１のチルト軸算出部によるチルト軸の算出を説明する説明図であり、ロボットカメラを側面視した図である。 図１の射影変換部による射影変換を説明する説明図である。 図１の多視点映像表現装置の動作を示すフローチャートである。 本発明の実施例において、ロボットカメラの配置を説明する説明図である。 本発明の実施例における撮影映像である。 本発明の実施例における多視点表現映像である。

［多視点映像表現装置の構成］
図１を参照し、本発明の実施形態に係る多視点映像表現装置１の構成について、説明する。
図１に示すように、多視点映像表現装置１は、被写体のある瞬間を様々な視点から提示する多視点映像表現を行うものであり、多視点映像撮影部１０と、多視点映像格納部２０と、射影変換映像生成装置２と、射影変換映像切替部８０とを備える。

多視点映像撮影部１０は、複数の撮影カメラで同一の被写体を撮影して、この被写体が様々な視点で撮影された撮影映像（多視点映像）を生成するものである。例えば、多視点映像撮影部１０は、図２に示すように、複数のロボットカメラ（撮影カメラ）Ｃと、操作部１１とを備える多視点ロボットカメラシステムである。

ロボットカメラＣは、三脚Ｃａに搭載されている。このロボットカメラＣは、三脚Ｃａの上方に設けた雲台Ｃｂによって、パン軸及びチルト軸の２軸方向に駆動されると共に、ズームイン及びズームアウトができるように設置されている。
操作部１１は、ロボットカメラＣの各種操作を行うものである。この操作部１１は、ロボットカメラＣの操作するためのハンドルが設けられると共に、ケーブルを介して、各ロボットカメラＣに接続されている。

まず、カメラマン（２点鎖線で図示）は、操作部１１のハンドルを操作し、被写体を追随する。このとき、多視点映像撮影部１０では、操作部１１からの制御信号によって、全ロボットカメラＣが被写体を追随するように方向制御され、被写体を撮影する。そして、多視点映像撮影部１０は、被写体が撮影された撮影映像を生成し、多視点映像格納部２０に格納する。このように、多視点映像撮影部１０は、一人のカメラマンによる一台分のカメラ操作で、複数のロボットカメラＣを一斉に協調制御できるように構成されている。

図３（ａ）に示すように、多視点映像撮影部１０では、カメラマンの操作ミス、又は、雲台Ｃｂの制御誤差により、ロボットカメラＣの方向誤差が生じ、被写体Ｈが正確に撮影映像の中央に捉えられないことがある。このままでは、被写体Ｈが画像中央に位置しておらず、多視点映像表現が行えない場合がある。そこで、射影変換映像生成装置２は、図３（ｂ）に示すように、画像処理（射影変換）によって、ロボットカメラＣが被写体Ｈ（注視点Ｐ）に向くように仮想的な方向制御を行う。
以後、ロボットカメラＣ（Ｃ_１，・・・，Ｃ_ｌ，・・・，Ｃ_ｍ）をｍ台として説明する（但し、１＜ｌ＜ｍを満たす）。

図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
多視点映像格納部２０は、例えば、多視点映像撮影部１０が生成した撮影映像を格納するフレームメモリである。この多視点映像格納部２０に格納された撮影映像は、後記する射影変換映像生成装置２によって参照される。

射影変換映像生成装置２は、撮影映像を射影変換することで、画像中央に被写体が位置する射影変換映像を生成するものである。このため、射影変換映像生成装置２は、弱校正カメラキャリブレーション部３０と、射影変換映像生成部４０とを備える。

弱校正カメラキャリブレーション部３０は、多視点映像格納部２０に格納された撮影映像に、弱校正カメラキャリブレーションを施すことで、ロボットカメラＣ毎に、カメラパラメータを算出するものである。
なお、弱校正キャリブレーションとは、エピポーラ拘束条件により、ロボットカメラＣのうち、２台ずつカメラパラメータを求めることである。

ここで、ロボットカメラＣが２軸方向に駆動するため、チェッカーボードパターン等のキャリブレーションパターンを用いて、強校正カメラキャリブレーションを行うことが困難である。そこで、弱校正カメラキャリブレーション部３０は、弱校正カメラキャリブレーションによって、ロボットカメラＣの姿勢及び位置（光学中心）を示すカメラパラメータを算出することとした。

本実施形態では、弱校正カメラキャリブレーション部３０は、弱校正カメラキャリブレーションとして、Ｂｕｎｄｌｅｒを用いる。この場合、弱校正カメラキャリブレーション部３０には、弱校正カメラキャリブレーションの初期値として、ロボットカメラＣのエンコーダ（不図示）で測定された焦点距離を入力する。

このＢｕｎｄｌｅｒは、ＳＦＭ（Structure From Motion）の一つであり、視点を変えながら被写体を撮影した複数の画像から、カメラパラメータを求めるものである。具体的には、Ｂｕｎｄｌｅｒでは、同一被写体を異なる視点で撮影した複数の画像から、ＳＩＦＴ（Scale Invariant Feature Transform）等の特徴点を抽出する。そして、Ｂｕｎｄｌｅｒは、エピポーラ拘束のもと、画像間で特徴点の対応関係を求める。さらに、Ｂｕｎｄｌｅｒは、特徴点の対応関係を記述した行例を因数分解することで、カメラパラメータを算出する。
なお、Ｂｕｎｄｌｅｒの詳細は、ホームページ“http://phototour.cs.washington.edu/bundler/”に記載されている。

ここで、弱校正カメラキャリブレーション部３０は、異なるロボットカメラＣを２台ずつ組み合わせて、全てのロボットカメラＣのカメラパラメータを算出する。そして、弱校正カメラキャリブレーション部３０は、算出したカメラパラメータを、射影変換映像生成部４０に出力する。

前記したカメラパラメータには、各ロボットカメラＣの内部パラメータと、各ロボットカメラＣの位置（光学中心）及び姿勢を示す外部パラメータとが含まれている。この内部パラメータとは、後記する内部パラメータ行列Ａ_ｍのことである。また、外部パラメータとは、後記する回転行列Ｒ_ｍ及び平行移動ベクトルＴ_ｍのことである。

図４を参照し、ロボットカメラＣの姿勢について、説明する。
図４では、ロボットカメラＣが設置された面（フロア面、地面）を設置面Ｇと図示した。また、図４では、ロボットカメラＣの光軸が設置面Ｇに平行であることとする。さらに、図４には、ロボットカメラＣのロール軸をＺ軸とし、チルト軸をＸ軸とし、パン軸をＹ軸と図示した（以後の図面も同様）。

ロボットカメラＣの姿勢は、図４に示すように、パン軸（Ｙ軸）、チルト軸（Ｘ軸）、及び、ロール軸（Ｚ軸）の３軸で表される。このパン軸は、ロボットカメラＣがパンするときの回転軸であり、ロボットカメラＣの上下に伸びている。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、パン軸が、設置面Ｇの法線に一致する。

チルト軸は、ロボットカメラＣがチルトするときの回転軸であり、ロボットカメラＣの左右に伸びている。さらに、ロール軸は、ロボットカメラＣがロールするときの回転軸であり、ロボットカメラＣの前後に伸びており、ロボットカメラＣの光軸に一致する。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、チルト軸及びロール軸が、設置面Ｇに平行となり、かつ、互いに直交する。

図１に戻り、多視点映像表現装置１の説明を続ける。
射影変換映像生成部４０は、多視点映像格納部２０に格納された撮影映像を、被写体が画像中央に位置するように射影変換し、射影変換映像を生成するものである。このため、射影変換映像生成部４０は、注視点指定部５０と、カメラ姿勢算出部６０と、射影変換部７０とを備える。

注視点指定部５０は、注視点として、撮影映像に含まれる被写体の位置が予め指定されるものである。
例えば、注視点指定部５０は、多視点映像格納部２０に格納された撮影映像をディスプレイ（不図示）に表示させる。そして、注視点指定部５０は、マウス等の操作手段（不図示）をユーザに操作させて、撮影映像を構成するフレーム画像毎に、被写体の位置（注視点）を指定させる。このとき、注視点指定部５０は、被写体が画像中央から外れたフレーム画像のみ、被写体の位置を指定させればよい。

そして、注視点指定部５０は、注視点が撮影映像上（つまり、画像座標系）で指定されるため、以下のように、ユーザが指定した注視点を世界座標系に変換する。
なお、画像座標とは、画像中の位置を示す座標のことである。
また、世界座標とは、各ロボットカメラＣに共通する三次元座標のことである。

画像座標系（ｕ，ｖ）と世界座標系（Ｘ，Ｙ，Ｚ）との座標変換式は、ロボットカメラＣ毎に、下記の式（１）〜式（５）で定義される。つまり、注視点指定部５０は、式（１）〜式（５）を用いて、画像座標系（ｕ，ｖ）で指定された被写体の位置を、世界座標系（Ｘ，Ｙ，Ｚ）に変換する。

なお、式（１）〜式（５）では、ωが画像距離であり、Ａ_ｍがロボットカメラＣ_ｍの内部パラメータ行列であり、ａが撮影映像のアスペクト比であり、Ｆ_ｍがロボットカメラＣ_ｍの焦点距離であり、γがスキューであり、（Ｃ_ｘ，Ｃ_ｙ）がロボットカメラＣ_ｍの光軸と画像面との交点座標であり、Ｒ_ｍがロボットカメラＣ_ｍの回転行列であり、Ｔ_ｍがロボットカメラＣ_ｍの平行移動ベクトルである。

カメラ姿勢算出部６０は、注視点を向くように仮想的にロボットカメラＣを方向制御したときの姿勢を算出するものであり、ロール軸算出部６１と、チルト軸算出部６３と、パン軸算出部６５とを備える。

ロール軸算出部６１は、ロボットカメラＣ毎に、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅ_ｍｚを、注視点に向いたロボットカメラＣのロール軸として算出するものである。

まず、ロール軸算出部６１は、カメラパラメータから、ロボットカメラＣの位置（光学中心）を抽出する。また、ロール軸算出部６１は、下記の式（６）に示すように、ｍ台目のロボットカメラＣについて、そのロボットカメラＣの光学中心の世界座標（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）から注視点の世界座標（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）を向くベクトルＥ_ｍｚを算出する。

次に、ロール軸算出部６１は、式（６）のベクトルＥ_ｍｚが正規化されたロール軸単位ベクトルｅ_ｍｚを算出する。つまり、このロール軸単位ベクトルｅ_ｍｚが、注視点に向いたロボットカメラＣのロール軸を示す。
なお、本実施形態において、正規化とは、ベクトルの方向をそのままとし、大きさが‘１’の単位ベクトルに変換することである。

チルト軸算出部６３は、ロボットカメラＣ毎に、ロール軸算出部６１で算出されたロール軸単位ベクトルｅ_ｍｚと、設置面Ｇに垂直な設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅ_ｍｘを、注視点に向いたロボットカメラＣのチルト軸として算出するものである。

まず、チルト軸算出部６３は、カメラパラメータから、弱校正カメラキャリブレーションを施したときのロボットカメラＣのチルト軸を抽出する。このチルト軸とは、回転行列Ｒでチルト軸を示す要素のことであり、例えば、前記した式（４）の一行目の要素を指している。

次に、チルト軸算出部６３は、下記の式（７）に示すように、２台のロボットカメラＣのチルト軸Ｒ^Ａ _ｔｉｌｔ，Ｒ^Ｂ _ｔｉｌｔの外積で表される設置面法線単位ベクトルｖを算出する。この式（７）は、図５に示すように、２軸駆動のロボットカメラＣにおいて、チルト軸（Ｘ軸）が三脚Ｃａに垂直になり、かつ、この三脚Ｃａが設置面Ｇに垂直になることから成立する。

なお、式（７）では、‘‖’がノルムを示す。また、式（７）では、Ａ，Ｂが、多視点映像撮影部１０を構成するロボットカメラＣのうち、異なる２台を表す。ここで、Ａ，Ｂに対応する２台のロボットカメラＣは、任意に設定することができる。さらに、Ａ，Ｂに対応するロボットカメラＣは、チルト軸の誤差を低減するため、最も遠くに離れた２台、つまり、光軸のなす角が最大となる２台を設定することが好ましい。

次に、チルト軸算出部６３は、式（８）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅ_ｍｚと、設置面法線単位ベクトルｖとの外積の値を正規化して、チルト軸単位ベクトルｅ_ｍｘを算出する。つまり、このチルト軸単位ベクトルｅ_ｍｘが、注視点に向いたロボットカメラＣのチルト軸を示す。

ここで、図６に示すように、ロボットカメラＣの光軸（ロール軸＝Ｚ´軸）が設置面Ｇに平行にならない場合でも、設置面法線単位ベクトルｖが設置面Ｇに常に垂直になる。この性質を利用して、チルト軸算出部６３は、ロボットカメラＣのロール軸（Ｚ´軸）と設置面法線単位ベクトルｖとの外積により、ロボットカメラＣのチルト軸（Ｘ´軸）を求めることができる。
なお、図６では、注視点に向いたロボットカメラＣのロール軸をＺ´軸とし、チルト軸をＸ´軸とし、パン軸をＹ´軸と図示した（以後の図面も同様）。

図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
パン軸算出部６５は、ロボットカメラＣ毎に、チルト軸算出部６３で算出されたチルト軸単位ベクトルｅ_ｍｘと、ロール軸単位ベクトルｅ_ｍｚとの外積で表されるパン軸単位ベクトルｅ_ｍｙを、注視点に向いた撮影カメラのパン軸として算出するものである。

つまり、パン軸算出部６５は、式（９）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅ_ｍｚとチルト軸単位ベクトルｅ_ｍｘとの外積の値を正規化して、パン軸単位ベクトルｅ_ｍｙを算出する。つまり、このパン軸単位ベクトルｅ_ｍｙが、注視点に向いたロボットカメラＣのパン軸を示す。

射影変換部７０は、パン軸算出部６５で算出されたパン軸単位ベクトルの転置ｅ_ｍｙ ^Ｔとロール軸単位ベクトルの転置ｅ_ｍｚ ^Ｔとチルト軸単位ベクトルの転置ｅ^Ｔ _ｍｘとが要素として含まれる回転行列Ｒ´_ｍにより、注視点が画像中央に位置するように撮影映像を射影変換することで、射影変換映像を生成するものである。

下記の式（１０）のように、前記した単位ベクトルｅ_ｍｘ，ｅ_ｍｙ，ｅ_ｍｚを用いると、注視点を画像中央に合わせ、かつ、撮影映像の水平軸を世界座標系の垂直軸に直交させるための回転行列Ｒ´_ｍを得ることができる。この式（１０）では、Ｔが転置を示す。

さらに、本実施形態では、各撮影映像における被写体のサイズを揃えることとした。このため、各ロボットカメラＣの焦点距離を、各ロボットカメラＣの光学中心から注視点までの距離に応じて、デジタルズームにより補正する。つまり、補正後の焦点距離Ｆ´_ｍは、式（１１）に示すように、全てのロボットカメラＣの焦点距離の平均Ｆ_ａｖｅに、全てのロボットカメラＣの光学中心から注視点までの距離平均ω_ａｖｅと、ロボットカメラＣ_ｍの光学中心から注視点までの距離平均ω_ｍとの比を乗じた値とする。

この式（１１）では、ｋが射影変化後のズーム率を示す係数であり、予め任意の値で設定される。つまり、この係数ｋの値を大きくする程、射影変換映像がデジタルズームによって拡大される。

ここで、内部パラメータ行列Ａ´_ｍは、補正後の焦点距離Ｆ´_ｍを用いて、下記の式（１２）で定義される。従って、射影変換行列Ｈ_ｍは、下記の式（１３）で表される。このため、撮影映像の画素座標（ｕ_ｍ，ｖ_ｍ）を下記の式（１４）の座標変換式により変換することで、射影変換後の画素座標（ｕ´_ｍ，ｖ´_ｍ）が求められる。

つまり、図７に示すように、射影変換部７０は、前記した式（１０）〜式（１４）を用いて、注視点Ｐが画像中央に位置するように撮影映像９０を射影変換し、射影変換映像９１を生成する。その後、射影変換部７０は、生成した射影変換映像９１を射影変換映像切替部８０に出力する。

図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
射影変換映像切替部８０は、予め設定された切替規則に従って、射影変換部７０から入力された射影変換映像を切り替えて出力するものである。
この切替規則として、例えば、ロボットカメラＣの並びに沿って、射影変換映像を切り替える規則がある。そして、射影変換映像切替部８０は、ロボットカメラＣの並びに沿って射影変換映像を切り替えて、撮影映像に多視点映像表現が施された多視点表現映像を出力することができる。

［多視点映像表現装置の動作］
図８を参照し、図１の多視点映像表現装置１の動作について、説明する（適宜図１参照）。
多視点映像表現装置１は、多視点映像撮影部１０によって、多視点映像を生成する（ステップＳ１）。
多視点映像表現装置１は、多視点映像撮影部１０が生成した多視点映像を、多視点映像格納部２０に格納する（ステップＳ２）。

多視点映像表現装置１は、弱校正カメラキャリブレーション部３０によって、弱校正カメラキャリブレーションによりカメラパラメータを算出する（ステップＳ３）。
多視点映像表現装置１は、注視点指定部５０によって、注視点として、撮影映像に含まれる被写体の位置が指定される（ステップＳ４）。

多視点映像表現装置１は、ロール軸算出部６１によって、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅ_ｍｚを、注視点へ向いたロボットカメラＣのロール軸として算出する（ステップＳ５）。
多視点映像表現装置１は、チルト軸算出部６３によって、ロール軸単位ベクトルｅ_ｍｚと、設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅ_ｍｘを、注視点へ向いたロボットカメラＣのチルト軸として算出する（ステップＳ６）。
多視点映像表現装置１は、パン軸算出部６５によって、チルト軸単位ベクトルｅ_ｍｘとロール軸単位ベクトルｅ_ｍｚとの外積で表されるパン軸単位ベクトルｅ_ｍｙを、注視点へ向いた撮影カメラのパン軸として算出する（ステップＳ７）。

多視点映像表現装置１は、射影変換部７０によって、注視点が画像中央に位置するように撮影映像を射影変換することで、射影変換映像を生成する（ステップＳ８）。
多視点映像表現装置１は、射影変換映像切替部８０によって、切替規則に従って、射影変換映像を切り替えて出力する（ステップＳ９）。

以上のように、本発明の実施形態に係る多視点映像表現装置１は、注視点を向くようにロボットカメラＣを仮想的に方向制御して、被写体が画像中央に捉えられた射影変換映像を生成する。このため、多視点映像表現装置１は、被写体が撮影映像の中央に捉えられていないときでも、多視点映像表現を行うことができる。

さらに、多視点映像表現装置１は、強校正カメラキャリブレーションを行わずに設置面法線単位ベクトルｖを算出できる。このため、多視点映像表現装置１は、キャリブレーションパターンの撮影を不要とし、多視点映像表現に要する作業時間を短縮することができる。

以下、本発明の実施例として、多視点映像表現装置１による多視点映像表現の実験結果について、説明する。
この実施例では、カメラマンが多視点ロボットカメラシステムを操作して、体操選手による鉄棒競技を撮影し、その撮影映像に多視点映像表現を施した。ここで、図９に示すように、鉄棒９２の側方から前方まで９台のロボットカメラＣ（Ｃ_１〜Ｃ_９）を配置した。このとき、各ロボットカメラＣから鉄棒９２までの距離を８メートル、ロボットカメラＣの間隔を１．５メートル、各ロボットカメラＣの焦点距離を約３０ミリメートルとした。

図１０を参照し、カメラマンによって撮影された撮影映像について、説明する。
この図１０では、ロボットカメラＣ_１〜Ｃ_９の撮影画像を１枚にまとめており、ロボットカメラＣ_１〜Ｃ_９に対応するチャンネル１〜９を各撮影画像の下部に表示した。

この実施例では、体操選手の動きが早く、多視点ロボットカメラで高速に上下にフォローする必要があった。このため、図１０に示すように、被写体（体操選手）が全ロボットカメラの撮影映像におさまっているものの、画像中央に捉えることができなかった。

図１１を参照し、多視点映像表現装置１での多視点映像表現について、説明する。
この図１１では、各映像を識別するために、右下に番号を付した。番号１〜５の映像は、ロボットカメラＣ_１〜Ｃ_９の中間に位置するロボットカメラＣ_５の撮影画像を時系列順に並べたものである。また、番号６〜１０の映像は、多視点映像表現装置１を用いて、ロボットカメラＣ_５〜Ｃ_９の射影変換映像を順番に切り替えて、多視点映像表現を行ったものである。言い換えるなら、番号６〜１０の映像は、同一時刻における体操選手を別の視線で撮影した映像である。さらに、番号１１〜１５の映像は、ロボットカメラＣ_５の撮影画像を時系列順に並べたものである。

図１１に示すように、番号６〜１０の映像では、体操選手が画像中央に正確に捉えられている。このため、多視点映像表現装置１は、視点を切り替えた前後でも体操選手の位置が変化せず、極めて自然な多視点映像表現を行えることがわかる。

（変形例）
なお、本発明は、前記した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で変形することができる。
多視点映像撮影部１０は、ロボットカメラＣの代わりに、固定カメラを備えてもよい。この場合、多視点映像表現装置１は、前記した実施形態と同様、キャリブレーションパターンの撮影を不要とし、多視点映像表現の作業時間を短縮することができる。

射影変換映像生成装置２は、ＣＰＵ、メモリ、ハードディスク等のハードウェア資源を備えるコンピュータを、前記した弱校正カメラキャリブレーション部３０及び射影変換映像生成部４０として協調動作させる射影変換映像生成プログラムによって実現することもできる。さらに、射影変換映像生成プログラムは、射影変換映像切替部８０の機能を追加し、多視点映像表現を行ってもよい。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 多視点映像表現装置
２ 射影変換映像生成装置
１０ 多視点映像撮影部
２０ 多視点映像格納部
３０ 弱校正カメラキャリブレーション部
４０ 射影変換映像生成部
５０ 注視点指定部
６０ カメラ姿勢算出部
６１ ロール軸算出部
６３ チルト軸算出部
６５ パン軸算出部
７０ 射影変換部
８０ 射影変換映像切替部

Claims (4)

1. 同一の被写体を複数の撮影カメラで撮影した撮影映像を射影変換することで、画像中央に前記被写体が位置する射影変換映像を生成する多視点映像表現用の射影変換映像生成装置であって、
   前記撮影映像が入力され、入力された当該撮影映像に弱校正カメラキャリブレーションを施すことで、前記撮影カメラ毎に、少なくとも前記撮影カメラの位置が含まれるカメラパラメータを算出する弱校正カメラキャリブレーション部と、
   注視点として、前記撮影映像における被写体の位置が予め指定される注視点指定部と、
   前記撮影カメラ毎に、前記弱校正カメラキャリブレーション部で算出された撮影カメラの位置から前記注視点を向くロール軸単位ベクトルを、前記注視点に向いた撮影カメラのロール軸として算出するロール軸算出部と、
   前記撮影カメラ毎に、前記ロール軸算出部で算出されたロール軸単位ベクトルと、前記撮影カメラの設置面に垂直な設置面法線単位ベクトルとの外積で表されるチルト軸単位ベクトルを、前記注視点に向いた撮影カメラのチルト軸として算出するチルト軸算出部と、
   前記撮影カメラ毎に、前記チルト軸算出部で算出されたチルト軸単位ベクトルと、前記ロール軸単位ベクトルとの外積で表されるパン軸単位ベクトルを、前記注視点に向いた撮影カメラのパン軸として算出するパン軸算出部と、
   前記パン軸算出部で算出されたパン軸単位ベクトルと前記ロール軸単位ベクトルと前記チルト軸単位ベクトルとの転置が要素として含まれる回転行列により、前記注視点が画像中央に位置するように前記撮影映像を射影変換することで、前記射影変換映像を生成する射影変換部と、
   を備えることを特徴とする射影変換映像生成装置。
2. 前記弱校正カメラキャリブレーション部は、さらに、前記カメラパラメータとして、前記弱校正カメラキャリブレーションを施したときの撮影カメラのチルト角を算出し、
   前記チルト軸算出部は、予め設定された２台の前記撮影カメラについて、当該弱校正カメラキャリブレーション部で算出したチルト軸単位ベクトルの外積により前記設置面法線単位ベクトルを算出することを特徴とする請求項１に記載の射影変換映像生成装置。
3. 複数の撮影カメラで同一の被写体が撮影された撮影映像である多視点映像を、生成する多視点映像生成部と、
   前記多視点映像を格納する多視点映像格納部と、
   請求項１に記載の射影変換映像生成装置と、
   予め設定された切替規則に従って、前記射影変換部で生成された射影変換映像を切り替えて出力する射影変換映像切替部と、
   を備えることを特徴とする多視点映像表現装置。
4. 同一の被写体を複数の撮影カメラで撮影した撮影映像を射影変換することで、画像中央に前記被写体が位置する射影変換映像を生成するために、コンピュータを、
   前記撮影映像が入力され、入力された当該撮影映像に弱校正カメラキャリブレーションを施すことで、前記撮影カメラ毎に、少なくとも前記撮影カメラの位置が含まれるカメラパラメータを算出する弱校正カメラキャリブレーション部、
   注視点として、前記撮影映像における被写体の位置が予め指定される注視点指定部と、
   前記撮影カメラ毎に、前記弱校正カメラキャリブレーション部で算出された撮影カメラの位置から前記注視点を向くロール軸単位ベクトルを、前記注視点に向いた撮影カメラのロール軸として算出するロール軸算出部、
   前記撮影カメラ毎に、前記ロール軸算出部で算出されたロール軸単位ベクトルと、前記撮影カメラの設置面に垂直な設置面法線単位ベクトルとの外積で表されるチルト軸単位ベクトルを、前記注視点に向いた撮影カメラのチルト軸として算出するチルト軸算出部、
   前記撮影カメラ毎に、前記チルト軸算出部で算出されたチルト軸単位ベクトルと、前記ロール軸単位ベクトルとの外積で表されるパン軸単位ベクトルを、前記注視点に向いた撮影カメラのパン軸として算出するパン軸算出部、
   前記パン軸算出部で算出されたパン軸単位ベクトルと前記ロール軸単位ベクトルと前記チルト軸単位ベクトルとの転置が要素として含まれる回転行列により、前記注視点が画像中央に位置するように前記撮影映像を射影変換することで、前記射影変換映像を生成する射影変換部、
   として機能させるための多視点映像表現用の射影変換映像生成プログラム。