JP2014216813A - カメラ姿勢推定装置及びそのプログラム - Google Patents

Abstract

【課題】本願発明は、高い精度でカメラ姿勢を推定できるカメラ姿勢推定装置を提供する。【解決手段】カメラ姿勢推定装置１は、センサ情報を記憶する記憶手段１０と、撮影映像を用いて、カメラ姿勢推定情報を求める画像解析手段２０と、カメラ姿勢推定情報を用いて、不均一度Ｄを算出する不均一度算出手段３１と、偏在度Ｓを算出する偏在度算出手段３３と、不均一度と偏在度Ｓとの比である評価値に基づいて、高精度区間と、中精度区間と、低精度区間とを判定する評価値判定手段３５と、高精度区間で、カメラ姿勢推定情報を出力する第１補間処理手段４０と、中精度区間で、カメラ姿勢推定情報をセンサ情報で補間する再推定手段５０と、低精度区間で、センサ情報を出力する第２補間処理手段６０とを備える。【選択図】図１

Description

本願発明は、撮影カメラの姿勢を推定するカメラ姿勢推定装置及びそのプログラムに関する。

映像制作では、カメラ姿勢を利用して、撮影映像中の被写体に接触するような配置で、ＣＧ（computer graphics）のオブジェクトを合成することが行われている。例えば、この合成処理は、撮影映像中に机が含まれており、その机上にＣＧの壺を合成するという処理である。

従来から、撮影映像を用いて、カメラ姿勢を計測する手法も提案されている。一般的に、撮影映像を用いたカメラ姿勢推定手法では、撮影映像上の特徴点の位置及び特徴ベクトルを映像解析により抽出する。そして、このカメラ姿勢推定手法では、その特徴点位置を、特徴ベクトルの類似性を利用して撮影映像中で追跡する。さらに、このカメラ姿勢推定手法では、その追跡結果を利用して、バンドルアジャストメントなどの最適化手法によりカメラ姿勢を推定する（例えば、特許文献１参照）。

例えば、特徴点は、撮影映像上で模様がコーナーになっている部分であり、被写体に表れる模様の特定部位を指すものである。このことから、撮影映像を用いたカメラ姿勢推定手法では、前記のように撮影映像中の被写体に仮想的に何らかのＣＧオブジェクトを接触するように配置する場合、被写体とＣＧオブジェクトとのずれを生じにくく、映像制作に向くという長所を有する。その一方、このカメラ姿勢推定手法では、特徴点を抽出できない場合又は特徴点を追跡できない場合、カメラ姿勢の推定精度が低下、又は、推定が破たんしてしまう。

この他、従来から、ジャイロセンサ、加速度センサなどの姿勢計測手段を用いて、カメラ姿勢を計測する手法も提案されている（例えば、特許文献２参照）。このカメラ姿勢計測手法では、センサの検知方式がデッドレコニング（相対的自己位置推定）のため、ドリフト成分の誤差が生じてしまう。また、このカメラ姿勢計測手法では、ドリフト成分の誤差を無視しても、映像制作に求められる精度を満たしていないのが現状である。

さらに、センサを用いるカメラ姿勢計測手法では、センサ自体の姿勢又はセンサが装着されたカメラ筐体の姿勢を計測することになり、被写体に対して計測を行っているわけでない。このため、このカメラ姿勢計測手法では、撮影カメラを移動させたり、向きを変えたりした際、カメラ筐体やレンズに構造的な歪みに起因した被写体の計測誤差が発生し、この計測誤差を校正して、正確なカメラ姿勢を得ることが困難である。

以上のように、撮影映像を用いるカメラ姿勢推定手法、及び、センサを用いるカメラ姿勢計測手法は、それぞれ、異なる長所と短所を有しており、撮影環境を選ばす、高精度なカメラ姿勢を得ることが困難である。

そこで、従来から、撮影映像及びセンサを用いる手法を併用することも提案されている（以下、「従来の併用手法」と呼ぶ）。従来の併用手法では、カメラ姿勢の推定精度を評価する尺度として、再投影誤差の総和平均を求めている。
なお、再投影誤差とは、３次元座標で表された被写体上の特徴点を撮影カメラの撮像面に再投影した２次元座標と、抽出した特徴点の２次元座標との誤差を示す。

そして、従来の併用手法では、この再投影誤差の総和平均に基づいて、撮影映像から推定されたカメラ姿勢、又は、センサで計測されたカメラ姿勢の何れかを選択的に利用する。このとき、従来の併用手法では、対応点が撮影映像に偏りなく存在する場合、各特徴点の再投影誤差が均一なので、この再投影誤差の総和平均がある程度の範囲に収まり、カメラ姿勢の推定精度を正しく評価することができる。

特開２００９−２３７８４５ 特開２００７−１４２９９３

しかし、従来の併用手法では、対応点が撮影映像に偏在する場合、各特徴点の再投影誤差が不均一であっても、再投影誤差の総和平均がある程度の範囲に収束してしまい、カメラ姿勢の推定精度を正しく評価することが困難である。

そこで、本願発明は、前記した問題を解決し、高い精度でカメラ姿勢を推定できるカメラ姿勢推定装置及びそのプログラムを提供することを課題とする。

前記した課題を解決するため、本願第１発明に係るカメラ姿勢推定装置は、撮影カメラで撮影された撮影映像と、撮影カメラに装着された計測手段が当該撮影カメラの姿勢を計測したカメラ姿勢計測情報とを用いて、撮影カメラの姿勢を推定するカメラ姿勢推定装置であって、カメラ姿勢推定手段と、不均一度算出手段と、偏在度算出手段と、評価値判定手段と、高精度区間推定手段と、中精度区間推定手段と、精度区間推定手段と、を備えることを特徴とする。

かかる構成によれば、カメラ姿勢推定装置は、カメラ姿勢推定手段によって、撮影映像を構成するフレーム画像から特徴点を抽出し、異なるフレーム画像の間で同一の特徴点が対応付けられた対応点を探索し、外れ値除外処理及び最適化処理により、撮影カメラの姿勢を推定したカメラ姿勢推定情報と、フレーム画像に含まれる対応点の空間位置とを求める。

また、カメラ姿勢推定装置は、不均一度算出手段によって、フレーム画像の分割領域毎に、カメラ姿勢推定情報を用いて、空間位置で表した対応点をフレーム画像に再投影した再投影位置と、カメラ姿勢推定手段が探索した対応点の画像内位置との再投影誤差平均値を算出し、再投影誤差平均値の最大及び最小の比である不均一度を算出する。

また、カメラ姿勢推定装置は、偏在度算出手段によって、フレーム画像の各分割領域に含まれる対応点の数に基づいて、対応点の偏在度を算出する。
また、カメラ姿勢推定装置は、評価値判定手段によって、評価値に基づいて、評価値に基づいて、撮影映像について、カメラ姿勢推定情報の推定精度が高い高精度区間と、推定精度が高精度区間よりも低い中精度区間と、推定精度が中精度区間よりも低い低精度区間とを判定する。

この評価値は、偏在度と不均一度との比で表される。このため、カメラ姿勢推定装置は、対応点が撮影映像に偏在し、各対応点の再投影誤差が不均一になる場合でも、撮影カメラの姿勢推定精度を正しく評価することができる。

また、カメラ姿勢推定装置は、高精度区間推定手段によって、高精度区間における撮影カメラの姿勢推定結果として、カメラ姿勢推定情報を出力する。そして、カメラ姿勢推定装置は、中精度区間推定手段によって、カメラ姿勢計測情報を拘束条件とした最適化処理により、カメラ姿勢推定情報を用いて撮影カメラの姿勢を再推定して、中精度区間における撮影カメラの姿勢推定結果として出力する。さらに、カメラ姿勢推定装置は、低精度区間推定手段によって、低精度区間における撮影カメラの姿勢推定結果として、カメラ姿勢計測情報を出力する。

また、本願第２発明に係るカメラ姿勢推定装置は、不均一度算出手段が、４つの分割領域毎に再投影誤差平均値を算出し、後記する式（１）に示すように、再投影誤差平均値の最大Ｅ_{ｒｅｐｒｏＭａｘ}と、再投影誤差平均値の最小Ｅ_{ｒｅｐｒｏＭｉｎ}との比である不均一度Ｄを算出し、偏在度算出手段が、４つの分割領域毎に対応点の数を算出し、後記する式（２）に示すように、分割領域の中で最小の対応点の数Ｎ_Ｍｉｎ及び分割領域の中で２番目に少ない対応点の数Ｎ_{Ｍｉｎ２ｎｄ}の加算値を、分割領域毎の対応点の数Ｎ_ｉの総和で除算することで、偏在度Ｓを算出することを特徴とする。
かかる構成によれば、カメラ姿勢推定装置は、不均一度及び偏在度を正確に求めることができる。

また、本願第３発明に係るカメラ姿勢推定装置は、中精度区間推定手段が、カメラ姿勢計測情報を拘束条件とした最適化処理として、カメラ姿勢計測情報から、撮影カメラの方向を示す回転情報を抽出し、中精度区間のフレーム画像に含まれる対応点に対応する、高精度区間のフレーム画像に含まれる対応点の空間位置を求め、回転情報が示す撮影カメラの方向で、空間位置で表した対応点を撮影カメラの撮像面に投影し、空間位置で表された対応点と撮像面に投影された対応点との延長線が撮影カメラの光学主点に収束するように、カメラ姿勢推定情報が示す撮影カメラの位置を最適化することを特徴とする。
かかる構成によれば、カメラ姿勢推定装置は、中精度区間の境界で急激にカメラ姿勢が変化しないように補間を行うことができる。

ここで、本願第１発明に係るカメラ姿勢推定装置は、コンピュータが備えるＣＰＵ（Central Processing Unit）、メモリ、ＨＤＤ（Hard Disk Drive）などのハードウェア資源を、前記した各手段として協調動作させるためのカメラ姿勢推定プログラムとして実現することもできる。このカメラ姿勢推定プログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリなどの記録媒体に書き込んで配布してもよい（本願第４発明）。

本願発明によれば、以下のような優れた効果を奏する。
本願第１，４発明によれば、対応点が撮影映像に偏在し、各対応点の再投影誤差が不均一になる場合でも、評価値が偏在度と不均一度との比で表されるため、撮影カメラの姿勢推定精度を正しく評価することができる。これによって、本願第１，４発明によれば、高い精度で撮影カメラの姿勢を推定することができる。

本願第２発明によれば、不均一度及び偏在度が正確に求められるので、より高い精度で撮影カメラの姿勢を推定することができる。
本願第３発明によれば、中精度区間の境界で急激に撮影カメラの姿勢が変化しないので、撮影カメラの姿勢推定結果を利用して、滑らかなＣＧ映像を制作することができる。

本願発明の実施形態に係るカメラ姿勢推定装置の構成を示すブロック図である。 本願発明の実施形態において、対応点を説明する説明図である。 本願発明の実施形態において、撮影映像からカメラ姿勢を推定する原理を説明する説明図である。 本願発明の実施形態において、再投影誤差を説明する説明図である。 図１の不均一度算出手段が分割したブロックを説明する説明図である。 図１の再推定手段による再推定を説明する説明図である。 本願発明の実施形態において、回転情報の一致を説明する説明図である。 図１の再推定手段による回転情報の接続を説明する説明図である。 本願発明の実施形態において、位置情報の一致を説明する説明図である。 図１の再推定手段によるせん断を説明する説明図である。 図１のカメラ姿勢推定装置の動作を示すフローチャートである。 本願発明の変形例において、対応点の分布と偏在度との関係を説明する説明図である。

（実施形態）
［カメラ姿勢推定システムの概略］
図１を参照し、カメラ姿勢推定システム１００の概略について、説明する。
図１に示すように、カメラ姿勢推定システム１００は、撮影カメラＣの姿勢を推定するものであり、撮影カメラＣと、カメラ姿勢推定装置１とを備える。

撮影カメラＣは、映像を撮影する一般的なカメラである。本実施形態では、撮影カメラＣは、姿勢計測手段Ｃａと、レンズ状態計測手段Ｃｂとを備える。
姿勢計測手段Ｃａは、撮影カメラＣの姿勢を計測するものであり、例えば、撮影カメラＣに装着されたジャイロスコープ及び加速度センサである。そして、姿勢計測手段Ｃａは、撮影カメラＣの姿勢を示すセンサ情報（カメラ姿勢計測情報）を、カメラ姿勢推定装置１に出力する。
このセンサ情報は、撮影カメラＣの方向を示す回転情報（回転行列）と、撮影カメラＣの位置を示す位置情報（並進行列）とが含まれる。

レンズ状態計測手段Ｃｂは、撮影カメラＣのレンズ状態（例えば、ズーム値）を計測するものである。例えば、レンズ状態計測手段Ｃｂは、ズームリング（不図示）の回転量を計測するロータリーエンコーダである。そして、レンズ状態計測手段Ｃｂは、レンズ状態を示すレンズ情報を、カメラ姿勢推定装置１に出力する。

なお、撮影カメラＣは、レンズ状態、及び、カメラ姿勢を計測可能であれば、姿勢計測手段Ｃａ及びレンズ状態計測手段Ｃｂが特に制限されない。例えば、姿勢計測手段Ｃａは、別途、センサーカメラ（不図示）を取り付け、このセンサーカメラの映像を解析して、撮影カメラＣの位置情報を生成してもよい。

カメラ姿勢推定装置１は、撮影カメラＣから入力された撮影映像及びセンサ情報を併用して、撮影カメラＣの姿勢を推定するものである。
撮影映像を用いるカメラ姿勢推定手法では、その推定精度が高い程、ＣＧ映像の品質が良好になる。このため、撮影映像を用いるカメラ姿勢推定手法は、映像制作に高い親和性を有する。従って、カメラ姿勢推定装置１は、撮影映像を用いるカメラ姿勢推定手法を基本とする。
以下、「撮影映像を用いるカメラ姿勢推定手法」を「画像解析」と略記する場合がある。

すなわち、カメラ姿勢推定装置１は、画像解析による推定結果を評価し、撮影映像を、推定精度が高い高精度区間と、推定精度が中程度の中精度区間と、推定精度が低い低精度区間とに区分する。

ここで、カメラ姿勢推定装置１は、高精度区間について、画像解析による推定結果をそのまま出力する。
また、カメラ姿勢推定装置１は、中精度区間について、画像解析による推定結果を、センサ情報を利用して補間する。つまり、カメラ姿勢推定装置１は、僅かに特徴点を追跡できる中精度区間において、この特徴点と、姿勢計測手段Ｃａによるセンサ情報とを併用した再推定を行うことで、推定結果の精度を可能な限り向上させる。
さらに、カメラ姿勢推定装置１は、低精度区間について、センサ情報を出力する。

［カメラ姿勢推定装置の構成］
以下、カメラ姿勢推定装置１の構成について、説明する。
図１に示すように、カメラ姿勢推定装置１は、記憶手段１０と、画像解析手段（カメラ姿勢推定手段）２０と、推定結果判定手段３０と、第１補間処理手段（高精度区間推定手段）４０と、再推定手段（中精度区間推定手段）５０と、第２補間処理手段（低精度区間推定手段）６０とを備える。

記憶手段１０は、例えば、撮影カメラＣから入力された撮影映像と、センサ情報と、レンズ情報とを記憶する半導体記録装置である。このとき、記憶手段１０は、撮影映像を構成するフレーム画像にセンサ情報及びレンズ情報を紐付けて、記憶する。

画像解析手段２０は、記憶手段１０に記憶された撮影映像に画像解析処理を施すことで、撮影カメラＣの姿勢を示す姿勢情報（カメラ姿勢推定情報）を求めるものである。具体的には、画像解析手段２０は、画像解析処理として、特徴点抽出処理、対応点探索処理、外れ値除外処理、及び、最適化処理を行う。
この姿勢情報は、撮影カメラＣの方向を示す回転情報（回転行列）と、撮影カメラＣの位置を示す位置情報（並進行列）とが含まれる。

まず、画像解析手段２０は、基準画像及び参照画像とから、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）などの特徴点を抽出する。

図２に示すように、基準画像９０は、撮影映像を構成するフレーム画像のうち、画像解析処理が施されるフレーム画像である。
参照画像９１は、基準画像９０と異なるフレーム画像である。

次に、画像解析手段２０は、基準画像９０から抽出された特徴点９２を追跡し、基準画像９０と参照画像９１との間で対応点９２を探索する。この対応点９２は、基準画像９０と参照画像９１との間で同一の特徴点９２が対応付けられたものである。図２の例では、画像解析手段２０は、前景部分の対応点９２_１と、テーブルの隅にある対応点９２_２と、箱の隅にある対応点９２_３とを探索する。

次に、画像解析手段２０は、ＲＡＮＳＡＣ（RANdom SAmple Consensus）、ＬＭｅｄＳ（the Least Median of Squares）などの外れ値除外処理を施す。そして、画像解析手段２０は、バンドルアジャストメントなど最適化処理を行い、姿勢情報及び対応点９２の３次元座標（空間位置）を求める。図３の例では、基準画像９０及び参照画像９１，９１´において、対応点９２_１，９２_２，９２_３の２次元座標（画像位置）が既知である。また、被写体Ｏｂｊの特徴点９２_１，９２_２，９２_３が、基準画像９０及び参照画像９１_１，９１´の対応点９２_１，９２_２，９２_３に対応する。従って、画像解析手段２０は、この対応点９２_１，９２_２，９２_３の対応関係を利用して、最適化処理により、被写体Ｏｂｊの特徴点９２_１，９２_２，９２_３の３次元座標と、姿勢情報とを求めることができる。

その後、画像解析手段２０は、記憶手段１０に記憶された撮影映像と、センサ情報と、レンズ情報とを、推定結果判定手段３０に出力する。さらに、画像解析手段２０は、画像解析処理により求めた姿勢情報と、被写体Ｏｂｊ上の対応点の３次元座標と、画像解析処理の過程で得られた対応点の２次元座標とを、推定結果判定手段３０に出力する。

なお、カメラ姿勢推定装置１は、基準画像９０及び参照画像９１が異なるフレーム画像であれば、基準画像９０及び参照画像９１を任意に設定できる。例えば、カメラ姿勢推定装置１は、撮影映像が短い場合、基準画像９０と参照画像９１とを全て組み合わせて、画像解析処理を行う。また、カメラ姿勢推定装置１は、撮影映像が長い場合、処理負荷が高くなるので、撮影映像を一定時間（例えば、３０秒）毎に分割し、分割した撮影映像毎に画像解析処理を行ってもよい。さらに、カメラ姿勢推定装置１は、撮影映像が長い場合、撮影映像にシーン抽出処理を施して、同一シーンの撮影映像毎に画像解析処理を行ってもよい。

図１に戻り、カメラ姿勢推定装置１の構成について、説明を続ける。
推定結果判定手段３０は、画像解析手段２０の推定結果がどの程度の精度であるかを判定するものであり、不均一度算出手段３１と、偏在度算出手段３３と、評価値判定手段３５とを備える。

不均一度算出手段３１は、基準画像９０のブロック（分割領域）毎に、姿勢情報を用いて再投影誤差の平均値を算出し、不均一度Ｄを算出するものである。
この再投影誤差とは、被写体Ｏｂｊ上の対応点を基準画像９０に再投影した２次元座標(再投影位置)と、画像解析手段２０が抽出した対応点の２次元座標（画像内座標）との誤差を示す。

偏在度算出手段３３は、基準画像９０の各ブロックに含まれる対応点の数に基づいて、偏在度Ｓを算出するものである。
評価値判定手段３５は、偏在度Ｓと不均一度Ｄとの比である評価値Ｃに基づいて、撮影映像について、高精度区間と、中精度区間と、低精度区間とを判定するものである。

＜推定結果判定手段による判定＞
図４，図５を参照し、推定結果判定手段３０による判定について、説明する（適宜図１参照）。
カメラ姿勢推定装置１は、正解となるカメラ姿勢を有していない。このため、推定結果判定手段３０は、推定条件が良いか悪いかを拠り所として、間接的に推定結果の精度を判定することになる。ここで、本願発明者は、以下（Ａ）〜（Ｄ）の知見を得ている。

（Ａ）動画像中で推定対象のフレーム画像（基準画像）と他のフレーム画像（参照画像）とで同一の特徴点、つまり、対応点が少ない場合、カメラ姿勢の推定が破綻しやすい傾向にある。無論、カメラ姿勢の推定に必要な対応点数を満たさなければ、カメラ姿勢の推定そのものを行えない。

（Ｂ）対応点は、特徴点の特徴ベクトルの類似度から求められるが、必ずしも正解ではなく、誤対応点が含まれる。推定対象のフレーム画像において、対応点における誤り率、つまり、誤対応の割合が多い場合、推定精度の低下又は推定の破綻を引き起こす。

（Ｃ）最適化によって、姿勢情報と、対応点の３次元位置とが求まる。求めた姿勢情報及びレンズ情報を用いて、求めた対応点の３次元座標（空間位置)を撮影カメラＣの撮像面（基準画像９０）に再投影する。この対応点の２次元座標（再投影位置)と、画像解析処理により求めた２次元座標（画像内位置)とは、本来、同一位置になる。なぜならば、最適化処理は、対応点を撮像面に再投影した再投影位置と、画像解析処理により求めた対応点とについて、両位置の距離の総和平均をコスト関数とし、このコスト関数を最小とする処理のためである。
なお、再投影の手法については、説明を後記する。

従って、誤対応がある場合、図４に示すように、対応点９２_１と、この対応点９２_１を撮影カメラＣの撮像面（基準画像９０）に再投影した位置９２_１´とが、同一位置にならない。つまり、対応点９２_１の再投影誤差Δ１は、対応点９２_１と再投影位置９２_１´との位置ずれを示す。
なお、対応点９２_２，９２_３も対応点９２_１と同様のため、説明を省略する。

一般的に、推定が上手く行えたか否かを判定する尺度には、従来の再投影誤差の総和平均が用いられる。この再投影誤差の総和平均は、対応点がフレーム画像に均一に分散し、各対応点における再投影誤差が一様に小さくなるならば、推定精度を正しく評価することができる。しかし、再投影誤差が大きくなる場合、推定精度が低下又は推定が破綻している可能性が高い。最適化処理では、統計的にカメラ姿勢を推定するため、例えば、対応点が偏在する場合、その偏在部位が適切に最適化されない状態となり、全体として真値から外れた値に収束することとなる。この場合、再投影誤差の大きい対応点は、その数が少ないため、最適化にあまり寄与しないか、又は、外れ値として除外されることになる。従って、再投影誤差が不均一であるか否かを基準画像のブロック毎に評価することで、再投影誤差がある程度の範囲に収まっている場合でも、推定精度が低いか否かを判定できる。

（Ｄ）推定対象のフレーム画像で対応点が偏在する場合、その偏在部分でオーバーフィッティング（過学習）することとなり、推定精度が低下する。

ここで、評価値Ｃを用いるまでもなく、（Ａ）を判定することができる。（Ｂ）については、誤対応であるか否かの判定が困難であるが、（Ｃ）及び（Ｄ）の評価に包含することができる。従って、（Ｃ）及び（Ｄ）の知見から、評価値Ｃは、以下のように求めることができる。

不均一度Ｄは、式（１）に示すように、再投影誤差平均値の最大Ｅ_{ｒｅｐｒｏＭａｘ}と、再投影誤差平均値の最小Ｅ_{ｒｅｐｒｏＭｉｎ}との比で表される。

この場合、不均一度算出手段３１は、図５の破線で図示したように、基準画像９０を４個のブロックに分割し、各対応点で再投影誤差を求める。そして、不均一度算出手段３１は、各ブロックに含まれる対応点の再投影誤差を平均し、ブロック毎に再投影誤差平均値を求める。さらに、不均一度算出手段３１は、最大誤差となるブロックの再投影誤差平均値をＥ_{ｒｅｐｒｏＭａｘ}とし、最小誤差となるブロックの再投影誤差平均値をＥ_{ｒｅｐｒｏＭｉｎ}として、式（１）を用いて、不均一度Ｄを算出する。

偏在度Ｓは、式（２）に示すように、ブロックの中で最小の対応点の数Ｎ_Ｍｉｎ及びブロックの中で２番目に少ない対応点の数Ｎ_{Ｍｉｎ２ｎｄ}の加算値を、ブロック毎の対応点の数Ｎ_ｉの総和で除算する式で定義される。

この場合、偏在度算出手段３３は、図５に示すように、基準画像９０を４個のブロックに分割し、各ブロックに含まれる対応点の数をカウントする。そして、偏在度算出手段３３は、対応点が最小となるブロックの対応点数をＮ_Ｍｉｎとし、対応点が２番目に少ないブロックの対応点数をＮ_{Ｍｉｎ２ｎｄ}として、式（２）を用いて、偏在度Ｓを算出する。

評価値Ｃは、式（３）に示すように、偏在度Ｓと不均一度Ｄとの比で表される。この評価値Ｃは、値が大きくなるほど推定精度が高いことを示し、値が小さくなるほど推定精度が低いことを示す。

評価値判定手段３５は、各基準画像から評価値Ｃを算出し、式（４）を用いて、評価値Ｃが閾値Ｃ_ｔｈ未満であるか否かを判定する。具体的には、評価値判定手段３５は、式（４）を満たさない場合、基準画像が高精度区間に属すると判定する。一方、評価値判定手段３５は、式（４）を満たす場合、この基準画像が高精度区間以外の区間（中精度区間又は低精度区間の何れか）に属すると判定する。

前記したように、対応点の数が少ない場合、推定精度の低下又は推定の破綻を引き起こす。また、対応点探索処理の時点において、ある程度の対応点が残っている場合でも、外れ値除外処理により対応点の数が減少することもある。このため、評価値判定手段３５は、最適化処理後の対応点数を用いて、高精度区間以外に属すると判定された区間について、中精度区間としての再推定が行えるか否かを判定する。

ここで、最適化処理後に残った対応点が、高精度区間の基準画像と、高精度区間以外の参照画像とに含まれる場合を考える。この場合、高精度区間以外の参照画像に含まれる対応点の数をＰ_Ｃとする。そして、評価値判定手段３５は、式（５）に示すように、この対応点数Ｐ_Ｃが閾値Ｐ_ｔｈを超えるか否かを判定する。

評価値判定手段３５は、式（５）を満たす場合、基準画像が中精度区間に属すると判定する。一方、評価値判定手段３５は、式（５）を満さない場合、基準画像が低精度区間に属すると判定する。

その後、推定結果判定手段３０は、高精度区間について、姿勢情報を第１補間処理手段４０に出力する。また、推定結果判定手段３０は、中精度区間について、姿勢情報と、センサ情報と、レンズ情報と、対応点情報とを再推定手段５０に出力する。さらに、推定結果判定手段３０は、低精度区間について、センサ情報を第２補間処理手段６０に出力する。
なお、対応点情報とは、基準画像内での対応点の２次元座標と、被写体上の対応点の３次元座標とを示す。

なお、閾値Ｃ_ｔｈ及び閾値Ｐ_ｔｈは、経験的に求めた値を手動で設定することとし、撮影映像のサイズや品質などにより調整することが好ましい。本実施形態では、例えば、閾値Ｃ_ｔｈ＝０.０５とし、閾値Ｐ_ｔｈ＝１００とに設定した。

＜再投影の手法＞
以下、再投影の手法について、説明する。
再投影を行うための射影変換は、式（６）及び式（７）で定義することができる。

この式（６）及び式（７）では、対応点の３次元座標を（Ｘ_{ｗｏｒｌｄ}，Ｙ_{ｗｏｒｌｄ}，Ｚ_{ｗｏｒｌｄ}）、撮影カメラＣの回転行列をＲ、撮影カメラＣの並進行列をＴ、撮影カメラＣの撮像面中心を（ｏ_ｘ，ｏ_ｙ）、撮影カメラＣの画素サイズを（ｋ_ｘ，ｋ_ｙ）、撮影カメラＣのレンズの焦点距離をｆ、撮影カメラＣの撮像面の２次元座標を（ｘ_{ｉｍａｇｅ}，ｙ_{ｉｍａｇｅ}）とする。

さらに、撮影カメラＣのレンズには歪みがあるので、式（８）及び式（９）を用いて、撮影カメラＣの撮像面の２次元座標（ｘ_{ｉｍａｇｅ}，ｙ_{ｉｍａｇｅ}）に、この歪みを反映させる。

この式（８）及び式（９）では、歪み補正後の撮像面の２次元座標を（ｘ_ｕ，ｙ_ｕ）、歪み補正前の撮像面の２次元座標を（ｘ_ｄ，ｙ_ｄ）、撮影カメラＣのレンズ中心である歪み中心を（ｘ_ｃ，ｙ_ｃ）、ｎ次湾曲歪み係数をＫ_ｎ、ｎ次タンジェンシャル歪み係数をＰ_ｎ、撮影カメラＣのレンズ中心（ｘ_ｃ，ｙ_ｃ）から２次元座標（ｘ_ｄ，ｙ_ｄ）までの距離をｒとする。

つまり、式（７）で表される撮像面の２次元座標（ｘ_{ｉｍａｇｅ}，ｙ_{ｉｍａｇｅ}）が、式（８）及び式（９）で表される撮像面の２次元座標（ｘ_ｄ，ｙ_ｄ）に相当する。また、本実施形態では、１次湾曲歪み係数Ｋ_１及び２次湾曲歪み係数Ｋ_２のみを考慮し（ｎ＝１，２）、レンズ中心（ｘ_ｃ，ｙ_ｃ）及びタンジェンシャル歪みを考慮していない。

なお、歪みを反映させる手法は、下記の参考文献に記載されているため、これ以上の説明を省略する。
参考文献「de Villiers, J. P.; Leuschner, F.W.; Geldenhuys, R. (17-19 November 2008). "Centi-pixel accurate real-time inverse distortion correction" . 2008 International Symposium on Optomechatronic Technologies. SPIE. doi:10.1117/12.804771」

なお、本願発明は、前記レンズモデルに限定されず、他のレンズモデルを適用してもよい。
また、本願発明は、レンズの歪みを考慮せずに、再投影を行ってもよい。

図１に戻り、カメラ姿勢推定装置１の構成について、説明を続ける。
第１補間処理手段４０は、高精度区間における撮影カメラＣの姿勢推定結果として、推定結果判定手段３０からの姿勢情報を出力するものである。すなわち、高精度区間では、画像解析処理により求められた姿勢情報が、そのまま出力される。

再推定手段５０は、センサ情報を拘束条件とした最適化処理（例えば、バンドルアジャストメント）により、姿勢情報と、レンズ情報と、対応点情報とを用いて、撮影カメラＣの姿勢を再推定するものである。そして、再推定手段５０は、再推定した撮影カメラＣの姿勢を、中精度区間の姿勢推定結果として出力する。

＜再推定手段による再推定＞
図６を参照し、再推定手段５０による再推定について、説明する（適宜図１参照）。
最適化処理後に残った対応点が、中精度区間に属するフレーム画像と、高精度区間に属するフレーム画像とに含まれる場合を考える。この高精度区間のフレーム画像に含まれる対応点を「残存対応点」と呼ぶことがある。

再推定手段５０は、中精度区間では、姿勢情報及びセンサ情報に加えて、対応点情報も利用して再推定を行う。中精度区間は、最適化処理において、真値以外に収束したか、又は、カメラ姿勢の推定が破綻した状態である。このため、中精度区間のフレーム画像に含まれる対応点の２次元座標を用いても、高い精度でカメラ姿勢を推定することが困難である。一方、高精度区間において、最適化処理後に残った対応点（残存対応点）は、３次元座標を有している。従って、中精度区間において、この残存対応点と対応関係がある対応点は、３次元座標に紐付けることが可能になる。さらに、センサ情報のうち、撮影カメラＣの方向を示す回転情報も利用可能である。

まず、再推定手段５０は、中精度区間に属するフレーム画像の対応点に対応した、残存対応点の３次元座標を、対応点情報から得ることができる。また、再推定手段５０は、センサ情報から回転情報を抽出する。このとき、再推定手段５０は、接続点で回転情報が一致するように、後記する回転情報の接続処理を施す。
なお、接続点とは、時間方向において、高精度区間に属するフレーム画像と、中精度区間又は低精度区間に属するフレーム画像とが接する部分のことである。

次に、再推定手段５０は、回転情報及びレンズ情報を拘束条件として、各対応点の３次元座標を撮像面に再投影した位置と、画像解析により得た対応点の２次元位置との距離の総和平均値が最小となるように、最適化処理を行う。具体的には、再推定手段５０は、図６に示すように、３次元座標で表された被写体Ｏｂｊの対応点９２を撮影カメラＣの撮像面９３に投影する。このとき、再推定手段５０は、回転情報が示す方向に撮像面９３を向ける。そして、再推定手段５０は、被写体Ｏｂｊの対応点９２と、撮像面９３に投影された特徴点９２との延長線９４を求める。さらに、再推定手段５０は、全ての延長線９４が撮影カメラＣの光学主点に収束するように、姿勢情報が示す撮影カメラＣ（レンズの光学主点）の位置を最適化する。
なお、図６では、図面を見やすくするため、一部符号のみを図示した。
また、撮影カメラＣの撮像面９３とは、撮影映像を構成するフレーム画像（基準画像９０）のことである。

図１に戻り、カメラ姿勢推定装置１の構成について、説明を続ける。
第２補間処理手段６０は、低精度区間における撮影カメラＣの姿勢推定結果として、推定結果判定手段３０からのセンサ情報を出力するものである。
ここで、低精度区間では姿勢情報を利用できない。そこで、第２補間処理手段６０は、センサ情報から回転情報と、位置情報とを抽出する。また、第２補間処理手段６０は、低精度区間と、中精度区間及び高精度区間との接続点について、回転情報の接続処理と、位置情報の接続処理とを行い、内挿補間する。

＜回転情報の接続処理＞
図７，図８を参照し、再推定手段５０で行われる回転情報の接続処理について、説明する（適宜図１参照）。

図７に示すように、姿勢計測手段Ｃａで計測されたセンサ情報の世界座標系αと、画像解析処理で求められた姿勢情報の世界座標系βとが、異なっている。このため、再推定手段５０は、世界座標系α，βを整合させる接続処理を行う。

ここで、接続処理は、センサ情報のドリフト成分を抑制するため、撮影映像全体を処理対象とするのではなく、接続点に前後する短い区間（時間）を対象とする。
具体的には、再推定手段５０は、式（１０）に示すように、姿勢情報に含まれる回転行列Ｒ_ｉを基準として、センサ情報に含まれる回転行列Ｒ_ｓを整合させる。すなわち、再推定手段５０は、回転行列Ｒ_ｓと、回転行列Ｒ_ｓの逆行列Ｒ_ｓ ^−１と、回転行列Ｒ_ｉとを乗算する。

図８に示すように、この中精度区間９５の前側Ｆ及び後側Ｂでは、ドリフト成分の誤差が生じている可能性がある（図８の符号Ａ）。そこで、再推定手段５０は、中精度区間９５の前側Ｆにおいて、逆行列Ｒ_ｓ ^−１により、回転行列Ｒ_ｉ，Ｒ_ｓを一致させる。さらに、再推定手段５０は、中精度区間９５の後側Ｂを一致させた際に生じる回転行列Ｒ_ｓの誤差成分を４元数で表し、フレーム間距離を用いて、回転行列Ｒ_ｓの誤差成分を線形に配分する。これによって、再推定手段５０は、中精度区間９５と高精度区間９６との接続点において、回転成分のショックを低減し、回転情報が急激に変化することを防止できる（図８の符号Ａ´）。
なお、第２補間処理手段６０は、再推定手段５０と同様、低精度区間と、中精度区間又は高精度区間との接続点で、回転情報の接続処理を行うため、説明を省略する。

＜位置情報の接続処理＞
図９，図１０を参照し、第２補間処理手段６０で行われる位置情報の接続処理について、説明する（適宜図１参照）。

この低精度区間の前後において、並進成分は、回転成分よりも大きな誤差が生じる。
まず、第２補間処理手段６０は、低精度区間の前側において、平行移動によって、姿勢情報に含まれる撮影カメラＣの位置と、センサ情報に含まれる撮影カメラＣ´の位置とを一致させる。具体的には、第２補間処理手段６０は、図９に示すように、位置情報が示す撮影カメラＣの位置まで、センサ情報が示す撮影カメラＣ´の位置を平行移動させて、撮影カメラＣ，Ｃ´の位置を一致させる。

次に、第２補間処理手段６０は、低精度区間の後側において、空間のせん断処理、又は、スケーリング処理の何れかを行って、姿勢情報に含まれる位置情報と、センサ情報に含まれる位置情報とを一致させる。これによって、第２補間処理手段６０は、接続点において、並進成分のショックを低減し、位置情報が急激に変化することを防止できる。

空間のせん断処理とは、３次元空間のＸ，Ｙ，Ｚ軸で、アフィン変換のせん断を行うことである。例えば、Ｘ軸方向のせん断であれば、図１０（ａ）に示すように、Ｘ軸方向への変位がＹ座標値に比例させる。また、Ｘ軸方向のせん断では、図１０（ｂ）に示すように、Ｘ軸方向への変位をＺ座標値に比例させてもよい。この図１０では、アフィン変換前を実線で図示し、アフィン変換後を破線で図示した。

スケーリング処理とは、低精度区間の前側を回転軸とし、低精度区間の後側が一致するよう回転及びスケーリングを行う処理のことである。
なお、本実施形態では、第２補間処理手段６０が空間のせん断を行っている。

［カメラ姿勢推定装置の動作］
図１１を参照し、カメラ姿勢推定装置１の動作について、説明する（適宜図１参照）。
ここで、記憶手段１０は、撮影映像と、センサ情報と、レンズ情報とが記憶されていることとする。

カメラ姿勢推定装置１は、画像解析手段２０によって、記憶手段１０に記憶された撮影映像に画像解析処理を施すことで、姿勢情報を求める（ステップＳ１）。
カメラ姿勢推定装置１は、不均一度算出手段３１によって、前記した式（１）を用いて、不均一度Ｄを算出する（ステップＳ２）。
カメラ姿勢推定装置１は、偏在度算出手段３３によって、前記した式（２）を用いて、偏在度Ｓを算出する（ステップＳ３）。

カメラ姿勢推定装置１は、評価値判定手段３５によって、前記した式（３）を用いて、評価値Ｃを算出する（ステップＳ４）。
カメラ姿勢推定装置１は、評価値判定手段３５によって、評価値Ｃが閾値Ｃ_ｔｈ未満であるか否かを判定する（ステップＳ５）。
評価値Ｃが閾値Ｃ_ｔｈ未満の場合（ステップＳ５でＹｅｓ）、カメラ姿勢推定装置１は、評価値判定手段３５によって、対応点数Ｐ_Ｃが閾値Ｐ_ｔｈを超えるか否かを判定する（ステップＳ６）。

対応点数Ｐ_Ｃが閾値Ｐ_ｔｈを超える場合（ステップＳ６でＹｅｓ）、カメラ姿勢推定装置１は、再推定手段５０によって、センサ情報を拘束条件とした最適化処理により、姿勢情報と、レンズ情報と、対応点情報とを用いて、再推定を行う（ステップＳ７）。

対応点数Ｐ_Ｃが閾値Ｐ_ｔｈ以下の場合（ステップＳ６でＮｏ）、カメラ姿勢推定装置１は、第２補間処理手段６０によって、低精度区間における撮影カメラＣの姿勢推定結果として、センサ情報を出力する（ステップＳ８）。

評価値Ｃが閾値Ｃ_ｔｈ以上の場合（ステップＳ５でＮｏ）、カメラ姿勢推定装置１は、高精度区間における撮影カメラＣの姿勢推定結果として、姿勢情報を出力する（ステップＳ９）。

以上のように、カメラ姿勢推定装置１は、対応点が撮影映像に偏在し、各特徴点の再投影誤差が不均一になる場合でも、式（１）〜式（５）を用いて、不均一度Ｄ及び偏在度Ｓを正確に算出することができる。このため、カメラ姿勢推定装置１は、撮影カメラＣの姿勢推定精度を正しく評価して、高い精度で撮影カメラの姿勢を推定することができる。
さらに、カメラ姿勢推定装置１は、再推定手段５０によって、接続点で急激に撮影カメラＣの姿勢が変化しないように再推定を行うので、滑らかなＣＧ映像を制作できる。

なお、カメラ姿勢推定装置１は、ディスクリートロジックや、ＦＰＧＡ（Field Programmable Gate Array）などを利用したハードウェアで実現することができる。また、カメラ姿勢推定装置１は、一般的なコンピュータを前記した各手段として協調動作させるソフトウェア（プログラム）で実現することもできる。

（変形例）
なお、本願発明は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。
不均一度算出手段３１及び偏在度算出手段３３は、基準画像９０を４個以外のブロックに分割してもよい。
また、不均一度算出手段３１及び偏在度算出手段３３は、基準画像９０を矩形状のブロックに分割するのではなく、エッジ領域又は色領域で分割してもよい。

以下、基準画像９０を４個のブロック以外に分割した場合について、評価値Ｃの算出手法を説明する（適宜図１参照）。
基本的には、推定結果判定手段３０は、分散及び相関と、再投影誤差とを考慮して、評価値Ｃを算出する。

まず、不均一度算出手段３１は、再投影誤差が一定以下となる対応点を抽出する。また、不均一度算出手段３１は、基準画像内で対応点の分散（画像上の位置）を算出する。この分散は、２次元座標系の共分散でなく、対応点の重心位置からの距離に対する分散である。これによって、不均一度算出手段３１は、式（１１）に示すように、再投影誤差が小さい対応点が基準画像の特定箇所に集中しているか否かの判定指標（不均一度Ｄの二乗）を得ることができる。
この式（１１）では、対応点の重心位置がｘ￣であり、対応点の数がｎであり、各対応点の距離がｘ_ｊである。

偏在度算出手段３３は、式（１２）に示すように、基準画像内で対応点の相関を算出する。これによって、偏在度算出手段３３は、再投影誤差が小さい対応点の偏在傾向の判定指標（偏在度Ｓ）を得ることができる。
この式（１２）対応点の重心位置の２次元座標が（ｘ￣，ｙ￣）であり、対応点の２次元座標が（ｘ_ｊ，ｙ_ｊ）である。

図１２の例では、偏在度Ｓが‘０’に近い程、対応点が偏在していないことを示し、偏在度Ｓが‘１’に近い程、対応点が偏在していることを示す。この図１２の例では、基準画像内での対応点の分布をドットで図示し、その偏在度Ｓを基準画像の上部に図示した。つまり、図１２では、偏在度Ｓと、対応点の分布との関係を２０パターン例示した。

ここで、基準画像を４個のブロック以外に分割した場合を考える。この場合、評価値判定手段３５は、ブロック分割する手法と、ブロック分割しない手法とを利用することができる。

ブロック分割する場合、評価値判定手段３５は、ブロック毎に再投影誤差が一定以下の対応点数をカウントする。そして、評価値判定手段３５は、対応点数が一定以上のブロックのフラグを‘１’、対応点数が一定未満のブロックのフラグを‘０’に設定する。さらに、評価値判定手段３５は、フラグが‘１’に設定されたブロックに対し、前記した式（１１）及び式（１２）の算出手法（対応点を１ブロックの座標に置換）を適用することで、前記した（３）を用いて、評価値Ｃを算出できる。

一方、評価値判定手段３５は、ブロック分割せずに、再投影誤差が一定以下の対応点を点単位で利用する場合、それら対応点の座標を用いて、前記した式（１１）及び式（１２）の算出手法（対応点を１ブロックの座標に置換）を適用することで、前記した（３）を用いて、評価値Ｃを算出できる。

本願発明は、ＣＧ合成、拡張現実（ＡＲ：Augmented Reality）などの映像制作に利用することができる。

１ カメラ姿勢推定装置
１０ 記憶手段
２０ 画像解析手段（カメラ姿勢推定手段）
３０ 推定結果判定手段
３１ 不均一度算出手段
３３ 偏在度算出手段
３５ 評価値判定手段
４０ 第１補間処理手段（高精度区間推定手段）
５０ 再推定手段（中精度区間推定手段）
６０ 第２補間処理手段（低精度区間推定手段）
１００ カメラ姿勢推定システム
Ｃ 撮影カメラ
Ｃa 姿勢計測手段
Ｃｂ レンズ状態計測手段

Claims (4)

1. 撮影カメラで撮影された撮影映像と、前記撮影カメラに装着された姿勢計測手段が当該撮影カメラの姿勢を計測したカメラ姿勢計測情報とを用いて、前記撮影カメラの姿勢を推定するカメラ姿勢推定装置であって、
   前記撮影映像を構成するフレーム画像から特徴点を抽出し、異なる前記フレーム画像の間で同一の特徴点が対応付けられた対応点を探索し、外れ値除外処理及び最適化処理により、前記撮影カメラの姿勢を推定したカメラ姿勢推定情報と、前記フレーム画像に含まれる対応点の空間位置とを求めるカメラ姿勢推定手段と、
   前記フレーム画像の分割領域毎に、前記カメラ姿勢推定情報を用いて、前記空間位置で表した対応点を前記フレーム画像に再投影した再投影位置と、前記カメラ姿勢推定手段が探索した対応点の画像内位置との再投影誤差平均値を算出し、前記再投影誤差平均値の最大及び最小の比である不均一度を算出する不均一度算出手段と、
   前記フレーム画像の各分割領域に含まれる対応点の数に基づいて、前記対応点の偏在度を算出する偏在度算出手段と、
   前記偏在度と前記不均一度との比である評価値に基づいて、前記撮影映像について、前記カメラ姿勢推定情報の推定精度が高い高精度区間と、当該推定精度が前記高精度区間よりも低い中精度区間と、当該推定精度が前記中精度区間よりも低い低精度区間とを判定する評価値判定手段と、
   前記高精度区間における撮影カメラの姿勢推定結果として、前記カメラ姿勢推定情報を出力する高精度区間推定手段と、
   前記カメラ姿勢計測情報を拘束条件とした最適化処理により、前記カメラ姿勢推定情報を用いて前記撮影カメラの姿勢を再推定して、前記中精度区間における撮影カメラの姿勢推定結果として出力する中精度区間推定手段と、
   前記低精度区間における撮影カメラの姿勢推定結果として、前記カメラ姿勢計測情報を出力する低精度区間推定手段と、
   を備えることを特徴とするカメラ姿勢推定装置。
2. 前記不均一度算出手段は、４つの前記分割領域毎に再投影誤差平均値を算出し、式（１）に示すように、前記再投影誤差平均値の最大Ｅ_{ｒｅｐｒｏＭａｘ}と、前記再投影誤差平均値の最小Ｅ_{ｒｅｐｒｏＭｉｎ}との比である前記不均一度Ｄを算出し、
   前記偏在度算出手段は、４つの前記分割領域毎に対応点の数を算出し、式（２）に示すように、前記分割領域の中で最小の対応点の数Ｎ_Ｍｉｎ及び前記分割領域の中で２番目に少ない対応点の数Ｎ_{Ｍｉｎ２ｎｄ}の加算値を、前記分割領域毎の対応点の数Ｎ_ｉの総和で除算することで、前記偏在度Ｓを算出することを特徴とする請求項１に記載のカメラ姿勢推定装置。
   

   

   
3. 前記中精度区間推定手段は、前記カメラ姿勢計測情報を拘束条件とした最適化処理として、
   前記カメラ姿勢計測情報から、前記撮影カメラの方向を示す回転情報を抽出し、
   前記中精度区間のフレーム画像に含まれる対応点に対応する、前記高精度区間のフレーム画像に含まれる対応点の空間位置を求め、
   当該空間位置で表した対応点を、前記回転情報が示す方向を指した撮影カメラの撮像面に投影し、
   当該空間位置で表された対応点と前記撮像面に投影された対応点との延長線が前記撮影カメラの光学主点に収束するように、前記カメラ姿勢推定情報が示す撮影カメラの位置を最適化することを特徴とする請求項１又は請求項２に記載のカメラ姿勢推定装置。
4. コンピュータを、請求項１に記載のカメラ姿勢推定装置として機能させるためのカメラ姿勢推定プログラム。

Images