JP2016163130A - カメラパラメータ推定装置およびカメラパラメータ推定プログラム - Google Patents

Abstract

【課題】三脚を利用した撮影映像か否かの初期設定をすることなく、効率的にカメラパラメータの推定を可能とする。【解決手段】カメラパラメータ推定装置１は、撮影映像を取得する映像取得手段１０１と、撮影映像を構成するフレーム画像の特徴点を抽出して、グローバルモーションを推定するグローバルモーション推定手段１０２と、エッジの抽出を行うエッジ抽出手段１０３と、エッジの周辺を示す所定領域の画像の類似度に基づき、三脚利用の映像か否かを判定する三脚利用判定手段１０７と、三脚利用の場合に、グローバルモーションに基づき、カメラパラメータを算出する三脚用カメラパラメータ算出手段１０８と、三脚利用でない場合に、各フレーム画像に含まれる対応する特徴点を解析してカメラパラメータを算出する手持ち用カメラパラメータ算出手段１０９と、算出されたカメラパラメータを出力するカメラパラメータ出力手段１１０と、を備える。【選択図】図１

Description

本発明は、実写映像とＣＧ（Computer Graphics）描画画像との映像合成等において必要となるカメラパラメータを推定する、カメラパラメータ推定装置およびカメラパラメータ推定プログラムに関する。

カメラパラメータは、カメラの位置や向き、レンズの状態を示す。映像制作において、このカメラパラメータを利用することにより、カメラの実写映像とＣＧ描画画像とを違和感なく合成することが可能となる。

従来、カメラパラメータを推定する手法として、カメラの三脚やクレーンの関節などの各自由度の回転量を、ロータリーエンコーダ等を取り付けて計測することにより推定する手法が知られている（特許文献１参照）。また、撮影した映像の解析によりカメラパラメータを推定する手法として、例えば、バンドルアジャストメント（Bundle Adjustment：バンドル調整処理）が知られている（特許文献２参照）。

特許文献２のバンドルアジャストメントを用いた手法では、撮影映像上の特徴点の位置および特徴ベクトルを映像解析により抽出し、その特徴点の位置を、特徴ベクトルの類似性を利用して撮影映像中で追跡する。さらに、その追跡結果を利用して、最適化手法によりカメラパラメータを推定する。
この２つの手法のうち、映像解析による手法は、計測機材を必要としないことに加えて、過去に撮りためた映像にも適用できるなどのメリットがある。

特開２００７−１４２９９３号公報 特開２００９−２３７８４５号公報

しかしながら、映像解析による従来の手法は、三脚を利用したカメラを用いて撮影した映像であるのか、ハンディカメラ等により手持ちで撮影した映像であるのかを判定することができない。三脚を利用した撮影映像と手持ちで撮影された映像は、それぞれ異なるアルゴリズムに対応させて解析する必要があるため、誤った判定を行うと、推定処理が破綻してしまう場合がある。
また、ハンディカメラ等を用いて、カメラ位置を変更しつつ撮影された映像の解析は計算コストが高く、三脚を用いて撮影した映像に適用した場合、不必要に計算資源を費やすことにもなる。

さらに、計算コストが高い処理が含まれるにもかかわらず、通常はカメラパラメータの推定に必要となる初期値（三脚を利用した撮影映像か否かなど）の設定が必要であり、映像の管理者等による手動の設定をなくすこと、つまり、自動化は困難であった。また、実際には、必要とする撮影映像について、ＶＦＸ（Visual Effects）などの作業を行うときになって初めてカメラパラメータの推定処理を開始することになるため、作業時間を拡大させる要因となっていた。

本発明は、以上のような問題を鑑みてなされたものであり、三脚を利用した撮影映像か否かの初期設定をすることなく、効率的にカメラパラメータの推定を可能とする、カメラパラメータ推定装置およびカメラパラメータ推定プログラムを提供することを課題とする。

前記課題を解決するために、本願第１発明のカメラパラメータ推定装置は、撮影カメラで撮影された撮影映像のカメラパラメータを推定するカメラパラメータ推定装置であって、映像取得手段と、グローバルモーション推定手段と、エッジ抽出手段と、三脚利用判定手段と、三脚用カメラパラメータ算出手段と、手持ち用カメラパラメータ算出手段と、カメラパラメータ出力手段と、を備える構成とした。

かかる構成によれば、カメラパラメータ推定装置は、映像取得手段によって、撮影映像が記憶されている記憶手段から、撮影映像を取得する。また、グローバルモーション推定手段によって、取得した撮影映像を構成するフレーム画像それぞれの特徴点を抽出し、基準となるフレーム画像において抽出された特徴点と、他のフレーム画像において抽出された特徴点との間で、同一の特徴点が対応付けられた対応点の探索を行うことにより、基準となるフレーム画像と他のフレーム画像との間の画面全体の移動量を示すグローバルモーションを推定する。
これにより、カメラパラメータ推定装置は、記憶手段から撮影映像を取得し、その撮影映像のフレーム画像から特徴点を抽出することにより、基準となるフレーム画像と他のフレーム画像との間のグローバルモーションを推定することができる。

また、カメラパラメータ推定装置は、エッジ抽出手段によって、フレーム画像それぞれについて、エッジの抽出を行う。そして、三脚利用判定手段によって、抽出されたエッジのうち、フレーム画像それぞれの間において対応点となる当該エッジの周辺を示す所定領域の画像の類似度を算出し、当該算出した類似度が所定の第１の閾値を超えた場合に、撮影映像が三脚を利用した映像であると判定し、当該算出した類似度が所定の第１の閾値以下の場合に、撮影映像が三脚を利用した映像でないと判定する。
これにより、カメラパラメータ推定装置は、フレーム画像それぞれについてエッジの抽出を行い、エッジ周辺の所定領域の画像の類似度を算出し、所定の第１の閾値を超えた場合に、三脚を利用した映像であると判定し、所定の第１の閾値以下の場合に、三脚を利用した映像でないと判定することができる。

また、カメラパラメータ推定装置は、三脚用カメラパラメータ算出手段によって、撮影映像が三脚を利用した映像であると判定された場合に、推定されたグローバルモーションで示される移動量を用いて、カメラパラメータを算出する。また、手持ち用カメラパラメータ算出手段によって、撮影映像が三脚を利用した映像でないと判定された場合に、フレーム画像それぞれに含まれる対応する特徴点を解析してカメラパラメータを算出する。そして、カメラパラメータ出力手段によって、三脚用カメラパラメータ算出手段により算出されたカメラパラメータ、または、手持ち用カメラパラメータ算出手段により算出されたカメラパラメータを、記憶手段に出力する。
これにより、カメラパラメータ推定装置は、撮影映像が三脚を利用した映像であるか否かが判定された場合に、当該判定に基づく最適なカメラパラメータの算出手段によりカメラパラメータを算出し、記憶手段に出力することができる。

このように、本願第１発明のカメラパラメータ推定装置は、三脚を利用した撮影映像か否かの初期値の設定をすることなくカメラパラメータの推定処理を実行することができる。また、三脚を利用した映像か否かの判定を行うことにより、三脚利用の映像に適したカメラパラメータ算出処理を実行できるため、不必要な計算コストの増大を抑制することができる。さらに、三脚利用か否かの判定に用いる情報を利用して、撮影映像のカメラパラメータを算出することができる。よって、本発明のカメラパラメータ推定装置は、トータルとして効率的なカメラパラメータ推定が可能となる。

また、本願第２発明のカメラパラメータ推定装置は、撮影カメラで撮影された撮影映像のカメラパラメータを推定するカメラパラメータ推定装置であって、映像取得手段と、グローバルモーション推定手段と、エッジ抽出手段と、近傍エッジフィッティング手段と、レンズ歪係数算出手段と、非剛体領域判定手段と、三脚利用判定手段と、三脚用カメラパラメータ算出手段と、手持ち用カメラパラメータ算出手段と、カメラパラメータ出力手段と、を備える構成とした。

かかる構成によれば、カメラパラメータ推定装置は、映像取得手段によって、撮影映像が記憶されている記憶手段から、撮影映像を取得する。また、グローバルモーション推定手段によって、取得した撮影映像を構成するフレーム画像それぞれの特徴点を抽出し、基準となるフレーム画像において抽出された特徴点と、他のフレーム画像において抽出された特徴点との間で、同一の特徴点が対応付けられた対応点の探索を行うことにより、基準となるフレーム画像と他のフレーム画像との間の画面全体の移動量を示す第１のグローバルモーションを推定する。
これにより、カメラパラメータ推定装置は、記憶手段から撮影映像を取得し、その撮影映像のフレーム画像から特徴点を抽出することにより、基準となるフレーム画像と他のフレーム画像との間の第１のグローバルモーションを推定することができる。

また、カメラパラメータ推定装置は、エッジ抽出手段によって、フレーム画像それぞれについて、エッジの抽出を行う。そして、近傍エッジフィッティング手段によって、抽出されたエッジについて、当該エッジに隣接するエッジの情報に基づき法線方向を求め、当該法線方向に設定した法線上で最近傍の他のフレーム画像のエッジの位置を決定し、基準となるフレーム画像のエッジの位置と、決定した他のフレーム画像のエッジの位置とから得たエッジの移動量を用いて、第２のグローバルモーションを算出する。
これにより、カメラパラメータ推定装置は、フレーム画像それぞれについてエッジの抽出を行い、基準となるフレーム画像のエッジの位置と、決定した他のフレーム画像のエッジの位置とから得たエッジの移動量を用いて、第２のグローバルモーションを算出することができる。

また、カメラパラメータ推定装置は、レンズ歪係数算出手段によって、第２のグローバルモーションで示される移動量を用いて、第１のグローバルモーションでの対応点の誤りを除去した上で、エッジ抽出手段により抽出されたエッジのうち、基準となるフレーム画像で検出されたエッジの位置についてレンズ歪を補正したエッジの位置と、他のフレーム画像で検出されたエッジの位置についてレンズ歪および第２のグローバルモーションの移動量を補正したエッジの位置との、距離が０に収束するように解析する最適化処理を行うことにより、レンズ歪係数を算出する。また、非剛体領域判定手段によって、フレーム画像それぞれを所定領域のブロックに分割し、基準となるフレーム画像のブロックと、それに対応する他のフレーム画像のブロックとの類似度を算出し、当該算出した類似度が所定の第２の閾値以下である場合に、他のフレーム画像のブロックを非剛体領域であると判定する。
これにより、カメラパラメータ推定装置は、レンズ歪係数を算出することができ、また、フレーム画像のブロックのうち類似度が第２の閾値以下であるブロックを非剛体領域と判定することができる。

また、カメラパラメータ推定装置は、三脚利用判定手段によって、フレーム画像それぞれについて、レンズ歪係数に基づく補正を行った上で、非剛体領域のブロックに含まれる特徴点を対象とせず、第２のグローバルモーションを更新し第３のグローバルモーションを算出するとともに、フレーム画像それぞれの間において対応点となるエッジの周辺を示す所定領域の画像の類似度を算出し、当該算出した類似度が所定の第１の閾値を超えた場合に、撮影映像が三脚を利用した映像であると判定し、当該算出した類似度が所定の第１の閾値以下の場合に、撮影映像が三脚を利用した映像でないと判定する。
これにより、カメラパラメータ推定装置は、レンズ歪係数に基づきレンズ歪の補正を行い、非剛体領域と判定されたブロックを処理対象から取り除くことにより、精度を向上させた上で、撮影映像が三脚を利用した映像か否かを判定することができる。

また、カメラパラメータ推定装置は、三脚用カメラパラメータ算出手段によって、撮影映像が三脚を利用した映像であると判定された場合に、第３のグローバルモーションで示される移動量を用いて、カメラパラメータを算出する。また、手持ち用カメラパラメータ算出手段によって、撮影映像が三脚を利用した映像でないと判定された場合に、フレーム画像それぞれに含まれる対応する特徴点を解析してカメラパラメータを算出する。そして、カメラパラメータ出力手段によって、三脚用カメラパラメータ算出手段により算出されたカメラパラメータ、または、手持ち用カメラパラメータ算出手段により算出されたカメラパラメータを、記憶手段に出力する。
これにより、カメラパラメータ推定装置は、撮影映像が三脚を利用した映像であるか否かが判定された場合に、当該判定に基づく最適なカメラパラメータの算出手段によりカメラパラメータを算出し、記憶手段に出力することができる。

このように、本願第２発明のカメラパラメータ推定装置は、三脚を利用した撮影映像か否かの初期値の設定をすることなくカメラパラメータの推定処理を実行することができる。また、近傍エッジフィッティング手段、レンズ歪係数算出手段および非剛体領域判定手段を備えることにより、精度を向上させて三脚を利用した映像か否かの判定を行うことができる。そして、この三脚を利用した映像か否かの判定により、三脚利用の映像に適したカメラパラメータ算出処理を実行できるため、不必要な計算コストの増大を抑制することができる。さらに、三脚利用か否かの判定に用いる情報を利用して、撮影映像のカメラパラメータを算出することができる。よって、本発明のカメラパラメータ推定装置は、トータルとして効率的なカメラパラメータ推定が可能となる。

なお、本願第１発明のカメラパラメータ推定装置、本願第２発明のカメラパラメータ推定装置のそれぞれは、コンピュータを、前記した各手段として機能させるためのカメラパラメータ推定プログラムで動作させることができる。

本発明によれば、三脚を利用した撮影映像か否かの初期設定をすることなく、効率的にカメラパラメータの推定をすることができる。

本実施形態に係るカメラパラメータ推定装置を含むカメラパラメータ推定システムの全体構成を示す図である。 本実施形態に係る近傍エッジフィッティング手段による近傍エッジフィッティング処理を説明するための図である。 グローバルモーションによる移動、回転を考慮したフレーム間のエッジの位置関係を示す図である。 グローバルモーションによる移動、回転を考慮したフレーム間のエッジの位置関係を示す図である。 本実施形態に係るカメラパラメータ推定装置の三脚利用判定手段が行うオクルージョン量の評価法を説明するための図である。 本実施形態に係るカメラパラメータ推定装置が行うカメラパラメータ推定処理（第１の処理例）を示すフローチャートである。 本実施形態に係るカメラパラメータ推定装置が行うカメラパラメータ推定処理（第２の処理例）を示すフローチャートである。 本実施形態に係るカメラパラメータ推定装置が行うカメラパラメータ推定処理（第３の処理例）を示すフローチャートである。 本実施形態に係るカメラパラメータ推定装置を含むカメラパラメータ推定システムの全体構成（第３の処理例の構成）を示す図である。

以下、本発明を実施するための形態（以下、「実施形態」という）について図面を参照して説明する。
まず、本実施形態に係るカメラパラメータ推定装置１が実行する処理の概要について説明する。

＜概要＞
本実施形態に係るカメラパラメータ推定装置１は、カメラパラメータの効率的な推定処理を実現するため、撮影映像が三脚に設置されたカメラにより撮影されたものなのか、それ以外のハンディカメラやクレーン等（以下、「手持ち等」と称する。）を利用して撮影されたものなのか、を判定した上で、三脚を利用して撮影された映像、手持ち等により撮影された映像のそれぞれにおいて推定処理手法を分別して実行する。このようにすることにより、本実施形態に係るカメラパラメータ推定装置１は、計算コストを抑え、かつ、頑健で効率的な映像解析によるカメラパラメータの推定を可能とする。

三脚を利用して撮影された映像と、手持ち等により撮影された映像とは、視差量が異なるものとなる。仮に被写体が剛体（静物）であるとし、カメラ位置に動きがある、つまり、手持ち等により撮影した場合には、撮影映像上において、カメラの動きと被写体の配置とに依存して一定以上のオクルージョン（カメラの移動に伴う視野の異なる領域）が生じる。一方、三脚を利用して撮影した場合、回転中心と、レンズ主点位置のズレに依存したオクルージョンが生じるものの僅かなものとなる。

カメラパラメータ推定装置１は、映像解析により、このオクルージョンの量を求め三脚を利用して撮影された映像か否かを判定する。このとき、カメラパラメータ推定装置１は、後記する、エッジフィッティング処理や、レンズ歪の補正、非剛体領域の判定処理を行うことにより精度向上を図る。また、オクルージョン評価の際に、撮影映像上の被写体の移動量が求まるため、これを三脚利用時のカメラパラメータとして算出する。カメラパラメータ推定装置１は、三脚を利用して撮影された映像ではない、つまり、手持ち等により撮影された映像であると判定した場合は、バンドルアジャストメントによる手法など、カメラ位置に動きのある場合の推定に適した手法を用いて処理を行う。

＜カメラパラメータ推定システム＞
次に、本実施形態に係るカメラパラメータ推定システムＳについて説明する。
図１は、本実施形態に係るカメラパラメータ推定装置１を含むカメラパラメータ推定システムＳの全体構成を示す図である。
図１に示すように、カメラパラメータ推定システムＳは、カメラＣａから入力された撮影映像を蓄積する映像アーカイブス１０００と、映像アーカイブス１０００と通信可能に接続されるカメラパラメータ推定装置１とを含んで構成される。

映像アーカイブス１０００は、撮影映像を蓄積する記憶手段を備えるコンピュータにより構成される。この映像アーカイブス１０００に蓄積される撮影映像には、撮影日時や、カメラの設定情報（シャッタースピードやレンズの状態）、画角、撮影対象に関する情報（被写体となる人物の名称や、撮影場所）等のメタデータが付されている。ただし、本実施形態の説明においては、映像アーカイブス１０００に初期状態で記憶される撮影映像のメタデータには、カメラパラメータの情報は付されていないものとする。
なお、映像アーカイブス１０００を、コンピュータ１台で構成してもよいし、複数台のコンピュータを連携させて構成してもよい。また、この映像アーカイブス１０００を、カメラパラメータ推定装置１に内包させて後記する記憶手段３０に備えさせるようにしてもよい。ただし、以降の本実施形態の説明においては、図１に示すように、映像アーカイブス１０００とカメラパラメータ推定装置１とが外部接続されるものとして説明する。
また、この映像アーカイブス１０００は、カメラＣａから新たな撮影映像が蓄積される毎や、所定の時間間隔、蓄積した撮影映像の出力指示情報（カメラパラメータの付与指示情報）を外部から受け付けたこと等を契機として、蓄積した撮影映像のうち、カメラパラメータが付されていない撮影映像を、カメラパラメータ推定装置１に出力する。

≪カメラパラメータ推定装置≫
次に、カメラパラメータ推定装置１の機能構成について、図１を参照して説明する。
カメラパラメータ推定装置１は、映像アーカイブス１０００から、メタデータが付された撮影映像を取得し、映像解析により、その撮影映像が三脚を利用して撮影された映像か否かを判定する。そして、カメラパラメータ推定装置１は、三脚を利用して撮影された映像と判定した場合、それ以外の手持ち等により撮影された映像と判定した場合のそれぞれに適した手法により、カメラパラメータの推定処理を実行する。カメラパラメータ推定装置１は、推定結果であるカメラパラメータを、その撮影映像のメタデータに付して、映像アーカイブス１０００に出力する。
このカメラパラメータ推定装置１は、図１に示すように、制御手段１０と、入出力手段２０と、記憶手段３０とを含んで構成される。

入出力手段２０は、映像アーカイブス１０００等との間の情報の入出力を行う。また、この入出力手段２０は、ネットワークに接続される通信回線や専用線等を介して情報の送受信を行う通信インタフェースと、図示を省略したキーボード等の入力手段やモニタ等の出力手段等との間で入出力を行う入出力インタフェースとから構成される。

制御手段１０は、カメラパラメータ推定装置１が実行する処理の全般を司り、映像取得手段１０１、グローバルモーション推定手段１０２、エッジ抽出手段１０３、近傍エッジフィッティング手段１０４、レンズ歪係数算出手段１０５、非剛体領域判定手段１０６、三脚利用判定手段１０７、三脚用カメラパラメータ算出手段１０８、手持ち用カメラパラメータ算出手段１０９、カメラパラメータ出力手段１１０を含んで構成される。なお、近傍エッジフィッティング手段１０４、レンズ歪係数算出手段１０５、非剛体領域判定手段１０６のそれぞれは、三脚利用か否かの判定やカメラパラメータ推定の精度をより向上させるための手段であるため、これらの手段のうちのいずれかまたはすべてを制御手段１０が含まない構成であってもよい（詳細は後記する。）。また、制御手段１０は、例えば、記憶手段３０に格納されたプログラム（カメラパラメータ推定プログラム）を、図示を省略したＣＰＵ（Central Processing Unit）が図示を省略したＲＡＭ（Random Access Memory）に展開し実行することで実現される。

映像取得手段１０１は、入出力手段２０を介して、映像アーカイブス１０００から撮影映像を取得し、記憶手段３０内の映像記憶手段３００に記憶する。なお、この映像取得手段１０１による撮影映像の取得は、前記したように、外部に設けられた映像アーカイブス１０００が送信してきた撮影映像を取得するものでもよいし、記憶手段３０内に映像アーカイブス１０００が設けられる場合には、記憶手段３０内の映像アーカイブス１０００から撮影映像を取得してもよい。
また、映像取得手段１０１が映像アーカイブス１０００から取得する撮影映像には、メタデータが付与されている。そして、このメタデータの中には、少なくとも、三脚利用判定手段１０７が利用する、一連で撮影された複数のフレーム（フレーム画像）からならショット区間を表わす情報と、三脚用カメラパラメータ算出手段１０８が利用するレンズズーム量の情報とが含まれるものとする。なお、詳細は後記する。

グローバルモーション推定手段１０２は、撮影映像の特徴点を抽出し、フレーム間での対応点探索を行うことにより、画面全体の動き（移動量）を示すグローバルモーションの推定値を算出する。
具体的には、グローバルモーション推定手段１０２は、撮影映像（動画）をフレーム単位で静止画として取り出し、例えば、ＳＵＲＦ（Speeded Up Robust Feature）を用いて特徴点を算出し、各フレームに対して対応点探索を行い、対応誤り除去を行う。ここでは、時系列で１つ後のフレームに対して対応点探索を行うものとする。また、対応誤り除去は、双方向（時系列で前後）で対応点探索を行い、同じ特徴点の位置に対応しない場合は誤りと判定する。

次に、グローバルモーション推定手段１０２は、対応する特徴点の移動量から、並進量と回転量とを求める。ここで、グローバルモーション推定手段１０２は、対応する特徴点間の特徴点移動ベクトルの平均値、つまり、各特徴量移動ベクトルの重心位置の移動量を並進量とする。また、グローバルモーション推定手段１０２は、回転量について、並進量分のオフセットを考慮した上で、画像中心を頂点として対応する特徴点間の角度の平均値を求め、回転量θとする。このグローバルモーション推定手段１０２が算出した並進量と回転量を、グローバルモーション推定値とし、以下において、その値を「ＧＭ１」（第１のグローバルモーション）と称する。なお、この「ＧＭ１」は、後記する「ＧＭ２」、「ＧＭ３」で示される、より精度を高めたグローバルモーション推定値と比較すると、荒い推定値を算出するものとして意味付けることができる。

なお、以下に示す説明において、グローバルモーション推定値等を算出する基準となるフレームを「Ａフレーム」とし、移動量を算出するフレームを「Ｂフレーム」とする。そして、Ａフレームのｎ番目の特徴点の位置（以下、「特徴点位置」「エッジ位置」と称することがある。）を（ｘａ_ｎ，ｙａ_ｎ）とし、Ｂフレームのｎ番目の特徴点位置（ｘｂ_ｎ，ｙｂ_ｎ）に画像中心でθ回転した上で並進量を加算したものを（ｘｂ'_ｎ，ｙｂ'_ｎ）とする。

このグローバルモーション推定手段１０２は、グローバルモーション推定値（並進量および回転量）の算出処理を繰り返し行う場合（２回目以降の場合）、レンズ歪係数算出手段１０５により直近で算出されたレンズ歪係数に基づく画像の補正を行うとともに、非剛体領域判定手段１０６が非剛体領域と判定したブロック内の特徴点を除外して、グローバルモーションの推定値の算出を行う。なお、詳細は後記する。

また、本実施形態においては、特徴点の抽出等の手法としてＳＵＲＦを用いるものとして説明するが、特徴点抽出や、その記述方法、対応点探索の対象フレームの選択方法、対応誤り除去方法は、これに限定されるものではない。例えば、特徴点として、ＳＩＦＴ（Scale Invariant Feature Transform）やＫＡＺＥの利用、対象フレームの選択方法として、前後フレームや、全フレーム総当たりでの処理も適用可能である。また、対応誤り除去方法として、対応点探索範囲の限定なども利用可能である。さらに、並進量および回転量の算出についても、ホモグラフィ（射影変換）を求めることにより、並進量および回転量を算出する手法を用いてもよい。

なお、ＳＵＲＦについては（参考文献１）、ＳＩＦＴについては（参考文献２）、ＫＡＸＥについては（参考文献３）、ホモグラフィについては（参考文献４）に詳しい。
（参考文献１）H. Bay, A. Ess, T. Tuytelaars, L. V. Gool:“Speeded-Up Robust Features(SURF),” 2008, Computer Vision and Image Understanding, Vol.110, No.3, pp.346-359
（参考文献２）藤吉ほか，「Gradientベースの特徴抽出 - SIFTとHOG -」, 2007年，情報処理学会 研究報告CVIM 160, pp.211-224
（参考文献３）P. F. Alcantarilla, A. Bartoli and A. J. Davison：“KAZE Features,” In European Conference on Computer Vision (ECCV), Fiorenze, Italy, October 2012.
http://www.robesafe.com/personal/pablo.alcantarilla/papers/Alcantarilla12eccv.pdf
（参考文献４）特開２０１４−１３４８５６号公報

エッジ抽出手段１０３は、処理対象となる撮影映像の各フレームに対し、エッジ抽出を行う。エッジ抽出手段１０３は、例えば、ｓｏｂｅｌフィルタを用いて、輝度の勾配画像を作成し、さらにエッジを取り出すための非極大値除去を行う。
ただし、このエッジ抽出手段１０３のエッジ抽出処理は、このｓｏｂｅｌフィルタを用いた手法に限定されず、輝度勾配の画像の作成にｃａｎｎｙフィルタを利用してもよい。また、エッジの取り出しに、輝度の絶対値をとって閾値処理するなどの手法や、細線化処理（二値化された画像において、線の中心１画素分だけ残すように線を細くする処理）を利用してもよい。なお、ｓｏｂｅｌフィルタやｃａｎｎｙフィルタ等を用いたエッジ抽出処理は、例えば、特開２００６−１７０９９５号公報等に詳しい。

近傍エッジフィッティング手段１０４は、エッジ抽出手段１０３により抽出されたエッジ画像に対し、以下において説明するエッジフィッティング処理を行うことにより、グローバルモーション推定手段１０２が算出したグローバルモーション推定値を更新する。この近傍エッジフィッティング手段１０４による近傍エッジフィッティング処理は、グローバルモーション推定値や三脚利用判定処理等の精度をさらに向上させるために行われる。

図２は、本実施形態に係る近傍エッジフィッティング手段１０４による近傍エッジフィッティング処理を説明するための図である。
図２（ａ）は、基準となるＡフレームの撮影画像を表し、図２（ｂ）は、エッジ抽出手段１０３により、エッジ抽出処理がされた結果としてのＡフレームのエッジ画像を表す。
ここで、近傍エッジフィッティング手段１０４は、以下に示すエッジフィッティング処理を行う。まず、近傍エッジフィッティング手段１０４は、図２（ｂ）に示すＡフレームのエッジ画像において、ラインスキャンすることによりフレーム内のエッジを探索する。そして、近傍エッジフィッティング手段１０４は、見つかったエッジに関して、図２（ｃ）に示すように、隣接するエッジの情報から法線方向を求め、その法線方向に設定した法線上で最近傍のＢフレームのエッジの相対的な位置を求める。なお、図２（ｃ）において、Ａフレームのエッジを実線で表し、Ｂフレームのエッジを破線で表している。また、近傍エッジフィッティング手段１０４が実行するＢフレームの探索基準は、グローバルモーション推定手段１０２が算出した「ＧＭ１」分のオフセットをかけたものとする。

近傍エッジフィッティング手段１０４は、この近傍エッジフィッティング処理を、Ａフレーム内のすべてのエッジに関して行う。そして、近傍エッジフィッティング手段１０４は、Ａフレーム内の各エッジに対するＢフレームにおける相対的な位置を利用し、グローバルモーション推定手段１０２が用いた手法と同様に、対応するエッジの移動量から、並進量と回転量とを求める。このようにすることにより、グローバルモーション推定手段１０２が算出した「ＧＭ１」の並進量と回転量について、さらに精度を向上させたグローバルモーション推定値を算出することができる。なお、この近傍エッジフィッティング手段１０４が算出した並進量と回転量で示されるグローバルモーション推定値を、以下において、「ＧＭ２」（第２のグローバルモーション）と称する。

図１に戻り、レンズ歪係数算出手段１０５は、それまでの直近で算出されたグローバルモーションの推定値に基づき、レンズ歪係数を算出する。
なお、このレンズ歪係数算出手段１０５による、レンズ歪係数算出処理も、グローバルモーション推定値や三脚利用判定処理等の精度をさらに向上させるために行うものである。

レンズ歪係数算出手段１０５は、まず、事前処理として、それまでの直近で算出されたグローバルモーションの推定値、つまり、近傍エッジフィッティング手段１０４が「ＧＭ２」を算出している場合には、その「ＧＭ２」を基準として、グローバルモーション推定手段１０２が算出した「ＧＭ１」での対応点の誤りを除去する。具体的には、レンズ歪係数算出手段１０５は、ユークリッド距離を基準とし、「ＧＭ２」の移動量を超える距離で対応点として対応付けられているエッジ点を評価対象から除外する。
続いて、レンズ歪係数算出手段１０５は、次に示すレンズ歪係数算出処理を実行する。

ここで、レンズ歪は、以下の式（１）で表わされる。

この式（１）は、レンズ歪のない状態の２次元座標位置（ｘ'，ｙ'）を、歪のかかった２次元座標（ｘ”，ｙ”）に写像するものである。なお、「κ」は半径方向の歪係数、「ｐ」は、円周方向（接線方向）の歪係数である。「ｒ」は、画像中心からの距離である。
本実施形態において、レンズ歪係数算出手段１０５は、「κ_１」、「κ_２」のみを求めるものとする。つまり、「κ_３」や「ｐ_１」「ｐ_２」は省略し近似式とする。したがって、式（１）の近似式から、以下の式（２）、式（３）を導出できる。

ここで、ｘ”，ｙ”については、エッジ位置（後記する繰り返し処理を実行した場合にはＧＭ３を考慮した位置）から既知である。したがって、「ｒ」についてもそれぞれの画像中心からの距離として既知であり、「κ_１」「κ_２」以外は既知となる。しかしながら、ノイズを含む等の理由から実際にこの方程式を解くことは困難である。したがって、本実施形態において、レンズ歪係数算出手段１０５は、レーベンバーグマーカート法を用いて最適化することにより、レンズ歪係数「κ_１」「κ_２」を算出する。

以下、この最適化について、図３および図４を参照して説明する。
図３および図４は、グローバルモーションによる移動、回転を考慮したフレーム間のエッジの位置関係を示す図である。

図３において、エッジの位置は、以下に示すものである。
（ｘａ_ｎ”，ｙａ_ｎ”）は、Ａフレームにおいて検出したエッジ位置を表す。
（ｘｂ_ｎ”，ｙｂ_ｎ”）は、Ｂフレームにおいて検出したエッジ位置を表す。
（ｘａ_ｎ’，ｙａ_ｎ’）は、Ａフレームにおいて検出したエッジ位置の歪を補正した位置を表す。
（ｘｂ_ｎ’，ｙｂ_ｎ’）は、Ｂフレームにおいて検出したエッジ位置の歪を補正した位置を表す。
ｒａ_ｎ、ｒｂ_ｎは、それぞれＡフレーム、Ｂフレームの画像中心からエッジまでの距離を表わす。
ただし、以上の点は、それぞれのフレームの２次元画像の座標系を基準としたもの、つまり、画像中心を原点とするものである。

ここで、レンズ歪を補正したＡフレームのｎ番目のエッジ位置（Ｐａ１_ｎ，Ｐａ２_ｎ）、および、レンズ歪とグローバルモーションとを補正したＢフレームのｎ番目のエッジ位置（Ｐｂ１_ｎ，Ｐｂ２_ｎ）は、上記した式（２）および式（３）に基づき、以下の、式（４）〜式（７）で表わされる。

このとき、ＡフレームおよびＢフレームから得られるｎ番目のエッジ位置は、本来同一の被写体部位であり歪がなければいずれも図４の（ｘ_ｎ’，ｙ_ｎ’）となる。よって、レンズ歪を補正したＡフレームのｎ番目のエッジ位置（Ｐａ１_ｎ，Ｐａ２_ｎ）と、レンズ歪とグローバルモーションとを補正したＢフレームのｎ番目のエッジ位置（Ｐｂ１_ｎ，Ｐｂ２_ｎ）との間の距離、つまり、エッジ間の距離は「０」に収束することとなる。これに基づき、最適化の評価式が、式（８）で表わされる。ここで、評価値「Ｃ_ｄ」は、エッジ間の距離の平均値を表わし、「ｋ」は、ＡフレームとＢフレームにおいて対応するエッジの数を表わす。

ここで、図４の（ｘａ_ｎ”，ｙａ_ｎ”）は、Ａフレームの歪補正前のエッジ位置である。
（ｘｂ_ｎ''’、ｙｂ_ｎ'''）は、Ｂフレームの歪補正前の対応するエッジ位置であり、（ｘｂ_ｎ”，ｙｂ_ｎ”）に対し、グローバルモーションの回転、並進量を逆に射影したものである。
また、エッジ位置を示す点（Ｐａ１_ｎ，Ｐａ２_ｎ）は、（ｘａ_ｎ”，ｙａ_ｎ”）のレンズ歪を補正した座標、つまり、（ｘａ_ｎ'，ｙａ_ｎ'）であり、点（Ｐｂ１_ｎ，Ｐｂ２_ｎ）は、（ｘｂ_ｎ'''，ｙｂ_ｎ'''）のレンズ歪とグローバルモーションとを補正した座標、つまり、（ｘｂ_ｎ'，ｙｂ_ｎ'）である。
レンズ歪係数算出手段１０５は、このように、レーベンバーグマーカート法により最適化することで、レンズ歪係数「κ_１」「κ_２」を算出する。

図１に戻り、非剛体領域判定手段１０６は、各フレームの中の非剛体（例えば、人物等）の映る領域を判定する。非剛体（例えば、人物等）は、カメラの動きとは関係なくその人物自体が移動するため、非剛体を処理対象に含めると、三脚利用か否かの判定や、カメラパラメータの算出にとっては精度の低下をまねく。よって、カメラパラメータ推定装置１は、非剛体の領域を、処理対象から取り除くことにより精度を向上させる。

この非剛体領域判定手段１０６は、具体的には、各フレームをＮ×Ｍに分割し、各ブロックに対し、Ａフレーム、Ｂフレームの色ヒストグラムを比較し、類似度が低いブロックを非剛体の領域と判定する。
非剛体領域判定手段１０６は、例えば、各フレームを１６×９に分割し、ヒストグラムの比較には、色ヒストグラムインターセクションを利用し、所定の閾値（所定の第２の閾値）（例えば、「０．５」とする。）以下であれば、そのブロックが、非剛体領域であると判定する。
なお、色ヒストグラムインターセクションについては、次に示す三脚利用判定手段１０７においても説明するが、（参考文献５）に詳しい。
（参考文献５）M. J. Swain , D. H. Ballard,“ Color indexing,” International Journal of Computer Vision, v.7 n.1, p.11-32, Nov. 1991

三脚利用判定手段１０７は、それまでに求めた情報を利用し、撮影映像が三脚を利用して撮影した映像か否かを判定する。その際、三脚利用判定手段１０７は、それまでに求めた情報（レンズ歪係数や、非剛体領域の情報等のそれぞれ）を利用し、グローバルモーション推定手段１０２が推定したグローバルモーションを更新する。
具体的には、三脚利用判定手段１０７は、レンズ歪係数算出手段１０５が算出したレンズ歪係数を用いて、ＡフレームおよびＢフレームに対し、レンズ歪の補正処理を行う。そして、三脚利用判定手段１０７は、非剛体領域判定手段１０６が非剛体領域と判定したブロック内に関しては、特徴点抽出および対応点探索の対象とせず、再度、グローバルモーション推定手段１０２を介して、グローバルモーション推定処理を行う。さらに、三脚利用判定手段１０７は、ここで算出されたグローバルモーションに基づき、近傍エッジフィッティング手段１０４を介して、エッジフィッティング処理を行うことにより、グローバルモーションを更新する。なお、このようにして三脚利用判定手段１０７により算出されたグローバルモーション推定値（並進量と回転量）を、「ＧＭ３」（第３のグローバルモーション）と称する。

続いて、三脚利用判定手段１０７は、レンズ歪係数算出手段１０５が算出したレンズ歪を補正した画像と、それ以前の最新のグローバルモーション（ここでは、「ＧＭ３」）とに基づき、ＡフレームとＢフレームのオクルージョン量の算出を行う。
なお、以下において、まず、２つのフレーム（ＡフレームとＢフレーム）について行う三脚利用の判定処理を説明し、その後、複数のフレームからなるショット区間での三脚利用の判定処理を説明する。

（２つのフレーム間の三脚利用判定処理）
三脚利用判定手段１０７は、撮影映像が三脚を利用して撮影された映像か否かの判定を、エッジ抽出手段１０３が抽出したエッジ画像から得られるエッジ部周辺のオクルージョン量を評価することにより行う。また、三脚利用判定手段１０７は、このエッジ部周辺のオクルージョン量の評価法として、色ヒストグラムインターセクションを用いる。

図５は、本実施形態に係るカメラパラメータ推定装置１の三脚利用判定手段１０７が行うオクルージョン量の評価法を説明するための図である。
図５（ａ）に示すように、エッジ画像において、エッジの存在する部位の周囲Ｌ×Ｌ画素を、Ａフレーム、Ｂブロックそれぞれの対象エッジ近傍ブロックとする。ここで、図５（ａ）の左図は、レンズ歪を補正した画像であり、対象エッジ近傍ブロックである「α_Ａ」の位置を表わす。また、図５（ａ）の右図は、レンズ歪を補正した画像であり、Ａフレームの対象エッジ近傍ブロック「α_Ａ」に対応する、Ｂフレームの対象エッジ近傍ブロック「α_Ｂ」の位置を表わす。なお、この対象エッジ近傍ブロック「α_Ｂ」の位置は、直近のグローバルモーション（ここでは「ＧＭ３」）の並進量と回転量とに基づき補正されたものである。

そして、三脚利用判定手段１０７は、そのＡフレームとＢフレームの対象エッジ近傍ブロック（「α_Ａ」「α_Ｂ」）の色ヒストグラムの類似度（評価値）を示す色ヒストグラムインターセクションＤを、以下の式（９）により求める。なお、「ｈａ_ｉ」は、Ａフレームの色ヒストグラムを表わし、「ｈｂ_ｉ」はＢフレームの色ヒストグラムを表わす。

このオクルージョン評価においては、対象とするエッジ近傍ブロック内のＲＧＢ各色の輝度を４つ段階のＢＩＮ（総計ｎ＝１２のＢＩＮ）に量子化し、そのブロックに含まれる各画素の色からヒストグラムを作成し、Ｓｗａｉｎらの手法（前記した参考文献５）により、色ヒストグラムインターセクションを求めるものとする。ただし、本実施形態におけるエッジ周辺の類似度評価法としてＳｗａｉｎらの手法に限定するものではない。

三脚利用判定手段１０７は、前記したＳｗａｉｎらの手法により、図５（ｂ）に示すような色ヒストグラムをＡフレーム（左図）、Ｂフレーム（右図）それぞれについて求める。そして、図５（ｃ）に示す式（前記した式（９）と同等の式）により、色ヒストグラムインターセクションＤを算出する。
続いて、三脚利用判定手段１０７は、エッジ画像の各対象近傍ブロックにおいて算出した色ヒストグラムインターセクションＤのうち、「０．５」を超えるブロックを抽出し、そのブロックの数とそのブロックの色ヒストグラムインターセクションＤの値の総和を求める。そして、三脚利用判定手段１０７は、色ヒストグラムインターセクションＤの平均値を求め、所定の閾値（所定の第１の閾値）（例えば、「０．８」）を超える場合に、三脚利用であると判定する。なお、色ヒストグラムインターセクションＤの値が「０．５」以下を判定の対象外とするのは、極端に類似していない画像を取り除くことにより、誤って異なるブロックを対象ブロックとして算出していた場合や、非剛体判定に漏れがあり、非剛体自身の移動により色ヒストグラムがＡフレームとＢフレームとで極端に異なる場合等を排除するためである。

（ショット区間の三脚利用判定処理）
次に、三脚利用判定手段１０７が行う、複数のフレームからなるショット区間での三脚利用の判定処理を説明する。このショット区間での三脚利用の判定処理は、前記した２フレーム間での三脚利用の判定結果（色ヒストグラムインターセクションＤの平均値）を利用して行ってもよいし、各フレームのエッジ画像の中で、エッジの強い（例えば、輝度勾配の値が大きい）順に、所定数のエッジを選択して色ヒストグラムインターセクションＤを計算し、その平均値を求めるようにしてもよい。

そして、三脚利用判定手段１０７は、取得した撮影映像に付与されたメタデータに含まれる、ショット区間の情報（一連で撮影された複数のフレームの情報）を用いて、このショット区間のフレーム数を「ｎ」とし、以下に示す、式（１０）および式（１１）を用いて、そのショット区間の映像が三脚を利用したものか否かを判定する。

三脚利用判定手段１０７は、ショット区間において、そのフレームの色ヒストグラムインターセクションＤ（ここでは、前記した各フレームにおける「Ｄ」の平均値を、当該フレームの「Ｄ」値とする。）が、閾値Ｔｈ_Ｄ（例えば、「０．８」）を超えるか否かを判定する。具体的には、式（１０）に基づき、閾値Ｔｈ_Ｄを超える場合には「１」とし、閾値Ｔｈ_Ｄ以下である場合には「０」とする。

次に、三脚利用判定手段１０７は、式（１１）に示すように、閾値Ｔｈ_Ｄを超えるフレーム数、つまり、三脚利用と推定されるフレーム数を集計し、ショット区間の総フレーム数ｎで除算して評価値「Ｄ_ｒ」を求める。そして、三脚利用判定手段１０７は、評価値「Ｄ_ｒ」が、閾値Ｔｈ_Ｖ（例えば、「０．９」）を超えた場合に、そのショット区間が三脚を利用して撮影されたものと判定する。
このようにすることにより、三脚利用判定手段１０７は、ショット区間単位で、そのショット区間内の撮影映像が三脚を利用したものか否かを判定することができる。

なお、三脚利用判定手段１０７は、上記の手法以外にも、例えば、次に示す手法で、ショット区間での三脚利用を判定してもよい。
三脚利用判定手段１０７は、該当するショット区間内で、各フレームで得られた色ヒストグラムインターセクションＤの値を用いて、その色ヒストグラムインターセクションＤについてのヒストグラムを作成する。なお、ここでは、前記した手法と同様の手法を用いて、フレーム内における色ヒストグラムインターセクションＤの平均値を求め、その「Ｄ」の平均値を、当該フレームの「Ｄ」の値とする。また、三脚利用判定手段１０７は、ヒストグラムのＢＩＮとなる「Ｄ」の値（「０」〜「１」）を、例えば１０等分し、各フレームの「Ｄ」の値が「０」以上「０．１」未満の「Ｄ」値をＢＩＮ「０」とし、「０．１」以上「０．２」未満の「Ｄ」値をＢＩＮ「０．１」とし、「０．２」以上「０．３」未満の「Ｄ」値をＢＩＮ「０．２」とし、・・・、「０．８」以上「０．９」未満の「Ｄ」値をＢＩＮ「０．８」とし、「０．９」以上「１．０」以下の「Ｄ」値をＢＩＮ「０．９」として、ヒストグラムを作成する。

そして、三脚利用判定手段１０７は、作成した各フレームの「Ｄ」値についてのヒストグラムにおいてピークとなるＢＩＮの値を、そのショット区間のオクルージョンの状態を表わすものと仮定し、そのピークとなるＢＩＮの値が、閾値Ｔｈ_{ＨｉｓｔＤ}を超えた場合に、三脚利用と判定する。この閾値Ｔｈ_{ＨｉｓｔＤ}の値は、実験結果では「０．８」とすることにより、安定的な判定を行うことが可能であった。

図１に戻り、三脚用カメラパラメータ算出手段１０８は、三脚利用判定手段１０７が、三脚利用と判定した撮影映像について、直近で算出されたグローバルモーション（ここでは、「ＧＭ３」）を基準に、カメラパラメータを算出する。
ここでは、三脚用カメラパラメータ算出手段１０８が、取得した撮影映像に付与されたメタデータに含まれるレンズズーム量と、算出された直近のグローバルモーション値（並進量と回転量）とを用いて、カメラの仰角（俯角）、方位角を算出し、カメラパラメータとして出力する。
なお、三脚用カメラパラメータ算出手段１０８は、仰角（俯角）、方位角の出力形式ではなく、回転行列の形式で、カメラパラメータを出力するようにしてもよい。

手持ち用カメラパラメータ算出手段１０９は、三脚利用判定手段１０７が、三脚利用でないと判定した撮影映像について、バンドルアジャストメント（前記した特許文献２参照）等によるカメラパラメータ推定処理を行う。なお、このバンドルアジャストメントでは、異なる位置から撮影した複数のフレームに含まれる対応する特徴点を解析して、その特徴点の位置を１つの収束させる処理を行い、各フレームのカメラパラメータを求める。

カメラパラメータ出力手段１１０は、三脚用カメラパラメータ算出手段１０８、または、手持ち用カメラパラメータ算出手段１０９により算出されたカメラパラメータの情報を、取得した撮影映像のメタデータに付し、入出力手段２０を介して、映像アーカイブス１０００に出力する。

＜処理の流れ＞
次に、カメラパラメータ推定装置１の動作について説明する。
本実施形態に係るカメラパラメータ推定装置１のカメラパラメータ推定処理について、以下３つの処理例について説明する。
「第１の処理例」は、制御手段１０（図１参照）に備わる、近傍エッジフィッティング手段１０４、レンズ歪係数算出手段１０５および非剛体領域判定手段１０６が行う精度向上のための処理をすべて含んだカメラパラメータ推定処理である。「第２の処理例」は、算出したレンズ歪の情報を用いて映像を補正し、非剛体領域を処理対象から除外した上で、第１の処理を繰り返すことにより、カメラパラメータ推定処理の精度をさらに向上させる例である。「第３の処理例」は、制御手段１０に、近傍エッジフィッティング手段１０４、レンズ歪係数算出手段１０５および非剛体領域判定手段１０６を備えない構成とすることにより、処理負荷を軽減し、計算速度を向上させる例である。以下、３つの処理例について具体的に説明する。

≪カメラパラメータ推定の第１の処理例≫
カメラパラメータ推定の第１の処理例は、図１に示したカメラパラメータ推定装置１の制御手段１０内の各手段がすべて備わる場合の処理である。
図６は、本実施形態に係るカメラパラメータ推定装置１が行うカメラパラメータ推定処理（第１の処理例）を示すフローチャートである。

まず、カメラパラメータ推定装置１の映像取得手段１０１は、映像アーカイブス１０００から、メタデータが付与された撮影映像を取得する（ステップＳ１０）。
続いて、カメラパラメータ推定装置１のグローバルモーション推定手段１０２は、例えば、ＳＵＲＦを用いて撮影映像の各フレームにおいて特徴点を抽出することにより、グローバルモーション推定値を算出する（ステップＳ１１：特徴点を利用したグローバルモーション推定処理）。このとき、グローバルモーション推定手段１０２は、各フレームに対して対応点探索を行い、対応誤り除去を行う。
なお、このとき、グローバルモーション推定手段１０２がグローバルモーション推定値として算出した並進量と回転量が「ＧＭ１」である。

次に、カメラパラメータ推定装置１のエッジ抽出手段１０３は、例えば、Ｓｏｂｅｌフィルタを用いて、各フレームに対し、エッジ抽出を行う（ステップＳ１２）。
そして、カメラパラメータ推定装置１の近傍エッジフィッティング手段１０４は、エッジ抽出手段１０３により抽出されたエッジ画像に対し、図２において説明したエッジフィッティング処理を実行することにより、グローバルモーション推定手段１０２が算出した「ＧＭ１」について、さらに精度を向上させたグローバルモーション推定値を算出する（ステップＳ１３：近傍エッジフィッティングによるグローバルモーション更新処理）。ここで、近傍エッジフィッティング手段１０４により算出される更新されたグローバルモーション推定値（並進量と回転量）が「ＧＭ２」である。

続いて、カメラパラメータ推定装置１のレンズ歪係数算出手段１０５は、「ＧＭ２」を基準に、グローバルモーション推定手段１０２が「ＧＭ１」を算出する際に求めた対応点の誤りを除去した上で、レンズ歪係数を算出する（ステップＳ１４）。
ここで、レンズ歪係数算出手段１０５は、レンズ歪を補正したＡフレームのエッジ位置と、レンズ歪およびグローバルモーション（ＧＭ２）を補正したＢフレームのエッジ位置との距離が「０」に収束することに基づく最適化処理を行うことにより、レンズ歪係数を算出する。なお、ここで算出される評価値Ｃ_ｄ（式（８）参照）は、前記したように、ＡフレームとＢフレームの対応するエッジ間の距離の平均値を表わす。

そして、カメラパラメータ推定装置１の非剛体領域判定手段１０６は、各フレーム内の領域を複数のブロックに分割し、色ヒストグラムインターセクションを利用することにより、ＡフレームとＢフレームとの類似度を評価し、所定の閾値以下であれば、そのブロックを非剛体の領域であると判定する（ステップＳ１５）。

続いて、三脚利用判定手段１０７は、レンズ歪と非剛体領域に基づくグローバルモーションの更新処理を行う（ステップＳ１６）。
具体的には、三脚利用判定手段１０７は、ステップＳ１４においてレンズ歪係数算出手段１０５が算出したレンズ歪係数を用いて、ＡフレームおよびＢフレームに対し、レンズ歪の補正処理を行う。そして、三脚利用判定手段１０７は、ステップＳ１５において非剛体領域と判定されたブロック内に関しては、特徴点抽出および対応点探索の対象とせず、再度、グローバルモーション推定手段１０２を介して、グローバルモーション推定処理を行う。さらに、三脚利用判定手段１０７は、そこで算出されたグローバルモーションに基づき、近傍エッジフィッティング手段１０４を介して、エッジフィッティング処理を行うことにより、グローバルモーションを更新する。なお、ここで、三脚利用判定手段１０７により算出されたグローバルモーション推定値（並進量と回転量）が「ＧＭ３」である。

次に、三脚利用判定手段１０７は、エッジ画像から得られるエッジ部周辺のオクルージョン量を、色ヒストグラムインターセクションＤを用いて評価することにより、撮影映像が三脚を利用して撮影された映像か否かを判定する（ステップＳ１７）。このとき、三脚利用判定手段１０７は、撮影映像に付されたメタデータに含まれるショット区間の情報を用いて、ショット区間毎に撮影映像が三脚を利用して撮影したか否かを判定する。
そして、三脚利用判定手段１０７が、三脚利用と判定した場合（ステップＳ１７→Ｙｅｓ）、次のステップＳ１８に進み、三脚利用でないと判定した場合（ステップＳ１７→Ｎｏ）、次のステップＳ１９に進む。

ステップＳ１８において、三脚用カメラパラメータ算出手段１０８は、撮影映像に付与されたメタデータに含まれるレンズズーム量と、「ＧＭ３」で示されるグローバルモーション値とを用いて、カメラパラメータを算出する。
一方、ステップＳ１９において、手持ち用カメラパラメータ算出手段１０９は、バンドルアジャストメント（前記した特許文献２参照）等の手法を用いて、カメラパラメータを算出する。

続いて、カメラパラメータ出力手段１１０は、三脚用カメラパラメータ算出手段１０８または手持ち用カメラパラメータ算出手段１０９により算出されたカメラパラメータの情報を、撮影映像のメタデータに付し、映像アーカイブス１０００に出力する（ステップＳ２０）。

≪カメラパラメータ推定の第２の処理例≫
次に、カメラパラメータ推定の第２の処理例について説明する。
図７は、本実施形態に係るカメラパラメータ推定装置１が行うカメラパラメータ推定処理（第２の処理例）を示すフローチャートである。
図６に示した第１の処理例と、図７で示す第２の処理例との違いは、ステップＳ１７の撮影映像が三脚を利用して撮影された映像か否かの判定の前に、ステップＳ１１〜Ｓ１６を繰り返すか否かの判定処理を設け、エッジ間の距離の平均値が所定の閾値以下になるまで、グローバルモーション等の更新処理を繰り返すことである。これにより三脚利用か否かの判定およびカメラパラメータ推定値の精度をさらに向上させることができる。
なお、図７においては、図６において説明した同一の処理については、同一のステップ番号を付し、説明を省略する。

まず、カメラパラメータ推定装置１は、図６と同様に、ステップＳ１０〜Ｓ１６の処理を実行することにより、三脚利用判定手段１０７が、グローバルモーション推定値（並進量と回転量）として「ＧＭ３」を算出する。
続いて、三脚利用判定手段１０７は、ステップＳ３０において、直近で算出されたグローバルモーション（ここでは、「ＧＭ３」）での対応点（エッジ位置）に基づき、前記した式（８）で示されるエッジ間の距離の平均値（評価値「Ｃ_ｄ」）を算出する。そして、三脚利用判定手段１０７は、そのエッジ間の距離の平均値（評価値Ｃ_ｄ）が所定の閾値Ｔｈ_ｉ（所定の第３の閾値）（例えば、「０．８」）を超えるか否かを判定する。
ここで、所定の閾値Ｔｈ_ｉを超える場合には（ステップＳ３０→Ｙｅｓ）、ステップＳ１１に戻って処理を続ける。なお、２回目以降の繰り返し処理のステップＳ１１において、グローバルモーション推定手段１０２は、レンズ歪係数算出手段１０５により直近で算出されたレンズ歪係数に基づく画像の補正を行うとともに、非剛体領域判定手段１０６が非剛体領域と判定したブロック内の特徴点を除外して、グローバルモーションの推定値の算出を行う。また、ステップＳ１２のエッジ抽出処理は、１回目に行っているため、２回目以降は実行しないようにしてもよい。それ以降の処理は、図６に示したステップＳ１３〜Ｓ１６の処理と同様である。

一方、三脚利用判定手段１０７は、ステップＳ３０において、そのエッジ間の距離の平均値（評価値Ｃ_ｄ）が所定の閾値Ｔｈ_ｉ（例えば、「０．８」）以下である場合（ステップＳ３０→Ｎｏ）、撮影映像が三脚を利用して撮影された映像か否かを判定するステップＳ１７に進む。それ以降の処理は、図６に示したステップＳ１８〜Ｓ２０の処理と同様である。

このようにすることにより、カメラパラメータ推定装置１は、エッジ間の距離の平均値で示される評価値「Ｃ_ｄ」を所定の閾値Ｔｈ_ｉ以下まで収束させることができる。よって、カメラパラメータ推定の第２の処理例では、第１の処理例よりもさらに精度を向上させて、三脚利用か否かの判定と、カメラパラメータ推定値の算出とを実行することができる。

≪カメラパラメータ推定の第３の処理例≫
次に、カメラパラメータ推定の第３処理例について説明する。
図８は、本実施形態に係るカメラパラメータ推定装置１が行うカメラパラメータ推定処理（第３の処理例）を示すフローチャートである。
第３の処理例を実行するカメラパラメータ推定装置１の制御手段１０は、図１に示した構成と比べると、図９に示すように、近傍エッジフィッティング手段１０４、レンズ歪係数算出手段１０５および非剛体領域判定手段１０６を備えていない。この構成の相違に伴う、図６に示した第１の処理例と、図８に示すこの第３の処理例との違いは、近傍エッジフィッティング手段１０４が実行するステップＳ１３、レンズ歪係数算出手段１０５が実行するステップＳ１４、非剛体領域判定手段１０６が実行するステップＳ１５、および、三脚利用判定手段１０７が実行する、レンズ歪と非剛体領域に基づくグローバルモーションの更新処理（ステップＳ１６）の各処理を含まない点である。

よって、図８に示すように、ステップＳ１１においてグローバルモーション推定手段１０２が算出したグローバルモーション推定値（「ＧＭ１」の並進量と回転量）、および、エッジ抽出手段１０３が抽出したエッジ画像に基づき、三脚利用判定手段１０７が、そのエッジ画像から得られるエッジ部周辺のオクルージョン量に基づき、撮影映像が三脚を利用して撮影された映像か否かを判定する（ステップＳ１７）。それ以降の処理は、図６に示したステップＳ１８〜Ｓ２０の処理と同様である。

このようにすることにより、第３の処理例を実行するカメラパラメータ推定装置１は、第１の処理例よりもさらに処理負荷を軽減し、計算速度を向上させた上で、三脚利用か否かの判定と、カメラパラメータ推定値の算出とを実行することができる。

以上説明したように、本実施形態に係るカメラパラメータ推定装置１およびカメラパラメータ推定プログラムによれば、三脚を利用した撮影映像か否かの初期設定をすることなく、効率的にカメラパラメータの推定を可能とすることができる。
つまり、三脚を利用した撮影映像か否かの初期値の設定をすることなくカメラパラメータの推定処理を自動化することができる。また、三脚を利用した映像か否かの判定を行うことにより、三脚利用の映像に適したカメラパラメータ算出処理を実行できるため、不必要な計算コストの増大を抑制することができる。さらに、三脚利用か否かの判定処理とともに、その判定に用いる情報を利用して、撮影映像のカメラパラメータを算出することができる。よって、トータルとして効率的なカメラパラメータ推定が可能となる。

なお、本発明は、ここで説明した実施形態に限定されるものではない。例えば、第３の処理例を実行する構成に加えて、カメラパラメータ推定装置１は、近傍エッジフィッティング手段１０４、レンズ歪係数算出手段１０５、非剛体領域判定手段１０６のいずれか１つ、または、その組み合わせを追加して制御手段１０に備えるようにし、精度を向上させるようにしてもよい。また、その際に、三脚利用判定手段１０７が、図７のステップＳ３０で示したように、エッジ間の距離の平均値（評価値「Ｃ_ｄ」）を算出し、その値が所定の閾値Ｔｈ_ｉを超える場合に、グローバルモーション値を算出する処理等を繰り返し、精度を向上させるようにしてもよい。

１ カメラパラメータ推定装置
１０ 制御手段
２０ 入出力手段
３０ 記憶手段
１０１ 映像取得手段
１０２ グローバルモーション推定手段
１０３ エッジ抽出手段
１０４ 近傍エッジフィッティング手段
１０５ レンズ歪係数算出手段
１０６ 非剛体領域判定手段
１０７ 三脚利用判定手段
１０８ 三脚用カメラパラメータ算出手段
１０９ 手持ち用カメラパラメータ算出手段
１１０ カメラパラメータ出力手段
３００ 映像記憶手段
１０００ 映像アーカイブス
Ｓ カメラパラメータ推定システム

Claims (7)

1. 撮影カメラで撮影された撮影映像のカメラパラメータを推定するカメラパラメータ推定装置であって、
   前記撮影映像が記憶されている記憶手段から、前記撮影映像を取得する映像取得手段と、
   前記取得した撮影映像を構成するフレーム画像それぞれの特徴点を抽出し、基準となるフレーム画像において抽出された特徴点と、前記撮影カメラの動きの評価対象となる他のフレーム画像において抽出された特徴点との間で、同一の前記特徴点が対応付けられた対応点の探索を行うことにより、前記基準となるフレーム画像と前記他のフレーム画像との間の画面全体の移動量を示すグローバルモーションを推定するグローバルモーション推定手段と、
   前記フレーム画像それぞれについて、エッジの抽出を行うエッジ抽出手段と、
   前記抽出されたエッジのうち、前記フレーム画像それぞれの間において前記対応点となる当該エッジの周辺を示す所定領域の画像の類似度を算出し、当該算出した類似度が所定の第１の閾値を超えた場合に、前記撮影映像が三脚を利用した映像であると判定し、当該算出した類似度が前記所定の第１の閾値以下の場合に、前記撮影映像が三脚を利用した映像でないと判定する三脚利用判定手段と、
   前記撮影映像が三脚を利用した映像であると判定された場合に、前記推定されたグローバルモーションで示される移動量を用いて、前記カメラパラメータを算出する三脚用カメラパラメータ算出手段と、
   前記撮影映像が三脚を利用した映像でないと判定された場合に、前記フレーム画像それぞれに含まれる対応する特徴点を解析して前記カメラパラメータを算出する手持ち用カメラパラメータ算出手段と、
   前記三脚用カメラパラメータ算出手段により算出されたカメラパラメータ、または、前記手持ち用カメラパラメータ算出手段により算出されたカメラパラメータを、前記記憶手段に出力するカメラパラメータ出力手段と、
   を備えることを特徴とするカメラパラメータ推定装置。
2. 前記基準となるフレーム画像において、前記エッジ抽出手段が抽出したエッジについて、当該エッジに隣接するエッジの情報に基づき法線方向を求め、当該法線方向に設定した法線上で最近傍の前記他のフレーム画像のエッジの位置を決定し、前記基準となるフレーム画像のエッジの位置と、前記決定した他のフレーム画像のエッジの位置とから得たエッジの移動量を用いて、前記グローバルモーションを更新する近傍エッジフィッティング手段を、さらに備え、
   前記三脚利用判定手段は、前記近傍エッジフィッティング手段により更新されたグローバルモーションで示される移動量を用いて、前記グローバルモーション推定手段が推定したグローバルモーションでの対応点の誤りを除去した上で、前記対応点となる当該エッジの周辺を示す所定領域の画像の類似度を算出し、
   前記三脚用カメラパラメータ算出手段は、前記グローバルモーション推定手段により推定されたグローバルモーションの代わりに、前記近傍エッジフィッティング手段が更新したグローバルモーションに基づき、前記カメラパラメータを算出すること
   を特徴とする請求項１に記載のカメラパラメータ推定装置。
3. 前記エッジ抽出手段により抽出されたエッジのうち、前記基準となるフレーム画像で検出されたエッジの位置についてレンズ歪を補正したエッジの位置と、前記他のフレーム画像で検出されたエッジの位置についてレンズ歪および前記推定されたグローバルモーションの移動量を補正したエッジの位置との、距離が０に収束するように解析する最適化処理を行うことにより、レンズ歪係数を算出するレンズ歪係数算出手段を、さらに備え、
   前記三脚利用判定手段は、
   前記フレーム画像それぞれについて、前記レンズ歪係数算出手段が算出したレンズ歪係数に基づく補正を行った上で、前記グローバルモーションを更新するとともに、前記フレーム画像それぞれの間において前記対応点となる当該エッジの周辺を示す所定領域の画像の類似度を算出し、
   前記三脚用カメラパラメータ算出手段は、前記グローバルモーション推定手段により推定されたグローバルモーションの代わりに、前記三脚利用判定手段により更新された前記グローバルモーションに基づき、前記カメラパラメータを算出すること
   を特徴とする請求項１に記載のカメラパラメータ推定装置。
4. 前記フレーム画像それぞれを所定領域のブロックに分割し、前記基準となるフレーム画像のブロックと、それに対応する前記他のフレーム画像のブロックとの類似度を算出し、当該算出した類似度が所定の第２の閾値以下である場合に、前記他のフレーム画像のブロックを非剛体領域であると判定する非剛体領域判定手段を、さらに備え、
   前記三脚利用判定手段は、前記非剛体領域判定手段が判定した非剛体領域のブロックに含まれる特徴点を対象とせず、前記グローバルモーション推定手段を介して前記グローバルモーションを更新するとともに、前記非剛体領域のブロックに含まれる対応点を処理対象とせずに、前記フレーム画像それぞれの間において前記対応点となる当該エッジの周辺を示す所定領域の画像の類似度を算出し、
   前記三脚用カメラパラメータ算出手段は、前記グローバルモーション推定手段により推定されたグローバルモーションの代わりに、前記三脚利用判定手段により更新された前記グローバルモーションに基づき、前記カメラパラメータを算出すること
   を特徴とする請求項１に記載のカメラパラメータ推定装置。
5. 撮影カメラで撮影された撮影映像のカメラパラメータを推定するカメラパラメータ推定装置であって、
   前記撮影映像が記憶されている記憶手段から、前記撮影映像を取得する映像取得手段と、
   前記取得した撮影映像を構成するフレーム画像それぞれの特徴点を抽出し、基準となるフレーム画像において抽出された特徴点と、前記撮影カメラの動きの評価対象となる他のフレーム画像において抽出された特徴点との間で、同一の前記特徴点が対応付けられた対応点の探索を行うことにより、前記基準となるフレーム画像と前記他のフレーム画像との間の画面全体の移動量を示す第１のグローバルモーションを推定するグローバルモーション推定処理を行うグローバルモーション推定手段と、
   前記フレーム画像それぞれについて、エッジの抽出を行うエッジ抽出手段と、
   前記基準となるフレーム画像において、前記エッジ抽出手段が抽出したエッジについて、当該エッジに隣接するエッジの情報に基づき法線方向を求め、当該法線方向に設定した法線上で最近傍の前記他のフレーム画像のエッジの位置を決定し、前記基準となるフレーム画像のエッジの位置と、前記決定した他のフレーム画像のエッジの位置とから得たエッジの移動量を用いて、第２のグローバルモーションを算出する近傍エッジフィッティング手段と、
   前記第２のグローバルモーションで示される移動量を用いて、前記グローバルモーション推定手段が推定した前記第１のグローバルモーションでの対応点の誤りを除去した上で、前記エッジ抽出手段により抽出されたエッジのうち、前記基準となるフレーム画像で検出されたエッジの位置についてレンズ歪を補正したエッジの位置と、前記他のフレーム画像で検出されたエッジの位置についてレンズ歪および前記第２のグローバルモーションの移動量を補正したエッジの位置との、距離が０に収束するように解析する最適化処理を行うことにより、レンズ歪係数を算出するレンズ歪係数算出手段と、
   前記フレーム画像それぞれを所定領域のブロックに分割し、前記基準となるフレーム画像のブロックと、それに対応する前記他のフレーム画像のブロックとの類似度を算出し、当該算出した類似度が所定の第２の閾値以下である場合に、前記他のフレーム画像のブロックを非剛体領域であると判定する非剛体領域判定手段と、
   前記フレーム画像それぞれについて、前記レンズ歪係数算出手段が算出したレンズ歪係数に基づく補正を行った上で、前記非剛体領域判定手段が判定した非剛体領域のブロックに含まれる特徴点を対象とせず、前記グローバルモーション推定手段を介して前記第２のグローバルモーションを更新し第３のグローバルモーションを算出するとともに、前記フレーム画像それぞれの間において前記対応点となる前記エッジの周辺を示す所定領域の画像の類似度を算出し、当該算出した類似度が所定の第１の閾値を超えた場合に、前記撮影映像が三脚を利用した映像であると判定し、当該算出した類似度が前記所定の第１の閾値以下の場合に、前記撮影映像が三脚を利用した映像でないと判定する三脚利用判定処理を行う三脚利用判定手段と、
   前記撮影映像が三脚を利用した映像であると判定された場合に、前記第３のグローバルモーションで示される移動量を用いて、前記カメラパラメータを算出する三脚用カメラパラメータ算出手段と、
   前記撮影映像が三脚を利用した映像でないと判定された場合に、前記フレーム画像それぞれに含まれる対応する特徴点を解析して前記カメラパラメータを算出する手持ち用カメラパラメータ算出手段と、
   前記三脚用カメラパラメータ算出手段により算出されたカメラパラメータ、または、前記手持ち用カメラパラメータ算出手段により算出されたカメラパラメータを、前記記憶手段に出力するカメラパラメータ出力手段と、
   を備えることを特徴とするカメラパラメータ推定装置。
6. 前記三脚利用判定手段は、
   前記フレーム画像それぞれについて、前記レンズ歪係数算出手段が算出したレンズ歪係数に基づく補正を行った上で、前記非剛体領域判定手段が判定した非剛体領域のブロックに含まれる特徴点を対象とせずに、前記エッジの位置の間の前記距離が０に収束するように解析する最適化処理を再度行い、当該最適化処理により求まる前記エッジ間の前記距離が所定の第３の閾値を超えるか否かを判定し、
   前記所定の第３の閾値を超えた場合に、前記レンズ歪係数算出手段により直近で算出されたレンズ歪で前記フレーム画像を補正するとともに、前記非剛体領域判定手段が直近で判定した非剛体領域のブロックに含まれる特徴点を対象とせずに、前記グローバルモーション推定手段による前記グローバルモーション推定処理に戻り、前記三脚利用判定手段が、前記エッジ間の前記距離が前記所定の第３の閾値以下になるまで、前記グローバルモーション推定処理に戻る処理を繰り返し、前記エッジ間の前記距離が前記所定の第３の閾値以下になった場合に、前記三脚利用判定処理を行うこと
   を特徴とする請求項５に記載のカメラパラメータ推定装置。
7. コンピュータを、請求項１乃至６のいずれか一項に記載のカメラパラメータ推定装置として機能させるためのカメラパラメータ推定プログラム。

Images