JP2000324509A - 画像合成におけるカメラパラメ−タ推定方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】仮想スタジオにおいて、スタジオカメラでカメ
ラワ−クをしながら被写体を撮影する過程で、その画像
を解析しながら最適で安定したカメラパラメ−タを推定
し、違和感のない合成画像を提供する。 【解決手段】スタジオカメラ画像の誤差の影響を補正す
る最適推定を行い、またスタジオカメラが最良格子パタ
ンに対して正対の状態又は静止の状態で被写体に動きの
ある場合でも、時間的に前のフレ−ムのカメラパラメ−
タを予測値とし、これと現フレ−ムの画像からスタジオ
カメラの動き又は静止の判断を行い、静止と判断されれ
ば予測値の前フレ−ムのカメラパラメ−タを現フレ−ム
の推定値とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョンの仮
想スタジオにおける前景の被写体画像と、仮想背景のＣ
Ｇ（コンピュ−タグラフィクス）との画像合成手段に係
り、クロマキ−バックパネルの格子パタンを含む被写体
画像からカメラパラメ−タを推定する方法に関する。

【０００２】

【従来の技術】仮想スタジオで、クロマキ−装置により
前景の人物等の被写体（以降は単に被写体と記載する）
画像をその背景画像から抽出し、ＣＧで生成した仮想の
背景画像と合成する場合、スタジオカメラはカメラワ−
クのために移動、ズ−ム等を行うが、背景のＣＧ画面は
この動きに連動して適応することにより、リアルな仮想
の空間を実現することができる。このためには、ＣＧの
３次元空間における仮想カメラの位置及び、パン、チル
ト、ロ−ル（傾き）、ズ−ム等のパラメ−タ（以降はカ
メラパラメ−タと記載する）を、スタジオカメラのそれ
に一致、連動させてＣＧ画面を生成する必要があり、従
ってスタジオにおける３次元の基準座標系に対するカメ
ラパラメ−タを検知する必要がある。本出願人は、先願
（特願平１１−７２８１６号）にて、前記カメラパラメ
−タをリアルタイムで推定するために、画像に含まれる
誤差を考慮し、複比により最も適した識別を行うための
最良格子パタンの生成と、このパタンを用いて前記誤差
の影響を考慮した最適な識別方法を提案している。

【０００３】前記先願の方法は、クロマキ−バックパネ
ルにブル−等の濃淡２色の塗り分けによる既知の幾何学
的格子パタンを描き、いろいろな向きから撮影された前
記格子パタンの背景画像は、透視投影モデルとして表現
でき複比は透視変換によらない不変量であるので、透視
投影による影響を受けずに識別ができる。画像中の格子
パタンの２次元画像座標と、原格子パタン（前記格子パ
タン）の３次元空間座標の対応をとることによりカメラ
パラメ−タを推定する。この格子パタンを生成するため
の連続する点列からなる数列において、連続する４点か
ら計算されるカメラの透視変換に不変な複比を用いる。
この複比の誤差に関する第一近似から得られる標準偏差
から、その期待誤差が大きいところではそれに比例して
間隔を大きく、小さいところではそれに比例して間隔を
小さくとることによって決定される複比の条件付き確率
密度に基づき、複比による識別のための最良数列を確率
的に発生させる。さらに、発生した複比の両側に誤差に
よる変動の標準偏差からなる緩衝帯を設け、新しく発生
させた複比が既に発生した複比の緩衝帯内に入るものを
除外した最良数列と、前記最良数列を２次元的に組み合
わせることにより生成した最良格子パタンであることを
特徴とし、また、前記最良格子パタンの撮影画像を複比
の誤差の分布特性を考慮した二乗マハラノビス距離を最
小化することによって最適に識別を行うことを特徴とし
たものである。

【０００４】

【発明が解決しようとする課題】仮想スタジオで違和感
のない合成画像を実現するには、前述のカメラパラメ−
タの推定は精度良く行われる必要があるが、平面の前記
格子パタンを用いた仮想スタジオにおける実際の運用で
はこれを阻害する要因が存在し、次のような課題があ
る。前記スタジオカメラの画像は光学的歪み、照明等の
環境に起因するノイズ、その他による誤差があり、これ
はカメラパラメ−タの推定結果に大きく影響する。ま
た、スタジオカメラはカメラワ−クをともなうが、この
光軸が平面の格子パタンに垂直状態（以降は正対と記載
する）の時、この画像からは該スタジオカメラにおける
前後移動とレンズのズ−ムとの区別ができず、カメラパ
ラメ−タの推定ができなくなる欠陥が生じ、この回避に
は別の手段の併用が必要であった。また、例えば人物を
撮影する場合、背景の格子パタンの一部は人物により隠
され、スタジオカメラが静止している場合でも、前記人
物が移動すれば撮影画像における該格子パタン領域が変
化するので、これにより推定したカメラパラメ−タも変
化を生じ、わずかな変化でも合成するＣＧ画面にゆらぎ
として現れる。本発明は、このような背景に行われ、ス
タジオカメラ画像の前記誤差の影響を補正する最適推定
を行い、また、スタジオカメラが格子パタンに対して正
対の状態、またはスタジオカメラが静止の状態で被写体
に動きのある場合でも、予測手段により安定したカメラ
パラメ−タを推定できる合成画像におけるカメラパラメ
−タ推定方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明者等は、上記に鑑
み鋭意実験研究の結果、下記の手段によりこの課題を解
決した。 （１）濃淡２色からなる最良格子パタンを有するクロマ
キ−バックパネルを備え、スタジオカメラと、画像処理
装置と、ＣＧ生成装置と、クロマキ−装置を具備した仮
想スタジオシステムにおいて、（ａ）前記スタジオカメ
ラによる前記最良格子パタンの撮影画像における複数の
格子頂点の画像座標と、それに対応する原最良格子パタ
ンを、既知の仮想的なカメラで観測した仮想的な画像か
ら得られる画像座標から計算される画像の射影変換行列
を、（ｂ）前記スタジオカメラの焦点距離と、並進ベク
トルと、回転行列、のカメラパラメ−タに分解し、
（ｃ）これらをカメラパラメ−タの初期解として、
（ｄ）二乗マハラノビス距離を最少化する目的関数にお
けるカメラパラメ−タによる勾配ベクトルとヘッセ行列
を計算し、（ｅ）これらからカメラパラメ−タの更新量
を計算して、（ｆ）カメラパラメ−タの前記初期解を前
記更新量によって更新し、（ｇ）この更新量があらかじ
め設定した微少レベル以下になるまで、前記の勾配ベク
トルとヘッセ行列の計算及び、それ以降の計算及び更新
の手段を繰り返し反復することにより、精度限界を達成
する最適なカメラパラメ−タを得ることを特徴とする画
像合成におけるカメラパラメ−タ推定方法。（ｈ）最良
格子パターンを有するクロマキーバックパネルの構成前
記格子パタンは、これを生成するための連続する点列か
らなる数列において、下記数式（１）〜（４）、により
求められる連続する４点から計算されるカメラの透視変
換に不変な複比を用い、複比の誤差に関する第１近似か
ら得られる標準偏差からその期待誤差が大きい所ではそ
れに比例して間隔を大きく、小さいところではそれに比
例して間隔を小さくとることによって決定される複比の
条件付き確立密度に基づいて、該複比による識別のため
の最良数列を確立的に発生させ、数１〜数４、前記、最
良数列を２次元的に組み合わせることにより生成した最
良格子パタンを有するクロマキーバックパネル。

【０００６】（２）前記仮想スタジオシステムにおい
て、（ａ）前記撮影画像の前および前々フレ−ムにおけ
る前記スタジオカメラの、焦点距離から計算される線形
予測焦点距離と、（ｂ）前および前々フレ−ムにおける
該スタジオカメラの並進ベクトルと回転行列から計算さ
れる線形予測並進ベクトルと、（ｃ）線形予測回転行列
とを初期解とし、（１）項記載のカメラパラメ−タ推定
方法に基づき並進ベクトルと回転行列の最適化を行うこ
とにより得られた焦点距離予測モデルにおけるカメラパ
ラメ−タ推定結果と、（ｄ）現フレ−ムにおける前記最
良格子パタン頂点画像座標から、該スタジオカメラが該
最良格子パタンに正対することを検出するための判定手
段とし、（ｅ）この判定手段により、現フレ−ムにおけ
る該スタジオカメラが該最良格子パタンに正対していな
いと判定された場合は、前フレ−ムのカメラパラメ−タ
を現フレ−ムのカメラパラメ−タとする静止モデルと、
（ｆ）前フレ−ムのカメラパラメ−タのうち、焦点距離
のみを現フレ−ムの焦点距離と一致させ、並進ベクトル
と回転行列は、前フレ−ムの並進ベクトルと回転行列を
初期解として（１）項記載のカメラパラメ−タ推定方法
に基づき、並進ベクトルと回転行列の最適化により得ら
れる焦点距離固定モデルと、

【０００７】（ｇ）前および前々フレ−ムのカメラパラ
メ−タから計算される線形予測カメラパラメ−タのう
ち、線形予測焦点距離のみを現フレ−ムの焦点距離と一
致させ、並進ベクトルと回転行列は、線形予測並進ベク
トルと線形予測回転行列を初期解として（１）項記載の
カメラパラメ−タ推定方法に基づき、並進ベクトルと回
転行列の最適化によって得られる焦点距離予測モデル
と、（ｈ）この焦点距離予測モデルにより得られたカメ
ラパラメ−タを初期解として、（１）項記載のカメラパ
ラメ−タ推定方法に基づき、全てのカメラパラメ−タの
最適化により得られる一般モデル、の各モデルを計算
し、（ｉ）前記各モデルから得られた最適なモデルを幾
何学的ＡＩＣによって選択し（ｊ）前記判定手段により
現フレ−ムにおける該スタジオカメラが該最良格子パタ
ンに対して正対すると判定される場合には、（ｋ）前記
静止モデルと、前記焦点距離固定モデルと、前フレ−ム
のカメラパラメ−タのうち焦点距離と並進ベクトルを現
フレ−ムの焦点距離と並進ベクトルに一致させ、回転行
列のみを前フレ−ムの回転行列を初期解として、（１）
項記載のカメラパラメ−タ推定方法に基づき回転行列の
最適化により得られる位置固定モデルと、（ｌ）前また
は前々フレ−ムにおけるカメラパラメ−タから計算され
る線形予測カメラパラメ−タのうち、並進ベクトルのみ
を現フレ−ムの並進ベクトルと一致させ、焦点距離は前
フレ−ムにおける焦点距離を現フレ−ムにおける焦点距
離と一致させ、回転行列は線形予測回転行列を初期解と
して、（１）項記載のカメラパラメ−タ推定方法に基づ
き回転行列の最適化により得られる位置予測モデル、の
各モデルを計算し、（ｍ）この各モデルから得られた解
から最適なモデルを幾何学的ＡＩＣによって選択するこ
と、を特徴とする（１）項に記載の画像合成におけるカ
メラパラメ−タ推定方法。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を図及
び数式に基づいて説明する。図２は背景格子パタンによ
るカメラパラメ−タ検出の概念図、である。図におい
て、１は被写体、２はクロマキ−バックパネル、４はス
タジオカメラ、４′は角度を変えたスタジオカメラ、１
２は移動方向、１４は４′のスタジオカメラの撮影像、
１９は背景格子パタンを示す。スタジオカメラ４はクロ
マキ−バックパネル２に対してカメラワ−クをともなっ
て撮影されるが、カメラパラメ−タはその過程でスタジ
オカメラ４による背景格子パタン１９の撮影画像を解析
しながらリアルタイムで検出される。本発明の実施例と
して、前述のように前記撮影画像はノイズ等の誤差を含
み、わずかな誤差でもカメラパラメ−タの推定結果に大
きく影響してずれを生じるが、本発明ではそのずれを見
積もって補正し、この補正操作はずれがなくなる限界精
度まで繰り返すことによりカメラパラメ−タの最適推定
を行う。

【０００９】また、背景格子パタン１９が平面であると
き、これに前記正対したスタジオカメラ４のその前後移
動とズ−ムとの区別がつかず、そこで、前記撮影画像の
映像信号の現フレ−ムに対し、前および前々フレ−ムの
カメラパラメ−タの推定値から該現フレ−ムの値を予測
し、および正対しているかどうかを判断する。これが正
対していると判断された場合、この予測値を前記現フレ
−ムの推定値とすることにより、正対した場合でも安定
してカメラパラメ−タを推定できる。また、被写体１が
動くとき、撮影された画像中の格子パタン領域も変化
し、スタジオカメラ４は固定され静止していたとして
も、被写体１の動きによりその領域が変化する背景格子
パタン１９の撮影画像から計算されるカメラパラメ−タ
はわずかに変動して合成されるＣＧ画面のゆらぎとして
現れる。そこで、時間的に前のフレ−ムのカメラパラメ
−タを予測値とし、これと現フレ−ムの画像からスタジ
オカメラ４の動き、または静止の判断を行い、これが静
止と判断されれば予測値すなわち前フレ−ムのカメラパ
ラメ−タを現フレ−ムの推定値とすることにより前記Ｃ
Ｇ画面のゆらぎを排除できる。以下にその詳細を記述す
る。なお記述中のＡＩＣは（Ａｋａｉｋｅ′ｓ Ｉｎｆ
ｏｍａｔｉｏｎ Ｃｒｉｔｅｒｉｏｎ：赤池の情報量基
準）を示す。

【００１０】「平面パタンを用いる移動カメラのキャリ
ブレ−ション」 １、基本原理：ＸＹＺワールド座標系を固定し、原点か
ら距離ｄの位置にＸＹ面に平行に平面パタンを置く。カ
メラの焦点距離以外の内部パラメータは既知で、映像が
透視変換とみなせるとする。まず焦点距離をｆ₀とし、
レンズの中心をＸＹＺワールド座標系の原点に置き、光
軸をＺ軸に一致させ、画像のｘ，ｙ座標軸がＸ，Ｙ座標
軸に平行になるようにカメラを仮想的に置く、この状態
からカメラを回転行列Ｒだけ回転し、ベクトルｔだけ並
進し、焦点距離をｆに変化させるとする。｛ｔ，Ｒ｝を
「運動パラメータ」と呼ぶ。平面パタン上の位置（Ｘ
α，Ｙα，ｄ）にある特徴点の画像座標が、カメラの移
動後に（ｘα，ｙα）であるとし、次のベクトルを定義
する。

【００１１】

【数５】

【００１２】数５の式（２）は「射影変換」と呼ばれ、
行列Ｈは「射影変換行列」と呼ばれる。特徴点のパタン
上の座標（ｘα，ｙα）は既知であり、基準となるカメ
ラとパタンとの距離ｄ及び焦点距離ｆ₀は標準的な値に
設定する。データはカメラの移動後に観測する特徴点の
画像座標（ｘα，ｙα）であり、未知数は運動パラメー
タ｛ｔ，Ｒ｝と移動後の焦点距離ｆである。回転行列は
３自由度しかないから、未知数は合計７個である。した
がって、４個以上の特徴点を観測すればこれらが定ま
る。

【００１３】２、最適計算：データベクトルｘαの共分
散行列をＶ［ｘα］とする。この絶対的な大きさを予め
予測するのは困難であるので、定数倍を除いて既知であ
るとし、次のように置く。 Ｖ［ｘα］＝ε²Ｖ₀［ｘα］ （４） 未知の定数εを「ノイズレベル」 と呼ぶ。ノイズの相対的
性質を記述する行列Ｖ₀［ｘα］は既知とし、「正規化共
分散行列」と呼ぶ。 ｘαの第３成分は定数１であるから
Ｖ₀［ｘα］は第３行、第３列がすべて０のランクの特
異行列である。特に特徴的なノイズの現れ方をしない場
合はデフォルト値Ｖ₀［ｘα］＝ｄｉｎｇ（１，１，
０）、（対角要素を１，１，０の対角行列）を用いる。
このとき、最適な推定値は次の二乗「マハラノビス距
離」の最小化によって得られる。

【００１４】

【数６】

【００１５】２．１ 勾配：関数Ｊの未知数φ，τ，Ｒ
に関する勾配▽Ｊは次のように与えられる。

【００１６】

【数７】

【００１７】２．２ ヘッセ行列：Ｊを２階微分すると
きにはＯ（ｅα）の項を無視する近似を行う。これはヘ
ッセ行列▽²Ｊは Ｏ（１）となるからである。この近似
を用いたニュートン法は「ガウスニュートン法」とも呼
ばれる。このような近似を行ってよい理由は、ニュート
ン法においては勾配が精度を定めるのに対して、ヘッセ
行列は収束の速度を支配するものであり、近似を加えて
も解の精度に影響しないためである。この近似のもとで
ヘッセ行列▽²Ｊは次のように与えられる。

【００１８】

【数８】

【００１９】２．３ ニュートン法： １．φ，τ，Ｒ の初期値を与える。 ２．勾配▽Ｊとヘッセ行列▽²Ｊを計算する。 ３．更新量△φ，△τ，△Ωを次のように計算する。

【００２０】

【数９】

【００２１】３、信頼性評価：

【００２２】

【数１０】

【００２３】４、初期値の解析解：ニュートン法の反復
に必要な初期値は次のように解析的に計算できる。

【００２４】

【数１１】

【００２５】４．１ 焦点距離：数１１の式（１９）の
両辺の行列（１ ，１）,（２ , ２）,（１ ，２）要素
を等値し、

【００２６】

【数１２】

【００２７】４．２ 並進：数１１の式（１９）の両辺
の行列（１ ，３）,（２ , ３）要素を等値した式から
τ₁，τ₂が次のように求まる。

【００２８】

【数１３】

【００２９】４．３ 回転：回転Ｒは数１１の式（１
８）から定まるが、データに誤差があるとＲが回転行列
になるとは限らない。そこで最小二乗法

【００３０】

【数１４】

【００３１】５、退化の判定：前述したようにカメラが
パタンに正対していると退化が生じ、誤差がなければ数
６の式（８）のヘッセ行列▽²Ｊの行列式は０となり、
数９の式（１１）の逆行列が計算できない。誤差があれ
ば逆行列が計算できるが信頼性がなく、ニュートン法を
適用する意味がない。そこで数１１の式（１６）の信頼
区間が負の値を含むときは、解は無意味であると判定す
る。したがってその判定条件は、

【００３２】

【数１５】

【００３３】６、経路の安定化：前述で指摘したよう
に、カメラが連続的に移動しても、画像処理がフレーム
毎に独立であれば統計的なゆらぎが避けられない。これ
は特にカメラの移動が小さいときに顕著となる。これを
避けるために運動を予測し、幾何学的ＡＩＣによるカメ
ラのモデル選択を行う。具体的には、現在の焦点距離を
ｆ_i、運動パラメータを｛ｔ_i，Ｒ_i｝、一つ前のフレー
ムでの値をｆ_i-1、｛ｔ_i-1，Ｒ_i-1｝とし、次のモデル
を考える。

【００３４】

【数１６】

【００３５】退化判定はｆ予測モデルに基づいて行う。
すなわち、二乗ノイズレベルε²を数１６の式（１７）
によって推定し、数１５の式（１５）を評価する。退化
できないと判定されれば、静止モデル、ｆ固定モデル、
ｆ予測モデル、及び一般モデルを比較する。二乗ノイズ
レベルε²は数１０の式（１３）で推定する。そして幾
何学的ＡＩＣを次のように評価する。

【００３６】

【数１７】

【００３７】いずれの場合も、幾何学的ＡＩＣが最も小
さい値のモデルを選択する。これによってカメラ移動の
小さいときの統計的なゆらぎを除去できるだけでなく、
退化が生じても解が安定に定まる。さらにフレームごと
に初期値を解析的に計算する必要がない。

【００３８】７、シュミレーション実験 ３×３の格子パタンと角度βをなす平面上を、格子の中
心を注視しながら端から正面に向かってカメラを円弧状
に移動する。そのまま正面を通り過ぎてからカメラがし
ばらく停止した後、そのまま後退する。図６はカメラの
経路図、である。図において焦点距離は次のように変化
させる（単位は画素、ｋはステップ数）。 ｆ＝｛１２０００+１００ｓｉｎ２πｋ／１９ ｋ＝ ０，１，・・・ ,１９ ｛ １２００ ｋ＝２０,・・・ ,３０ （２０） ｋ＝１３のときカメラがパタンの略正面に位置する。ｋ
＝２０〜２４で停止し、ｋ＝２５〜３０で後退する。格
子の頂点に標準偏差０．５（画素）の正規分布に従う誤
差を毎回独立に加えて変化を示すものである。

【００３９】図７はβ＝８０゜の場合の焦点距離の変化
を示す図、である。図中の、実線は計算値、点線は真の
値である。破線は前記「平面パタンを用いる移動カメラ
のキャリブレ−ション」の方法で毎回独立に計算した結
果である。図８は、対応するカメラの経路（β＝８０
゜）を上から見た図。で、図中の実線は、それぞれに対
応するカメラの経路を上から見た図である。図７、図８
から分かるように本方法によると、フレーム毎に独立に
計算する場合に比べて不規則な変動が押さえられてい
る。

【００４０】図９、はβ＝９０゜の場合の焦点距離の変
化を示す図。図１０は、対応するカメラの経路（β＝９
０゜）を上から見た図である。前記図７、図８と同様に
示した。このとき、ｋ＝１３，１４で退化が生じ、前述
の方法では計算が破綻している。破綻したことを見やす
くするため図９では、ｆを∞、図１０ではカメラ位置を
パタンの中心として表示している。図１１は、カメラの
経路（β＝９０゜）の拡大図で、特にｋ＝２０〜２４の
付近を拡大した図である。このように、フレーム毎に独
立に計算すると、実際にはカメラが静止していても計算
値は不規則にゆらいでいるが、本方法によるとそのゆら
ぎが除去されている。

【００４１】前述した複合現実感実現のために物体の背
後に参照板を設置し、カメラ位置やズームを変えながら
物体を自由に撮影する過程で、その画像を解析しながら
実行する同時校正を提案したが、本件ではその過程で生
ずる解が不定となる退化や統計的なゆらぎが幾何学的Ａ
ＩＣによって回避できることを示した。これはカメラの
移動の履歴から次のフレームでの焦点距離とカメラ位置
を予測し、予測したモデルと実際に計算したモデルを幾
何学的ＡＩＣによって比較するものであるが、その効果
を上記のシュミレーションによって確認するとともに実
画像に適用した例を示した。また、本方法を適用すれ
ば、ズームの位置を変えながら撮影したスポーツ中継シ
ーンからカメラ位置や焦点距離を計算するとともに、シ
ーンや人物の３次元形状を計算することもできる。

【００４２】

【実施例】本発明の実施例を図１及び図３〜５を参照し
て説明する。図１は本発明の実施例の構成図、図３は本
発明の演算処理回路における処理フロ−図、図４は本発
明の演算処理回路におけるカメラパラメ−タ計算フロ−
図、図５は本発明の演算処理回路におけるニュ−トン法
のフロ−図、である。まず、図１について作用を説明す
る。図において、３は最良格子パタン、５は画像処理装
置、６はＡＤ，７はフレ−ムバッファ、８は演算処理回
路、９はＣＧ生成装置、１０はクロマキ−装置、１１は
端子を示す。図１において、被写体１は、濃淡２色のブ
ル−等の前記最良格子パタン３を有するクロマキ−バッ
クパネル２を背景にスタジオカメラ４により撮影され、
この映像信号は画像処理装置５に備えたＡＤ（アナログ
／ディジタル変換回路）６により、ディジタル画像デ−
タに変換されフレ−ムバッファ７にメモリされる。この
メモリされた画像デ−タは、演算処理回路８による処理
により、前記最良格子パタン３部分の画像デ−タを抽出
し、最良格子パタン３の頂点座標を検出して複比を計算
することによって、原格子パタンである最良格子パタン
３と、画像中の該格子パタンとを対応して最適なカメラ
パラメ−タを推定して出力し、ＣＧ生成装置９に入力さ
れる。演算処理回路８は高速ＣＰＵ又は専用ハ−ドウェ
アのいずれでもよく、この回路における前記画像デ−タ
の処理フロ−を以下に説明する。

【００４３】図３の本発明の演算処理回路における処理
フロ−図、において、フレ−ムバッファ７の画像デ−タ
は、ＳＴＡＲＴ１０１で、被写体１とクロマキ−バック
パネル２との色の相異により格子パタンと被写体の画像
との部分に分離され、格子パタン部分を２値化１０２し
た２値画像における矩形領域を格子とみなして、その白
黒の境界画素を境界追跡１０３処理により抽出する。こ
うして得られた境界画素列を四つの辺の領域に領域分割
１０４し、各辺の画素列に対して最小二乗法により直線
を当てはめ、この直線の近傍画素の原画像から濃淡エッ
ジ画像を生成し、その濃淡画素に対して改めて最小二乗
法によって直線を当てはめる（直線当てはめ１０５）。
この直線の交点が格子の頂点座標となる（格子点検出１
０６）。このような操作を、画像中の全ての矩形領域に
対して行い（画像中の全ての矩形領域を処理したか１０
７）、それから得られる結果をソ−ト処理１０８して、
各格子に対して番号付け（格子番号付け１０９）を行
う。そして、格子間から複比を計算して原格子パタンと
の対応付けを行う（マッチング処理１１０）。ここで、
被写体によってその一部分が隠されてしまった不完全な
格子は識別のための複比計算には用いない。画像中の格
子パタンと原格子パタンとの対応が取れれば、カメラパ
ラメ−タを推定することができ、前記画像処理装置５に
備えた演算処理回路８で推定されたカメラパラメ−タ
（カメラパラメ−タ計算１１１）は、ＣＧ生成装置９に
入力して該カメラパラメ−タによる仮想カメラに基づく
背景用のＣＧ画像信号を生成して出力する（ＥＮＤ１１
２）。このＣＧ画像信号及びスタジオカメラ４の映像出
力信号は、クロマキ−装置１０に入力して合成され、合
成画像となって端子１１に出力される。

【００４４】次に、図５について作用を説明する。図は
本発明の演算処理回路におけるニュ−トン法のフロ−
図、であり、図４におけるニュ−トン法について詳述し
たものである。図５において、ニュ−トン法による処理
の開始は（ＳＴＡＲＴ３０１）、前記最良格子パタン画
像から得られる複数の格子頂点画像座標と、それに対応
する原最良格子パタンを、既知の仮想的なカメラで観測
した仮想的な画像から得られる画像座標から計算される
画像の射影変換行列の計算３０２を行う。これを前記ス
タジオカメラの焦点距離と、並進ベクトルと、回転行列
と、のカメラパラメ−タに分解する（射影変換行列の分
解３０３）。これらを前記カメラパラメ−タの初期解と
して（初期解の設定３０４）、二乗マハラノビス距離を
最小化する目的関数における前記カメラパラメ−タによ
る勾配ベクトル、ヘッセ行列の計算３０５をする。これ
らにより前記カメラパラメ−タの更新量計算３０６を行
い、その更新量によって前記カメラパラメ−タの初期解
の更新３０７を行う。この更新量があらかじめ設定した
微少レベル以下になるまで、前記勾配ベクトル、ヘッセ
行列の計算３０５以降の操作を繰り返し反復計算する
（設定値以下か３０８）ことにより制度限界を達成でき
る（ＥＮＤ３０９）。

【００４５】次に、図４について作用を説明する。図は
本発明の演算処理回路におけるカメラパラメ−タ計算フ
ロ−図、であり、図３におけるカメラパラメ−タ計算部
分を詳述したものである。図４において、カメラパラメ
−タ計算の開始は（ＳＴＡＲＴ２０１）、現フレ−ムに
対する前および前々フレ−ムを識別する（第１、２フレ
−ムか２０２）。前および前々フレ−ムにおける前記ス
タジオカメラの焦点距離から計算される線形予測焦点距
離と、前および前々フレ−ムにおける該スタジオカメラ
の並進ベクトルと、回転行列から計算される線形予測並
進ベクトルと、線形予測回転行列を初期解とする。そし
て、図５を参照して前記説明した手段に基づき、並進ベ
クトルと回転行列の最適化により得られた焦点距離予測
モデルにおけるカメラパラメ−タ推定結果と、現フレ−
ムにおける最良格子パタン頂点画像座標から、現フレ−
ムにおける該スタジオカメラの位置が最良格子パタンに
対して正対であることを検出するための判定手段とする
（カメラパラメ−タ予測値を計算２０３）。

【００４６】この判定手段により、現フレ−ムの前記ス
タジオカメラの位置が最良格子パタンに対して正対して
いないと判定（退化か２０５）された場合、前フレ−ム
のカメラパラメ−タを現フレ−ムのカメラパラメ−タと
する静止モデルとなる。前フレ−ムのカメラパラメ−タ
のうち焦点距離のみを現フレ−ムの焦点距離と一致さ
せ、並進ベクトルと回転行列は前フレ−ムの並進ベクト
ルと回転行列を初期解として、図５により前記説明した
手段に基づき並進ベクトルと回転行列の最適化を行うこ
とによって焦点距離固定モデルが得られる。前および前
々フレ−ムにおけるカメラパラメ−タから計算される線
形予測カメラパラメ−タのうち、線形予測焦点距離のみ
を現フレ−ムの焦点距離と一致させ、並進ベクトルと回
転行列は線形予測並進ベクトルと線形予測回転行列を初
期解として、図５により前記説明した手段に基づき並進
ベクトルと回転行列の最適化により焦点距離予測モデル
が得られる。焦点距離予測モデルにより得られたカメラ
パラメ−タを初期解として、図５により前記説明した手
段に基づき、全てのカメラパラメ−タの最適化により一
般モデルが得られる（ニュ−トン法による最適化２０
６）。

【００４７】これらの前記各モデルから得られた解から
最適なモデルを幾何学的ＡＩＣによって選択し（モデル
選択２０７）、カメラパラメ−タ出力２０８となる。前
記判定手段によって、現フレ−ムにおけるスタジオカメ
ラの位置が最良格子パタンに対して正対していると判定
された場合（退化か２０４）、静止モデルおよび焦点距
離固定モデルは前記のモデルを使用する。また、前フレ
−ムのカメラパラメ−タの内，焦点距離と並進ベクトル
を現フレ−ムの焦点距離と並進ベクトルに一致させ、回
転行列のみを前フレ−ムの回転行列を初期解として図５
により前記説明した手段に基づき回転行列の最適化によ
り位置固定モデルが得られる。前および前々フレ−ムに
おけるカメラパラメ−タから計算される線形予測カメラ
パラメ−タの内、並進ベクトルのみを現フレ−ムの並進
ベクトルと一致させ、焦点距離は前フレ−ムにおける焦
点距離を現フレ−ムにおける焦点距離と一致させ、回転
行列は線形予測回転行列を初期解とそして、図５により
前記説明した手段に基づき回転行列の最適化により位置
予測モデルが得られる（ニュ−トン法による最適化２０
５）。これらの各モデルの計算から得られた解から最適
なモデルを幾何学的ＡＩＣにより選択し（モデル選択２
０７）、カメラパラメ−タが出力される（カメラパラメ
−タ出力２０８）。

【００４８】

【発明の効果】本発明によれば、濃淡２色からなる最良
格子パタンを有するクロマキ−バックパネルと画像処理
装置とＣＧ生成装置とクロマキ−装置を具備した仮想ス
タジオにおいて、スタジオカメラでカメラワ−クをしな
がら被写体を撮影する過程で、その画像を解析しながら
最適で安定したカメラパラメ−タを推定でき、違和感の
ない合成画像を提供することが可能となる。 １、本願の請求項１の発明によれば、カメラパラメ−タ
の推定には高精度の計算が必要であるが、画像には光学
的歪み、照明等の環境に起因するノイズ、他の誤差があ
り、この誤差がないときに厳密解となる解析解を導出す
るとともに、該誤差のあるときは精度の理論限界を達成
する最適解を計算する手段を用いる。すなわち、前記誤
差はカメラパラメ−タの推定結果に大きく影響してずれ
を生じるが、本発明ではそのずれを見積もって補正し、
この補正操作は、ずれのなくなる限界精度まで繰り返す
ことによりカメラパラメ−タの最適推定を行うことがで
き、安定した合成画像を提供することができる。

【００４９】２、本願の請求項２の発明によれば、前記
カメラパラメ−タを推定する過程で、解が不定となる退
化や統計的なゆらぎが生じることがあるが、これを幾何
学的ＡＩＣによって回避することができ、スタジオカメ
ラの移動の履歴から次のフレ−ムでの焦点距離とスタジ
オカメラの位置を予測し、予測したモデルと実際に計算
したモデルを幾何学的ＡＩＣによって比較する。すなわ
ち、背景の格子パタンに正対したスタジオカメラが、そ
の前後移動とズ−ムとの区別がつかなくなる欠陥の場合
でも、前および前々フレ−ムのカメラパラメ−タの推定
値から現フレ−ムのカメラパラメ−タを予測し、これを
現フレ−ムの推定値とすることにより、安定してカメラ
パラメ−タを推定できる。

【００５０】また、被写体が動くとき、スタジオカメラ
は固定され静止していても、画像中の格子パタン領域が
変化し、その格子パタン部分から計算されるカメラパラ
メ−タはわずかに変動し、合成されるＣＧ画面のゆらぎ
となる。本発明では、現フレ−ムより時間的に前のフレ
−ムのカメラパラメ−タを予測値とし、これと現フレ−
ムの画像からスタジオカメラの動きの判断を行い、静止
判断がされれば予測値すなわち前フレ−ムのカメラパラ
メ−タを現フレ−ムの推定値としてＣＧのゆらぎを排除
し、前記正対時の欠陥回避のための他の手段を併用しな
くても、安定な合成画像を提供することができる。

【図面の簡単な説明】

【図１】本発明実施例の構成図。

【図２】背景格子パタンによるカメラパラメ−タ検出の
概念図。

【図３】本発明の演算処理回路における処理フロ−図。

【図４】本発明の演算処理回路におけるカメラパラメ−
タ計算フロ−図。

【図５】本発明の演算処理回路におけるニュ−トン法の
フロ−図。

【図６】カメラの経路図。

【図７】β＝８０゜の場合の焦点距離の変化を示す図。

【図８】対応するカメラの経路（β＝８０゜）を上から
見た図。

【図９】β＝９０゜の場合の焦点距離及びカメラの経路
図

【図１０】対応するカメラの経路（β＝９０゜）を上か
ら見た図。

【図１１】カメラの経路（β＝９０゜）の拡大図。

【符号の説明】

１：被写体 ２：クロマキ
−バックパネル ３：最良格子パタン ４：スタジオ
カメラ ４′：角度をかえたスタジオカメラ ５：画像処理
装置 ６：ＡＤ ７：フレ−ム
バッファ ８：演算処理回路 ９：ＣＧ生成
装置 １０：クロマキ−装置 １１：端子 １９：背景格子パタン １０１：ＳＴＡＲＴ １０２：２値
化 １０３：境界追跡 １０４：境界
分割 １０５：直線当てはめ １０６：格子
点検出 １０７：画像中の全ての矩形領域を処理したか？ １０８：ソ−ト処理 １０９：格子
番号付け １１０：マッチング処理 １１１：カメ
ラパラメ−タ計算 １１２：ＥＮＤ ２０１：ＳＴＡＲＴ ２０２：第
１、２フレ−ムか？ ２０３：カメラパラメ−タ予測値を計算 ２０４：退化
か？ ２０５：ニュ−トン法による最適化 ２０６：ニュ
−トン法による最適化 ２０７：モデル選択 ２０８：カメ
ラパラメ−タ出力 ２０９：ＥＮＤ ２１０：最小二乗法によりカメラパラメ−タを推定する ２１１：ニュ−トン法による最適化 ３０１：ＳＴＡＲＴ ３０２：射影
変換行列の分解 ３０４：初期解の設定 ３０５：勾配ベクトル、ヘッセ行列の計算 ３０６：更新量の計算 ３０７：初期
解の更新 ３０８：設定値以下か？ ３０９：ＥＮ
Ｄ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C023 AA17 AA37 AA40 BA02 BA04 BA12 CA02 CA05 CA08 DA08 EA05 EA06 EA12 5C066 AA01 AA12 AA13 BA20 CA07 CA08 CA21 EC01 ED02 EF11 EF12 KE02 KE03 KE04 KE05

Claims (2)

【特許請求の範囲】
1. 【請求項１】 濃淡２色からなる最良格子パタンを有す
   る後記構成のクロマキ−バックパネルを備え、スタジオ
   カメラと、画像処理装置と、ＣＧ生成装置と、クロマキ
   −装置を具備した仮想スタジオシステムにおいて、
   （ａ）前記スタジオカメラによる前記最良格子パタンの
   撮影画像における複数の格子頂点の画像座標と、それに
   対応する原最良格子パタンを、既知の仮想的なカメラで
   観測した仮想的な画像から得られる画像座標から計算さ
   れる画像の射影変換行列を、（ｂ）前記スタジオカメラ
   の焦点距離と、並進ベクトルと、回転行列、のカメラパ
   ラメ−タに分解し、（ｃ）これらをカメラパラメ−タの
   初期解として、（ｄ）二乗マハラノビス距離を最少化す
   る目的関数におけるカメラパラメ−タによる勾配ベクト
   ルとヘッセ行列を計算し、（ｅ）これらからカメラパラ
   メ−タの更新量を計算して、（ｆ）カメラパラメ−タの
   前記初期解を前記更新量によって更新し、（ｇ）この更
   新量があらかじめ設定した微少レベル以下になるまで、
   前記の勾配ベクトルとヘッセ行列の計算及び、それ以降
   の計算及び更新の手段を繰り返し反復することにより、
   精度限界を達成する最適なカメラパラメ−タ得ることを
   特徴とする画像合成におけるカメラパラメ−タ推定方
   法。（ｈ）最良格子パターンを有するクロマキーバック
   パネルの構成前記格子パタンは、これを生成するための
   連続する点列からなる数列において、下記数式（１）〜
   （４）、により求められる連続する４点から計算される
   カメラの透視変換に不変な複比を用い、複比の誤差に関
   する第１近似から得られる標準偏差からその期待誤差が
   大きい所ではそれに比例して間隔を大きく、小さいとこ
   ろではそれに比例して間隔を小さくとることによって決
   定される複比の条件付き確立密度に基づいて、該複比に
   よる識別のための最良数列を確立的に発生させ 【数１】 【数２】 【数３】 【数４】 前記、最良数列を２次元的に組み合わせることにより生
   成した最良格子パタンを有するクロマキーバックパネ
   ル。
2. 【請求項２】 前記仮想スタジオシステムにおいて、
   （ａ）前記撮影画像の前および前々フレ−ムにおける前
   記スタジオカメラの、焦点距離から計算される線形予測
   焦点距離と、（ｂ）前および前々フレ−ムにおける該ス
   タジオカメラの並進ベクトルと回転行列から計算される
   線形予測並進ベクトルと、（ｃ）線形予測回転行列とを
   初期解とし、請求項１記載のカメラパラメ−タ推定方法
   に基づき並進ベクトルと回転行列の最適化を行うことに
   より得られた焦点距離予測モデルにおけるカメラパラメ
   −タ推定結果と、（ｄ）現フレ−ムにおける前記最良格
   子パタン頂点画像座標から、該スタジオカメラが該最良
   格子パタンに正対することを検出するための判定手段と
   し、（ｅ）この判定手段により、現フレ−ムにおける該
   スタジオカメラが該最良格子パタンに正対していないと
   判定された場合は、前フレ−ムのカメラパラメ−タを現
   フレ−ムのカメラパラメ−タとする静止モデルと、
   （ｆ）前フレ−ムのカメラパラメ−タのうち、焦点距離
   のみを現フレ−ムの焦点距離と一致させ、並進ベクトル
   と回転行列は、前フレ−ムの並進ベクトルと回転行列を
   初期解として請求項１記載のカメラパラメ−タ推定方法
   に基づき、並進ベクトルと回転行列の最適化により得ら
   れる焦点距離固定モデルと、（ｇ）前および前々フレ−
   ムのカメラパラメ−タから計算される線形予測カメラパ
   ラメ−タのうち、線形予測焦点距離のみを現フレ−ムの
   焦点距離と一致させ、並進ベクトルと回転行列は、線形
   予測並進ベクトルと線形予測回転行列を初期解として請
   求項１記載のカメラパラメ−タ推定方法に基づき、並進
   ベクトルと回転行列の最適化によって得られる焦点距離
   予測モデルと、（ｈ）この焦点距離予測モデルにより得
   られたカメラパラメ−タを初期解として、請求項１記載
   のカメラパラメ−タ推定方法に基づき、全てのカメラパ
   ラメ−タの最適化により得られる一般モデル、の各モデ
   ルを計算し、（ｉ）前記各モデルから得られた最適なモ
   デルを幾何学的ＡＩＣによって選択し（ｊ）前記判定手
   段により現フレ−ムにおける該スタジオカメラが該最良
   格子パタンに対して正対すると判定される場合には、
   （ｋ）前記静止モデルと、前記焦点距離固定モデルと、
   前フレ−ムのカメラパラメ−タのうち焦点距離と並進ベ
   クトルを現フレ−ムの焦点距離と並進ベクトルに一致さ
   せ、回転行列のみを前フレ−ムの回転行列を初期解とし
   て、請求項１記載のカメラパラメ−タ推定方法に基づき
   回転行列の最適化により得られる位置固定モデルと、
   （ｌ）前または前々フレ−ムにおけるカメラパラメ−タ
   から計算される線形予測カメラパラメ−タのうち、並進
   ベクトルのみを現フレ−ムの並進ベクトルと一致させ、
   焦点距離は前フレ−ムにおける焦点距離を現フレ−ムに
   おける焦点距離と一致させ、回転行列は線形予測回転行
   列を初期解として、請求項１記載のカメラパラメ−タ推
   定方法に基づき回転行列の最適化により得られる位置予
   測モデル、の各モデルを計算し、（ｍ）この各モデルか
   ら得られた解から最適なモデルを幾何学的ＡＩＣによっ
   て選択すること、を特徴とする請求項１に記載の画像合
   成におけるカメラパラメ−タ推定方法。