WO1998030029A1

WO1998030029A1 - Dispositif et procede pour synthese d'images

Info

Publication number: WO1998030029A1
Application number: PCT/JP1997/004896
Authority: WO
Inventors: Etsuro Saito
Original assignee: Sony Corporation
Priority date: 1996-12-26
Filing date: 1997-12-26
Publication date: 1998-07-09
Also published as: US6104438A; EP0895429A4; EP0895429A1; KR100495191B1; KR19990064245A

Description

明細書画像合成装置及び画像合成方法技術分野

本発明は画像合成装置に関し、例えば放送スタジオ等において、クロマキ一の手法を用いて、ライブカメラの映像と、コンピュータグラフィックスによる映像とをリアルタイムで合成する場合に適用して好適なものである。背景技術

従来、放送スタジオ等においては、クロマキ一の手法を用いて、ライブカメラで撮影したライブ映像と、コンピュータによつて生成されたコンピュータグラフィックスの映像とを合成し、その結果得られる合成映像を放送するようなことが行われている。

例えばクロマキーの手法により人物がコンピュータグラフィックスで生成された仮想空間内に存在するような画像を生成する場合には、所定の色彩（例えば青色や緑色等、人物の画像に含まれない色）を有する背景の前に人物を立たせて当該人物を撮像する。そしてその撮像信号から背景の色彩を基準にしてキ一信号を生成し、当該キ一信号に基づいて背景の代わりにコンピュ一タグラフィックによる映像を差し替える。これによりコンピュータグライフックスの映像と人物とを合成して、あたかもコンピュータグラフィックスで生成された仮想空間内に人物が実在するかのような映像を生成することができる。

ところでかかる従来のクロマキ一による画像合成装置においては、カメラを移動させた場合に、合成された背景（すなわち上述の例ではコンピュータグラフィックによる映像）がこのカメラの移動に追従して変化しない欠点がある。このようなカメラの移動に対応して、合成される背景の映像も自然に変化するような画像合成を行うことができれば、この種の画像合成により作成される映像をさらに一層現実的なものにすることができると思われる。発明の開示

本発明は以上の点を考慮してなされたもので、簡易な構成で、合成される背景の映像も撮像手段の動きに対応して自然に変化させることができる画像合成装置を提案しょうとするものである。

かかる課題を解決するため本発明においては、撮像手段を介して得られるビデォデータより、所定色彩の処理対象領域を撮像してなる領域を検出し、その領域に他の映像を挿入して合成映像を生成する画像合成装置において、処理対象領域に、当該処理対象領域と同一色彩による光源像を形成する照明手段と、光源像を基準にして、処理対象領域に対する撮像手段の位置情報を検出する位置検出手段と、位置情報を基準にして、撮像手段の位置の変化に対応して他の映像を変化させる映像生成手段とを設けるようにする。

このようにして光源像を基準にして処理対象領域に対する撮像手段の位置を検出し、その検出した撮像手段の位置の変化に対応して他の映像を変化させるようにしたことにより、撮像手段が移動した場合でも、その撮像手段の移動に応じて挿入する映像を変化させることができ、違和感のない合成映像を生成することができる。かくするにっき簡易な構成で、合成される背景の映像も撮像手段の動きに対応して自然に変化させることができる画像合成装置を容易に実現することができる。

また本発明においては、入力ビデオデータから所定色彩の処理対象領域を撮像してなる領域を検出し、領域に他の映像を挿入して合成映像を生成する画像合成装置において、入力ビデオデータを生成する際に、処理対象領域に当該処理対象領域と同一色彩による複数の光源像を形成する照明手段と、入力ビデオデータから処理対象領域を検出し、当該処理対象領域に形成された複数の光源像のうち基準となる 4 つの光源像の位置を検出する位置検出手段と、位置検出手段によって検出された光源像の位置情報に基づいて、処理対象領域に挿入する背景ソースビデォデータを 3次元的に画像変換する画像変換手段と、画像変換手段によって画像変換された背景ソースビデオデータを入力ビデォデータの処理対象領域に相当する領域に合成する合成手段とを設けるようにする。

このようにして基準となる 4 つの光源像の位置情報を検出し、その位置情報に基づいて挿入する背景ソースビデオデータを 3次元的に画像変換するようにしたことにより、 4 つの光源像の位置を検出するだけで、撮像手段が移動した場合にも、それに応じて変化する背景ソースビデオデータを生成し得、違和感のない合成映像を生成することができる。かくするにっき一段と簡易な構成で、合成される背景の映像も撮像手段の動きに対応して自然に変化させることができる画像合成装置を容易に実現することができる。図面の簡単な説明

図〖は、第 1 実施例による画像合成装置の構成を示すブ α ック図である。図 2 は、点光源の識別コ一ドの説明に供する図表である。

図 3 は、キー信号 Κ 1 、 Κ 2 の説明に供する略線図である。

図 4 は、背景ソースビデオ信号の画像変換の説明に供するビデォイメージ図である。

図 5 は、画像合成装置によって生成される合成ビデオ信号の説明に供するビデ才イメージ図である。

図 6 は、第 1 実施例によるビデオカメラの位置情報（距離、傾き及び位置）の検出方法の説明に供する略線図である。

図 7 は、第 1 実施例によるビデオカメラの位置情報（距離、傾き及び位置）の検出方法の説明に供する略線図である。

図 8 は、第 1 実施例によるビデオカメラの位置情報（距離、傾き及び位置）の検出方法の説明に供する略線図である。

図 9 は、第 1 実施例によるビデオカメラの位置情報（距離、傾き及び位置）の検出方法の説明に供する略線図である。図 1 0 は、第 1 実施例によるビデオカメラの位置情報（距離、傾き及び位置）の検出方法の説明に供する略線図である。

図 1 1 は、第 1 実施例によるビデオカメラの位置情報（距離、傾き及び位置）の検出方法の説明に供する略線図である。

図 1 2 は、第 1 実施例によるビデオカメラの位置情報（距離、傾き及び位置）の検出方法の説明に供する略線図である。

図 1 3 は、点光源の検出の説明に供する略線図である。

図 1 4 は、第 2実施例による画像合成装置の構成を示すブロック図である。図 1 5 は、基準点光源の説明に供する略線図である。

図 1 6 は、背景板を正面から撮像したときの説明に供する略線図である。図 1 7 は、基準点光源の検出の説明に供する略線図である。

図 1 8 は、基準点光源が画角から外れた場合の説明に供する略線図である。図 1 9 は、フレームメモリの動作の説明に供する略線図である。

図 2 0 は、 3次元座標の説明に供する略線図である。

図 2 1 は、フレームメモリとモニタスクリーンの対応関係の説明に供する略線図である。

図 2 2 は、第 2実施例による読出アドレスの算出方法を示すフローチャートである。

図 2 3 は、検出した点光源の座標の説明に供する略線図である。発明を実施するための最良の形態

以下図面について、本発明の実施例を詳述する。

( 1 ) 第 1 実施例

( 1 一 1 ) 画像合成装置の全体構成

図 1 において、 1 は全体として第 1 実施例による画像合成装置を示し、大きく分けて人物等の被写体を撮像するビデオカメラ 2 と、被写体の背景となる背景板 3 に対して点光源を投影するプログジェクタ装置 4 と、ビデオカメラ 2 によって撮像されたビデオ信号 V 1 から合成画像を生成する画像処理部 5 とによって構成される。

この画像合成装置 1 は、背景板 3 の前に立つアナゥンサを当該背景板 3 と共に撮像し、その背景板 3 のところに例えばコンピュータグラフィックスで生成した仮想空間の映像や別の場所で撮影された風景映像を合成することにより、当該ァナゥンサが仮想空間ゃスタジ才以外の別の場所に実在するかのような合成画像を生成するものである。

この画像合成装置 1 において使用される背景板 3 は、当該背景板 3 の前に立つアナゥンサ等の被写体が持っていない単一色の色彩（例えば青色や緑色等）に染められており、これにより被写体と背景とを色彩により識別し得るようになされている。

プロジェクタ装置 4 は、このような背景板 3 に対して水平及び垂直方向に所定ピッチでマトリクス状に形成された複数の点光源 P 1 i 〜 P n n を投影するための装置である。この場合、点光源 P I l 〜 P n n の発光色としては背景板 3 と同一の色彩に設定されており、例えば青色や緑色等に設定されている。なお、複数の点光源 P 1 1 〜 P n nのうち背景板 3 のほぼ中央に投影される点光源 P 0が基準点光源に設定されている。

この画像合成装置 1 においては、この基準点光源 P 0 の位置を 3次元空間の原点に設定しており、当該基準点光源 P 0 に向かって水平方向を X軸、垂直方向を y軸、奥行き方向を z 軸として 3次元座標系を定義し、この 3次元座標系によつてビデオカメラ 2の位置を検出するようになされている。またこの画像合成装置 1 においては、この検出したビデオカメラ 2 の位置に基づいて背景に合成される映像を変形するようになされており、これによりビデオカメラ 2 を動かしたときにそれに追従して背景映像も自然に変化するようになされている。

ここでプログジェクタ装置 4 においては、点光源 P I l 〜 P n n を投影する際、ビデオカメラ 2 のフレ一ムタイミングに同期して当該点光源 P 1 1 〜 P n n を点滅させるようになっている。その際、点灯を「 1 」、消灯を「 0」で表現すれば、図 2 に示すように、各点光源 P 1 1〜 P n n を一斉に点灯又は消灯するのではなく、 5 フレームを周期として各点光源毎に異なるように点滅させるようになされており、これにより点滅の仕方によって点光源 P 1 1〜 P n n を識別し得るようになされている。例えば図 2 に示すように、 5 フレームで「消灯一消灯—点灯→消灯→点灯」を行っていれば、それは点光源 P 1 1 であることを識別することができる。

このようにして点滅する点光源 P 1 1〜 P n n を投影するためプロジェクタ装置 4 に対しては、画像処理部 5 のシステムコント D—ラ 6 より第 1 フレームのタィミングで信号レベルが立ち上がる基準パルス信号 S Pが供給されるようになさている。これによりフロジェクタ装置 4 は、この基準パルス信号 S Pに基づいて、図 2 に示すように、 5 フレームを周期として点光源 P 1 1〜P n n を独立に点滅させるようになつている。なお、図 2 に示す点光源の点滅の仕方は、識別のため情報を表していることから、以降の説明では、この点滅の仕方を識別コードと呼ぶ。

因みに、後述する力メラ位置 · 光軸検出回路 7 は、点光源の点滅の仕方で基準点光源 P 0 を検出することから、この識別コ一ドを予めメモリ等に蓄えていて把握している。またカメラ位置 · 光軸検出回路 7 において基準点光源 P 0 を検出する際には、 5 フレーム周期の始まりを知る必要があることから、当該カメラ位置 - 光軸検出回路 7 に対してはシステムコントローラ 6 より基準パルス信号 S Pが供給されるようになっている。

ここでこの画像合成装置 1 においては、ビデ才力メラ 2 によって撮像された人物及び背景からなるビデオ信号 V 1 は画像処理部 5 のク Όマキ一回路 8及びミキサ回路 9 に出力される。またビデオ力メラ 2 は、被写体を撮像したときの倍率情報をズ一ム情報 Z Mとして、画像処理部 5のシステムコントローラ 6 に出力する画像処理部 5 のシステムコント n —ラ 6 は、この画像合成装置 1 の動作を制御する制御手段であり、上述したように基準パルス信号 S Pをプ π ジェクタ装置 4 に送出すると共に、当該基準パルス信号 S Pをズーム情報 Z Mと共にカメラ位置 - 光軸検出回路 7 に送出する。なお、システムコントローラ 6 は、ズーム情報 Z Mを後述する 3次元変換アドレス演算回路 1 0 にも出力する。

一方、ビデオ信号 V 1 が供給されるクロマキ一回路 8 は、当該ビデオ信号 V 1 から背景板 3 の色相に対応する色信号を抽出し、当該色信号を所定の閾値と比較することにより、ビデオ信号 V I 内の背景部分を示す牛一信号 K 1 を生成し、当該牛一信号 K 1 をカメラ位置 · 光軸検出回路 7 に出力する。またク oマヰ一回路 8 は、半一信号 K 1 を反転することによりビデオ信号 V 1 内の人物部分を示すキ —信号 K 2 を生成し、当該キー信号 K 2 をミキサ回路 9 に出力する。

ここでビデオ信号 V 1 とキー信号 K 1 、 K 2のイメージ図を図 3 に示す。この図 3 ( A ) に示すように、ビデオカメラ 2では被写体となる人物を背景板 3 と共に撮像していることから、ビデオ信号 V 1 には人物の画像部分 a と背景板 3 の画像部分 bが存在する。この場合、背景板 3 は青又は緑色等の特殊な色に設定されていることから、当該背景板 3 の色相に対応する色信号をビデオ信号 V 1 から抽出してそれを閾値と比較すれば、図 3 ( B ) に示すように、ビデオ信号 V I の背景部分 bで信号レベルが例えば「 1 」となるようなキー信号 K 1 を容易に生成することができる。またこのキ一信号 K 1 を反転すれば、図 3 ( C ) に示すように、人物部分 a で信号レベルが例えば「 1 」となるようなキー信号 K 2 を容易に生成することができる。

カメラ位置 · 光軸検出回路 7 は、ビデオ信号 V 1 からキー信号 K 1 の信号レべルが「 1 」となる領域を抽出することにより、背景部分のみからなるビデオ信号を生成する。そしてカメラ位置 · 光軸検出回路 7 は、内部のメモリに記憶してある識別コ一ドと基準パルス信号 S Pとを基に、その背景部分のみからなるビデオ信号から各点光源 P 1 1 〜 P n n の位置を検出する。続いてカメラ位置 · 光軸検出回路 7 は、検出した点光源 P I l 〜 P n nの中から画面の中央近傍に隣接する 4つの点光源を抽出し、この 4つの点光源の位置及びズーム情報 Z Mに基づいて、ビデオ力メラ 2の光軸 0の背景板 3 に対する上下及び左右方向の傾きすなわち 3次元座標系の X軸及び Y軸回りの角度 _X 、 Θ と、ビデオカメラ 2から背景板 3 までの距離 L と、基準点光源 P 0 に対するビデオカメラ 2 の位置すなわち基準点光源 P 0 を原点とした 3次元座標系における位置座標（X , Υ , Z ) とを算出し、これら算出されたパラメータ情報を検出データ S 1 として 3次元変換ァドレス演算回路 1 0 に出力する。

3次元変換アドレス演算回路 1 0 は、この検出データ S 1 及びシステムコントローラ 6から供給されるズーム情報 Z Mに基づいて、合成する背景画像をビデオカメラ 2 の位置に応じて 3次元的に変形するための読出ァドレスを発生し、当該読出アドレス S 2 をフレームメモリ 1 1 に出力する。すなわち 3次元変換アドレス演算回路 1 0 は、ビデオカメラ 2 の位置から背景画像を見たような映像を生成するため、そのような 3次元画像変換を実現するのに必要な読出ァドレスを発生し、これをフレームメモリ 1 1 に出力する。

ビデオテープレコーダ（ V T R ) 】 2 には、背景画像として合成する映像（例えばコンピュータグラフィックスで生成した映像や別の場所で撮影した風景映像 ) が記録されたビデオテープが装塡されており、ビデオテープレコーダ 1 2 はそのビデオテープを再生することにより合成用に使用される背景画像のビデオ信号 (以下、これを背景ソースビデオ信号と呼ぶ） V 2 を出力する。この背景ソースビデオ信号 V 2 は、上述したフレームメモリ 1 1 に供給され、当該フレームメモリ 1 1 内の記憶領域に順に書き込まれる。

フレームメモリ 1 1 は、 3次元変換アドレス演算回路 1 0から供給される読出アドレス S 2 に基づいて、記憶領域に書き込まれている背景ソースビデオ信号 V 2 を順に読み出すことにより、ビデオ力メラ 2 の位置に応じて 3次元的に変形された背景ソースビデオ信号 V 3 を生成し、これをミキサ回路 9 に出力する。例えば図 4 ( A ) に示すように背景ソースビデオ信号 V 2が美術館の壁に付けられている絵画を撮像したビデオ信号であり、かつビデ才力メラ 2の位置が背景板 3 に対して左斜め前方にある場合には、読出アドレス S 2 に基づいた読出し処理により、フレームメモリ 1 1 は、図 4 ( B ) に示すように、絵画を左斜め前方から撮影したようなビデオ信号 V 3 に変形する。

ミキサ回路 9 は、キー信号 K 2 の信号レベルが「 1 」のときビデオ信号 V 1 を選択し、キー信号 K 2 の信号レベルが「 0 」のとき背景ソースビデオ信号 V 3 を選択することによりビデオ信号 V 1 と背景ソースビデオ信号 V 3 とを合成する。これにより図 5 に示すように、あたかもスタジォにいるアナゥンサが美術館の絵画の前に居て、それを左前方から撮影したようなビデオ信号 V 4 を生成することができる。

なお、ミキサ回路 9 の合成処理を数式によって表現すれば、次式、

V 4 = K 2 - V 1 + ( 1 - K 2 ) V 3 ( 1 ) に示すように表される。

( 1 一 2 ) カメラ位置及び光軸の検出アルゴリズ厶

続いてこの項では、カメラ位置及び光軸の検出アルゴリズムについて説明する。上述したように背景板 3 に対してマトリクス状に配置された点光源を撮像する際、背景板 3 の面に対して垂直方向から撮像すると、図 6 に示すように、隣接する点光源 P 1 〜 P 4 は矩形形状に撮像される。これにより図 7 に示すように、背景板 3からビデオ力メラ 2 の撮像面までの光学的光路長を S とおくと、背景板 3 における点光源 P 1 及び P 2 の間隔 Mと、撮像面における点光源 P 1 及び P の像間の間隔 mにおいては、次式の関係式を得ることができる。 m

M S 一 f なお、（ 2 ) 式における f は、ビデォカメラ 2 におけるズームレンズ 1 3 の焦点距離である。

ところで背景板 3 からビデオカメラ 2 の撮像面までの光学的光路長 S は、ほぼ背景板 3からビデオカメラ 2 までの距離 L (ビデオカメラ 2 の光軸 0が背景板 3 と交わる点までの距離）に等しい。従って（ 1 ) 式を変形することにより、背景板 3からビデオカメラ 2 までの距離 Lに関して、次式、

M

( 1 十

m に示す関係式を得ることができる。かくしてビデオ信号 V 1 から抽出した 4 つの点光源間の距離 m、ズームレンズ 1 3 のズーム情報 Z Mから得た焦点距離 f 及び所定ピッチに配置されている点光源間の距離 Mに基づいて（ 3 ) 式の演算を行うことにより、背景板 3からビデオ力メラ 2 までの距離 Lを求めることができる。これに対して図 8 に示すように、背景板 3 に対してビデオ力メラ 2が傾いた場合、図 9 に示すように、ビデオ力メラ 2 の映像においては、点光源 P 1 〜 P 4 の像が矩形形状から変形した状態に観察される。この場合には、まず矩形形状を形成する 4点の点光源像を基に、垂直方向に連続する点光源 P 1 及び P 3 の像間の距離 m 1 と、点光源 P 2及び P 4間の像間の距離 m 2 とを求める。次にこれらの値 m 1 、 m 2 とを基にして、ビデオカメラ 2の光軸 0を垂直に横切るように点光源像が配置された場合の像間の距離 mを算出し、この距離 mを（ 3 ) 式に代入して演算を行う。これにより背景板 3 に対してビデオ力メラ 2が傾いた場合にも、

3 背景板 3 からビデオカメラ 2 までの距離 Lを算出することができる。

なお距離 mは、距離算出の基準となる 4点の点光源像の座標値を基準にして、光軸 0が 4点の内側に存在する場合には、隣接する点光源像を結ぶ直線を内挿する補間演算処理により、光軸 0が 4点の外側に存在する場合には、隣接する点光源像を結ぶ直線を外挿する補間演算処理により、算出することができる。また水平方向及び垂直方向のいずれの方向にも傾いている場合には、図 1 0 に示すように、これら 4点が形成する矩形形状について、光軸 0を垂直に横切るように点光源像が配置された場合の像間の間隔 mを計算することにより、距離 Lを算出することができる。

これに対して光軸 0の水平方向に関する傾き _y は、 4点の点光源像の内側において、光軸 0が水平方向の間隔を a ： b に内分するとして、次式により表す：とができる。従ってこの（ 4 ) 式を使用して水平方向に関する光軸 0の傾き _y を求めることができる。

( a + b )

= arccos {

m2 また光軸 0の上下方向に関する傾き _x については、垂直方向に隣接する点光源像間の間隔に代えて、水平方向に隣接する点光源間の間隔を（ 4 ) 式に代入すれぱ、当該傾きを求めることができる。

さらにまた水平方向及び垂直方向のいずれの方向にも光軸 0が傾いている場合には、図 1 1 に示すように、これら 4点の形成する矩形形状の領域について、いずれかの点像を基準にして垂直方向の線分 m 1 及び m 2 を検出し、これら垂直方向の線分 m l 及び m 2 を基にして（ 4 ) 式の演算処理を実行すれば、水平方向への光軸の傾き _y を求めることができる。

またこれとは逆に、これら 4点の形成する矩形形状の領域について、図 1 2 に示すように、いずれかの点像を基準にして水平方向の線分 τη 1 及び m 2 を検出し、これら水平方向の線分 m l 及び m 2 を基にして（ 4 ) 式の演算処理を実行すれば、垂直方向への光軸の傾きを求めることができる。さらに光軸 0が 4点の外側に存在する場合は、これら 4点の形成する矩形形状の領域について、同様にして（ 4 ) 式の演算処理を実行することにより、それぞれ水平方向及び垂直方向への傾き _y び 0 を求めることができる。

このようなパラメータ算出アルゴリズムに基づいて、カメラ位置 ' 光軸検出回路 7 は、図 1 3 に示すように、ビデオ信号 V 1 より抽出した点光源による映像 V 】 ' より、光軸 0に対応する基準位置 Qを基準にして、この基準位置 Qに近接して、水平方向及び垂直方向に隣接する 4点の点光源像 P 1 〜 P 4 を抽出し、これら点光源像 P 1 〜 P 4 の座標値を検出する。

カメラ位置 · 光軸検出回路 7 は、このとき内部のメモリに格納されている識別コ一ドを基準にして点光源像を判定し、例えば背景板 3 の前に立つ人物等により点光源が部分的に遮光された場合等にあっても、水平方向及び垂直方向に隣接する 4点の点光源像を確実に検出する。

さらに背景板 3 の前に立つ人物等の移動、ビデオカメラ 2の移動により、連続するフレーム間でそれまで選択していた 4点の点光源像を抽出できなくなると、処理対象の点光源像を別途抽出する。

さらにカメラ位置 · 光軸検出回路 7 は、検出した 4点の点光源像のいずれかが、消灯に割り当てられたフレームにおいては、例えば前後のフレームを利用した補間演算処理により、又は必要に応じて他の 4点の点光源像を選択することにより、各フレームについて、それぞれ背景板 3 において隣接する 4点の点光源像を抽出する。

このようにして背景板 3 において水平方向及び垂直方向に隣接する 4点の点光源像を検出すると、カメラ位置 ' 光軸検出回路 7 は、ビデオカメラ 2 より得られるズーム情報 Z Mを参考にして、基準位置 Qを基準にした上述の内挿、外揷による補間演算処理等を実行し、ビデオ力メラ 2 の光軸◦が背景板 3 と交わる点までの距離し、上下左右方向の傾き _x 及び _y を検出する。

さらに検出に供した点光源の識別コードより、基準点光源 P 0 に対するこれら点光源の座標値（すなわち基準点光源 P 0 を原点とした 3次元座標）を検出し、この座標値と検出した距離し、傾き及び _y とから、ビデオカメラ 2 の座標値（ Χ 、 Υ、 Ζ ) を算出する。

力メラ位置 · 光軸検出回路 7 は、ビデオ信号 V 1 の各フィ一ルドについて、この座標値検出処理、距離、傾き検出処理を繰り返し、これら処理の結果得られた検出データ S 1 ( X 、 Υ、 Ζ 、 0 θ , L ) を 3次元変換アドレス演算回路 1 0 に出力する。

( 1 - 3 ) 動作及び効果

以上の構成において、この画像合成装置 1 では、まずプ η ジェクタ装置 4 を駆動することにより、被写体となる人物の背景に設置されている背景板 3 に対して点光源 P 1 1〜 P n n を投影する。その際、点光源 P 1 1〜 P n nが後で識別し得るようにするため、当該点光源 P 1 1〜 P n n を一定のパタ一ンで点滅させるこのように背景板 3 に点光源 P 1 1 〜 P n n を投影した状態で、被写体である人物をビデオカメラ 2 によって撮像し、その結果得られるビデオ信号 V 1 を画像処理部 5 に入力する。またビデオ力メラ 2 による撮像時に使用したズーム情報 Z Mも、画像処理部 5 に入力する。

画像処理部 5 においては、まずビデオ信号 V 1 をクロマキ一回路 8 に入力する。クロマキ一回路 ₈ は、ビデオ信号 V 1 から背景板 3 の色相に応じた色信号を抽出し、当該色信号を所定の閾値と比較することによりビデオ信号 V 1 内の背景部分を示すキ一信号 K 1 を生成すると共に、ビデオ信号 V 1 内の被写体部分を示すキー信号 K 2 とを生成する。

カメラ位置 · 光軸検出回路 Ί は、まずこのキー信号 K 1 とビデオ信号 V 1 とを受け、当該キー信号 K 1 を基にビデオ信号 V 1 から背景部分のみからなるビデォ信号を生成する。そしてカメラ位置 · 光軸検出回路 Ί は、内部のメモリに記億してある点光源の点滅情報からなる識別コ一ドを読出し、その識別コ一ドと基準パルス信号 S P に基づいて、その背景部分のみからなるビデオ信号から各点光源 P 1 1〜 P n n の位置を検出する。続いてカメラ位置，光軸検出回路 7 は、検出した点光源 P 1 1〜 P n n の中から、ビデ才力メラ 2 の光軸 0に対応する表示画面内の基準位置 Qに対して最も近接し、かつ背景板 3上で水平及び垂直方向に隣接する 4 つの点光源を抽出する。そしてカメラ位置 · 光軸検出回路 7 は、その抽出した 4 つの点光源の座標値及びズーム情報 Z Mとに基づいて上述した（ 3 ) 及び ( 4 ) 式の演算を行うことにより、ビデオ力メラ 2の光軸 0が背景板 3 と交わる点までの距離しと、水平方向の光軸◦の傾き _y と、垂直方向の光軸 0の傾きとを算出する。

このようにしてカメラ位置 · 光軸検出回路 7 においては、識別コードを基準にして点光源像を判定するようにしたことにより、例えば背景板 3 の前に立つ人物等により点光源が部分的に遮光された場合でも、距離 L等の計算に必要な 4点の点光源像を確実に検出することができる。

また距離 L等を演算する際には、ビデオカメラ 2 より得られるズーム情報 Z M を参考にして、基準位置 Qを基準にした内挿及び外挿の補間演算処理により簡易に距離 L及び傾き _χ 、 θ を算出することができる。

このように距離 L及び傾き θ 、 θ を算出すると、カメラ位置 · 光軸検出回路 7 は、この距離し等の検出に使用した点光源像の位置を基にして、背景板 3 の基準点光源 P 0すなわち 3次元座標系における原点に対するビデオ力メラ 2の位置座標（X , Y , Z ) を算出する。

3次元変換アドレス演算回路 1 0 は、カメラ位置 · 光軸検出回路 7 によって算出されたこれらのパラメータ（Χ 、 Υ、 Ζ 、 θ θ _ν 、 L ) と、システムコント α —ラ 6 より供給されたズーム情報 Ζ Μとに基づいて、ビデオカメラ 2の位置から背景画像（ V 2 ) を見たような映像を生成するための 3次元変換用の読出ァドレス S 2 を発生する。

フレームメモリ 1 1 はこの読出アドレス S 2 に基づいて、記億されている背景ソースビデオ信号 V 2 を読み出すことにより、ビデ才力メラ 2の位置から背景画像を見たような背景ソースビデオ信号 V 3 を生成する。かくしてこの背景ソースビデオ信号 V 3 とビデオ信号 V 1 とを半一信号 Κ 2 に基づいて合成することにより、例えば図 5 に示すように、被写体となっている人物がスタジオではなく、あたかもコンピュ一タグラフィックスの仮想空間や別の場所にいるかのような映像を生成することができる。

この場合、背景に合成される背景ソースビデオ信号 V 3 をビデオカメラ 2 の位置から見たように 3次元的に画像変換していることにより、違和感の無い合成映像を得ることができる。またこの画像合成装置 1 では、検出されたビデオカメラ 2 の位置に基づいて順次読出ァドレス S を発生し、この順次発生される読出ァドレス S 2 に基づいて背景ソースビデオ信号 V 2 を画像変換していることから、ビデォカメラ 2 の位置が移動したとしても、そのビデオカメラ 2 の移動に応じて背景画像も変化するので、違和感の無い一層現実的な合成映像を得ることができる。さらにこの画像合成装置 1 では、ビデオカメラ 2のズ厶情報 Z Mも読出ァドレス S 2 の算出に使用していることから、被写体となる人物をズームした場合でも、その人物の拡大，縮小に連動して、背景画像も違和感なく拡大 · 縮小することができる。

以上の構成によれば、背景板 3 にマトリクス状に投影した点光源像を基準にしてビデオカメラ 2 の位置情報を検出し、この位置情報を基準にして視点を設定して背景画像を合成するようにしたことにより、ビデオカメラ 2 の移動等に対応して背景に合成する背景画像を変化させることができる。かくするにっき簡易な構成で、合成される背景の映像も撮像手段の動きに対応して自然に変化させることができる画像合成装置 1 を実現することができる。

( 2 ) 第 2実施例

( 2 - 1 ) 画像合成装置の全体構成

上述の第 1 実施例においては、ビデオ力メラ 2 と背景板 3 との幾何学的な関係から画像変換のパラメータ（すなわちフレームメモリの読出アドレス）を求めた場合について述べたが、この第 2実施例においては、基準となる点光源がビデオカメラ 2 を移劻することによりモニタスクリ一ン面においてどの場所に移動したかを検出することにより、画像変換のパラメ一タを求めるようにする。

まず図 1 との対応部分に同一符号を付して示す図 1 4 において、 2 0 は全体として第 2実施例による画像合成装置を示す。この画像合成装置 2 0 も、基本的にはビデオカメラ 2 とプロジェクタ装置 4 と画像処理部 5 とによって構成され、第

1 実施例の画像合成装置 1 と大きく異なる点は点光源座標検出回路 2 1 、 3次元変換ァドレス演算回路 2 2及びスクリーンアドレス発生回路 2 3 が新たに設けられていることである。

この画像合成装置 2 0 における点光源座標検出回路 2 1 は、背景板 2 に投影されている複数の点光源 P 1 l 〜 P n nのうち基準となる 4 つの点光源の位置をビデォ信号 V 1 の中から検出する回路である。この画像合成装置 2 0 においては、図 1 5 に示すように、背景板 3 の中心 B Oを囲む 4 つの点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 を基準点光源としており、点光源座標検出回路 2 1 ではこの 4 つの点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の位置座標をビデオ信号 V 1 から検出する。

具体的に説明すると、点光源座標検出回路 2 1 は、背景板 3 を正面から撮像したとき、図 1 6 に示すように、画角 Dの中央に見えていた 4 つの基準点 P 4 3、 P 4 4、 P 5 3及び P 5 4がビデオカメラ 2 の移動によってモニタスクリーン面のどこに移動したかを検出する。例えばビデオカメラ 2 の撮像によって得られたビデオ信号 V 1 が図 1 7 に示すような状態にあるとすると、点光源座標検出回路 2 1 は、この 4 つの基準点 P 4 3、 P 4 4、 P 5 3及び P 5 4 のモニタスクリーン面における位置座標を検出する。

このようにして基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4の移動先の位置を検出し得ると、各点光源は所定ピッチでマトリクス状に背景板 3 に配置されていることから基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の本来の位置は予め分かっているので、どのような 3次元的な変換を行えば、基準点光源 P 4 3、 P

4 4、 P 5 3及び P 5 4がそのような場所に移動するかを検出し得る。すなわちビデオカメラ 2 の移動によって基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 に与えられた 3次元的な画像変換の変換行列を検出し得る。この変換行列は、まさに背景画像をビデオカメラ 2 の視点から見た映像に変換するのに必要な変換行列である。

このため点光源座標検出回路 2 1 では、まずビデオ信号 V 1 からキ一信号 K 1 の信号レベルが「 1 」となる領域を抽出することにより、背景部分のみからなるビデオ信号を生成する。そして点光源座標検出回路 2 1 は、内部のメモリに記憶してある識別コードを読出し、この識別コ ― ドと基準パルス信号 S P とを基に、その背景部分のみからなるビデオ信号から 4 つの基準点光源 P 4 3、 P 4 4、 P

5 3及び P 5 4のモニタスクリーン面における位置座標を検出する。その際、図 1 8 に示すように、ビデオカメラ 2 の画角 Dから外れたり、或いは背景板 3 の前に立つ人物によって隠れたりしたため、背景のみからなるビデオ信号内に基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4が存在しない場合には、点光源座標検出回路 2 1 は、当該ビデオ信号内に存在するその他の点光源の位置座標を検出し、その検出した位置座標を基に補間演算によって当該基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4の位置座標を検出する。

かくして点光源座標検出回路 2 1 は、このようにして検出した基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4の位置座標を検出データ S 1 0 として 3次元変換アドレス演算回路 2 2 に出力する。

3次元変換アドレス演算回路 2 2 は、背景板 3 に所定ピッチでマトリクス状に形成されている基準点光源 P 4 3、 P 4 4、 P 5 3及び？ 5 4 の位置座標を把握しており、この本来の位置座標と、点光源座標検出回路 2 1 から供給される検出データ S 1 0 に基づく基準点光源 P 4 3、 P 4 4、 P 5 3及'び P 5 4の位置座標と、さらにシステムコントローラ 6から供給されるズーム情報 Z Mとを基に、基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4がビデオカメラ 2 の移動によってモ二タスクリーン面のそのような場所に移動するのに必要な変換行列を算出する。この変換行列は、まさにビデオ信号 V 1 の背景に合成する背景画像をビデオカメラ 2 の視点から見た映像に変換する変換行列と等しい。

3次元変換アドレス演算回路 2 2 は、この変換行列の逆行列を求め、その逆行列を、スクリーンアドレス発生回路 2 3から供給されるラスタスキャン順のスクリーンアドレス（ X _s , Y s ) に乗算することにより、フレームメモリ 1 1 の読出アドレス（ Χ _Μ , Υ _Μ ) を算出し、これをフレームメモリ 1 1 に出力する。なお、変換行列の逆行列を求めている理由は、この画像合成装置 2 0 においては、背景ソースビデオ信号 V 2 に変換行列を乗算して 3次元的な画像変換を行うのではなく、背景ソースビデオ信号 V 2 をメモリに書き込んでおき、当該背景ソースビデオ信号 V 2 を読み出す際に、変換行列で示されるような 3次元的な画像変換力〈行われるようにする力、らである。

フレームメモリ 1 1 は、図 1 9 に示すように、ビデ才テ一プレコーダ 1 2力、ら供給される背景ソースビデオ信号 V 2 を内部のメモリ領域に順に書込み、 3次元変換アドレス演算回路 2 2から供袷される読出アドレス（ Χ _Μ ， Υ _Μ ) に基づいて、その背景ソースビデオ信号 V 2 を読み出すことにより、図 4 に示したように、ビデオ力メラ 2 の位置から背景画像を見たような背景ソースビデオ V 3 を生成し、これをミ牛サ回路 9 に出力する。

かくしてミヰサ回路 9 において、第 1 実施例と同様に、被写体の領域を示すキ一信号 Κ 2 に基づいて、ビデオカメラ 2で撮像されたビデオ信号 V 1 と 3次元的な画像変換が施された背景ソースビデオ信号 V 3 とを選択して合成することにより、図 5 に示したように、ビデオカメラ 2 に位置に応じて背景画像が変形された合成ビデオ信号 V 4 を生成することができる。

( 2— 2 ) 3次元変換ァドレス演算回路の読出ァドレス生成方法

この項では、 3次元変換アドレス演算回路 2 2 における読出アドレス（ X _Μ , Υ ) の生成方法について説明する。背景ソースビデオ信号 V 2 をビデオ信号 V 1 内の背景板 3 のところに挿入し得るようにするためには、背景ソ一スビデオ信号 V 2 を背景板 3が存在する 3次元空間へ写像し、それをさらにオペレータの視点位置を基点としてモニタスクリ一ン面上に投影しなければならない。なぜなら背景板 3 は 3次元空間上に存在するものであり、ビデオ信号 V 1 内の背景板 3 はその 3次元空間上に存在する背景板 3 をオペレータの視点位置を基点としてモニタスクリーン面上に投影したものであるからである。従って 3次元変換アドレス演算回路 2 2 では、 3次元空間への写像及び 3次元空間から 2次元平面への投影を含む変換行列を算出し、その変換行列の逆行列を算出して読出ァドレスを生成しなければならない。この点について、以下に具体的に説明する。

( 2— 2 — 1 ) 座標系の定義

まずここでは図 2 0 ( A ) 及び（ B ) を用いて、 3次元空間の座標系について説明する。この第 2実施例において使用される 3次元の座標系は、図 2 0 ( A ) 及び（ B ) に示すように、モニタスクリーンの中心を原点とし、モニタスクリーンの水平方向を X軸、モニタスクリーンの垂直方向を y軸、モニタスクリーンに対する鉛直方向を z軸とした x y z の直交座標系によって定義される。この場合、 X軸に関してはモニタスクリーンの右方向を正方向、モニタスクリーンの左方向を負方向とし、 y軸に関してはモニタスクリーンの上方向を正方向、モニタスクリーンの下方向を負方向とし、 z軸に関してはモニタスクリーンの奥行き方向を正方向、スクリーンの手前側（すなわちオペレータの視点がある側）を負方向とする。

またスクリーン領域内の X軸方向に関しては、一 4から + 4の間の仮想的な座標値が設定され、スクリーン領域内の y軸方向に関しては、一 3から + 3 の間の仮想的な座標値が設定されている。もちろん、スクリーン領域外にも、仮想的な座標値は設定されている。またオペレータの視点位置 P Z については、 z軸上の z座標が「一 1 6」のところに仮想的に設定されている。

( 2 - 2 ~ 2 ) 3次元画像変換の基本アルゴリズム

次にここでは、背景ソースビデオ信号 V 2 に対して 3次元画像変換処理（すなわち 3次元空間への写像及び 3次元空間からモニタスクリーン面への投影）を施すことにより、ビデオ信号 V 1 内の背景板 3 のところに挿入される背景ソースビデォ信号 V 3 を生成する方法について説明する。

まず背景ソースビデオ信号 V 2 は、 3次元的な処理は何もされず、そのままの状態でフレームメモリ 1 1 に記憶される。この背景ソースビデオ信号 V 2 は、 2 次元のビデオ信号であるので、図 2 0 ( A ) に示すように、 3次元空間ではモニタスクリーン上の位置 M , に存在するビデオ信号である。

この背景ソ一スビデオ信号 V 2 は上述したように 3次元空間内に存在する背景板 3 のところに座標変換されなければならない。ここで背景板 3 は、図 2 0 ( A ) に示すように、 z軸の正方向であって、スクリーン面に対して約 45 ° 傾いた位置 M ₂ に存在しているものとする。このような位置 M ₂ に背景板 3が存在するとすると、背景ソースビデオ信号 V 2 に対して z軸の正方向への平行移動と、 y軸を中心とした約 45 ° の回転処理を施さなければならない。このような座標変換処理は 3次元の変換行列 T。を使用することにより実行できる。すなわち背景ソースビデオ信号 V 2 の各画素に 3次元の変換行列 T。を乗算することにより、 3次元空間に存在するビデオ信号 V 2 ' を生成することができる。

この 3次元の変換行列 Τ。は、一般に次式

によって表すことができる。

この 3次元の変換行列 T。に使用される変換パラメータ r ！ ,〜 r ₃₃は、背景ソースビデオ信号 V 2 を X軸回り、 y軸回り及び z軸回りに回転させるための要素、背景ソースビデオ信号 V 2 を X軸方向、 y軸方向及び z軸方向にスケールをそれぞれ拡大 Z縮小させるための要素、及び、背景ソースビデオ信号 V 2 を X軸方向、 y軸方向及び z 軸方向にそれぞれスキューさせるための要素等を含んだパラメータである。また変換パラメータ 1 _x 、 1 _y 、 1 _z は、 X軸、 y軸及び z 軸方向に背景ソースビデオ信号 V 2 をそれぞれ平行移動させるための要素を含んだパラメータであり、変換パラメ一夕 s はビデオカメラ 2 のズ一ム情報 Z Mにょって決まるパラメータであり、背景ソースビデオ信号 V 2全体を 3次元のそれぞれの軸方向に一様に拡大/縮小させるための要素を含んだパラメータである。

なお、この変換行列丁。は、回転変換等の座標系と平行移動変換及び拡大縮小変換の座標系とを同じ 1 つの座標系内で表現しているので 4行 4列の行歹となる。一般にはこのような座標系は同次座標系（Homogeneous Coordinate) と呼ばれている。

このように 3次元の変換行列を使用して 3次元空間に座標変換された背景ソ一スビデオ信号 V 2 ' は、ビデオ信号 V 1 の中の背景板 3 のところに挿入されるため、オペレータの視点を基点としたモニタスクリーン上へ投影処理を施さなければならない。すなわちこれは言い換えれば、図 2 0 ( A ) に示すように、 z軸上の仮想視点 P Zから 3次元空間内の位置 M ₂ に存在する背景ソースビデオ信号 V 2 ' を見たときに X y平面上に透視される背景ソースビデオ信号 V 3 を求めなければならない。この投影処理は透視変換行列 P。を使用することにより実行できる。すなわち背景ソースビデオ信号 V 2 ' の各画素に対して透視変換行列 P。を乗算することにより、 3次元空間に存在する背景ソースビデオ信号 V 2 ' を X y 平面上に透視した背景ソースビデオ信号 V 3 を求めることができる。

この透視変換行列 P。は、一般に次式

によって表される。

この透視変換行列 P。のパラメータ P _z は、背景ソースビデオ信号 V 2 ' を X y平面上に透視する際に、遠近法を適用するためのパースぺクティブ値である。通常、このパースペクティブ値 P _z は、「 1 / 1 6」が基準値として設定されている。これは仮想視点 P Zの z座標値が「一 1 6」であることを意味している。なお、このパースペクティブ値 P _z は、オペレータ設定により所望の値に変更することも可能である。

かくしてこのような 3次元空間への座標変換と、 3次元空間から X y平面への投影処理とを背景ソ一スビデオ信号 V 2 に対して施すことにより、背景ソースビデォ信号 V 2 をビデオ信号 V 1 の中の背景板 3 のところに揷入することが可能となる。

ここで以上説明してきた変換処理の内容をまとめると、次のようになる。すなわちこの変換処理は、 3次元の変換行列 T。によって背景ソースビデオ信号 V 2 から 3次元の背景ソースビデオ信号 V 2 ' を得るまでの空間的画像変換ステップと、透視変化行列 P。によって 3次元の背景ソースビデオ信号 V 2 ' から透視変換された背景ソースビデオ信号 V 3 を得るまでの透視変換ステップとから構成される。従って、背景ソースビデオ信号 V 2から透視変換された背景ソースビデオ信号 V 3 を得るための変換行列 Tは、 3次元の変換行列 T。と透視変換行列 Ρ ο との乗算式により、次式

に示すように表される。従ってこの（ 7 ) 式に示される変換行列 T。を背景ソースビデオ信号 V 2 の各画素に乗算すれば、ビデオ信号 V 1 の背景板 3 のところに挿入することができる背景ソースビデオ信号 V 3 を生成することができる。なお、この画像合成装置 Ϊ 0 においては、背景ソースビデオ信号 V 3 を生成するとき、変換行列丁。を背景ソースビデオ信号 V 2 に乗算しているのではなく、実際には、変換行列 Τ。によって示される画像変換が施されるような読出ァドレスを求め、その読出しアドレスを基にフレームメモリ 1 1 から背景ソースビデオ信号 V 2 を読み出すことにより画像変換が施された背景ソ一スビデオ信号 V 3 を生成している。

すなわちこの画像合成装置 2 0 では、背景ソ一スビデオ信号 V 2 をフレームメモリ 1 1 に順に書き込み、変換行列 T。によって示される画像変換が施されるような読出ァドレスに基づいてその背景ソースビデオ信号 V 2 を読み出すことにより、ビデオ信号 V 1 の背景板 3 のところに挿入できるような背景ソースビデオ信号 V 3 を生成している。

ところでフレームメモリ 1 1 に書き込まれる背景ソースビデオ信号 V 2及びフレームメモリ 1 1 から読み出された背景ソースビデオ信号 V 3 は共に 2次元のビデ才データであり、またフレームメモリ 1 1 も 2次元のデータを記憶するメモリである。このためフレームメモリ 1 1 からの読出し動作に使用される読出ァドレスの演算においては、 3次元空間上の z軸方向のデータを演算するためのパラメータは実質的には使用されないことになる。従って（ 7 ) 式に示した変換行列 T のうち、 z 軸方向のデータを演算するための 3列目及び 3行目のパラメ一タは不要となる。

すなわち読出ァドレスの演算に実際に必要となるパラメータを有する変換行列を T _{3 3}とすると、その変換行列 Τ _{3 3}は、（ 7 ) 式の 3列目及び 3行目を除いたものとなり、次式

r 1 2 P

Τ P _z

P _z 十 s によって表される。

次にフレームメモリ 1 1 からの背景ソースビデオ信号 V 2 の読出し動作に使用する読出しアドレスの算出方法について説明する。まずここでは、始めに図 2 1 を用いて、フレームメモリ 1 1 上の位置べクトルと、モニタスクリーン上の位置べクトルとの関係について説明する。

まずフレームメモリ 1 1 上の 2次元のァドレスを（ X M , Y _M ) 及び位置べクトルを〔 Χ _Μ Υ Μ とし、モニタスクリーン上のアドレスを（ X s ， Y s ) 及び位置べクトルを〔 X s Y s 〕とする。続いてこのフレームメモリ 1 1 上の 2 次元の位置ベクトル〔 X _M Υ _Μ 〕を同次座標系で表現すると、べクトル〔 x _m y _m H。〕と表すことができ、モニタスクリーン上の位置べクト X _S Y s 〕を同次座標系で表現すると、べクトル〔 x _s y _s 1 〕と表すことができる。なお、この同次座標系のパラメータ「 H。」はべクトルの大きさを表すパラメ一夕である。

フレームメモリ 1 1 上の位置べクトル〔 x _m y _m H。〕に対して、変換行列 T ₃₃を作用させることによって、フレームメモリ 1 ί 上の位置べクトル〔 x _m y _m H。〕がモニタスクリーン上の位置ベクトル〔 x _s y s 1 〕に変換される。従ってフレームメモリ I 1 上の位置べクトル〔 x _m y _m H。〕とモ二タスクリーン上の位置べクトル〔 X _s y s 1 〕との関係式は、次式

[ X s y s 1 ] = C X m y m H o · T …… ( 9 ) によって表すことができる。

なお、フレームメモリ 1 1 上の位置べク X _m y _m H o 〕において使用されている同次座標系のパラメータ「 H。」及びモニタスクリーン上の位置べクトル〔 X _s y s 1 ] において使用されている同次座標系のパラメータ「 1 」との関係は、変換行列 T ₃によって、フレームメモリ 1 1 上の位置べクト m y _m 〕がスクリーン上の位置べクトル〔 x _s y s 〕に変換され、フレームメモリ 1 1 上の位置べクト x _m y _m 〕の大きさ「H。」がモニタスクリ — ン上の位置べクトル〔 x _s y s 〕の大きさ「 1 」になるように変換されるということである。

ところでこの画像合成装置 2 0 のように、フレームメモリ 1 1 に対して、変換行列 T に対応するような読出ァドレスを供給することによって、背景ソースビデォ信号 V 2 に対して空間的な変換処理を施すような装置においては、フレームメモリ 1 1 上の点に対応するモニタスクリーン上の点を求めるのでは無く、モニタスクリーン上の点に対応するフレームメモリ 1 1 上の点を求める必要がある。すなわち（ 9 ) 式を変形した次式

〔 X _m H 0 ] = C X 1 〕 · T ( 10) に示すように、モニタスクリーン 1 1 上の位置べクトル〔 x _s y s 1 〕を基準にして、変換行列 T ₃₃の逆行列 T n— ¹を用いてフレームメモリ 1 1 上の位置べクトル〔 x _m y _m H。〕を演算する必要がある。

次にこの考え方に基づいて、実際にフレームメモリ上の 2次元の位置べクトル C X M Y M 〕を求める方法について以下に説明する。まず変換行列 T _{3 3}を、次式

r 1 1 r 1 r 1 P _z a l i a 1 a 1

Τ r l Γ r ： P _z a 1 3 Ά …… ( 11)

1 X 1 V 1 _z P 十 s a. 3 l a 32 a 3

示すようペラメータ a u〜 a ₃₃で表現し、逆行列 T 33— ¹を、次式

a 1 1 a 12 S 13 b i i b 12 b

- 1―

33 a 21 a 22 3 23 b 21 b 22 b

a. 31 a 32 3 33 b 3 1 b 32 b

但し、 b i j ( 12)

d e t ( T 33 ) に示すように、パラメータ！，！〜！）：^で表現する。このように定義した逆行列 T ₃₃— ¹を上述した（10) 式に代入し、それを展開すると、次式 b ! 1 b 1 2 b

〔 H o 〕〔 1 ] b 2 1 b 22 b

b 31 b 32 b

〔 b 】 i x _s + b ₂】 y _s + b b 1 2 x s 十 b + b b 1 3 x s + b + b 33〕 ( 13) が得られる。この（ 13) 式からフレームメモリ 1 1 上の位置べクトル〔 X _m y _m H。〕は、次式 x _m = b l l x s + b 2 1 y s + b 3 1 y _m = b 1 2 x s 十 b 22 y _s + b 32

H 0 x s 十 b 23 y _s + b ( 14)

に示すように表される。

ここでこのようにして求められるフレームメモリ 1 1 上の同次座標系による位置べクト x _m y _m H。〕をフレームメモリ上の 2次元の位置べクト X _M Y M 〕に変換する場合には、次のようにすれば良い。すなわち 2次元の位置べクトル〔 X M Y M 〕を同次座標系に変換するときに使用したパラメータ「 H 0 」は、同次座標系の位置べクトル〔 x _m y _m 〕の大きさを表すパラメータであるので、同次座標系の位置べクトルを 2次元の位置べクトルに変換するためには、同次座標系の位置べクトルの方向を表すパラメータ「 X m 」及び「 y m 」を同次座標系の位置べクトルの大きさを表すパラメ一タ「 H。」で正規化すれば良い。従ってフレームメモリ上の 2次元の位置べクトルの各パラメータ「 X _M 」及び「 Υ 」は、次式

X Η

Υ Η ( 15) によって求めることができる。

またモニタスクリーン上の同次座標系による位置ベクトル〔 X s y s 1 〕を 2次元の位置べクトル〔 X _s Y s 〕に変換する場合も同様の考え方で行うことができ、同次座標系の位置べクトルの方向を表すパラメータ「 X s 」及び「 y s 」を同次座標系の位置べクトルの大きさを表すパラメータ「 1 」で正規化すれば良い。従ってモニタスクリーン上の 2次元の位置べクトルの各パラメ一タ「 X s 」及び「 Y s 」は、次式

X s = X

Y s = y ( 16) によって求めることができる。

かくしてこの（ 15) 式に（14) 式及び（16) 式を代入すると、フレームメモリ 1 1 上の 2次元の位置べクトルの各パラメータ「 X _M 」及び「 Y _M 」は、次式 b i i x b 2 i y + b

X M

H o b 1 x + b y + b b i , X s + b 21 Y s + b

( 17) b i ₃ s + b ₂₃ Y s + b b 12 x -h b 22 y 十 b

Y

H o b 13 x + b + b b 12 X s 十 b ₂₂ Y _s 十 b

( 18) b 13 X s + b Y s 十 b に示すように表すことができ、この（17) 及び（18) 式によってフレームメモリ 1 1 上の位置べクトル〔 Χ _Μ Υ Μ 〕を求めることができると共に、フレー厶メモリ上の読出しアドレス（ Χ Μ ， Υ Μ ) を求めることができる。

次に（17) 式及び（18) 式に使用される逆行列 — ¹の各パラメータを求める

。逆行列 Τ 33— ¹の各パラメータ b i ,〜 b ₃3は、変換行列 T 33の各パラメータ a ！！

〜 a ₃₃を使用して、次式 a 32 3 23 + a 22 a

b 11 ( 19)

W a 32 a a 12 a

( 20) w a 22 a 13 + a 12 a

( 21)

W

3 3 ΐ 3 23 ~ 3 21 ^

b 2 , = ( 22)

W a 31 a + a a 33

b 22— (23)

W a 21 a a 23

(24) w

― a 22 ^ 3 1 + a 2 1 ^ 32

b 3 i = ——■ ~~ …… （25)

W 1 a 1 2 a 3 1― a i i a 32

b 32 = …… (26)

W 1

b 33 = …… （27)

W！

に示すように表すことができる。但し、パラメータ W i は、次式

W 1 = — a 22 a 3 1 a 1 3 + a 2 1 a 32 a 1 3 + a 1 2 a 3 1 a 23

一 a i i a 32 a 23— a i 2 a 2 i a 33+ a i i a 22 S 33 ( 28) に示される値である。

ここで各パラメータ a H〜 a ₃₃の値は、（11) 式の関係式から、次式

a i i= r i iヽ a i 2 = r i 2ヽ a i 3= r i₃ P _z 9)

3 2 1 ⁼ Γ 2 1ヽ 3 22 ⁼ Γ 22、 Ά 23 = V 23 Ρ ζ 、30)

a 、 = l y 、 = l _z P _z 十 s (31)

で表されるので、この（29) 式〜（31) 式を（19) 式〜（28) 式に代入すると 9) 式〜（28) 式は、次式

P _z 十 P _z 十 s

b (32)

W y r P z + r P _z 十 s

b (33)

W r is P _z + r

(34)

W

P z 十 s )

b (35)

W

P z + P z + s )

b (36)

W r r P

(37)

W ,

(38)

W

(39)

W r 十 r

(40)

W W l =— r 1 r 1 P _z + r 1 1 _y r 1 P + r 1 1 _x r P _z — r 1 _y r P _z — r r ( 1 _z P _z 十 s )

+ r ! , r ₂₂ ( 1 _z P _z 十 s ) (41) のように変形し得る。

かくして（32) 式〜（41) 式を（17) 式及び（18) 式に代入すると、フレームメモリ 1 1 の読出アドレス（ X ， Y は、次式

1

X 〔 1 _x r P + r ( し P _z + s ) } X _s

H 0 十 { 1 y r 1 P _z 十 r ₁₂ ( 1 _z P _z 十 s ) } Y _s

+ ( - r r P _z + r r P ₂ ) ] (42)

1

Y 〔 1 r 23 P - r 2 1 ( 1 _z P _z 十 s ) } X s

H 0

+ { - 1 + r , , ( 1 P _z 十 s ) } Y s 十（ r ₂ t r ₁₃ P _z — r , , r ₂₃ P _z ) 〕 …… (43) によって求めることができる。なお、パラメータ H。は、（14) 式に（38) 式〜 (40) 式を代入することにより、次式

H o = (.— r 22 1 + r 2 1 1 y ) X s

十 ( r i 2 l _x — r i i l _y ) Y

+ (— r 1 2 r 2 1十 r 1 , r 22 ) ( 44) によって表される。このようにフレームメモリ 1 1 の読出しアドレス（ X _M ， Y M ) は、変換行列 T ₃₃の各パラメータ（〜！" ：^、 l _x 、 l _v 、 l _z 、 s及び Ρ _ζ ) を用いて表すことができる。従って（42) 式から（44) 式に対して、モニタスクリーンのラスタスキャン順に対応するように、スクリーンアドレス（ X _s , Y s ) を画素毎に供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ上の読出しアドレス（ X Μ , Υ Μ ) を順に求めることができる。

( 2 - 2 - 3 ) 変換行列 Τ ₃₃の算出方法

上述したように変換行列 Τ ₃₃の各パラメータが分かれば、（42) 式から（44) 式を使用してフレームメモリ 1 1 の読出アドレス（ Χ _Μ ， Υ Μ ) を求めることができる。ここではこの変換行列 Τ ₃₃の各パラメ一タの算出方法を説明する。フレームメモリ 1 1 上の位置べクトノレとモニタスクリーン上の位置べクトノレの関係は、上述したように（ 9 ) 式に示したような関係になっている。従ってこの ( 9 ) 式に位置べクトルの実際の値を代入すれば変換行列 Τ 3₃の各パラメ一タを求めることができる。

モニタスクリーン上の位置べクトルとしては、点光源座標検出回路 2 1 で検出した 4 つの点光源 Ρ 4 3、 Ρ 4 4、 Ρ 5 3及び Ρ 5 4 の位置ベクトルを使用する。またフレームメモリ上の位置べクトルとしては、背景板 3全体をフレームメモリのメモリ領域全体と考え、そのときの点光源 Ρ 4 3、 Ρ 4 4、 Ρ 5 3及び Ρ 5 4 の位置に相当するフレームメモリ 1 1 上の位置べクトルを使用する。

まず点光源座標検出回路 2 1 によって検出された点光源 Ρ 4 3、 Ρ 4 4、 Ρ 5 3及び Ρ 5 4の位置ベクトルを順に〔 X , Y , 〕、 [ X 2 Y ₂ 〕、 [ X 3 Y ₃ 〕、 C X 4 Y 4 〕とし、本来の点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の位置に対応するフレームメモリ 1 1 上の位置べクトルを順に〔 X ' 1 Y ' ！

〕、 [ X ' 2 Y ' 2 〕、 [ X ' 3 Y ' ₃ 〕、 C X ' 4 Y ' ₄ 〕とする。これらの位置べクトルをそれぞれ同次座標系で表現すると、点光源？ 4 3、 Ρ 4 4 、 Ρ 5 3及び Ρ 5 4のモニタスクリーン上における位置べクトルは、次式〔 X . K i Y Κ i 〕 1 = 1 (45) で表され、フレームメモリ上の位置べクトルは、次式

〔 X ' Y ' = 1 (46) で表される。

この同次座標系の位置べクトルをそれぞれ（ 9 ) 式に代入すると、次式 [ X i · K , Y i · K , Κ ■ ] = C X ⁷ i Υ ' , 1 ] · Τ

(47) が得られる。

ここで変換行列 Τ を、次式 a a S

Τ SL 2 a a …… （48) a a a に示すように定義すると、（47) 式は、次式 c x K Y K K i 〕

a l l a 1 2 a 1 3

C X ^/ i Y i 1 3 - a. 2 1 a 22 a 23 (49) a 3 l 2 32 a 33

に示すように変形し得る。この（49) 式を展開すると、次式

〔 X K Y K K i 〕 C a , , X + a 2 1 Y + a

X 十 a Y ' 十 a

1 3 X ' i + a 23 Y ' , + a 33 ]

(50) に示すようになり、これから各パラメータ「 X i 」、「 Y；」及び「 K i 」について、次式 '

X ； - K； - a t i X ' i + a 2 1 Y ' > + a (51)

Y i ' K i - a ^ X Z , 十 a ₂₂Y ' i + a (52)

K i = a 1 3 X i + a 23 Y ' i + a (53) が得られる。

この（53) 式を（51) 式及び（52) 式に代入すると、パラメータ「 X i 」及び「 Y i 」に関する式が、次式 a 1 1 X ' i + Ά 2 \ Y ' i 十 a

X i ( 54)

X 十 a ₂₃ Y ' + a

X + a Y ' + a

Y , = (55) a 1 3 X 十 a ₂₃ Y ' 十 a のように得られる。

ここでこの（54) 式及び（55) 式の右辺の分母分子をパラメータ「 a ₃₃」で割ると、次式 a l i/ a 33 · λ ' i + a 2 i a 33 - ' \ + a 3 1 / a

X i =

a 1 3/ a 33 · X ' i + 8 23/ a 33 · Y ' i + 1

( 56) a i 2 a 33 · X ' i + 8 22/ a 33 · Y ' \ + Ά 22/ a

Y

a 1 3 / a 33 · X ⁷ i + 3 23/ a 33 - Y ' ■ + 1

( 57) に示すようになり、パラメータ「 a ₃3」で割ってもパラメータ「 X , 」及び「 Y i 」の値は変わらないことが分かる。従って変換行列 T 33を、次式

a 33 a 1 2 , a 33

T a 33 a 22, a 2：

a 3 a 32, a 3：

a

2 1 3 22 (58)

3. 3 1 a 32 1 に示される変換行列 T ₃ で置き換えたとしても、（49) 式が成立することになる。すなわち次式、

[ X ■ · K i Y； · K i K i ]

= [ X ' i Y ' i 1 〕 · T 33 ' a 1 2 a

= [ X ' > Y ' i 1 ) a 2 a 22 3 23 (59)

が成立することになる。

この（59) 式を 1 = 1 〜 4 について展開すると、次式

X 1 - K ！ = a .. ' X ' ！ + a ₂ ' 1 + a (60)

Y 1 - K 1 = a ！ ₂ X ' 1 十 a ₂ Y ' i 十 a (61)

K . = a 1₃' X ' i + a ₂₃' Y ' , + (62) X κ ' X ' 2 + a 2 1 ' Y " + a (63)

Y Κ a 1 2 ' Λ ' 2 + 3 22 ' + a (64)

Κ a 1 3 X + a ₂₃' Y ' + (65)

X Κ a n' X ' 十 a 2 Y ' + a (66)

Y Κ 3 = a 1 2 ' X ' 3 + a 22 ' Υ ' 十 a (67)

K a 1 3 ' X 3 + a 23 ' Y (68)

X K 4 = a i ! ' X ' 4 + a ₂ Y " + a (69)

Y K a ₁₂' X ' 十 a ' Y ' + a (70)

K ' X ' + a ' Y ' + ( 71) に示すように、パラメータ「 3 Η ' 」〜「 3 3 」及び「 Κ , 」〜「 Κ 4 」に関する 1 2個の連立一次方程式が得られる。この連立一次方程式はパラメータが全部で 1 2個であるので解くことができる。従ってパラメータ「 a , 」〜「 a ₃₃ ' 」を求めることができ、変換行列 T ₃ を求めることができる。なお、変換行列 Τ 3₃に関しては、求めた変換行列 Τ ₃ にズーム情報 Ζ Μとして与えられる拡大 Ζ縮小のパラメータ「 a ₃₃」を乗算すれば求めることができる。

( 2 — 2 — 4 ) 読出アドレスの発生方法

3次元変換アドレス演算回路 2 2 としては、以上説明してきたような手順でフレームメモリ 1 1 に供給する読出ァドレスを生成する。すなわち 3次元変換ァドレス演算回路 2 2 は、点光源座標検出回路 2 1 から検出データ S 1 0 として供給される基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の位置べクトルと、背景板 3全体がフレームメモリのメモリ領域に対応するとしたときの基準点光源 P 4 3 、 P 4 4、 P 5 3及び P 5 4 の位置に相当するフレームメモリ 1 1 上の位置べクトルとに基づいて、上述した変換行列 T 3 3の各パラメータに関する連立一次方程式を設定し、その連立一次方程式を解くことにより、変換行列 T _{3 3}を求める。次に 3次元変換アドレス演算回路 2 2 は、その求めた変換行列 Τ _{3 3}の各パラメータを使用して逆行列 Τ ₃ ¹を求め、その逆行列 Τ ₃ ¹の各パラメータとスクリーンアドレス発生器 2 3から供,袷されるスクリーンアドレス（ X _s , Y s ) とを基にフレームメモリ 1 1 に供給する読出アドレス（ Χ _Μ , Υ Μ ) を求め、これをフレームメモリ 1 1 に供給する。なお、より具体的に言えば、変換行列 Τ _{3 3}から逆行列 Τ 3 3— ¹を求める手順は実際には省略され、変換行列 Τ 3 3の各パラメータを使用して、上述した（4 2 ) 式〜（4 4 ) 式の演算を行い、直接的に読出アドレス（ Χ Μ , Υ Μ ) を求めている。

( 2 — 2 — 5 ) 読出アドレス算出の手順

最後にこの項では、背景ソースビデオ信号 V 2 を画像変換するのに必要となる読出アドレスの算出方法について、図 2 2 に示すフローチャートを用いて説明する。

まずステップ S Ρ 1 から入ったステップ S Ρ 2 において、システムコント一ラ 6 は、プ π ジェクタ装置 4 を駆動制御することよって 5 フレーム周期で点滅パターンが繰り返されるように複数の点光源 Ρ 1 1 〜 Ρ η η を背景板 3 に対して投影すると共に、 5 フレーム周期の先頭フレームを示す基準パルス信号 S Ρを点光源座標検出回路 2 1 に送出する。

次のステップ S Ρ 3 においては、点光源座標検出回路 2 1 は、この基準パルス信号 S Ρの受信に応じて内部のカウンタ ηの値を「 1 」に設定し、次のステップ S Ρ 4 においては、 5 フレーム周期の最初のフレームに相当するビデオ信号 V 1 の背景映像から点光源の座標を検出する。なお、この点光源の座標というのは、図 2 3 に示すように、モニタスクリーンの中心すなわち光軸を原点としたモニタスクリーン面上の座標である。

次のステップ S P 5 においては、点光源座標検出回路 2 1 は、先に設定した力ゥンタ n の値力く「 5」になったか否か判断することにより 5 フレーム周期の最後のフレームまで達したか否か判断する。この場合、カウンタ nの値は「 1 」であることから、ステップ S P 6 に進み、ここで点光源座標検出回路 2 1 はカウンタ nの値に「 1 」を加え、再びステップ S P 4 に戻る。

ステップ S P 4 においては、 5 フレーム周期の 2番目のフレームに相当するビデ才信号 V 1 の背景映像から同じく点光源の座標を検出する。以下、同様に、ステツプ S P 5〜ステップ S P 6 の処理を繰り返すことにより、 5 フレーム周期の各フレームに相当するビデオ信号 V 1 の背景映像から点光源の座標を検出する。このように 5 フレーム分のビデオ信号 V 1 から点光源の座標を検出し終えると、カウンタ n の値力く「 5」になっていることから、点光源座標検出回路 2 1 は、ステツプ S P 5からステップ S P 7 に進む。

ステップ S P 7 においては、点光源座標検出回路 2 1 は、 5 フレームのビデオ信号 V 1 から座標が検出された点光源の中に基準点光源 P 4 3、 P 4 4、 P 5 3 及び P 5 4 に相当する点光源が全て存在するか否か判断する。その結果、基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 に相当する点光源が全て存在する場合には、その基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の座標を検出データ S 1 0 として 3次元変換ァドレス演算回路 2 2 に出力する。

一方、基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 に相当する点光源が全て存在しない場合には、ステップ S P 8 において、点光源座標検出回路 2 1 は、発光が検出されている各フレームの点光源の座標を基に各点光源の座標を検出し、次のステップ S P 9 においては検出した各点光源の座標を基に 4 つの基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4の座標を補間処理によって求め、これを検出データとして 3次元変換ァドレス演算回路 1 2 に出力する。なお、基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4が 5 フレームの中に存在しない場合としては、背景板 3 の前に立つ人物によって基準点光源が隠れたり、或いはビデオ力メラ 2 の画角から基準点光源が外れた場合が考えられる。

点光源座標検出回路 2 1 から基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の座標を受けた 3次元変換ァドレス演算回路 2 2 は、ステップ S P 1 0 において、当該基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の座標を基に変換行列 T ₃₃の各パラメータを演算する。次のステップ S P 1 1 では、 3次元変換アドレス演算回路 2 2 は、算出した変換行列 T ₃₃の各パラメータに基づいて、読出アドレス（ X M , Y M ) を演算し、次のステップ S P 1 2 においてその読出アドレス（ X M ， Y M ) をフレームメモリ 1 1 に供給する。

このようにしてこの画像合成装置 2 0 においては、ビデオ信号 V 1 の中から背景板 3 に投影された基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の座標を検出し、その検出された 4点の座標を基に背景ソースビデオ信号 V 2 を画像変換するための変換行列 T の各パラメータを求め、その求めた変換行列 T ₃の各パラメータを基にフレームメモリ 1 1 の読出アドレス（ Χ _Μ ， Υ Μ ) を算出するようになされている。これによりこの読出アドレス（ X M , Y M ) に基づいて、フレームメモリ 1 1 から背景ソースビデオ信号 V 2 を読み出せば、図 4 に示したように、ビデオカメラ 2 の位置から見たような背景ソースビデオ信号 V 3 を容易に生成することができる。

( 2 — 3 ) 動作及び効果

以上の構成において、この画像合成装置 2 0では、まずプロジェクタ装置 4 を駆動することにより、被写体となる人物の背景に設置されている背景板 3 に対して点光源 P 1 1 〜 P n n を投影する。その際、点光源 P 1 1 〜 P n nが後で識別し得るようにするため、当該点光源 P I 〜 P n n を 5 フレームを繰り返し周期として一定のパタ一ンで点滅させる。

このように背景板 3 に点光源 P 1 1 〜 P n n を投影した状態で、被写体である人物をビデオカメラ 2 によって撮像し、その結果得られるビデオ信号 V 1 を画像処理部 5 に入力する。またビデオカメラ 2 による撮像時に使用したズーム情報 Z Mも、画像処理部 5 に入力する。

画像処理部 5 においては、まずビデオ信号 V 1 をクロマキ一回路 8 に人力する。ク πマヰ一回路 8 は、ビデオ信号 V 1 から背景板 3 の色相に応じた色信号を抽出し、当該色信号を所定の閾値と比较することによりビデオ信号 V 1 内の背景部分を示すキー信号 K 1 を生成すると共に、ビデオ信号 V 1 内の被写体部分を示すキー信号 K 2 とを生成する。

点光源座標検出回路 2 1 は、まずこのキー信号 K 1 とビデオ信号 V 1 とを受け、当該ヰ一信号 K 1 を基にビデオ信号 V 1 から背景部分のみからなるビデオ信号を生成する。そして点光源座標検出回路 2 1 は、内部のメモリに記憶してある点光源の点滅情報からなる識別コ一ドを読出し、その識別コードを基に予め設定されている 4つの基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 をその背景部分のみからなるビデオ信号から検出し、その基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 のモニタスクリーン面における位置座標を検出する。なお、このとき、ビデ才カメラ 2 の画角 Dから外れたり、或いは背景板 3 の前に立つ人物によって隠れたりしたため、背景のみからなるビデオ信号内に基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4が存在しない場合には、点光源座標検出回路 2 1 は、当該ビデ才信号内に存在するその他の点光源の位置座標を検出し、その検出した位置座標を基に補間演算によって当該基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の位置座標を検出する。

3次元変換アドレス演算回路 2 2 は、この 4 つの基準点光源 P 4 3、 P 4 4、 P 5 3及び P 5 4 の位置座標を基に、背景ソースビデオ信号 V 2 に対して施す 3 次元的な画像変換のための変換行列 T ₃を算出し、その変換行列 T ₃の各パラメ一夕に基づいてフレームメモリ 1 1 に供給する読出アドレス（ Χ _Μ ， Υ _Μ ) を算出する。

かくしてフレームメモリ 1 1 において、メモリ領域内に格納されている背景ソースビデオ信号 V 2 をその読出アドレス（ Χ _Μ ， Υ ) に基づいて読み出すことにより、図 4 に示すように、ビデオカメラ 2 の位置から背景画像を見たような背景ソースビデオ信号 V 3 を生成する。従って、この背景ソースビデオ信号 V 3 とビデオ信号 V 1 とをキ一信号 K 2 に基づいて合成することにより、図 5 に示すように、ビデオカメラ 2 の位置に応じて背景画像が変形された違和感のない合成ビデ才信号 V 4 を生成することができる。

このようにしてこの第 2実施例の画像合成装置 2 0 では、複数の点光源 P 1 1 〜 P n n のうち 4 つを基準点光源として予め設定しておき、その 4 つの基準点光源のモニタスクリーン面上における位置座標をビデオ信号 V 1 から検出して、その 4点の位置座標を基に背景画像の画像変換のための読出ァドレスを発生するようにしたことにより、第 1 実施例に比して一段と簡易な構成で、背景画像をビデォカメラの位置に応じて変形することができ、違和感のない合成映像を容易に生成することができる。

以上の構成によれば、背景板 3 に対してマトリクス状に点光源を投影し、そのうちの 4つの点光源のモニタスクリーン面上における位置座標をビデオ信号 V 1 から検出し、その検出した 4点の位置座標を基に画像変換のための読出ァドレスを生成して背景ソ一スビデオ信号 V 2 を変形するようにしたことにより、一段と簡易な構成で、ビデオ力メラ 2 の位置に応じて変形する背景画像を生成し得る。かくするにっき一段と簡易な構成で、合成される背景の映像を撮像手段の動きに対応して自然に変化させることができる画像合成装置 2 0 を実現することができる。

( 3 ) 他の実施例

なお上述の実施例においては、プロジェクタ装置 4 によって背景板 3 に対してマトリクス状の点光源 P 1 1 〜 P n n を投影した場合について述べたが、本発明はこれに限らず、背景板に対して予めマトリクス状に発光ダイオードを設けておき、当該発光ダイオードを所定のパターンで点滅させるようにしても上述の場合と同様の効果を得ることができる。またこれに限らず、レーザ一ビームの走査により点光源を背景板に形成するようにしても、上述の場合と同様の効果を得ることができる。要は、背景板に対して画像合成処理の基準となる光源を形成する照明手段を設けるようにすれば、上述の場合と同様の効果を得ることができる。また上述の実施例においては、マトリックス状に配置した点光源を所定のパタ一ンで点滅させることにより識別し得るようにした場合について述べたが、本発明はこれに限らず、発光の強度を所定のパターンで変換させることにより点光源を識別し得るようにしても、上述の場合と同様の効果を得ることができる。また上述の第 1 実施例においては、点光源像間の間隔を基準にして、距離、傾き等を検出する場合について述べたが、本発明はこれに限らず、棒状に光源像を形成し、点光源像間の間隔に代えてこの棒状の光源像の長さにより距離、傾き等を検出する場合、さらには枠形状に光源像を形成してこの枠形状の大きさによる距離、傾き等を検出する場合、さらには映像中に含まれる点光源の数により距離、傾き等を検出する場合等、要は処理対象でなる背景に形成された光源像により撮像手段の位置情報を検出する場合に広く適用することができる。

また上述の実施例においては、背景板 3 のところにコンピュータグラフィックスの映像や別の場所で撮像した映像を挿入するようにした場合について述べたが、本発明はこれに限らず、例えば机、箱等の小道具を人物等と共に撮像する場合に、これら小道具を処理対象として背景板の代わりに使用して種々の映像を合成する場合にも広く適用することができる。産業上の利用可能性

放送局等において、ビデオデ一タの所定領域に別の映像を挿入して合成映像を生成する場合に利用し得る。

Claims

請求の範囲

1 . 撮像手段を介して得られるビデオデータより、所定色彩の処理対象領域を撮像してなる領域を検出し、上記領域に他の映像を挿入して合成映像を生成する画像合成装置において、

上記処理対象領域に、当該処理対象領域と同一色彩による光源像を形成する照明手段と、

上記光源像を基準にして、上記処理対象領域に対する上記撮像手段の位置情報を検出する位置検出手段と、

上記位置情報を基準にして、上記撮像手段の位置の変化に対応して上記他の映像を変化させる映像生成手段と

を具えることを特徴とする画像合成装置。

2 . 上記照明手段は、

上記処理対象領域に所定ピッチで配置された点光源により、上記光源像を形成する

ことを特徴とする請求の範囲第 1 項に記載の画像合成装置。

3 . 上記照明手段は、

上記処理対象領域に上記光源像を投影する投影手段からなる

4 . 上記照明手段は、

上記光源像を所定のパターンで点滅させる又は上記光源像の発光強度を所定パタ一ンで変化させる

5 . 上記位置検出手段は、

上記位置情報として、上記処理対象領域に対する上記撮像手段の光軸の傾き、上記光軸が上記処理対象領域と交わる点までの距離及び上記処理対象領域上の基準点に対する上記撮像手段の座標を検出することを特徴とする請求の範囲第 1 項に記載の画像合成装置。

6 . 上記処理対象領域は、

上記撮像手段によって撮像する被写体の背景に設置された背景板からなることを特徴とする請求の範囲第 1 項に記載の画像合成装置。

7 . 入力ビデオデータから所定色彩の処理対象領域を撮像してなる領域を検出し、上記領域に他の映像を挿入して合成映像を生成する画像合成装置において、上記人力ビデオデータを生成する際に、上記処理対象領域に当該処理対象領域と同一色彩による複数の光源像を形成する照明手段と、

上記入力ビデオデータから上記処理対象領域を検出し、当該処理対象領域に形成された上記複数の光源像のうち基準となる 4 つの光源像の位置を検出する位置検出手段と、

上記位置検出手段によって検出された光源像の位置情報に基づいて、上記処理対象領域に挿入する背景ソースビデオデータを 3次元的に画像変換する画像変換手段と、

上記画像変換手段によって画像変換された上記背景ソースビデオデータを上記入力ビデオデータの上記処理対象領域に相当する領域に合成する合成手段とを具えることを特徴とする画像合成装置。

8 . 上記照明手段は、

上記処理対象領域にマトリクス状に配置された点光源により、上記光源像を形成する

ことを特徴とする請求の範囲第 7項に記載の画像合成装置。

9 . 上記照明手段は、

上記処理対象領域にマトリクス状の上記光源像を投影する投影手段からなることを特徴とする請求の範囲第 7項に記載の画像合成装置。

10. 上記照明手段は、

上記光源像を所定のパターンで点滅させる又は上記光源像の発光強度を所定パターンで変化させることを特徴とする請求の範囲第 7項に記載の画像合成装置。

1 1. 上記位置検出手段は、

上記入力ビデオデータ内に上記基準となる 4 つの光源像が存在しないとき、検出された他の光源像の位置情報を基に、当該基準となる 4 つの光源像の位置情報を補間演算によって求める

1 2. 上記処理対象領域は、

被写体の背景に設置された背景板からなる

1 3. 上記画像変換手段は、

上記位置検出手段によって検出された位置情報に基づいて、 3次元的な画像変換を施した上記背景ソースビデオデータを生成するための読出ァドレスを演算するァドレス演算手段と、

内部のメモリ領域に記憶してある上記背景ソースビデオデータを上記読出ァドレスに基づいて読み出すことにより、上記 3次元的な画像変換が施された上記背景ソースビデオデータを生成する記憶手段と

を具えることを特徴とする請求の範囲第 7項に記載の画像合成装置。

14. 上記ァドレス演算手段は、

上記位置検出手段によって検出された上記 4 つの光源像の位置情報に基づいて、上記背景ソースビデオデータを 3次元的に画像変換するための変換行列を算出し、当該変換行列の逆行列に基づいて上記読出ァドレスを演算する

ことを特徴とする請求の範囲第 1 3項に記載の画像合成装置。

1 5. 上記ァドレス演算手段は、

上記位置検出手段によって検出された上記 4つの光源像の表示座標系における位置情報と、当該 4 つの光源像の上記処理対象領域上における位置情報とに基づいて、上記背景ソースビデオデータを 3次元的に画像変換するための変換行列を算出し、当該変換行列の逆行列に基づいて上記読出ァドレスを演算することを特徴とする請求の範囲第 1 4項に記載の画像合成装置。

16. 上記変換行列は、次式

T a 2 a 33 a 22 / a a. 23,

a 32 ,

a 1 2

a 2 3 22 '

3 32 ' に示されるように、 8 つの変換パラメ一夕から構成される 3行 3列の変換行列である

ことを特徴とする請求の範囲第 i 5項に記載の画像合成装置。

17. 上記ァドレス演算手段は、 i = 1 〜 4 として、次式

に示す関係式を利用して、上記 8 つのパラメータを求める

ことを特徴とする請求の範囲第 1 6項に記載の画像合成装置。 X i · K i Y i · K > K ； ]

= C X ' Y ' i τ a 1 2 3.

( X ' i Y ' , a 2： 3 23

a 3 3 32 但し、（X i ， Y , ) は上記位置検出手段によって検出された上記 4 つの光源像の表示座標系における位置情報を示し、（ X ' ■ ， Y ' ■ ) は上記 4 つの光源像の上記処理対象領域上における位置情報を示し、 K , は同次座標系のパラメ一タを示すものである。

1 8. 撮像手段を介して得られるビデオデータより、所定色彩の処理対象領域を撮像してなる領域を検出し、上記領域に他の映像を挿入して合成映像を生成する画像合成方法において、

上記処理対象領域に、当該処理対象領域と同一色彩による光源像を形成し、上記光源像を基準にして、上記処理対象領域に対する上記撮像手段の位置情報を検出し、

上記位置情報を基準にして、上記撮像手段の位置の変化に対応して上記他の映像を変化させる

ことを特徴とする画像合成方法。

1 9. 入力ビデオデータから所定色彩の処理対象領域を撮像してなる領域を検出し、上記領域に他の映像を挿入して合成映像を生成する画像合成方法において、上記入力ビデオデータを生成する際に、上記処理対象領域に当該処理対象領域と同一色彩による複数の光源像を形成し、

上記入力ビデオデータから上記処理対象領域を検出して、当該処理対象領域に形成された上記複数の光源像のうち基準となる 4つの光源像の位置を検出し、上記検出された光源像の位置情報に基づいて、上記処理対象領域に挿入する背景ソースビデオデータを 3次元的に画像変換し、

上記画像変換された上記背景ソースビデオデータを上記入力ビデォデータの上記処理対象領域に相当する領域に合成する

ことを特徴とする画像合成方法。