JP2013171522A - Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 - Google Patents

Abstract

【課題】ＡＲマーカ像の一部がカメラフレームから外れたり、カメラフレーム内のＡＲマーカ像が小さくてその識別が困難になったりして、正しくＡＲマーカ像の位置を検出することができないといった問題が起きず、カメラの位置や画角、カメラワークに制約を課すことがないＡＲ技術を提供する。
【解決手段】ＡＲマーカ１０１の位置検出のためのカメラ５は常に定点を観測するカメラとしておき、ＣＧ空間に仮想カメラを定義したうえで仮想カメラ側の画角や位置を変化させることを特徴とするＡＲを用いたコンピュータ・グラフィックス画像処理技術である。
【選択図】 図１

Description

本発明は、拡張現実感（ＡＲ）を利用したコンピュータ・グラフィックス画像処理システム及び方法に関する。

近年、さまざまな分野において、画像認識技術による拡張現実感（ＡＲ）を取り入れたＣＧ（コンピュータ・グラフィックス）演出が行われるようになってきている。既存の画像認識型ＡＲ技術としては、例えば、図２１に示すような特定形状と特徴点群を表記したＡＲマーカ１０１を使用したものがある。

一般的なＡＲ技術は、基本的には図２２に示す処理内容である。すなわち、ＳＴＥＰ１，ＳＴＥＰ２でウェブカメラやデジタルビデオカメラのようなカメラ１０３によってＡＲマーカ１０１を含むシーンを撮影してカメラフレーム１０５を取得し、ＳＴＥＰ３でカメラフレーム１０５内のＡＲマーカ像１０１の位置検出や空間的な画像認識を行い、ＳＴＥＰ４でＡＲマーカ像１０１の位置、姿勢、スケールに応じてその上にあらかじめ対応づけたＣＧオブジェクト１０７を同姿勢、スケールにて合成して表示するものである。

このようなＡＲ処理を行うコンピュータビジョンでは、一般的にピンホールカメラモデルを使用して近似される。ピンホールカメラモデルにおいての考え方は、画像平面に至る光は全て１点の焦点であるピンホールを通過し、画像平面と交差した位置で像を結ぶと考える。このような射影は中心射影と呼ばれる。

図２３に示すように、ピンホールカメラモデルにおいて、光軸１１１と画像平面１１３との交点を原点Ｏ１とし、カメラ１０３の素子配置方向に合わせて画像平面１１３上にｘ軸とｙ軸をとる座標系を画像座標系と呼ぶ。また、ピンホールＯ２をカメラ１０３の中心とみなし、光軸１１１の方向をＺ軸とし、Ｘ軸とＹ軸を画像座標系のｘ軸とｙ軸に平行にとる座標系を、カメラ座標系と呼ぶ。

また、実際に撮影したデジタル画像はレンズやコンピュータによる補正などを通して記録される画像であり、カメラ１０３の機械的特性やレンズ歪み、記録素子の特性などにより、画像の原点や画素のアスペクト比などは実際の（ｘ，ｙ，ｚ）画像座標系のそれとは一致しない。そこで、デジタル画像において、座標原点を左上にとり、右方向をｕ軸、上下方向をｖ軸とするような座標系をデジタル画像座標系と呼ぶ。

ここで、三次元空間中に任意の世界座標系をとり、その空間中に存在する（Ｘ，Ｙ，Ｚ）カメラ座標系の（ｕ，ｖ，ｗ）デジタル画像座標系への中心射影を考えた場合、一般的に３×４の射影変換行列Ｐを用いて、

と表現できる。

ここで、

は空間上の任意の座標の同次座標表現、

は画像平面の座標の同次座標表現である。

このような射影変換行列Ｐは、カメラの内部パラメータ行列Ａと回転行列Ｒ、及び並進ベクトルｔによって、

と決定できる。回転行列Ｒは３×３行列、［Ｒ｜ｔ］は同次座標系であり、３×４行列として表される。

このような、カメラ１０３の内部パラメータ行列Ａと回転行列Ｒ及び並進ベクトルｔを求めることを、カメラ内部パラメータ推定又はカメラキャリブレーションという。一般的には、カメラ１０３の内部パラメータＡと外部パラメータ［Ｒ｜ｔ］を決定するために、図２４に示すようなカメラキャリブレーション用のパターン例Ｐ１，Ｐ２を角度などを変えて撮影し、複数画像から得られる相関関係によって方程式の解を求め、カメラパラメータを決定する。これにはＺａｎｇの手法を利用する。この手法は、上記の非特許文献１に説明されている。もっとも、他の手法を利用することも制限されるわけではない。

このようにして得たカメラパラメータを利用し、実際にカメラで撮影されたデジタル画像１０５からＡＲマーカ像１０１の位置を画像認識により検出するシステムをＡＲ解析器と呼ぶ。

通常のＡＲ解析器を利用するコンピュータ・グラフィックスシステムでは、検出したＡＲマーカ像１０１の姿勢を三次元ＣＧで描画するため、一般的な三次元コンピュータ・グラフィックスの計算で用いられる４×４のプロジェクション行列Ｐａと４×４のモデルビュー行列Ｍａを算出し、デジタル画像１０５上のＡＲマーカ像１０１の位置を基準にして三次元空間上の任意の点を射影変換し、表示する。

ここで、プロジェクション行列Ｐａは、ピンホールカメラモデルを図２５に示す錐台１２１として定義した場合に、

と定義し、又はその転置行列と定義できる。転置行列の場合、行列の演算方向を逆にすれば良いので、ここでは上記表記を用いる。

ここで、

であり、（Ｘ，Ｙ，Ｚ）カメラ座標系においてピンホールに相当する原点Ｏ２から、錐台１２１の手前左上の頂点が（ｌ，ｔ，−ｎ）、手前左下の頂点が（ｌ，ｂ，−ｎ）、手前右上の頂点が（ｒ，ｔ，−ｎ）、手前左上の頂点が（ｒ，ｂ，−ｎ）とし、奥の面までの距離をｆとしている。

一般的に、プロジェクション行列Ｐａはカメラキャリブレーションを行えば、ＡＲ解析器の撮影系では固定値となり、モデルビュー行列ＭａがＡＲマーカ像の検出位置、姿勢及びスケールを表わす。

デジタル画像に対応する射影変換は、

で表され、求められたｍ’に対してデジタル画像の解像度に応じたビューポート変換を経てＣＧが表示される。また、上記射影変換により変換されたｍ’をビューポート変換した後のデジタル画像座標と、Ｍと原点を通る直線が平面Ｚ＝ｎと交わる交点の位置は相似関係である。平面Ｚ＝ｎの［ｌ，ｔ］−［ｒ，ｂ］をプロジェクション面ともいう。

このような一般的なＡＲ解析器においては、モデルビュー行列Ｍａが決定できなければ、ＡＲマーカ像１０１の検出位置に対応するＣＧオブジェクトを描画することができない。

モデルビュー行列Ｍａが決定できない要因は、ＡＲマーカ像が認識できない場合に他ならない。この要因として、図２６（ａ）に示すようにカメラ１０３で撮影されたデジタル画像１０５中にＡＲ解析器が認識し得る範囲にＡＲマーカ像１０１が含まれていない場合、同図（ｂ）に示すように画角が広い若しくはカメラ１０３から実際のＡＲマーカまでの距離が遠くてＡＲマーカ像１０１がフレーム中に小さく写り、識別が困難な場合、同図（ｃ）に示すようにカメラ１０３の移動速度や画角の変化が速くカメラの記録素子の性能に起因して撮影されたデジタル画像１０５の中でＡＲマーカ像１０１がぼやけてしまうといった場合がある。これらのことが、カメラワークに制約を与える。特に、テレビ放送用途では大きな制約となる。

また、専用のＡＲマーカを使用しない、いわゆるマーカレスのＡＲ技術も開発されている。これは、カメラで撮影されたフレーム内の現実世界のオブジェクト、例えば山や人の顔の形状から特徴点を検出し、姿勢検知と固体識別を行うＡＲ技術である。このマーカレスのＡＲ技術においても、特徴点群を識別対象として利用するシステムでは、特徴点群がカメラフレームから外れる場合や画角の変化等により特徴点群が識別困難な場合には、同様の問題が生じる。

特開２０１１−１４１８２８号公報 特開２０１２−００３５９８号公報

"A flexible new technique for camera calibration" IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000年

本発明は、画像認識型ＡＲ技術を利用してＣＧを合成表示する際に生じる上記従来技術の問題点を解決するためになされたものであり、カメラの位置や画角、カメラワークに制約を課すことが少ないＡＲ技術を提供することを目的とする。

本発明のＡＲ技術は、ＡＲマーカの位置検出のためのカメラは常に定点を観測するカメラとしておき、ＣＧ空間に仮想カメラを定義した上で当該仮想カメラ側の画角や位置を変化させることを特徴とする。

より具体的には、本発明の１つの特徴は、ＡＲマーカを撮影する、位置が固定されている固定カメラと、前記固定カメラのカメラパラメータを記憶するパラメータ設定部と、前記固定カメラの撮影した前記ＡＲマーカ像を含む画像フレームに対して、前記パラメータ設定部に記憶されているカメラパラメータを使用し、前記ＡＲマーカの位置、姿勢及びスケールを解析するＡＲマーカ姿勢解析部と、前記ＡＲマーカに対応したオブジェクトを、前記ＡＲマーカ姿勢解析部の解析結果に基づいてコンピュータ・グラフィックス画像空間上における前記画像フレーム上での前記ＡＲマーカ像の位置に対応した位置に、当該ＡＲマーカ像の姿勢及びスケールに対応した姿勢及びスケールのコンピュータ・グラフィックス画像として生成するオブジェクト画像生成部と、前記オブジェクト画像生成部の生成した前記オブジェクトのコンピュータ・グラフィックス画像に対して、前記コンピュータ・グラフィックス画像空間上の所定の座標位置に設置された仮想カメラから見た場合の見え方を割り出し、仮想カメラ観察画像として生成する仮想カメラ観察画像生成部と、背景画像と前記仮想カメラ観察画像生成部の生成する前記仮想カメラから見た前記オブジェクトのコンピュータ・グラフィックス画像とを合成するコンピュータ・グラフィックス画像合成部と、前記コンピュータ・グラフィックス画像合成部の合成したコンピュータ・グラフィックス合成画像を表示する表示部とを備えたＡＲ技術を用いたコンピュータ・グラフィックス画像処理システムにある。

また、本発明の別の特徴は、コンピュータを用いて、固定カメラで撮影したＡＲマーカの画像を含む画像フレームを取り込み、当該コンピュータにあらかじめ記憶されているカメラパラメータを使用し、前記ＡＲマーカ像を含む画像フレームを解析して前記ＡＲマーカ像の位置及び姿勢を割り出し、前記ＡＲマーカに対応したオブジェクトを、前記ＡＲマーカ像の姿勢の解析結果に基づいてコンピュータ・グラフィックス画像空間上における前記画像フレーム上での前記ＡＲマーカ像の位置に対応した位置に、当該ＡＲマーカ像の姿勢及びスケールに対応した姿勢及びスケールのコンピュータ・グラフィックス画像として生成し、前記オブジェクト画像フレーム上の前記ＡＲマーカ像に対応して前記オブジェクトのコンピュータ・グラフィックス画像に対して、前記コンピュータ・グラフィックス画像空間上の所定の座標位置に設置された仮想カメラから見た場合の見え方を割り出し、仮想カメラ観察画像として生成し、背景画像と前記仮想カメラから見た前記オブジェクトのコンピュータ・グラフィックス画像とを合成し、前記合成したコンピュータ・グラフィックス合成画像を表示するＡＲ技術を用いたコンピュータ・グラフィックス画像処理方法にある。

本発明によれば、ＡＲマーカの一部がカメラフレームから外れたり、カメラフレーム内のＡＲマーカ像が小さかったりしてその識別が困難になり、正しくＡＲマーカ像の位置を検出することができないといった問題が起きず、カメラの位置や画角、カメラワークに制約を課すことがないＡＲ技術を用いたコンピュータ・グラフィックス画像処理技術を提供できる。

本発明の１つの実施の形態のコンピュータ・グラフィックス画像処理システムの機能ブロック図。 上記コンピュータ・グラフィックス画像処理システムが実行するコンピュータ・グラフィックス画像処理のフローチャート。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理の原理説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理における実カメラスクリーンと仮想カメラスクリーンとの関係を示す説明図。 上記実施の形態のシステムにおけるＡＲ解析器で射影されたデジタル画像の説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理における実カメラ撮影系でのプロジェクションボリュームとＣＧオブジェクトとの空間座標配置を示す説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理における実カメラ撮影座標系のＹ−Ｚ平面でのＣＧオブジェクトの第１スクリーン面への投影（ｔ＋ｂ＝０のとき）を示す説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理における実カメラ撮影座標系のＹ−Ｚ平面でのＣＧオブジェクトの第１スクリーン面への投影（ｔ＋ｂ≠０のとき）を示す説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理において実カメラ撮影座標系でＣＧオブジェクトを第１スクリーン面へ投影する処理を示す説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理において実カメラ撮影座標系でＣＧオブジェクトを第１スクリーン面へ投影した状態の説明図。 従来のＡＲ解析技術により実カメラ撮影座標系でＣＧオブジェクトを第１スクリーン面へ投影した状態を第２スクリーンから見た状態の説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理において実カメラ撮影座標系でＣＧオブジェクトを第１スクリーン面へ投影した状態を第２スクリーンから見た状態の説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理において実カメラ撮影座標系で第１スクリーン面のＡＲマーカ像の位置にＣＧオブジェクトを表示した状態の説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理において実カメラ撮影座標系で第１スクリーン面のＡＲマーカ像の位置にＣＧオブジェクトを表示した状態を、仮想カメラの第２スクリーン面に拡大して投影した状態を示す説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理において仮想カメラを移動させる場合の画像処理の説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理においてＡＲマーカを移動させた場合の実カメラのデジタル画像上でのＡＲマーカ像の移動を示す説明図。 上記実施の形態のシステムによるコンピュータ・グラフィックス画像処理においてＡＲマーカを移動させた場合に仮想カメラから見たＣＧオブジェクトの移動を示す説明図。 比較例のＡＲ解析器による定点撮影画像に対してＡＲマーカ像の位置にＣＧオブジェクトを合成した画像の写真。 本発明の実施例１のコンピュータ・グラフィックス画像処理システムによるＣＧ上の仮想カメラ観察系からの射影変換画像を写真。 本発明の実施例２のコンピュータ・グラフィックス画像処理システムによるサッカー解説画像（２枚のＡＲマーカを移動させることにより対応する２人のプレーヤを移動させるＣＧ）の説明図。 一般的なＡＲマーカを含むシーンの撮影画像の写真。 従来のＡＲ解析処理の説明図。 一般的なＡＲ解析処理におけるピンホールカメラモデルにおけるカメラ座標系（Ｘ，Ｙ，Ｚ）と画像座標系（ｘ，ｙ，ｚ）の関係を示す説明図。 一般的なカメラキャリブレーションに用いるパターン例の説明図。 一般的なピンホールカメラモデルにおける視錐台の定義の説明図。 従来のＡＲ解析技術の問題点の説明図。

以下、本発明の実施の形態を図に基づいて詳説する。本発明の１つの実施の形態のＡＲ技術を利用したコンピュータ・グラフィックス表示システムは、図１に示す構成であり、ＡＲ解析器１とコンピュータ・グラフィックス（ＣＧ）レンダリング部２、表示器３、さらにカメラキャリブレーション部４、固定位置に据えられている実カメラＣＡＭ−Ａとしての固定カメラ５、オフセット行列設定部６、固定カメラ５の撮影画像に対して必要な場合にクロマキー合成処理を行うクロマキー装置７を備えている。

ここで、ＡＲ解析器１、ＣＧレンダリング部２，カメラキャリブレーション部４、オフセット行列設定部６については、これらを１台のコンピュータシステムに対して必要なソフトウェアプログラムをインストールして実行させることにより１台のコンピュータシステムに統合することができるが、以下の説明では、本実施の形態の実施に必要な処理機能毎に分解し、それぞれを特定の処理部として説明する。

ＡＲ解析器１は、後述するプロジェクション行列Ｐａ、ビューモデル行列Ｍａ、カメラパラメータ、その他の必要なデータを記憶する記憶部１１、固定カメラ５の映像に対してＡＲマーカ像を見つけ出し、その位置、姿勢、スケールを解析してビューモデル行列Ｍａを記憶部１１に登録するＡＲマーカ像解析部１３、ＡＲマーカ像の解析結果に対して行列Ｍｑを算出するＭｑ行列決定部１５を備えている。

ＣＧレンダリング部２は、例えばＣＧグラフィックスカードにより構成され、ＡＲマーカ像位置に表示させるオブジェクトのデジタル画像やその他の必要なデータを記憶する記憶部２１、Ｐｂ行列を設定するＰｂ行列設定部２３、オブジェクト画像の表示位置、姿勢、スケールを決定するオブジェクト姿勢決定部２５、固定カメラ５の撮影画像に対して記憶部２１に記憶させているオブジェクト画像をオブジェクト姿勢決定部２５が決定した姿勢にてＡＲマーカ像の位置に合成し、ＣＧ合成画像を作成するＣＧ画像合成部２７を備えている。ＣＧレンダリング部２は背景画像上にオブジェクト画像を合成する場合のために、背景画像を入力する背景画像入力部２９も備えている。

テレビ放送に利用するシステムとして、固定カメラ５はウェブカメラや映像のデジタル出力が可能なビデオカメラを用いる。固定カメラ５の撮影画像にクロマキー合成する場合は、クロマキー装置７を用い、クロマキー合成映像をＣＧレンダリング部２に入力する。

カメラキャリブレーション部４は、固定カメラ５のカメラキャリブレーションによりカメラ内部パラメータ、外部パラメータを演算し、ＡＲ解析器１の記憶部１１に登録する。

固定カメラ５は主にＡＲマーカ１０１を鮮明に撮影するために、その位置や画角を一定の状態に固定している。

オフセット行列設定部６はオフセット行列Ｍｐを設定するもので、ここで設定された行列ＭｐのデータはＣＧレンダリング部２の記憶部２１に登録される。

次に、上記構成のＡＲ技術を用いたＣＧコンピュータ・グラフィックス処理システムの動作原理について説明する。本実施の形態のシステムでは、ＣＧレンダリング部２において、実カメラＣＡＭ−Ａである固定カメラ５による撮影系とは別に、仮想カメラＣＡＭ−Ｂにより観察系を定義する。図３に示すように、実カメラＣＡＭ−Ａ（５）で撮影した画像をＡＲ解析器１で射影変換したＡＲマーカ像ＭＲＫ１をＣＧ空間２０上の第１スクリーン面ＳＣＲ−Ａにアフィン変換し、第１スクリーン面ＳＣＲ−Ａ相当位置にアフィン変換されたＡＲマーカ像ＭＲＫ１を、同じＣＧ空間２０上に配置された仮想カメラＶＲＣＡＭ−Ｂから見た第２スクリーン面ＳＣＲ−Ｂに射影変換する。第１スクリーン面ＳＣＲ−Ａは同じＣＧ空間２０上に配置されているので、仮想カメラＶＲＣＡＭ−Ｂ系から自由な位置及び画角から観察できる。

ここで従来技術では、仮想カメラＶＲＣＡＭ−Ｂから第１スクリーン面ＳＣＲ−Ａを観察した場合、実カメラＣＡＭ−Ａで撮影しＡＲ解析器１で射影変換されたＣＧ画像を第１スクリーン面ＳＣＲ−Ａに容易に射影変換可能である。ところが、この方法では、スクリーン面ＳＣＲ−Ａに射影された平面状態のＣＧ画像しか観察できない。

そこで、図４に示すように、第１スクリーン面ＳＣＲ−Ａに相当する位置に、第１スクリーン面ＳＣＲ−Ａ、すなわち、実カメラＣＡＭ−Ａ撮影系の射影画像と同じ縦横比をもった矩形領域ＳＱ−Ａを、ＶＲＣＡＭ−Ｂワールド空間２０上に定義する。そしてこの矩形領域ＳＱ−Ａに、ＡＲ解析器１で射影変換したデジタル画像をテクスチャマッピングする。しかし、前述のように、この状態では仮想カメラＶＲＣＡＭ−Ｂからの観察結果、すなわち、第２スクリーン面ＳＣＲ−Ｂへの射影変換結果は、矩形領域ＳＱ−Ａの第２スクリーン面ＳＣＲ−Ｂへの写像しか得られず、立体形状として設計されるＣＧオブジェクトＯＢＪ１が平面へ歪められて第２スクリーン面ＳＣＲ−Ｂに射影されるにすぎない。

そこで、本実施の形態では、この問題を解決するために、ＡＲ解析器１によって第１スクリーン面ＳＣＲ−Ａ上に射影変換されるＡＲマーカ像ＭＲＫ１の位置に、仮想カメラＶＲＣＡＭ−Ｂ観察系の画角でＣＧオブジェクトＯＢＪ１を置き、これを第２スクリーンＳＣＲ−Ｂに射影変換する。これによると、第２スクリーンＳＣＲ−Ｂに射影変換されるＣＧオブジェクトＯＢＪ１は、仮想カメラＶＲＣＡＭ−Ｂ系の座標上に配置された、第１スクリーン面ＳＣＲ−Ａ上に射影変換されるＡＲマーカ像ＭＲＫ１の位置に正しく配置され、かつ、ＣＧオブジェクトＯＢＪ１の射影変換は仮想カメラＶＲＣＡＭ−Ｂ系の射影変換であるから、立体形状を保った状態で第２スクリーン面ＳＣＲ−Ｂへ投影される。

本実施の形態のシステムの動作に対応する、ＡＲ技術を用いたコンピュータ・グラフィックス画像処理方法について、図２のフローチャートを用いて説明する。

ＳＴＥＰ１１：あらかじめＡＲマーカ１０１を作成すると共に、ＡＲマーカ１０１に対応するオブジェクトＯＢＪ１のＣＧを作成して記憶しておく。

ＳＴＥＰ１３：また、あらかじめ固定カメラ５のカメラキャリブレーションによりカメラパラメータである、内部パラメータ行列Ａと回転行列Ｒ及び並進ベクトルｔを決定して記憶する。

ＳＴＥＰ１５：固定カメラ５による撮影画像に対応するＡＲ解析器１の撮影空間を決定して記憶する。つまり、プロジェクション行列Ｐａを決定して記憶する。

ＳＴＥＰ１７：ＡＲマーカ１０１の存在するシーンを固定カメラ５で撮影し、ＡＲマーカ像ＭＲＫ１が写る撮影画像を得る。

ＳＴＥＰ１９：撮影したデジタル画像からＡＲマーカ像ＭＲＫ１を見つけ出す。

ＳＴＥＰ２１：ＡＲマーカ像ＭＲＫ１の位置（奥行き）、向き（姿勢）、大きさ（スケール）を割り出し、ビューモデル行列Ｍａを決定し記憶する。

ＳＴＥＰ２３：記憶部１１の行列Ｐａ，Ｍａを用いて、ＡＲマーカ像ＭＲＫ１に対応するＣＧオブジェクトＯＢＪ１の実カメラスクリーンＳＣＲ−Ａ上での見え方を計算する。

ＳＴＥＰ２５：実カメラ（第１）スクリーンＳＣＲ−Ａ上での見え方を決定したＣＧオブジェクトＯＢＪ１に対して、仮想カメラ（第２）スクリーンＳＣＲ−Ｂ上に投影した場合の見え方を決定する。

ＳＴＥＰ２７：背景となるデジタル画像と仮想カメラスクリーン上でのＣＧオブジェクトＯＢＪ１とを合成する。

ＳＴＥＰ２９：背景となるデジタル画像と仮想カメラスクリーン上でのＣＧオブジェクトＯＢＪ１との合成画像を表示する。

以上のコンピュータ・グラフィックス画像処理について、さらに詳しく説明する。実カメラＣＡＭ−Ａ系のデジタル画像の射影変換については、従来技術と同じであり、以下の式で表される。

ここで、Ｍａは、実カメラＣＡＭ−Ａ撮影系における４×４モデルビュー行列を表しており、実カメラＣＡＭ−Ａ撮影系の座標における空間座標のアフィン変換そのものである。これは、前に説明したとおり、実カメラＣＡＭ−Ａのカメラパラメータから算出された相対的な値であり、常にプロジェクション行列Ｐａを乗じなければ、実カメラＣＡＭ−Ａ撮影系のデジタル画像中のＡＲマーカ像ＭＲＫ１の位置に正しくＣＧオブジェクトを表示することはできない。しかし、プロジェクション行列Ｐａによる射影変換は、実カメラＣＡＭ−Ａ系における第１スクリーン面ＳＣＲ−Ａへの写像に等しいことから、射影変換行列Ｐａをそのまま適用することはできない。

そこで、本実施の形態では、実カメラＣＡＭ−Ａ撮影系の座標におけるビューボリュームに相当する錐台形状を仮想カメラＶＲＣＡＭ−Ｂ観察系の座標上に定義し、ＡＲマーカ像ＭＲＫ１の位置に配置するＣＧオブジェクトＯＢＪ１の座標を第１スクリーン面ＳＣＲ−ＡのＡＲマーカ像ＭＲＫ１の位置へ投影するアフィン変換を行う。

仮想カメラＶＲＣＡＭ−Ｂ観察系の座標上に実カメラＣＡＭ−Ａのビューボリューム状の幾何学領域を定義するにあたって、既知であるパラメータは、ＡＲ解析器１によって定義された４×４プロジェクション行列Ｐａと、実カメラＣＡＭ−Ａ撮影系の座標での４×４モデルビュー行列Ｍａであり、次のように決定される。

図５には、ＡＲ解析器１によって第１スクリーン面ＳＣＲ−Ａに投影されるＣＧオブジェクトＯＢＪ１を示している。この第１スクリーン面ＳＣＲ−Ａに投影されるＣＧオブジェクトＯＢＪ１は、図６に示すとおり、実カメラＣＡＭ−Ａ撮影系の空間座標において、モデルビュー行列Ｍａによるアフィン変換による空間座標系での並進・回転・スケーリングと、プロジェクション行列Ｐａによる射影変換の写像である。そこで、モデルビュー行列Ｍａによるアフィン変換を、ＡＲマーカ像ＭＲＫ１の上に配置するＣＧオブジェクトＯＢＪ１を表現する任意の空間座標

に乗じる。

これにより、ＣＧオブジェクトＯＢＪ１の空間座標

は、実カメラＣＡＭ−Ａ座標系においてプロジェクション行列Ｐａで射影変換を行えばＡＲマーカ像ＭＲＫ１の観測位置へ正しく射影される状態にある。

次に、実カメラＣＡＭ−Ａ系ビューボリュームを構成する幾何学的要素を射影変換行列Ｐａから導く。

この行列Ｐａの構成要素は、従来同様に図２５、数６式にて定義され、

であるから、ｒ，ｌ，ｔ，ｂについての連立方程式は、ｎが既知であれば容易に解くことが可能である。ｎが既知であるとき、ｒ，ｌ，ｔ，ｂは次のように決定できる。

通常、実カメラＣＡＭ−Ａ系のカメラパラメータを決定する際、ｎには任意の値を設定するので、既知である。一般的に、ｎ＝１を与えることが多い。

こうして実カメラＣＡＭ−Ａ系のビューボリュームの幾何学的構成要素が得られたので、次に、

を第１スクリーン面ＳＣＲ−Ａ上のＡＲマーカ像ＭＲＫ１の位置へアフィン変換する。この場合には、射影変換行列Ｐａには光学的中心偏向成分が含まれていることを考慮する必要がある。

ｒ＋ｌ＝０かつｔ＋ｂ＝０場合のビューボリュームは、実カメラＣＡＭ−Ａ系の光軸中心がスクリーン面Ａの中心座標に完全に一致している場合であり、ビューポート変換されたデジタル画像の中心座標に一致することを意味している。

ｔ＋ｂ＝０場合には、図７に示すように実カメラＣＡＭ−Ａ座標系のＺ−Ｙ座標平面において、

のＺ−Ｙ平面における座標の第１スクリーン面ＳＣＲ−Ａ、すなわちＺ＝ｎ上への写像ｍ′（ｚ′，ｙ′）とすると、

として計算できる。しかし、ここで着目すべきは、Ｍｂは射影行列Ｐａ、すなわち実カメラＣＡＭ−Ａのカメラパラメータにより決定された実カメラＣＡＭ−Ａビューボリューム内での見かけ上、ＡＲマーカ像ＭＲＫ１に一致するモデルビュー行列である点である。実際に撮影したデジタル画像はレンズや計算機による補正などを通して記録される画像であり、固定カメラ５の機械的特性やレンズ歪み、記録素子の特性などにより、画像の原点や画素のアスペクト比などは実際の画像座標系のそれと一致することはほとんどなく、カメラキャリブレーションを行った場合、ｒ＋ｌ≠０又はｔ＋ｂ≠０としてカメラパラメータが推定される。

すなわち、ｔ＋ｂ≠０である場合、図８に示すように第１スクリーン面ＳＣＲ−Ａとカメラキャリブレーションを行った結果の光学的中心軸Ｏａｘとの交点をＣ、画像高さ方向の画角線ＡＧ１と第１スクリーン面ＳＣＲ−Ａとの交点をＨとした場合に、線分の長さＨｍ′とＣｍ′との比ｄ

は、図８の場合の方が図７の場合よりも小さくなる。

このことは、

を第１スクリーン面ＳＣＲ−Ａの位置にアフィン変換する場合に、この光学的中心軸Ｏａｘによる偏向を考慮しなければ、第１スクリーン面ＳＣＲ−Ａに対応するデジタル画像上に観測される実際のＡＲマーカ像ＭＲＫ１の位置とずれが生じることを示している。尚、このことはｒ＋ｌ≠０の場合のＸ−Ｙ平面にも同様のことが生じる。

また、

を第１スクリーン面ＳＣＲ−Ａの位置にアフィン変換する場合に、実カメラＣＡＭ−Ａ系で撮影されたデジタル画像のＡＲマーカ像ＭＲＫ１のスケールを表す、射影変換行列Ｐａによる射影変換のスケーリングを考慮する必要がある。

以上を考慮し、実カメラＣＡＭ−Ａ撮影系の座標における任意空間座標

を第１スクリーン面ＳＣＲ−Ａに対応するデジタル画像中のＡＲマーカ観測位置ＭＲＫ１へアフィン変換する。まず、

を第１スクリーン面ＳＣＲ−Ａの位置へ移動する並進ベクトルＴｒは、モデルビュー行列Ｍａとｎから次のように決定できる。

［数２２］
Tr(-e12,-e13,-e14+n)
プロジェクション行列Ｐａによる射影変換を考慮したスケーリングパラメータを、以下のように定義する。

［数２３］
s=-(1/e14・Vb)/(t-b)
ここで、Ｖｂは定数であり、仮想カメラＶＲＣＡＭ−Ｂ観察系における第１スクリーン面ＳＣＲ−Ａの高さスケールである。

さらに、光学的中心軸Ｏａｘの偏向成分を考慮した第１スクリーン面ＳＣＲ−Ａの位置での移動量Ｔｐを次のように定義する。

［数２４］
Tp(sx/sz・Vb・Ax,sy/sz・Vb,0)
ただし、
sx=a0・e12+a1・e14
sy=b0・e13+b1・e14
sz=c0・e14+e14
である。ここで、Ａｘは第１スクリーン面ＳＣＲ−Ａの横方向のアスペクト比を表す定数であり、実カメラＣＡＭ−Ａ系のデジタル画像が１６：９画像の場合には１６／９、４：３画像の場合には４／３という値となる。

以上のパラメータを用い、同次座標表現で実カメラＣＡＭ−Ａ系の座標における任意空間座標

を第１スクリーン面ＳＣＲ−Ａに対応するデジタル画像中のＡＲマーカ像ＭＲＫ１の観測位置へアフィン変換する４×４行列を、次のＭｐとする。この行列Ｍｐはあらかじめオフセット行列設定部６により設定され、記憶部２１に記憶されている。また、そのデータは可変である。

ただし、［Ｔｐ］、［Ｔｒ］は、それぞれの並進ベクトルの４×４行列同次座標表現である。

この行列Ｍｐにより、ＣＧオブジェクトＯＢＪ１の空間座標表現である任意空間座標

が第１スクリーン面ＳＣＲ−Ａ相当位置へアフィン変換される写像は、図９のようになり、ＣＧオブジェクトＯＢＪ１の原点座標

は、立体形状を保ったまま第１スクリーン面ＳＣＲ−Ａのデジタル画像中に観測されるＡＲマーカ像ＭＲＫ１に一致する位置へ変換される。

この状態で、仮想カメラＶＲＣＡＭ−Ｂ観察系の座標に、実カメラＣＡＭ−Ａ撮影系の座標を配置するための任意のアフィン変換行列をＭｑとおき、仮想カメラＶＲＣＡＭ−Ｂ観察系の座標上の第２スクリーン面ＳＣＲ−Ｂに射影する４×４行列をＰｂとおく。このとき、ＣＧオブジェクトＯＢＪ１の空間座標表現である任意空間座標

の第２スクリーン面ＳＣＲ−Ｂへの射影変換ｍｂ′は次の式で表すことができる。

この射影変換式を使用することにより、実カメラＣＡＭ−Ａ系のデジタル画像中に観測されたＡＲマーカ像ＭＲＫ１上に、ＣＧ空間中に任意に設定された仮想カメラＶＲＣＡＭ−Ｂ座標系による画角・撮影位置で、ＣＧオブジェクトＯＢＪ１をその立体形状を保ったまま仮想カメラＶＲＣＡＭ−Ｂ系の第２スクリーン面ＳＣＲ−Ｂに射影変換することが可能となる。

また、行列ＰｂとＭｑは一般的な３次元コンピュータ・グラフィックス技術における射影変換を表しているので、仮想カメラＶＲＣＡＭ−Ｂ系から観察する実カメラＣＡＭ−Ａ座標系は任意の位置へ移動・回転・スケーリング及び描画画角の変更が可能である。

本実施の形態のＡＲ技術を用いたコンピュータ・グラフィックス画像処理システム及びそれが実行する画像処理方法によれば、次のような作用、効果を奏する。固定カメラ５によるデジタル画像に対して、従来技術では、図１１に示すように、例えば仮想カメラＶＲＣＡＭ−Ｂ系を実カメラＣＡＭ−Ａ撮影系の真横に配置した場合、ＣＧオブジェクトＯＢＪ１は平面でしか描画されないため直線に変換されてしまっていた。これに対して、本実施の形態では、図１２に示すようにＣＧオブジェクトＯＢＪ１を真横から見るように描画することが可能である。

仮想カメラＶＲＣＡＭ−Ｂは画角の変更も可能であることから、図２６（ａ）に示したようにフレーム１０５からＡＲマーカ１０１がはみ出す場合にＡＲマーカ１０１が認識できなくなる問題点を解消できる。図１３に示すように、実カメラＣＡＭ−Ａ系はＡＲマーカを認識できる画角に設定し固定しておくと、図１４に示すように、仮想カメラＶＲＣＡＭ−Ｂで拡大縮小表示するようにできる。これは、図２６（ｂ）に示したＡＲマーカ１０１の識別が困難なケースも同様に解決可能である。

また、図２６（ｃ）に示したようなＡＲマーカ１０１が移動している時のボケは、ＡＲマーカ１０１自体が高速で動いている場合にはＡＲ解析器１での認識が不可能な問題は残るが、カメラ側が高速に動くケースでは、図１５に示すように、仮想カメラＶＲＣＡＭ−Ｂの位置を変化させることにより表現可能となり、この場合、実カメラＣＡＭ−Ａ系は固定してあるのでマーカ解析器１はＡＲマーカ像ＭＲＫ１の位置を正しく検出しながら、仮想カメラＶＲＣＡＭ−Ｂ系で高速なカメラワークを表現することが可能となる。

さらに、図１６、図１７は、ＡＲ解析器１により観察されるＡＲマーカ像ＭＲＫ１の移動を、仮想カメラＶＲＣＡＭ−Ｂ系から見たＣＧオブジェクトＯＢＪ１の移動へ反映された様子を表している。これは、図１０からも明らかであるが、ＡＲマーカ像ＭＲＫ１の移動は第１スクリーン面ＳＣＲ−Ａ上の平面上で表現されているが、仮想カメラＶＲＣＡＭ−Ｂ座標系上に配置された第１スクリーン面ＳＣＲ−Ａは任意の平面空間にアフィン変換可能なため、実カメラＣＡＭ−Ａ撮影系の平面上の動きを、仮想カメラＶＲＣＡＭ−Ｂ座標系における空間上の動きに変換可能となる。

また、

によるアフィン変換は、仮想カメラＶＲＣＡＭ−Ｂ座標系への変換に他ならず、例えば、

は第１スクリーン面ＳＣＲ−Ａ上のＡＲマーカ像ＭＲＫ１の検出位置の原点となるので、この点を注目するように仮想カメラＶＲＣＡＭ−Ｂの向きや位置を計算したり画角範囲を調節したりするような制御も可能である。

図１８は比較例としてＡＲ解析器１による定点撮影画像に対し、ＡＲマーカ像の位置に立体ＡＲマーカオブジェクトを合成表示したＣＧ画像を示している。そして、図１９は実施例１として、同じ実カメラＣＡＭ−Ａによる定点撮影画像に対してクロマキー処理を行い、そのクロマキー映像に対し、仮想カメラＣＡＭ−Ｂ系から射影変換して得られるＣＧ画像を示している。このように、従来であれば、ＡＲマーカ１０１が小さすぎて解像できず、ＡＲマーカ像ＭＲＫ１の位置にＣＧオブジェクトＯＢＪ１を表示できなかったものが、任意の小さな画角にしてもＣＧオブジェクトＯＢＪ１をＡＲマーカ像ＭＲＫ１の位置、姿勢、スケールで表示できていることが理解できる。

また、図２０はクロマキー処理によりサッカーゲームの解説画像を生成する実施例２を示すものである。同図（ａ）に示すＡＲマーカに代えて、同図（ｂ）に示すようにサッカー解説用に用意された２枚のＡＲマーカをサッカーフィールドボードの前に配し、登場人物にそのＡＲマーカの一方、あるいは両方を移動させてもらうと、同図（ｃ）に示すようにクロマキー処理とＣＧ画像合成処理によりサッカーフィールド上で二人のサッカープレーヤのＣＧ画像がＡＲマーカ像の上に配置され、ＡＲマートの動きと同様にサッカープレーヤ像が移動するというリアルなＣＧ画像が表現される。また、仮想カメラを上下に移動させて観察系を移動させることによりサッカーフィールド像もその上のプレーヤ像と共にそれに応じた角度、方向から俯瞰した状態の映像として表現できる。http://www.youtube.com/watch?v=W8msVZAlI3k&feature=player_embeddedに動画がアップロードされている。

以上のように、本発明のＡＲ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法によれば、ＡＲマーカの位置検出のための固定カメラ５は常に定点を観測する実カメラＣＡＭ−Ａとし、ＣＧ空間側に仮想カメラＶＲＣＡＭ−Ｂを定義し、仮想カメラ側の画角や位置を変化させることにより、画像認識型ＡＲ（ＡＲマーカ）を使用したＣＧを合成表示する際に生じる問題点を解決し、従来のシステムでは不可能であった、画像認識型ＡＲ（ＡＲマーカ）を使用したＣＧ合成画像を作成し表示することができる。それ故、本発明によれば、テレビ放送分野での利用が容易になる。

尚、本発明は上記一連の処理をコンピュータシステムによって行わせるためのプログラム、またそのプログラムを記録した記録媒体も技術的範囲とする。

１ ＡＲ解析器
２ ＣＧレンダリング部
３ 表示器
４ カメラキャリブレーション部
５ 固定カメラ
６ オフセット行列設定部
７ クロマキー装置
１１ 記憶部
１３ ＡＲマーカ像解析部
１５ アフィン変換行列決定部
２１ 記憶部
２３ 行列Ｐｂ設定部
２５ オブジェクト姿勢決定部
２７ ＣＧ画像合成部
２９ 背景画像入力部
１０１ ＡＲマーカ

Claims (6)

1. ＡＲマーカを撮影する、位置が固定されている固定カメラと、
   前記固定カメラのカメラパラメータを記憶するパラメータ設定部と、
   前記固定カメラの撮影した前記ＡＲマーカ像を含む画像フレームに対して、前記パラメータ設定部に記憶されているカメラパラメータを使用し、前記ＡＲマーカの位置、姿勢及びスケールを解析するＡＲマーカ姿勢解析部と、
   前記ＡＲマーカに対応したオブジェクトを、前記ＡＲマーカ姿勢解析部の解析結果に基づいてコンピュータ・グラフィックス画像空間上における前記画像フレーム上での前記ＡＲマーカ像の位置に対応した位置に、当該ＡＲマーカ像の姿勢及びスケールに対応した姿勢及びスケールのコンピュータ・グラフィックス画像として生成するオブジェクト画像生成部と、
   前記オブジェクト画像生成部の生成した前記オブジェクトのコンピュータ・グラフィックス画像に対して、前記コンピュータ・グラフィックス画像空間上の所定の座標位置に設置された仮想カメラから見た場合の見え方を割り出し、仮想カメラ観察画像として生成する仮想カメラ観察画像生成部と、
   背景画像と前記仮想カメラ観察画像生成部の生成する前記仮想カメラから見た前記オブジェクトのコンピュータ・グラフィックス画像とを合成するコンピュータ・グラフィックス画像合成部と、
   前記コンピュータ・グラフィックス画像合成部の合成したコンピュータ・グラフィックス合成画像を表示する表示部とを備えたことを特徴とするＡＲ技術を用いたコンピュータ・グラフィックス画像処理システム。
2. 前記仮想カメラは、前記コンピュータ・グラフィックス画像空間上での設置座標が可変であることを特徴とする請求項１に記載のコンピュータ・グラフィックス画像処理システム。
3. 前記ＡＲマーカは、複数枚を前記固定カメラの画角の範囲内の任意の位置にセット可能にしたことを特徴とする請求項１又は２に記載のコンピュータ・グラフィックス画像処理システム。
4. コンピュータを用いて、
   固定カメラで撮影したＡＲマーカの画像を含む画像フレームを取り込み、
   当該コンピュータにあらかじめ記憶されているカメラパラメータを使用し、前記ＡＲマーカ像を含む画像フレームを解析して前記ＡＲマーカ像の位置及び姿勢を割り出し、
   前記ＡＲマーカに対応したオブジェクトを、前記ＡＲマーカ像の姿勢の解析結果に基づいてコンピュータ・グラフィックス画像空間上における前記画像フレーム上での前記ＡＲマーカ像の位置に対応した位置に、当該ＡＲマーカ像の姿勢及びスケールに対応した姿勢及びスケールのコンピュータ・グラフィックス画像として生成し、
   前記オブジェクト画像フレーム上の前記ＡＲマーカ像に対応して前記オブジェクトのコンピュータ・グラフィックス画像に対して、前記コンピュータ・グラフィックス画像空間上の所定の座標位置に設置された仮想カメラから見た場合の見え方を割り出し、仮想カメラ観察画像として生成し、
   背景画像と前記仮想カメラから見た前記オブジェクトのコンピュータ・グラフィックス画像とを合成し、
   前記合成したコンピュータ・グラフィックス合成画像を表示することを特徴とするＡＲ技術を用いたコンピュータ・グラフィックス画像処理方法。
5. 前記仮想カメラは、前記コンピュータ・グラフィックス画像空間上での設置座標を可変とすることを特徴とする請求項４に記載のコンピュータ・グラフィックス画像処理方法。
6. 前記ＡＲマーカは、複数枚を前記固定カメラの画角の範囲内の任意の位置にセットし、前記固定カメラにて同時に撮影することを特徴とする請求項４又は５に記載のコンピュータ・グラフィックス画像処理方法。