JP2007036482A - 情報投影表示装置およびプログラム - Google Patents

Abstract

【課題】任意の場所から任意の方向にある投影面上に無歪み投影ができ、かつ簡単、直感的に投影領域を指定することが可能な情報投影表示装置を提供する。
【解決手段】大きさと形状が既知の格子状投影パターンを投影面上に投影表示し、それを撮影する。投影面上の３点以上の座標を求め、その座標から３次元空間における投影面を表す式を算出する。その式を用いてホモグラフィＨ_１を計算し、格子状投影パターンと撮影画像との４点以上の特徴点の対応関係からホモグラフィＨ_２を計算し、Ｈ_１とＨ_２とからホモグラフィＨ_３を計算し、次に、投影面上に設置された２つのマーカとあらかじめ指定されたベース角に基づいて、この２つのマーカを対角とする矩形領域を投影領域と決定し、この投影領域に画像が投影されるようにＨ_３を用いて投影画像を変換して、投影する。
【選択図】図４

Description

本発明は、各種情報を実空間の平面上への投影表示するための装置に関する。

画像情報を投影表示するには、市販のプロジェクタを用いる方法が一般的である。しかし、矩形画像をスクリーン（投影面）に対して斜め方向から投影すると、結果の像は矩形とはならず、図２に示したような台形歪みが生じてしまう。このような歪みを補正するための自動台形歪補正機能がついている市販のプロジェクタも存在する。これらは、投影面正面に対し、下方または上方から投影した場合にのみ歪補正を行なうものがほとんどで、横方向から投影した場合の歪補正には対応していない。例えば、エプソンのＥＭＰ８２１（http://www.i-love-epson.co.jp/products/offirio/emp/emp81_61/index.htm）には縦方向の自動歪補正機能がついている。これは、プロジェクタを置いた場合の本体の傾きをセンサーで検知し、床面に対して垂直に置かれた投影スクリーンに対し、無歪となるように投影する機能である。この場合、カタログスペックでは、歪補正可能なプロジェクタの配置傾き角は、±４°〜±３０°となっている。このように、歪補正に対応している場合でもプロジェクタと投影面との位置関係には制約があった。

一方、以下に示す非特許文献１と２では、投影面をカメラで撮影し、その撮影画像に画像処理を行なうことで無歪投影を実現する手法も提案されている。これらの方法では、画像処理の分野では一般に知られているホモグラフィの考えを用いており、原理上プロジェクタと投影面との位置関係の制約は無いという利点がある。

以下、ホモグラフィについて簡単に説明する。

ある平面をカメラで撮影した場合、その平面上の特徴点

と撮影画像上の対応点

との関係は、３×３行列を使って表される。この行列がホモグラフィであり、これを

で表すと、対応点の関係式は、スケールファクタλを用いて以下のようになる。

ここで

とすると

となる。上式の未知数は８個なので、最低４組の対応点がわかっていれば、その方程式を最小二乗法等で解くことにより、

の各要素を求めることができる。

以上は、撮影画像と撮影平面との間のホモグラフィに関する考えだが、これは射影変換の関係がある平面間に適用できることが一般にも知られている。例えば、今、プロジェクタで投影面上に投影した投影表示結果をカメラで撮影するとした時、投影面と撮影画像の間、投影画像と投影面の間のホモグラフィをそれぞれ

とすれば、撮影画像と投影画像の間のホモグラフィを

とすると、これら３つのホモグラフィの関係は図３に示したようになり、これらは、

の関係式で表される。なお、図中では、投影画像および撮影画像を仮想的に、それぞれプロジェクタとカメラの前に置いている。この時、

も、投影面上の座標が既知の４点以上の特徴点とそれの撮影画像との対応関係を得ることによって計算できる。また、

も、投影画像と撮影画像との４点以上の対応点関係を求めれば計算できる。よって、上式の関係を使って、

を計算することができる。この

は、投影画像がどのように変換されて投影面上に表示されるかを表す式となっており、このホモグラフィを使えば無歪みで投影されるようにあらかじめ画像を変換してから投影を行なうことができる。

次に、非特許文献について説明する。

まず、Ｓｕｋｔｈａｎｋａｒらの非特許文献１では、主にプレゼンテーションでの利用を対象に、投影面を一般的なプロジェクタ用スクリーンであるとし、それに対して任意の場所においたプロジェクタからの投影結果をカメラで撮影し、その結果をもとに、無歪投影を実現する方法を提案している。そこでは、上で説明した３つのホモグラフィの関係を用いて投影画像と投影面の間のホモグラフィを求め、そのホモグラフィを変換行列として変換した画像を投影し、無歪投影を実現している。この方法では、そのスクリーンのエッジを測定することによって得られる対応点関係から投影面と撮影画像との間のホモグラフィを求めている。また、スクリーン枠の大きさに合わせて投影領域を決定している。すなわち、カメラとスクリーン（投影面）の位置関係に制約があり、かつ撮影画像からスクリーンのエッジが観測できなければならないという環境上の制約もあった。

また、Ｒａｓｋｅｒらの非特許文献２では、地面に対して垂直に置かれた投影面に対し、無歪投影表示を実現する手法を提案している。この手法では、カメラとプロジェクタの位置関係は既知で、かつ固定であることを前提としている。そのためカメラとプロジェクタのキャリブレーション値をあらかじめ測定することができ、それを用いてプロジェクタから投影したパターンをカメラで撮影した時の対応関係を観測することにより、投影画像と投影面との間のホモグラフィを求めている。そのため、この方法では、撮影画像上に投影パターン全体が映っていればよかった。また、パターンは自由に投影できるため、パターンの色を工夫すれば、環境によらずに対応点を観測しやすいという利点もあった。さらに、投影領域は、投影可能な領域の枠をプロジェクタから投影し、それをカメラで観測することにより決定していた。この際には、傾斜計で地面に対するプロジェクタの傾きを測定し、床面に対して垂直に置かれている平面な投影面上に、床面に対し上辺と底辺が平行となるように投影されるようにしていた。
R. Sukthankar, R. G. Stockton, M. D. Mullin "Smarter Presentations: Exploiting Homography in Camera-Projector Systems", In Proc. of the Eighth IEEE International Conference on Computer Vision, PP. 247-253, 2001 R. Raskar, P. Beardsley "A Self-correcting Projector" In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.504-508, 2001

しかしながら、上記従来の方法は、以下に示す問題があった。
１．市販のプロジェクタでは、置ける位置に制限があり、表示領域をユーザが自由に指定することが難しかった。
２．Ｓｕｋｔｈａｎｋａｒらの方法は、スクリーンを用いたプレゼンテーションに使用することを目的としているため、投影領域をスクリーン枠に合うように決定しており、固定のスクリーン枠全体が自動認識可能な枠として、カメラ画像中に撮影されている必要があった。
３．Ｒａｓｋｅｒらの方法では、プロジェクタから投影したパターンの枠をもとに投影領域を決定しており、あらかじめ固定の投影枠を用意しておく必要はないが、パターン形状を変えながらユーザが自分の好きな投影領域を直感的に指定することは困難であった。

本発明の目的は、任意の場所から任意の方向にある投影面上に無歪み投影ができ、かつ簡単、直感的に投影領域を指定することが可能な情報投影表示装置およびプログラムを提供することである。

上記目的を達成するために、本発明の投影表示装置は投影パターン生成部とプロジェクション部と撮影部とホモグラフィ算出部と投影領域決定部と画像変換部を有する。

投影パターン生成部で生成したパターンをプロジェクション部で投影面に投影し、その投影結果の像を撮影部で撮影する。上記投影パターン像と撮影画像との対応関係から、投影画像と投影面との間のホモグラフィをホモグラフィ算出部にて計算する。投影領域決定部で、投影面上にユーザが置くマーカの位置を画像処理で認識し、その位置から、投影画像と縦横比が同じになるような投影領域を決定する。画像変換部では、上記で求めた投影領域上に投影されるように、ホモグラフィを用いて投影画像を変換し、その変換後画像をプロジェクション部から投影する。これにより無歪投影を実現する。

また、投影領域を決定する場合に、装置の傾きを傾斜角測定部にて測定することにより、地面に対して投影領域の上辺と下辺が水平となるように投影領域を自動で決定するようにしてもよい。

本発明は、
１．ユーザが、装置を任意の位置に置いて情報の投影表示を行なうことが可能となる、
２．投影面上においたマーカ位置に合わせて情報が投影表示されるので、ユーザが直感的、かつ簡単に投影領域を指定することが可能となる、
３．さらに、地面に対して投影結果の像の上辺と下辺が水平になるように投影することが可能となる、
という効果がある。

次に、本発明の実施の形態について図面を参照して説明する。

［第１の実施形態］
図１および図５に示すように、本実施形態の情報投影表示装置１は、大きさ、形状が既知のパターンを投影パターン画像として生成する投影パターン生成部１１と、画像変換部１６において生成された投影画像と、投影パターン生成部１１で生成された投影パターン画像を投影面２１上に投影するプロジェクション部１２と、プロジェクション部１２に対して固定の位置関係にあり、投影面２１上に投影表示された結果の像（投影画像）を撮影する撮影部１３と、撮影部１３で撮影された画像から、投影画像と投影面２１の間のホモグラフィ計算を行なうホモグラフィ算出部１４と、投影面２１上におかれたマーカ４１、４２の位置を、撮影部１３で撮影された画像上で認識し、それに合わせて情報を投影表示する投影領域を決定する投影領域決定部１５と、投影領域決定部１５で決定された投影領域上に投影表示されるように、ホモグラフィ算出部１４にて算出した結果を用いて、投影画像を変換する画像変換部１６と、投影画像、投影パターン、各種データを記憶する画像・データ記憶部１７とから構成される。

図５に示したように、本実施形態ではマーカ４１とマーカ４２の座標を撮影部１３で撮影した画像から認識し、その座標に合うように投影を行なう。なお、ここでは、撮像部１３（カメラ）とプロジェクション部１２（プロジェクタ）のキャリブレーションが済んでいることを前提としている。これは、例えば、Ｚ．Ｚｈａｎｇらの方法（"A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp.1330-1334, November 2000）を用いて行なうことができる。また、キャリブレーションを行なっていれば三角測量の原理により、実世界の対応点の３次元位置の計算を行なうことができることは画像処理の世界では一般に知られており、例えば、文献：佐藤淳著“コンピュータビジョン−視覚の幾何学−”，コロナ社に詳細が載っている。

以下、図４をもとに、全体の処理を説明する。

まず、ホモグラフィ算出部１４にて、投影面形状および各ホモグラフィを算出する（ステップ１０４−１０７）。ここでは、まず投影パターン生成部１１で生成した（ステップ１０１）、大きさと形状が既知の格子状投影パターン３１をプロジェクション部１２から投影面２１上に投影表示させ（ステップ１０２）、その結果の像を撮影部１３で撮影する（ステップ１０３）。その撮影画像３２に対し、投影面形状測定ルーチンで、背景差分や色認識を用いる画像処理により３点以上の格子点の座標を認識する（ステップ１０４）。背景差分を用いる場合は、格子状投影パターン３１を投影する前の投影面をあらかじめ背景画像として撮影しておき、背景面にない色を持つ投影パターンを撮影してから撮影した画像との色の変化の比較により、画像中の色変化があった場所を格子状投影パターンが投影された場所と判断する。また、色認識を用いる場合の最も単純な方法は、あらかじめ投影面上にない色を投影パターンの色として投影するように決めておき、投影パターン投影後の画像の中の、その色がある場所を、投影パターンが投影された場所と判断する。格子状投影パターン３１の例を図６に示す。ここで、格子点の認識には色が異なる投影パターンをそれぞれ投影し、それぞれの撮影画像間の差分を求めることにより、より環境の影響を受けにくくして求めることも考えられる。前述の色認識では投影面上にない色を投影パターン色としてあらかじめ決めておく必要があるが、たとえば、色の三原色である赤、青、緑、の３色分、３種類の投影パターンを用意して、それら３色のパターンをそれぞれ投影、撮影し、それぞれの画像の差分を計算すれば、投影面の色が、たとえば赤っぽい色だったとしても、緑と青のパターンに対する投影結果の差分画像から、撮影画像中のどこに投影パターンが映っているかがわかるようになる。ここで、「環境の影響」とは、投影面に、たとえばあらかじめ文字が書かれて色が付いていたり、投影面が白であっても部屋の照明が赤っぽく光っていたりするようなことを言っている。次に、その座標と既知のキャリブレーションデータを用いて、各測定格子点の３次元座標を計算する。その結果を用いて、計算値が平面上に載っているという仮定のもとに、最小二乗法等によりその平面の座標を計算する。その計算結果が３次元空間における投影面の式を表しており、それが求める投影面形状となる。

次に、図３を使ってホモグラフィの算出について説明する。まず、投影面−撮影画像間ホモグラフィ

を、上記格子状投影パターン３１の格子点を特徴点として、それら特徴点の投影面上での座標と撮影画像上の座標位置との関係から計算する（ステップ１０５）。ここで、格子点座標は、投影面形状測定結果を使って投影面２１上に座標軸を設定した２次元座標で表す。投影画像−撮影画像間ホモグラフィ

は、格子状投影パターンとその投影結果を撮影した画像との４点以上の特徴点の対応関係を、やはりそれぞれの２次元座標を使って計算する（ステップ１０６）。最後に、式４に従い、投影情報画像を変換するための、投影画像−投影面間のホモグラフィ

を計算する（ステップ１０７）。

情報投影時には、まず投影領域決定部１５において投影面上のどの領域上に投影するかをマーカ座標の認識結果をもとに決定し（ステップ１０９）、それと

を用いて投影画像を変換し（ステップ１１０）、プロジェクション部１２にて投影する（ステップ１０２）。

図７に、認識したマーカ座標と指定ベース角を用いて投影領域を決定した結果のイメージを示す。今、マーカ４１と４２のふたつのマーカ座標が認識されたとした時、図中に示したように、投影領域２２は、１）マーカ４１上を通過し傾きが指定ベース角であるライン、２）同じく傾きが指定ベース角の９０度であるライン、３）マーカ４２上を通過し傾きが指定ベース角であるライン、４）同じく傾きが指定ベース角の９０度であるラインの４つのラインで囲まれる矩形領域として決定する。マーカ座標は、例えば背景画像をあらかじめ撮影しておいて、それとマーカ４１、４２を置いた後に撮影した画像との差分画像を計算することにより認識することができる。ここで、指定ベース角はユーザによって決められる。たとえば、投影面枠に対して傾きがないように投影したいならば、投影面枠を基準に決めればよい。

上記で得られる投影領域２２は、多くの場合投影画像３３と縦横比が異なっている。そのため、図８のように、この矩形領域内の投影画像の縦横比に一致する領域２２‘を最終的な投影領域とする。図８では、設定前後の投影領域の重心が一致し、かつ面積が最大となるように決定している。この場合、最初に得られた投影領域２２と最終的な投影領域２２’の上下辺が一致する。また、重心を一致させる方法以外にも、左辺と上辺を一致させる等の方法でもよい。

ここで、マーカ認識は、あらかじめ投影面色に無い色２色をそれぞれ異なるマーカの色として決めておき、あらかじめマーカと置く前の置いた後の画像から、２つのマーカの撮影色を登録しておく。登録色は、ＲＧＢまたはＨＳＶ表色系で表し、それぞれの値に上下限値を与えることにより、座標認識を行なう。投影画像の投影中も、同様に撮影部１３による撮影と前の座標認識結果近傍に対する色認識によるマーカ座標認識を繰り返し行なえば、マーカ座標に追従して投影領域を変化させることも可能である。また、マーカとしては、実物を置くほかにも、例えば異なる色のレーザー光を二本投影面上に投影し、それらが映った場所をマーカとみなしてもよい。

画像変換部１６では、この投影領域２２上に投影画像３３を一旦仮想的に置き、それを座標単位で微小領域に分割し、それらに上記で求めた投影画像−投影面間ホモグラフィの逆行列

を乗じて求まる座標上に，ＲＧＢで色が表されている場合に対応色をマッピングすれば、それが無歪投影用画像への画像となる。この得られた画像をプロジェクション部１２にて投影すれば、求めた投影領域上に無歪像が投影される。

異なる投影画像を同じ投影面上の同じ投影領域上に投影させたい場合には、

と投影領域を固定とし、繰り返し上記を行なえばよい。

また、ＰＣで一般的に使われている３次元グラフィックボードのテクスチャマップ機能を利用すれば、投影画像４隅の点の変換をベースとして投影画像前面を一括してリアルタイムに変換し、表示させることも可能である。

さらに、マーカ座標の繰り返し認識と上記のリアルタイムでの画像変換とを組合わせれば、ユーザが動かすマーカ位置に合わせて投影領域を変化させながら、動画像もリアルタイムで変換し、表示することも可能である。

［第２の実施形態］
図９は本発明の第２の実施形態による情報投影表示装置の構成を示す図、図１０は本実施形態における処理フロー、およびデータの入出力関係を表す図である。

本実施形態は、傾斜角測定部１８を備えたことが第１の実施形態とは異なっており、投影領域の計算時に、傾斜角測定部１８で測定した角度を指定ベース角として投影領域を計算する。本実施形態では、指定ベース角は、加速度センサーを用いて、地面（の水平面）に対して傾きがないように、地面を基準に定める。傾斜角測定には、例えばアナログ・デバイセズ社（ http://www.analog.com/jp/index.html）の２軸加速度センサーＡＤＸＬ２０３を用いることが可能である。他の処理は第１の実施形態と同じでよい。

なお、なお、情報投影表示装置の機能は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。

本発明の第１の実施形態による情報投影表示装置の構成図である。 スクリーンに対して斜め方向から投影した場合に生じる台形歪を表す図である。 ３つのホモグラフィの関係を表す図である。 第１の実施形態の情報投影表示装置における処理のフローおよびデータの入出力関係を表す図である。 第１の実施形態における情報投影表示のイメージ図である。 格子状投影パターンの例を表す図である。 第１の実施形態において、マーカ座標と指定ベース角から決定した投影領域を表す図である。 図７の投影領域に対し、重心が一致し、かつ縦横比が投影画像に一致するように調整した最終的な投影領域を表す図である。 本発明の第２の実施形態による情報投影表示装置の構成図である。 第２の実施形態の情報投影表示装置における処理のフローおよびデータの入出力関係を表す図である。

符号の説明

１１ 投影パターン生成部
１２ プロジェクション部
１３ 投影部
１４ ホモグラフィ算出部
１５ 投影領域決定部
１６ 画像変換部
１７ 画像・データ記憶部
１８ 傾斜角測定部
２１ 投影面
２２，２２’ 投影領域
１０１〜１１０ ステップ
３１ 格子状投影パターン
３２ 撮影画像
３３ 投影画像
４１，４２ マーカ

Claims (5)

1. 平面の投影面上に情報を投影表示する情報投影表示装置であって、
   大きさ、形状が既知のパターンを投影パターン画像として生成する投影パターン生成部と、
   画像変換部において生成された投影画像と、前記投影パターン生成部で生成された投影パターン画像を投影面上に投影するプロジェクション部と、
   前記プロジェクション部に対して固定の位置関係にあり、前記投影面上に投影表示された結果の像を撮影する撮影部と、
   前記撮影部で撮影された画像から、前記投影画像と前記投影面の間のホモグラフィ計算を行なうホモグラフィ算出部と、
   前記投影面上におかれたマーカの位置を、前記撮影部で撮影された画像上で認識し、それに合わせて情報を投影表示する投影領域を決定する投影領域決定部と、
   前記投影領域決定部で決定された投影領域上に投影表示されるように、前記ホモグラフィ算出部にて算出した結果を用いて、投影画像を変換する前記画像変換部と
   を有する情報投影表示装置。
2. 前記ホモグラフィ算出部は、３次元空間における投影面を表す式を用いて、投影面―撮映画像間のホモグラフィを算出し、前記投影パターンと前記撮影画像との４点以上の特徴点の対応関係から投影画像―撮影画像間のホモグラフィを計算し、これら両ホモグラフィから投影画像―投影面間のホモグラフィを計算する、請求項１に記載の情報投影表示装置。
3. 前記投影領域決定部は、前記投影面上におかれた２個のマーカ位置を認識する処理と、あらかじめ指定されたベースとなる角度を用いて、矩形かつ縦横比が前記投影画像に一致するように矩形の投影領域を決定する処理を有する、請求項１に記載の情報投影表示装置。
4. 該装置が置かれた傾斜角を計測する傾斜角測定部をさらに有し、前記投影領域決定部は、ベースとする角度を前記傾斜角測定部にて測定した角度とする、請求項３に記載の情報投影表示装置。
5. コンピュータを、請求項１から４のいずれかに記載の情報投影表示装置として動作させるためのプログラム。

Images