JP2006323127A - 画像投影システム、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】 動いている人物等の一定部分に、所定の画像を歪みなく正確に投影すること。
【解決手段】 投影エリア１２の周囲三箇所に配置されたプロジェクタ１３と、これらプロジェクタ１３に繋がるプロジェクタ切換装置１４と、投影エリア１２の周囲二箇所に配置されたカメラ装置１６と、人物Ｈの腰部に装着されてカメラ装置１６に撮像される姿勢検出用装着具１７と、プロジェクタ切換装置１４及びカメラ装置１６に繋がって、人物Ｈの位置及び姿勢を検出するとともに、投影面Ａに投影される画像の補正処理を行うコンピュータ１８とを備えて画像投影システム１０が構成されている。コンピュータ１８では、プロジェクタ１３から投影面Ａに画像を投影したときに、原画像Ｏの形状を維持した状態で映るように、原画像Ｏを変形する補正処理が行われる。
【選択図】 図１

Description

本発明は、画像投影システム、画像処理装置及び画像処理プログラムに係り、更に詳しくは、人物や自動車等の動体が動いている状態で、当該動体の一定部分に対し、所定の画像を歪みの殆どない状態で映し出すことのできる画像投影システム、画像処理装置及び画像処理プログラムに関する。

従来、人物を赤外線カメラ等で撮像し、当該人物の動きに合わせて、プロジェクタからスクリーンに投影される画像を変化させるインタラクティブビデオ表示システムが知られている（特許文献１参照）。

ところで、近時、ファッションショーの演出、遊園地やゲームセンターのアトラクション等のアミューズメント関連、ダンスや演劇等の芸術の演出、広告等、種々の分野において、それらの表現多様性を追求する結果、人物や自動車等の動体に対し、当該動体の動きに拘らず、その一定部分に所定の画像を投影する技術的要請がある。
特表２００５−５００７１９号公報

しかしながら、前記インタラクティブビデオ表示システムにあっては、プロジェクタに投影される画像が人物の動きに合わせて変化するように画像処理されるものの、プロジェクタ自体が静止しているため、前述した技術的要請に基づく動体への画像投影を行うことができないという不都合がある。

本発明は、このような不都合に着目して案出されたものであり、その目的は、動いている人物等の動体の一定部分に、所定の画像を歪みなく正確に投影することができる画像投影システム、画像処理装置及び画像処理プログラムを提供することにある。

（１）前記目的を達成するため、本発明は、投影エリア内に存在する動体の投影面に画像を投影する画像投影システムにおいて、
前記動体の位置及び姿勢を検出する状態検出手段と、当該状態検出手段で検出された動体の位置及び姿勢に応じて、所定の原画像の補正処理を行う画像処理装置と、前記投影エリアを囲む複数箇所に配置され、前記画像処理装置で補正処理された画像を前記投影面に投影する画像投影装置とを備え、
前記画像処理装置は、前記画像投影装置から前記投影面に画像を投影したときに、前記原画像の形状を維持した状態で映るように、当該原画像を変形する補正処理を行う、という構成を採っている。

（２）ここで、前記状態検出手段は、前記投影面内に設定された複数の基準点の座標を求め、
前記画像処理装置は、前記基準点の座標の変化から射影変換行列を求め、当該射影変換行列により前記原画像をピクセル変換することで、前記補正処理を行う、という構成を採っている。

（３）また、前記状態検出手段は、前記動体の周囲に等比間隔で配置された複数のマーカと、当該マーカの少なくとも一部を相互に異なる位置から撮像可能な少なくとも二つのカメラ装置と、当該各カメラ装置に撮像された前記マーカの画像から、前記動体の位置及び姿勢を求める状態演算部とを備え、
前記状態演算部は、前記各カメラ装置で撮像された各画像間で、それぞれ映し出された複数のマーカのうち相互に同一であるマーカを仮定し、前記各カメラ装置間の視差から、相互に同一と仮定された前記マーカの座標を求めて隣り合うマーカ間の距離が前記等比間隔にほぼ相当する前記仮定を採用し、当該仮定における前記マーカの各座標の変化から、前記動体の位置及び姿勢を求める、という構成を採ることが好ましい。

（４）更に、前記状態検出手段で検出された前記動体の位置及び姿勢に基づいて、使用する前記画像投影装置を選択する投影選択手段を更に備える、という構成を併用することができる。

（５）ここで、前記投影選択手段は、前記状態検出手段で検出された前記動体の位置及び姿勢から、前記投影面にほぼ直交する方向の動体ベクトルを求め、前記各画像投影装置の光軸ベクトルと前記動体ベクトルとのなす角が最小となる前記画像投影装置を選択する、という構成を採っている。

（６）また、前記画像投影装置は、前記状態検出手段で検出された前記動体の位置に応じて、ピントを自動調整可能に設けられる、という構成を採るとよい。

（７）更に、本発明は、投影エリア内に存在する動体の位置及び姿勢に応じ、当該動体の投影面に投影される原画像の補正処理を行う画像補正部を備えた画像処理装置において、
前記画像補正部は、前記動体の位置及び姿勢に拘らず、前記原画像に対し、その形状を維持した状態で前記投影面に映るように変形させる、という構成を採っている。

（８）ここで、前記画像補正部は、前記投影面内の複数の基準点の座標の変化から射影変換行列を求め、当該射影変換行列により前記原画像をピクセル変換することで、前記補正処理を行う、という構成を採っている。

（９）また、本発明は、投影エリア内に存在する動体の投影面の位置及び姿勢に応じ、当該動体の投影面に投影される原画像の補正処理を画像処理装置に実行させるための画像処理プログラムにおいて、
前記動体の位置及び姿勢に拘らず、前記原画像に対し、その形状を維持した状態で前記投影面に映るように変形させる補正処理を前記画像処理装置に実行させる、という構成を採っている。

（１０）ここで、前記補正処理は、前記投影面内の複数の基準点の座標の変化から射影変換行列を求め、当該射影変換行列により前記原画像をピクセル変換する、という構成を採っている。

本発明によれば、人物や自動車等の動体の一定部分に対し、当該動体が動いた状態となっていても、所定の画像を歪みなく正確に投影することが可能となる。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本実施例に係る画像投影システムの概略構成図が示されている。この図において、画像投影システム１０は、平面視でほぼ方形状をなす投影エリア１２内に動体としての人物Ｈが存在しているときに、当該人物Ｈの動きに拘らず、所定の画像を常に当該人物Ｈの胴部の投影面Ａに投影可能にするシステムである。

この画像投影システム１０は、投影エリア１２の周囲三箇所に配置された画像投影装置としてのプロジェクタ１３と、これらプロジェクタ１３に繋がるプロジェクタ切換装置１４と、投影エリア１２の周囲二箇所に配置されたカメラ装置１６と、人物Ｈの腰部に装着されてカメラ装置１６に撮像される姿勢検出用装着具１７と、プロジェクタ切換装置１４及びカメラ装置１６に繋がって、投影面Ａに投影される画像の補正処理を行う画像処理装置としてのコンピュータ１８とを備えて構成されている。

前記プロジェクタ１３は、投影エリア１２の四方のうち三方から投影可能に設けられている。これら各プロジェクタ１３は、コンピュータ１８で検出された人物Ｈの位置に応じて、ピントを自動調節可能になっている。具体的には、レンズ２１の焦点距離を変える際のフォーカスリング２２の回転をモータ（図示省略）により行うようになっており、当該モータの制御は、後述するように、コンピュータ１８で行われる。なお、プロジェクタ１３の設けられていない投影エリアの残り一方（図１中奥行側）には、壁Ｗが配置されている。また、プロジェクタ１３は、所定の画像を投影可能な他の画像投影装置に代替することも可能である。

前記プロジェクタ切換装置１４は、人物Ｈの位置及び姿勢に応じて、その投影面Ａに画像を投影するプロジェクタ１３を一つ決定し、当該プロジェクタ１３にコンピュータ１８からの画像を送るように機能する。このプロジェクタ切換装置１４の切換制御は、後述するようにコンピュータ１８で行われる。

前記カメラ装置１６は、図１中正面手前側及び同左側の各プロジェクタ１３の上方に配置された第１カメラ２４及び第２カメラ２５からなる。これら各カメラ２４，２５は、図示省略されているが、赤外光のみを透過させる赤外線フィルタがレンズ２１の外側に装着されており、赤外光による画像のみが撮像されるようになっている。

前記姿勢検出用装着具１７は、図２及び図３に示されるように、閉ループ状のベルト２７と、このベルト２７の表面側に等比間隔に配置された複数のマーカとしての発光体である赤外ＬＥＤ２８とを備えて構成されており、各赤外ＬＥＤ２８の少なくとも一部が第１及び第２カメラ２４，２５によってそれぞれ撮像される。

前記赤外ＬＥＤ２８は、図３に示されるように、ベルト装着時に人物Ｈの真正面側となる正面部Ｆから同図中時計回りの方向に、次式（１）に従って次第に間隔（ピッチ）が広くなるように配置される。
Ｌ_ｎ＝Ｌ_１（ｒ）^ｎ−１ （１）
ここで、Ｌ_ｎは、正面部Ｆから図３中時計回りにｎ（ｎは自然数）番目の赤外ＬＥＤ２８の位置と、同ｎ−１番目の点との距離を表す。
また、Ｌ_１は、正面部Ｆと、当該正面部Ｆから図３中時計回りに１番目となる赤外ＬＥＤ２８の位置との距離を表す。
更に、ｒは、定数を表す。
なお、特に限定されるものではないが、本実施例においては、赤外ＬＥＤ２８は、ベルトの１０箇所に設けられており、Ｌ_１＝３０ｍｍ、ｒ＝１．２に設定されている。

前記コンピュータ１８には、図４に示されるように、カメラ装置１６で撮像された赤外ＬＥＤ２８の画像から人物Ｈの位置及び姿勢を求める状態演算部３１と、投影面Ａに投影される画像が記憶された画像記憶部３２と、プロジェクタ切換装置１４の切換制御を行うプロジェクタ切換制御部３３と、状態演算部３１で求められた人物Ｈの位置及び姿勢に応じて、画像記憶部３２の原画像を補正処理する画像補正部３４と、プロジェクタ１３のピント調整用モータ（図示省略）の制御を行うピント調整制御部３５として機能させる各種プログラムがインストールされている。

前記状態演算部３１では、第１及び第２カメラ２４，２５（図１参照）でそれぞれ撮像された赤外ＬＥＤ２８に対し、視差を利用したステレオ計測法によって、各赤外ＬＥＤ２８の座標（世界座標系）が少なくとも３点求められ、これによって、人物Ｈの位置変化並びに姿勢変化によるベルト２７の並進ベクトルと回転ベクトルが求められる。なお、ここでの計算に際し、ベルト２７は、図３に示されるように、人物Ｈの動作に拘らず、平面視において所定の楕円状に配置されているものとする。従って、カメラ装置１６、姿勢検出用装着具１７及び状態演算部３１は、人物Ｈの位置及び姿勢を検出する状態検出手段を構成する。なお、この状態検出手段としては、本実施例の構成に限定されるものではなく、人物Ｈの位置及び姿勢を検出できる限りにおいて、種々の構成を採用することができる。

具体的に、各赤外ＬＥＤ２８の座標は、以下の手順で求められる。

人物Ｈに装着されたベルト２７の赤外ＬＥＤ２８の幾つかが第１及び第２カメラ２４，２５（図１参照）によって撮像される。このとき、各カメラ２４，２５の設置位置が異なっているため、各カメラ２４，２５でそれぞれ撮像された複数の赤外ＬＥＤ２８の画像中、各画像間で相互に同一となる位置の赤外ＬＥＤ２８が特定できない。そこで、第１カメラ２４の画像における所定の位置の赤外ＬＥＤ２８と、第２カメラ２５の画像における所定の位置の赤外ＬＥＤ２８とが実際に同一位置となる赤外ＬＥＤ２８であると仮定した複数のパターンにつき、各赤外ＬＥＤ２８の座標がステレオ計測法により求められる。例えば、図５に示されるように、第１及び第２カメラ２４，２５の画像Ｄ１，Ｄ２に対し、それぞれ連続した最低三点の赤外ＬＥＤ２８の集合（図中の枠）が複数パターン作成される。そして、各パターンにつき、各画像Ｄ１，Ｄ２の各集合が相互に同一位置であると仮定し、各赤外ＬＥＤ２８の座標がステレオ計測法で求められる。

そして、各パターンそれぞれにつき、隣り合う各赤外ＬＥＤ２８間の距離が求められ、当該距離が、前記式（１）で定められた実際の赤外ＬＥＤ２８のピッチの何れかに合致するか否かが判定される。このようなマッチングの結果、ほぼ合致する前記パターンが、実際、各画像Ｄ１，Ｄ２内で相互に同一位置となる各赤外ＬＥＤ２８とされる。このパターンにおいて求められた各赤外ＬＥＤ２８の座標から、対応する赤外ＬＥＤ２８の基準位置の座標を使って、当該基準位置からのベルト２７の並進ベクトル及び回転ベクトルが求められる。

前記プロジェクタ切換制御部３３では、次のようにしてプロジェクタ１３の切換制御が行われる。

ベルト２７の中心点Ｃ（図３参照）と正面部Ｆとを結んで投影面Ａにほぼ直交する方向（人物Ｈの前後方向）の動体ベクトルＶが、先に求めた並進ベクトル及び回転ベクトルを使って求められる。次いで、各プロジェクタ１３の光軸ベクトルと現在の動体ベクトルＶとのなす角が、内積を使ってそれぞれ求められ、そのうち最小となる光軸ベクトルを有するプロジェクタ１３が、投影面Ａに画像を投影するプロジェクタ１３と決定される。そして、この決定されたプロジェクタ１３に画像補正部３４からの画像が投影されるように、プロジェクタ切換装置１４の切換制御がなされる。従って、プロジェクタ切換装置１４及びプロジェクタ切換制御部３３は、コンピュータ１８で補正処理された画像を投影するプロジェクタ１３を選択する投影選択手段を構成する。

前記画像補正部３４では、画像記憶部３２に記憶された原画像に対し、次の補正処理が行われる。

例えば、人物Ｈとプロジェクタ１３とが、図６に示される位置姿勢関係となっている場合、プロジェクタ１３をカメラと仮定し、当該カメラがほぼ方形状の投影面Ａ（図２参照）を撮像したときに、その液晶面Ｄに映し出される画像がほぼ台形状に歪む。このことから、画像記憶部３２に記憶されたほぼ方形状の原画像Ｏに対し、画像枠をほぼ台形状にするように変形して投影面Ａに投影すると、当該投影面Ａでは、原画像Ｏの通りのほぼ方形状の画像に復元されることになる。従って、図６のように、人物Ｈの投影面Ａがプロジェクタ１３の光軸ベクトルＢと直交していない姿勢を取っていても、投影面Ａには、原画像Ｏが歪みなくそのままの形状を維持した状態で映し出されることになる。

具体的には、先ず、現在におけるベルト２７の上方の投影面Ａの四隅に位置する基準点Ｅの座標（世界座標系）が、状態演算部３１で求めた並進ベクトル及び回転ベクトルを使って求められる。そして、ここで求めた世界座標系の基準点Ｅの座標は、プロジェクタ切換制御部３３で選択されたプロジェクタ１３の光学中心Ｃを原点としたプロジェクタ座標系に変換される。次に、プロジェクタ座標系の基準点Ｅの座標（Ｘ，Ｙ，Ｚ）は、次式（２）により、そのプロジェクタ１３の液晶面Ｄ上のウインドウ座標系（Ｕ，Ｖ）に変換される。ここで、ｆは、光学中心Ｃから液晶面Ｄまでの焦点距離を表し、Ｋは定数を表す。

そして、ウインドウ座標系に変換された基準点Ｅの座標と、画像記憶部３２に記憶されたほぼ方形状の原画像Ｏの四隅のコーナ点Ｇ（ウインドウ座標系）とから、公知の幾何学的処理によって射影変換行列が算出される。次に、原画像Ｏの各ピクセルが、射影変換行列を使ってプロジェクタ１３の液晶面Ｄ上のウインドウ座標系に変換され、当該変換後の補正画像Ｐがプロジェクタ切換装置１４に送られる。そして、当該プロジェクタ切換装置１４で選択されたプロジェクタ１３から、原画像Ｏに対して変形された補正画像Ｐが人物Ｈの投影面Ａに向かって投影され、このとき、当該投影面Ａには、原画像Ｏが歪みなくそのままの状態で映し出されることになる。

前記ピント調節制御部３５では、選択されたプロジェクタ１３におけるプロジェクタ座標系となる投影面Ａの中心部分の座標から、プロジェクタ１３と投影面Ａとの距離が求められ、当該距離に応じて、前記フォーカスリング２２（図１参照）の回転角度が決定され、プロジェクタ１３の自動ピント調節が可能となる。ここで、プロジェクタ１３と投影面Ａとの距離とフォーカスリング２２の回転角度との関係は、図７のグラフに示されるように、予め定められており、この関係から、フォーカスリング２２の回転角度が前記距離に応じて一義的に決定される。なお、このピント調整によって、前述の式（２）における焦点距離ｆが変わるが、ここでのピント調整によって焦点距離ｆが決定した後で、当該焦点距離ｆを使って、前述した画像補正部３４での画像処理を行うとよい。

従って、このような実施例によれば、プロジェクタ１３に対する人物Ｈの姿勢が変わっても、人物Ｈの投影面Ａに、画像記憶部３２で記憶された原画像Ｏを歪みが殆どない状態で映し出すことができるという効果を得る。

なお、前記実施例では、画像の投影対象として人物Ｈの胴部としたが、本発明はこれに限らず、人物Ｈの腕部や全身等の他の部位としても良く、また、他の動物や自動車等、他の動体の全体若しくは所定部位としても良い。

また、画像補正部３４は、画像記憶部３２に記憶された原画像の補正のみならず、現在撮像されている画像等、リアルタイムに取得した原画像の補正に適用することも可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

本発明は、例えば、ファッションショーの演出、衣服の試着、遊園地やゲームセンターのアトラクション、ダンスや演劇等の芸術の演出、広告等、幅広い分野での産業上の利用が可能である。

本実施例に係る画像投影システムの概略構成図。 マーカの装着状態を示す概略正面図。 マーカの概略平面図。 コンピュータの機能を示すブロック図。 状態演算部で発光ＬＥＤの座標を求める際に行われるマッチングの説明図。 画像補正部で行われる画像補正の説明図。 プロジェクタから投影面までの距離とフォーカスリングの回転角度との関係を示すグラフ。

符号の説明

１０ 画像投影システム
１２ 投影エリア
１３ プロジェクタ（画像投影装置）
１４ プロジェクタ切換装置（投影選択手段）
１６ カメラ装置（状態検出手段）
１７ 姿勢検出用装着具（状態検出手段）
１８ コンピュータ（画像処理装置）
２８ 赤外ＬＥＤ（マーカ）
３１ 状態演算部（状態検出手段）
３３ プロジェクタ切換制御部（投影選択手段）
Ａ 投影面
Ｂ 光軸ベクトル
Ｅ 基準点
Ｈ 人物
Ｏ 原画像
Ｖ 動体ベクトル

Claims (10)

1. 投影エリア内に存在する動体の投影面に画像を投影する画像投影システムにおいて、
   前記動体の位置及び姿勢を検出する状態検出手段と、当該状態検出手段で検出された動体の位置及び姿勢に応じて、所定の原画像の補正処理を行う画像処理装置と、前記投影エリアを囲む複数箇所に配置され、前記画像処理装置で補正処理された画像を前記投影面に投影する画像投影装置とを備え、
   前記画像処理装置は、前記画像投影装置から前記投影面に画像を投影したときに、前記原画像の形状を維持した状態で映るように、当該原画像を変形する補正処理を行うことを特徴とする画像投影システム。
2. 前記状態検出手段は、前記投影面内に設定された複数の基準点の座標を求め、
   前記画像処理装置は、前記基準点の座標の変化から射影変換行列を求め、当該射影変換行列により前記原画像をピクセル変換することで、前記補正処理を行うことを特徴とする請求項１記載の画像投影システム。
3. 前記状態検出手段は、前記動体の周囲に等比間隔で配置された複数のマーカと、当該マーカの少なくとも一部を相互に異なる位置から撮像可能な少なくとも二つのカメラ装置と、当該各カメラ装置に撮像された前記マーカの画像から、前記動体の位置及び姿勢を求める状態演算部とを備え、
   前記状態演算部は、前記各カメラ装置で撮像された各画像間で、それぞれ映し出された複数のマーカのうち相互に同一であるマーカを仮定し、前記各カメラ装置間の視差から、相互に同一と仮定された前記マーカの座標を求めて隣り合うマーカ間の距離が前記等比間隔にほぼ相当する前記仮定を採用し、当該仮定における前記マーカの各座標の変化から、前記動体の位置及び姿勢を求めることを特徴とする請求項１又は２記載の画像投影システム。
4. 前記状態検出手段で検出された前記動体の位置及び姿勢に基づいて、使用する前記画像投影装置を選択する投影選択手段を更に備えたことを特徴とする請求項１、２又は３記載の画像投影システム。
5. 前記投影選択手段は、前記状態検出手段で検出された前記動体の位置及び姿勢から、前記投影面にほぼ直交する方向の動体ベクトルを求め、前記各画像投影装置の光軸ベクトルと前記動体ベクトルとのなす角が最小となる前記画像投影装置を選択することを特徴とする請求項４記載の画像投影システム。
6. 前記画像投影装置は、前記状態検出手段で検出された前記動体の位置に応じて、ピントを自動調整可能に設けられていることを特徴とする請求項１〜５の何れかに記載の画像投影システム。
7. 投影エリア内に存在する動体の位置及び姿勢に応じ、当該動体の投影面に投影される原画像の補正処理を行う画像補正部を備えた画像処理装置において、
   前記画像補正部は、前記動体の位置及び姿勢に拘らず、前記原画像に対し、その形状を維持した状態で前記投影面に映るように変形させることを特徴とする画像処理装置。
8. 前記画像補正部は、前記投影面内の複数の基準点の座標の変化から射影変換行列を求め、当該射影変換行列により前記原画像をピクセル変換することで、前記補正処理を行うことを特徴とする請求項７記載の画像処理装置。
9. 投影エリア内に存在する動体の投影面の位置及び姿勢に応じ、当該動体の投影面に投影される原画像の補正処理を画像処理装置に実行させるための画像処理プログラムにおいて、
   前記動体の位置及び姿勢に拘らず、前記原画像に対し、その形状を維持した状態で前記投影面に映るように変形させる補正処理を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
10. 前記補正処理は、前記投影面内の複数の基準点の座標の変化から射影変換行列を求め、当該射影変換行列により前記原画像をピクセル変換することを特徴とする請求項９記載の画像処理プログラム。

Images