JP2018022287A - 画像処理装置及び方法、画像処理プログラム、並びに投影装置 - Google Patents

Abstract

【課題】ユーザの動きに応じたアニメーションによるプロジェクションマッピングを従来技術に比較して簡単な処理で実現する。【解決手段】画像処理装置は、所定の投影画像が所定の反射率で反射する被投影物に投影され、被投影物により反射された画像が撮影画像として入力される画像処理装置であって、画像処理後の出力画像及び撮影画像に基づいて、撮影画像と投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、推定画像と撮影画像との差が小さくなるように閉ループ制御し推定画像に対して所定の画像処理を行って出力画像を出力し、撮影画像の各画素位置と出力画像の各画素位置とが互いに一致するように出力画像を投影画像に座標変換する画像処理部とを備える。画像処理部は推定画像に対して、画素の輝度又は色相を変化させて画素値が変化して発振するように所定の画像処理を実行することでアニメーションを発生させる。【選択図】図４

Description

本発明は、画像処理装置及び方法、画像処理プログラム、並びに投影装置に関し、特に、鑑賞者等のユーザの動きのある演出方法と光沢を有する被投影物の反射を利用した環境の計測によって演出を制御する画像処理装置等に関する。

従来より、プロジェクタなどの投影装置を利用して建築物などの被投影物の形状に合わせて画像を投影することで、被投影物の表面に模様や色等を重畳し、様々な視覚的な演出を行うプロジェクションマッピングと呼ばれる技術が普及している。

非特許文献１０のようにプロジェクションマッピングにカメラによる観測を用いることで、非投影物の模様に影響されない投影ができる。また、非特許文献１１のように反射率推定を用いた投影制御を行うことで、被投影物の見た目のコントラストや色彩を連続的に操作する演出（以下、見かけの操作という。）ができる。

この技術をカメラとプロジェクタの投影中心を一致させた同軸光学系に実装すれば、三次元モデルデータを必要としない。また、投影像の位置合わせも不要になるため、事前に被投影物に応じたコンテンツの用意が不要になる。

例えば、特許文献１においては、ユーザが自由にウォークスルーすることができるＶＲ空間において、ＶＲ空間内に配置した物体がユーザの操作や視点移動による表示内容の変化に遅延なく追従し、物体自身の動きを滑らかに表現することが可能な仮想空間表示装置が提案されている。当該仮想空間表示装置は、動きのある物体として平面を組み合せた擬似三次元モデルを配置し、物体の動きをアニメーションとしてモデルの平面に投影することによって表現する機能を有する。そして、当該仮想空間表示装置は、視点と擬似三次元モデルの位置関係に応じて、モデルの適切な面のみを表示し、他の面は非表示とする機能を持っている。適切な表示面の判定は、視点と擬似３次元モデルの位置及び向きに依存して行う。

特開平１０−２２２６９２号公報

S. Nayar et al., "A projection system with radiometric compensation for screen imperfections," IEEE International Workshop on Projector-Camera Systems, 2003. M. D. Grossberg et al., "Making One Object Look Like Another: Controlling Appearance Using a Projector-Camera System," Proceeding of CVPR , pp. 452-459, 2004. K. Fujii et al., "A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments, Computer Vision and Pattern Recognition," IEEE Computer Society Conference on, Vol. 1, pp. 814-821, 2005. T. Amano et al., "Virtual Recovery of the Deteriorated Art Object based on AR Technology," Proceeding of Procams 2007, 2007. O. Bimber et al., "Superimposing dynamic range," ACM Trans. Graph., Vol. 27, No. 5, pp. 1-8, 2008. Amano and H. Kato, Real World Dynamic Appearance Enhancement with Procam Feedback, Proceeding of Procams 2008, 2008. 天野敏之ほか，「プロジェクタカメラフィードバック系によるアピアランス強調」，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９２−Ｄ，Ｎｏ．８，ｐｐ．１３２９−１３３８，２００９年． O. Bimber et al., "Projected Light Microscopy," SIGGRAPH 2009, Talks table of contents, No. 69, 2009. O. Bimber et al., "Closed-Loop Feedback Illumination for Optical Inverse Tone-Mapping in Light Microscopy," IEEE Transactions on Visualization and Computer Graphics, Vol. 17, No. 6, pp. 857-870, 2011. 吉田壮伸ほか，「複合現実感のための反射色計測に基づくプロジェクタ投影テクスチャ」，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．９，Ｎｏ．１，ｐｐ．９７−１０４，２００４年． 天野敏之ほか，「モデル予測制御を用いたプロジェクタカメラ系による見かけの制御」，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９４−Ｄ，Ｎｏ．８，ｐｐ．１３６８−１３７５，２０１１年．

しかしながら、上述の見かけの操作はカメラによる観測があらかじめ実装された画像処理で与えられる目標と一致するように制御を行う技術であり、被投影物の模様に応じた動きのある演出を行うことはできない。また、鑑賞者や被投影物の動きをなどの周囲の環境を反映した対話的な演出をおこなうためには、見かけの操作をおこなうためのプロジェクタとカメラの他に、環境の計測とそれを演出に反映する仕組みが必要となる。

また、特許文献１においては、物体がユーザの操作や視点移動による表示内容の変化に遅延なく追従し、物体自身の動きを滑らかに表現することが可能な仮想空間表示装置を実現できるが、アニメーションデータを予め記憶装置に記憶する必要があり、同様の処理をする場合はきわめて複雑な画像処理を行う必要があるという問題点があった。

本発明は前記の課題を解決し、見かけの操作においてユーザの動作に応じたアニメーションによるプロジェクションマッピングを、従来技術に比較して簡単な処理で実現することができる画像処理装置及び方法、画像処理プログラム、並びに投影装置を提供することにある。

第１の発明に係る画像処理装置は、所定の投影画像が所定の反射率で反射する被投影物に投影され、前記被投影物により反射された投影画像の光がユーザにより反射された後前記被投影物に投影され、前記被投影物に投影された画像が撮影されて撮影画像として入力される画像処理装置であって、
画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備えた画像処理装置において、
前記画像処理手段は、
（Ａ）前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させ、もしくは
（Ｂ）前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで前記投影画像において所定のエフェクトのアニメーションを発生させることを特徴とする。

前記画像処理装置において、前記画像処理手段は、前記推定画像に対して、前記画素の輝度を変化させて発振するように画像処理を実行することで、前記投影画像において輝度変化を有する雲模様を発生させることを特徴とする。

また、前記画像処理装置において、前記画像処理手段は、前記推定画像に対して、輪郭強調及びコントラスト強調を行うことで、前記投影画像において気泡模様を発生させることを特徴とする。

さらに、前記画像処理装置において、前記画像処理手段は、前記推定画像に対して、画素の色相を変化させることで白色の帯状模様を発生させ、背景の色調の変換を行うことを特徴とする。

またさらに、前記画像処理装置において、前記画像処理手段は、前記推定画像に対して、前記推定画像の色彩を減少させてモノクロ画像に変換させることで色彩の変化を発生させることを特徴とする。

また、前記画像処理装置において、前記画像処理手段は、前記推定画像に対して、前記推定画像の彩度を均一にして画像全体の彩度を同一にさせることで、投影対象の模様に応じて発振する模様を発生させることを特徴とする。

さらに、前記画像処理装置において、前記画像処理手段は、前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで、前記対象画素から外側の画素ににじみを発生させ、当該にじみが時間経過で当該対象画素から拡大することを特徴とする。

第２の発明に係る画像処理方法は、所定の投影画像が所定の反射率で反射する被投影物に投影され、前記被投影物により反射された投影画像の光がユーザにより反射された後前記被投影物に投影され、前記被投影物に投影された画像が撮影されて撮影画像として入力される画像処理装置のための画像処理方法であって、
前記画像処理装置は、画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備え、
前記画像処理方法は、前記画像処理手段が、
（Ａ）前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させるステップ、もしくは
（Ｂ）前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで前記投影画像において所定のエフェクトのアニメーションを発生させるステップを含むことを特徴とする。

第３の発明に係る画像処理プログラムは、前記画像処理方法のステップを含むことを特徴とする。

第４の発明に係る投影装置は、
前記画像処理装置と、
前記投影画像を前記被投影物に投影するプロジェクタと、
前記被投影物に投影された画像を撮影する撮影装置とを備えたことを特徴とする。

前記投影装置において、前記ユーザは、前記プロジェクタ及び前記撮影装置と、前記被投影物との間に位置して移動することを特徴とする。

従って、本発明によれば、見かけの操作においてユーザの動作に応じたアニメーションによるプロジェクションマッピングを、従来技術に比較して簡単な処理で実現することができる。

比較例１に係る、繰り返し投影法による見かけの強調処理を行う画像処理システムの構成を示すブロック図である。 比較例２に係る、反射率推定とＭＰＣ制御を用いた見かけの制御処理を行う画像処理システムの構成を示すブロック図である。 実施形態１に係る画像処理システムであって、鑑賞者の有無、位置及び動作に応じてアニメーションを変化させる対話的なプロジェクションマッピングを行う画像処理システムの構成例及び使用状態を示す斜視図である。 図３の画像処理システムの詳細構成を示すブロック図である。 図４の投影画像生成部３３から出力される画像と撮影画像Ｃ’の座標との間の整合を取るための、図４の座標変換部３４の処理を示す概略フロー図である。 実施形態２に係る画像処理システムであって、被投影物４と投影装置１の間に配置された移動物体７の有無、位置及び動作に応じてアニメーションを変化させる対話的なプロジェクションマッピングを行う画像処理システムの構成例及び使用状態を示す斜視図である。 実施形態１に係る画像処理システムによって実行された実施例１に係るプロジェクションマッピングのエフェクトの実現例を示す投影写真画像である。 実施形態１に係る画像処理システムによって実行された実施例２に係るプロジェクションマッピングのエフェクトの実現例を示す投影写真画像である。 実施形態１に係る画像処理システムによって実行された実施例３に係るプロジェクションマッピングのエフェクトの実現例を示す投影写真画像である。 実施形態１に係る画像処理システムによって実行された実施例４に係るプロジェクションマッピングのエフェクトの実現例を示す投影写真画像である。 実施形態１に係る画像処理システムによって実行された実施例５に係るプロジェクションマッピングのエフェクトの実現例を示す投影写真画像である。 実施形態１に係る画像処理システムによって実行された実施例６に係るプロジェクションマッピングのエフェクトの実現例を示す投影写真画像である。

以下、非特許文献１１において開示された比較例１及び２、並びに本発明に係る実施形態について、図面を参照して説明する。なお、以下の各比較例及び各実施形態において、同様の構成要素については同一の符号を付している。

比較例及び実施形態の概要．
プロジェクタベースの拡張現実感技術は光学的に実世界に働きかけることができ、付加情報の提示のみならず、補正光投影により現実世界の見かけを変化させることもできる技術である。本明細書では、このようにプロジェクタとカメラからなる系で実世界の見かけを変化させる技術を見かけの制御技術と呼ぶ。見かけの制御技術は、投影対象もしくはスクリーンのテクスチャを除去するのか、あるいはテクスチャを強調もしくは改変するのかという目的の違いと、静的もしくは動的な処理という観点で表１のように分類できる。

見かけの制御の基礎となる技術としては光学補償技術がある。Ｎａｙａｒ ｅｔ ａｌ．（非特許文献１参照）やＧｒｏｓｓｂｅｒｇ ｅｔ ａｌ．（非特許文献２参照）は、テクスチャにより不均一な反射特性をもつ平面もしくは立体物の見かけを、あらかじめ与えられている目標の見かけに一致させる光学補償技術を実現した。Ｆｕｊｉｉ ｅｔ ａｌ．（非特許文献３参照）はこの手法を発展させ、動的に光学補正を行う手法を提案している。これらのように物体の見かけを除去するのではなく、反対に物体本来の見かけを強調する手法も提案されている。

物体本来の見かけを強調する手法としては、マーカトラッキングを用いた絵画の色彩復元及び光沢付加（非特許文献４参照）や補正画像投影による印刷媒体などのコントラスト増強や色彩補正（非特許文献５参照）がある。ただし、これらの方法では事前に白色照明下で画像を取得しておく必要があり、動的に対象を入れ替えることはできなかった。

しかし、本発明者らは、物体に補正画像を投影した状態で画像を取得し、その画像を再度物体に投影する繰り返し投影を行っても、適切な画像処理とフィードバックゲインを用いれば投影画像は発散しないことを発見した。これにより動的な見かけの強調を実現した（非特許文献６及び７参照）。

本明細書では、この手法を繰り返し投影法と呼ぶ。Ｂｉｍｂｅｒ ｅｔ ａｌ．（非特許文献８及び９参照）はこの見かけの強調を発展させ、コントラスト強調やハイライト除去、色偏差強調など観察試料の見かけを変化させる光学顕微鏡を開発した。これらは動的な見かけの強調や修正を実現したが、処理方法が理論的に体系化されておらず、正確に目標とする見かけへ修正する画像処理方法やパラメータは試行錯誤により探し出す必要があった。例えば、繰り返し投影法で色彩を除去してグレイスケールに変換する処理は、光学的にはプロジェクタからシーンの補色画像を投影することで実現できるが、どの程度の強さで投影すればよいかということを事前に知ることは極めて困難である。そこで、見かけの制御では、動的な見かけの強調において、見かけの推定とモデル予測制御を導入し、体系化した見かけの制御の方法論を提案した。また、これにより見かけの強調のみならず、光学補償も包含する汎用的な見かけの制御技術を実現した。

ＭＰＣを用いた見かけの制御における動的適応化．
Ｆｕｊｉｉ ｅｔ ａｌ．（非特許文献３参照）が提案した動的適応化（Ｄｙｎａｍｉｃ Ａｄａｐｔａｔｉｏｎ）は１９８０年代から化学プラントや製油所プラントなどで応用されているＭＰＣ（モデル予測制御）の一つと解釈することができる。操作入力ｕ（ｔ）を持つ制御対象のモデルｙ_Ｍ（ｔ）とセンサにより取得された出力ｙ（ｔ）より、時刻ｔ＋１における予測値ｙ_Ｐ（ｔ＋１）は次式で表される。

ただし、Ｅｒｒｏｒ（ｔ）は推定誤差である。ＭＰＣでは、予測値ｙ_Ｐ（ｔ＋１）が目標値ｒ（ｔ）と一致するように操作量ｕ（ｔ）を決定することにより制御が行われるが、通常はモデル化誤差による制御性能の悪化を避けるために、次式の参照軌道を導入する。

そして、チューニングパラメータαにより制御性能とロバスト性のトレードオフを決定する。動的適応化では、時刻ｔにおいてカメラで取得されるカラー画像Ｃ

を

とモデル化している。

ただし、

はそれぞれ、時刻ｔ＝０を基準とした相対的な物体表面の反射率、プロジェクタと撮影カメラ間の応答及び環境照明を表し、

はプロジェクタから投影される画像である。フィードバックでは、すべての画素に対して並列で同じ処理が行われるため、以降の説明では、ＣやＰなどの画像のある画素を単に画像と呼ぶ。Ｐを正規化投影画像と呼び、キャリブレーションによりＣと画素が対応するように幾何学的補償がされ、さらに画素の値と出力輝度が線形となるように輝度についても補償されているものとする。

動的適応化では前記モデルからあらかじめ与えられた目標に対する正規化投影画像Ｐを算出している。このモデルには推定誤差や参照軌道は含んでおらず、ＭＰＣにおいてα（ｔ）＝０かつＥｒｒｏｒ（ｔ）＝０とした場合に相当する。一般的には、ＭＰＣはこのような条件では不安定になりやすいが、動的適応化のようにスクリーン上に投影される画像の輝度補償を目的とする場合はモデル化誤差が制御量よりも小さければステップごとに補償誤差が減少するため、安定した制御ができると考えられる。

負帰還による見かけの強調処理（比較例）．
図１は比較例１に係る、繰り返し投影法による見かけの強調処理を行う画像処理システムの構成を示すブロック図である。図１において、画像処理システムは、プロジェクタ１０２と、撮影カメラ１０６と、画像処理装置１０３とを備えて構成され、プロジェクタ１０２の投影面及び撮影カメラ１０６の撮影面に、反射率Ｋの反射物体１０４が載置される。ここで、画像処理装置１０３は、γ補正部１３０と、色補正部１３１と、画像処理部１３３と、座標変換部１３４と、γ補正部１３５とを備える。図１において、

と、

はそれぞれ環境光と補正光であり、反射物体１０４の表面の反射率Ｋにより変調された光

が撮影カメラ１０６で撮影光として撮影され、キャプチャ画像Ｃ’を得る。その後、γ補正部１３０による撮影カメラ１０６のγ特性の補償と、色補正部１３１により線形変換行列

を用いてプロジェクタ１０２と撮影カメラ１０６のカラーマッチングを行った後に正規化キャプチャ画像Ｃ

を得る。ただし、ここでは、Ｉ_０，Ｉ_ｐ，Ｉ_ｃをＲＧＢ色空間のベクトルとして表現している。また、

は対角行列である。投影画像Ｐは、画像処理部１３３により撮影画像Ｃに彩度強調などの画像処理を施すことで生成され、座標変換部１３４により、ピクセルマッピングのための幾何学変換と、γ補正部１３５による応答の線形化（γ補正）を行い、プロジェクタ１０２から投影画像Ｐ’を得る。この投影画像Ｐ’がプロジェクタ１０２に入力され、補正光Ｉ_ｐが物体上に投影される。この系において、反射物体１０４の表面をランバート面あるいは撮影カメラ１０６と観察者の視方向がほぼ同じであると仮定すると、

となり、観測者に対する見かけの強調を行うことができる。ここで注目すべきは、適切なフィードバックゲインを設定することで、補正光Ｉ_ｐは発散せずに撮影光Ｉ_ｃの彩度やコントラストを強調することができることである。

しかし、この方法には目標値や操作量が存在しないため、撮影光Ｉｃを目標とする見かけに変更するための画像処理やパラメータをあらかじめ予測することが困難である。非特許文献８の研究では処理の安定性を向上させるために見かけの推定やテンポラルフィルタを用いているが、同様に目標値や操作量を持たない系であり、繰り返し投影法と同様の問題を持っている。

図２は比較例２に係る、反射率推定とＭＰＣ制御を用いた見かけの制御処理を行う画像処理システムの構成を示すブロック図である。以下、図２を参照して、見かけの予測とＭＰＣを用いた制御系を含む、比較例２に係る画像処理システムについて以下に説明する。

図２において、画像処理システムは、画像処理システムは、プロジェクタ１０２と、撮影カメラ１０６と、画像処理装置１０３Ａとを備えて構成され、プロジェクタ１０２の投影面及び撮影カメラ１０６の撮影面に、反射率Ｋの反射物体１０４が載置される。ここで、画像処理装置１０３Ａは、γ補正部１３０と、色補正部１３１と、見かけの推定部１３２と、画像処理部１３３Ａと、加算器１３７と、ＭＰＣ制御部１３６と、座標変換部１３４と、γ補正部１３５とを備える。

図２において、物理的な反射率は、

で推定することができる。ただし、

であり、Ｃ_ｆｕｌｌとＣ_０は最大及び最小の輝度の光がプロジェクタから投影されたときに撮影された画像である。また、Ｋ＝ｄｉａｇ（１，１，１）とする白色基準物体に対して最大及び最小の輝度の光がプロジェクタから投影されたときに撮影される画像である。また、

と、

とは要素ごとの除算と積算を意味する。この物理的な反射率

と白色画像Ｃ_{ｗｈｉｔｅ}＝（１，１，１）^Ｔより、見かけの推定部１３２は、白色光が投影されている状況での見かけ画像Ｃ_ｅｓｔは次式と推定できる。

この推定画像Ｃ_ｅｓｔに対して、画像処理部１３３Ａにより、詳細後述する任意の画像処理を施して目標値Ｒとし、加算器１３７により目標値Ｒと現在の見かけ画像Ｃとの差を演算し、当該差の画像をＭＰＣ制御部１３６を介して見かけの推定部１３２に負帰還を構成することで、任意の見かけの制御を実現することができる。ただし、見かけの強調を行うためには推定画像Ｃ_ｅｓｔの何らかの要素を増幅してＲを生成することになる。従って、フィードバックにおいて推定画像Ｃ_ｅｓｔの推定誤差が増幅され、系が不安定になる恐れがある。そのため、見かけの強調を行うためには、モデル化誤差の考慮と参照軌道の導入が必要となる。

ＭＰＣの見かけの制御への適用．
応答の線形化が施された撮影カメラ１０６とプロジェクタ１０２を仮定し、撮影カメラ１０６で撮影される画像Ｃ_Ｍの応答モデルを次式とする。

ただし、

はそれぞれ、強度が正規化された時刻ｔにおける投影パターンとキャプチャ画像である。式（１）より、プロジェクタカメラ系におけるキャプチャ画像Ｃ_Ｐの予測値は次式で表される。

また、参照軌道Ｃ_Ｒは次式とする。

この式において、プロジェクタカメラ系の応答は時間的に変動しないため、チューニングパラメータαは定数とした。また、Ｒ（ｔ＋１）は目標画像であり、推定画像Ｃｅｓｔに所望の画像処理を施したものである。これらの式（９）〜（１２）と制御則Ｃ_Ｐ（ｔ＋１）＝Ｃ_Ｒ（ｔ＋１）より、次式の操作量を得る。

ただし、導出において時刻ｔに対する反射率Ｋ（ｔ）の変化が微少であることを仮定して、

とした。これは、処理の高速化と対象物体の反射率が低い場合におけるゼロ除算及び誤推定を避けるための近似であり、この近似誤差は式（１０）の誤差項により補償される。

さらに、当該比較例２に係る画像処理システムにおける画像処理部１３３の画像処理例について以下に説明する。

例えば撮影画像Ｃと投影画像Ｐから推定された白色照明下での見かけ画像に対して彩度の強調処理を施した画像を目標画像としてＭＰＣ制御部１３６に与えることにより、見かけの制御結果を得ることができる。彩度の強調は例えば次式により行うことができる。

ただし、Ｃｍは評価値Ｃｅｓｔのモノクロ画像であり、ｓは彩度を制御する彩度制御パラメータであり、彩度制御パラメータｓ＝０で強調なし、彩度制御パラメータｓ＞０で彩度の強調が施される。また、利得ｇａｉｎにより目標画像Ｒの明度が変化し、見かけの明るさが制御できる。例えば、これらのパラメータは、ｇａｉｎ＝１．０、ｓ＝１．５に設定することができる。

比較例２に係る画像処理システムでは、白色光での見かけの推定とＭＰＣ制御部１３６により、彩度の強調のみならず様々な見かけの制御を行うことができる。その処理設定例を以下に示す。

白色照明下での見かけ画像に対して、彩度制御パラメータｓ＝２．０として式（１４）の彩度強調を施すと、見かけ画像が鮮やかになる。また、この反対に、目標画像Ｒを

として、ＨＳＶ色空間において彩度強調と逆の方向へ変化させることにより、色彩を除去することができる。彩度制御パラメータｓは大きくすることにより彩度が減少し、彩度制御パラメータｓ＝１で無彩色になる。

比較例１に係る繰り返し投影法でも、投影画像Ｐを撮影画像Ｃの彩度反転したものとすれば、同様に彩度を弱めることは可能であるが、どの程度のパラメータで彩度がバランスして見かけ画像を無彩色にすることができるのかは実際に行うまで分からない。なぜならば、モデル化誤差による結果の不確定性や強調度合いが対象に依存する性質があるからである。従って、繰り返し投影法で無彩色にするためにはユーザが状況を観測しながら、パラメータを調整する必要が生じるが、比較例２に係る画像処理システムでは、彩度を０として目標画像Ｒを与えるだけでよい。

例えば、画像処理部１３３Ａにおいて、次式の色相制御

を適用することができる。ただし、Ｕは次式の色空間変換行列である。

また、Ｔ_Ｒは次式の色相回転行列である。

比較例２に係る画像処理システムにおいて、色彩の制御のみならずエッジ強調などの画像処理を施すこともできる。例えば画像処理部１３３Ａにおいて次式のエッジ強調

を適用することができる。ただし、

である。ここで、σ＝５．０はガウスフィルタ及びラプラスフィルタのマスク半径はそれぞれ３及び５とした。このフィルタにより、彩度制御パラメータｓ＞０でエッジが強調され、彩度制御パラメータｓ＜０では反対にぼかすことができる。ここで、例えば、彩度制御パラメータｓ＝２．０、ｓ＝０、ｓ＝−０．５に設定することができる。

さらに、比較例２に係る画像処理システムにおいて、推定画像Ｃ_ｅｓｔに対して次式の明度の均一化を行うことができる。

ここで、彩度制御パラメータｓは例えばｓ＝１．０に設定できる。

次いで、本発明を実施するための実施形態について図面を参照して以下説明する。

実施形態１．
図３は実施形態１に係る画像処理システムであって、鑑賞者の有無、位置及び動作に応じてアニメーションを変化させる対話的なプロジェクションマッピングを行う画像処理システムの構成及び使用状態を示す斜視図である。また、図４は図３の画像処理システムの詳細構成を示すブロック図である。図３及び図４において、投影装置１内の各画像はデータ形式の画像データである。

実施形態１に係る画像処理システムは、図３及び図４に示すように、投影装置１と、ユーザインターフェース装置５０とを備え、上述の課題を解決するために、所定の画像が投影された被投影物４を撮影カメラ６で取得して、撮影カメラ６で取得された画像を投影装置１内の画像処理装置３で処理することで生成される画像をプロジェクタ２により投影し、被投影物４の光沢反射面での反射光を利用してユーザである鑑賞者５の画像を取得するユーザインターフェース装置５０を実現することを特徴としている。特に、実施形態１に係る画像処理装置３は、図４に示すように、比較例２に係る画像処理部１３３Ａに代えて、画像処理部３３１を備えたことを特徴としている。

図３及び図４において、投影装置１は、プロジェクタ２と、画像処理装置３と、撮影カメラ６とを備えて構成される。ここで、ユーザインターフェース装置５０は、所定の反射率で投影画像を反射する被投影物４を備え、被投影物４はユーザである鑑賞者５と投影装置１との間のユーザインターフェースを構成する。

図３において、プロジェクタ２は所定の画像の光（Ｉ_ｐ）を例えば光沢のある被投影物４に投影することで、被投影物４にプロジェクションマッピングを行う。被投影物４に投影された光の一部（Ｉ_ｃ）は被投影物４の光沢によって反射され、鑑賞者５に投影される。鑑賞者５の像は被投影物４の光沢による反射によって被投影物４にプロジェクションマッピングされた様子と合成されて撮影カメラ６で撮影される。投影範囲４２はプロジェクタ２の投影範囲であり、撮影範囲４６は撮影カメラ６で撮影される撮影範囲であり、投影範囲４２と撮影範囲４６が重なった領域に被投影物４が配置される。

図４の画像処理システムにおいて、プロジェクタ２と画像処理装置３と撮影カメラ６が一つの筐体に組み込まれていてもよいし、プロジェクタ２と画像処理装置３と撮影カメラ６がそれぞれ別の筐体に組み込まれ、プロジェクタ２と画像処理装置３と撮影カメラ６が画像信号ケーブルによって接続されてもよい。

図４において、投影装置１は、被投影物４と被投影物４に写り込んだ鑑賞者５の様子を撮影カメラ６で撮影し、撮影された画像データが画像処理装置３に入力される。ここで、画像処理装置３は例えばディジタル計算機等のコンピュータで構成され、γ補正部３０と、色補正部３１と、見かけの推定部３２と、投影画像生成部３３と、座標変換部３４と、γ補正部３５とを備えて構成される。また、投影画像生成部３３は、画像処理部３３１と、ＭＰＣ制御部３３２と、加算器３３３とを備える。なお、画像処理装置３の各部３０〜３５はそれぞれ例えば画像処理プログラムで構成されてもよいし、ハードウエア回路で構成してもよい。ここで、処理プログラムは予めコンピュータの記憶装置に格納されてもよいし、予め記録媒体に格納された後、コンピュータの記憶装置にロードすることで実行されてもよい。

γ補正部３０は入力される撮影画像データＣ’に対して撮影カメラ６の非線形特性を補正するために所定のγ補正を行って補正後の画像データを色補正部３１に出力する。色補正部３１は入力されるγ補正後の画像データに対して撮影カメラ６の分光特性を補正するために所定の色補正を行って補正後の画像データＣを見かけの推定部３２に出力する。見かけの推定部３２は、撮影カメラ６で撮影された画像データと、投影画像生成部３３の１ステップ前の出力画像データＰを入力として、プロジェクタ２から白色の画像を投影した際に撮影カメラ６で撮影される画像データＣｅｓｔを推定して投影画像生成部３３の画像処理部３３１に出力する。

投影画像生成部３３は、画像処理部３３１と、ＭＰＣ制御部３３２と、加算器３３３とを備えて構成される。画像処理部３３１は見かけの推定部３２で推定されたプロジェクタ２から白色の画像を投影した際に撮影カメラ６で撮影される画像に例えば過度のゲインで色彩強調や色相操作、コントラスト強調などの処理を行い、処理後の画像Ｒを加算器３３３に出力する。加算器３３３は画像処理部３３１からの画像Ｒから色補正部３１からの画像Ｃを減算して減算結果の画像をＭＰＣ制御部３３２に出力する。ＭＰＣ制御部３３２は画像処理部３３１から出力された出力画像Ｒと撮影カメラ６で取得された後の補正画像Ｃの差を加算器３３３から取得し、撮影カメラ６で取得された後補正された撮影画像Ｃと、画像処理部３３１からの出力画像Ｒとの画像レベルが一致するように投影画像生成部３３からの出力画像Ｐを調整して座標変換部３４及び見かけの推定部３２に出力する。

図５は図４の投影画像生成部３３から出力される画像と撮影画像Ｃ’の座標との間の整合を取るための、図４の座標変換部３４の処理を示す概略フロー図である。図５において、座標変換部３４は、投影画像生成部３３から出力される出力画像Ｐの座標ｐが被投影物４上の投影画像Ｐ’の座標ｑに投影されるとき、撮影カメラ６で取得される撮影画像Ｃ’の座標ｒで撮影される被投影物４上の投影画像Ｐ’の座標ｑについて、座標ｐと座標ｒが互いに同一座標となるように出力画像Ｐを変形させて投影画像Ｃ’を生成してγ補正部３５に出力する。γ補正部３５は入力される投影画像Ｃ’に対してプロジェクタ２の非線形特性を補正するために所定のγ補正を行って補正後の投影画像Ｐ’をプロジェクタ２に出力する。プロジェクタ２は座標変換部３４によって変形された後γ補正された投影画像Ｐ’を被投影物４に投影する。

以上のように構成された画像処理システムにおいては、投影装置１は、プロジェクタ２から投影された画像によって色彩が変化した被投影物４と被投影物４の光沢によって反射された鑑賞者５の像は再び撮影カメラ６により撮影される閉ループ処理において、画像処理部３３１で過度のゲインによる色彩強調や色相操作、コントラスト強調を行う。そうすると、閉ループ系は発振してユーザである鑑賞者５の動きに応じたアニメーション（画像処理により発生された擬態物をいう。）が被投影物４へ投影される。また、ユーザインターフェース装置５０においては、プロジェクタ２より投影される画像を被投影物４の光沢で反射し、鑑賞者５を照らし、鑑賞者５の像を被投影物４の光沢により反射する。

撮影カメラ６で撮影される被投影物４の画像には鑑賞者５の像も撮影されるため、鑑賞者５の有無や位置、動作により制御結果に影響をおよぼす。従って、投影装置１にユーザインターフェース装置５０を用いることで、被投影物４に鑑賞者５の有無や位置、動作によって投影装置１より投影されるアニメーションを変化させることができる。画像処理部３３１における例えば過度のゲインによる色彩強調や色相操作、コントラスト強調などの画像処理に対応する前記投影されるアニメーションの変化については実施例において詳細後述する。

なお、画像処理部３３１は後述する変形例においてその終段にγ補正部３３１Ｇを備えてもよい。これについては詳細後述する。

実施形態２．
図６は実施形態２に係る画像処理システムであって、被投影物４と投影装置１の間に配置された移動物体７の有無、位置及び動作に応じてアニメーションを変化させる対話的なプロジェクションマッピングを行う画像処理システムの構成例及び使用状態を示す斜視図である。図６において、実施形態２に係る画像処理システムは図３の実施形態１にかかる画像処理システムと同一の装置構成を有するが、実施形態１にかかる画像処理システムに比較して、鑑賞者５が、投影装置１と被投影物４の間に位置して移動方向７Ａで移動する移動物体７となり、移動物体７の移動に伴って、投影画像に新たなアニメーションが発生することを特徴とする。

図６において、プロジェクタ２からの画像は光沢のある被投影物４に投影し、被投影物４にプロジェクションマッピングを行う。プロジェクタ２から被投影物４に投影される画像の一部あるいは全部は被投影物４と投影装置１の間に配置された移動物体７によって遮られ、見かけの推定部３２において、遮られた部分の推定に誤りが生じる。見かけの推定部３２の誤りによって投影が過度に明るくなる、あるいは、過度に暗くなるという現象が発生する。

次いで、被投影物４と投影装置１の間に配置された移動物体７が移動して隠蔽が取り除かれると、隠蔽が取り除かれた部分８の見かけの推定部３２が正しく行われ、見かけの推定部３２に誤りが生じていたときからの変化によって投影画像にアニメーションが発生する。ここで、前記の見かけの推定部３２の出力の変化による投影画像のアニメーションは、ＭＰＣ制御部３３２の出力が安定するまで持続するため、移動物体７の動きに応じた残像が被投影物４に投影される。

以下、実施形態１に係る画像処理システムを用いたプロジェクションマッピングのエフェクトの実現例について詳細に説明する。図７〜図１２は各実施例で実現されたカラー写真画像を白黒写真画像で提供するものである。

図７は実施形態１に係る画像処理システムによって実行された実施例１に係るプロジェクションマッピングのエフェクト（エフェクト名：光沢）の実現例を示す投影写真画像である。図７に示すように、雲の形状の投影（雲模様）が生成され、投影部分（投影されて明るくなっている部分）と非投影部分（投影されていない部分）が、制御系の発振（以下、発振とは、各画素値が時間経過で変化することをいう。）によって時間的反転するエフェクトが発生する。図３の画像処理部３３１は入力されるカラー画像Ｃ_ｅｓｔの全画素に対して、以下の数式による処理を行う。

ただし、Ｃ_ｅｓｔ＝（Ｃ_{ｅｓｔ，Ｒ}，Ｃ_{ｅｓｔ，Ｇ}，Ｃ_{ｅｓｔ，Ｂ}）^Ｔは入力画像のＲＧＢ値であり、Ｒは出力画像のＲＧＢ値である。｜Ｃ_ｅｓｔ｜は入力画像のＲＧＢ全てに対する平均値である。画像処理部３３１のゲインｇａｉｎと彩度制御パラメータｓａｔを、ｇａｉｎ＝１．０、０＜ｓ＜１．０として画像処理部３３１に適用すると、制御系は安定し、明度を均一にする投影制御が行われる。実施例１にかかる光沢エフェクトでは、ゲインｇａｉｎ＝０．３、彩度制御パラメータｓ＝５．０として意図的に制御系を発散させることにより雲模様を発生させ、また発振による輝きの表現を行うことができる。

なお、実施例１において、例えばゲインｇａｉｎ＝０．１〜０．４、彩度制御パラメータｓ＝２．５〜１０．０で変化させても同様の光沢エフェクトを得ることができる。

図８は実施形態１に係る画像処理システムによって実行された実施例２に係るプロジェクションマッピングのエフェクト（エフェクト名：バブル（ＢＵＢＢＬＥ））の実現例を示す投影写真画像である。図８に示すように、水中に発生した気泡のような模様が時間的に増加し、投影面全体を埋め尽くすエフェクトが発生する。図３の画像処理部３３１は入力される画像Ｃ_ｅｓｔの全画素に対して、以下の数式による処理を行う。

ここで、Ｃ_ｅｓｔｘ，Ｃ_ｅｓｔｙをそれぞれ、入力画像Ｃ_ｅｓｔに対して、例えば公知のＰｒｅｗｉｔｔフィルタのように、横方向及び縦方向の微分フィルタを適用した微分画像のある画素の値とし、これらの画素のＲＧＢ成分（Ｃ_{ｅｓｔΔＲ}，Ｃ_{ｅｓｔΔＧ}，Ｃ_{ｅｓｔΔＢ}）ごとに二乗平均して得たＲＧＢのベクトルＣ_ｅｓｔΔを用いて出力画像Ｒの画素値を得る。この画像処理では、画像処理部３３１のパラメータを、ゲインｇａｉｎ＝１．０、彩度制御パラメータ０＜ｓ＜１．０とすると制御系は安定し、輪郭強調を行うことができるが、この処理において、ｓ＝５．０として過度の輪郭強調を行う。また、この出力画像にさらに、図３のγ補正部３３１Ｇにおいてγ補正係数γ＝０．７６として以下の式によるコントラスト強調を施すことによって動きのあるエフェクトを発生させることができる。

なお、実施例２において、彩度制御パラメータｓ＝２．０〜８．０で変化させても同様のバブルエフェクトを得ることができる。また、γ補正係数γ＝０．５〜０．９で変化させてもよい。

図９は実施形態１に係る画像処理システムによって実行された実施例３に係るプロジェクションマッピングのエフェクト（エフェクト名：ブルーアース（ＢＬＵＥ ＥＡＲＴＨ）の実現例を示す投影写真画像である。図９に示すように、引箔の金属性の鏡面反射を利用することで、プロジェクタ２と撮影カメラ６の光軸方向に帯状の白い模様を表示し、それ以外の部分は色相を変化させることでそれ以外は青紫色の色彩に変化させることで宇宙から撮影した地球のような幻想的な模様を発生させるエフェクトを実現できる。図３の画像処理部３３１は入力される画像の画素Ｃ_ｅｓｔ＝（Ｃ_ｅｓｔＲ，Ｃ_ｅｓｔＧ，Ｃ_ｅｓｔＢ）^Ｔの全てに対して以下の式による画像処理を施すことで出力画像Ｒの色調を変化させる。

ただし、Ｕは式（１７）の色空間変換行列であり、Ｔ_Ｒは式（１８）の色相回転行列である。ｓは色相の操作量である彩度制御パラメータであり、撮影画像の全体的な色調の偏りを利用して色彩を変える。図９の写真画像例では彩度制御パラメータｓ＝５．０とすることによって、全体の色調を青紫色の変化させる。さらに、このエフェクトでは帯状の白い投影模様を発生させるために、前記の処理結果に対してバブルエフェクトに示したコントラスト調整を行うことで強く反射する中央の明度を飽和させ白色の帯状の模様を発生させ、背景の色調の変換を行うことができる。なお、γ補正部３３１Ｇを用い、実施例３では、γ補正係数γ＝０．２とした。

なお、実施例３において、彩度制御パラメータｓ＝２．０〜８．０で変化させてもよい。また、γ補正係数γ＝０．１〜０．３で変化させてもよい。

図１０は実施形態１に係る画像処理システムによって実行された実施例４に係るプロジェクションマッピングのエフェクト（エフェクト名：レインボー（ＲＡＩＮＢＯＷ））の実現例を示す投影写真画像である。図１０に示すように、時間とともに色彩が虹色に変化するエフェクトを発生させることができる。図３の画像処理部３３１は入力される画像Ｃ_ｅｓｔの全画素に対して、以下の数式による処理を行う。

ただし、Ｃ_ｍは入力画像Ｃ_ｅｓｔをモノクロ化した画像の値であり、例えば、Ｃ_ｍ＝（Ｃ_ｅｓｔＲ＋Ｃ_ｅｓｔＧ＋Ｃ_ｅｓｔＢ）／３で計算できる。このエフェクトは入力画像の色彩を減少させ、モノクロの画像に変換する画像処理である。画像処理部３３１のゲインｇａｉｎ＝１．０、０＜ｓ＜１．０とすると制御系は安定し、彩度制御パラメータｓが１．０に近くなるに従って見かけの色彩が白黒に変化するが、彩度制御パラメータｓを１．０を超える過度な値に設定すると、制御系が発散し、様々な色彩が発生する。レインボーエフェクトはこの現象を活用して色彩を提示するものであり、画像例ではゲインｇａｉｎ＝０．７、彩度制御パラメータｓ＝５．０とした。

なお、実施例４において、ゲインｇａｉｎ＝０．５〜０．９、彩度制御パラメータｓ＝２．０〜８．０で変化させてもよい。

図１１は実施形態１に係る画像処理システムによって実行された実施例５に係るプロジェクションマッピングのエフェクト（エフェクト名：ノータイトルナンバー２（ＮＯ ＴＩＴＬＥ＃２）の実現例を示す投影写真画像である。図１１に示すように、時間的に発振する極彩色の色彩が投影されるエフェクトを発生することができる。図３の画像処理部３３１は、入力される画像Ｃ_ｅｓｔの全画素に対して、以下の数式による処理を行う。

前記の色空間変換行列Ｕを用い、以下の式によって入力画像Ｃ_ｅｓｔの色彩を明度Ｌと色度ａ、ｂに変換する。その後、色度ａ、ｂの値より、次式を用いて制御係数ｋを求める。

次いで、新たな色度ａ’，ｂ’を次式を用いて求める。

ａ’＝ｋａ
ｂ’＝ｋｂ

次いで、次式を用いて出力画像Ｒを得る。

このエフェクトは彩度を均一にする処理であり、彩度制御パラメータｓ＝１．０で画像全体の彩度が同一になる処理であり、一般的には画像の鮮やかさが強調される。このエフェクトでは、この彩度制御パラメータｓを過度に大きくすることで、投影対象の模様に応じて時間的に発振する極彩色の模様を発生させるものであり、画像例では、ゲインｇａｉｎ＝２．４、彩度制御パラメータｓ＝５．０とした。

なお、実施例５において、ゲインｇａｉｎ＝２．１〜２．９、彩度制御パラメータｓ＝３．〜７．０で変化させてもよい。

図１２は実施形態１に係る画像処理システムによって実行された実施例６に係るプロジェクションマッピングのエフェクト（エフェクト名：ノータイトルナンバー３（ＮＯ ＴＩＴＬＥ＃３））の実現例を示す投影写真画像である。図１２に示すように、時間経過とともに広がる光のにじみを表示するエフェクトを発生させることができる。ここで、光のにじみ（光学系のボケ）は、投影画像の各画素が被投影物４に投影したときに投影画像と撮影画像の双方に発生することで、外側の画素の投影画像に影響を与えることで、所定の画素位置からにじみ又は浸みだしが発生することをいう。図３の画像処理部３３１は、バブルエフェクトと同様のエッジ強調を実行するが、バブルエフェクトとは異なり、輪郭強調よりもコントラスト強調の効果を強めることによって、模様によって発生した輝点が時間経過とともに大きさが拡大するエフェクトを発生させる。なお、画像処理部３３１のγ補正部３３１Ｇのγ補正を用いる。前記の画像例では、彩度制御パラメータｓ＝０．６、γ補正係数γ＝０．４８として生成した。

なお、実施例６において、彩度制御パラメータｓ＝０．４〜０．８で変化させても同様のバブルエフェクトを得ることができる。また、γ補正係数γ＝０．５〜０．７で変化させてもよい。

実施例のまとめ．
以上説明したように、実施例１〜５においては、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行うことで投影画像に対して所定のエフェクトのアニメーションを発生させることができる。また、実施例６においては、対象画素の外側の画素に投影画像が投影されかつコントラスト強調を行うことでにじみのエッフェクトのアニメーションを発生させることができる。

本発明は、ユーザの動きに応じたアニメーションを即興的に投影できる対話的なプロジェクションマッピングを行うことができる。また、ユーザ又は被投影物と投影装置の間に配置された物体の有無や位置、動作に応じてアニメーションを変化させる対話的なプロジェクションマッピングを行うことができる。

１…投影装置、
２…プロジェクタ、
３…画像処理装置、
４…被投影物、
５…鑑賞者、
６…撮影カメラ、
７…移動物体、
３０…γ補正部、
３１…色補正部、
３２…見かけの推定部、
３３…投影画像生成部、
３４…座標変換部、
３５…γ補正部、
４２…投影範囲、
４４…撮影範囲、
５０…ユーザインターフェース装置、
６０…撮影画像、
１０２…プロジェクタ、
１０３，１０３Ａ…画像処理装置、
１０４…反射物体、
１０６…撮影カメラ、
１３０…γ補正部、
１３１…色補正部、
１３２…見かけの推定部、
１３３，１３３Ａ…画像処理部、
１３４…座標変換部、
１３５…γ補正部、
１３６…ＭＰＣ制御部、
３３１…画像処理部、
３３１Ｇ…γ補正部、
３３２…ＭＰＣ制御部、
３３３…加算器。

Claims (11)

1. 所定の投影画像が所定の反射率で反射する被投影物に投影され、前記被投影物により反射された投影画像の光がユーザにより反射された後前記被投影物に投影され、前記被投影物に投影された画像が撮影されて撮影画像として入力される画像処理装置であって、
   画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備えた画像処理装置において、
   前記画像処理手段は、
   （Ａ）前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させ、もしくは
   （Ｂ）前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで前記投影画像において所定のエフェクトのアニメーションを発生させることを特徴とする画像処理装置。
2. 前記画像処理手段は、前記推定画像に対して、前記画素の輝度を変化させて発振するように画像処理を実行することで、前記投影画像において輝度変化を有する雲模様を発生させることを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理手段は、前記推定画像に対して、輪郭強調及びコントラスト強調を行うことで、前記投影画像において気泡模様を発生させることを特徴とする請求項１記載の画像処理装置。
4. 前記画像処理手段は、前記推定画像に対して、画素の色相を変化させることで白色の帯状模様を発生させ、背景の色調の変換を行うことを特徴とする請求項１記載の画像処理装置。
5. 前記画像処理手段は、前記推定画像に対して、前記推定画像の色彩を減少させてモノクロ画像に変換させることで色彩の変化を発生させることを特徴とする請求項１記載の画像処理装置。
6. 前記画像処理手段は、前記推定画像に対して、前記推定画像の彩度を均一にして画像全体の彩度を同一にさせることで、投影対象の模様に応じて発振する模様を発生させることを特徴とする請求項１記載の画像処理装置。
7. 前記画像処理手段は、前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで、前記対象画素から外側の画素ににじみを発生させ、当該にじみが時間経過で当該対象画素から拡大することを特徴とする請求項１記載の画像処理装置。
8. 所定の投影画像が所定の反射率で反射する被投影物に投影され、前記被投影物により反射された投影画像の光がユーザにより反射された後前記被投影物に投影され、前記被投影物に投影された画像が撮影されて撮影画像として入力される画像処理装置のための画像処理方法であって、
   前記画像処理装置は、画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備え、
   前記画像処理方法は、前記画像処理手段が、
   （Ａ）前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させるステップ、もしくは
   （Ｂ）前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで所定のエフェクトのアニメーションを発生させるステップを含むことを特徴とする画像処理方法。
9. 請求項８記載の画像処理方法のステップを含むことを特徴とする画像処理プログラム。
10. 請求項１〜７のうちのいずれか１つに記載の画像処理装置と、
    前記投影画像を前記被投影物に投影するプロジェクタと、
    前記被投影物に投影された画像を撮影する撮影装置とを備えたことを特徴とする投影装置。
11. 前記ユーザは、前記プロジェクタ及び前記撮影装置と、前記被投影物との間に位置して移動することを特徴とする請求項１０記載の投影装置。

Images