JP2018197824A - 投影装置、情報処理装置およびそれらの制御方法、並びにプログラム - Google Patents

Abstract

【課題】投影面に含まれる画像に投影用画像を重畳する際の位置ずれを容易に調整できる技術を実現する。【解決手段】投影装置は、投影面に画像を投影する投影手段と、前記投影面に含まれる画像の色に関する情報を取得する取得手段と、前記取得手段により取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成する生成手段と、前記位置合わせ用画像を前記投影面の画像に重ねて投影するように前記投影手段を制御する制御手段と、を有し、前記生成手段は、前記取得手段により取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成する。【選択図】図１

Description

本発明は、投影面に画像を投影する技術に関する。

従来から、印刷物を含む投影面に画像を重ねて投影することにより、印刷物の黒浮きを防止し、投影画像のダイナミックレンジを拡大する技術が知られている（特許文献１〜３参照）。

特許文献１では、カメラで撮影した画像やコンピュータグラフィックス等の基本画像情報から印刷物を生成し、基本画像情報のコントラスト情報に基づいて投影画像を生成し、印刷物に投影画像を重畳する技術が記載されている。

一方、特許文献２、３には、複数の投影装置により画像をマルチ投影またはスタック投影する場合に、画像同士を位置合わせするための調整画像や調整パターンを投影する技術が記載されている。特許文献２、３では、投影画像をある領域ごとに分割して、互いの画像の重畳する領域に原色とその補色となるような調整画像や調整パターンを交互にストライプ状に配置している。

特開２００８−１４５９１５号公報 特開２０１４−２３５２９５号公報 特開２０１３−１６７６６０号公報

しかしながら、上記特許文献１では、印刷物と投影画像の互いの設置位置がずれないように、印刷物の移動機構部が投影部と一体的に構成されているため、印刷物の設置の自由度は低い。また、上記特許文献２、３では、印刷物と投影画像とを重畳して位置合わせを行う場合、印刷物に調整パターンを印刷することになり、その部分に画像が印刷できなくなる。

本発明は、上記課題に鑑みてなされ、その目的は、投影面に含まれる画像に投影用画像を重畳する際の位置ずれを容易に調整できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の投影装置は、投影面に画像を投影する投影手段と、前記投影面に含まれる画像の色に関する情報を取得する取得手段と、前記取得手段により取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成する生成手段と、前記位置合わせ用画像を前記投影面の画像に重ねて投影するように前記投影手段を制御する制御手段と、を有し、前記生成手段は、前記取得手段により取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成する。

本発明によれば、投影面に含まれる画像に投影用画像を重畳する際の位置ずれを容易に調整できるようになる。

実施形態１のシステム構成図（ａ）、投影装置および画像処理部の構成を示すブロック図（ｂ）、（ｃ）。 実施形態１の投影時の位置合わせ処理を示すフローチャート。 図２の位置合わせ用画像生成処理を示すフローチャート。 印刷画像と位置合わせ用画像の説明図。 印刷画像と位置合わせ用画像と重畳画像の説明図。 図２の投影用画像生成処理を示すフローチャート。 実施形態２のシステム構成図（ａ）および投影装置の構成を示すブロック図（ｂ）。 実施形態２の投影面色情報取得処理を示すフローチャート。 図８の投影面撮像画像の取得処理を示すフローチャート。 実施形態２の投影面色情報取得処理において取得される画像を例示する図。 実施形態３の位置合わせ処理を示すフローチャート。 実施形態３における形状補正量と彩度値の関係を説明する図。 印刷画像と位置合わせ用画像の位置関係を説明する図。 印刷画像、位置合わせ用画像および重畳画像の画素値の関係を示す図。 印刷画像、位置合わせ用画像および重畳画像の画素値の関係を示す図。 印刷画像、位置合わせ用画像および重畳画像の画素値の関係を示す図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されてもよい。

［実施形態１］まず、図１から図６を参照して、実施形態１について説明する。

以下では、紙などの印刷媒体に画像や文字などが印刷された印刷物を含む投影面に投影装置により投影画像を重ねて投影する際に、ユーザが印刷物の画像と投影画像の位置ずれを容易に調整できるように、ユーザにとって視認性の良い位置調整用画像（以下、調整用画像）を生成する例を説明する。

図１（ａ）は、本実施形態の投影装置１０により印刷画像４０に投影用画像を重畳した状態を示している。

プリンタなどの印刷装置３０により印刷媒体に画像や文字が印刷された印刷画像４０に対して、投影装置１０は印刷画像４０を含むように投影領域５０に画像の投影を行う。投影装置１０は、入力画像から投影用画像を生成し、印刷画像４０に重畳する。本実施形態では、後述する強調対象領域を印刷画像４０の範囲内として、印刷画像４０に画像を投影する例を説明するが、これに限定されるものではない。また、本実施形態では、印刷画像４０の範囲よりも投影領域５０の範囲が広いことを前提とするが、これに限るものではなく、印刷画像４０の範囲と投影領域５０が同じ広さであってもよい。

本実施形態によれば、印刷画像４０に画像を重畳して投影することで、印刷画像４０のダイナミックレンジを向上して、実在感の高いコンテンツを提供することができる。

＜装置構成＞次に、図１（ｂ）を参照して、本実施形態の投影装置１０の構成および機能の概略について説明する。

本実施形態の投影装置１０は、投影面に表示するべき画像に応じて、光変調素子の光の透過率（光強度）を制御して、光変調素子を透過した光源からの光をスクリーン（投影面）に投影することで、画像をユーザに提示する。

図１（ｂ）において、本実施形態の投影装置１０は、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、操作部１１３、通信部１１４、画像入力部１２０、画像処理部１３０を有する。また、投影装置１０は、光源制御部１４０、光変調素子制御部１５０、光源１６０、色分離部１６１、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂ、色合成部１８０、投影光学系１８１、光学系制御部１８２を有する。

ＣＰＵ１１０は、投影装置１０の各動作ブロックを制御する。ＲＡＭ１１１は、ワークメモリとして一時的に制御プログラムやデータを格納する揮発性メモリである。ＲＯＭ１１２は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶する不揮発性メモリである。ＲＯＭ１１２には、制御プログラムや各動作ブロックの設定パラメータ等のデータが格納されている。

また、ＣＰＵ１１０は、通信部１１４や画像入力部１２０により受信した静止画データや動画データ（以下、画像データ）を一時的に記憶し、ＲＯＭ１１２に記憶されたプログラムを用いて、それぞれの静止画や動画を再生することもできる。

操作部１１３は、例えばスイッチやダイヤル、図示しない表示部上に設けられたタッチパネルなどからなり、ユーザ操作を受け付け、ＣＰＵ１１０に操作信号を送信する。また、操作部１１３は、例えば、図示しないリモコンから送信される操作信号を受信する信号受信部（赤外線受信部など）を有し、受信した操作信号をＣＰＵ１１０に出力するものであってもよい。ＣＰＵ１１０は、操作部１１３から受けた操作信号に応じて、投影装置１０の各動作ブロックを制御する。

通信部１１４は、外部装置からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１２０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであってもよい。ここで、外部装置は、投影装置１０と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

画像入力部１２０は、図示しない外部装置から画像データと共に、解像度やフレームレートなどの画像情報を受信する。画像入力部１２０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などを含む。また、画像入力部１２０は、アナログの画像データを受信した場合には、受信したアナログ信号をデジタル信号に変換し、画像処理部１３０に送信する。ここで、外部装置は、画像データを出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。また、画像入力部１２０は、ＵＳＢメモリやメモリカードなどのメモリデバイスから画像データを読み出すこともできる。

画像処理部１３０は、例えば専用のマイクロプロセッサからなり、画像入力部１２０から受信した画像データにフレーム数、画素数、画像形状などの変更処理を施して、光変調素子制御部１５０に送信する。なお、画像処理部１３０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１３０と同様の処理を実行してもよい。また、画像処理部１３０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）、輝度補正処理、色補正処理といった機能を実行することが可能である。また、画像処理部１３０は、所望のテストパターン画像を生成して光変調素子制御部１５０に送信することもできる。また、画像処理部１３０は、画像入力部１２０から受信した画像データ以外にも、ＣＰＵ１１０によって再生された動画や静止画などの映像に対して前述の変更処理を施すこともできる。画像処理部１３０の詳細な構成については後述する。

光変調素子制御部１５０は、画像処理部１３０から出力される画像信号に基づいて、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの画素の液晶に印可する電圧を制御して、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの透過率を調整する。

光変調素子１７０Ｒは、赤色に対応する液晶素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。光変調素子１７０Ｇは、緑色に対応する光変調素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。光変調素子１７０Ｂは、青色に対応する液晶素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

光源制御部１４０は、光源１６０のオン／オフの制御や光量の制御をする、例えば制御用のマイクロプロセッサからなる。なお、光源制御部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１４０と同様の処理を実行してもよい。また、光源１６０は、不図示のスクリーンに画像を投影するための光を出力する。光源１６０は、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプ、ＬＥＤ光源、レーザーダイオード、またはレーザーダイオードの発光する光を蛍光体などにより励起させ光波長を変換するタイプの光源などであり、スクリーンに画像を投影するための光を出力する。なお、本実施形態のスクリーンは、上述したように印刷装置３０により印刷媒体に印刷された印刷画像４０を含む。

色分離部１６１は、例えばダイクロイックミラーやプリズムからなり、光源１６０から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離する。なお、光源１６０として、各色に対応するＬＥＤなどを使用する場合には、色分離部１６１は不要である。

色合成部１８０は、例えばダイクロイックミラーやプリズムからなり、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成する。そして、色合成部１８０により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）、赤外光（ＩＲ）の成分を合成した光は、投影光学系１８１に送られる。このとき、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂは、画像処理部１３０から入力された画像データに対応する光の透過率となるように、光変調素子制御部１５０により制御される。そのため、色合成部１８０により合成された光は、投影光学系１８１によりスクリーンに投影されると、画像処理部１３０により入力された画像がスクリーン上に表示されることになる。

光学系制御部１８２は、例えば制御用のマイクロプロセッサからなり、投影光学系１８１を制御する。なお、光学系制御部１８２は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１８２と同様の処理を実行してもよい。また、投影光学系１８１は、色合成部１８０から出力された合成光をスクリーンに投影する。投影光学系１８１は、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、シフト、焦点調整などを行うことができる。

なお、本実施形態の画像処理部１３０、光源制御部１４０、光変調素子制御部１５０、光学系制御部１８２は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあってもよい。または、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行してもよい。

＜画像処理部の構成＞次に、図１（ｃ）を参照して、画像処理部１３０の詳細な構成について説明する。

位置合わせ用画像生成部１３０１は、投影面の印刷画像４０に投影用画像を重畳して投影する際に、投影領域５０が印刷画像４０に完全に重畳するように位置合わせを行うのに適した位置合わせ用画像を生成する。

投影用画像生成部１３０２は、画像処理部１３０に入力された画像に対して、印刷画像４０に重畳して投影用画像を投影したときにダイナミックレンジが改善するような画像変換処理を施して、投影用画像を生成する。画像変換処理としては、表色系変換、ガンマ変換、１Ｄ−ＬＵＴなどがある。さらに、投影用画像生成部１３０２は入力された画像のヒストグラムを生成することもできる。

スイッチャ１３０３は、位置合わせ用画像生成部１３０１と投影用画像生成部１３０２がそれぞれ生成した画像を切り替える。

歪み補正部１３０５は、投影用画像または位置合わせ用画像の投影時の形状歪みを補正する。ここでは行列を用い射影変換やアフィン変換などで形状歪を補正する。歪み補正部１３０５は、投影用画像の形状補正のために使用される画像メモリ１３０４のメモリアドレスの発行および画像の書き込み・読み出し制御も行う。

具体的には、歪み補正部１３０５はスイッチャ１３０３から入力された画像を一旦画像メモリ１３０４に書き込み、書き込みが完了したら上記変換方法に基づき算出した形状歪補正後の座標の画素データを画像メモリ１３０４から読み出す。

＜投影時の位置合わせ処理＞次に、図２を参照して、本実施形態の投影装置１０による投影時の位置合わせ処理について説明する。

なお、図２の処理は、ＣＰＵ１１０が、ＲＯＭ１１２に格納されたプログラムを、ＲＡＭ１１１のワークエリアに展開し、各動作ブロックを制御することにより実現される。また、図２の処理は、ユーザ操作により図示しないリモコンや操作部１１３を介して印刷画像に重畳して投影用画像を投影する動作モードへ移行する指示を受け付けた場合に実行される。後述する図２、図８、図９でも同様である。

Ｓ２０１では、ＣＰＵ１１０は、投影装置１０が印刷画像と投影用画像の位置ずれを調整するための位置調整モードであるか否かを判定する。位置調整モードへ移行する条件は後述する。ＣＰＵ１１０が位置調整モードに移行したと判定した場合はＳ２０２に進み、移行されていないと判定した場合はＳ２０６に進む。

Ｓ２０２では、ＣＰＵ１１０は、投影面の印刷画像の色情報を取得する。

Ｓ２０３では、ＣＰＵ１１０は、位置合わせ用画像生成部１３０１により、取得した投影面の印刷画像の色情報から位置合わせ用画像を生成する。位置合わせ用画像生成部１３０１は、ＣＰＵ１１０が取得した投影面の印刷画像の色情報に基づいて色彩相補的画像を生成し、位置合わせ用画像とする。

一般的に補色とは、対象の色光に加法混色することにより、白色とすることができる色光のことを表す。色彩相補的画像とは、投影面の印刷画像に重ねて投影されたときに、投影面の印刷画像の見えが、白色光照明下の見えより、より白色に近づく画像のことを言う。よって、色彩相補的画像を投影面の印刷画像に重畳投影することにより、見えとして彩度がゼロの無彩色に近づく。

色彩相補的画像の１つとして、投影面の印刷画像の色情報をその補色に変換して生成した画像がある。重畳投影が、正しくは加法混色ではなく、投影面の印刷画像の反射率との積算による混色であるため、補色に変換して生成した画像を重畳投影すると必ず正確な無彩色になるとは限らないが、多くの場合、無彩色に近づく。この場合の具体例については後述する。なお、上記以外にも様々な色彩相補的画像があり得る。この具体例については他の実施形態で後述する。

また、白色は、様々な色温度や相関色温度を持つ白色があり得る。代表的には、ＣＩＥ（国際照明委員会）の標準Ａ光源（相関色温度２８５６Ｋ）、標準Ｃ光源（相関色温度６７７４Ｋ）、標準Ｄ６５光源（相関色温度６５０４Ｋ）や、日本のＴＶ（ＮＴＳＣ−Ｊ）ＰＣに用いられている白（相関色温度９３００Ｋ）等のエネルギー白色（相関色温度５４５４Ｋ）などがある。なお、白色は、特定の色温度のものに限るものではない。

また、本実施形態では、色彩相補的画像を重畳投影したときに、必ずしも厳密に予め設定された基準白色の色度座標に一致する必要はなく、白色光照明下に比べてより基準白色に近づけばよい。

以下では、投影面の印刷画像の色情報を変換して色彩相補的画像を生成する方法であって、特に、ＲＧＢ表色系における画像生成方法を説明する。また、他の表色系における画像生成方法については後述する。

本実施形態では、ＲＧＢの画素値はＲＧＢの光強度に比例するリニア値とする。実際に投影面の印刷画像の色情報として入力される信号や投影装置に対して位置合わせ用画像や投影用画像として出力される信号は、信号の伝送規格や装置規格に従ってガンマ変換されたものである場合がある。その場合には、不図示のガンマ補正部や逆ガンマ補正部によって上記ＲＧＢのリニア値との変換処理が行われている必要がある。

図４は、本実施形態の印刷画像４０と位置合わせ用画像４１を例示している。画像データの画素値は８ｂｉｔで表現する。すなわち最小値が０であり、最大値が２５５である。そして、原色であるＲｅｄとＧｒｅｅｎとＢｌｕｅと、それらの補色であるＣｙａｎとＭａｇｅｎｔａとＹｅｌｌｏｗからなる色ブロックが配置されている。印刷画像４０の画像データは画像処理部１３０に対して投影面色情報として入力される。印刷画像４０に重畳される位置合わせ用画像４１は、画像処理部１３０の位置合わせ用画像生成部１３０１において生成される。

図４（ｂ）の位置合わせ用画像４１は印刷画像４０の輝度と色相を反転した画像であり、以下の式１−１、式１−２、式１−３から算出される。この場合、輝度が印刷画像４０と反転しているため、印刷画像４０の明度が低い領域では位置合わせ用画像４１は明るく投影され、印刷画像４０の明度が高いところでは位置合わせ用画像４１は暗く投影される。
Ｒ出力＝２５５−Ｒ入力・・・（１−１）
Ｇ出力＝２５５−Ｇ入力・・・（１−２）
Ｂ出力＝２５５−Ｂ入力・・・（１−３）
位置合わせ用画像４１を生成するのに、上記式１−１、式１−２、式１−３以外の算出方法もある。以下の式２−１、式２−２、式２−３のように投影用画像の輝度を極力上げることにより位置ずれの視認性を高める効果がある。
Ｒ出力＝２５５−（Ｒ入力−ＲＧＢ最少）・・・（２−１）
Ｇ出力＝２５５−（Ｇ入力−ＲＧＢ最少）・・・（２−２）
Ｂ出力＝２５５−（Ｂ入力−ＲＧＢ最少）・・・（２−３）
また、以下の式３−１、式３−２、式３−３のように、輝度を保存して色相のみを反転してもよい。
Ｒ出力＝ＲＧＢ平均＋（ＲＧＢ平均−Ｒ入力）・・・（３−１）
Ｇ出力＝ＲＧＢ平均＋（ＲＧＢ平均−Ｇ入力）・・・（３−２）
Ｂ出力＝ＲＧＢ平均＋（ＲＧＢ平均−Ｂ入力）・・・（３−３）
但し、ＲＧＢ出力値のうち１つでもマイナス値の場合には、最も大きくオーバーフローした出力値が０になるようにＲＧＢ出力値の全てをオフセットする。もしくはＲＧＢ出力値のうち１つでも２５６よりも大きい場合には、最も大きくオーバーフローした出力値が２５５になるようにＲＧＢ出力値の全てをオフセットする。

ここに例示した式１−１〜３−３では、位置合わせ用画像４１は印刷画像４０の色相を反転して生成される。そのため、投影領域５０における位置合わせ用画像４１と印刷画像４０の画素単位の位置合わせが適切になされている場合には、画面全体においてより白い画像、すなわち無彩色画像として視認される。

なお、以上の説明で用いた印刷画像４０および位置合わせ用画像４１は、説明を容易化するために単純化したものである。実際の印刷画像４０が自然画などであっても同様である。

また、本実施形態では、投影装置１０は規格として２．２のガンマ特性を持っている。そのため、リニア空間で変換を行うため、位置合わせ用画像生成部１３０１では不図示の逆ガンマ補正部において入力された投影面色情報に対して２．２の逆ガンマを掛けてから、上記式１−１〜３−３により補色画像を算出した後、不図示のガンマ補正部で２．２のガンマを掛ける。

Ｓ２０４では、ＣＰＵ１１０は、位置合わせ用画像を投影する。

図５は、印刷画像４０と、位置合わせ用画像４１と、印刷画像４０と位置合わせ用画像４１を重畳した重畳画像４２を例示している。ここでは投影装置１０からの投影光に比べて環境光は弱いものとし、その影響は省略している。

投影装置１０は印刷画像４０に対して位置合わせ用画像４１の投影領域５０を投影する。ユーザは操作部１１３を介して、ＣＰＵ１１０に投影光学系１８１のズーム光学系やフォーカス光学系を制御する指示を出す。ＣＰＵ１１０は操作部１１３からの指示に応じて光学系制御部１８２にズームやフォーカスの制御信号を送出する。光学系制御部１８２ではＣＰＵ１１０からの制御信号に応じて投影光学系１８１をユーザの意図通りに制御する。ユーザは操作部１１３を介して印刷画像４０に投影領域５０が合焦するようにフォーカス光学系を操作する。

次に、ユーザは操作部１１３を介して投影領域５０が印刷画像４０と同じ大きさに投影されるようにズーム光学系を操作する。なお、印刷画像４０と投影領域５０の相対位置がずれている場合には、ユーザは投影装置１０が設置されている位置を移動してもよい。また、投影光学系１８１が投影領域５０の投影位置を水平方向もしくは垂直方向に移動させるシフト光学系を持つ場合には、シフト光学系を操作して投影領域５０の投影位置を移動させてもよい。

ここで、印刷画像４０と投影装置１０の相対位置関係により投影領域５０に形状歪みが発生している場合には、歪み補正部１３０５により投影領域５０の変形処理を行う。ユーザは、投影領域５０の左上、右上、左下、右下の４隅の角の位置を任意の位置に移動することで画像の形状を補正して印刷画像４０と投影領域５０が重畳するように操作する。

具体的にはユーザが操作部１１３を介して歪み補正処理の開始を指示し、投影領域５０の４隅のうちの１つの角を選択する。そして、操作部１１３を介して選択した投影領域５０の４隅の１つの角の位置を、印刷画像４０の同じ４隅の１つの角の位置に一致するように移動させる。ＣＰＵ１１０は、操作部１１３からの指示に基づいて歪み補正部１３０５に変形処理の制御信号を送出する。歪み補正部１３０５では、ＣＰＵ１１０からの制御信号に従って、入力された画像の変形処理を行う。これを残り３つの角についても同様に繰り返し行う。

ユーザは印刷画像４０に投影領域５０の位置合わせ用画像が完全に重畳するように、操作部１１３により投影領域５０の変形処理を行うが、ユーザが印刷画像４０と投影領域５０を目視しながら、どのように変形するのか、図５を用いて説明する。

図５は、印刷画像４０、位置合わせ用画像４１および重畳画像４２を例示している。位置合わせ用画像４１は、図４（ｂ）で説明した輝度と色相を反転した画像である。印刷画像４０が図５（ａ）のようであった場合、位置合わせ用画像生成部１３０１では上記式１−１、１−２、１−３を用いて図５（ｂ）に示す位置合わせ用画像４１を生成する。そして、投影光学系１８１のズーム機能やシフト機能を用いたり、必要に応じて投影装置１０の位置を移動させて印刷画像４０と投影領域５０の位置合わせ用画像を位置合わせする。また、印刷画像４０と位置合わせ用画像が完全に重畳しない場合には、歪み補正部１３０５の形状補正機能を用いる。このようにして印刷画像４０と投影領域５０の位置合わせ用画像が完全に重畳した場合には、図５（ｃ）に示すように重畳画像４２は視覚的に無彩色の画像となる。

図１４は、印刷画像、位置合わせ用画像および重畳画像のＲＧＢの画素値の関係を示している。図１４では、図５に示す各画像の色ブロックの位置を左上から右下にかけてｐｏｓ１〜ｐｏｓ６で表し、それぞれの場所における印刷画像、位置合わせ用画像および重畳画像のＲＧＢの画素値と、表現される色の色座標値（Ｌ＊ａ＊ｂ＊表色系）、それらから算出される彩度（Ｃａｂ＊）を一覧で示している。印刷画像のＲＧＢの画素値は、そのままＲＧＢの原色光に対する反射率に比例しているものとして算出している。重畳前の印刷画像の各色ブロックは、５０〜１３４の高い彩度を示しているのに対して、位置合わせ用画像が重畳された重畳画像は、完全に無彩色の彩度０となっている。また、明度（Ｌ＊）も、０になっている。これは、純粋なＲＧＢ、ＣｙＭｇＹの各色ブロックからなる印刷画像４０に対して位置合わせ用画像である投影領域５０が補色の関係にあるためである。

図１４に対して、図１５および図１６は、印刷画像の色ブロックが、純粋なＲＧＢ、ＣｙＭｇＹから若干ずれており、Ｇｒａｙが混ざっている状態を例示している。図１５では、印刷画像の色ブロックは５０％のＲＧＢ、ＣｙＭｇＹに２５％のＧｒａｙが混ざって、中間色になっている。この場合でも、補色の関係にある位置合わせ用画像を生成して印刷画像に重畳すれば、印刷画像の各色ブロックは、２８〜５６の高い彩度を示しているのに対して、重畳画像は完全に無彩色の彩度０となっている。図１５では、明度（Ｌ＊）は、５０になっているので、黒色ではなく灰色である。

図１６では、割合が少し異なって、５０％のＲＧＢ、ＣｙＭｇＹに２０％のＧｒａｙが混ざっている。この場合でも、前述した方法で位置合わせ用画像を生成して重畳すれば、重畳前の印刷画像の各色ブロックは、２６〜６０の高い彩度を示しているのに対して、位置合わせ用画像が重畳された重畳画像は、無彩色に近い彩度６〜１１となっている。完全な無彩色ではないが、位置合わせ用画像を重畳することによって、見えとして彩度がゼロの無彩色に近づいている。

ここで再び、印刷画像の色ブロックが、純粋なＲＧＢ、ＣｙＭｇＹとなっている例に戻り、印刷画像４０と投影領域５０の位置合わせ用画像が完全に重畳していない状態での重畳画像の表示例を図１３に示す。

図１３は印刷画像４０と位置合わせ用画像を重畳した状態の投影領域５０における、Ｒ、Ｇ、Ｂ、Ｃｙ、Ｍｇ、Ｙｅの各色ブロックで構成される部分を示している。図１３（ａ）は、印刷画像４０と投影領域５０の位置合わせ用画像が完全に重畳している状態を示している。ここでは印刷画像４０と投影領域５０の位置合わせ用画像が補色関係にあるので、前述したように重畳画像はそれぞれ無彩色となって視覚される。

図１３（ｂ）は、位置合わせや形状歪み調整が不十分であって、位置合わせ用画像を投影する投影領域５０が、印刷画像４０に対して上下左右にずれている状態を示している。図１３（ｂ）において、印刷画像４０と投影領域５０の位置が合っている領域は無彩色になるが、位置がずれている領域は印刷画像４０と投影領域５０の有彩色部分が、そのままか補色関係にならない有彩色の重畳パターンとして表示される。このため、ユーザは、印刷画像４０と投影領域５０の位置合わせを行う際に位置ずれが非常に認識しやすくなる。

図２に戻り、Ｓ２０５では、ＣＰＵ１１０はユーザによる印刷画像と位置合わせ用画像の位置調整が完了したか否かを判定する。位置調整が完了したか否かは、印刷画像４０に対して位置合わせ用画像の投影領域５０の位置合わせや形状補正を行い、最も彩度が低くエッジ部分のコントラストが低くなった場合に調整が完了したと判定する。

Ｓ２０６では、ＣＰＵ１１０は、投影用画像生成部１３０２により入力画像から投影用画像を生成する。図６は投影用画像の生成処理を示している。

Ｓ６０１では、ＣＰＵ１１０は、画像処理部１３０の投影用画像生成部１３０２によって入力画像の色変換を行う。例えば、輝度成分のみ抽出しグレースケールにしてもよいし、入力画像のＲＧＢ表色系から、マトリックス変換にてＨＬＳ表色系やＬ＊ａ＊ｂ＊表色系などへ変換してもよい。

Ｓ６０２では、ＣＰＵ１１０は、画像処理部１３０の投影用画像生成部１３０２において階調変換を行い、投影用画像を生成する。

本実施形態の投影用画像は、入力画像に対し、暗部を黒にし、明部を白にして画像のコントラストを高くするように階調変換している。階調変換方法は１Ｄ−ＬＵＴを用いてもよいし、ガンマ変換により行ってもよい。なお、階調変換方法は、これに限らず、投影面の輝度を取得せずに、ユーザの意図で自由に変更してもよい。

また、本実施形態では、１Ｄ−ＬＵＴによる階調変換処理を行ったが、ＨＬＳ表色系へ変換してからＬ（輝度）のみゲインなどの処理をしてもよいし、Ｓ（彩度）にゲインなどの処理をして彩度を向上させる処理を行ってもよいし、両方行ってもよい。処理後、ＨＬＳ表色系からＲＧＢ表色系へ逆変換を施す。

図２に戻り、Ｓ２０７では、ＣＰＵ１１０は、投影用画像を投影光学系１８１により投影する。

以上のように、本実施形態によれば、投影装置１０は位置合わせ用画像を投影面の印刷画像の色情報から生成し、投影面の印刷画像と投影用画像との位置ずれを視認しやすくし、ユーザによる位置調整を適切に補助することができる。

なお、上述した実施形態において、強調対象領域は印刷物に限らず、投影用画像が強調対象領域のダイナミックレンジを向上させるものであれば、例えば絵画や建物の壁であってもよい。

また、投影面の印刷画像の色情報を印刷装置３０から受け取ってもよい。投影用画像を生成するための色情報は、例えば通信部１１４と印刷装置３０とを有線ケーブルや無線ＬＡＮにより信可能に接続したネットワークや、不図示のメモリカードを介して印刷装置３０から受け取ってもよい。

また、投影面の印刷画像の色情報が入力画像で代用できる場合、入力画像としてもよい。本実施形態では投影面の印刷画像の色情報と入力画像が異なるものとしたが、例えば入力画像と投影面の印刷画像の色情報が同じものであっても成り立つのであれば入力画像のみでもよい。

また、Ｓ２０１での投影装置１０の位置調整モードへの移行は、（加速度）センサなどよって投影装置１０の動きを検出して移行してもよい。本実施形態では位置調整モードへの移行はユーザ操作による例を説明したが、例えば投影装置１０に備えた不図示の加速度センサなどにより投影装置１０の動きを検出して移行してもよい。また、ユーザが不図示のリモコンなどを用いて位置調整モードを選択して移行するようにしてもよい。

＜位置合わせ用画像生成処理＞次に、図３を参照して、図２のＳ２０３における位置合わせ用画像生成処理の詳細について説明する。

Ｓ３０１では、ＣＰＵ１１０は、位置合わせ用画像生成部１３０１において、投影面の印刷画像のＲＧＢ表色系の色情報に対し、明度情報と色情報に分離された表色系に変換する処理を行う。

Ｌ＊ａ＊ｂ＊表色系で位置合わせ用画像を生成するには、ＲＧＢ表色系からＬ＊ａ＊ｂ＊表色系に変換する。実際にはＲＧＢ値を一旦ＸＹＺ表色系に変換してからＬ＊ａ＊ｂ＊表色系に変換する。この変換方法は周知であるため変換式などの詳細な説明は省略する。

Ｌ＊ａ＊ｂ＊表色系に変換された映像は、明度を表すＬ＊と、色を表すａ＊とｂ＊が分離される。そのため色の反転はａ＊とｂ＊に対して処理を行い、明度についてはＬ＊に対して処理を行う。

Ｓ３０２では、ＣＰＵ１１０は、位置合わせ用画像生成部１３０１において、色変換した画像に対し、補色に変換を行う。

Ｌ＊ａ＊ｂ＊表色系において色を補色に変換するには、式４−１、４−２のようにａ＊とｂ＊の符号を反転する。
ａ＊入力＝−ａ＊出力・・・（４−１）
ｂ＊入力＝−ｂ＊出力・・・（４−２）
Ｓ３０３では、ＣＰＵ１１０は、位置合わせ用画像生成部１３０１において、補色に変換した画像に対し、輝度（明度）の変換（反転または最大化）を行う。

図４（ｂ）と式１−１、式１−２、式１−３で説明した輝度（明度）の反転を行うには、式４−３を用いる。

Ｌ＊出力＝１００−Ｌ＊入力・・・（４−３）
図４（ｃ）と式２−１、式２−２、式２−３で説明した輝度（明度）を極力大きくした画像を生成するには、式４−４を用いる。

Ｌ＊出力＝Ｌ＊最大・・・（４−４）
Ｌ＊最大は、Ｌ＊ａ＊ｂ＊表色系において、式４−１、式４−２で算出したａ＊とｂ＊値で最大の取り得るＬ値
図４（ｄ）と式３−１、式３−２、式３−３で説明した輝度（明度）を保存した画像を生成するには、入力のＬ＊値をそのまま用いる。

Ｓ３０４では、ＣＰＵ１１０は、位置合わせ用画像生成部１３０１において、輝度変換した画像に対し、表色系をＲＧＢ表色系に戻すような表色系変換処理を行う。

なお、上述した実施形態では、色彩相補的画像は基準白色と各色要素の光強度値との差分から算出していたが、以下の式４−５〜式４−１１のように逆比によっても算出できる。
仮Ｒ出力＝２５５＊（Ｒ入力／２５５）−１・・・（４−５）
仮Ｒ出力＝２５５＊（Ｒ入力／２５５）−１・・・（４−６）
仮Ｒ出力＝２５５＊（Ｒ入力／２５５）−１・・・（４−７）

仮Ｍａｘ＝Ｍａｘ（仮Ｒ出力、仮Ｇ出力、仮Ｂ出力）・・・（４−８）

仮Ｒ出力＝２５５＊（仮Ｒ出力／仮Ｍａｘ）・・・（４−９）
仮Ｇ出力＝２５５＊（仮Ｇ出力／仮Ｍａｘ）・・・（４−１０）
仮Ｂ出力＝２５５＊（仮Ｂ出力／仮Ｍａｘ）・・・（４−１１）
また、上述した実施形態ではいくつかの色彩相補的画像の生成方法を示したが前述の色彩相補的画像の定義に則って生成された画像であれば、算出方法はこの限りではない。また、場合に応じて、適宜環境光の影響を補正してもよい。

なお、補色にする範囲は、投影面色情報の一部のみ補色とし、補色にする範囲は画面全体でなくてもよい。例えば輝度のエッジ周辺や暗部のみでもよい。

［実施形態２］次に、図７から図１０を参照して、実施形態２について説明する。

本実施形態では、投影面を撮像した画像から投影面の色情報を取得し、位置合わせ用画像を生成する例を説明する。

図７（ａ）は、本実施形態の投影装置１０により印刷画像４０に投影用画像を重畳した状態を示している。

印刷装置３０にて印刷された印刷画像４０に対し、投影装置１０は印刷画像４０を含む投影領域５０に投影を行う。撮像装置７０は投影領域５０を含む撮像領域６０の撮像を行う。投影装置１０は撮像装置７０により撮像された画像から投影面色情報を取得し、投影用画像を生成し、印刷画像４０に重畳する。本実施形態では、強調対象領域は印刷画像４０の範囲とする。また、本実施形態では印刷画像４０の範囲、投影領域５０、撮像領域６０の順に範囲が広くなるが、必ずしもその必要はない。印刷画像４０の範囲と投影領域５０が同じ領域でもよい。

本実施形態によれば、投影装置１０により投影面の印刷画像４０に投影用画像を重畳する際に、撮像装置７０を用いて投影面を撮像して色情報を取得することで、印刷画像４０のダイナミックレンジを向上して、実在感の高いコンテンツを提供することができる。

なお、本実施形態では、強調対象領域は印刷画像４０であるものとして、印刷画像４０に重畳して投影用画像を投影する例を説明するが、強調対象領域はこれに限定されるものではない。

次に、図７（ｂ）を参照して、実施形態２の投影装置１０の構成および機能を説明する。

本実施形態の投影装置１０は、図１（ｂ）の構成に加えて、撮像画像入力部７１０および撮像画像処理部７２０を有する。

撮像画像入力部７１０は、撮像装置７０と接続され、撮像装置７０により投影装置１０の投影領域５０の周辺を撮像して、撮像装置７０から画像信号を取得する。撮像装置７０は、投影光学系１８１を介して投影された画像と印刷画像４０を撮影（投影面側を撮影）する。撮像画像入力部７１０は、撮像装置７０から取得した画像信号をＣＰＵ１１０に送出する。ＣＰＵ１１０は、画像信号を一時的にＲＡＭ１１１に記憶し、ＲＯＭ１１２に記憶されたプログラムを用いて、静止画データや動画データに変換する。また、撮像画像入力部７１０は撮像画像処理部７２０に撮像画像を送出する。

撮像画像処理部７２０は、撮像画像に対して色変換や解像度変換などの画像処理を施す。例えば、撮像画像処理部７２０は、撮像画像入力部７１０から撮像画像を受け取り、スケーラによって液晶パネルの解像度に変換し、投影用画像として投影することもできる。

撮像装置７０は、被写体の光学像を結像するズームレンズやフォーカスレンズを含むレンズ群、レンズ群を駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサを備える。また、撮像装置７０は、レンズ群により結像された被写体像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子、撮像素子により得られたアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器などを備える。

本実施形態では、撮像装置７０が外部装置として投影装置１０に接続された構成を説明するが、投影装置１０に内蔵されていてもよい。

次に、図８から図１０を参照して、実施形態２の投影処理を説明する。

なお、図８の処理は、図２のＳ２０２における投影面色情報取得処理だけが相違しており、その他の処理は同じである。よって、以下では、図２の処理と同一のＳ２０２以外の処理の説明は省略し、異なる点を中心に説明を行う。

Ｓ８０１では、ＣＰＵ１１０は、撮像画像入力部７１０により撮像装置７０から投影面の撮像画像を取得する。ここで、図９は、撮像装置７０のマイクロプロセッサにより実行される投影面撮像画像取得処理を示している。

Ｓ９０１では、撮像装置７０は、投影面を撮像した複数の画像から撮像画像の階調値が飽和しないように露光量を調整する露出制御を行う。撮像装置７０における露出制御は、絞り値、露光時間、そして撮像した画像信号の利得値を制御することにより実現する。

本実施形態では印刷画像４０と投影領域５０を含む広い領域を撮像することから、撮像装置７０から撮像領域までの最も近い位置と遠い位置への距離差が、ある程度あると考えられる。また、印刷画像４０に対して撮像装置７０を正対して設置することができない場合も考えられるため、全ての撮像領域６０において良好な合焦画像を得るためには、できるだけ被写界深度の大きな画像を撮像することが望ましい。よって、被写界深度を大きくするため、撮像装置７０は、できるだけ絞り値を大きくして、その分露光時間を大きくするように露光制御を行う。この際、像ぶれが発生しないように、撮像装置７０は三脚などを用いて振動や揺れが発生しないように固定することが望ましい。

まず、ＣＰＵ１１０は投影面の全面が白の画像（８ビットの場合、階調値２５５。以下、全白画像）を液晶パネルに描画して投影する。そして撮像装置７０は印刷画像４０を撮像する。そして撮像装置７０では撮像した撮像領域６０において、撮像した全ての画素のデータが２５５や２５４など上限に飽和しない範囲で明るくなるように露出を制御する。

具体的には、前述したように、被写界深度を大きくするため、できるだけ絞り値を大きくして露出時間で露出を制御する。そして、露出の要素である絞り値、露光時間、映像信号の利得値が決まったら、Ｓ９０２以降において露出値を固定とする。

Ｓ９０２では、ＣＰＵ１１０は投影面全面黒（階調値０）の画像（以下、全黒画像）を液晶パネルに描画して投影する。

Ｓ９０３では、ＣＰＵ１１０は、撮像装置７０により投影領域５０を撮像する。ここで撮像された画像は、図１０（ａ）に示す画像ＩＭＧ＿Ｂに対応する。

Ｓ９０４では、ＣＰＵ１１０は、投影面全面白（８ビットの場合、階調値２５５）の画像（以下、全白画像）を液晶パネルに描画して投影する。

Ｓ９０５では、ＣＰＵ１１０は、撮像装置７０により投影領域５０を撮像する。ここで撮像された画像は、図１０（ｂ）に示す画像ＩＭＧ＿Ｗに対応する。

以上のようにして投影面撮像画像ＩＭＧ＿Ｂ、ＩＭＧ＿Ｗを取得する。

図８に戻り、Ｓ８０２では、ＣＰＵ１１０は、撮像画像処理部７２０により撮像画像ＩＭＧ＿ＢおよびＩＭＧ＿Ｗにおける投影装置１０の投影領域５０を検出する。具体的には、撮像画像ＩＭＧ＿Ｗから撮像画像ＩＭＧ＿Ｂの差分をとり、差分画像ＩＭＧ＿Ｄ（図１０（ｃ））を生成する。そして、所定の閾値以上の差分のある領域を投影装置１０の投影領域５０と判定する。なお、投影領域５０と撮像領域６０が一致している場合は、本処理は実施しなくてもよい。

Ｓ８０３では、ＣＰＵ１１０は、撮像画像処理部７２０により画像ＩＭＧ＿Ｄから印刷画像領域を検出する。検出方法は、操作部１１３を介してユーザが印刷画像領域を指定する方法がある。もしくは、Ｓ８０２で画像ＩＭＧ＿Ｄから検出した差分値が所定以下の領域や平坦な領域を壁などの背景領域として設定し、それ以外の残った領域を印刷画像領域とする方法でもよい。

なお、印刷画像４０と投影領域５０もしくは撮像領域６０のいずれかが一致している場合は、本処理は実施しなくてもよい。

Ｓ８０４では、ＣＰＵ１１０は、撮像画像処理部７２０により差分画像ＩＭＧ＿Ｄに対して射影変換を行い、Ｓ８０２で検出した投影装置１０の投影領域５０が所望の形状になるように変換した画像ＩＭＧ＿Ｐ（図１０（ｄ））を生成する。例えば液晶パネルの解像度がＷＵＸＧＡ（１９２０ｘ１２００）である場合、投影領域５０は１６：１０のアスペクト比の長方形になるように射影変換を行う。さらに、長方形の解像度がＷＵＸＧＡサイズになるように拡大縮小処理も行う。

なお、撮像領域６０と投影領域５０が一致している場合は、本処理は実施しなくてもよい。

Ｓ８０５では、ＣＰＵ１１０は、撮像画像処理部７２０により、Ｓ８０３において検出された投影領域でかつ印刷画像領域以外の非印刷領域である背景領域に設定した領域を階調値０でマスクする。マスク後の画像は、画像ＩＭＧ＿Ｍ（図１０（ｅ））のようになる。マスクの階調値は０に限らず、黒から白まで自由に設定可能である。本実施形態では、印刷画像４０のみダイナミックレンジを向上させ、強調したいため、階調値０でマスクするようにしている。

以上のようにして撮像画像から投影面の色情報を取得することができる。

なお、Ｓ８０５でマスク処理を施した領域に対しては、図２のＳ２０６の投影用画像生成における色変換は実施しない。

また、本実施形態では撮像画像から投影領域５０を切り出して液晶パネルの解像度に射影変換しマスク処理を施した画像を投影用画像としたが、これに限定されるものではない。例えば、撮像画像から印刷画像４０を切り出して液晶パネルの解像度に射影変換し、その画像を投影面の色情報としてもよい。

［実施形態３］次に、図１１から図１６を参照して、実施形態３について説明する。

本実施形態では、投影装置１０が、印刷画像に位置合わせ用画像を重畳した状態の投影面撮像画像から印刷画像と位置合わせ用画像との位置ずれ量を算出し、位置ずれ量に基づいて自動的に位置合わせを行う例を説明する。

なお、本実施形態のシステム構成および装置構成は、図７と同様である。また、図１１の投影処理において、Ｓ１１０１、Ｓ１１０３、Ｓ１１０４、Ｓ１１１３、Ｓ１１１４は、図２のＳ２０１、Ｓ２０３、Ｓ２０４、Ｓ２０６、Ｓ２０７と同様であり、Ｓ１１０２の詳細は、図８と同様である。以下では、図２や図８と同一の処理の説明は省略し、異なる点を中心に説明を行う。

Ｓ１１０５では、ＣＰＵ１１０は、初期形状補正ステップを設定する。これは形状補正制御における１ステップ分の補正量の初期値である。また、初期位置ずれ量も設定する。これは制御初回の位置ずれ算出に用いる。これらはＲＡＭ１１１に記憶してもよいし、予めＲＯＭ１１２に記憶しておいてもよい。

Ｓ１１０６では、ＣＰＵ１１０は、撮像装置７０により投影面を撮像する。

Ｓ１１０７では、ＣＰＵ１１０は、撮像画像処理部７２０により、撮像画像の色ずれ量から印刷画像と位置合わせ用画像の位置ずれ量を算出する。図１２は撮像画像から位置ずれ量を算出する方法を概略的に示している。

印刷画像４０と投影領域５０の位置ずれ量は、撮像装置７０で撮像した撮像領域６０の画像データにおいて、彩度が最も少なくなった状態で最小になったと判定できる。すなわち、位置ずれ量は印刷画像と位置調整用画像の重畳画面における彩度が最も低くなったときに最少となる。

そのため、位置ずれ量を求めるには、撮像領域６０を撮像した画像データの全ての画素における彩度値の総和を求めればよい。

図１２は、彩度値と形状補正量の関係を示している。ここで、彩度値とは、撮像装置７０が撮像した画像における、画像の画素ごとの彩度値の総和である。形状補正量は、ある方向に形状補正を行っていったときの形状補正の量である。

彩度値を撮像装置７０による撮像画像のＲＧＢ値から算出するには以下の式５−１から求めてもよい。
彩度値＝｜（｜Ｒ−Ｇ｜＋｜Ｇ−Ｂ｜＋｜Ｂ−Ｒ｜）｜・・・（５−１）
Ｌ＊ａ＊ｂ＊表色系では彩度は以下の式５−２から求めてもよい。
彩度値＝（（ａ＊）２＋（ｂ＊）２）１／２・・・（５−２）
本例では、撮像した画像の全ての画素における彩度値の総和値としているが、計算量が多くなるため、例えば撮像した画像を領域ごとに分割して任意の領域の総和値だけを用いてもよい。

このように算出した彩度値の総和が位置ずれ量となる。

位置ずれ量の値は、撮像装置７０が撮像した画像を撮像画像入力部７１０から入力し、撮像画像処理部７２０で算出し、ＲＡＭ１１１に記憶する。

Ｓ１１０８では、ＣＰＵ１１０は、ＲＡＭ１１１から読み出した、前回の形状補正制御時の位置ずれ量と、今回の位置ずれ量を比較する。これが初回の制御の場合には、ＲＡＭ１１１もしくはＲＯＭ１１２に記憶した位置ずれ量の初期値と比較する。そして、ＣＰＵ１１０は、今回の位置ずれ量が前回の位置ずれ量より小さくなった場合には、Ｓ１１０９へ移行する。これは図１２において、前回の形状補正制御が形状補正量１、今回の形状補正制御が形状補正量２の状態である。

Ｓ１１０９では、ＣＰＵ１１０は、位置ずれ量が小さくなる方向に形状補正が行われていると判定できるため、引き続き初期形状補正ステップ分だけ同方向に形状補正を行う。

また、ＣＰＵ１１０は、Ｓ１１０８において今回の位置ずれ量が前回の位置ずれ量より大きくなった場合には、Ｓ１１１０へ移行する。これは、図１２において前回の形状補正制御が形状補正量３、今回の形状補正制御が形状補正量４の状態である。Ｓ１１１０では、ＣＰＵ１１０は、位置ずれ量が大きくなる方向に形状補正が行われていると判定できる、すわなち、彩度が最小となる形状補正量を過ぎてしまったと判定できるため、形状補正ステップの補正量を少なくする（例えば半分にする）。

Ｓ１１１１では、ＣＰＵ１１０は、形状補正制御の方向を反転し、Ｓ１１１０で設定した形状補正ステップ分だけ形状補正を行う。

Ｓ１１１２では、ＣＰＵ１１０は、Ｓ１１１０で設定した形状補正ステップが、任意の閾値より小さくなったか否かを判定する。形状補正ステップＳが任意の閾値よりも大きい場合にはＳ１１０６へ移行し、小さくなった場合には、形状補正による位置調整が十分行われたと判定し、Ｓ１１１３へ移行する。

以上のように、本実施形態によれば、投影装置１０が、印刷画像と位置合わせ用画像を重畳した状態の投影面撮像画像から印刷画像と位置合わせ用画像の位置ずれ量を算出し、位置ずれ量に基づいて自動的に位置合わせを行うことができる。

なお、本実施形態では、投影装置自身が位置合わせ用画像を生成する例を説明したが、これに限らず、例えば、投影装置がパーソナルコンピュータやスマートデバイスなどの情報処理装置に接続され、情報処理装置において位置合わせ用画像生成処理を行い、投影装置に供給するような構成としてもよい。この場合、本実施形態のフローチャートによる処理は、アプリケーションにより提供されるプログラムを読み込むことにより実現される。アプリケーションは情報処理装置にインストールされたＯＳの基本的な機能を利用するためのプログラムを有している。なお、情報処理装置のＯＳが本実施形態における処理を実現するためのプログラムを有していてもよい。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…投影装置、３０…印刷装置、４０…印刷画像、５０…投影領域、６０…撮像領域、７０…撮像装置、１３０…画像処理部

Claims (37)

1. 投影面に画像を投影する投影手段と、
   前記投影面に含まれる画像の色に関する情報を取得する取得手段と、
   前記取得手段により取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成する生成手段と、
   前記位置合わせ用画像を前記投影面の画像に重ねて投影するように前記投影手段を制御する制御手段と、を有し、
   前記生成手段は、前記取得手段により取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成することを特徴とする投影装置。
2. 前記位置合わせ用画像は、前記投影面に含まれる画像に対して補色の関係を有する画像であり、
   前記投影面の画像に前記位置合わせ用画像を重畳した状態で前記投影面に含まれる画像と前記位置合わせ用画像との位置ずれを表示することを特徴とする請求項１に記載の投影装置。
3. 前記生成手段は、前記取得手段により取得した情報を、前記投影面に含まれる画像と補色の関係となるように色変換することにより前記位置合わせ用画像を生成することを特徴とする請求項１または２に記載の投影装置。
4. 前記生成手段は、前記取得手段により取得した情報を、異なる表色系に変換した後に補色となるように色変換を行い、前記位置合わせ用画像を生成することを特徴とする請求項１から３のいずれか１項に記載の投影装置。
5. 前記生成手段は、前記取得手段により取得した情報を、各原色に対する光強度値に変換して基準白色からの差分に応じて変換することで前記位置合わせ用画像を生成することを特徴とする請求項１から４のいずれか１項に記載の投影装置。
6. 前記生成手段は、前記取得手段により取得した情報を、各原色に対する光強度値に変換して基準白色を構成する各原色の光強度値との逆比に応じて変換することで、前記位置合わせ用画像を生成することを特徴とする請求項１から４のいずれか１項に記載の投影装置。
7. 前記生成手段は、前記取得手段により取得した情報の輝度を変換する輝度変換手段を有し、
   前記位置合わせ用画像に対して輝度を反転または最大化するように輝度を変換することを特徴とする請求項１から６のいずれか１項に記載の投影装置。
8. 前記投影面に含まれる画像は、印刷装置により印刷された画像であり、
   前記取得手段は、前記情報を前記印刷装置から取得することを特徴とする請求項１から７のいずれか１項に記載の投影装置。
9. 前記取得手段は、前記情報を、投影装置に入力される画像から取得することを特徴とする請求項１から７のいずれか１項に記載の投影装置。
10. 前記投影面を撮像する撮像手段をさらに有し、
    前記取得手段は、前記投影面を撮像した画像から前記情報を取得することを特徴とする請求項１から７のいずれか１項に記載の投影装置。
11. 前記撮像手段は、前記投影面を撮像した画像の階調が飽和しないように露光量を制御する露出制御手段を有することを特徴とする請求項１０に記載の投影装置。
12. 前記生成手段は、前記投影面を撮像した画像のうち、強調対象領域に設定された領域以外を所定の階調に変更してマスク処理するマスク手段を有することを特徴とする請求項１０または１１に記載の投影装置。
13. 前記投影面の画像に前記位置合わせ用画像を重畳した状態で前記撮像手段により前記投影面を撮像した画像から前記投影面に含まれる画像と前記位置合わせ用画像との位置ずれ量に関する情報を求める検出手段をさらに有し、
    前記生成手段は、前記位置ずれ量に応じて前記位置合わせ用画像を変形することを特徴とする請求項１０から１２のいずれか１項に記載の投影装置。
14. 前記検出手段は、前記撮像手段により前記投影面を撮像した画像の有彩色部分から位置ずれ量を求めることを特徴とする請求項１３に記載の投影装置。
15. 投影装置の動きに関する情報を取得する動き検出手段をさらに有し、
    前記制御手段は、前記投影装置の動きが大きいと判定した場合に、前記位置ずれを調整する動作モードに移行することを特徴とする請求項１から１４のいずれか１項に記載の投影装置。
16. 前記制御手段は、ユーザ操作に応じて前記位置ずれを調整する動作モードに移行することを特徴とする請求項１から１４のいずれか１項に記載の投影装置。
17. 前記生成手段は、前記情報の一部を用いて前記位置合わせ用画像を生成すること特徴とする請求項１から１６のいずれか１項に記載の投影装置。
18. 前記投影面の画像は、印刷された画像または建物の壁であることを特徴とする請求項１から１７のいずれか１項に記載の投影装置。
19. 投影面に画像を投影する投影装置の制御方法であって、
    前記投影面に含まれる画像の色に関する情報を取得するステップと、
    前記取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成するステップと、
    前記位置合わせ用画像を前記投影面の画像に重ねて投影するステップと、を有し、
    前記生成するステップでは、前記取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成することを特徴とする投影装置の制御方法。
20. コンピュータを、請求項１から１８のいずれか１項に記載された投影装置の各手段として機能させるためのプログラム。
21. 投影装置が画像を投影する投影面に含まれる画像の色に関する情報を取得する取得手段と、
    前記取得手段により取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成する生成手段と、
    前記位置合わせ用画像を前記投影装置に供給する供給手段と、を有し、
    前記生成手段は、前記取得手段により取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成することを特徴とする情報処理装置。
22. 前記位置合わせ用画像は、前記投影面に含まれる画像に対して補色の関係を有する画像であり、
    前記投影面の画像に前記位置合わせ用画像を重畳した状態で前記投影面に含まれる画像と前記位置合わせ用画像との位置ずれを表示することを特徴とする請求項２１に記載の情報処理装置。
23. 前記生成手段は、前記取得手段により取得した情報を、前記投影面に含まれる画像と補色の関係となるように色変換することにより前記位置合わせ用画像を生成することを特徴とする請求項２１または２２に記載の情報処理装置。
24. 前記生成手段は、前記取得手段により取得した情報を、異なる表色系に変換した後に補色となるように色変換を行い、前記位置合わせ用画像を生成することを特徴とする請求項２１から２３のいずれか１項に記載の情報処理装置。
25. 前記生成手段は、前記取得手段により取得した情報を、各原色に対する光強度値に変換して基準白色からの差分に応じて変換することで前記位置合わせ用画像を生成することを特徴とする請求項２１から２４のいずれか１項に記載の情報処理装置。
26. 前記生成手段は、前記取得手段により取得した情報を、各原色に対する光強度値に変換して基準白色を構成する各原色の光強度値との逆比に応じて変換することで、前記位置合わせ用画像を生成することを特徴とする請求項２１から２４のいずれか１項に記載の情報処理装置。
27. 前記生成手段は、前記取得手段により取得した情報の輝度を変換する輝度変換手段を有し、
    前記位置合わせ用画像に対して輝度を反転または最大化するように輝度を変換することを特徴とする請求項２１から２６のいずれか１項に記載の情報処理装置。
28. 前記投影面に含まれる画像は、印刷装置により印刷された画像であり、
    前記取得手段は、前記情報を前記印刷装置から取得することを特徴とする請求項２１から２７のいずれか１項に記載の情報処理装置。
29. 前記取得手段は、前記情報を、情報処理装置に入力される画像から取得することを特徴とする請求項２１から２７のいずれか１項に記載の情報処理装置。
30. 前記取得手段は、前記投影面を撮像した画像から前記情報を取得することを特徴とする請求項２１から２７のいずれか１項に記載の情報処理装置。
31. 前記生成手段は、前記投影面を撮像した画像のうち、強調対象領域に設定された領域以外を所定の階調に変更してマスク処理するマスク手段を有することを特徴とする請求項３０に記載の情報処理装置。
32. 前記投影面の画像に前記位置合わせ用画像を重畳した状態で前記投影面を撮像した画像から前記投影面に含まれる画像と前記位置合わせ用画像との位置ずれ量に関する情報を求める検出手段をさらに有し、
    前記生成手段は、前記位置ずれ量に応じて前記位置合わせ用画像を変形することを特徴とする請求項３０または３１に記載の情報処理装置。
33. 前記検出手段は、前記投影面を撮像した画像の有彩色部分から位置ずれ量を求めることを特徴とする請求項３２に記載の情報処理装置。
34. 前記生成手段は、前記情報の一部を用いて前記位置合わせ用画像を生成すること特徴とする請求項２１から３３のいずれか１項に記載の情報処理装置。
35. 前記投影面の画像は、印刷された画像または建物の壁であることを特徴とする請求項２１から３４のいずれか１項に記載の情報処理装置。
36. 投影装置が画像を投影する投影面に含まれる画像の色に関する情報を取得するステップと、
    前記取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成するステップと、
    前記位置合わせ用画像を前記投影装置に供給するステップと、を有し、
    前記生成するステップでは、前記取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成することを特徴とする情報処理装置の制御方法。
37. コンピュータを、請求項２１から３５のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。