JP2019205103A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 所望の輝度レンジを有する画像を生成するための処理を提供することを目的とする。【解決手段】 投影対象の画像の上に、プロジェクタによって投影される投影画像を重畳するために、前記プロジェクタに出力する投影画像データを生成する画像処理装置であって、再現目標の画像を表す目標画像データを取得する第１取得手段と、前記投影対象の画像を表す投影対象画像データを取得する第２取得手段と、前記目標画像データと、前記投影対象画像データと、に基づいて、前記プロジェクタが投影によって再現すべき画像の画素値を特定する特定手段と、前記投影対象の画像における一部の領域を表す情報を取得する第３取得手段と、前記画素値と、前記情報と、に基づいて、前記プロジェクタが前記一部の領域に投影するための、前記一部の領域と同じサイズの前記投影画像を表す前記投影画像データを生成する生成手段と、を有することを特徴とする画像処理装置。【選択図】 図３

Description

本発明は、複数のデバイスそれぞれから出力された画像を組み合わせることによって１つの画像を生成するための画像処理技術に関する。

近年、デジタルカメラ等による撮像や、コンピュータグラフィックス（ＣＧ）による画像の生成等において、ハイダイナミックレンジを有する画像を扱う機会が増えてきている。特許文献１には、プリンタによって形成されたプリント物に対してプロジェクタによって投影された画像を重畳することによってダイナミックレンジを拡大する技術が記載されている。

特開２０１０−１０３８６３号公報

画像を投影するプロジェクタには、機種に応じて照射できる光量に制限がある。また、光を照射する領域が大きいほど、単位領域ごとに照射できる光量が小さくなる。このため、特許文献１のように、投影対象の全体に対して画像を投影する際には、十分な光量を照射できていない領域が生じてしまい、画像の重畳により生成された画像は所望の輝度レンジを有していない場合があった。

そこで本発明は、所望の輝度レンジを有する画像を生成するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、投影対象の画像の上に、少なくとも１つのプロジェクタによって投影される投影画像を重畳するために、前記少なくとも１つのプロジェクタに出力する投影画像データを生成する画像処理装置であって、再現目標の画像を表す目標画像データを取得する第１取得手段と、前記投影対象の画像を表す投影対象画像データを取得する第２取得手段と、前記目標画像データと、前記投影対象画像データと、に基づいて、前記少なくとも１つのプロジェクタが投影によって再現すべき画像の画素値を特定する特定手段と、前記投影対象の画像における一部の領域を表す情報を取得する第３取得手段と、前記特定手段によって特定された前記画素値と、前記第３取得手段によって取得された前記情報と、に基づいて、前記少なくとも１つのプロジェクタが前記一部の領域に投影するための、前記一部の領域と同じサイズの前記投影画像を表す前記投影画像データを生成する生成手段と、を有することを特徴とする。

本発明は、所望の輝度レンジを有する画像を生成することができる。

画像処理装置の構成を示すブロック図 出力画像の輝度レンジを説明するための模式図 複数のプロジェクタを用いて重畳画像を生成する方法を説明するための模式図 画像処理装置が実行する処理の流れを示すフローチャート ＧＵＩの一例を示す模式図 投影領域と輝度レンジとの関係を示す模式図 投影情報を取得する処理の流れを示すフローチャート 目標画像の輝度分布を示す模式図

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
本実施形態においては、輝度レンジが広い画像を再現するために、複数のデバイスから出力される画像を重畳する。具体的には、プリンタによって出力されたプリント物に対して、プロジェクタによって投影される画像（以下、投影画像と呼ぶ）を重畳する。尚、本実施形態における投影対象となるプリント物として印刷された画像は、プリント画像と呼ぶ。このように複数の異なるデバイスから出力される画像を重畳することによって、単独のデバイスが表現できる輝度レンジを拡大できることについて、図２を用いて説明する。

まず、一般的な照明下におけるプリント画像の輝度レンジを図２（ａ）に示す。一般的な照明下におけるプリント画像は、最高輝度が約１００ｃｄ／ｍ^２の輝度レンジとなる。プリンタは、画像における暗部領域の輝度を再現するのに好適なデバイスである。一方、一般的な照明下における投影画像の輝度レンジを図２（ｂ）に示す。尚、図２（ｂ）に示す投影画像は、画像がプリントされていない白いスクリーンに対して投影された画像である。一般的な照明下における投影画像は、最高輝度が１０００ｃｄ／ｍ^２以上、かつ、最低輝度が約１００ｃｄ／ｍ^２の輝度レンジとなる。つまり、プロジェクタは、画像における明部領域の輝度を再現するのに好適なデバイスである。

上述したように、暗部領域の輝度を再現するのに好適なプリンタの出力画像と、暗部領域の輝度を再現するのに好適なプロジェクタの出力画像とを重畳することによって、暗部と明部との両方の再現精度を高めることができる。一般的な照明下における、プリント画像に投影画像を重畳させて得られる画像（以下、重畳画像と呼ぶ）の輝度レンジを図２（ｃ）に示す。一般的な照明下における重畳画像は、プリント画像、又は投影画像単独による出力画像よりも広い輝度レンジとなることがわかる。しかしながら、再現目標の画像の輝度レンジが図２（ｃ）に示す輝度レンジに含まれない高輝度領域を含む場合、プリント画像に対して図２（ｂ）に示す輝度レンジのプロジェクタ１台による投影画像を投影するだけでは、再現目標の画像を再現することができない。そこで、本実施形態においては、プリント画像に複数のプロジェクタによる投影画像を投影することによって、再現目標の画像を再現する。

図３は、複数のプロジェクタを用いて重畳画像を生成する方法を説明するための図である。図３（ａ）は、再現目標の画像３０１の輝度分布を示しており、図３（ｄ）の直線３０１１は最高輝度部３００１における入力輝度と出力輝度との関係を示している。再現目標の画像３０１における最大の入力輝度に対する出力輝度は約３０００ｃｄ／ｍ^２である。図３（ｂ）は、一般的な照明下におけるプリント画像３０２の輝度分布を示しており、図３（ｄ）の曲線３０１２は最高輝度部３００２における入力輝度と出力輝度との関係を示している。プリント画像３０２における最大の入力輝度に対する出力輝度は約１００ｃｄ／ｍ^２である。図３（ｃ）は、重畳画像３０３の輝度分布を示しており、図３（ｄ）の曲線３０１３は最高輝度部３００３における入力輝度と出力輝度との関係を示している。重畳画像３０３における最大の入力輝度に対する出力輝度は約８００ｃｄ／ｍ^２である。この例において、プリント画像にプロジェクタ１台による投影画像を重畳するのみでは、最高輝度部３００３において目標とする輝度に達していない。

そこで、本実施形態においては、図３（ｅ）に示すように、プリント画像全体に画像を投影する第１プロジェクタ１１３１に加えて、プリント画像の一部の領域に画像を投影する第２プロジェクタ１１３２を利用する。第１プロジェクタ１１３１及び第２プロジェクタ１１３２はいずれも、図３（ｃ）に示す輝度分布及び曲線３０１２を出力特性とするプロジェクタである。一般的に、プロジェクタは、その配置やズームレンズ等を利用して投影面積を小さくすることにより、単位面積あたりの明るさ、すなわち照度を大きくすることができる。そこで第２プロジェクタ１１３２には、プリント画像全体よりも面積の小さい部分領域に投影させる。これにより、最高輝度部３００３において、第２プロジェクタ１１３２はより高い照度で画像を投影することができ、目標とする最高輝度部３００１の輝度を実現することができる。本実施形態においては、図３（ｅ）に示すように、第１プロジェクタ１１３１を用いてプリント画像のサイズと同じサイズの投影画像を投影する。さらに、目標とする輝度に達していない領域に対して、第２プロジェクタ１１３２を用いて部分的に投影画像を投影する。尚、ここでは説明を簡易にするため、部分投影を行う第２プロジェクタ１１３２を１台のプロジェクタとしたが、複数のプロジェクタであってもよい。

＜画像処理装置１のハードウェア構成＞
図１（ａ）は、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１４などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１４などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１６が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０やプリンタ１１１、プロジェクタ群１１２が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１３を介して、ＨＤＤ１１４や各種記録メディアの読み書きを行う汎用ドライブ１１５が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１４や汎用ドライブ１１５にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１６に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。尚、本実施形態におけるプリンタ１１１は、インクを用いて記録媒体上にプリント画像を形成するインクジェット方式のプリンタである。

＜画像処理装置１の論理構成＞
図１（ｂ）は、本実施形態における画像処理装置１の論理構成を示す図である。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１１４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することによって、図１（ｂ）に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。

画像処理装置１は、第１取得部２０１、第１変換部２０２、第２取得部２０３、第２変換部２０４、算出部２０５、特定部２０６、第３取得部２０７、生成部２０８を有する。第１取得部２０１は、ユーザからの指示入力に応じて、プリント画像と投影画像との重畳によって再現したい目標となる画像（以下、目標画像と呼ぶ）を表す目標画像データと、目標画像の最大輝度値（目標輝度値）と、を取得する。具体的には、ディスプレイ１１６に表示された図５に示すＧＵＩにおける領域５０１及びスライドボックス５０２に対するユーザの指示入力に応じて、目標画像データ及び最大輝度値をＨＤＤ１１４からＲＡＭ１０３等の記憶装置に読み込む。第１変換部２０２は、目標画像の画素値を、線形な色空間上において定義される値に変換する。目標画像の画素値はｓＲＧＢ空間上において定義されるＲＧＢ値であり、線形な色空間上において定義される値はＣＩＥ１９１３ＸＹＺ色空間上において定義される三刺激値（ＸＹＺ値）である。つまり、第１変換部２０２は、ＲＧＢ値をＸＹＺ値に変換する。第２取得部２０３は、ユーザからの指示入力に応じて、プリンタ１１１がプリント画像を形成するために用いるプリント画像データを取得する。具体的には、ディスプレイ１１６に表示された図５に示すＧＵＩにおける領域５０３に対するユーザの指示入力に応じて、プリント画像データをＨＤＤ１１４からＲＡＭ１０３等の記憶装置に読み込む。第２変換部２０４は、プリント画像の画素値を、線形な色空間上において定義される値に変換する。この変換は、ＲＧＢ値からＸＹＺ値への変換である。

算出部２０５は、第１変換部２０２における変換後の目標画像データと、第２変換部２０４における変換後のプリント画像データとに基づいて、投影画像が出力すべき画像（目標投影画像）を表す目標投影画像データを生成する。本実施形態におけるプリント画像は１枚の印刷物である。また、プリント画像は領域ごとに反射率が一定であり、観察する環境が固定されていれば表現できる輝度レンジも一定である。算出部２０５は目標画像の輝度からプリント画像が表現する輝度を除算することによって、１台以上のプロジェクタの組み合わせによって投影画像のみで再現すべき目標投影画像を算出する。特定部２０６は、目標投影画像を再現するために、目標投影画像に対して不足しているＸＹＺ値を特定する。第３取得部２０７は、プロジェクタ群１１２に含まれるプロジェクタが出力可能な明るさと、投影する面積と、プリント画像における投影位置と、プロジェクタの入力ＲＧＢ値と出力ＸＹＺ値との関係を示す変換行列と、を表す投影情報を取得する。生成部２０８は、特定部２０６が特定したＸＹＺ値と、第３取得部２０７が取得した投影情報と、に基づいて、プロジェクタ群１１２のプロジェクタそれぞれが投影する投影画像を表す投影画像データを生成する。

＜画像処理装置１が実行する処理＞
図４は、画像処理装置１が実行する処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。図５に示すＧＵＩにおける領域５０１、スライドボックス５０２、領域５０３に対して情報が入力され、処理開始ボタン５０５が押下されるとＳ４０１の処理を開始する。

まず、Ｓ４０１において、第１取得部２０１は、ＨＤＤ１１４から目標画像を表す目標画像データと、目標画像の最大輝度値と、を取得する。以下、目標画像における画素位置（ｘ，ｙ）の画素値をＲＧＢ_Ｔ（ｘ，ｙ）とし、最大輝度値をＣｄ_Ｔとする。目標画像はＲ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値の各色１６ビット、計４８ビットの色情報を画素ごとに有する画像である。本実施形態における目標画像の画素値はｓＲＧＢ空間上において定義されるＲＧＢ値である。尚、画素位置（ｘ，ｙ）は、画素の横方向の座標をｘ、画素の縦方向の座標をｙとした場合の画像における画素位置を示す。

次に、Ｓ４０２において、第１算出部２０２は、ＲＧＢ値である画素値ＲＧＢ_Ｔ（ｘ，ｙ）を、ＣＩＥ１９１３ＸＹＺ色空間上において定義される三刺激値（ＸＹＺ値）に変換する。具体的には、式（１）に基づいて、変換後の画素値ＸＹＺ_Ｔ（ｘ，ｙ）を算出する。

ここで、Ｒ、Ｇ、ＢはそれぞれＲＧＢ_Ｔ（ｘ，ｙ）を構成するＲ値、Ｇ値、Ｂ値である。Ｘ、Ｙ、ＺはそれぞれＸＹＺ_Ｔ（ｘ，ｙ）を構成するＸ値、Ｙ値、Ｚ値である。Ｍは、ｓＲＧＢ空間上において定義されるＲＧＢ値をＣＩＥ１９１３ＸＹＺ色空間上において定義されるＸＹＺ値に変換する変換行列である。

このＳ４０２におけるＲＧＢ値からＸＹＺ値の変換によって、プロジェクタ群１１２が投影する投影画像の画素値を決める計算を容易にすることができる。具体的に、ＲＧＢ値をＸＹＺ値に変換する効果について説明する。例えば、プロジェクタ２台による投影画像を重畳して重畳画像を生成する際、非線形のｓＲＧＢ空間において２つの投影画像の画素値の和が同じ値になる場合であっても、重畳される画素の画素値の比率によって表現される色が異なる。ＲＧＢ値を（Ｒ，Ｇ，Ｂ）と表現するものとする。例えば、第１投影画像における画素Ｉ_１の画素値を（０，０，０）とし、第２投影画像における画素Ｉ_２の画素値を（１２８，１２８，１２８）とする。また、第１投影画像における画素Ｊ_１の画素値を（６４，６４，６４）とし、第２投影画像における画素Ｊ_２の画素値を（６４，６４，６４）とする。

第１投影画像と第２投影画像とを重畳する際に、画素Ｉ_１と画素Ｉ_２との重畳によって表現される色は、画素Ｊ_１と画素Ｊ_２との重畳によって表現される色と異なる。一方、線形なＸＹＺ空間においては、重畳される２つの投影画像における各画素のＸＹＺ値がどのような組み合わせであっても、画素値の和が同じであれば重畳された投影画像において表現される色は同じものとして扱うことができる。よって、目標画像のＸＹＺ値と１つの投影画像のＸＹＺ値との差を算出することによって、残りの投影画像によって再現すべきＸＹＺ値を容易に得ることができる。

次に、Ｓ４０３において、第２取得部２０３は、プリント画像データと、プリント画像の縦のサイズと、プリント画像の横のサイズと、プリンタ１１１の色再現特性を表す変換行列と、を取得する。尚、縦のサイズ及び横のサイズの単位はともにメートル（ｍ）とする。以下、プリント画像における画素位置（ｘ，ｙ）の画素値をＲＧＢ_{Ｐｒｉｎｔ}（ｘ，ｙ）、プリント画像の縦のサイズをＨ_{Ｐｒｉｎｔ}、プリント画像の横のサイズをＷ_{Ｐｒｉｎｔ}、プリンタ１１１の色再現特性を表す変換行列をＭ_Ｐとする。プリント画像はＲ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値の各色１６ビット、計４８ビットの色情報を画素ごとに有する画像である。本実施形態におけるプリント画像の画素値はｓＲＧＢ空間上において定義されるＲＧＢ値である。

一般的に、ｓＲＧＢ空間において表現できる色域とプリンタが再現できる色域とは異なるため、ＲＧＢ値を上述した式（１）で変換した値とプリント画像を測色して得られる値とは一致しない。そこで、本実施形態においては、プリンタ１１１へ入力するＲＧＢ値と、入力したＲＧＢ値に基づいて形成されたプリント画像を測色して得られるＸＹＺ値と、の関係を記述した変換行列Ｍ_Ｐを予め作成してＨＤＤ１１４などの記憶装置に記憶させておく。Ｓ４０３においては、予め作成しておいた変換行列Ｍ_Ｐを第２取得部２０３がＨＤＤ１１４から取得する。尚、本実施形態のＳ４０３において取得するプリント画像データが表すプリント画像は、Ｓ４０１において取得する目標画像データが表す目標画像と同じ画像とする。

次に、Ｓ４０４において、第２変換部２０４は、式（２）に基づいて、ＲＧＢ値である画素値ＲＧＢ_{Ｐｒｉｎｔ}（ｘ，ｙ）を、ＣＩＥ１９１３ＸＹＺ色空間上において定義される三刺激値（ＸＹＺ値）に変換する。具体的には、式（２）に基づいて、変換後の画素値ＸＹＺ_{Ｐｒｉｎｔ}（ｘ，ｙ）を算出する。

ここで、Ｒ、Ｇ、ＢはそれぞれＲＧＢ_{Ｐｒｉｎｔ}（ｘ，ｙ）を構成するＲ値、Ｇ値、Ｂ値である。Ｘ、Ｙ、ＺはそれぞれＸＹＺ_{Ｐｒｉｎｔ}（ｘ，ｙ）を構成するＸ値、Ｙ値、Ｚ値である。

次に、Ｓ４０５において、算出部２０５は、Ｓ４０２における変換後の目標画像データと、Ｓ４０４における変換後のプリント画像データとに基づいて、目標投影画像データを生成する。具体的には、目標画像の画素値ＸＹＺ_Ｔ（ｘ，ｙ）と、プリント画像の画素値ＸＹＺ_{Ｐｒｉｎｔ}（ｘ，ｙ）と、を用いて、式（３）に基づいて目標投影画像の画素値ＸＹＺ_{ＴＰｒｏｊｅｃｔ}（ｘ，ｙ）を算出する。

Ｘ_{ＴＰｒｏｊｅｃｔ}＝Ｘ_Ｔ／Ｘ_{Ｐｒｉｎｔ}
Ｙ_{ＴＰｒｏｊｅｃｔ}＝Ｙ_Ｔ／Ｙ_{Ｐｒｉｎｔ}・・・式（３）
Ｚ_{ＴＰｒｏｊｅｃｔ}＝Ｚ_Ｔ／Ｚ_{Ｐｒｉｎｔ}
ここで、Ｘ_Ｔ、Ｙ_Ｔ、Ｚ_ＴはそれぞれＸＹＺ_Ｔ（ｘ，ｙ）を構成するＸ値、Ｙ値、Ｚ値である。Ｘ_{Ｐｒｉｎｔ}、Ｙ_{Ｐｒｉｎｔ}、Ｚ_{Ｐｒｉｎｔ}はそれぞれＸＹＺ_{Ｐｒｉｎｔ}（ｘ，ｙ）を構成するＸ値、Ｙ値、Ｚ値である。例えば、プリント画像におけるある画素Ａと投影画像におけるある画素Ｂとが重畳する場合、画素ＡのＸＹＺ値と画素ＢのＸＹＺ値との積が重畳画像において対応する位置におけるＸＹＺ値になる。このため、画素ＡのＸＹＺ値と画素ＢのＸＹＺ値との積が目標画像において対応する画素の画素値になるように、画素ＢのＸＹＺ値を算出する。Ｓ４０５において算出部２０５は、各画素について目標画像の画素値から対応するプリント画像の画素値を除算することにより、目標投影画像の画素値を算出する。

以降の処理（Ｓ４０６〜Ｓ４０９）は、後述するＳ４０７の条件を満たすまで繰り返す。Ｓ４０６〜Ｓ４０９の繰り返し処理によって、目標投影画像を再現するために必要な台数のプロジェクタそれぞれに対応する投影画像データを生成することができる。

次に、Ｓ４０６において、特定部２０６は、目標投影画像を再現するために不足しているＸＹＺ値を特定する。具体的には、式（４）に基づいて、不足する画素値ＸＹＺ_Ｄｉｆｆを算出する。

ここで、Ｘ_Ｄｉｆｆ、Ｙ_Ｄｉｆｆ、Ｚ_ＤｉｆｆはそれぞれＸＹＺ_Ｄｉｆｆ（ｘ，ｙ）を構成するＸ値、Ｙ値、Ｚ値である。ｎは、プロジェクタ群１１２のうちｎ番目のプロジェクタの番号を示す。尚、ｎの初期値は１である。ΣＸ_Ｐｋは、重畳画像を生成するために画像を投影するｎ−１番目までのプロジェクタそれぞれに対応する投影画像のＸ値の積算値である。ΣＹ_Ｐｋ、ΣＺ_Ｐｋも同様に、それぞれＹ値、Ｚ値の積算値である。また、Ｘ_Ｐ、Ｙ_Ｐ、Ｚ_Ｐそれぞれは使用するプロジェクタの最大輝度値Ｃｄ_ＰとＳ４０１において取得した目標画像の最大輝度値Ｃｄ_Ｔとの比Ｃｄ_Ｐ／Ｃｄ_Ｔによって正規化される。例えば、最大輝度値Ｃｄ_Ｐ＝１００ｃｄ／ｍ^２のプロジェクタのＸＹＺ値が（１，１，１）であり、これを目標画像の最大輝度値Ｃｄ_Ｔ＝２００ｃｄ／ｍ^２によって正規化する場合を考える。正規化の結果、ＸＹＺ値は（１，１，１）×１００／２００＝（０．５，０．５，０．５）となる。Ｃｄ_Ｐは、Ｓ４０８において式（５）により算出される。

尚、ｎ＝１の場合には、ＸＹＺ_Ｄｉｆｆ（ｘ，ｙ）はプリント画像のみの場合の目標画像に対する不足分であるため、環境光がなければＸＹＺ_{ＴＰｒｏｊｅｃｔ}（ｘ，ｙ）と同じ値である。このため、Ｘ_Ｐ０、Ｙ_Ｐ０、Ｚ_Ｐ０はそれぞれ０である。本実施形態においては、説明を簡易にするため、環境光は無視できるものとする。このため、ｎ＝１の場合にはＣｄ_Ｐ／Ｃｄ_Ｔによる正規化は行わないものとする。

次に、Ｓ４０７において、特定部２０６は、処理を終了する条件を満たすか否かを判定し、条件を満たさない場合はＳ４０８に進む。条件を満たす場合は処理を終了する。ここで、処理を終了する条件は、Ｓ４０６において算出したＸＹＺ_Ｄｉｆｆのうち、輝度の不足分であるＹ_Ｄｉｆｆが全ての画素で０以下となることである。

次に、Ｓ４０８において、第３取得部２０７は、上述した投影情報を取得する。具体的に、投影情報は、プロジェクタ群１１２のうち対象となるｎ番目のプロジェクタの明るさＬｍ_Ｐｎ（単位はｌｍ）を表す。また、投影情報は、プリント画像における投影位置を示す座標（ｘ_Ｐｎ，ｙ_Ｐｎ）と、投影領域の縦のサイズＨ_Ｐｎと、投影領域の横のサイズＷ_Ｐｎと、ｎ番目のプロジェクタの入力ＲＧＢ値と出力ＸＹＺ値との関係を示す変換行列Ｍ_ＰＪｎとを表す。投影領域の縦のサイズＨ_Ｐｎと、投影領域の横のサイズＷ_Ｐｎと、の単位はどちらもメートル（ｍ）である。ここで座標（ｘ_Ｐｎ，ｙ_Ｐｎ）は、プリント画像の座標系における投影領域の左上端の座標である。尚、説明を簡易にするため、プリント画像に対して投影領域の回転や歪み等はないものとする。

さらに、Ｓ４０８において、第３取得部２０７は、ｎ番目のプロジェクタの投影により得られる最高輝度値Ｃｄ_Ｐｎ（単位はｃｄ／ｍ^２）を以下の式（５）に基づいて算出する。

Ｃｄ_Ｐｎ＝｛Ｌｍ_Ｐｎ／（Ｈ_Ｐｎ・Ｗ_Ｐｎ）｝・ｋ・・・式（５）
ここで、ｋは、プリント画像の表面における照度と観察される輝度との比率を示す係数であり、プリント画像の形成に用いる記録媒体の反射率や変角反射特性などに依存する。ｋは、予めプリント画像を測定することによって算出し、記録媒体の種類毎にＨＤＤ１１４などの記憶装置に記憶させておく。尚、入射光がプリント画像の表面において等方的に拡散するものと仮定して、ｋ＝（記録媒体の反射率Ｒ／円周率π）としてもよい。

以下においてＳ４０８における処理の詳細を説明する。図７は、Ｓ４０８における処理の流れを示すフローチャートである。Ｓ８０１において、第３取得部２０７は、図５に示すＧＵＩにおけるウィンドウ５０６に、目標画像の画素値のうち輝度を示すＹ値を各画素に有する目標輝度画像を表示する。ウィンドウ５０６は、目標画像に対して輝度が不足している領域を示すとともに、プロジェクタ指定ボックス５０４において指定された機種のプロジェクタがプリント画像に対して投影する範囲を指定するためのウィンドウである。プロジェクタ指定ボックス５０４は、プルダウンメニューとテキスト入力フォームとを兼ねたオブジェクトであり、ユーザがプロジェクタの機種を指定するためのものである。プロジェクタの機種は、プロジェクタの明るさ、投影領域のアスペクト比、投影可能な最小画像サイズ、最大画像サイズ、変換行列と対応づけられてＨＤＤ１１４などの記憶装置に記憶されている。

Ｓ８０２において、第３取得部２０７は、ウィンドウ５０６に表示されている目標輝度画像において、Ｓ４０６において特定した輝度が不足している領域をハッチング表示する。輝度が不足している領域は、Ｙ_Ｄｉｆｆがそれぞれ０以下でない領域である。領域５０７は、輝度が不足している領域における表示の一例である。輝度不足の領域をハッチング表示や点滅表示することによって、指定された機種のプロジェクタがどこに画像を投影すべきかをユーザに提示することができる。

Ｓ８０３において、第３取得部２０７は、ｎ番目のプロジェクタ指定ボックス５０４において指定された機種のプロジェクタの明るさ、投影領域のアスペクト比、投影可能な最小画像サイズ、最大画像サイズをＨＤＤ１１４から取得する。枠５０８は、プロジェクタ指定ボックス５０４において指定された機種のプロジェクタの投影領域を示す枠である。枠５０８のサイズや位置は、投影可能な画像サイズの範囲内においてユーザにより入力デバイス１１０を用いて変更又は指定される。説明を簡易にするため、本実施形態における、１番目のプロジェクタはプリント画像と同じアスペクト比および面積であるものとする。つまり、１番目のプロジェクタは、プリント画像と同じサイズの画像をプリント画像全体に投影する。

Ｓ８０４において、第３取得部２０７は、ｎ番目のプロジェクタについて、ウィンドウ５０６においてユーザにより指定された投影領域の縦のサイズＨ_Ｐｎ（単位はｍ）、投影領域の横のサイズＷ_Ｐｎ（単位はｍ）、投影位置（ｘ_Ｐｎ，ｙ_Ｐｎ）を取得する。

Ｓ８０５において、第３取得部２０７は、ｎ番目のプロジェクタの投影により得られる最高輝度値Ｃｄ_Ｐｎ（単位はｃｄ／ｍ^２）を式（５）に基づいて算出する。Ｓ８０５の処理が終わると、処理をＳ４０９に移行する。

次に、Ｓ４０９において、生成部２０８は、ｎ番目のプロジェクタが投影する投影画像を表す投影画像データを生成する。具体的には、投影画像の各画素の画素値Ｘ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_Ｐｎを式（６）に基づいて算出する。

Ｘ_Ｐｎ＝ｃｌｉｐ（Ｘ_Ｄｉｆｆ，Ｃｄ_Ｐｎ／Ｃｄ_Ｔ）
Ｙ_Ｐｎ＝ｃｌｉｐ（Ｙ_Ｄｉｆｆ，Ｃｄ_Ｐｎ／Ｃｄ_Ｔ）・・・式（６）
Ｚ_Ｐｎ＝ｃｌｉｐ（Ｚ_Ｄｉｆｆ，Ｃｄ_Ｐｎ／Ｃｄ_Ｔ）
ここで、ｃｌｉｐ（Ｐ，Ｑ）は、引数Ｐのうち、引数Ｑの値を超えるものを引数Ｑに置き換える関数である。つまり、式（６）は、不足しているＸＹＺ値に対して、ｎ番目のプロジェクタによって補うことのできるＸＹＺ値の最大値を算出する式である。尚、ｎ番目のプロジェクタが投影する投影画像は、目標画像と同じ画素数である。また、ｎ番目のプロジェクタが投影する投影画像は、Ｓ４０８において取得された投影位置（ｘ_Ｐｎ，ｙ_Ｐｎ）と、投影領域の縦のサイズＨ_Ｐｎと、投影領域の横のサイズＷ_Ｐｎと、によって決定される投影領域の範囲内のみ画素値を有する。範囲外の画素値は０を保持するものとする。

さらに、Ｓ４０９において、生成部２０８は、算出したＸ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_ＰｎにＣｄ_Ｔ／Ｃｄ_Ｐを乗算することによって、Ｘ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_ＰｎをＳ４０６において行った正規化処理前の輝度レンジに戻す。

さらに、Ｓ４０９において、生成部２０８は、ｎ番目のプロジェクタが投影する投影領域の範囲内を投影画像から切り抜き、式（７）に基づいて切り抜かれた投影画像の画素値（ＸＹＺ値）をＲＧＢ値に変換する。尚、投影画像から切り抜かれ、画素値がＲＧＢ値に変換された投影画像をｎ番目のプロジェクタに出力する出力用投影画像とし、出力用投影画像を表すデータを出力用投影画像データとする。

ここで、Ｘ，Ｙ、ＺはそれぞれＸ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_Ｐｎである。変換行列Ｍ_{（Ｐｒｏｊｅｃｔ）ｎ}は、プロジェクタの機種に対応付けられてＨＤＤ１１４に保持されている変換行列であり、ｎ番目のプロジェクタの入力ＲＧＢ値を出力ＸＹＺ値に変換するための行列である。ここでは、ＸＹＺ値をＲＧＢ値を変換するため、Ｍ_{（Ｐｒｏｊｅｃｔ）ｎ}の逆行列を用いる。生成された出力用投影画像データは、ｎ番目のプロジェクタに出力される。出力用投影画像データの出力後、ｎに１を加えて、処理をＳ４０６に戻す。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、投影対象の画像の上に、少なくとも１つのプロジェクタによって投影される投影画像を重畳するために、少なくとも１つのプロジェクタに出力する投影画像データを生成する。具体的に、本実施形態における画像処理装置は、再現目標の画像を表す目標画像データを取得する。投影対象の画像を表す投影対象画像データを取得する。目標画像データと、投影対象画像データと、に基づいて、少なくとも１つのプロジェクタが投影によって再現すべき画像の画素値を特定する。投影対象の画像における一部の領域を表す情報を取得する。特定した画素値と、取得した情報と、に基づいて、少なくとも１つのプロジェクタが投影対象の画像における一部の領域に投影するための、一部の領域と同じサイズの投影画像を表す投影画像データを生成する。これにより、投影対象の画像と投影画像との重畳によって目標となる画像を再現するために、各プロジェクタが投影すべき画像を生成することができる。したがって、所望の輝度レンジを有する画像を生成することができる。また、本実施形態においては、投影対象の画像における輝度が不足する部分的な領域に対して画像の投影を行うことができるため、全体に投影するよりも少ないプロジェクタで高輝度な領域を実現することができる。全体に投影するよりも少ないプロジェクタで高輝度な領域を実現することについて、図６を用いて説明する。図６は、プロジェクタの投影領域と輝度レンジとの関係を示す模式図である。図６（ａ）は部分投影を行わない場合の投影領域の例を示しており、枠６０１がプロジェクタ４台の投影領域を示している。図６（ｄ）は部分投影を行う場合の投影領域の例を示しており、枠６０２が全体投影を行うプロジェクタ１１３１の投影領域であり、枠６０３が部分投影を行うプロジェクタ１１３２の投影領域である。図６（ｂ），（ｃ）は部分投影を行わない場合の、目標輝度に達するために各プロジェクタが補う輝度レンジを示す模式図である。図６（ｅ）は部分投影を行う場合の、目標輝度に達するために各プロジェクタが補う輝度レンジを示す模式図である。尚、各プロジェクタが補う輝度レンジを簡易に説明するため、図６（ｂ），（ｃ），（ｅ）のグラフは、対数スケールではなく線形スケールとしている。

図３において例示したように、１台のプロジェクタを用いて全体投影した場合の最大輝度が約８００ｃｄ／ｍ^２であるとする。部分投影をせずに目標輝度３０００ｃｄ／ｍ^２を得るためには、図６（ｂ）の輝度レンジが示すように、同じ全体投影の画像を４台のプロジェクタで重畳する方法が考えられる。もしくは、図６（ｃ）の輝度レンジが示すように、それぞれのプロジェクタが可能な範囲で不足分を最大限に補うように投影を行い、それらを重畳する方法も考えられる。図６（ｂ），（ｃ）の方法を組み合わせた方法も考えられるが、全体投影の場合ではいずれにしても目標輝度を実現するために４台のプロジェクタを要する。一方、本実施形態における処理により生成した投影画像を用いて、図６（ｄ）の輝度レンジが示すように部分投影を行う場合を考える。この場合、例えば枠６０３が枠６０２の１／４の面積であるとすると、枠６０３に部分投影を行う場合は、枠６０２に全体投影を行う場合よりも４倍の輝度を実現することができる。このため、図６（ｅ）の輝度レンジが示すように、全体投影を行うプロジェクタのみでは不足する輝度を、部分投影を行うプロジェクタ１台で補うことができる。つまり、部分投影を利用することによって、全体投影のみを行うよりも少ないプロジェクタを用いて所望の輝度を実現することができる。これにより、数多くのプロジェクタを用意したり、照射する光量が多いプロジェクタを用意したりすることができない場合であっても、画像の重畳によって所望の輝度レンジを有する画像を生成することができる。

［第２実施形態］
第１実施形態においては、輝度が不足している領域と使用するプロジェクタの投影情報と基づいて投影画像データを生成した。しかし、使用できるプロジェクタの数に限りがあるなどの理由で、輝度が不足している領域のうち不足分を補うための投影を行えない領域が生じる場合がある。この場合、部分投影を行う領域と行わない領域との間において階調段差が生じてしまう。そこで本実施形態においては、部分投影する画像を補正し、階調段差を抑制する。尚、本実施形態における画像処理装置の構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。

＜階調段差＞
図８は、目標画像の輝度分布を示す模式図である。図８（ａ）は目標画像であり、中央部にのこぎり波状の輝度勾配を有している。図８（ｂ）は、図８（ａ）における点線上の目標輝度を達成するために必要な投影画像の輝度分布を示す。図８（ｂ）は、横軸は座標ｘ、縦軸は輝度Ｙのグラフである。点線は、１台目のプロジェクタと２台目のプロジェクタとが投影する領域及び輝度を示している。図８（ｂ）の例においては、目標となる輝度パターンを包含するように画像を投影することが可能である。一方、図８（ｃ）の例においては２台のプロジェクタでも輝度が不足する領域があるため、３台目のプロジェクタが用意できない場合には、実際の投影による重畳画像の輝度分布は図８（ｄ）のようになる。図８（ｄ）からわかるように、位置９００において、急激な階調段差が生じてしまう。そこで、本実施形態においては、部分投影を行うプロジェクタの投影画像の端部における画素値が小さくなるように投影画像データを生成することによって階調段差を抑制する。

＜画像処理装置１が実行する処理＞
以下、本実施形態における画像処理装置１が実行する処理の流れについて、図４のフローチャートを用いて説明する。尚、Ｓ４０１〜Ｓ４０８は、第１実施形態におけるＳ４０１〜Ｓ４０８と同じ処理であるため説明を省略する。

Ｓ４０９において、生成部２０８は、第１実施形態と同様に、投影画像の各画素の画素値Ｘ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_Ｐｎを式（６）に基づいて算出する。また、生成部２０８は、算出したＸ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_ＰｎにＣｄ_Ｔ／Ｃｄ_Ｐを乗算することによって、Ｘ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_ＰｎをＳ４０６において行った正規化処理前の輝度レンジに戻し、ｎ番目のプロジェクタが投影する投影領域の範囲内を投影画像から切り抜く。さらに、生成部２０８は、Ｓ４０８において取得した投影情報が表すｎ番目のプロジェクタの投影領域の１画素分外の画素群に、輝度が不足している画素があるか否かを判定する。輝度が不足している画素がある場合は、切り抜かれた投影画像に対して式（８）示すように、画素値Ｘ_Ｐｎ、Ｙ_Ｐｎ、Ｚ_Ｐｎそれぞれに窓関数を適用する。

ｉｆ（Ｙ_Ｄｉｆｆ（Ｏｕｔｌｉｎｅ_ｎ）＞０） ＸＹＺ_Ｐｎ＝ＸＹＺ_Ｐｎ×Ｗｉｎ・・・式（８）
ここで、Ｏｕｔｌｉｎｅは、投影領域の１画素分外の画素群の座標を示している。具体的には、以下に示す座標の４点を結ぶ線分上の各座標を示す。４点の座標は、左上（ｘ_Ｐｎ−１，ｙ_Ｐｎ−１）、右上（ｘ_Ｐｎ＋（Ｗ_Ｐｎ／ＤＰＭ）＋１，ｙ_Ｐｎ−１）、右下（ｘ_Ｐｎ＋（Ｗ_Ｐｎ／ＤＰＭ）＋１，ｙ_Ｐｎ＋（Ｈ_Ｐｎ／ＤＰＭ）＋１）、左下（ｘ_Ｐｎ−１，ｙ_Ｐｎ＋（Ｈ_Ｐｎ／ＤＰＭ）＋１）である。ＤＰＭは、単位長さ（１ｍ）あたりの画素数を示す。Ｗｉｎは、投影領域と同サイズで端部の値が少ない窓関数であり、本実施形態においては、最も外側の値が０で中心に向かって所定の傾きで値が増加する台形形状の分布を有する関数とする。尚、Ｗｉｎは、ガウス関数などの曲線形状を有する関数であってもよいし、多少の階調段差を許容する場合は、最も外側の値が０でなくてもよい。図８（ｅ）は関数Ｗｉｎを適用した結果を示しており、位置９００において階調段差が抑制されることがわかる。尚、関数Ｗｉｎを適用する処理は、投影領域の１画素分外の画素群が存在する部分投影用の投影画像に対してのみ行い、投影領域の１画素分外の画素群が存在しない全体投影用の投影画像に対しては行わないものとする。輝度が不足している画素がない場合は、Ｓ４０９の処理を終了し、ｎに１を加えて処理をＳ４０６に戻す。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、部分投影を行うプロジェクタについて、投影を行う領域と行わない領域とで滑らかに階調が変化するように投影画像の画素値を補正する。これにより、部分投影を行う領域と行わない領域との間における階調段差を抑制することができる。

［第３実施形態］
第２実施形態においては、輝度が不足している領域において部分投影を行える領域と行えない領域とで階調段差が生じないように、投影画像を補正する処理を行った。本実施形態においては、不足している輝度を補うために投影するプロジェクタの光量に余裕がある場合に、投影領域における高輝度部の輝度を強調する。

図８（ｂ）において、２台目のプロジェクタの重畳により得られる最大輝度は、目標画像の輝度分布の最大値を上回っている。本実施形態においては、この余剰分も利用するよう投影画像を補正する。具体的には、目標画像の最大輝度値をプロジェクタの最大輝度値で出力するように階調変換を行う。図８（ｈ）に、本実施形態における階調変換の結果の例を示す。

＜第３実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、不足している輝度を補うために投影するプロジェクタの光量に余裕がある場合に、その余剰分も使って高輝度部の輝度を強調する。これにより、目標画像における高輝度部の輝度をより強調した表現が可能となる。

［その他の実施形態］
上述した実施形態においては、重畳画像を生成するためにプロジェクタ群１１２が投影する画像の投影対象の画像はプリント画像であったが、投影対象の画像は上記一例に限定されない。例えば、投影対象の画像もプロジェクタによって投影された画像であってもよい。また、投影対象の画像はディスプレイによって表示された画像であってもよい。

また、上述した実施形態においては、入力デバイス１１０とディスプレイ１１６とを別々のデバイスとしたが、入力デバイス１１０とディスプレイ１１６とが一体化したタッチパネルディスプレイを代わりに用いてもよい。

また、上述した実施形態においては、画像処理装置１とプリンタ１１１とプロジェクタ群１１２とを別々のデバイスとしたシステムを用いたが、システム構成は上記一例に限定されない。例えば、画像処理装置１は、プリンタ１１１やプロジェクタ群１１２に含まれていてもよい。

また、上述した実施形態においては、プリンタ１１１が形成するプリント画像に、プロジェクタ群１１２のプロジェクタが投影する投影画像を投影することによって重畳画像を生成する例を説明したが、重畳画像を生成する方法は上記一例に限定されない。例えば、プロジェクタ群１１２のプロジェクタの代わりにディスプレイ１１６を用いてもよい。この場合、プリント画像は透明な記録媒体の上に画像を形成することによって得られたものとし、ディスプレイ１１６はプリント画像の背面に設置される。

また、上述した実施形態においては、プリンタ１１１をインクジェット方式のプリンタとしたが、プリンタ１１１は上記一例に限定されない。例えば、記録材としてトナーを用いる電子写真方式のプリンタであってもよい。

また、上述した実施形態のＳ４０２においては、式（１）に示す変換行列を用いてＲＧＢ値をＸＹＺ値に変換したが、ＲＧＢ値とＸＹＺ値との対応関係が記述されたルックアップテーブル（ＬＵＴ）を用いて変換を行ってもよい。

また、上述した実施形態における目標画像とプリント画像とは、色情報として、各画素にｓＲＧＢ空間上において定義されるＲＧＢ値を有する画像であったが、目標画像とプリンタ画像とは上記一例に限定されない。例えば、各画素にＡｄｏｂｅＲＧＢ空間上で定義されるＲＧＢ値を有する画像であってもよいし、各画素にＬ^＊ａ^＊ｂ^＊空間上で定義されるＬ^＊ａ^＊ｂ^＊値を有する画像であってもよい。この場合は、各画素の画素値をＸＹＺ値に変換するためのＬＵＴや変換マトリクスを予め作成しておく。

また、上述した実施形態における目標画像とプリント画像とは同じ画像であったが、同じコンテンツを表現するものであれば、同じ画像でなくてもよい。例えば、プリント画像単体での見栄えを向上するために、目標画像の彩度や鮮鋭度が強調された画像であってもよい。尚、目標画像とプリント画像との解像度やサイズが異なる場合は、解像度変換などの処理を行って解像度やサイズを一致させる処理を追加する。

また、上述した実施形態のＳ４０６においては、環境光を無視できるものとして目標画像に対して不足するＸＹＺ値を算出したが、環境光の明るさを加味してもよい。例えば、予め環境光の明るさを測定しておき、プリント画像全体に環境光の明るさで画像を投影していると仮定して式（４）の計算を行ってもよい。

また、上述した実施形態のＳ４０７においては、処理を終了する条件を、Ｓ４０６において算出した各画素のＸＹＺ_Ｄｉｆｆが全て０以下となるとしたが、処理を終了する条件は上記一例に限定されない。例えば、各画素のＸＹＺ_Ｄｉｆｆが全て所定の閾値以下となることを処理の終了条件としてもよい。また、ＧＵＩを介してユーザからの終了指示を受け取ることを処理の終了条件としてもよい。また、予め準備できるプロジェクタの数をＨＤＤ１１４等の記憶装置に記憶させておき、使用するプロジェクタの数ｎ−１がその数を超えることを処理の終了条件としてもよい。

また、上述した実施形態においては、出力用投影画像データを対応するプロジェクタに出力したが、プリント画像データをプリンタ１１１に出力する処理を加えてもよい。例えば、プリント画像の画素値をプリンタ１１１が搭載するインクの記録量に変換してから、プリント画像データをプリンタ１１１に出力してもよい。また、プリント画像にハーフトーン処理及びパス分解処理を行ってから、プリント画像データをプリンタ１１１に出力してもよい。

また、上述した実施形態においては、各プロジェクタの投影領域をＧＵＩを介したユーザの指示入力に応じて決定したが、投影領域は予め決められたものであってもよい。この場合、投影領域の位置とサイズは予め決まっているため、投影情報として投影位置と投影サイズを取得しなくてもよい。

また、上述した実施形態における特定部２０６は、投影を行うべき領域を特定するために、輝度が不足している領域を特定したが、投影を行うべき領域を他の方法によって特定してもよい。例えば、記録媒体上に形成されたプリント画像を撮像することによって得られた画像をディスプレイ１１６に表示し、ユーザに投影を行う領域を指定させてもよい。ユーザが指定した投影領域を表す情報を受け取ることによって、投影を行うべき領域を特定する。

また、第２実施形態においては、投影領域の１画素分外の画素群に輝度が不足している画素があるか否かに応じて、関数Ｗｉｎを適用するか否かを決めたが、判定の方法は上記一例に限定されない。例えば、多少の階調段差を許容する判定方法として、投影領域の１画素分外の画素群の輝度の不足分が所定の閾値より大きい場合に、関数Ｗｉｎを適用すると判定してもよい。

また、第２実施形態においては、ｎ番目のプロジェクタの投影領域の１画素分外の画素群に、輝度が不足している画素があるか否かを判定したが、判定の対象領域は、投影領域の近傍領域であれば２画素分外の画素群などであってもよい。

また、第２実施形態においては、図８（ｅ）に示す位置９００における階調段差を抑制する処理を行ったが、位置９０１において、上述した式（６）によるクリッピング処理により階調段差が発生する場合がある。この場合、図８（ｆ）に示すように、投影画像を生成する際にクリッピング処理は行わずに、階調変換によって滑らかに輝度を変化させるようにしてもよい。

また、第２実施形態においては、各プロジェクタに対して階調段差を抑制する処理を行ったが、使用する全プロジェクタの投影条件が決まった後に、図８（ｇ）に示すように、プロジェクタの最大輝度値を制御点とした階調変換を行い、階調段差を抑制してもよい。具体的には、Ｙ_Ｄｉｆｆの最大値をプロジェクタの最大輝度値で出力するように下凸の階調変換を行う。

また、投影領域において輝度が不足していない領域が含まれる場合、光量を０にできないために黒浮きが生じてしまう。この黒浮きを抑制するために、他のプロジェクタの投影画像において重畳される領域の画素値から黒浮き領域の画素値を減算してもよい。また、プリント画像の画素値を補正して黒浮きを抑制してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置
２０１ 第１取得部
２０３ 第２取得部
２０６ 特定部
２０８ 生成部

Claims (16)

1. 投影対象の画像の上に、少なくとも１つのプロジェクタによって投影される投影画像を重畳するために、前記少なくとも１つのプロジェクタに出力する投影画像データを生成する画像処理装置であって、
   再現目標の画像を表す目標画像データを取得する第１取得手段と、
   前記投影対象の画像を表す投影対象画像データを取得する第２取得手段と、
   前記目標画像データと、前記投影対象画像データと、に基づいて、前記少なくとも１つのプロジェクタが投影によって再現すべき画像の画素値を特定する特定手段と、
   前記投影対象の画像における一部の領域を表す情報を取得する第３取得手段と、
   前記特定手段によって特定された前記画素値と、前記第３取得手段によって取得された前記情報と、に基づいて、前記少なくとも１つのプロジェクタが前記一部の領域に投影するための、前記一部の領域と同じサイズの前記投影画像を表す前記投影画像データを生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１取得手段は、前記再現目標の画像において再現すべき目標輝度値をさらに取得し、
   前記特定手段は、前記画素値として、前記目標輝度値を再現するために、前記少なくとも１つのプロジェクタが投影によって再現すべき輝度値を特定し、
   前記生成手段は、前記特定手段によって特定された前記輝度値に基づいて、前記投影画像データを生成することを特徴とする画像処理装置。
3. 前記特定手段は、前記画素値を、線形な色空間における計算によって特定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記第３取得手段は、ＵＩを介して受け取ったユーザからの指示入力に応じて、前記情報を取得することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
5. 前記投影対象の画像の上に前記投影画像を重畳することによって生成される重畳画像の画素値は、前記投影対象の画像の画素値と前記投影画像の画素値との積により算出され、
   前記特定手段は、前記再現目標の画像の画素値を前記投影対象の画像の画素値で除算することによって、前記少なくとも１つのプロジェクタが投影によって再現すべき画像の画素値を特定することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
6. 前記投影対象の画像と前記再現目標の画像とは、同じコンテンツを表現する画像であることを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
7. 前記少なくとも１つのプロジェクタは、複数のプロジェクタであって、
   前記複数のプロジェクタには、前記投影対象の画像と同じサイズの前記投影画像を投影するプロジェクタと、前記一部の領域と同じサイズの前記投影画像を投影するプロジェクタと、が含まれること特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
8. 前記特定手段は、前記複数のプロジェクタそれぞれが投影によって再現すべき輝度値を特定し、
   前記生成手段は、前記複数のプロジェクタそれぞれに出力する前記投影画像データを生成し、生成した複数の前記投影画像データを前記複数のプロジェクタのうち対応するプロジェクタに出力することを特徴とする請求項７に記載の画像処理装置。
9. 前記特定手段は、前記少なくとも１つのプロジェクタが投影によって再現すべき輝度値があるか否かを判定し、
   前記生成手段は、前記特定手段によって前記少なくとも１つのプロジェクタが投影によって再現すべき輝度値があると判定される度に、前記複数のプロジェクタのうち１つのプロジェクタに出力する前記投影画像データを生成することを特徴とする請求項７又は請求項８に記載の画像処理装置。
10. 前記生成手段は、前記一部の領域と同じサイズの前記投影画像を投影するプロジェクタが投影する投影領域の近傍領域において前記少なくとも１つのプロジェクタが投影によって再現すべき輝度値があるか否かを判定し、前記少なくとも１つのプロジェクタが投影によって再現すべき輝度値があると判定した場合は、前記投影画像の端部において画素値が０となるように前記投影画像に対して窓関数を適用することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記投影対象の画像は、プリンタによって記録媒体上に形成されるプリント画像であることを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記プリント画像を表すプリント画像データを前記プリンタに出力する出力手段をさらに有することを特徴とする請求項１１に記載の画像処理装置。
13. 前記投影対象の画像は、プロジェクタによって投影された画像であることを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
14. 前記投影画像データに基づいて、前記投影対象の画像の上に前記投影画像を投影する投影手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. コンピュータを請求項１乃至請求項１３のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. 投影対象の画像の上に、少なくとも１つのプロジェクタによって投影される投影画像を重畳するために、前記少なくとも１つのプロジェクタに出力する投影画像データを生成する画像処理方法であって、
    再現目標の画像を表す目標画像データを取得する第１取得ステップと、
    前記投影対象の画像を表す投影対象画像データを取得する第２取得ステップと、
    前記目標画像データと、前記投影対象画像データと、に基づいて、前記少なくとも１つのプロジェクタが投影によって再現すべき画像の画素値を特定する特定ステップと、
    前記投影対象の画像における一部の領域を表す情報を取得する第３取得ステップと、
    前記特定ステップにおいて特定された前記画素値と、前記第３取得ステップにおいて取得された前記情報と、に基づいて、前記少なくとも１つのプロジェクタが前記一部の領域に投影するための、前記一部の領域と同じサイズの前記投影画像を表す前記投影画像データを生成する生成ステップと、
    を有することを特徴とする画像処理方法。

Images