JP2021069062A - 画像処理装置、表示システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 印刷物に画像を重畳して表示するシステムにおいて、ユーザの画像管理を容易にする。【解決手段】 印刷物に画像を投影する投影装置が用いる画像ファイルを作成する画像処理装置であって、入力画像と、前記入力画像に基づいて前記印刷物を出力する画像形成装置の特性に基づいて、前記投影装置がターゲットとするデバイス非依存な輝度の値を示す画像情報を取得する第１の取得手段と、前記画像形成装置に関する情報を取得する第２の取得手段と、前記画像情報と前記画像形成装置に関する情報を１つの画像ファイルに格納し、前記画像ファイルを前記投影装置に出力するファイル生成手段と、を有することを特徴とする。【選択図】 図１

Description

本発明は、印刷物に画像を投影して重畳表示するための画像処理技術に関する。

近年、デジタルカメラ等の画像入力機器において、撮像センサで撮影可能なダイナミックレンジ（以下、「Ｄレンジ」と呼ぶ）の拡大が進んでいる。また、撮影時に露出条件を変えて撮影し、露出条件の異なる複数の画像を合成することにより、Ｄレンジを拡張する技術が実用化されている。一方、プロジェクタやプリンタ等の画像出力機器においても高輝度化・高コントラスト化が進み、再現可能なＤレンジが拡大しているが、一般的に、画像入力機器のＤレンジには及ばないレベルにある。そのため、例えばデジタルカメラで撮影した画像情報は、Ｄレンジ圧縮してプリンタやプロジェクタで出力することが行われている。

特許文献１には、プリンタで出力した印刷物に対し、プロジェクタが画像を重畳するように投影することにより、再現可能なＤレンジや色域を拡張する技術が開示されている。

特開２０１０−１０３８６３号公報

印刷物に画像を投影して重畳表示する方法において、ユーザが取り扱う画像ファイルの種類は多い。例えば、表示したいコンテンツとなる入力画像、印刷装置に用いるための印刷用画像、投影装置に用いるための投影用画像が存在する。このうち投影用画像は、入力画像、印刷物、使用するプロジェクタの特性に基づいて作成されることになる。つまり入力画像、印刷物、プロジェクタのいずれかが変更されれば、投影画像もそれらの変更に応じて変化する。このため、例えばサイネージ用途において、複数の展示場で各々用いられるプロジェクタが異なる場合を考えると、プロジェクタの種類ごとに投影画像の作成が必要となり、投影用画像だけでも画像ファイルの数が増えてしまう。このように、環境をはじめとしたバリエーションに対応すると、画像ファイルの数が増大してしまいユーザにとってじゃ画像管理が煩わしいという課題があった。

そこで本発明では、複数の異なる出力方式の装置による画像を重畳して表示するための画像ファイルを作成してユーザの画像管理を容易にすることを目的とする。

上記課題を解決するため本発明は、印刷物に画像を投影する投影装置が用いる画像ファイルを作成する画像処理装置であって、入力画像と、前記入力画像に基づいて前記印刷物を出力する画像形成装置の特性に基づいて、前記投影装置がターゲットとするデバイス非依存な輝度の値を示す画像情報を取得する第１の取得手段と、前記画像形成装置に関する情報を取得する第２の取得手段と、前記画像情報と前記画像形成装置に関する情報を１つの画像ファイルに格納し、前記画像ファイルを前記投影装置に出力するファイル生成手段と、を有することを特徴とする。

本発明では、印刷物に画像を重畳して表示するシステムにおいて、管理しやすい画像ファイルを作成し、ユーザの画像管理を容易にすることが可能となる。

表示システムの構成の一例を示す図 実施形態１に係る、画像処理装置の構成の一例を示す図 実施形態１に係る、処理の流れを示すフローチャート 実施形態１に係る、プリント画像処理装置のソフトウェア構成を示す機能ブロック図 Ｓ３０２の処理の詳細なフローチャート 実施形態１に係る、投影画像ファイルを説明する図 実施形態１に係る、投影画像処理装置のソフトウェア構成を示す機能ブロック図 Ｓ３０３の処理の詳細なフローチャート 実施形態１に係る、検出した投影画像ファイルの提示を説明する図 実施形態１の変形例に係る、投影画像ファイルを説明する図 実施形態１の変形例に係る、検出した投影画像ファイルの提示を説明する図 実施形態２の表示システムの構成の一例を示す図 実施形態２のＳ３０２の処理をより詳細化したフローチャート 実施形態２に係る、投影画像データの持つ情報を説明する図 実施形態２のＳ３０３の処理をより詳細化したフローチャート 実施形態２の変形例に係る、投影画像データの持つ情報を説明する図 実施形態２の変形例に係る、投影画像データの持つ情報を説明する図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜実施形態１＞
本実施形態では、壁に掲示されたポスター（印刷物）に対して、プロジェクタが投影画像を投影することで、Ｄレンジおよび色域の広い画像を表示する画像表示システムについて説明する。なお、以下では、印刷物における画像と投影画像とを重畳させて表示することを、重畳表示と呼ぶ。図１は、本実施形態における画像するシステムの一例を示す図である。画像表示システムは、撮像装置（カメラ）１０１、その制御を行う撮影画像処理装置１０２、画像形成装置（プリンタ）１０４とその制御を行うプリント画像処理装置１０５、画像投影装置（プロジェクタ）１０８とその制御を行う投影画像処理装置１０９を有する。撮像装置１０１は重畳表示によって表現したいシーンを撮影する。つまり撮像装置１０１によって、表現したいシーンの輝度を取得する。画像形成装置１０４は、記録媒体に画像を印刷することで、重畳表示に用いる印刷物（不図示）を出力する。画像投影装置１０８は、印刷物に対して、重畳表示に用いる投影画像を投影する。端子１０３、１０６、１０７、１１０は各々の装置におけるデータの入出力端子を表す。ただし、以下に説明する本実施形態で主要なデータの入出力に関わる端子のみを示し、例えば撮像装置１０１と撮影画像処理装置１０２間の入出力端子などは省略している。

各画像処理装置１０２、１０５、１０９はそれぞれが接続する装置（デバイス）１０１、１０４、１０８の動作の制御や、その入出力データの処理を行う。ただし各画像処理装置は、図１に示すように互いに異なる装置であってもよいし、その全て、あるいは以下に説明する機能の一部を、１つのデバイスとして実現してもよい。本実施形態では、撮像装置１０１が撮像し、画像処理装置１０２が処理した画像ファイル１１１を、１つの電子ファイルとして取得する。画像ファイル１１１は、印刷物と投影画像が重畳表示によって再現しようとする輝度を表す画像データである。プリント画像処理装置１０５は、画像ファイル１１１を入力とし、画像形成装置１０４に印刷を指示、制御して印刷物を生成すると共に、投影画像ファイル１１２を１つの電子ファイルとして生成、出力する。投影画像ファイル１１２は、詳細は後述するが、プロジェクタが投影すべき輝度を表す画像データである。投影画像処理装置１０９は、投影画像ファイル１１２を入力とし、画像投影装置１０８を制御して投影画像の投影を行う。こうして、印刷物に投影画像の重畳表示を行い、Ｄレンジや色域が拡大したより高画質の再現画像が得られる。

図２には、図１の表示システムにおける、各画像処理装置１０２、１０５、１０９の構成の一例を示す。その構成は、画像処理装置（ＰＣ）２００、モニタ２０８、外部記憶装置２０９、入力装置２１０、を有する。さらにＰＣ２００は、内部にＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、主記憶装置２０４、メインバス２０５、汎用インターフェース（Ｉ／Ｆ）２０６、出力Ｉ／Ｆ２０７を有する。まず、ＰＣ２００のハードウェア構成について説明する。

ＣＰＵ２０１は、ＰＣ２００内の各部を統括的に制御するプロセッサである。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３及び主記憶装置２０４は、以下で説明する印刷画像や投影画像の生成を含む各種処理を実現するためのプログラム群や各種のアプリケーション、各種処理に用いられるデータ等を記憶する。メインバス２０５はＰＣ２００の各部分を接続している。汎用Ｉ／Ｆ２０６はＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。出力Ｉ／Ｆ２０７は、ＤＶＩ等の画像出力インターフェースである。出力Ｉ／Ｆ２０７を介して接続されるモニタ２０８は、例えば液晶ディスプレイであり、ＰＣ２００のユーザインターフェースとして機能する。入力装置２１０は、ユーザが各種の指示操作を行うためのキーボードやマウスである。外部記憶装置２０９は、外付けＨＤＤやＵＳＢフラッシュメモリ等の大容量記憶装置であり、画像等のデータを記憶し、ＰＣ２００に供給する。

このほか、ＰＣ２００には汎用Ｉ／Ｆ２０６を通じその他の装置２１１を接続する。本実施形態では、撮像装置１０１、画像形成装置１０４をこの位置に接続する。画像投影装置１０８は出力Ｉ／Ｆ２０７を介し、モニタ２０８の位置に接続する。

ただし、以上説明した態様は実施の一例であって、画像処理装置１０２、１０５、１０９が必ずこの態様である必要は無い。また、各画像処理装置が必ず同一の態様である必要も無い。

図３は、本実施形態に係る画像表示システムの流れを示す図である。なお、以下の説明において記号「Ｓ」はステップを表す。

まずＳ３０１において撮像装置１０１は、撮像装置１０１のシャッターボタンが押されたことを検出すると、あらかじめ撮像装置１０１に設定された露光時間や絞り値、ＩＳＯ感度等の設定に従って撮像する。本実施形態では、撮像対象のシーンは、ＲＡＷデータとして記録されるものとする。デジタル方式のカメラでは一般的に、撮影されるシーンの光を撮像センサによって信号値に変換して記録している。本実施形態では撮像センサにより取得された信号値が記録されたデータであり、画像符号化処理されていないデータが、ＲＡＷデータである。たとえば撮像センサがＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）がベイヤ配列されたカラーフィルタを有するとすると、ＲＡＷデータは、ＲＧＢが混在するデータである。撮像装置１０１は、ＲＡＷデータに上述した露光時間やＩＳＯ感度等の撮像装置１０１の設定も記録したデータを付加してＲＡＷファイルとし、本実施形態の画像ファイル１１１とする。こうして生成された画像ファイル１１１は、撮影画像処置装置１０２に転送される。さらに撮影画像処理装置１０２に接続された外部記憶装置２０９に出力され、他の画像処理装置に供給することが可能である。上述の通り、デジタル方式のカメラでは一般的に、撮影されるシーンの光の情報、すなわち輝度情報を、撮像センサによって信号値に変換することで記録している。人間の視覚にとって、三刺激値ＸＹＺによってシーンの光を一意に表すことができるため、本実施形態で輝度情報とは三刺激値ＸＹＺを指すものとする。記録される信号値は、撮像センサの特性に従い、輝度情報ＸＹＺと対応関係を持つ。ここでは、信号値ＲＧＢとＸＹＺは線形（リニア）な関係を持ち、概ねＲ信号値とＸ、Ｇ信号値とＹ、Ｂ信号値とＺが対応する。ただし線形でなくても、信号値と輝度情報値を紐づけられる関係が既知であればよい。またＲＧＢ−ＸＹＺ間の相互作用を考慮し、行列演算によってＸＹＺを求めることで、Ｒ−Ｘといった１：１対応よりも精度を高められる。なお輝度情報と信号値との具体的な数値の対応関係（信号値のいくつがＸＹＺのいくつに相当するか）は、撮像時の露光時間をはじめとする露出条件等によって変化する。

Ｓ３０１において生成された画像ファイル１１１には、ＲＡＷデータである撮像センサの信号値と、撮影時のカメラ設定を示すデータが保存されている。露光時間や絞り値、ＩＳＯ感度等のカメラ設定を参照し露出条件を定められるから、予め各露光条件におけるカメラの特性が既知である場合には、輝度情報と信号値との対応関係が分かり、信号値から輝度情報ＸＹＺを逆算することが可能である。すなわち、このＲＡＷデータを、重畳表示によって再現しようとする輝度情報を持つ、ターゲット輝度画像データとして扱うことができる。

次にＳ３０２に移る。Ｓ３０２はプリント画像処理装置１０５、すなわち画像形成装置１０４によるプリントに関わる処理である。全体として、Ｓ３０１で生成した画像ファイル１１１に含まれるＲＡＷデータを入力として読み込んで、ユーザのレタッチを受け、プリントすることで印刷物を出力すると共に、投影画像ファイル１１２を生成し出力とする。

図４に、プリント画像処理装置１０５のソフトウェア構成を示す機能ブロック図を、図５に、Ｓ３０２における処理のさらに詳細なフローチャートを示す。本実施形態のプリント画像処理装置１０５は、入力バッファ４０１、レタッチ処理部４０２、プリント設定取得部４０３、色分解処理部４０４、ハーフトーン処理部４０５、ハーフトーン画像バッファ４０６、プリンタへの出力端子４０７を有する。さらにプリント画像処理１０６は、ターゲット輝度情報取得部４０８、撮像装置データベース４０９、プリント特性取得部４１０、反射率情報取得部４１１、投影画像ファイル生成部４１２と、既述の入出力端子１０６、１０７を有する。各部の働きを簡単に述べる。入力バッファ４０１は、画像ファイル１１１を受け取り、格納するためのバッファである。レタッチ処理部４０２は、画像ファイル１１１に含まれるＲＡＷデータを、印刷物として適切な画像となるように、ユーザの操作の下、レタッチ（修整）する。プリント設定取得部４０３は、ユーザが指定したプリント設定の情報を取得する。色分解処理部４０４、ハーフトーン処理部４０５、ハーフトーン画像バッファ４０６、出力端子４０７は画像形成（プリント）のための処理部である。色分解処理部４０４は、レタッチされた画像と、プリント設定に基づき、画像データをプリンタが持つ色材（インク等）の成分に分解する色分解処理を行う。ハーフトーン処理部４０５は色分解された画像データをプリンタが直接表現可能な階調数まで量子化するハーフトーン処理を行い、ハーフトーン画像を生成する。ハーフトーン画像バッファ４０６はハーフトーン画像を格納する。出力端子４０７は画像形成装置１０４に接続され、ハーフトーン画像を、プリンタを制御する命令と共に画像形成装置１０４に送り、画像を形成する。

他方、残りの構成は印刷物に応じた投影画像データを生成する処理を行う。ターゲット輝度情報取得部４０８は、画像ファイル１１１に含まれるターゲット輝度画像データ（ＲＡＷデータ）から、重畳表示によって再現しようとするターゲット輝度情報（ＸＹＺ）を取得する。この取得に際し、撮像装置データベース４０９を参照する。撮像装置データベースは、カメラの特性を保持している。プリント特性取得部４１０は、画像形成装置１０４によって印刷されたプリント物の反射率の特性をプリント特性として取得する。反射率情報取得部４１１は、プリント特性に基づき印刷物の反射率を計算し、取得する。投影画像ファイル生成部４１２は、ターゲット輝度情報と反射率情報、プリント設定等から投影画像ファイル１１２を生成する。投影画像ファイル１１２は、出力端子１０７より外部に出力される。

以下、図５を参照し詳細な処理の説明を行う。まず、Ｓ５０１でプリント画像処理装置１０５がＳ３０１で生成されたＲＡＷデータを含む画像ファイルを受け取り、入力バッファ４０１へ格納する。

次にＳ５０２で、レタッチ処理部４０２が、ＲＡＷデータに対してレタッチ処理を行う。この処理は、プリント画像処理装置１０５に接続されたモニタ２０８や入力装置２１０を介してユーザの操作に従って行われる。例えば、デモザイク処理（現像処理）、ガンマ処理、鮮鋭化処理、色調調整処理、ノイズ低減処理等の種々の画像処理が施され、印刷物として適切な、ユーザの意図に沿うプリント用の画像データへと変更される。

ユーザがレタッチ処理を終了し、プリント画像処理装置１０５にプリント命令が送られると、Ｓ５０３〜Ｓ５０８の処理が行われる。Ｓ５０３では、プリント設定取得部４０３が、プリントに関する情報や、ユーザが画像形成装置１０４のドライバに設定したプリント設定の情報を取得する。取得するプリントの情報、プリント設定の例としては、プリンタの名称、プリント日時、プリントに係る種々の設定（カラーマネジメントのマッチングの種類、ドライバによる各種画像処理のＯＮ／ＯＦＦ等）、プリント媒体（紙）種等がある。

Ｓ５０４に移り、プリント画像処理装置１０５は、プリント設定に基づいて画像形成装置１０４がレタッチ画像をプリントする為の画像処理を行う。すなわち、色分解処理部４０４による色分解処理、ハーフトーン処理部４０５によるハーフトーン処理である。ハーフトーン処理を経たハーフトーン画像は、ハーフトーン画像バッファ４０６、プリンタへの出力端子４０７を介して画像形成装置１０４に供給される。同時に、プリント画像処理装置１０５がプリンタを制御する命令を画像形成装置１０４に送り、画像形成装置１０４にレタッチ画像に基づく印刷物をプリントさせる。

プリント画像処理装置１０５は、次に、投影画像データの生成に移る。まず、Ｓ５０５でターゲット輝度情報取得部４０８が、重畳表示によって再現しようとするターゲット輝度情報（ＸＹＺ）を取得する。本実施形態では、Ｓ５０２同様にプリンタ画像処理装置１０５がＲＡＷデータにデモザイク処理を行い各画素１６ビット（０〜６５５３５）のＲＧＢ信号値を得た後、撮像装置データベース４０９を参照して撮像特性を取得し、ＸＹＺを算出する。前述の通り、ＲＡＷデータの信号値とＸＹＺは対応関係を持ち、その数値的な紐づけは、撮像時の露出条件によって決まる。本実施形態の撮像装置データベース４０９は、カメラとその露出条件ごとに、ＲＧＢ信号値と輝度情報ＸＹＺの対応関係を撮像特性としてＬＵＴ（ルックアップテーブル）形式で持っているものとする。これを撮像特性ＬＵＴと呼ぶ。ＲＡＷデータとともに記録されたカメラ、露光条件に合致する撮像特性ＬＵＴをデータベースから選択し、ＬＵＴを適用してＲＧＢ信号値から輝度情報ＸＹＺを取得することができる。例えば、信号値のＲＧＢが（Ｒ，Ｇ，Ｂ）＝（１００００，２２０００，１６０００）であれば（Ｘ，Ｙ，Ｚ）＝（２２００，４０００，３５００）と変換する。また、（Ｒ，Ｇ，Ｂ）＝（１７００，３２００，２５００）であれば（Ｘ，Ｙ、Ｚ）＝（５００，６３０，６００）といったように変換が行われる。なお、撮像特性ＬＵＴは、予めその輝度値が異なり且つ既知である種々のリファレンス被写体を、複数の露出条件で撮像し、輝度値と信号値とを対応付けて記録することで作成することができる。撮像特性はＬＵＴに代わって入出力が１：１の入出力ガンマ曲線や、変換行列であってもよい。

Ｓ５０６では、プリント特性取得部４１０が、Ｓ５０３で取得されたプリント設定におけるプリント特性を取得する。ここでプリント特性とは、画像形成装置１０４に入力されるレタッチ画像データのＲＧＢ値と、印刷物上のＸＹＺに対する反射率との関係を表すＬＵＴのことである。

プリント特性について説明する。いま、本実施形態での画像形成装置１０４がインクジェット方式のプリンタであるとして説明する。インクジェット方式の場合、一般的に印刷画像データで規定されるＲＧＢ値に従って色材（インク）を記録媒体（用紙）上に吐出することで印刷物が得られる。当該印刷物では、用紙に定着したインクに応じて用紙表面の反射率が変化することで、色が表現されている。従って、画像形成装置１０４に入力される印刷画像データのＲＧＢ値と、用紙（印刷物）の反射率とは対応している。そして、本実施形態では、印刷画像のＲＧＢ値と印刷物上の反射率との対応関係を記述したＬＵＴ（すなわち「プリント特性ＬＵＴ」）を予め用意・保持しておき、これを参照することで、印刷画像から反射率情報を得る。プリント特性ＬＵＴは、ある画素について特定のＲＧＢ値を画像形成装置１０４が出力したときに、当該画素がＸＹＺに対し特定の反射率を持つことを対応付けて規定した、ＲＧＢ値全域に渡る特性を示したデータである。例えば、入力値（１６ビット）が（Ｒ，Ｇ，Ｂ）＝（０，０，０）であれば反射率（Ｘ，Ｙ，Ｚ）は（０．０２３，０．０２５，０．０２０）と対応付けられている。また、入力値が（４６２６０、４６２６０、４６２６０）であれば反射率は（０．４０，０．４２，０．３８）といった対応関係が規定されている。なお、プリント特性ＬＵＴは、種々のＲＧＢ値を持つパッチチャートを画像形成装置１０４で印刷出力し、測色器を用いて出力パッチの反射率を測定し、ＲＧＢ値と反射率とを対応付けて記録することで作成できる。

Ｓ５０６でプリント特性が取得されると、Ｓ５０７に移り、反射率情報取得部４１１が反射率情報を取得する。反射率情報は、プリント用のレタッチ画像と同じサイズを持つ画像様のアレイ形式のデータである。反射率情報においては、画素値として、当該レタッチ画像を画像形成装置１０４で出力したときの印刷物の（ＸＹＺに対する）反射率を表す０以上１以下の値を持っているデータである。Ｓ４０２で得た印刷用のレタッチ画像に対して、画素ごとに、Ｓ５０６で得たプリント特性ＬＵＴを適用して得られる。

ターゲット輝度情報と反射率情報が取得できたら、Ｓ５０８へ移る。Ｓ５０８では、投影画像ファイル生成部４１２がターゲット輝度情報と反射率情報から投影輝度情報を計算し、投影画像ファイル１１２を作成する。本実施形態で投影画像ファイル１１２は、図６に示すように、プロジェクタが投影すべき輝度を格納した投影輝度情報６０２と、プリント時情報６０１を有するファイルである。

投影画像ファイル１１２が有する投影輝度情報６０２について説明する。そもそも、印刷物に対して投影画像が重畳表示されることで得られる再現画像における輝度は、以下の式（１）で表される。
再現画像における輝度＝再現画像を照らす光の輝度×印刷物の反射率 ・・・式（１）

ただし、ここでは環境光を無視し、再現画像を照らす光は画像投影装置１０８による投影光のみに近似できるものとする。つまり、「再現画像を照らす光の輝度」＝「プロジェクタが投影すべき輝度」である。そして、再現画像において再現すべきターゲットが、撮像装置１０１が撮像したシーンの輝度そのものであるとする。この場合のターゲットは、Ｓ５０５で導出されたターゲット輝度情報に等しい。よって、「再現画像における輝度」＝「再現すべきターゲット」＝「導出されたターゲット輝度情報」の関係が成り立つ。また、印刷物の反射率は、Ｓ５０８において反射率情報として取得している。すると、ターゲットとなる輝度の忠実再現のために、画像投影装置１０８が投影すべき輝度は、以下の式（２）で表すことができる。
プロジェクタが投影すべき輝度＝輝度情報÷反射率情報 ・・・式（２）

いま、上記式（２）の右辺は既知であるため、左辺を求めることができる。つまり、画素ごとに、ターゲットとなる輝度を、印刷物の反射率で除算した結果が、プロジェクタが投影すべき輝度となる。これが投影輝度情報である。以下、ここまでの数値例を示す。本実施形態では、輝度情報としてＸＹＺ値が得られているので、そのＹ成分を例に示す。例えば、Ｓ５０５のターゲット輝度情報として、ある画素位置（ｘ、ｙ）におけるＸＹＺ値＝（５００，６３０，６００）が求められたとする。この場合、Ｙ成分の再現すべきターゲットは“６３０”である。次に、プリント用のレタッチ画像の上記画素位置（ｘ、ｙ）におけるＲＧＢ値Ｉ（ｘ、ｙ）＝（４６２６０、４６２６０、４６２６０）と決定されたとする。このときのプリント画像におけるＹ成分の値に対する反射率は、前述のプリント特性ＬＵＴの数値例のとおり“０．４２”となる。最終的に再現画像での再現すべきＹ成分の値が“６３０”で、その部分の反射率が“０．４２”なので、プロジェクタが投影すべきＹ成分の値は、６３０÷０．４２＝１５００、と求められる。なお、実際には輝度値シーンによって大小様々な値を取り得るので、値としては相対値で記録し、投影輝度情報部のヘッダに相対値からＸＹＺの絶対値に変換する基準（例えば相対値１に対応するＸＹＺの絶対値）を記録しておけばよい。あるいは、対数によって記録してもよい。

次に、投影画像ファイル１１２に格納されたプリント時情報６０１について説明する。プリント時情報６０１は、Ｓ５０４で行われたプリントと投影輝度情報６０２とを特定し結び付けるための手がかりとなる情報である。本実施形態では、Ｓ５０６で取得したプリント設定をベースに、プリンタの名称、プリント日時、プリント画像名、プリント実行者名、紙種、プリントに係る種々の処理設定を投影画像ファイル１１２に記録する。また、レタッチ画像の縮小画像（サムネイル画像）、ユーザが入力装置２１０を通じ任意に入力可能なプリントに関するメモを追加のプリント時情報として取得し、プリント設定と併せてプリント時情報６０１として記録する。

以上のとおり、プリント画像処理装置１０５はプリント用の画像処理を実行して画像形成装置１０４に印刷物を出力させると同時に、投影画像ファイル１１２を生成し出力する。投影画像ファイル１１２は、プリント画像処置装置１０５に接続された外部記憶装置２０９を介して、他の画像処理装置に供給することが可能である。

印刷物の出力と投影画像データの出力を終えると、フローチャートは図３に戻って、Ｓ３０３に移る。Ｓ３０３は投影画像処理装置１０９、すなわちプロジェクタに関わる処理である。全体として、Ｓ３０２で生成した投影画像ファイル１１２を読み込んで、画像を投影する処理を行う。図７に、投影画像処理装置１０５のソフトウェア構成を示す機能ブロック図を、図８に、Ｓ３０３で行うより詳細なフローチャートを示す。図７に示すように、本実施形態の投影画像処理装置１０９は、投影画像ファイル検出部７０１、提示部７０２、投影特性取得部７０３、投影信号値計算部７０４、投影処理部７０５、プロジェクタに接続する出力端子４０６と、既述の入出力端子１１０を有する。各部の働きを簡単に述べる。投影画像ファイル検出部７０１は、投影画像処理装置１０９に接続された記憶装置から投影画像ファイル１１２を検出する。提示部７０２は、検出された投影画像ファイル１１２の情報をユーザに提示する。投影特性取得部７０３は、画像投影装置１０８の投影特性を取得する。投影信号値計算部７０４は、投影輝度情報と投影特性を参照し、画像投影装置１０８が画像を投影するためのデバイス依存な投影信号値（画素値）を計算し、その画像データ（以下、投影信号値画像と呼ぶ）を得る。投影処理部７０５は、画像投影装置１０８を制御するための命令と投影信号値画像を、出力端子４０６を介して画像投影装置１０８に出力し、画像を投影する。

以下、図８を参照し詳細な処理の説明を行う。本実施形態では、外部記憶装置（ＵＳＢフラッシュメモリ）に投影画像ファイル１１２が格納されており、汎用Ｉ／Ｆ２０６を介して投影画像処理装置１０９に供給されるとする。まずＳ８０１で、投影画像ファイル検出部７０１が、投影画像処理装置１０９に供給された投影画像ファイル１１２の存在を検出する。なお、投影画像ファイル検出部７０１は、何らかのイベントが発生した時に画像ファイルを検出する。例えば、投影画像処理装置１０９や画像投影装置１０８の起動時、投影画像処理装置１０９に対する外部記憶装置２０９や画像投影装置１０８の接続時、投影画像処理装置１０９が重畳表示モードに入った時に検出する。

Ｓ８０１で投影画像ファイル１１２が検出されると、Ｓ８０２で提示部７０２が、検出された投影画像ファイル１１２から順次格納されたで情報を読み出し、その情報をユーザに提示する。この提示は、投影画像処理装置１０９に接続されたモニタ２０８や、画像投影装置１０８を介して行う。この提示の一例を図９に示す。図９では、Ｓ８０１で検出した投影画像データを、プリント時情報と共に一覧で示しており、プリンタ、出力日時、メモ、サムネイル画像等の情報はＳ５０８でプリント時情報６０１として記録したものである。図９ではフラッシュメモリに２つの投影画像ファイルがあった場合を示している。図９に例示した以外のプリント時情報を提示してもよい。

図９では、一番上の「投影画像ファイル１」が選択状態にある（左端の矢印と、欄をグレー表示にして示している）。Ｓ８０３で、投影画像処理装置１０９がその入力装置２１０を介して、投影に関係するプリントのユーザの決定を受け付けると、次のステップに移行する。

Ｓ８０４では、投影特性取得部７０３が画像投影装置１０８の投影特性を取得する。本実施形態における投影特性とは、画像投影装置１０８に入力される投影画像のデバイス依存な信号値（画素値）と、投影される光の輝度情報（ＸＹＺ）との対応関係を示したものであり、ＬＵＴ（以下、「投影特性ＬＵＴ」と呼ぶ）に格納されている。この投影特性ＬＵＴは、この画像投影装置１０８が自分の特性として予め用意・保持しておく。

投影特性ＬＵＴは、画像投影装置１０８への入力信号値（ＲＧＢ、１６ビット）と投影画像におけるＸＹＺ値との関係を画素値全域について規定するＬＵＴである。例えば、入力信号値が（Ｒ，Ｇ，Ｂ）＝（１２０００，１２０００，１２０００）ならば（Ｘ，Ｙ、Ｚ）＝（２４０，２５０，２７０）となる。また、（Ｒ，Ｇ，Ｂ）＝（２３０００，２３０００，２３０００）ならば（Ｘ，Ｙ，Ｚ）＝（１４００，１５００，１６００）となる。このような対応関係が規定されている。投影特性ＬＵＴは、種々のＲＧＢ入力信号値を持つパッチチャートを画像投影装置１０８で投影出力し、測色器を用いて出力パッチの輝度（ＸＹＺ値）を測定し、ＲＧＢ値とＸＹＺ値とを対応付けて記録することで作成できる。

次にＳ８０５で、投影信号値計算部７０４は、投影輝度情報と投影特性ＬＵＴを参照し、画像投影装置１０８が画像を投影するための投影信号値を計算し、投影信号値画像を得る。これは、デバイス非依存な値（ＸＹＺ）であった投影輝度情報を、投影特性ＬＵＴを逆引き参照することで、画像投影装置１０８に合致したＲＧＢ信号値（画素値）に変換するステップである。例えばプロジェクタの投影すべき輝度値が（Ｘ，Ｙ，Ｚ）＝（１４００，１５００，１６００）であれば、上述の投影特性ＬＵＴの具体例から、（Ｒ，Ｇ，Ｂ）＝（２３０００、２３０００、２３０００）に変換すればよいことが分かる。なお、投影画像ファイルに記述されたＸＹＺが画像投影装置１０８の出力可能な範囲を超えている場合には、ＸＹＺの大きさと画像投影装置１０８の出力可能な範囲とに応じた輝度圧縮のガンマ処理を行う。この圧縮のガンマの特性も、画像投影装置１０８が投影特性ＬＵＴと同様に自特性として備えていると好適である。

投影信号値画像が取得できたら、Ｓ８０６に移る。Ｓ８０６では、投影処理部７０５が、画像投影装置１０８に設定された投影のモードを、所定のモードに変更する。このモードは、画像投影装置１０８が保持する投影特性ＬＵＴを取得した際のモードと同じ投影特性を持つモードである。これによって、投影輝度を意図したものに合わせ、必要に応じ自動的に画像の投影を範囲全体にするなどユーザの便宜を図る。

次にＳ８０７で、投影処理部７０５が、Ｓ８０４で取得された投影信号値画像を画像投影装置１０８に投影させる。この時、投影にはプリント時情報６０１を文字として画像投影に含ませて投影し、ユーザがプリント時情報６０１を確認できるようにする。

Ｓ８０７より所定時間（例えば数秒後）、Ｓ８０８に移ってプリント時情報６０１の投影を終了する。これによって、これ以降は画像投影装置１０８からは投影信号値画像のみが投影されるようになる。以上のような処理によって、印刷物とプロジェクタによる投影画像とを重畳表示することで、Ｄレンジや色域を拡張して画像を表示することができる。

以上の本実施形態による処理の意義を説明するに当たり、まず、本実施形態を適用するに好適なユースケースを説明する。今、印刷物に画像を投影して重畳表示する技術を、サイネージ目的で使用するとする。サイネージを展示しようとする会場は遠隔地に複数存在し、同一期間に同一内容の展示を行いたい。展示するコンテンツは画像制作の専門であるユーザがコンテンツ制作者として制作する場合が多い。印刷物は、コンテンツ制作者がポスターとして制作し、一か所で集中的に出力した印刷物を各会場に配布する。投影は、同一のプロジェクタを各会場に手配するのは容易ではないため、各会場で手配可能なプロジェクタを使うものとする。すなわち、各会場では投影に用いられるプロジェクタが異なる。また、各会場で展示を行うユーザが画像制作に関する専門的知識を有するとは限らない。

印刷物に画像を投影して重畳表示する当技術において、ユーザが取り扱う画像データファイルの種類は多く、入力画像、印刷用の画像、投影用の画像が存在する。このうち投影画像は、上述のように入力画像、印刷物、使用するプロジェクタの特性に基づき作成されるため、これらと紐づいた存在である。つまり入力画像、印刷物、プロジェクタのいずれかが変更されれば、投影画像もそれに応じて変化する。このため、複数の展示場で各々用いられるプロジェクタが異なる場合に、投影画像は展示会場の数が多いほど増大しやすく、制作、管理の手間を大きくしてしまう。

また、投影画像は、ユーザが印刷物として好適になるように任意にレタッチしたプリント画像と、再現しようとするターゲット輝度との間を補間するように差分（除算）画像として作成される。このため投影画像単体は絵として、視覚的、直感的に分かりにくい画像である。このことが、多くの画像を扱うコンテンツ制作者側の投影画像データの適切な管理を妨げる要因となる。さらには、展示会を実施する展示ユーザ側に混乱をもたらし、正しい画像の再現表示を妨げる要因となり得る。

そこで本実施形態では、印刷物と投影の重畳表示を行う技術において、より適切となるようにデータの形式、及びその処理を構築した。まず、投影画像データを、プロジェクタの特性を踏まえたデバイス依存な信号値（画素値）を持つ画像とするのではなく、デバイス非依存な輝度情報（ＸＹＺ）を持つ形式とした。本実施形態ではプロジェクタが再現すべきデバイス非依存な輝度情報で記述された投影画像データを、各プロジェクタが自らの投影特性に合わせて、デバイス依存な信号値画像に変換する。これによって、コンテンツ制作者は、プロジェクタごとの投影画像を用意する必要がなくなるので、画像管理の負担が軽減される。こうして、コンテンツ制作者が、コンテンツの制作に注力することを支援する。さらに、各プロジェクタの処理時に、そのプロジェクタごとに自特性に応じたガンマ処理等の変換処理を行うことができるので、この点もコンテンツ制作者が各プロジェクタの特性を考慮し作成する作業をせずに適切な投影を行うことが可能となる。

次に投影画像データを含むファイルを作成する際には、プリント実行時に、データが供される投影用デバイス（プロジェクタ）とは異なるデバイス（プリンタ）の情報を、プリント時情報も付加して記録した。これによって、投影画像データを投影する画像投影装置とは異なる画像形成装置の情報も参照することができる。特に本実施形態では、ファイルに記録したプリント情報を投影画像の選択時に提示したので、展示ユーザがより分かりやすく展示オペレーションを行えるようになる。例えばプリント時情報には、プリンタの名称やプリント日時、プリント実行者名、紙種、等を含む。そのため、事前にこれらに関する指示や情報をコンテンツ制作者から得ていたり、展示時に印刷物現物を突き合わせて見たりすることで、非専門的な展示ユーザであってもより混乱することなく展示作業を遂行することができる。また、レタッチ画像のサムネイルや、ユーザが入力するプリントに関するメモをプリント時情報として付加したので、非専門的なユーザが選択すべき投影画像データを特定する際の手助けとなる。このような情報を、画像処理装置（アプリケーションやドライバ）側ではなくファイル側に記録し保持する。その結果、コンテンツ制作側はプロジェクタの特性を既知とする必要は無く、展示場側はコンテンツ制作者側同等の環境を必要せず、両者を切り離して処理可能である。こうしてデバイス間の情報の繋がりと独立性をより適切に整理することにした。

さらに本実施形態では、上記説明した投影画像ファイルが外部記憶装置（ＵＳＢフラッシュメモリ）を用いて接続されたとき、存在を検出して順次提示するようにした。このように、上記説明した情報を持つファイルを画像投影装置１０８による投影画像用のファイルとして扱い、画像投影装置１０８の接続時、起動時あるいは重畳表示モード時に優先的に提示し選択を促す。これにより、非専門的な展示ユーザの円滑な作業遂行を助けることができる。

また本実施形態では投影画像データの投影に際し、プロジェクタはその設定を所定のモードに合わせるようにした。プロジェクタはその使用目的によって、「スタンダード」や「ビビッド」、「プレゼンテーション」などの輝度特性や色味が異なる投影モードを持つことがある。本実施形態のように、目的が明確である投影画像データを扱う時には自動的に所定のモードで投影を行うことによって、投影のモードが異なり正しい画像表示でなかったといったミスを防ぐことができる。

本実施形態では、投影画像データの投影に際し、投影画像ファイルに記録されたプリント時情報を所定の時間（数秒間）、一時的に文字として投影した。プリント時情報は画像投影装置１０８には直接関係しない情報であるが、これによりユーザは、投影画像が意図したものであるか、印刷物と整合しているかを効率的に確認することができる。

以上の通り本実施形態によれば、画像投影装置１０８への情報であるデバイス非依存な輝度情報と、本来画像投影装置１０８とは異なるデバイス、すなわち画像形成装置１０４に関する情報であるプリント時情報を結び付け、投影画像ファイルとして扱った。これによって、様々な画像やデバイスに渡る重畳表示技術においてコンテンツ制作や展示における種々のメリットをもたらし、ユーザの管理、運用を円滑化、適切化することができる。

＜実施形態１の変形例＞
上述の実施形態では、画像投影装置１０８が投影すべきデバイス非依存な輝度情報６０２と、プリント時情報６０１が格納された投影画像ファイル１１２を処理する態様を説明した。この態様の場合、複数のプロジェクタが存在する場合について投影画像ファイル数を削減しユーザの管理負荷を軽減することができる。しかし印刷物側に複数のバリエーションがある場合には、その分だけファイル数が増えてしまう。そこで、印刷物側のバリエーションが存在する場合にもファイル管理を行いやすくするよう、１つの投影画像ファイル内に複数の投影輝度情報及びプリント時情報を持つ態様を変形例として説明する。なお、実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明を行うものとする。

図１０には、本変形例における投影画像ファイル１０００を示す。図１０は、１つの投影画像ファイル１０００内に、２セットの投影輝度情報及びプリント時情報が格納された例を示している。ただし投影輝度情報６０２と、プリント時情報６０１は実施形態１のものと同じである。投影画像ファイル１０００は、実施形態１の投影画像ファイル１１２に相当する。

本変形例では、コンテンツ制作者が、いくつかレタッチが異なるパターンを試すケースや、複数パターンを印刷物の候補として用意、配布しておき、各展示場側が、客層や展示場の特性に応じて印刷物を採用するケースを想定する。実施形態１においてＳ５０８を終えた後、ユーザは続けて２度目のプリント画像用のレタッチＳ５０２を行う。本変形例では、２度目のレタッチは１度目よりも画像のトーンを落としてレタッチしたプリント用画像を作成し、印刷物をプリントしたとする。

２度目のレタッチ画像のプリント実行時に、再びＳ５０３〜Ｓ５０８の処理が行われる。ただしこのＳ５０８の処理で、投影画像ファイル生成部４１２は、投影画像ファイル１１２に新たな輝度情報１００１、プリント時情報１００２を追記的に記録する。このようにして、２セットの投影輝度情報及びプリント時情報を持つ投影画像データ１０００が作成される。

なおこのとき、新たに追記された投影輝度情報１００２、プリント時情報１００１はそれぞれ、最初に記録された投影輝度情報６０２、プリント時情報６０１との差分情報を記録する。図１０中の、プリント時情報１００１からプリント時情報６０１へ、または投影輝度情報１００２から投影輝度情報６０２へ向かう左向きの矢印はこのことを表す。同一シーンに対する印刷物の変更パターンは、トーンカーブが異なる、一部分の色味のみが異なる等、かなりの部分が共通している場合が多いと考えられる。そこで、差分のみを記録して必要な容量の削減を図る。１回目と同様にＳ５０３でプリント設定を取得し、Ｓ５０８で投影輝度情報を取得する。その後に、既に記録されているプリント時情報６０１、投影輝度情報６０２と比較して、差分を取得し、プリント時情報１００１、輝度情報１００２として投影画像ファイル１０００に記録する。さらに３回目以降のデータセットを追記記録する際には、改めて１回目の情報との差分を記録してもよいし、２回目の情報からの差分を記録してもよい。

この投影画像ファイル１０００に対し、投影画像処理装置１０９が行う処理も実施形態１と同様である。本変形例のＳ８０２で、検出された投影画像ファイルの情報をユーザに提示する例を図１１に示す。図１１は、投影画像処理装置１０９に投影画像ファイル１０００が１つだけ供給された際の提示例を示す図である。図９の例とは異なり、検出された投影画像ファイルは１つであるが、内部に２セットのプリントの記録を持っており、ユーザは実施形態１同様にどのプリントに対応する投影を行うか選択することができる。Ｓ８０５で、追記された輝度情報１００２に対する信号値画像を求める際には、差分情報であるので、１回目に記録された輝度情報６０２を参照しながら計算を行うことになる。

以上の通り本変形例によれば、同一シーンに対してプリントに複数のバリエーションがある場合にも、画像ファイル数を不用意に増大させることなく、投影画像を扱うことができる。また、バリエーション間での投影画像データは差分情報として記録することにしたので、それぞれ単体のデータとして持つよりもデータサイズの抑制が期待できる。

上記変形例ではトーンを落とした仕上がりにする例を示したが、プリンタの機種が変わる場合、紙種が変わる場合、プリントに係る種々の設定が変わる場合等であってもよい。

また上述の変形例とは別な例として、プリント時情報に、プリントに用いたレタッチ画像の画像データを直接含んでいてもよい。この場合には、プリント用の画像データを直接持つことになるために、データサイズが大きくなるが、このデータを用いてプリントを再度行うことができる。例えば、本変形例の投影画像ファイルを、別なユーザに送付すれば、投影画像ファイル内に持つレタッチ画像データとプリント時情報を参照し、そのユーザ側の持つプリンタで同じ画像データを同じ設定で出力できる。あるいは、記録されたレタッチ画像をさらに修整して出力してもよい。このとき、このプリンタが別機種のプリンタであれば、そのプリンタによる印刷物に対する投影輝度情報が追記的に作成されるので、この別のプリンタの印刷物に対する重畳表示も行うことが可能である。このように、投影画像ファイルの作成を、単一ファイルを用いて、複数の場所で分担して作成したり、遠隔地の別のプリンタで行うことができるようになる。

＜実施形態２＞
実施形態１では、投影画像ファイルとして、デバイス非依存なプロジェクタが投影すべき輝度情報と、プリント時情報を持つ投影画像データを処理する態様を説明した。実施形態２では、ターゲット輝度情報を持つ画像ファイルにこれらの情報を持たせる態様について説明する。

図１２に、実施形態１の図１に対応する、システム構成の一例を示す図を示す。実施形態１（図１）との違いは、画像ファイル１１１と投影画像ファイル１１２がマルチデバイス画像ファイル１２０１である点である。すなわち実施形態２では、実施形態１で２つに分かれていた画像ファイル１１１、投影画像ファイル１１２を同一のマルチデバイス画像ファイル１２０１とする。単一のデータファイルでありながらカメラ、プリンタ、プロジェクタの複数のデバイスに関わるため、ここではマルチデバイス画像ファイルと呼称する。本実施形態で具体的にマルチデバイス画像ファイル１２０１は、撮影画像処理装置により生成されたＲＡＷデータを含む画像ファイル（の拡張）である。

本実施形態における処理を順に説明する。実施形態１においてもターゲット輝度画像データはＲＡＷデータであったから、Ｓ３０１に係る処理は実施形態１の場合と何ら変わらない。

本実施形態でのＳ３０２のフローチャートを図１３に示す。ただし、Ｓ５０１〜Ｓ５０４の処理は、実施形態１の処理と同じである。Ｓ５０４の後、本実施形態ではＳ１３０１を行う。Ｓ１３０１では、Ｓ５０５と同様の考え方で輝度情報ＸＹＺを求める際の、センサ信号値と輝度情報とを結びつける具体的な対応値を撮影時カメラ設定情報としてＲＡＷファイルに追加記録する。この対応値は、センサ信号値のいくつがＸＹＺのいくつに相当するかを示す値である。センサ信号値ＲＧＢとＸＹＺの１：１の入出力曲線を規定する点の情報か、もしくはセンサの相互作用を考慮する場合は変換行列か、もしくは信号値ＲＧＢとＸＹＺのＬＵＴ形式のデータ等の形式とすることができる。これがマルチデバイス画像ファイル１２０１となる。その後Ｓ５０６を実行し、次いでＳ１３０２を行う。Ｓ１３０２では、投影画像ファイル生成部４１２が、実施形態１と同様のプリント時情報に加え、プリント設定に基づくプリント特性ＬＵＴをプリント時情報としてマルチデバイス画像ファイル１２０１に記録する。

Ｓ１３０１を経たマルチデバイス画像ファイル１２０１の構成を図１４に示す。この段階でのマルチデバイス画像ファイル１２０１は、撮影時のカメラ設定情報１４０１、カメラのセンサ信号値１４０２、レタッチ情報１４０３、プリント特性ＬＵＴを含むプリント時情報１４０４を有する。カメラ設定情報１４０１にはＳ１３０１で取得した信号値と輝度情報の値の対応関係を含む。レタッチ情報１４０３はＳ５０２で決定したもの、プリント時情報１４０４はＳ１３０４で記録したものである。なお、一般的なＲＡＷデータを含む画像ファイルにも、明示的な信号値−輝度情報の対応関係を除く撮影時カメラ設定情報１４０１とセンサ信号値１４０２は撮影時に記録されている。すなわち、信号値−輝度情報の対応関係については、カメラ設定によって特定できるので、暗黙的に含まれている。また、ＲＡＷデータに対して現像処理を行際には、ＲＡＷデータが持つセンサ信号値は不変の情報として保持しておき、画像ファイルにその変換処理の過程を追記的に記録することが一般的である。例えば現像処理で用いられたパラメータがセンサ信号値とは別に記録されていて、常にセンサ信号値に対して同じ処理を追再現できるようになっている。このパラメータが本実施形態でレタッチ情報１４０３に相当する。本実施形態では、そのようなＲＡＷデータの情報に対して、新たに明示的な信号値−輝度情報の対応関係と、プリント時情報１４０４を追加して記録し、マルチデバイス画像ファイル１２０１とする。

次いで本実施形態でＳ３０３にて行う処理を図１５のフローチャートに示す。こちらも実施形態１と比較してＳ８０１〜Ｓ８０４の処理と同様である。次いでＳ１５０１に移る。Ｓ１５０１では投影信号値計算部７０４が、センサ信号値１４０２と、Ｓ１３０１で取得したセンサ信号と輝度情報の対応値、Ｓ１３０２で取得したプリント特性ＬＵＴ、Ｓ８０４で取得した投影特性ＬＵＴから、投影信号値画像を取得する。すなわち本実施形態では、必要な情報をマルチデバイス画像ファイル１２０１に集めた上で、投影信号値計算部７０４が、実施形態１のＳ５０５、Ｓ５０７、Ｓ８０５の処理をこのステップで行うことに相当する。こうして投影信号値画像が得られる。この後のＳ８０６〜Ｓ８０８は実施形態１と同じである。

以上説明した通り本実施形態によれば、カメラのセンサ信号値と設定情報を持つＲＡＷファイルに対して、輝度との対応値と、プリンタに関する情報であるプリント時情報を付加して、投影画像ファイルとした。これにより、撮影、プリント、投影の各処理を１つの電子ファイルで行うことができるようになる。その結果、画像の数を減らして管理を行いやすくし、ファイル管理負荷の軽減に貢献する。また、撮影時の輝度情報とプリント用のレタッチ画像、投影用の輝度画像が分かれていた実施形態１とは異なり、例えば重畳表示の段階でコンテンツ制作者の意図した再現と異なっていた場合などに、プリントや輝度情報に遡って確認することが可能である。センサ信号値にレタッチ情報で処理したものはプリント用のレタッチ画像となるため、本投影データファイルを用いてプリントを再度行うこともできる。このように、ユーザに種々のメリットをもたらす効果がある。

＜実施形態２の変形例＞
実施形態２では、カメラのセンサ信号値と設定情報を持つＲＡＷファイルに輝度との対応値とプリント時情報を付加して、画像ファイルとする態様を説明した。実施形態２においても、実施形態１と同様に、プリント時情報を複数持ち、プリントのバリエーションに対応できるようにしてもよい。この場合のマルチデバイス画像データ１２０１の構成を図１６に示す。図１６で、撮影時カメラ設定情報１４０１、センサ信号値１４０２、レタッチ情報１４０３、プリント時情報１４０４は図１４で説明したものと同一である。同じＲＡＷデータを基にレタッチ、プリントを行う場合に、実施形態１の変形例と同様に、投影画像ファイル生成部４１２は、そのレタッチ情報１６０１、プリント時情報１６０２を追記的に記録する。レタッチ情報１６０１とプリント時情報１６０２は１つのセットであり、レタッチ情報１４０３とプリント時情報１４０４のセットと同じ関係である。またレタッチ情報１４０３とレタッチ情報１６０１は共にセンサ信号値１４０２に作用してレタッチ画像を生成する情報である。図１６ではこれらの関係を、各々を結ぶ実線で示している。ただし本実施形態では、記録上は実施形態１の変形例と同様に先に記録されたレタッチ情報１４０３との差分情報として記録している。そのため、完全に独立しているわけではなく、レタッチ情報１６０１を用いたレタッチ画像の再現処理の際にはレタッチ情報１４０３も併せて参照されることに注意されたい。このようなデータの構成にすることで、プリントのバリエーションがある場合にも、ファイル数の増大を抑制することができる。

以上説明した実施形態では、プリント用に画像のレタッチを行ってきたが、再現しようとするターゲット輝度を編集することも考えられる。例えば、撮影した実シーンの高輝度部をより高い輝度にしたり、高輝度の領域を拡大したり、周囲とのコントラストを大きくしたりすることで、実シーン以上に注意を引くターゲット輝度画像を作成することができる。これは、ＲＡＷファイルに保持されたセンサ信号値（ＲＡＷデータ）は不変としたまま、得られたターゲット輝度情報にガンマ処理などの編集を施すことによって実現できる。

このような輝度に対する編集作業を、輝度情報に対するレタッチ情報としてプリント画像に対するレタッチ情報とは別に、ＲＡＷデータに付与してもよい。例えばガンマ処理であれば、センサ信号値（輝度情報を表す）に対してどのようなガンマカーブを適用したのかを表す情報がレタッチ情報に当たる。この場合のマルチデバイス画ファイル１２０１の構成を図１７に示す。輝度情報に対するレタッチ情報１７０１、１７０２以外は図１６で説明した例と同じである。

ここで、Ｓ５０２では、ユーザがターゲット輝度情報に対するレタッチ作業と、プリント画像のレタッチ作業を行う。Ｓ５０３では、ユーザからプリント指示があると、投影画像ファイル生成部４１２が、プリント画像に対するレタッチ情報と輝度情報に対するレタッチ情報を、登録済みのレタッチ情報に対し追記的に記録する。この輝度情報に対するレタッチ情報１７０１をセンサ信号値に作用することによってターゲット輝度情報を再現し、プリント情報に対するレタッチ情報１４０３をセンサ信号値に作用することでプリント用画像を再現するものである。Ｓ１５０１では、前述の実施形態に加え輝度情報に対するレタッチ情報を参照し、輝度情報を求める。

このようなデータの構成にすることで、同一シーンにおいて再現しようとするターゲット輝度情報にバリエーションがある場合にも、同じファイルを用いて管理することができ、ファイル数が増え、管理が煩わしくなるのを抑制することができる。

本実施形態ではプリント時情報の一部としてプリント特性ＬＵＴを付与する例について述べた。しかし、投影時に投影画像処理装置１０９がネットワーク等を介してプリント特性のデータベースにアクセスでき、プリント設定に対応するプリント特性ＬＵＴを取得できるとすれば、プリント特性ＬＵＴを付与することは必須ではない。この場合には、Ｓ１３０２ではプリント特性ＬＵＴを除くプリント時の設定情報を持たせておく。Ｓ１５０１でその設定情報をキーとして、プリント特性のデータベースにアクセスして、対応するプリント特性ＬＵＴを取得して、投影信号値画像を求めることができる。このような形式を取ってもよい。

＜その他の実施形態＞
本発明は上記説明したものに限らず、各実施形態で説明した要素や概念を組み合わせて実施してもよい。

上記の実施形態において、画像は１枚の静止画像を前提として説明してきた。しかし、重畳表示の投影に用いる時系列に紐づけられた複数の画像から成る画像データ、あるいは動画データであっても、本実施形態を好適に適用できる。

上述の実施形態では説明の便宜上、本質的でない画像処理についてはその記載を省略した。実施に当たってはそれらを上述の処理に加えて行ってもよい。例えば、撮影、プリント、投影の各デバイス間で解像度が異なる為、画像データに適当な解像度変換を行うことはこの一例である。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１２ 投影画像ファイル
６０１ プリント時情報
６０２ 投影輝度情報
４１２ 投影画像ファイル生成部
７０２ 提示部

Claims (11)

1. 印刷物に画像を投影する投影装置が用いる画像ファイルを作成する画像処理装置であって、
   入力画像と、前記入力画像に基づいて前記印刷物を出力する画像形成装置の特性に基づいて、前記投影装置がターゲットとするデバイス非依存な輝度の値を示す画像情報を取得する第１の取得手段と、
   前記画像形成装置に関する情報を取得する第２の取得手段と、
   前記画像情報と前記画像形成装置に関する情報を１つの画像ファイルに格納し、前記画像ファイルを前記投影装置に出力するファイル生成手段と、を有することを特徴とする画像処理装置。
2. 前記第１の取得手段は、前記画像形成装置の特性に基づいて前記印刷物の反射率を算出し、前記入力画像と前記反射率とを用いて前記画像情報を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の取得手段は、前記画像形成装置の名称、前記画像形成装置が前記印刷物を出力した時の日時、前記印刷物に用いられた記録媒体の種類、前記画像形成装置が前記印刷物を出力した時の印刷の設定の少なくともいずれか１つを含む情報を、前記画像形成装置に関する情報として取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の取得手段は、前記入力画像から算出される輝度情報から、前記反射率を除算することで、前記画像情報を生成することを特徴とする請求項２に記載の画像処理装置。
5. 前記第２の取得手段は、複数の印刷物に対応する前記画像形成装置に関する情報を取得し、
   前記ファイル生成手段は、前記複数の印刷物に対応する前記画像形成装置に関する情報を前記画像ファイルに格納することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記第２の取得手段は、前記画像形成装置が出力する際に用いた画像を縮小したサムネイル画像を取得し、
   前記ファイル生成手段は、前記サムネイル画像を前記画像ファイルに格納することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 印刷物に画像を投影する投影装置のための画像処理を実行する画像処理装置であって、
   前記投影装置に投影させる画像に関する画像情報と、前記印刷物に関する情報を含む画像ファイルを取得する取得手段と、
   前記画像ファイルから読み出した前記画像情報と前記印刷物に関する情報とを対応付けて提示する提示手段と、
   前記提示手段を介して、ユーザによる前記投影装置に投影させる画像ファイルの選択を受け付ける受け付け手段と、
   前記受け付け手段が受け付けた画像ファイルに含まれる前記画像情報を、前記投影装置に出力する出力手段を有することを特徴とする画像処理装置。
8. コンピュータを請求項１乃至７の何れか一項に記載の画像処理装置として機能させるためのプログラム。
9. 印刷物に画像を投影する投影装置が用いる画像ファイルを作成する画像処理方法であって、
   入力画像と、前記入力画像に基づいて前記印刷物を出力する画像形成装置の特性に基づいて、前記投影装置がターゲットとするデバイス非依存な輝度の値を示す画像情報を取得し、
   前記画像形成装置に関する情報を取得し、
   前記画像情報と前記画像形成装置に関する情報を１つの画像ファイルに格納し、前記画像ファイルを前記投影装置に出力することを特徴とする画像処理方法。
10. 印刷物に画像を投影する投影装置のための画像処理を実行する画像処方法であって、
    前記投影装置に投影させる画像に関する画像情報と、前記印刷物に関する情報を含む画像ファイルを取得し、
    前記画像ファイルから読み出した前記画像情報と前記印刷物に関する情報とを対応付けて提示し、
    ユーザによる前記投影装置に投影させる画像ファイルの選択を受け付け、
    前記受け付けた画像ファイルに含まれる前記画像情報を、前記投影装置に出力することを特徴とする画像処理方法。
11. 印刷物に画像を重畳するように投影するためのデータを含む画像ファイルであって、
    入力画像と、前記入力画像に基づいて前記印刷物を出力する画像形成装置の特性に基づいて算出された、前記投影装置がターゲットとするデバイス非依存な輝度の値を示す画像情報と、前記画像形成装置に関する情報とを含み、
    投影装置に前記印刷物に対して投影させる画像を生成するために、前記画像情報が用いられることを特徴とする画像ファイル。

Images