以下に添付図面を参照して、表示処理装置、表示処理方法、及びプログラムの実施の形態を詳細に説明する。
図1は、本実施の形態の表示処理装置10の模式図である。
表示処理装置10は、プレビュー画像の表示を制御する装置である。表示処理装置10は、携帯可能な携帯端末であってもよいし、固定型の端末であってもよい。
表示処理装置10は、撮像部12、制御部14、記憶部16、入力部18、及び表示部20を備える。撮像部12、制御部14、記憶部16、入力部18、及び表示部20は、バス22により電気的に接続されている。
なお、表示処理装置10は、少なくとも制御部14及び記憶部16を備えた構成であればよく、撮像部12、入力部18、及び表示部20の少なくとも1つを別体として設けた構成であってもよい。
撮像部12は、プレビュー画像を表示する実空間における表示環境を撮像する。これによって、撮像部12は、実空間における表示環境の撮像画像として背景画像を取得する。プレビュー画像を表示する実空間の表示環境は、例えば、オフィス、展示会場、駅の構内、駅のホーム、各種建物内等である。撮像部12は、公知の撮像装置である。
また、撮像部12は、実空間に設置された照明の撮像画像として第1照明画像を取得する。照明は、実空間に設置された直接照明や間接照明等である。これらの照明を撮像部12で撮像すると、撮像部12の自動露出機能により、照明本体や正面から出射した光の反射率の高い領域ほど輝度が高く、照明以外の領域や反射率の低い領域ほど輝度の低い第1照明画像が得られる。なお、撮像部12の撮像により得られた撮像画像(背景画像、第1照明画像)は、制御部14において予め定めた大きさ(解像度)となるように拡大または縮小された後に、記憶部16に記憶される。撮像部12は、ユーザによる入力部18の操作指示によって撮像が指示されることで、実空間における表示環境の撮像、及び照明の撮像を行い、背景画像、及び第1照明画像を得る。
入力部18は、ユーザから各種操作を受け付ける。入力部18は、例えば、マウス、マイクによる音声認識、ボタン、リモコン、及びキーボード等である。
表示部20は、各種画像を表示する。表示部20は、LCD(Liquid Crystal Display)や、画像を投影するプロジェクタ等、公知の表示装置である。本実施の形態では、表示部20には、後述するプレビュー画像が表示される。
制御部14は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)などを含んで構成されるコンピュータである。制御部14は、表示処理装置10に設けられた装置各部を制御する。
記憶部16は、メモリやハードディスクドライブ装置(HDD)等の記憶媒体であり、後述する各処理を実行するための各種プログラムや、各種データを記憶する。
図2は、制御部14の機能構成を示すブロック図である。制御部14は、第1取得部40、生成部42、第3取得部44、表示制御部46、及び第2取得部48を備える。
表示制御部46は、原稿データのプレビュー画像を表示部20へ表示する制御を行う。本実施の形態では、プレビュー画像は、背景画像上に、原稿データ等を編集した画像の表示された表示面を重ねた画像である(詳細後述)。表示制御部46は、例えばOpenGL(Open Graphics Library)などの3Dエンジンにより実現される。なお、表示制御部46については詳細を後述する。
背景画像は、プレビュー画像を表示する実空間における表示環境の撮像画像である。背景画像上に重ねる表示面は、本実施の形態では、原稿表示面である。原稿表示面は、原稿データの表示された原稿面に、第1照明画像の補正処理によって生成された第2照明画像を環境マッピングした画像である。また、原稿表示面には、表示環境における光属性が設定される。原稿表示面及びプレビュー画像は、後述する制御部14によって生成される(詳細後述)。
本実施の形態では、プレビュー画像は、仮想空間に背景画像を配置し、背景画像上の三次元空間上に原稿表示面を配置した三次元モデルを、二次元面に投影した画像である場合を説明する。
3次元モデルは、表示部20の表示画面の横方向をx軸、上下方向をy軸、表示画面に垂直な方向をz軸とする。なお、プレビュー画像は、背景画像、及び原稿表示面を二次元空間に配置した二次元モデルであってもよい。
また、本実施の形態では、プレビュー画像は、背景画像上に、原稿表示面を配置した画像である場合を説明するが、少なくとも背景画像上に原稿表示面を配置した画像であればよく、更に、他の表示面を含んだ画像であってもよい。
他の表示面としては、例えば、無色の現像剤を用いて形成する透明画像の表示された表示面や、無色の現像剤を用いて紙に与える表面効果を規定した表面効果画像の表示された表示面等が挙げられるが、これらに限られない。
プレビュー画像が、複数の表示面を含む場合には、プレビュー画像は、これらの複数の表示面を、z軸方向に沿ってz軸方向に異なる位置に配置した画像とすればよい。
第1取得部40は、表示環境情報を取得する。
表示環境情報は、プレビュー画像表示時の、実空間における表示環境を示す情報である。具体的には、表示環境情報は、実空間の撮像画像である背景画像、実空間における照明の撮像画像である第1照明画像、及び光源情報を含む。
第1取得部40は、記憶部16から表示環境情報を取得する。具体的には、第1取得部40は、新たな表示環境情報の登録指示がユーザによる入力部18の操作指示によって入力されると、撮像部12から背景画像及び第1照明画像を取得し、記憶部16に記憶する(詳細後述)。また、ユーザによる入力部18の操作指示によって、記憶部16に記憶されている表示環境情報の内の1つが選択されると、第1取得部40は、選択された表示環境情報を記憶部16から取得する。
光源情報は、プレビュー画像表示時の、実空間の表示環境における光属性を示す。光源情報は、詳細には、プレビュー画像表示時の光を演出するための光源と反射を特定するための情報である。光源情報は、具体的には、光源種、鏡面光の強度、拡散光の強度、環境光の強度、色温度、及び光源位置を含む。本実施の形態では、表示環境に対応する光源情報が、ユーザによる入力部18の操作指示によって入力され、記憶部16に記憶される。第1取得部40は、プレビュー画像を表示する表示環境に対応する光源情報を記憶部16から取得する。
第3取得部44は、質感情報を取得する。質感情報とは、プレビュー画像表示時に用いる質感(視覚的な効果)を示す情報である。本実施の形態では、第3取得部44は、画像形成対象の紙の紙質の種類を、質感情報として取得する。
紙質の種類は、ユーザによる入力部18の操作指示によって入力される。
紙質の種類は、画像形成された紙を視認したときに、紙質の違いがユーザによって確認される程度に異なる種類毎に予め定められている。本実施の形態では、紙質の種類には、ミラーコート紙、グロス紙、マット紙等があるが、これら以外の種類を含んでいてもよい。
例えば、プレビュー画像生成前に、制御部14が表示部20に紙質の種類の設定画面を表示する。そして、ユーザによるユーザによる入力部18の操作指示によって、表示部20に表示された紙質の種類の選択画面が選択されると、制御部14は、予め登録された複数種類の紙質の種類を選択するための選択画面(図示省略)を表示部20に表示する。そして、ユーザによる入力部18の操作指示によって、画像形成対象の紙の紙質種が選択されると、画像形成対象の紙の紙質種を示す情報が、入力部18から制御部14へ出力される。制御部14の第3取得部44では、入力部18から、紙質の種類を示す情報を質感情報として取得する。
第3取得部44は、取得した質感情報に対応する照明変換情報及び反射情報を記憶部16の質感情報テーブルから読み取る。そして、第3取得部44は、読取った照明変換情報を生成部42へ出力し、反射情報を表示制御部46へ出力する。
図3は、記憶部16に記憶されている質感情報テーブルのデータ構造の一例を示す模式図である。
質感情報テーブルは、質感情報名と、補正情報と、を対応づけたテーブルである。補正情報は、第1照明画像の補正時に用いられる。補正情報は、照明変換情報と、反射情報と、を含む。質感情報名は、質感情報を一意に識別する識別情報である。
照明変換情報とは、第1照明画像を、質感情報(すなわち、画像形成対象の紙の紙質の種類)に応じた質感となるように補正するときに用いる情報である。本実施の形態では、照明変換情報は、ぼかしパラメータと、ガンマ補正値と、を含む。
ぼかしパラメータは、後述する生成部42が第1照明画像に対してガウシアンフィルタ処理を行うときに用いるパラメータである。ガンマ補正値は、後述する生成部42がガンマ補正を行うときに用いる補正値である。
反射情報は、質感情報(すなわち、画像形成対象の紙の紙質の種類)に応じた質感を表現するために用いる情報である。反射情報は、鏡面反射、拡散反射、環境反射、自発光、及び鏡面反射指数を含む。鏡面反射は、鏡面反射の反射強度を示す。拡散反射は、拡散反射の反射強度を示す。環境反射は、環境反射の反射強度を示す。
自発光は、物体が自ら発光する光の光量を示す。なお、自発光に示される光量は、通常のプレビュー画像表示においては用いないが、画像形成対象の紙が蛍光増白剤を多く含む紙質の種類である場合には、演出として用いてもよい。
鏡面反射指数は、プレビュー画像における、三次元空間上に疑似的に配置した表示面と、表示制御部46でサポートしている光源と、の距離に応じて光量の減衰を制御するためのパラメータである。
なお、本実施の形態では、質感情報毎の補正情報が予め設定され、記憶部16の質感情報テーブルに予め記憶している。なお、詳細は後述するが、新たな質感情報がユーザによる入力部18の操作指示によって設定された場合には、制御部14は、質感情報テーブルを更新する。
また、質感情報テーブルに設定されている反射情報は、後述する表示制御部46でサポートしている光源を利用する場合を想定して設定される。すなわち、表示されるプレビュー画像に含まれる表示面の色や明るさは、表示制御部46により実現可能な光源の強さと各表示面に設定された反射率によって異なるものとなる。このため、本実施の形態では、1つの質感情報に対して、1つの補正情報を対応づける。
このため、本実施の形態では、実空間の表示環境に対応する質感情報を、1つの表示環境に対して複数用意する必要はない。また、本実施の形態では、生成部42で生成された第2照明画像を環境マッピングするときには、後述する光源情報によって特定される鏡面光の反射強度や拡散光の反射強度等を、予め設定されている値より低く設定する。これは、生成した第2照明画像以外に、表示制御部46でサポートしている光源による反射光が表示面に強く映り込むことを抑制するためである。
図2に戻り、第2取得部48は、画像形成対象の原稿データを取得する。原稿データは、紙に印刷する対象の画像を示す画像データである。
生成部42は、第1取得部40から第1照明画像を取得する。また、生成部42は、第3取得部44から、画像形成対象の紙の紙質の種類(質感情報)に対応する照明変換情報を取得する。
そして、生成部42は、取得した第1照明画像を、取得した照明変換情報を用いて補正し、第2照明画像を生成する(詳細後述)。
表示制御部46は、プレビュー画像を生成すると共に、表示部20に表示する制御を行う。表示制御部46は、第1取得部40から背景画像及び光源情報を受けつける。また、表示制御部46は、生成部42から第2照明画像を受け付ける。また、表示制御部46は、第3取得部44から、画像形成対象の紙の紙質の種類(質感情報)に対応する反射情報を受け付ける。
そして、表示制御部46は、背景画像上に、原稿データ等を編集した画像の表示された表示面を重ねた画像をプレビュー画像として、表示部20へ表示する制御を行う。
次に、表示処理装置10の制御部14が実行する表示処理の手順を説明する。
図4は、制御部14が実行する表示処理の手順を示すフローチャートである。
まず、第2取得部48が、原稿データを取得する(ステップS100)。次に、第3取得部44が、質感情報取得処理を実行する(ステップS102)。
第3取得部44は、入力部18から、ユーザの操作指示によって入力された画像形成対象の紙の紙質の種類を質感情報として受け付ける。そして、第3取得部44は、受け付けた質感情報及び該質感情報に対応する補正情報が、記憶部16の質感情報テーブルに格納されている場合には、該補正情報を読取る。
第3取得部44は、読取った補正情報に含まれる照明変換情報を生成部42へ出力し、読取った補正情報に含まれる反射情報を表示制御部46へ出力する。
一方、入力部18から受け付けた質感情報が記憶部16の質感情報テーブルに格納されていない場合には、第3取得部44は、質感情報の登録処理を実行する。
詳細には、第3取得部44は、入力部18から受け付けた質感情報を質感情報テーブルに登録すると共に、質感情報テーブルに格納されている補正情報登録済の質感情報名の一覧と、新規の補正情報入力を指示するための指示ボタンと、を表示部20に表示する制御を行う。そして、ユーザによる入力部18の操作指示によって、登録済の質感情報名の内の1つが選択された場合、選択された質感情報名に対応する補正情報を、新たに登録した質感情報名に対応づけて質感情報テーブルに格納する。
一方、ユーザによる入力部18の操作指示によって、新規の補正情報入力を指示するための指示ボタンが操作された場合、第3取得部44は、補正情報の入力を促す画面を表示部20に表示する制御を行う。そして、ユーザによる入力部18の操作指示によって、補正情報が入力されると、第3取得部44は、入力された補正情報を、新たに登録した質感情報名に対応づけて質感情報テーブルに格納する。
そして、第3取得部44は、格納した補正情報に含まれる照明変換情報を生成部42へ出力し、該補正情報に含まれる反射情報を表示制御部46へ出力する。
図4に戻り、次に、第1取得部40が、表示環境情報取得処理を実行する(ステップS104)。第1取得部40は、入力部18から表示環境を一意に識別するための表示環境名を取得する。表示環境名は、ユーザによる入力部18の操作指示によって入力される。ユーザは、プレビュー画像表示対象の実空間の表示環境の表示環境名を、入力部18の操作指示によって入力する。
なお、本実施の形態では、第1取得部40は、表示環境名を取得する場合を説明するが、表示環境を一意に識別する識別情報を取得すればよく、取得する情報は表示環境名に限られない。
そして、第1取得部40は、取得した表示環境名が記憶部16の表示環境テーブルに登録されている場合には、取得した表示環境名に対応する表示環境情報を、記憶部16に格納されている表示環境テーブル及び光源情報テーブルから読み取ることで、表示環境情報を取得する。
図5は、表示環境テーブルのデータ構造の一例を示す模式図である。
図5に示すように、記憶部16は、表示環境名と、背景画像と、第1照明画像と、光源情報名と、を対応づけて表示環境テーブルに格納している。光源情報名は、対応する表示環境名によって特定される表示環境における光属性を示す光源情報を一意に識別するための識別情報である。
図6は、光源情報テーブルのデータ構造の一例を示す模式図である。
図6に示すように、光源情報テーブルは、光源情報名と、光源情報と、を対応づけたテーブルである。
なお、光源種は、鏡面反射として光源画像を利用するか、それとも表示制御部46で用意されている光源(スポット光)を利用するかを示している。本実施の形態では、光源種「1」は、鏡面反射として、生成した第2照明画像を利用することを示す。また、光源種「0」は、鏡面反射として、表示制御部46で用意されている光源(スポット光)を利用することを示す。なお、光源種には、仮想空間の光源の種類に応じた値を割り当ててもよい。
なお、光源種に「1」が設定されている場合であっても、本実施の形態では、表示制御部46は、3Dエンジンで用意されている仮想光源を利用する。このため、光源種「1」の場合、主に、対応する鏡面光には、鏡面光無しを示す「0」が設定されている。
また、光源情報に含まれる、鏡面光、拡散光、環境光、及び色温度としては、プレビュー画像を表示する表示環境に応じて、該表示環境を表現可能な値を設定する。光源位置は、仮想空間上において、原稿表示面の真上に相当する位置に予め設定してもよいし、プレビュー画像を視認する観察者の視点位置に応じて、鏡面光や拡散光の発生しやすい位置に予め設定してもよい。
図4に戻り、第1取得部40は、入力部18から取得した表示環境名が記憶部16の表示環境テーブルに登録されている場合には、取得した表示環境名に対応する表示環境情報を、記憶部16に格納されている表示環境テーブル及び光源情報テーブルから読み取ることで、表示環境情報を取得する。
一方、第1取得部40は、取得した表示環境名が記憶部16の表示環境テーブルに登録されていない場合には、図7に示す登録処理を実行した後に、取得した表示環境名に対応する表示環境情報を記憶部16の表示環境テーブル及び光源情報テーブルから取得する。
まず、第1取得部40が、入力部18から、記憶部16に登録されていない表示環境名を取得したとする(ステップS200)。次に、第1取得部40は、撮像部12から背景画像を取得する(ステップS202)。なお、第1取得部40は、表示部20に、記憶部16に登録済の背景画像の一覧を表示し、ユーザによる入力部18の操作指示によって、一つの背景画像が選択されたときに、選択された背景画像を、ステップS200で取得した表示環境名に対応する背景画像として取得してもよい。
次に、第1取得部40は、撮像部12から第1照明画像を取得する(ステップS204)。なお、第1取得部40は、表示部20に、記憶部16に登録済の第1照明画像の一覧を表示し、ユーザによる入力部18の操作指示によって1つの第1照明画像が選択されたときに、選択された第1照明画像を、ステップS200で取得した表示環境名に対応する第1照明画像として取得してもよい。
次に、第1取得部40は、入力部18から光源情報を取得する(ステップS206)。例えば、第1取得部40は、表示部20に光源情報の入力を行うための設定画面を表示する。そして、ユーザによる入力部18の操作指示によって、設定画面に表示された光源情報の入力欄にパラメータが入力されることで、光源情報が入力される。そして、第1取得部40は、入力された光源情報を入力部18から受け付けることで、光源情報を取得する。
なお、第1取得部40は、表示部20に、記憶部16に登録済の光源情報の一覧を表示し、ユーザによる入力部18の操作指示によって1つの光源情報が選択されたときに、選択された光源情報を、ステップS200で取得した表示環境名に対応する光源情報として取得してもよい。
そして、第1取得部40は、ステップS202〜ステップS206で取得した背景画像、第1照明画像、及び光源情報名を、ステップS200で取得した表示環境名に対応づけて表示環境テーブルに登録すると共に、ステップS206で取得した光源情報を、該光源情報名に対応づけて光源情報テーブルに登録する(ステップS208)。なお、光源情報名には、各光源情報を一意に識別可能な情報を付与すればよい。そして本ルーチンを終了する。
図4に戻り、次に、生成部42が第2照明画像生成処理(詳細後述)を実行する(ステップS106)。次に、表示制御部46が、プレビュー画像の表示制御処理(詳細後述)を実行する(ステップS108)。
次に、表示制御部46は、入力部18から、質感の変更指示、又は、表示環境の変更指示が入力されたか否かを判断する(ステップS110)。例えば、表示制御部46は、入力部18から、前回取得した紙質の種類とは異なる種類を受け付けたか否か、または表示環境の変更指示を受け付けたか否か、を判別することによって、ステップS110の判断を行う。
ステップS110で肯定判断すると(ステップS110:Yes)、上記ステップS102へ戻る。一方、ステップS110で否定判断すると(ステップS110:No)、本ルーチンを終了する。
次に、生成部42が実行する照明画像生成処理(図4中、ステップS106参照)の詳細を説明する。
図8は、生成部42が実行する照明画像生成処理の手順を示すフローチャートである。
まず、生成部42は、第1取得部40で取得された第1照明画像を上下反転する上下反転処理を実行する(ステップS300)。図9(A)に示すように、生成部42は、第1照明画像を上下反転処理することで、上下反転した第1照明画像(図9(B)参照)を得る。これは、画像形成対象の紙に映り込む照明の光は、紙などで反射するため、上下が反転した画像となるためである。なお、撮像部12で撮像した第1照明画像は、反射した画像ではない。このため、生成部42は、撮像部12で撮像された第1照明画像の上下を反転する。これにより、第1照明画像は、実際の表示環境下において画像の形成された紙を実際に視認したときに該紙に映り込む、照明からの光の映り込みに近い形状となる。
次に、生成部42は、ぼかし処理を実行する(ステップS302)。ステップS302では、生成部42は、上下反転した第1照明画像(図9(B)参照)に、上記ステップS102で取得した質感情報に対応する照明変換情報に示されるぼかしパラメータを適用し、ガウシアンフィルタ処理を実行する。ぼかしパラメータは、ガウシアンフィルタの縦方向サイズと横方向サイズを規定したデータである。これらのサイズが大きいほど、第1照明画像に比べて大きくボケた、ぼかし画像が得られる(図9(C)参照)。
なお、ぼかし画像の生成時に、質感情報(すなわち、紙質の種類)に対応する照明変換情報に示されるぼかしパラメータを用いる理由は、以下の通りである。すなわち、第1照明画像は、主に、鏡面反射として利用するため、その反射物の性質に依存するためである。たとえば、画像形成対象の紙質の種類がミラーコート紙である場合、第1照明画像は比較的原形を伴ったままシャープな反射画像となる。一方、画像形成対象の紙がマット紙であれば、照明色は判明するが照明の形状は殆ど分からないか、もしくはおぼろげに分かる程度の画像となる。
次に、生成部42は、ぼかし画像の明るさを補正する、明るさ補正処理を実行する(ステップS304)。ステップS304の処理では、生成部42は、上記ステップS102で取得した質感情報に対応する照明変換情報に示されるガンマ補正値を用いて、ぼかし画像の明るさを補正した補正画像を得る(図9(D)参照)。
図10は、ぼかし画像から補正画像への変換の説明図である。ぼかし画像の輝度値のヒストグラムが、図10(A)に示すものであるとする。この場合、ぼかし画像の輝度値を、補正画像の輝度値に変換する関数であるガンマ補正値(図10(B))を用いて補正を行うことで、図10(C)に示す輝度値のヒストグラムを示す補正画像が得られる。
図8に戻り、次に、生成部42は、高輝度化画像生成処理を実行する(ステップS306)。高輝度化画像とは、補正画像を構成する各画素における、色を構成する画素値を定数倍することで、高輝度化した画像である。高輝度化画像の各画素の画素値はRGB値で示される。生成部42は、該RGB値を、下記式(1)により算出する。
高輝度化画像の画素値(R,G,B)=(r×255/α,g×255/α,b×255/α)・・・式(1)
式(1)中、αは、輝度値(アルファ値、またはアルファチャネルともいう)を示す。また、式(1)中、(r,g,b)は、補正画像を構成する各画素の色値(RGB色値)を示す。なお、α=“0”である場合には、画素値は“0”に設定する。
次に、生成部42は、輝度画像生成処理を実行する(ステップS308)。
本実施の形態では、表示制御部46は、生成部42で生成された第2照明画像を利用して、画像形成対象の紙への照明の映り込みを表現する。このとき、表示制御部46は、明るい部分ほど映り込みが大きく、暗い部分ほど映り込みを小さくすることで、照明の映り込みを表現する。このため、生成部42は、より暗い部分については映り込みがほとんど行われないようにするために、補正画像の輝度値を求める。この補正画像を構成する画素毎に式(1)を用いて求めた輝度値によって示される画像が、輝度画像である(図9(E)参照)。
また、生成部42は、補正画像を構成する各画素の画素値から、輝度画像を生成する。具体的には、生成部42は、補正画像を構成する各画素の画素値を、r,g,bとすると、輝度値(α値)を、下記式(2)から求める。
α={r,g,bの中の最大値} ・・・式(2)
生成部42は、補正画像を構成する画素毎に式(2)から求めた輝度値によって示される画像を、輝度画像として生成する(図9(E)参照)。
図8に戻り、次に、生成部42は、合成処理(ステップS310)を実行し、本ルーチンを終了する。
合成処理は、ステップS306で生成した高輝度化画像の各画素の画素値と、ステップS308で生成した輝度画像の各各画素のα値と、を対応する画素毎に合成する処理である。生成部42は、合成処理により、第2照明画像を生成する(図9(G)参照)。なお、図9中、「A」は、α値を示す。
次に、表示制御部46が実行するプレビュー画像の表示処理(図4中、ステップS108)を詳細に説明する。
図11は、表示制御部46が実行する表示制御処理の手順を示すフローチャートである。
まず、表示制御部46は、光源設定を行う(ステップS400)。ステップS400では、表示制御部46は、第1取得部40から取得した、表示環境に対応する光源情報によって特定される光属性を、仮想空間において光を演出するために仮想的に配置する光源の属性として設定する。
次に、表示制御部46が、表示面の法線ベクトルを設定する(ステップS402)。本実施の形態では、表示制御部46は、表示面の法線ベクトル及び配置位置を記憶部16から読み取る。なお、本実施の形態では、表示面の配置位置は予め定められており記憶部16に記憶されているものとする。なお、表示面の表示位置や、プレビュー画像が複数の表示面を含む場合の各表示面の間隔は、ユーザによる入力部18の操作指示によって、任意の間隔に変更可能としてもよい。
次に、表示制御部46は、仮想空間におけるステップS402で設定した位置に、原稿データの表示された原稿面をテクスチャマッピングする(ステップS404)。
次に、表示制御部46は、仮想空間に配置した原稿面に、生成部42で生成された第2照明画像を環境マッピングする(ステップS406)。ここで、上記ステップS400で光源設定が行われることで、仮想空間に配置した原稿面に生成部42で生成された第2照明画像を環境マッピングした表示面には、表示環境に対応する光源情報によって特定される光属性が設定された状態となる。これにより、原稿表示面が生成される。
なお、表示制御部46は、原稿面上に第2照明画像を環境マッピングするときには、原稿面と第2照明画像とのアルファブレンドにより、原稿表示面を生成する。
このため、原稿表示面を構成する各画素の画素値は、α値/255:(1−α値/255)の比率で合成された値となる。このため、原稿表示面の生成時には、下記式(3)によって示される画素値が、第2照明画像の各画素の画素値として利用されることとなる。
α/255×(R,G,B)=α/255×(r×255/α,g×255/α,b×255/α)=(r,g,b) ・・・式(3)
表示制御部46が、上記式(3)を用いて原稿面上に第2照明画像を環境マッピングした原稿表示面を生成することで、原稿表示面には、実空間に配置された照明の明るさと色を原稿表示面に映り込ませることができる。言い換えれば、第2照明画像における黒色領域については、原稿表示面に写りこまないように、環境マッピングすることができる。
さらに、第1照明画像として、グレイスケール画像を用いると、更に画像処理の簡易化を図ることができる。すなわち、高輝度画像は全て白になり、輝度画像がグレイスケール画像になる。第1照明画像において、照明や照明を強く反射している部分は明るく、そのような部分は紙によく映り込み、そうではない部分はかなり暗く、紙にあまり映り込まなくなる。撮像部12の自動露出機能が有効のままで取得された第1照明画像は、照明や照明を強く反射している部分は明るく、そうではない部分はかなり暗くなる。このため、本実施の形態では、第1照明画像には、撮像部12の自動露出機能が有効のままで撮像された第1照明画像を用いることが好ましい。
次に、表示制御部46は、第1取得部40で取得された背景画像を、仮想空間の表示領域に合わせて原稿表示面の背後に配置する(ステップS408)。そして、表示制御部46は、上記処理によって生成された、背景画像上に原稿表示面を重ねた画像を、原稿データの印刷結果を推定したプレビュー画像として表示部20に表示する制御を行う(ステップS410)。そして、本ルーチンを終了する。
図12は、背景画像及び原稿表示面の一例を示す模式図である。
図12に示すように、表示制御部46は、背景画像30と、原稿表示面32と、を重ねたプレビュー画像を生成する。原稿表示面32は、原稿データの表示された原稿面32Aに、第2照明画像32Bを環境マッピングすると共に、表示環境に対応する光源情報によって特定される光属性の設定された画像である。なお、表示環境に対応する光源情報によって特定される光属性とは、例えば、3Dエンジンにおける光源の強度と、原稿の反射率と、法線ベクトル、で特定される属性である。
図13は、プレビュー画像の一例を示す模式図である。
表示制御部46がプレビュー画像を表示部20へ表示する制御を行うことで、例えば図13に示すプレビュー画像を提供することができる。すなわち、視点Pから観察されると、仮想空間内に、実空間の表示環境に対応する光源情報が設定されると共に第2照明画像が環境マッピングされた原稿表示面32を配置すると共に、原稿表示面32の後方に背景画像30を配置したプレビュー画像が生成される。
なお、プレビュー画像が表示部20へ表示された状態で、ユーザによる入力部18の操作指示によって、表示面の回転指示を受け付けた場合、表示制御部46は、プレビュー画像に含まれる原稿表示面の回転制御を行ってもよい。
以上説明したように、本実施の形態の表示処理装置10においては、表示制御部46は、背景画像と、原稿表示面と、を含むプレビュー画像を表示する制御を行う。背景画像は、プレビュー画像を表示する実空間の表示環境の撮像画像である。
原稿表示面は、原稿データの表示された原稿面に、実空間の表示環境に対応する光源情報によって特定される光属性の設定された表示面である。
このように、本実施の形態の表示処理装置10では、プレビュー画像を表示する実空間の背景画像を含むプレビュー画像を提供する。また、本実施の形態の表示処理装置10では、背景画像上に、原稿面に実空間の表示環境に対応する光源情報によって特定される光属性の設定された原稿表示面を重ねたプレビュー画像を提供する。
従って、本実施の形態の表示処理装置10では、プレビュー画像を表示する実空間の表示環境を反映させたプレビュー画像を提供することができる。
また、本実施の形態の表示処理装置10では、実空間の表示環境における照明を撮像した第1照明画像を、画像形成対象の紙の紙質の種類としての質感情報に対応する補正値に基づいて補正した第2照明画像を生成し、第2照明画像を原稿面上に環境マッピングする。
このため、本実施の形態の表示処理装置10では、画像形成対象の紙の紙質の種類にも対応したプレビュー画像を容易に提供することができる。
さらに、本実施の形態の表示処理装置10では、背景画像、第1照明画像、及び光源情報を、ユーザによる入力部18の操作指示によって取得してもよいし、既に記憶部16に記憶されている背景画像、第1照明画像、及び光源情報等を用いて、新たな表示環境情報を生成してもよい。
このため、新たな表示環境情報を容易に設定することができる。
<変形例1>
なお、上記実施の形態では、表示処理装置10が撮像部12を備え、撮像部12から第1照明画像及び背景画像を取得する場合を説明した。しかし、表示処理装置10は、撮像部12を備えない構成であってもよい。
図14は、撮像部12を備えない構成の表示処理装置10Aの一例を示す模式図である。
表示処理装置10Aは、制御部14、記憶部16、入力部18、表示部20、及び通信部24を備える。制御部14、記憶部16、入力部18、表示部20、及び通信部24は、バス22によって電気的にされている。なお、記憶部16、入力部18、及び表示部20は、上記実施の形態と同様である。
通信部24は、ネットワーク29を介して外部記憶装置26と信号授受を行う通信インターフェースである。ネットワーク29には、表示処理装置10A、外部記憶装置26、及びPC(パーソナルコンピュータ)28が接続されている。
外部記憶装置26は、表示処理装置10Aがプレビュー画像を表示する対象となる様々な表示環境の背景画像、及び第1照明画像を予め記憶する。表示処理装置10Aでは、通信部24及びネットワーク29を介して外部記憶装置26から背景画像及び第1照明画像を読取ることにより、これらを取得すればよい。
このように、表示処理装置10Aは、外部装置から、背景画像及び第1照明画像を取得してもよい。
<変形例2>
なお、上記実施の形態の表示処理装置10で行っていた処理の一部を、表示処理装置10とネットワーク等を接続されたクラウド上の一以上の装置で行ってもよい。
図15は、クラウドを備えた表示処理システムの一例を示す模式図である。
図15に示すように、表示処理システムは、表示処理装置10B、及びサーバ装置54がネットワーク52により接続された構成である。
表示処理装置10Bは、撮像部12、制御部14A、記憶部16、入力部18、表示部20、及び通信部50を備える。撮像部12、制御部14A、記憶部16、入力部18、表示部20、及び通信部50は、バス22で接続されている。なお、撮像部12、記憶部16、入力部18、及び表示部20は、上記実施の形態と同様である。
制御部14Aは、表示制御部46を備える。制御部14Aは、第1取得部40、生成部42、第3取得部44、及び第2取得部48を備えない構成である以外は、上記実施の形態と同様である。
サーバ装置54は、クラウド上の位置の装置である。サーバ装置54は、上記で説明した第1取得部40、生成部42、第3取得部44、及び第2取得部48を備える。これらの各部の機能は、上記実施の形態と同様である。
なお、上記実施の形態と異なる点は、本変形例においては、第1取得部40、生成部42、第3取得部44、及び第2取得部48の処理をサーバ装置54上で実行し、取得した各種情報を、サーバ装置54から表示処理装置10Bへ送信する点である。また、表示処理装置10Bにおける制御部14Aの表示制御部46は、サーバ装置54から取得した各種情報から、プレビュー画像の生成及び表示制御を行う。
なお、サーバ装置54が行う処理は本例に限定されるものではなく、サーバ装置54は、本実施の形態にかかる画像形成システムが行う処理の一部を行うことができる。
また、画像形成システムは、2以上のサーバ装置を備えてもよい。この場合には、実施の形態にかかる画像形成システムが行う処理の一部を、各サーバ装置に分散させる。さらに、各サーバに分散させる処理については、任意に設定することができる。
次に、上述した表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54のハードウェア構成について説明する。
図16は、表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54のハードウェア構成図である。表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54は、ハードウェア構成として、装置全体を制御するCPUなどの制御装置2901と、各種データや各種プログラムを記憶するROMやRAMなどの主記憶装置2902と、各種データや各種プログラムを記憶するHDDなどの補助記憶装置2903と、キーボードやマウス等の入力装置2905と、ディスプレイ装置等の表示装置2904とを主に備えており、通常のコンピュータを利用したハードウェア構成となっている。
上記実施の形態の表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。
また、上記実施の形態の表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、上記実施の形態の表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
上記実施の形態の表示処理装置10、表示処理装置10A、表示処理装置10B、及びサーバ装置54で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。