JP2021124767A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ハイダイナミックレンジ（ＨＤＲ）画像を表すＨＤＲデータに基づいて印刷出力を行う際の画質の劣化を防ぐ画像処理装置を提供する。
【解決手段】画像処理装置は、ハイダイナミックレンジ（ＨＤＲ）画像を表すＨＤＲデータに対してターゲットとなる輝度情報を設定し、印刷を行うための印刷情報を取得する。ターゲットとなる輝度情報が設定されたＨＤＲデータの輝度のダイナミックレンジを、印刷情報に基づき印刷が行われるダイナミックレンジに変換する。
【選択図】図３

Description

本発明は、ハイダイナミックレンジデータを処理可能な画像処理装置、画像処理方法およびプログラムに関する。

特許文献１には、高ダイナミックレンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ：ＨＤＲ）の静止画ＨＤＲデータの輝度ダイナミックレンジを、それより狭い印刷用紙の反射輝度で決まるダイナミックレンジの静止画データに変換することが記載されている。ＨＤＲデータは、動画や静止画などの撮像データとして用いられ、ＨＤＲデータを表示するディスプレイでは、表示可能な最大輝度が向上しており、画像のハイライト側からシャドウ側までを同時に高画質に表示することが可能となっている。

ところで、ＨＤＲデータの映像伝達関数としては、例えばＩＴＵ−Ｒ（国際電気通信連合無線通信部門）の勧告ＢＴ．２１００（非特許文献１）において、Ｈｙｂｒｉｄ Ｌｏｇ Ｇａｍｍａ（ＨＬＧ）とＰｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚａｔｉｏｎ（ＰＱ）の２つが規定されている。伝達関数では、映像の伝達において階調の不連続性が視覚的に検知されないように伝達関数とビット数が定義されている。

映像方式は、撮像側での光−電気伝達関数（Ｏｐｔｏ−Ｅｌｅｃｔｒｏｎｉｃ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＯＥＴＦ）、表示側での電気−光伝達関数（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＥＯＴＦ）、シーン光から表示光の総合特性を表す光−光伝達関数（Ｏｐｔｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＯＯＴＦ）で規定されている。

ＨＬＧ方式は、黒から白の間を相対的な階調として扱い、上記撮像側のＯＥＴＦを規定する方式である。表示側のＥＯＴＦは、ＯＥＴＦの逆関数とシーン光から表示光の総合特性を表すＯＯＴＦで構成される。ＨＬＧ方式では、ＯＯＴＦの特性を決定するシステムガンマは、輝度成分にのみ適用される。また、システムガンマは、最大輝度値が異なるディスプレイでの見えの違いを考慮してディスプレイの輝度に応じて決定される。また、ＰＱ方式は、表示側の輝度を最大１００００ｃｄ／ｍ^２の絶対値で表し、上記表示側のＥＯＴＦを規定する方式である。撮像側のＯＥＴＦは、ＯＯＴＦとＥＯＴＦの逆関数から構成される。

一方、印刷出力のダイナミックレンジは、ＨＤＲデータのダイナミックレンジに比べて狭い場合が多い。近年、表示輝度レンジの広いＨＤＲディスプレイが登場するまでは、標準ダイナミックレンジ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ：ＳＤＲ）のディスプレイが主流であった。従来、ＳＤＲデータをディスプレイに表示する際の最大輝度値は１００ｃｄ／ｍ^２固定で考えることが通常であった。それに対して、ＨＤＲデータをディスプレイに表示する輝度の最大値は、ＨＤＲデータが規定する輝度やＨＤＲディスプレイの最大輝度値によって可変である。

国際公開第２０１８／０９２７１１号

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｒ ＢＴ．２１００−２（０７／２０１８）Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ

上述のＨＤＲデータがＨＬＧ方式の場合、輝度の相対値で階調が規定されたデータである。このＨＤＲデータがＨＤＲディスプレイに表示された場合、ＨＤＲディスプレイが再現可能な広い輝度ダイナミックレンジで表示され、高いコントラストで高画質な出力が得られる。一方で、印刷出力で再現できる輝度ダイナミックレンジは狭い。輝度の相対値で階調が規定されるＨＤＲデータが印刷装置で印刷される場合、ＨＤＲデータが持つ輝度ダイナミックレンジが印刷装置の輝度ダイナミックレンジに相対的に線形に変換される。その結果、印刷された画像はコントラストが低く、本来印刷で得たい画像と異なってしまう。

本発明は、ハイダイナミックレンジ（ＨＤＲ）画像を表すＨＤＲデータに基づいて印刷出力を行う際の画質の劣化を防ぐ画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、ハイダイナミックレンジ（ＨＤＲ）画像を表すＨＤＲデータを取得する第１取得手段と、前記第１取得手段により取得された前記ＨＤＲデータに基づいて印刷を行うための印刷情報を取得する第２取得手段と、前記第１取得手段により取得された前記ＨＤＲデータに対して、ターゲットとなる輝度情報を設定する設定手段と、前記第１取得手段により取得され前記設定手段により前記ターゲットとなる輝度情報が設定されたＨＤＲデータの輝度のダイナミックレンジを、前記第２取得手段により取得された前記印刷情報に基づき印刷が行われるダイナミックレンジに変換する変換手段とを備えることを特徴とする。

本発明によれば、ハイダイナミックレンジ（ＨＤＲ）画像を表すＨＤＲデータに基づいて印刷出力を行う際の画質の劣化を防ぐことができる。

プリントシステムの全体構成を示す図である。 画像処理部の構成を示す図である。 画像処理を示すフローチャートである。 変換カーブを示す図である。 ユーザインタフェース画面を示す図である。 画像処理を示すフローチャートである。 変換カーブを示す図である。 ダイナミックレンジ変換処理を用いた処理を示すフローチャートである。 ダイナミックレンジ変換処理を示すフローチャートである。 変換カーブを示す図である

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
［システム構成］
図１は、本実施形態における画像処理装置を適用したプリントシステムの全体構成を示す図である。本プリントシステムは、パーソナルコンピュータ装置（情報処理装置）１０１（以下、「ＰＣ」ともいう）と表示装置１０２と出力装置１０３を含む。

ＰＣ１０１には、ディスプレイＩ／Ｆを介して、表示装置１０２が接続されている。表示装置１０２は、ＨＤＲ（（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）ディスプレイであり、ＰＣ１０１とＨＤＭＩインタフェースで接続されている。ＰＣ１０１と表示装置１０２の接続は、ＨＤＲ（（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）データを伝送できる規格であれば、ＨＤＭＩインタフェースに限定されるものではなく、その他の接続形式でも良い。また、ＰＣ１０１と表示装置１０２の間で伝送される表示情報（後述）は、ディスプレイＩＦ１１３を介して、ＨＤＭＩインタフェースとは異なる伝送路のＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルを用いて伝送される。しかしながら、表示情報の伝送形式は、表示装置１０２とＰＣ１０１もしくは出力装置１０３との間で情報を双方向で通信できれば、ＵＳＢケーブルに限定されるものではない。

また、ＰＣ１０１には、ネットワークやＵＳＢケーブルまたはローカルバスなどのインタフェースを介して、出力装置１０３が接続されている。本実施形態では、出力装置１０３の一例としてインクジェット記録方式のプリンタ（画像処理装置）を用いた構成を説明する。ＰＣ１０１は、出力装置１０３への印刷制御指示、必要な情報およびデータの転送などを行う。記憶装置１０５は、ＯＳ、システムプログラム、各種アプリケーションソフトウェア、本実施形態に必要なパラメータデータ等を記憶管理している。記憶装置１０５は、例えば、ハードディスクやフラッシュＲＯＭで構成される。ＣＰＵ１０４は、作業メモリ１０７を用いて、記憶装置１０５に記憶されたソフトウェアやプログラムを読み出して処理を実行する。ユーザインタフェースとなる操作部（以下、「ＵＩ」ともいう）１０６は、処理の実行に関してユーザによる入力を受け付け、ユーザに対する表示を行う。操作部１０６は、キーボードやマウス等の入力機器を含む。また、データ入出力装置１０８は、ＳＤカード等の外部記録媒体とのデータの入出力を行い、例えば、撮像装置のデータが記憶された外部記憶媒体とのデータの入出力が可能である。また、不図示の撮像装置がデータ入出力装置１０８やデータ転送部１０９へ直接接続されるようにして、外部記憶媒体を介さず、撮像装置とのデータの入出力を行っても良い。

出力装置１０３は、データ転送部１０９、プリンタ制御部１１２、画像処理部１１０、印刷部１１１を含み、印刷データをＰＣ１０１から受信する。本実施形態では、印刷データは、入力画像データであるＨＤＲデータ、ターゲット情報、記録媒体の固有データである画像処理パラメータとプリンタ制御データ、ユーザが操作部１０６上で選択した印刷品位や記録媒体等の印刷情報を含む。ここで、記録媒体とは、例えば、印刷用紙等の紙メディアである。

データ転送部１０９は、ＰＣ１０１から受信した印刷データから、ＨＤＲデータと、ターゲット情報と、画像処理パラメータを取得して画像処理部１１０に送り、プリンタ制御データを取得してプリンタ制御部１１２に送る。本実施形態では、ＰＣ１０１内で記憶装置１０５に記憶されているＨＤＲデータが、出力装置１０３が受信する入力画像データとなる。また、本実施形態では、画像処理部１１０は、出力装置１０２内に構成されているが、ＰＣ１０１内で構成されても良い。

また、画像処理パラメータやプリンタ制御データは、ＰＣ１０１の記憶装置１０５や、出力装置１０３内の不図示の記憶装置（ハードディスクやＲＯＭ等）に記憶されている。これらが、印刷データ内の印刷情報に基づいて選択され、画像処理部１１０、プリンタ制御部１１２に送られる構成でも良い。プリンタ制御部１１２は、プリンタ制御データに従って、印刷部１１１の動作を制御する。印刷部１１１における印刷は、インクジェット記録方式により行われる。本実施形態では、印刷部１１１における印刷としてインクジェット記録方式を例として説明するが、電子写真方式等、他の記録方式であっても良い。表示装置１０２は、画像表示を制御するディスプレイコントローラ１１４を有しており、例えば、ディスプレイコントローラ１１４は、表示データを生成する。

図２は、本実施形態における画像処理部１１０の構成を示す図である。本実施形態の画像処理部１１０では、まず、ＨＤＲデータと印刷情報がダイナミックレンジ変換部２０１に入力される。ターゲット情報設定部２０２は、ターゲット情報を設定し、ダイナミックレンジ変換部２０１に入力する。ダイナミックレンジ変換部２０１は、後述するように、入力された各情報を用いて、ＨＤＲデータを、出力画像生成部２０３に入力可能なダイナミックレンジの画像データに変換する。入力されるＨＤＲデータのハイダイナミックレンジに対して、出力画像生成部２０３に入力される画像データのダイナミックレンジは、輝度レンジとしては狭くなる。出力画像生成部２０３に入力されるダイナミックレンジとは、例えば、ＳＤＲデータの最大輝度１００ｃｄ／ｍ^２とするダイナミックレンジである。また、ユーザが設定した用紙情報により特定される反射輝度を最大値としたダイナミックレンジとしても良い。本実施形態では、ダイナミックレンジ変換部２０１では、ＳＤＲデータのダイナミックレンジへ変換されるとする。

次に、出力画像生成部２０３は、ダイナミックレンジ変換部２０１から出力される画像データ（ＲＧＢデータ）に対して、印刷部１１１の記録ヘッドで記録するためのデータを生成する。

図３は、本実施形態における画像処理を示すフローチャートである。Ｓ３０１では、ダイナミックレンジ変換部２０１は、ＨＤＲデータのＲＧＢデータを取得する。上述した通り、ＨＤＲデータの映像伝達関数としては、例えばＩＴＵ−Ｒ（国際電気通信連合無線通信部門）の勧告ＢＴ．２１００において、Ｈｙｂｒｉｄ Ｌｏｇ Ｇａｍｍａ（ＨＬＧ）とＰｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚａｔｉｏｎ（ＰＱ）の２つが規定されている。本実施形態のＨＤＲデータは、上述した輝度の相対値で階調を規定しているＨＬＧ方式で記録されている。この段階では、ＲＧＢの各要素について輝度の相対値で階調を規定している。本実施形態ではＨＬＧ方式としているが、相対的に階調を規定していればその他の形式でも良い。本実施形態では、Ｓ３０１で取得されたＨＤＲデータは、ＨＤＲディスプレイである表示装置１０２での表示にも用いられる。

Ｓ３０２では、ダイナミックレンジ変換部２０１は、ターゲット情報設定部２０２で設定されたターゲット情報を取得する。ターゲット情報とは、入力されたＨＤＲデータを、絶対値で階調が規定されるデータに変換可能な情報である。本実施形態では、ターゲット情報は、輝度ダイナミックレンジ情報とシステムガンマ情報を含む。輝度ダイナミックレレンジ情報は、例えば、最大輝度値として１０００ｃｄ／ｍ^２、最小輝度値として０ｃｄ／ｍ^２の情報を含む。システムガンマ情報とは、ＢＴ．２１００に準拠するという情報を含む。これらの情報がダイナミックレンジ変換部２０１に入力される。ターゲット情報は、変更されない限り、その情報が画像処理部１１０で保持される。保持された値を印刷時に適用することにより、複数枚印刷した際でも、印刷物の再現性を確保することができる。

Ｓ３０３では、ダイナミックレンジ変換部２０１は、印刷情報を取得する。印刷情報は、ダイナミックレンジ変換後のダイナミックレンジを特定するための情報である。本実施形態では、印刷情報として、例えば印刷モード情報を取得し、印刷モード情報に基づいて、出力画像生成部２０３への入力がｓＲＧＢのＳＤＲデータであることを特定する。その結果、ＳＤＲデータとして最大輝度値１００ｃｄ／ｍ^２が変換後の輝度ダイナミックレンジであることが特定される。印刷情報は、例えば、用紙の種類を示す情報を取得し、用紙の種類から特定される反射輝度を特定可能な情報であれば良く、印刷時の輝度ダイナミックレンジ情報が取得可能な情報であれば、他の情報でも良い。また、印刷物は、観察環境においては、様々な照度の照明が照射される場合がある。照明が照射される場合には、用紙の輝度ダイナミックレンジは、特に紙白の明るさが上がることにより広がる。そのため、照明が照射された場合の用紙の反射輝度を印刷時の輝度ダイナミックレンジ情報として取得しても良い。

Ｓ３０４では、ダイナミックレンジ変換部２０１は、Ｓ３０２で取得したターゲット情報、Ｓ３０３で取得した印刷情報に基づいて、ＨＤＲデータから輝度ダイナミックレンジを変換した画像データを生成する。つまり、本実施形態では、ターゲット情報から得られた１０００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジから、印刷情報から得られた１００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理が行われる。上記のように、ダイナミックレンジ変換後の輝度ダイナミックレンジは、印刷情報から特定される輝度の絶対値で表されるものとなる。

本実施形態のＨＤＲデータは、上述したＨＬＧ方式の伝達関数（ＯＥＴＦ）で変換されたデータである。また、ターゲット情報により、ＢＴ．２１００に準拠していると設定されている。そのため、ダイナミックレンジ変換部２０１は、ＨＤＲデータを、式（１）で定まるＨＬＧ方式のＥＯＴＦ（ＯＥＴＦの逆関数）とＯＯＴＦを用いて、ＨＤＲデータの輝度信号レベルｘを輝度信号レベルｙに輝度変換する。Ｌ_Ｗはディスプレイの最大輝度値であり、Ｌ_Ｂは黒に対するディスプレイの輝度値である。本実施形態では、Ｌ_Ｂは０とする。Ｅ‘はＨＬＧ方式の信号であり、ｘは０から１のレンジに正規化された信号である。αはユーザゲインのための変数であり、Ｙ_Ｓは正規化された輝度、Ｅは０から１に正規化されたリニア光信号である。

・・・（１）
次に、ダイナミックレンジ変換部２０１は、ＯＯＴＦ処理により得られたデータを１０００ｃｄ／ｍ^２を最大輝度値とするデータとして、印刷情報から得られた１００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。本実施形態では、ダイナミックレンジ変換部２０１は、ＯＯＴＦ処理により得られたＲＧＢデータを、下記の式（２）（３）（４）により輝度（Ｙ）と色差（ＣｂＣｒ）のデータに変換する。

Ｙ＝０．２９９００×Ｒ＋０．５８７００×Ｇ＋０．１１４４００×Ｂ ・・・（２）
Ｃｂ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ ・・・（３）
Ｃｒ＝０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１×Ｂ ・・・（４）
ダイナミックレンジ変換部２０１は、変換された輝度Ｙのデータに対して図４（ａ）の実線で示すグラフ（横軸は入力輝度、縦軸は出力輝度）に示される変換カーブに基づいて輝度Ｙ‘への輝度ダイナミックレンジ変換を行う。図４（ａ）の一点破線は、入力と出力がリニアな状態を示している。本実施形態では、図４（ａ）の実線のように、暗部から特定の輝度まではリニアでの変換が行われ、ハイライト部では、Ｌｏｇ特性での変換が行われる。図４（ａ）の変換情報に示すように、ＨＤＲデータのハイライト領域を再現しつつ、画像のコントラストを維持するダイナミックレンジ圧縮処理を行うことが望ましい。また、図４（ｂ）は、ＨＤＲデータが持つ輝度ダイナミックレンジを印刷装置の輝度ダイナミックレンジに相対的に線形に変換する場合である。図４（ｂ）では、入力されるＨＤＲデータの輝度ダイナミックレンジは定義されておらず、相対的に線形に変換されるため、出力されるＳＤＲデータのコントラストは低い。一方、ターゲット情報からＨＤＲデータの輝度ダイナミックレンジが定義され、図４（ａ）の輝度ダイナミックレンジ変換で出力されるＳＤＲデータのコントラストは、図４（ｂ）に比較すると高くなる。ダイナミックレンジ変換部２０１は、変換された輝度Ｙ‘と色差成分を合わせて、式（５）（６）（７）によりＲＧＢに変換する。

Ｒ＝Ｙ ＋１．４０２００×Ｃｒ ・・・（５）
Ｇ＝Ｙ−０．３４４１４×Ｃｂ−０．７１４１４×Ｃｒ ・・・（６）
Ｂ＝Ｙ＋１．７７２００×Ｃｂ ・・・（７）
上記では、輝度ダイナミックレンジの圧縮について説明したが、色域に関してもＨＤＲデータの広色域な空間（例えばＩＴＵ−Ｒ ＢＴ．２０２０）からＳＤＲの色域（例えばＩＴＵ−Ｒ ＢＴ．７０９）に色域圧縮処理を行う。

次に、Ｓ３０５では、出力画像生成部２０３は、印刷部１１１に出力する出力画像データを生成する。例えば、出力画像生成部２０３は、Ｓ３０４で出力されたＳＤＲデータ（ＲＧＢデータ）をデバイス依存のＲＧＢデータに変換する色変換処理を行う。そして、出力画像生成部２０３は、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけられるように階調補正を行う階調補正処理を行う。さらに、出力画像生成部２０３は、インク色データをインクドットのＯＮ／ＯＦＦの情報であるハーフトーン処理、記録ヘッドの各記録走査で記録される２値データを生成するマスクデータ変換処理等を行う。

次に、Ｓ３０６では、出力画像生成部２０３は、生成した出力画像データを印刷部１１１に送り、その結果、記録媒体上に画像が出力される。

本実施形態によれば、ＨＬＧ方式のＨＤＲデータの印刷時に、ターゲット情報を設定することで、相対値で階調が規定されるデータを絶対値で階調が規定されるデータに変換する。さらに、絶対値で階調が規定されたデータを印刷情報で決まる印刷時の輝度ダイナミックレンジまで絶対値でダイナミックレンジ変換したデータを生成する。その結果、コントラストが高い高画質な印刷出力を得ることができる。

本実施形態では、ターゲット情報は、画像処理部１１０で保持された固定値が設定される例を示したが、ターゲット情報は、表示装置１０２から所定のタイミングで情報を取得して保持するようにしても良い。その場合、取得する情報は、ディスプレイの輝度ダイナミックレンジ情報とシステムガンマ情報とし、ＢＴ．２１００対応という情報をディスプレイから取得して画像処理部１１０で保持する。また、上述したガンマ値γは、ディスプレイでユーザが設定している場合があるため、ガンマ値をディスプレイから取得するようにしても良い。その場合、取得する情報は、入力されたＨＤＲデータを絶対値で階調が規定されるデータに変換可能な情報であれば良い。

本実施形態では、ターゲット情報は、画像処理部１１０で保持される構成を説明したが、ＨＤＲデータから取得する構成としても良い。具体的には、出力装置１０３や印刷アプリが、印刷完了時にＨＤＲデータのメタデータ部（例えばＥｘｉｆ等）にターゲット情報を上書きしたＨＤＲデータを生成する。そして、この上書きされたＨＤＲデータがＳ３０１において取得され、Ｓ３０２では、ＨＤＲデータのメタデータ部を読み取った結果がターゲット情報として取得される。このような構成により、複数回の印刷時でもコントラストが高い高画質な印刷出力が得られるとともに、複数回の印刷時でもターゲット情報が変わらないため、再現性ある印刷出力を得ることができる。

また、ターゲット情報は、図５に示すようなユーザインタフェースを介してユーザから受け付けるようにしても良い。図５（ａ）に示すように、ユーザが「表示情報の取得」ボタンを押すと、上述したようにターゲット情報を表示装置１０２から取得する。ＨＤＲデータはディスプレイに表示されており、出力装置１０３で印刷するユーザが、印刷アプリもしくは出力装置１０３のパネルの印刷ボタンを押した時点で、ダイナミックレンジ変換部２０１は、その時の表示装置１０２のディスプレイ表示状態を記録した表示情報を、表示装置１０２から若しくはＰＣ１０１を介して取得する。また、表示情報がディスプレイと連動してＰＣ１０１に適時保存されている場合、ダイナミックレンジ変換部２０１は、ＰＣ１０１から取得しても良い。また、表示情報は、印刷アプリや出力装置１０３が起動した時点で取得され、表示装置１０２側で表示の設定変更があれば、そのタイミングで再取得するようにしても良い。即ち、印刷時にユーザが見ているディスプレイ（表示装置１０２）の表示状態を取得できるようにしても良い。また、本実施形態では、ＰＣ１０１に１台のディスプレイが接続されているが、１台のＰＣに対して複数のディスプレイが接続される場合もある。複数のディスプレイで拡張表示（複数のディスプレイにまたがるような表示）されている場合は、ＨＤＲデータの印刷プレビューが表示されているディスプレイを認識し、その表示情報を取得する。また、複数のディスプレイで複製表示（複数のディスプレイで同一の表示）されている場合は、ユーザが表示情報を取得するディスプレイを選択するようにしても良いし、優先的に表示情報を取得するディスプレイが予め定められるようにしても良い。また、図５（ｂ）（ｃ）に示すように、ユーザがターゲット情報をプルダウンメニュー等で選択・入力することによりターゲット情報を取得しても良い。その結果、ターゲット情報をユーザが任意に選択することが可能となる。なお、図５（ａ）〜（ｃ）の画面は、例えば出力装置１０３やＰＣ１０１に構成されるようにしても良い。

［第２実施形態］
以下、第１実施形態について第１実施形態と異なる点について説明する。本実施形態では、ターゲット情報を複数の表示装置１０２の情報に基づいて設定する。

本実施形態では、図３のＳ３０２でのターゲット情報の設定において、複数台の表示装置１０２の表示情報を用いて設定する例を説明する。本実施形態では、ディスプレイが接続されたＰＣや、スマートフォン、タブレット等の３台の表示装置１０２がＬＡＮケーブルや通信回線等によってネットワークで接続されている。本実施形態では、Ｓ３０２においてダイナミックレンジ変換部２０１は、３台の表示装置１０２の輝度ダイナミックレンジ情報の輝度情報である最大輝度値、最小輝度値を取得する。ダイナミックレンジ変換部２０１は、複数の表示装置１０２の表示情報を、図５（ｃ）のようなＵＩ上でのユーザ入力を受け付けることにより取得するようにしても良い。また、ダイナミックレンジ変換部２０１は、ディスプレイに接続されているＰＣ、スマートフォン、タブレット内の管理ソフトから表示装置１０２の表示情報を取得し、その情報をネットワークを介して自動的に取得するようにしても良い。その際、表示情報を取得するタイミングは、例えば、出力装置１０３で印刷するユーザが、印刷アプリもしくは出力装置１０３のパネルの印刷ボタンを押下した時点で、その時のディスプレイ表示状態を記録した表示情報を、表示装置１０２から若しくはＰＣ１０１を介して取得する。また、ネットワークを介して表示情報の取得を適時行っており、印刷ボタンを押下した時点での複数台の表示装置１０２の表示情報を用いるようにしても良い。また、本実施形態での複数台の表示装置１０２の接続先は、ＰＣ、スマートフォン、タブレットなど異なる装置であるが、上述したような複数の表示装置１０２が１つのＰＣ１０１に接続されている構成でも良い。また、複数の表示装置１０２が接続されているＰＣ１０１が、ネットワーク上で複数ある構成でも良い。

本実施形態で取得される表示情報は、例えば、ディスプレイＡの最大輝度値が２０００ｃｄ／ｍ^２、ディスプレイＢの最大輝度値が１５００ｃｄ／ｍ^２、ディスプレイＣの最大輝度値が１０００ｃｄ／ｍ^２である。また、３台のディスプレイの全てについて、最小輝度は０ｃｄ／ｍ^２とする。本実施形態では、例えば、３台の中で輝度ダイナミックレンジが最も狭いディスプレイＣの最大輝度値１０００ｃｄ／ｍ^２と最小輝度値０ｃｄ／ｍ^２をターゲット情報として設定する。

本実施形態によれば、複数の表示装置１０２の中で最も輝度ダイナミックレンジの狭い表示装置の輝度ダイナミックレンジ情報をターゲット情報として設定する。そのような構成により、コントラストが高い高画質な印刷出力が得られるとともに、いずれのディスプレイでも表示可能なデータに対する印刷出力を得ることができる。

また、複数の表示装置１０２の中で最も輝度ダイナミックレンジの広い表示装置１０２の輝度ダイナミックレンジ情報をターゲット情報として設定しても良い。そのような構成により、最もコントラストが高く表示される表示装置に対応した印刷出力を得ることができる。

また、複数の表示装置１０２の輝度ダイナミックレンジの平均値をターゲット情報として設定しても良い。例えば、最大輝度値１５００ｃｄ／ｍ^２、最小輝度値０ｃｄ／ｍ^２を輝度ダイナミックレンジ情報として設定する。そのような構成により、バランスのとれた印刷出力を得ることができる。また、平均値以外の統計値が用いられても良い。

本実施形態では、複数の表示装置１０２の輝度ダイナミックレンジの広さに応じてターゲット情報を設定した。しかしながら、複数の表示装置１０２の間で最小輝度値よりも最大輝度値の方がばらつきが大きい場合には、輝度ダイナミックレンジの広さは最大輝度値のみから判断しても良い。

［第３実施形態］
以下、第３実施形態について第１及び第２実施形態と異なる点について説明する。本実施形態では、第１実施形態での処理と、ＰＱ方式のＨＤＲデータが入力された場合の処理とを切り替える構成を説明する。

図６のＳ３０１で取得するＨＤＲデータ（ＲＧＢデータ）は、本実施形態では上述した輝度の絶対値で階調を規定しているＰＱ方式で記録されている。また、本実施形態では、ＨＤＲデータには１００００ｃｄ／ｍ^２まで情報が記録されている。

ＰＱ方式では、輝度の絶対値で階調が規定されているため、ＨＤＲデータ自体で輝度ダイナミックレンジが決定される。そのため、Ｓ３０１の後のＳ６０１で、ＰＱ方式のように輝度の絶対値で階調が規定されたＨＤＲデータがＳ３０１で取得されたと判定された場合、Ｓ３０２はスキップされる。

Ｓ３０３は図３のＳ３０３における説明と同じである。

Ｓ３０４では、ダイナミックレンジ変換部２０１は、Ｓ３０３で取得した印刷情報に基づいて、ＨＤＲデータから輝度ダイナミックレンジを変換したデータを生成する。ＰＱ形式のＨＤＲデータが取得された場合、ダイナミックレンジ変換部２０１は、ＨＤＲデータが持つ１００００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジの情報を、Ｓ３０３で取得した印刷情報から得られた１００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジへ変換する。ＨＤＲデータは、式（８）で定まるＰＱ方式のＥＯＴＦを用いて、ＨＤＲデータの輝度信号レベルｘを輝度信号レベルｙに輝度変換する。本実施形態のＬ_Ｂは０とする。Ｅ‘はＰＱ方式の信号であり、ｘは０から１のレンジに正規化された信号である。

・・・（８）
次に、ダイナミックレンジ変換部２０１は、ＥＯＴＦ処理により変換されたデータを１００００ｃｄ／ｍ^２を最大輝度値とするデータとして、１００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。本実施形態では、変換された輝度Ｙのデータに対して、図７の変換カーブで変換を行うことで、変換後のＳＤＲデータが得られる。

Ｓ３０５とＳ３０６は、第１実施形態での図３のＳ３０５とＳ３０６における説明と同じである。

本実施形態によれば、ＨＬＧ形式のＨＤＲデータとＰＱ形式のＨＤＲデータに応じて処理を切り替えることが可能であり、ＨＤＲデータの伝達関数に応じた最適な印刷出力を得ることができる。

本実施形態では、ＹＣｂＣｒを用いて輝度ダイナミックレンジ変換を行ったが、ＩＣｔＣｐを用いて輝度ダイナミックレンジ変換を行っても良い。ＩＣｔＣｐは、ハイダイナミックレンジで広色域信号を目的とする色空間である。Ｉは輝度成分であり、ＣｔＣｐは色差成分である。輝度成分Ｉは、広い輝度範囲の視覚特性を考慮した情報となっている。その結果、ＩＣｔＣｐ色空間を用いることで、人間の視覚特性を考慮した輝度ダイナミックレンジ変換が可能になる。

また、本実施形態では、図４に示す特性で輝度ダイナミックレンジ変換を行う代わりに、図８、図９のフローチャートに示す処理でダイナミックレンジ変換処理を行っても良い。

図８のＳ８０１では、ダイナミックレンジ変換部２０１は、ＯＯＴＦ処理により得られたＲＧＢデータを式（２）（３）（４）により、輝度と色差成分に分離する。

Ｓ８０２では、ダイナミックレンジ変換部２０１は、輝度に変換されたデータに対して、低周波成分と高周波成分に分離する処理を行う。これは、Ｒｅｔｉｎｅｘ理論に基づいて、低周波成分と高周波成分で処理を切り替えるためである。Ｒｅｔｉｎｅｘ理論とは、人間の脳が色や光をどのように捉えるかをモデル化したものである。この理論では、目に入る光の強度は、物体の反射率と物体を照らす照明光の積で表され、人が感じる明るさや色は、絶対的な光学量よりも周辺からの相対的な変化量に大きく依存しているとする。絶対的な光学量とは物体を照らす照明光であり、相対的な変化量とは物体の反射率である。

Ｓ８０２では、ダイナミックレンジ変換部２０１は、物体を照らす照明光成分として画像の低周波成分を抽出する。低周波成分を作成するためには、ローパスフィルタを適用する。処理方法は、空間フィルタを適用しても良いし、一旦、ＦＦＴにより空間周波数に変換し、フィルタ処理後にＩＦＦＴで戻しても良い。対象とする周波数は、印刷物を鑑賞する際の用紙サイズ、鑑賞距離から、人間の視覚特性を考慮し、決定すれば良い。高周波成分については、逆のハイパスフィルタを適用してもよいし、得られた低周波成分を元の画像から除算することで取得しても良い。

Ｓ８０３では、ダイナミックレンジ変換部２０１は、入力と出力の輝度ダイナミックレンジの情報に基づき、低周波成分に対し、ダイナミックレンジ変換処理を実施する。Ｓ８０３の処理の詳細については、図９を用いて後述する。

Ｓ８０４では、ダイナミックレンジ変換部２０１は、高周波成分に対し、コントラスト補正処理を実施する。コントラスト補正処理とは、得られた画像に対し、係数ｋを乗じる処理である。入力データに忠実に近づける場合はｋ＝１付近とし、さらに印刷物のインクの滲みなどの劣化を考慮したい場合は、１以上の値を係数ｋに設定する。

Ｓ８０５では、ダイナミックレンジ変換部２０１は、低周波成分に対してダイナミックレンジ変換が行われた画像データと、高周波成分に対してコントラスト補正が行われた画像データとの合成を行う。その結果、所定のダイナミックレンジに圧縮され、コントラストが補正された輝度画像が得られる。

Ｓ８０６では、ダイナミックレンジ変換部２０１は、輝度成分と色差成分を合わせて、式（５）（６）（７）によりＲＧＢデータに変換する。Ｓ８０６の後、図８の処理を終了する。

次に、Ｓ８０３のダイナミックレンジ変換処理を、図９のフローチャートを用いて説明する。

Ｓ９０１では、ダイナミックレンジ変換部２０１は、圧縮レンジを算出する。本実施形態では、ターゲット情報から得られた１０００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジから、印刷情報から得られた１００ｃｄ／ｍ^２を最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。また、ダイナミックレンジ変換部２０１は、露出輝度値ＹａをＨＤＲデータのメタデータから取得する。これは、画像撮影時にユーザが露出を設定した点であり、本実施形態では、露出輝度値Ｙａを１８ｃｄ／ｍ^２とする。

Ｓ９０２では、ダイナミックレンジ変換部２０１は、ＨＤＲデータの画像を領域分割する。領域分割は、予め決められた所定の矩形サイズで分割しても良いし、輝度画像の情報から類似の輝度画素でグループピングしても良い。後者の場合、領域分割された特定の輝度レンジのコントラストを復元することになり、よりコントラストの保持された画像が得られる。また、輝度データのみではなく、ＲＧＢデータを用いても良い。それにより、ＲＧＢデータにより画像の認識を行い、認識された領域種別に合ったコントラストの復元方法が可能となる。

Ｓ９０３では、ダイナミックレンジ変換部２０１は、Ｓ８０２で分割された領域ごとに変換カーブを作成する。図１０（ａ）、（ｂ）、（ｃ）は、変換カーブの一例を示す図である。図１０（ａ）は、ある領域の変換カーブを表したグラフである。横軸は入力輝度を示し、縦軸は出力輝度を示し、太線は変換カーブを示す。棒グラフで示されているのは、領域における輝度分布であり、所定の輝度範囲の度数に相当する（右の縦軸に対応）。変換前の輝度ダイナミックレンジをＤｉ、変換後の輝度ダイナミックレンジをＤｏとして図中に示されている。変換カーブの傾きが１、つまり４５度の場合は、入力輝度値と出力輝度値とが一致し、その部分での画像変化が起きない。つまり、ダイナミックレンジ変換前のコントラストが保持される。傾きが小さくなるにつれ（角度として４５度未満）、変換後のコントラストは変換前のコントラストに比べて低下する。好適な変換後の画像を得るためには、コントラストの保持が必要であり、傾き１にすることが望ましい。ここでは低周波成分を取り扱っているため、低周波成分のコントラスト保持のために、できる限り傾き１の変換を行う必要がある。図１０（ｂ）は、別の領域の変換カーブを表しているが、輝度分布が高輝度側に偏っている。図１０（ａ）と同様、輝度分布の度数に応じ、度数の高い輝度グループに１に近い傾きを割り当てている。図１０（ｃ）は、一様に輝度が分布している領域の変換カーブを表している。この場合は、度数の高い輝度グループであっても傾きを１に割り当てることができない。変換後の輝度ダイナミックレンジＤｏが狭いため、特定の輝度グループに傾き１を割りあててしまうと、別の輝度グループの傾きが０に近くなってしまうためである。このような場合は、平均的に傾きを割り当てて、その中で極端に０に近づくことがないように、度数に応じた傾きの分配を行うことになる。また、画像中の領域の異なる図１０（ａ）から図１０（ｃ）において、共通の箇所が存在する。例えば、Ｓ９０１で取得した露出設定輝度Ｙａであるが、変換後の輝度値が常に一定のＹａ‘になるような変換カーブが作成されている。これにより、高輝度側は階調を再現することを実現しつつ、ユーザーが撮影時に設定した露出輝度は保持される。

Ｓ９０４では、ダイナミックレンジ変換部２０１は、領域分割した全ての領域に対し、変換カーブを作成したか否かの判定を行う。作成していないと判定された場合、Ｓ９０３からの処理を繰り返し、全て作成されていると判定された場合、Ｓ９０５に進む。

Ｓ９０５では、ダイナミックレンジ変換部２０１は、作成した変換カーブを用いて、画素ごとのダイナミックレンジの圧縮処理を実施する。その際、領域間で階調の不連続な箇所が出ないように周囲の領域の情報を考慮しながら実施する。具体的には領域と同程度のウインドウを当てはめ、ウインドウに含まれる面積で重み付けを行い、その比率に基づいてダイナミックレンジの圧縮処理を実施する。また、単純な面積比率であると、境界にハロなどの画像弊害が発生するため、対象領域の平均輝度により重みを変化させても良い。つまり、対象画素に比べ、周囲領域の平均輝度が異なるほど、重みを小さくするようにすると画像弊害を抑止できる。

Ｓ９０６では、ダイナミックレンジ変換部２０１は、全ての画素においてＳ９０５の処理が実施されたか否かの判定を行う。全ての画素において処理が実施されていないと判定された場合、Ｓ９０５からの処理を繰り返し、全ての画素において処理が実施されたと判定された場合、図９の処理を終了する。

このように、Ｒｅｔｉｎｅｘ理論に基づいて高周波成分と低周波成分に分離し、低周波数成分に対して画像の領域ごとに変換カーブによって輝度ダイナミックレンジ変換することで、人間の視覚特性を考慮した高コントラストな画像を生成することができる。

上記の実施形態では、ＢＴ．２１００の規格に準拠したＨＤＲデータを印刷する例を示した。しかしながら、ＢＴ．２１００の規格に限定されることはなく、その他の規格に準拠した処理を行っても良いし、ＯＥＴＦ・ＥＯＴＦの伝達のみでも良い。例えば、伝達関数としてＨＬＧ方式とＰＱ方式の例を示したが、輝度を相対値、または絶対値で階調を規定しているＨＤＲデータを扱う伝達関数であればその他の方式でも良い。その場合は、式（１）、式（８）に示した伝達関数・システムガンマはその規格に準拠した形となる。また、規格に準拠せず、伝達関数のみ（ＯＥＴＦとＥＯＴＦ）を適用する形でも良い。

本実施形態では、輝度ダイナミックレンジ変換の処理方法の例として、図４、図７、図８の例を示したが、これに限らず輝度ダイナミックレンジの変換を行う方法であればどのような方法でも良い。

また、ダイナミックレンジ変換処理での入出力の輝度ダイナミックレンジは、各実施形態で例示した（１０００ｃｄ／ｍ^２等）輝度ダイナミックレンジに限定されるものではない。また、各実施形態での表示装置１０２とは、スマートフォンや装置に取り付けられたパネルやタッチパネル等、情報を表示する装置であればディスプレイに限られず、どのような形態の装置でも良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１ 情報処理装置： １０２ 表示装置： １０３ 出力装置： １１０ 画像処理部： ２０１ ダイナミックレンジ変換部： ２０２ ターゲット情報設定部： ２０３ 出力画像生成部

Claims (18)

1. ハイダイナミックレンジ（ＨＤＲ）画像を表すＨＤＲデータを取得する第１取得手段と、
   前記第１取得手段により取得された前記ＨＤＲデータに基づいて印刷を行うための印刷情報を取得する第２取得手段と、
   前記第１取得手段により取得された前記ＨＤＲデータに対して、ターゲットとなる輝度情報を設定する設定手段と、
   前記第１取得手段により取得され前記設定手段により前記ターゲットとなる輝度情報が設定されたＨＤＲデータの輝度のダイナミックレンジを、前記第２取得手段により取得された前記印刷情報に基づき印刷が行われるダイナミックレンジに変換する変換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記印刷情報は、前記変換手段による変換後のダイナミックレンジを特定するための情報であることを特徴とする請求項１に記載の画像処理装置。
3. 前記印刷情報は、印刷される用紙の種類を示す情報を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１取得手段により取得される前記ＨＤＲデータは、撮像の側での輝度変換の後のデータであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１取得手段により取得された前記ＨＤＲデータは、出力の側での輝度変換の前のデータであることを特徴とする請求項４に記載の画像処理装置。
6. 前記変換手段は、前記出力の側での輝度変換を実行し、該輝度変換が実行されたＨＤＲデータに対してダイナミックレンジの変換を行うことを特徴とする請求項５に記載の画像処理装置。
7. 表示装置の表示情報を取得する第３取得手段、をさらに備え、
   前記設定手段は、前記第３取得手段により取得された前記表示情報に基づいて、前記ターゲットとなる輝度情報を設定する、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第３取得手段が複数の前記表示装置の表示情報を取得する場合、前記設定手段は、複数の表示装置に対応する表示情報に基づいて、前記ターゲットとなる輝度情報を設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記ターゲットとなる輝度情報を保持する記憶手段、をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
10. 前記変換手段は、ダイナミックレンジを変換するための変換情報を用いてダイナミックレンジの変換を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記変換手段は、所定の輝度範囲において、入力輝度と出力輝度とが一致するように、前記第１取得手段により取得された前記ＨＤＲデータの輝度のダイナミックレンジを、印刷が行われるダイナミックレンジに変換することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記ＨＤＲデータにより表される画像を領域分割する分割手段、をさらに備え、
    前記変換手段は、前記分割手段により分割された各領域ごとに定められた、ダイナミックレンジを変換するための変換情報を用いてダイナミックレンジの変換を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記分割手段は、前記ＨＤＲデータにより表される画像の低周波成分に対して領域分割を行うことを特徴とする請求項１２に記載の画像処理装置。
14. 前記ＨＤＲデータにより表される画像の高周波成分に対してコントラスト補正を行う手段、をさらに備えることを特徴とする請求項１３に記載の画像処理装置。
15. 前記変換手段によりダイナミックレンジの変換が行われたデータに基づいて印刷を行う印刷手段、をさらに備えることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記ＨＤＲデータは、ＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ Ｇａｍｍａ）方式で定められたデータであることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 画像処理装置において実行される画像処理方法であって、
    ハイダイナミックレンジ（ＨＤＲ）画像を表すＨＤＲデータを取得する第１取得工程と、
    前記第１取得工程において取得された前記ＨＤＲデータに基づいて印刷を行うための印刷情報を取得する第２取得工程と、
    前記第１取得工程において取得された前記ＨＤＲデータに対して、ターゲットとなる輝度情報を設定する設定工程と、
    前記第１取得工程において取得され前記設定工程において前記ターゲットとなる輝度情報が設定されたＨＤＲデータの輝度のダイナミックレンジを、前記第２取得工程において取得された前記印刷情報に基づき印刷が行われるダイナミックレンジに変換する変換工程と、
    を有することを特徴とする画像処理方法。
18. 請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images