JP2020009136A

JP2020009136A - 画像処理装置、制御方法、及びプログラム

Info

Publication number: JP2020009136A
Application number: JP2018129467A
Authority: JP
Inventors: 香川　英嗣; Hidetsugu Kagawa; 英嗣香川; 諏訪　徹哉; Tetsuya Suwa; 徹哉諏訪; 真耶黒川; Maya Kurokawa; 小川　修平; Shuhei Ogawa; 修平小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-07-06
Filing date: 2018-07-06
Publication date: 2020-01-16
Anticipated expiration: 2038-07-06
Also published as: US11182883B2; US20200013150A1; JP7280670B2

Abstract

【課題】入力画像と出力画像との間のダイナミックレンジの変換を適切に実行すること。【解決手段】輝度の第１のレンジを有する第１の画像を取得して第１のレンジより狭い輝度の第２のレンジを有する第２の画像を出力させるための画像処理を実行する画像処理装置は、第１の画像の少なくとも一部の領域について、入力される輝度値と出力される輝度値とを対応付ける関係情報を設定し、その関係情報に基づいて、第１の画像に含まれる画素の輝度値を変換する。画像処理装置は、第１の画像に含まれる画素の輝度値に対してその輝度値に所定値を加算した値を超えない出力輝度値を対応付け、かつ、第１の画像に含まれる画素の輝度値のうち特徴量以上の輝度値に対して、第２のレンジのうち高い方から所定範囲内の値である一定の出力輝度値を対応付けるように、関係情報を生成する。【選択図】図６

Description

本発明は、画像の輝度のダイナミックレンジ圧縮技術に関する。

近年、高輝度かつ広色域の再現範囲を持つＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）コンテンツが普及している。ＨＤＲコンテンツでは、１０００ｎｉｔ以上の最高輝度による広い輝度範囲を用いた高品質な画像表現が行われる。一方、ＨＤＲ画像データをインクジェット記録装置で記録する際には、その輝度のダイナミックレンジ（以下、「Ｄレンジ」と呼ぶ。）を、記録装置が再現できる輝度のＤレンジに、トーンカーブ等を用いて圧縮する必要がある。Ｄレンジ圧縮時のコントラストの低下を低減させるために、局所的にＤレンジ圧縮を行う方法がある。特許文献１には、入力画像を複数に分割し、分割した領域のそれぞれについてルックアップテーブルを決定してＤレンジ圧縮を行う技術が記載されている。

特開２００６−１２９１０５号公報

特許文献１に記載のＤレンジ圧縮では、入力画像の領域ごとの輝度値の分布に応じて、入力画像の輝度値に対する出力画像の輝度値の関係を設定し、その設定に基づいて輝度値の変換を行う。しかしながら、特許文献１の技術では、入力輝度値が分布する範囲が広い場合にコントラストの低下が生じる場合や、入力輝度値の分布によっては出力輝度値が過剰に高い値となる場合等が生じうるという課題があった。

本発明は、入力画像と出力画像との間のダイナミックレンジの変換を適切に実行する技術を提供する。

本発明の一態様による画像処理装置は、輝度の第１のレンジを有する第１の画像を取得して前記第１のレンジより狭い輝度の第２のレンジを有する第２の画像を出力させるための画像処理を実行する画像処理装置であって、前記第１の画像の少なくとも一部の領域について、入力される輝度値と出力される輝度値とを対応付ける関係情報を設定する設定手段と、前記関係情報に基づいて、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値を変換する変換手段と、を有し、前記設定手段は、前記第１の画像の前記少なくとも一部に含まれる輝度値に関する特徴量を特定する特定手段と、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値に対して当該輝度値に所定値を加算した値を超えない出力輝度値を対応付け、かつ、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値のうち前記特徴量以上の輝度値に対して、前記第２のレンジのうち高い方から所定範囲内の値である一定の出力輝度値を対応付けるように、前記関係情報を生成する生成手段と、を含む。

本発明によれば、入力画像と出力画像との間のダイナミックレンジの変換を適切に実行することができる。

（Ａ）は入力画像の輝度値分布を示すヒストグラムであり、（Ｂ）は従来のヒストグラムに基づくＤレンジ圧縮カーブを示す図である。画像処理システムの構成例を示すブロック図である。画像を記録するまでの処理の概要を示すブロック図である。画像を記録するまでの処理の流れの例を示す図である。現像処理の流れの例を示す図である。ダイナミックレンジ圧縮のための機能構成例を示す図である。ダイナミックレンジ圧縮処理の流れの例を示す図である。画像の領域分割の概要を示す図である。領域間補正を説明する図である。Ｄレンジ圧縮カーブ生成処理の流れの例を示す図である。（Ａ）は入力画像の輝度値分布を示すヒストグラムであり、（Ｂ）は実施形態においてヒストグラムに基づいて生成されるＤレンジ圧縮カーブを示す図である。Ｄレンジ圧縮カーブ生成処理の流れの例を示す図である。（Ａ）は入力画像の輝度値分布を示すヒストグラムであり、（Ｂ）は実施形態においてヒストグラムに基づいて生成されるＤレンジ圧縮カーブを示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（ダイナミックレンジ圧縮）
第１の輝度レンジの入力画像から第１の輝度レンジより狭い第２の輝度レンジの出力画像を得る画像処理であるダイナミックレンジ（以下「Ｄレンジ」と呼ぶ。）を圧縮する特許文献１のＤレンジ圧縮方法について説明する。このＤレンジ圧縮方法は、領域ごとの輝度値の分布（ヒストグラム）に基づいて、入力輝度値と出力輝度値とを関連付ける関係情報（Ｄレンジ圧縮カーブ）を規定することにより行われる。より具体的には、輝度値の分布において、領域内での出現頻度の高い輝度値範囲に対して、出現頻度の低い輝度値範囲と比較して、広い出力輝度値範囲が対応付けられる。換言すれば、出現頻度の高い輝度値範囲より、出現頻度の低い輝度値範囲が強く圧縮される。これによれば、出現する頻度の高い入力輝度値範囲の画素領域についてコントラストを維持することができる。すなわち、入力輝度値の変化量に対する出力輝度値の変化量の傾きが急峻であるほど、出力画像におけるコントラストが際立つため、Ｄレンジ圧縮によってコントラストが低下することを防ぐことができる。

輝度値分布に応じてＤレンジ圧縮カーブを生成する方法について、図１（Ａ）及び図１（Ｂ）を用いて説明する。図１（Ａ）は、入力画像内の一部領域の輝度値のヒストグラムの例を示しており、図１（Ｂ）は、図１（Ａ）のヒストグラムに基づいて生成されたＤレンジ圧縮カーブの例を示している。本例では、図１（Ａ）に示すように、ヒストグラムＨ１のような主として低輝度値の画素からなる領域と、ヒストグラムＨ２のような主として高輝度値の画素からなる領域とが存在するものとする。そして、記録装置（プリンタ）が表現できるＤレンジがＤ１とする。この場合、ヒストグラムＨ１のように低輝度値の画素が多い領域では、図１（Ｂ）の曲線Ｌ１のように、低い入力輝度値の範囲に対して大きい出力輝度範囲が割り当てられたＤレンジ圧縮カーブが生成される。一方、ヒストグラムＨ２のように、高輝度値の画素が多い領域では、図１（Ｂ）の曲線Ｌ２のように、高い入力輝度値の範囲に対して、曲線Ｌ１と比較して広い出力Ｄレンジが割り当てられるようなＤレンジ圧縮カーブが生成される。このようなＤレンジ圧縮カーブが生成されることにより、出力画像において、領域ごとにコントラストを維持しながらＤレンジを圧縮することが可能となる。なお、このようなＤレンジ圧縮は、領域分割を伴わずに行われてもよい。例えば、入力画像の全体の輝度値が低輝度範囲または高輝度範囲に偏っている場合に、領域分割を行わずに、出力画像において、コントラストを維持しながら輝度レンジを圧縮することができる。一方、ヒストグラムＨ１は輝度値が一定値より高い範囲には度数が分布していない又は無視できるほどに小さいにも関わらず、Ｄレンジ圧縮カーブ（曲線Ｌ１）において、そのような高い入力輝度値範囲に対して一定の出力輝度値範囲が割り当てられる。このように出現頻度が非常に低い入力輝度値に一定の出力輝度値範囲が割り当てられると、その分、出現頻度の高い低輝度値範囲に対応付けることが可能な出力輝度値範囲の幅が狭くなる。この結果、出現頻度の高い低輝度値範囲におけるコントラストが低下してしまいうる。また、ヒストグラムＨ１のような輝度値の度数分布が得られる場合に、曲線Ｌ３のような入力輝度値がＤ１以上の範囲をクリップするＤレンジ圧縮カーブを生成すると、コントラストは低下しないが、Ｄ１以上の入力輝度値範囲について階調がなくなってしまう。また、曲線Ｌ１のように、低い入力輝度値範囲に対して、その入力輝度値よりも高い出力輝度値が出力されてしまう等の場合に、本来の入力画像より出力画像のコントラストが高いことによる違和感が生じてしまいうる。

本実施形態では、出現頻度が低い又は出現しない入力輝度値範囲に対して出力輝度値範囲が不必要に割り当てられることを防ぐと共に、違和感が少ない出力画像を得ることができるようなＤレンジ圧縮カーブを生成する手法について説明する。以下では、まず、システム及び装置の構成例を説明した後に、処理の流れの例について説明する。

（システム構成）
図２に、本実施形態に係る画像処理システムの構成例を示す。本システムは、例えば、画像処理装置２０１、及び記録装置２２１を含んで構成される。なお、この構成は一例であり、これら以外の装置が含まれてもよい。また、例えば、画像処理装置２０１が記録装置２２１に組み込まれるなど、図２の複数の装置が１つの装置に統合されてもよい。また、図２における各装置が有するブロックにさらなるブロックが含められてもよい。また、各装置が有する各ブロックは複数のブロックに分割されてもよいし、複数のブロックを含んだ１つのブロックが用いられてもよい。

画像処理装置２０１は、例えばホストＰＣ（パーソナルコンピュータ）等のコンピュータであるが、これ以外の電子機器であってもよい。画像処理装置２０１は、ＣＰＵ２０２、ＲＡＭ２０３、ＨＤＤ２０４、出力Ｉ／Ｆ２０５、入力Ｉ／Ｆ２０６、及びデータ転送Ｉ／Ｆ２０７等を含んで構成される。なお、これらの構成は、内部バス等を介して相互に通信可能に接続される。なお、「Ｉ／Ｆ」は「インタフェース」の略語である。また、ＣＰＵはＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔの、ＲＡＭはＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの、ＨＤＤはＨａｒｄＤｉｓｋＤｒｉｖｅの、頭字語である。

ＣＰＵ２０２は、ＨＤＤ２０４に保持されるプログラムに従って、ＲＡＭ２０３をワークエリアとしながら、画像処理装置２０１全体の処理や所定の画像処理等を含んだ各種処理を実行する。ＣＰＵ２０２はプロセッサの一例であり、これ以外のプロセッサが用いられてもよい。例えば、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）等の他のプロセッサが追加的に又は代替的に用いられてもよい。また、ＣＰＵ２０２によって実行される処理の一部又は全部を、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等の、その処理を実行可能なハードウェアによって実行させるようにしてもよい。ＲＡＭ２０３は、一時的な情報を記憶するのに用いられるメモリである。ＲＡＭ２０３は、少なくとも、上述のように、ＣＰＵ２０２が処理を実行する際のワークエリアを提供するように動作する。ＨＤＤ２０４は、プログラム等の情報を持続的に記憶する記憶装置である。なお、ＨＤＤ２０４に代えて、又はこれに加えて、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等が用いられてもよい。出力Ｉ／Ｆ２０５は、外部の（又は画像処理装置２０１が有する不図示の）ディスプレイやスピーカ等の情報出力装置に、画像処理装置２０１が有する（例えば所定の処理が施された後の）データを出力するためのインタフェースである。なお、図２では、出力Ｉ／Ｆ２０５は、ディスプレイ２１１と画像処理装置２０１との間でデータの送受信を行う例を示している。入力Ｉ／Ｆ２０６は、外部の（又は画像処理装置２０１が有する不図示の）キーボード、ポインティングデバイス、タッチパネル等の、ユーザ操作を受け付けてそのユーザ操作を示す情報を出力するデバイスからの情報入力を受け付けるインタフェースである。図２の例では、これらのユーザ操作を示す情報を出力するデバイスを、操作部２１２によって表している。データ転送Ｉ／Ｆ２０７は、他の装置との通信を行うためのインタフェースであり、例えば、有線ＬＡＮ又は無線ＬＡＮの通信用回路を含んだ通信インタフェースである。なお、データ転送Ｉ／Ｆ２０７は、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）規格やＩＥＥＥ（ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ）１３９４規格に従って動作してもよい。図２では、データ転送Ｉ／Ｆ２０７は、記録装置２２１のデータ転送Ｉ／Ｆ２２３と接続している。

ＣＰＵ２０２は、例えば、入力Ｉ／Ｆ２０６を介してユーザによって入力されたコマンドや、ＨＤＤ２０４に保持されているプログラムに従って、記録装置２２１が記録可能（印刷可能）な画像データを生成する処理を実行する。そして、ＣＰＵ２０２は、この生成した画像データをデータ転送Ｉ／Ｆ２０７を介して記録装置２２１へ転送するための制御を実行する。また、ＣＰＵ２０２は、データ転送Ｉ／Ｆ２０７を介して、記録装置２２１や不図示の撮像装置等の外部装置から画像データを受信し、その画像データに対して、ＨＤＤに記憶されているプログラムに従って所定の処理を行いうる。ＣＰＵ２０２は、その所定の処理の結果得られる画像や、様々な情報を、例えば出力Ｉ／Ｆ２０５を介してディスプレイ２１１に表示するための制御を実行する。

記録装置２２１は、例えばインクジェットプリンタ等のプリンタであるが、電子写真プリンタ等の他の種類のプリンタであってもよい。また、記録装置２２１に代えて、輝度のダイナミックレンジを圧縮した後の画像を例えば画面等に出力する他の装置であってもよい。記録装置２２１は、例えば、画像処理アクセラレータ２２２、データ転送Ｉ／Ｆ２２３、ＣＰＵ２２４、ＲＡＭ２２５、及びＲＯＭ２２６を含んで構成される。記録装置２２１では、ＣＰＵ２２４が、ＲＯＭ２２６に記憶されているプログラムを、ＲＡＭ２２５をワークスペースとして用いて、記録装置２２１全体の制御や、その他の各種処理を実行する処理が実行される。なお、記録装置２２１は、画像処理アクセラレータ２２２を用いて高速な画像処理を行うように構成される。なお、画像処理アクセラレータ２２２は、ＣＰＵ２２４より高速な画像処理を実行可能なハードウェアである。画像処理アクセラレータ２２２は、例えば、ＣＰＵ２２４が画像処理に必要なパラメータとデータをＲＡＭ２２５の所定のアドレスに書き込むことにより起動され、このパラメータとデータとを読み込んだ後、そのデータに対し所定の画像処理を実行する。なお、画像処理アクセラレータ２２２は、ＣＰＵ２２４で実行可能な処理を代替的に実行可能なように構成されており、換言すれば、ＣＰＵ２２４が十分な処理能力を有する場合、記録装置２２１は画像処理アクセラレータ２２２を有しなくてもよい。

（処理の概要）
続いて、図３を用いて、不図示の撮像装置で撮影されたデータが記録装置２２１で記録（印刷）されるまでの処理３００の流れの例について概説する。なお、本処理例では、記録装置２２１で画像を記録する場合の処理について説明するが、例えばディスプレイ２１１に画像を表示させる処理においても同様の処理が行われうる。図３は、処理３００に含まれる複数の部分処理のそれぞれを機能ブロックとして示している。なお、各機能ブロックは２つ以上の機能ブロックに分割されてもよいし、複数の機能ブロックが１つの機能ブロックに統合されてもよい。また、図３に示されていない機能ブロックがさらに含められてもよい。処理３００は、主として画像処理装置２０１が実行する処理であり、例えば、ＣＰＵ２０２がＲＡＭ２０３と協働してＨＤＤ２０４に保存されたプログラムを実行することによって実現されうる。なお、処理３００は、１つのアプリケーションで実現されてもよいし、ユーザの用途や機能に応じて、複数のアプリケーションによって実現されてもよい。また、画像処理装置２０１が処理３００の全てを実行してもよいし、その少なくとも一部が記録装置２２１や撮像装置によって実行されてもよい。

本処理では、まず、画像取得部３０１において、撮像装置がセンサによって取得した画像が取得される。そして、現像部３０２は、画像取得部３０１によって取得された画像を、後述の処理によって所定の形式に変換する。画像データの輝度のダイナミックレンジの算出もここで行われ、算出されたダイナミックレンジを示す値がダイナミックレンジ取得部３０５へ入力される。ダイナミックレンジ取得部３０５に対しては、このダイナミックレンジを示す値に加え、用紙情報取得部３０３によって取得された印刷が行われる用紙の情報と、観察環境取得部３０４によって取得された印刷物を観察する環境（観察条件）の情報とが入力される。ダイナミックレンジ取得部３０５は、一例において、用紙の情報と観察環境の情報とに基づいて、出力における輝度のダイナミックレンジの範囲を特定することができる。ダイナミックレンジ取得部３０５は、このようにして取得した、入力と出力とのそれぞれについての輝度のダイナミックレンジを取得し、その情報を、ダイナミックレンジ圧縮部３０８へ出力する。

輝度・色差分離部３０６は、現像された画像データを輝度成分（輝度画像）と色差成分（色差画像）とに分離し、分離後の輝度画像データを周波数分離部３０７へ入力し、色差画像データを輝度・色差合成部３１１へ入力する。周波数分離部３０７は、輝度画像の空間周波数を特定し、特定した空間周波数に基づいて、画像を低周波成分と高周波成分とに分離する。そして、周波数分離部３０７は、分離後の低周波成分をダイナミックレンジ圧縮部３０８へ出力し、高周波成分をコントラスト補正部３０９へ出力する。ダイナミックレンジ圧縮部３０８は、ダイナミックレンジ取得部３０５によって取得された輝度のダイナミックレンジの範囲の値に基づいて、現像部３０２からの画像データを利用して、輝度のダイナミックレンジの圧縮する処理を実行する。コントラスト補正部３０９は、入力された高周波成分に対してコントラスト補正を実行する。

これらの周波数成分ごとの処理の後に、周波数合成部３１０で処理後の高周波数成分及び低周波成分のデータが合成され、処理後の輝度画像データが取得される。輝度・色差合成部３１１は、この処理後の輝度画像データと、色差画像データとを合成し、出力画像データを生成する。印刷処理部３１２は、この出力画像データに対して印刷用の処理を実行し、処理後のデータを記録装置２２１に送信する。

図３の機能構成による処理の流れについて、図４を用いて説明する。図４の処理において、まず、画像取得部３０１が、撮像された画像データを取得する（Ｓ４０１）。ここで取得される画像データは、デジタルカメラで撮影され、一定の処理が施されたＪＰＥＧ形式などの汎用的なデータではなく、撮像されたままの、いわゆるＲＡＷデータである。その後、現像部３０２は、この画像データに対して現像処理を実行する（Ｓ４０２）。この現像処理について、図５を用いて説明する。

現像処理において、現像部３０２は、まず、単色の信号で構成されたＲＡＷデータ内の画素の各々に対するデベイヤ処理またはモザイク処理による、色補間処理を実行する（Ｓ５０１）。この処理により、ＲＡＷデータが、ＲＧＢの画像信号値に変換される。その後、現像部３０２は、予め設定された現像設定に従って、ホワイトバランス調整を実行する（Ｓ５０２）。ホワイトバランス調整では、Ｒ、Ｇ、Ｂの各信号値に対し、設定された係数が乗算される。そして、現像部３０２は、現像設定および表示装置の特性を考慮して、ガンマ補正を実行する（Ｓ５０３）。現像部３０２は、フィルタ処理によるノイズ除去およびシャープネス処理を、ユーザの設定や撮影条件に基づいて必要に応じて実行する（Ｓ５０４、Ｓ５０５）。そして、現像部３０２は、色変換処理を実行する（Ｓ５０６）。色変換処理では、定義された所定の色空間への変換、及び、色相の調整並びに高輝度領域の色曲りの抑圧処理が適用される。以上の現像処理により、所望のガンマ値を有するＲＧＢの画像が生成される。

図４に戻り、ダイナミックレンジ取得部３０５は、入力画像の明暗部の輝度データを取得する（Ｓ４０３）。明部の輝度データは、取得された画像データに含められるカメラ情報や撮影時の設定から算出される値と、Ｓ４０２の現像処理で拡張される値により特定される。この値の拡張は、例えば、図５のＳ５０２のホワイトバランス調整により実行されうる。ホワイトバランス調整の際に、飽和レベルおよび画素情報に応じた置換処理が実行されることにより、高輝度領域の階調が拡張（Ｎ段：Ｎ≧１）される。また、ダイナミックレンジ取得部３０５は、出力側の明暗部の輝度データを取得する（Ｓ４０４）。ダイナミックレンジ取得部３０５は、画像が出力（記録）される用紙ごとの輝度値のテーブルを保存しておき、そのテーブルに従って、出力側の明暗部の輝度データを取得しうる。なお、ここでのテーブルに記述される輝度値は、例えば、予め定められた一般的な照明環境で得られる値（基準となる白≒１００［ｎｉｔ］）を有する。視覚特性を考慮して変換された値が、この値として使用されてもよい。

続いて、輝度・色差分離部３０６は、ＲＧＢの信号値を、輝度（Ｙ）と色差（ＣｂＣｒ）の情報に分離する（Ｓ４０５）。この分離は、一般的な変換式を用いて行うことができるため、ここでの説明については省略する。周波数分離部３０７は、Ｓ４０５で分離された輝度値画像を、低周波成分画像と高周波成分画像とに分離する（Ｓ４０６）。周波数分離部３０７は、例えば、低周波成分画像を生成するために、入力された輝度値画像にローパスフィルタを適用する。この処理では、例えば、輝度値画像に空間フィルタを適用してもよいし、ＦＦＴによって輝度値画像を空間周波数画像に変換し、その空間周波数画像に対してフィルタ処理を施した後にＩＦＦＴによって輝度値画像に戻してもよい。なお、ＦＦＴは高速フーリエ変換の略語であり、ＩＦＦＴは逆高速フーリエ変換の略語である。通過域とする周波数は、印刷物が鑑賞される際の用紙サイズや観察距離に基づいて、また、人間の視覚特性を考慮して、決定されうる。一方、周波数分離部３０７は、高周波成分画像を生成するために、例えば輝度値画像にハイパスフィルタを適用してもよいし、上述のようにして得られた低周波成分画像を元の画像から除算してもよい。

ダイナミックレンジ圧縮部３０８は、Ｓ４０３及びＳ４０４で取得された入力及び出力の明暗部の情報に基づいて、Ｓ４０６で得られた低周波成分画像に対して、ダイナミックレンジ圧縮処理を実行する（Ｓ４０７）。この処理の詳細については後述する。

コントラスト補正部３０９は、Ｓ４０６で得られた高周波成分画像に対して、コントラスト補正処理を施す（Ｓ４０８）。周波数合成部３１０は、Ｓ４０７においてダイナミックレンジ圧縮された低周波成分画像と、コントラスト補正された高周波成分画像とを合成し、所定のダイナミックレンジに圧縮されると共にコントラスト補正された輝度値画像を取得する（Ｓ４０９）。その後、輝度・色差合成部３１１は、Ｓ４０９で得られた輝度値画像に色差成分を合成して（Ｓ４１０）、ＲＧＢ信号に変換する。この変換についても、一般的な変換式を用いて行うことができるため、ここでの説明については省略する。そして、印刷処理部３１２は、得られたＲＧＢ信号値に対して、印刷のための画像処理を施して出力する（Ｓ４１１）。

図４のような処理により、取得された画像の現像から出力（印刷）までの処理を実行することにより、画像が有するダイナミックレンジに対して出力媒体の能力（例えば用紙種類）や観察環境を考慮した処理が施される。このような処理により、ダイナミックレンジの圧縮による画質劣化が生じたとしても、その影響が抑制された出力物を実現することができる。

（輝度のダイナミックレンジ圧縮処理）
以下、上述のＳ４０７において実行される、輝度のダイナミックレンジ（Ｄレンジ）圧縮処理の流れの例について、図６のブロック図及び図７のフローチャートを用いて説明する。図６は、画像処理装置２０１が有する画像処理機能の構成例を示している。画像処理装置２０１は、ＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）画像データを入力として受け付け、その画像データに対してＤレンジ圧縮を行い、記録装置２２１又はディスプレイ２１１にＤレンジ圧縮後の画像データを出力する。

図７において、まず、画像入力部６０１が、ＨＤＲ画像データを取得する（Ｓ７０１）。なお、本例では、取得されるＨＤＲ画像データは、Ｄレンジが１０００ｎｉｔのＲＧＢデータであるものとする。画像入力部６０１で入力されるＨＤＲ画像データを、一例として、図８の入力画像８０１によって表す。領域分割部６０２は、この入力画像８０１を複数の領域に分割する（Ｓ７０２）。本例では、図８に示すように、入力画像８０１が、ｘ方向に４分割され、ｙ方向に３分割されることにより、計１２個の領域に分割されるものとする。なお、この分割では、分割された領域が均等な大きさを有しなくてもよく、少なくとも一部の領域が他の領域と異なる大きさを有してもよい。

Ｄレンジ圧縮カーブ生成部６０３は、領域分割部６０２が分割した領域のそれぞれに対して、Ｄレンジ圧縮を行う１次元のルックアップテーブル（以下、「ＬＵＴ」と呼ぶ。）を生成する（Ｓ７０３）。なお、ＬＵＴに限らず、入力される輝度値と出力される輝度値とを対応付ける任意の関係情報が生成されてもよい。そして、Ｄレンジ圧縮部６０４は、Ｄレンジ圧縮カーブ生成部６０３が生成したルックアップテーブルを用いて、領域ごとに、入力画像のＤレンジを圧縮する（Ｓ７０４）。

領域間補正部６０５は、Ｄレンジ圧縮された画像に対して領域間の補正を行う（Ｓ７０５）。この処理は、例えば、領域ごとに別個のＤレンジ圧縮カーブを用いてＤレンジ圧縮が行われることに起因する疑似輪郭などのアーティファクトが発生しうるため、この影響を低減するための処理として行われる。領域間補正部６０５は、このようなアーティファクトの低減を行うために、（例えば中心に）注目画素を含んだ一定の画素範囲を取り出して、その範囲内の画素値を用いたフィルタ処理を行う。フィルタ処理について、図９（Ａ）及び図９（Ｂ）を用いて説明する。ここで、図９（Ａ）で示す位置に、上述の一定の画素範囲を取り出すためのウインドウ９０１が配置されるものとする。このとき、ウインドウ９０１は、図９（Ｂ）に示すように、補正対象となる注目画素Ｐを中心に、ｘ方向に５画素、ｙ方向に５画素の画素範囲を抽出するのに用いられる。例えばウインドウ９０１で抽出された各画素に対してフィルタ係数を乗じて加算することによって注目画素Ｐの画素値を得ることで、領域の境界付近に存在する注目画素Ｐの値を、隣接する領域の値を考慮した平滑化された値とすることができる。これにより、領域の境界に発生するアーティファクトを低減することができる。このフィルタ処理には、例えば、フィルタ係数として全て同じ値を設定する平滑化フィルタや、注目画素を中心に係数値が正規分布するガウシアンフィルタ等が用いられる。

図７に戻り、画像出力部６０６は、領域間補正部６０５によって領域間の補正が行われた画像データを記録装置２２１やディスプレイ２１１に出力する（Ｓ７０６）。

（Ｄレンジ圧縮カーブ生成処理）
続いて、上述のＳ７０３で実行されるＤレンジ圧縮カーブ生成処理の流れの例について、詳細に説明する。

［処理例１］
第１の処理例について、図１０を用いて説明する。なお、図１０の処理は、上述のように、分割された領域ごとに行われる。Ｄレンジ圧縮カーブ生成部６０３は、処理対象の領域についての輝度値のヒストグラムから特徴量を特定する（Ｓ１００１）。ここで、特徴量は、例えば、図１１（Ａ）に示すように、処理対象の領域における入力輝度値の最大値であるＬｍａｘでありうる。なお、これは一例であり、他の値が特徴量として用いられてもよい。例えば、入力輝度値の最大値が、画像中のノイズ等の本来不要なデータである可能性があるため、全画素数に対する、領域内の輝度値の高い方からの出現頻度を累積加算した累積出現頻度が所定割合（例えば３％）に達する輝度値を、特徴量としてもよい。また、入力輝度値の最大値より所定値だけ低い輝度値を特徴量としてもよい。このときの所定値は、例えば入力輝度値の最大値ごとに異なる値であってもよく、例えばその値が、事前に定められたテーブル等を用いて特定されてもよい。そして、Ｄレンジ圧縮カーブ生成部６０３は、Ｓ１００１で特定された特徴量を用いてＤレンジ圧縮カーブを生成する（Ｓ１００２）。

ここで、Ｓ１００１において、図１１（Ａ）に示されるＬｍａｘが特徴量として特定されたものとする。この場合、Ｄレンジ圧縮カーブ生成部６０３は、図１１（Ｂ）に示すように、Ｌｍａｘが入力輝度値である場合の出力輝度値が、記録装置２２１（又はディスプレイ２１１）によって表現可能な最大輝度値Ｄ１となるように、Ｄレンジ圧縮カーブを生成する。なお、入力輝度がＬｍａｘ以下の輝度レンジについては、入力輝度値の出現頻度に応じて、対応する出力輝度値が設定される。例えば、出現頻度が高い入力輝度値範囲に対して大きいコントラストが設定され、出現頻度が低い入力輝度値範囲に対しては小さいコントラストが設定されるような、入力輝度値と出力輝度値との関係が規定される。また、Ｄレンジ圧縮カーブは、出力のコントラストが入力のコントラストよりも大きくならないように生成される。すなわち、出力輝度範囲は、その出力輝度範囲以上の幅の入力輝度範囲に対応付けられる。入力よりも出力のコントラストを大きくすると、その影響により、出力画像において過剰にコントラストが際立ち、違和感が生じうる。また、他の輝度レンジに対して十分な出力輝度レンジが割り当てられないことにより、その輝度レンジにおけるコントラストが低下しうる。ただし、コントラストの知覚に影響のない範囲で、出力のコントラストが入力のコントラストより大きくされてもよい。例えば、Ｂａｒｔｅｎモデルに基づく弁別域インデックスの関数であるＪＮＤ（ＪｕｓｔＮｏｔｉｃｅａｂｌｅＤｉｆｆｅｒｅｎｃｅ）が利用されてもよい。例えば、ＪＮＤインデックスにおける１ステップを超えない所定範囲内で、入力よりも出力のコントラストが大きく設定されてもよい。すなわち、入力輝度値に輝度差を弁別できるようになる所定値を加算した値を超えない範囲で、出力輝度値が大きく設定されてもよい。なお、ここでの所定値は、ＪＮＤインデックスによらずに設定されてもよく、例えば視認された際に違和感を生じさせない値が経験的に特定されてもよい。

このように、領域内の最大入力輝度等の特徴量を特定して、その特徴量と出力最大輝度とを対応付けるようなＤレンジ圧縮カーブを設定することにより、領域ごとに、階調を残しながら、コントラストの低下を低減することができる。また、Ｄレンジ圧縮カーブのコントラストを過剰に大きくしないことにより、出力画像の観察時の違和感を低減し、圧縮すべき輝度レンジのコントラストの低下を低減することができる。

［処理例２］
続いて、第２の処理例について、図１２を用いて説明する。本処理例では、Ｄレンジ圧縮カーブ生成部６０３は、記録装置２２１が出力する印刷物を人間が観察するときの観察条件を取得する（Ｓ１２０１）。観察条件は、例えば、印刷物を観察する際の紙白の輝度値である。例えば、１０００［ｌｕｘ］の照度で印刷物が照明される場合に、反射率が９０［％］である場合、その印刷物の紙白の輝度は、（１０００／π）×（９０／１００）＝２８７［ｎｉｔ］と、算出される。この算出された輝度値が、出力の最大輝度値Ｄ２として設定される。この例では、照度と印刷物の反射率とから輝度が算出されたが、輝度計で測定された輝度値が用いられてもよい。また、操作部２１２及び入力Ｉ／Ｆ２０６を介して、観察条件に係る輝度値を入力するユーザ操作が受け付けられてもよい。

続いて、Ｄレンジ圧縮カーブ生成部６０３は、対象領域のヒストグラムから特徴量を特定する（Ｓ１２０２）。この処理は、処理例１のＳ１００１と同様である。

そして、Ｄレンジ圧縮カーブ生成部６０３は、Ｓ１２０２で特定された特徴量を用いて、Ｄレンジ圧縮カーブを生成する（Ｓ１２０３）。Ｓ１２０２において、図１３（Ａ）に示すようなＬｍａｘが特徴量として特定されたものとする。この場合、図１３（Ｂ）に示すように、Ｌｍａｘに対応する出力輝度が、Ｓ１２０１で取得された最大輝度値Ｄ２となるように、Ｄレンジ圧縮カーブが生成される。入力輝度がＬｍａｘ以下の輝度レンジについては、入力輝度値の出現頻度に応じて、対応する出力輝度値が設定される。例えば、出現頻度が高い入力輝度値範囲に対して広い出力輝度値範囲が、すなわち、大きいコントラストが設定される。また、出現頻度が低い入力輝度値範囲に対して狭い出力輝度値範囲が、すなわち、小さいコントラストが設定される。なお、本処理例でも、Ｄレンジ圧縮カーブが、出力のコントラストが入力のコントラストよりも大きくならないように生成されうる。

このように、入力画像の輝度値を、観察環境に応じた輝度レンジに圧縮することによって、観察環境の明るさに合わせたコントラストを得ることができる。また、領域内の最大入力輝度等の特徴量を特定して、その特徴量と出力最大輝度とを対応付けるようなＤレンジ圧縮カーブを設定することにより、領域ごとに、階調を残しながら、コントラストの低下を低減することができる。また、Ｄレンジ圧縮カーブのコントラストを過剰に大きくしないことにより、出力画像の観察時の違和感を低減し、圧縮すべき輝度レンジのコントラストの低下を低減することができる。

なお、上述の実施形態では、特徴量以上の入力輝度値に対して、最大の出力輝度値を対応付ける例について説明したが、最大の出力輝度値よりも小さいが十分に大きい所定値以上の一定の出力輝度値に対応付けてもよい。すなわち、特徴量以上の入力輝度値に対しては、一定の出力輝度値が対応付けられるように、Ｄレンジ圧縮カーブが設定される。なお、この一定の出力輝度値は、出力輝度値の範囲のうち高い方から所定範囲内で設定されうる。なお、ここでの所定範囲は微小な数として事前に定められてもよいし、例えば出力Ｄレンジの幅に対して、幅の大きさごとに事前に定められた値や、その幅の大きさに所定割合を乗じた値として特定されうる。例えば、所定範囲は、出力輝度値のＤレンジの上位１０％の値等に定められうる。そして、一定の出力輝度値は、例えば、領域内の入力輝度値の分散が大きい場合には、所定範囲内で低い値に設定され、入力輝度値の分散が小さい場合には、所定範囲内で高い値に設定されるなど、適応的に設定されうる。また、この一定の出力輝度値は、例えば領域ごとに設定されてもよい。さらに、入力輝度値の最大値が、出力輝度値の最大値以下である場合は、例えば、図１（Ｂ）のＬ３のような曲線がＤレンジ圧縮カーブとして設定されてもよい。すなわち、このような画像（領域）については、Ｄレンジ圧縮を行わなくてもよい。

また、上述の実施形態では、特徴量より低い入力輝度値の範囲の広さに対して、出力輝度値の範囲の広さが同じ又はそれ以下となるようなＤレンジ圧縮カーブが設定される例について説明した。また、特に、図１１や図１３のように、入力輝度値の低い所定範囲に対しては、入力輝度値と出力輝度値とが圧縮しない場合と同様とする例について説明した。しかしながら、これに限られず、例えば出力輝度値が入力輝度値に傾き１±Δで正比例する、すなわち一定レベルの範囲内で出力輝度値が入力輝度値より高くまたは低くなるような関係が規定されてもよい。

＜その他の実施の形態＞
本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現することが可能である。

６０１：画像入力部、６０２：領域分割部、６０３：Ｄレンジ圧縮カーブ生成部、６０４：領域間補正部、６０５：Ｄレンジ補正部、６０６：画像出力部

Claims

輝度の第１のレンジを有する第１の画像を取得して前記第１のレンジより狭い輝度の第２のレンジを有する第２の画像を出力させるための画像処理を実行する画像処理装置であって、
前記第１の画像の少なくとも一部の領域について、入力される輝度値と出力される輝度値とを対応付ける関係情報を設定する設定手段と、
前記関係情報に基づいて、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値を変換する変換手段と、
を有し、
前記設定手段は、
前記第１の画像の前記少なくとも一部に含まれる輝度値に関する特徴量を特定する特定手段と、
前記第１の画像の前記少なくとも一部に含まれる画素の輝度値に対して当該輝度値に所定値を加算した値を超えない出力輝度値を対応付け、かつ、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値のうち前記特徴量以上の輝度値に対して、前記第２のレンジのうち高い方から所定範囲内の値である一定の出力輝度値を対応付けるように、前記関係情報を生成する生成手段と、
を含むことを特徴とする画像処理装置。
前記第２の画像を観察する際の前記第２のレンジに関する観察条件の情報を取得する取得手段をさらに有する、
ことを特徴とする請求項１に記載の画像処理装置。
前記生成手段は、前記第２のレンジの最大の輝度値を前記一定の出力輝度値として前記関係情報を生成する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
前記特徴量は、前記第１の画像の前記少なくとも一部の画素数に対する、当該第１の画像の前記少なくとも一部に含まれる輝度値の出現頻度を高い方から累積加算した累積出現頻度の割合が、所定割合に達する輝度値である、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記特徴量は、前記第１の画像の前記少なくとも一部における輝度値の最大値である、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記所定値はコントラストの弁別域に基づいて定まる値である、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記生成手段は、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値に対して当該輝度値を超えない出力輝度値を対応付ける、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記第１の画像を複数の領域に分割する分割手段をさらに有し、
前記設定手段は、前記複数の領域のそれぞれについて前記関係情報を設定する、
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
輝度の第１のレンジを有する第１の画像を取得して前記第１のレンジより狭い輝度の第２のレンジを有する第２の画像を出力させるための画像処理を実行する画像処理装置の制御方法であって、
設定手段が、前記第１の画像の少なくとも一部の領域について、入力される輝度値と出力される輝度値とを対応付ける関係情報を設定する設定工程と、
変換手段が、前記関係情報に基づいて、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値を変換する変換工程と、
を有し、
前記設定工程は、
前記第１の画像の前記少なくとも一部に含まれる輝度値に関する特徴量を特定することと、
前記第１の画像の前記少なくとも一部に含まれる画素の輝度値に対して当該輝度値に所定値を加算した値を超えない出力輝度値を対応付け、かつ、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値のうち前記特徴量以上の輝度値に対して、前記第２のレンジのうち高い方から所定範囲内の値である一定の出力輝度値を対応付けるように、前記関係情報を生成することと、
を含むことを特徴とする制御方法。
取得手段が、前記第２の画像を観察する際の前記第２のレンジに関する観察条件の情報を取得する取得工程をさらに有する、
ことを特徴とする請求項９に記載の制御方法。
前記生成工程において、前記第２のレンジの最大の輝度値を前記一定の出力輝度値として前記関係情報を生成する、
ことを特徴とする請求項９又は１０に記載の制御方法。
前記特徴量は、前記第１の画像の前記少なくとも一部の画素数に対する、当該第１の画像の前記少なくとも一部に含まれる輝度値の出現頻度を高い方から累積加算した累積出現頻度の割合が、所定割合に達する輝度値である、
ことを特徴とする請求項９から１１のいずれか１項に記載の制御方法。
前記特徴量は、前記第１の画像の前記少なくとも一部における輝度値の最大値である、
ことを特徴とする請求項９から１１のいずれか１項に記載の制御方法。
前記所定値はコントラストの弁別域に基づいて定まる値である、
ことを特徴とする請求項９から１３のいずれか１項に記載の制御方法。
前記生成工程において、前記第１の画像の前記少なくとも一部に含まれる画素の輝度値に対して当該輝度値を超えない出力輝度値を対応付ける、
ことを特徴とする請求項９から１３のいずれか１項に記載の制御方法。
分割手段が、前記第１の画像を複数の領域に分割する分割工程をさらに有し、
前記設定工程において、前記複数の領域のそれぞれについて前記関係情報を設定する、
ことを特徴とする請求項９から１５のいずれか１項に記載の制御方法。
コンピュータを請求項１から８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。