JP2020127110A

JP2020127110A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2020127110A
Application number: JP2019017918A
Authority: JP
Inventors: 田島　香; Ko Tajima; 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-02-04
Filing date: 2019-02-04
Publication date: 2020-08-20
Anticipated expiration: 2039-02-04
Also published as: JP7282536B2

Abstract

【課題】入力画像の信号レベルを階調変換するときの変換誤差を低減することを目的とする。【解決手段】本発明は、入力画像のダイナミックレンジを複数の信号レンジに分割する分割手段と、分割手段により分割された信号レンジごとに、入力画像の信号レベルを階調変換するときの階調変換特性を決定する決定手段と、入力画像の信号レベルを信号レンジごとに調整する調整手段と、調整手段により調整された前記入力画像の信号レベルを信号レンジごとに、決定手段により決定された階調変換特性を用いて階調変換する変換手段と、を有する画像処理装置であって、決定手段は、所定の信号レンジに含まれる信号レベルの階調変換が前記入力画像のダイナミックレンジによらず一定となるように、信号レンジごとに階調変換特性を決定する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

近年、提案されているＨＤＲの映像システムでは、非特許文献１に開示された階調圧縮をカメラ内で行いモニタに伝送することで、ＳＤＲでは圧縮されていた反射率１００％以上の階調を被写体の見た目に近いコントラストで再現することをできる。ここで、ＨＤＲの映像信号規格で採用されている、非特許文献１の階調圧縮特性（Inverse-EOTF Nonlinear Encoding Equation）は、ＳＤＲやＳＤＲと互換のあるＨＬＧ方式と比較して暗部の変換特性の非線形性が大きい。したがって、ハードウェアの実装に適した低次の関数での近似が困難である。

特許文献１には、予め保持している複数の基本ガンマ特性を画像の被写体の明暗差に応じて補間することにより、明暗差に応じたガンマ特性を生成し、生成したガンマ特性を画像の輝度レベルに適用する画像処理装置が開示されている。

特開２０１４−１２１０１９号公報

ST 2084:2014 - SMPTE Standard - High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays（p.7 Eauation5.2）

しかしながら、特許文献１に開示された画像処理装置では、複数のガンマ特性の線形補間で目標のガンマ特性を生成するために、実現したい階調変換に高次の近似が必要となる場合には、変換誤差を低減することが難しいという問題がある。
本発明は、上述したような問題点に鑑みてなされたものであり、入力画像の信号レベルを階調変換するときの変換誤差を低減することを目的とする。

本発明の画像処理装置は、入力画像のダイナミックレンジを複数の信号レンジに分割する分割手段と、前記分割手段により分割された信号レンジごとに、前記入力画像の信号レベルを階調変換するときの階調変換特性を決定する決定手段と、前記入力画像の信号レベルを信号レンジごとに調整する調整手段と、前記調整手段により調整された前記入力画像の信号レベルを信号レンジごとに、前記決定手段により決定された階調変換特性を用いて階調変換する変換手段と、を有する画像処理装置であって、前記決定手段は、所定の信号レンジに含まれる信号レベルの階調変換が前記入力画像のダイナミックレンジによらず一定となるように、信号レンジごとに階調変換特性を決定することを特徴とする。

本発明によれば、入力画像の信号レベルを階調変換するときの変換誤差を低減することができる。

画像処理装置の構成の一例を示す図である。階調変換処理部の構成の一例を示す図である。階調変換処理部による動作の一例を示すフローチャートである。階調変換処理部に適用されるガンマ設定の一例を示すグラフである。

以下、図面を参照して本発明の好適な実施形態について説明する。
本実施形態では、画像処理装置の例としてカメラを適用する場合について説明する。
図１は、画像処理装置１００の構成の一例を示す図である。
画像処理装置１００は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、色調整処理部１０４、階調変換処理部１０５、輝度・色差符号化処理部１０６、記録用処理部１０７、表示部１０８、ユーザ指示部１０９、システム制御部１１０を有する。

光学系１０１は、フォーカスレンズ、絞り、シャッターが含まれる。
撮像素子１０２は、光学系１０１において結像された被写体の光量を光電変換によって電気信号に変換するＣＭＯＳ等の素子である。光学系１０１のフォーカス、絞り、シャッター、および、撮像素子１０２の撮影感度等は、撮影時のダイナミックレンジに基づいてシステム制御部１１０によって制御される。
Ａ／Ｄ変換部１０３は、撮像素子１０２からの電気信号をデジタル信号に変換してＲＡＷ画像を生成する。

色調整処理部１０４は、生成されたＲＡＷ画像のＲＧＢ値に対して、ホワイトバランス調整のためのゲイン処理、色再現特性を調整するためのマトリクス処理を行う。
階調変換処理部１０５は、色調整処理されたＲＧＢ信号に対して、モニタ表示の絶対輝度を階調変換後の信号レベルに対応付けた特性で階調変換を行う。
輝度・色差符号化処理部１０６は、階調変換されたＲＧＢ信号を輝度・色差信号に変換するマトリクス処理を行う。
記録用処理部１０７は、変換された輝度・色差信号を所定のファイルフォーマットで記録するための符号化圧縮処理を行う。

表示部１０８は、例えば、カメラ背面に設置された液晶モニタ等である。表示部１０８は、輝度・色差符号化処理部１０６で変換された輝度・色差信号を表示する。
ユーザ指示部１０９は、カメラ本体に配置された操作ダイヤル、カメラ背面に配置されたタッチパネル方式の液晶モニタ等である。ユーザは撮影シーンに応じた撮影時の露出設定を行うときにユーザ指示部１０９を介して設定値を入力する。
システム制御部１１０は、画像処理装置１００全体の動作を制御する。

次に、階調変換処理部１０５について詳細に説明する。
階調変換処理部１０５には、任意のダイナミックレンジの入力画像が入力される。本実施形態では、入力画像のダイナミックレンジを、撮像時に飽和する被写体の反射率で表記する。例えば、ダイナミックレンジが４００％とは、反射率４００％の被写体を撮影したときに、撮像素子１０２の出力が飽和するように露出制御されていることを示す。

入力画像のダイナミックレンジは、システム制御部１１０が撮影時にユーザ指示部１０９から入力された露出設定に基づいて決定したり、シャッタレリーズ前に取り込まれた画像の輝度分布を解析して決定したりする。
本実施形態の階調変換処理部１０５は、何れのダイナミックレンジの入力画像であっても、後述する閾値ＴＨに基づいて信号レンジを分割し、暗部側に相当する所定の信号レンジで最も近似精度の高い階調変換が行われるように階調変換処理を制御する。

図２は、階調変換処理部１０５の構成の一例を示す図である。
階調変換処理部１０５は、画像入力端子２００、信号レンジ分割部２０１、信号レベル調整部２０２、ガンマ変換部２０３、ガンマ設定ＤＢ２０４、画像出力端子２０５を有する。

画像入力端子２００には、色調整処理部１０４から任意のダイナミックレンジの画像が入力される。
信号レンジ分割部２０１は、入力画像の信号レベルを画素ごとに閾値以下であるか否かを判定して、判定結果を信号レベル調整部２０２およびガンマ変換部２０３に出力する。信号レンジ分割部２０１は、判定基準となる閾値を、入力画像のダイナミックレンジと、ガンマ設定ＤＢ２０４で保持されているガンマ設定とに基づいて取得する。

信号レベル調整部２０２は、信号レンジ分割部２０１の判定結果に基づいて、入力画像の画素ごとに信号レベルの振幅を調整する。
ガンマ変換部２０３は、信号レンジ分割部２０１の判定結果に基づいて、ガンマ設定ＤＢ２０４から、着目画素の信号レンジに対応したガンマ設定を決定して、信号レベル調整部２０２により調整された信号レベルに対して階調変換、すなわちガンマ変換を行う。

ガンマ設定ＤＢ２０４は、複数のガンマ設定を保持する。各ガンマ設定は、異なる種類であり、異なるダイナミックレンジにそれぞれ対応している。ガンマ設定は、階調変換特性の一例である。
画像出力端子２０５には、ガンマ変換部２０３により階調変換された信号レベルが入力される。画像出力端子２０５は、階調変換された信号レベルを輝度・色差符号化処理部１０６に出力する。

次に、階調変換処理部１０５による階調変換処理について図３のフローチャートを参照して説明する。図３のフローチャートは、画像処理装置１００が起動されることで開始される。
Ｓ３００では、信号レンジ分割部２０１は、色調整処理部１０４から出力されて画像入力端子２００に入力された入力画像を取得する。
Ｓ３０１では、信号レンジ分割部２０１は、システム制御部１１０から入力画像のダイナミックレンジの情報を取得する。

Ｓ３０２では、信号レンジ分割部２０１は、取得したダイナミックレンジと、ガンマ設定ＤＢ２０４で保持されているガンマ設定とに基づいて、入力画像の信号レベルを判定するための第１の基準反射率および第２の基準反射率を決定する。
具体的に、信号レンジ分割部２０１は、ガンマ設定ＤＢ２０４で保持されている複数のガンマ設定のうち、入力画像のダイナミックレンジよりも小さい反射率で飽和するガンマ設定を選択して、そのガンマ設定の飽和レベルを第１の基準反射率とする。なお、このときに選択されるガンマ設定は、後述するＳ３０５において閾値ＴＨ以下の信号レベルを階調変換するときに適用される。
また、信号レンジ分割部２０１は、ガンマ設定ＤＢ２０４で保持されている複数のガンマ設定のうち、入力画像のダイナミックレンジ以上の反射率で飽和するガンマ設定を選択して、そのガンマ設定の飽和レベルを第２の基準反射率とする。なお、このときに選択されるガンマ設定は、後述するＳ３０７において閾値ＴＨよりも大きい信号レベルを階調変換するときに適用される。

例えば、入力画像のダイナミックレンジがＸ％であり、ガンマ設定ＤＢ２０４に反射率Ｌ％および反射率Ｈ％で飽和するガンマ設定が保持されている場合には、第１の基準反射率がＬ、第２の基準反射率がＨとなる。ここで、Ｘ、Ｌ、Ｈの大小関係は、Ｌ＜Ｘ≦Ｈである。なお、反射率Ｌ％で飽和するガンマ設定における基準となるダイナミックレンジはＬ％であり、反射率Ｈ％で飽和するガンマ設定における基準となるダイナミックレンジはＨ％である。

Ｓ３０３では、信号レンジ分割部２０１は、入力画像のダイナミックレンジを複数の信号レンジに分割して、入力画像の各信号レベルが何れの信号レンジであるかを判定するための閾値ＴＨを式（１）で算出する。この処理は、分割手段による処理の一例に対応する。信号レンジ分割部２０１は、入力画像の画素ごとに信号レベルが閾値ＴＨ以下であるか否かを判定する。
ＴＨ＝２ⁿ×（第１の基準反射率）／（入力画像のダイナミックレンジ）・・式（１）
ここで、ｎは、階調変換処理部１０５に入力された入力信号のｂｉｔ精度である。

例えば、入力信号のｂｉｔ精度が１４ｂｉｔであり、入力画像のダイナミックレンジがＸ％、第１の基準反射率がＬ％とすると、閾値ＴＨは式（２）のようになる。
ＴＨ＝１６３８３×Ｌ／Ｘ・・式（２）
入力画像の信号レベルが閾値ＴＨ以下である場合にはＳ３０４に進み、閾値ＴＨより大きい場合にはＳ３０６に進む。信号レンジ分割部２０１は入力画像の画素ごとに判定することで、入力画像の信号レベルが低い信号レンジまたは高い信号レンジに分けられる。

Ｓ３０４では、信号レベル調整部２０２は、信号レベルが閾値ＴＨ以下の場合に、入力画像のダイナミックレンジと第１の基準反射率との比に基づいて信号レベルを調整する。この処理は、調整手段の一例に対応する。
具体的には、入力画像のダイナミックレンジがＸ％で、第１の基準反射率がＬ％の場合には、式（３）のゲインＬ＿ｇａｉｎを用いて、信号レベルを増幅するように調整する。
Ｌ＿ｇａｉｎ＝（入力画像のダイナミックレンジ）／（第１の基準反射率）
＝Ｘ／Ｌ・・・式（３）
信号レベル調整部２０２は、調整した信号レベルをガンマ変換部２０３に出力する。

Ｓ３０５では、ガンマ変換部２０３は、信号レベルが閾値ＴＨ以下の場合に、ガンマ設定ＤＢ２０４で保持されているガンマ設定のうち第１の基準反射率に対応する第１のガンマ設定を階調変換するためのガンマ設定に決定する。この処理は、決定手段の一例に対応する。具体的には、第１の基準反射率がＬ％である場合にはダイナミックレンジＬ％のガンマ設定が階調変換するためのガンマ設定に決定される。続いて、ガンマ変換部２０３は、決定したガンマ設定を適用して、調整された信号レベルを階調変換する。この処理は、変換手段の一例に対応する。

Ｓ３０６では、信号レベル調整部２０２は、信号レベルが閾値ＴＨよりも大きい場合に、入力画像のダイナミックレンジと第２の基準反射率との比に基づいて信号レベルを調整する。この処理は、調整手段の一例に対応する。
具体的には、入力画像のダイナミックレンジがＸ％で、第２の基準反射率がＨ％の場合には、式（４）のゲインＨ＿ｇａｉｎを用いて、信号レベルを減衰するように調整する。
Ｈ＿ｇａｉｎ＝（入力画像のダイナミックレンジ）／（第２の基準反射率）
＝Ｘ／Ｈ・・・式（４）
信号レベル調整部２０２は、調整した信号レベルをガンマ変換部２０３に出力する。

Ｓ３０７では、ガンマ変換部２０３は、信号レベルが閾値ＴＨよりも大きい場合に、ガンマ設定ＤＢ２０４で保持されているガンマ設定のうち第２の基準反射率に対応する第２のガンマ設定を階調変換するためのガンマ設定に決定する。この処理は、決定手段の一例に対応する。具体的には、第２の基準反射率がＨ％である場合にはダイナミックレンジＨ％のガンマ設定が階調変換するためのガンマ設定に決定される。続いて、ガンマ変換部２０３は、決定したガンマ設定を適用して、調整された信号レベルを階調変換する。この処理は、変換手段の一例に対応する。
ガンマ変換部２０３は、Ｓ３０５あるいはＳ３０７の処理を全ての画素について行い、階調変換した信号レベルを画像出力端子２０５に出力する。
以上の処理により、階調変換処理部１０５の動作が終了する。

次に、階調変換処理で適用されるガンマ設定の一例について図４を参照して説明する。
図４では、入力画像のダイナミックレンジがＸ％である場合に、ガンマ設定ＤＢ２０４で保持されている、ダイナミックレンジＬ％とＨ％に対応するガンマ設定を適用して、ダイナミックレンジＸ％の入力画像の階調変換を行うものとする。なお、Ｘ、Ｌ、Ｈの大小関係は、Ｌ＜Ｘ≦Ｈである。

図４において、横軸は階調変換処理部１０５に入力される１４ｂｉｔで量子化された入力画像の信号レベルを示し、縦軸は階調変換後の１０ｂｉｔの信号レベルを示している。この１０ｂｉｔの信号レベルは、モニタ表示の絶対輝度と対応付けられた値となる。
入力画像は、閾値ＴＨを境に２分され、０〜Ｌ％までの信号レンジ（Ｘ％＿ｒａｎｇｅ＿０＿Ｌ）については、入力画像の信号レベルを ×Ｘ／Ｌのゲインで増幅して、ダイナミックレンジＬ％に対応するガンマ設定（Ｌ％＿ｒａｎｇｅ＿０＿Ｌ）で変換する。また、入力画像のＬ％〜Ｘ％の信号レンジ（Ｘ％＿ｒａｎｇｅ＿Ｌ＿Ｘ）については、入力画像の信号レベルを ×Ｘ／Ｈのゲインで減衰させて、ダイナミックレンジＨ％に対応するガンマ設定（Ｈ％＿ｒａｎｇｅ＿Ｌ＿Ｘ）で変換する。

ここで、ダイナミックレンジＬ％に対応するガンマ設定のガンマカーブは、ガンマ設定ＤＢ２０４で保持されているガンマ設定の中で最も低い信号レンジ用のガンマカーブである。すなわち、反射率Ｌ％までの明るさの信号に対して、入力１４ｂｉｔ、出力１０ｂｉｔの精度で細かく階調変換することが可能であるため、目標とする階調変換との誤差を低減させることができる。

また、撮影時の露出設定により、入力画像のダイナミックレンジＸ％は変動する可能性がある。しかしながら、Ｌ＜Ｘ≦Ｈの関係を満たしていれば、常に、入力画像において閾値ＴＨ以下の信号レベルについては、ダイナミックレンジＬ％用のガンマ設定のガンマカーブにより精度よく階調変換を行うことができる。したがって、本実施形態では所定の信号レンジに含まれる信号レベルの階調変換が入力画像のダイナミックレンジによらず一定となるように、信号レンジごとにガンマ設定を決定する。

具体的に、画像処理装置１００がダイナミックレンジ３００％、６００％、１０００％で撮影可能であり、ダイナミックレンジ３００％、６００％、１０００％の入力画像を取得したと仮定する。ガンマ変換部２０３は、何れの入力画像を階調変換する場合でもダイナミックレンジが３００％未満（例えば２００％）を基準とするガンマ設定を、暗部側の信号レンジの信号レベルを階調変換するときのガンマ設定に決定する。ガンマ変換部２０３は、暗部側の信号レンジの信号レベルを、決定したガンマ設定を適用して階調変換する。このように階調変換することで、何れの入力画像においても暗部側の信号レンジの明るさをモニタ表示したときに同じ明るさで再現することができ、近似誤差の少ない階調変換を行うことができる。

したがって、本実施形態によれば、撮影シーンの明るさをモニタ表示の絶対輝度と対応づけて階調変換するときの変換誤差を低減し、良好な画像を記録することができる。また、本実施形態による階調変換は比較的に処理負担が掛からないために、階調変換処理部１０５をハードウェアとして画像処理装置１００に実装することができる。

また、本実施形態では、ガンマ変換部２０３は、複数の信号レンジのうち低い信号レンジでは、入力画像のダイナミックレンジよりも低いダイナミックレンジに対応するガンマ設定を、信号レベルを階調変換するときのガンマ設定に決定する。したがって、低い信号レンジの信号レベルに対して、細かい階調変換をすることができることから目標とする階調変換との誤差を低減させることができる。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムあるいは装置に供給し、システムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、該プログラムおよび該プログラムを記録した記録媒体は本発明を構成する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
上述した実施形態では、ガンマ変換部２０３が階調変換するためのガンマ設定を決定する場合について説明したが、この場合に限られず、信号レンジ分割部２０１が階調変換するためのガンマ設定を決定してもよい。

１０１：光学系１０２：撮像素子１０３：Ａ／Ｄ変換部１０４：色調整処理部１０５：階調変換処理部１０６：輝度・色差符号化処理部１０７：記録用処理部１０８：表示部１０９：ユーザ指示部１１０：システム制御部２０１：信号レンジ分割部２０２：信号レベル調整部２０３：ガンマ変換部２０４：ガンマ設定ＤＢ

Claims

入力画像のダイナミックレンジを複数の信号レンジに分割する分割手段と、
前記分割手段により分割された信号レンジごとに、前記入力画像の信号レベルを階調変換するときの階調変換特性を決定する決定手段と、
前記入力画像の信号レベルを信号レンジごとに調整する調整手段と、
前記調整手段により調整された前記入力画像の信号レベルを信号レンジごとに、前記決定手段により決定された階調変換特性を用いて階調変換する変換手段と、を有する画像処理装置であって、
前記決定手段は、
所定の信号レンジに含まれる信号レベルの階調変換が前記入力画像のダイナミックレンジによらず一定となるように、信号レンジごとに階調変換特性を決定することを特徴とする画像処理装置。
前記決定手段は、
前記分割手段により分割された複数の信号レンジのうち低い信号レンジでは、前記入力画像のダイナミックレンジよりも低いダイナミックレンジに対応する階調変換特性を、信号レベルを階調変換するときの階調変換特性に決定することを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、
前記分割手段により分割された複数の信号レンジのうち高い信号レンジでは、前記入力画像のダイナミックレンジ以上のダイナミックレンジに対応する階調変換特性を、信号レベルを階調変換するときの階調変換特性に決定することを特徴とする請求項１または２に記載の画像処理装置。
前記決定手段は、
複数のダイナミックレンジにそれぞれ対応する複数の階調変換特性から、前記分割手段により分割された信号レンジごとに、信号レベルを階調変換するときの階調変換特性を決定することを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
前記調整手段は、
信号レンジごとに、前記入力画像のダイナミックレンジと前記決定手段により決定された階調変換特性の基準となるダイナミックレンジとに基づいて、前記入力画像の信号レベルを調整することを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
前記調整手段は、
前記分割手段により分割された複数の信号レンジのうち低い信号レンジでは、前記入力画像のダイナミックレンジと前記決定手段により決定された階調変換特性の基準となるダイナミックレンジとの比を用いて前記入力画像の信号レベルを増幅するように調整し、
前記分割手段により分割された複数の信号レンジのうち高い信号レンジでは、前記入力画像のダイナミックレンジと前記決定手段により決定された階調変換特性の基準となるダイナミックレンジとの比を用いて前記入力画像の信号レベルを減衰するように調整することを特徴とする請求項１ないし５の何れか１項に記載の画像処理装置。
前記分割手段は、
前記入力画像のダイナミックレンジと、前記決定手段により決定された階調変換特性の基準となるダイナミックレンジとに基づいて、前記入力画像のダイナミックレンジを複数の信号レンジに分割することを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。
前記入力画像のダイナミックレンジは、前記入力画像の撮影時の露出設定と前記入力画像の輝度分布の少なくとも何れかに基づいて決定されることを特徴とする請求項１ないし７の何れか１項に記載の画像処理装置。
入力画像のダイナミックレンジを複数の信号レンジに分割する分割ステップと、
前記分割ステップにより分割された信号レンジごとに、前記入力画像の信号レベルを階調変換するときの階調変換特性を決定する決定ステップと、
前記入力画像の信号レベルを信号レンジごとに調整する調整ステップと、
前記調整ステップにより調整された前記入力画像の信号レベルを信号レンジごとに、前記決定ステップにより決定された階調変換特性を用いて階調変換する変換ステップと、を有する画像処理方法であって、
前記決定ステップでは、
所定の信号レンジに含まれる信号レベルの階調変換が前記入力画像のダイナミックレンジによらず一定となるように、信号レンジごとに階調変換特性を決定することを特徴とする画像処理方法。
コンピュータを、請求項１ないし８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１ないし８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。