JP2017130799A - 画像処理装置 - Google Patents

Abstract

【課題】画質の劣化を抑制しながらダイナミックレンジを拡大する。【解決手段】画像処理装置は、ノンリニア変換回路１１１と、デジタルゲイン回路１１３とを含む。ノンリニア変換回路は、第１の画素信号に対して入出力１：１のノンリニア変換を適用し、当該第１の画素信号よりもビット数の多い第２の画素信号を生成する。デジタルゲイン回路は、第２の画素信号に×１倍よりも大きなデジタルゲインを乗算し、当該第２の画素信号よりもダイナミックレンジの広い第３の画素信号を得る。【選択図】図１

Description

実施形態は、画像処理に関する。

ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成とは、複数の異なる露光時間を用いて複数の画像を撮影してこれらを適切に合成することによりダイナミックレンジを拡大する技術である。係る技術によれば、輝度差の大きな画像を適切に表現することが可能となる。例えば、暗環境で撮影された被写体の白飛びを少なくしたり、明環境で撮影された被写体の黒つぶれを少なくしたりすることができる。

しかしながら、ＨＤＲ合成では、露光時間の異なる画像が合成されるので、被写体の動きが高速である場合には当該被写体のぶれが合成画像に表れる。また、単一の画像のダイナミックレンジを拡大する方式（単一露光方式とも呼ばれる）に比べると、ＨＤＲ合成は処理が複雑である。また、ＨＤＲ合成では、合成される画像の感度を合わせるためにゲイン調整が行われるが、デジタルゲインの乗算により生じる量子化ノイズが画質を劣化させる。

特開２００６−３３３８１号公報

実施形態は、画質の劣化を抑制しながらダイナミックレンジを拡大することを目的とする。

実施形態によれば、画像処理装置は、ノンリニア変換回路と、デジタルゲイン回路とを含む。ノンリニア変換回路は、第１の画素信号に対して入出力１：１のノンリニア変換を適用し、当該第１の画素信号よりもビット数の多い第２の画素信号を生成する。デジタルゲイン回路は、第２の画素信号に×１倍よりも大きなデジタルゲインを乗算し、当該第２の画素信号よりもダイナミックレンジの広い第３の画素信号を得る。

第１の実施形態に係る画像処理装置を例示するブロック図。 ＲＡＷ信号の画素配列を例示する図。 図１のγ補正回路によって行われるガンマ補正を例示するグラフ。 図１のキズ・ノイズ補正回路によって行われるキズ補正処理の説明図。 比較例および第１の実施形態のそれぞれにおけるデジタルゲイン設定を例示するテーブル。 ＲＡＷ信号を例示するグラフ。 ガンマ補正済信号を例示するグラフ。 高ダイナミックレンジ信号を例示するグラフ。 ＲＡＷ信号に直接的にデジタルゲインを乗算して得られる線形な高ダイナミックレンジ信号を例示するグラフ。 入力信号の輝度ヒストグラムを例示する図。 図７の輝度ヒストグラムに基づくトーンマッピングの説明図。 図１の信号処理回路によって行われる信号処理の流れを例示するフローチャート。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係る画像処理装置は、レンズ１０１と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ１０２と、ＡＤＣ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）１０３と、信号処理回路１１０とを含む。

レンズ１０１は、外界からの入射光をＣＭＯＳセンサ１０２に集光する。ＣＭＯＳセンサ１０２は、レンズ１０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと変換する。ＣＭＯＳセンサ１０２は、生成した電気信号をＡＤＣ１０３へと出力する。

ＡＤＣ１０３は、ＣＭＯＳセンサ１０２から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのＲＡＷ信号（第１の画素信号）を生成する。ＡＤＣ１０３は、ＲＡＷ信号を信号処理回路１１０へと出力する。

なお、ＡＤＣ１０３の感度は、後述されるＨＤＲ比率（ダイナミックレンジの拡大率）に応じて設定される。すなわち、ＨＤＲ比率がｎ［倍］の場合には、ＡＤＣ１０３の感度の通常に比べて１／ｎ倍に設定される。例えば、ＨＤＲ比率が１［倍］の場合にＡＤＣ１０３の入力飽和レベルが１５０［％］に設定されるならば、ＨＤＲ比率がｎ［倍］の場合にＡＤＣ１０３の入力飽和レベルは１５０×ｎ［％］に設定される。

ＲＡＷ信号の値は、対応するＣＭＯＳセンサ１０２（画素）における入射光の強度に依存する。レンズ１０１とＣＭＯＳセンサ１０２との間には、図示されないカラーフィルタが設けられていてもよい。この場合に、ＲＡＷ信号は、例えば図２に示されるようなベイヤー配列のＲＧＢ信号となる。図２の画素配列では、赤画素（Ｒ）、２つの緑画素（Ｇｒ，Ｇｂ）および青画素（Ｂ）からなる４画素のブロックが規則的に並べられる。

信号処理回路１１０は、ＡＤＣ１０３からＲＡＷ信号を受け取る。信号処理回路１１０は、ＲＡＷ信号に対してダイナミックレンジの拡大を含む種々の画像処理を施す。信号処理回路１１０は、処理済みの信号を図示されない後段の装置（例えば、表示装置、通信装置、記録装置など）へと出力する。

具体的には、信号処理回路１１０は、γ補正回路１１１と、キズ・ノイズ補正回路１１２と、デジタルゲイン回路１１３と、ＨＤＲ圧縮回路１１４とを含む。

γ補正回路１１１は、ＡＤＣ１０３からＲＡＷ信号を受け取る。γ補正回路１１１は、ＲＡＷ信号にガンマ補正を適用することによって、当該ＲＡＷ信号よりもビット数の多いガンマ補正済信号（第２の画素信号）を生成する。γ補正回路１１１は、ガンマ補正済信号をキズ・ノイズ補正回路１１２へと出力する。

具体的には、γ補正回路１１１は、例えば下記数式（１）に示される入出力１：１の多ビット化ガンマ補正をＲＡＷ信号に適用することができる。

数式（１）において、ＯＵＴ（ｘ）はＡＤＣ１０３の入力信号レベルがｘ［％］の場合のガンマ補正済信号の値を表し、ＩＮ（ｘ）は入力信号レベルがｘ［％］の場合のＲＡＷ信号の値を表す。ＩＮ（０）およびＩＮ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のＲＡＷ信号の設定値を表す。γは、例えば信号処理回路１１０の後段に設けられる図示されない表示装置の入出力特性に応じて定められるガンマ補正係数である。また、ＯＵＴ（０）およびＯＵＴ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のガンマ補正済信号の設定値を表す。

例えば、ＩＮ（０）＝２５６、ＩＮ（１００）＝２８１６、γ＝０．４５、ＯＵＴ（０）＝１５３６０、ＯＵＴ（１００）＝５６３２０の場合に、γ補正回路１１１は図３に例示されるガンマ補正を１２ビットのＲＡＷ信号に適用して１６ビットのガンマ補正済信号を生成する。

図３のγ補正によれば、ＲＡＷ信号には信号レベル毎に個別のゲインが与えられる。そして、ガンマ補正済信号は、高輝度側（ＲＡＷ信号の値が大きい側）に比べて低輝度側（ＲＡＷ信号の値が小さい側）の解像度が大きい。

なお、γ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。また、γ補正は、他の入出力１：１の多ビット化ノンリニア変換に置き換えることもできる。

キズ・ノイズ補正回路１１２は、γ補正回路１１１からガンマ補正済信号を受け取る。キズ・ノイズ補正回路１１２は、画素毎にキズ検出を行い、ある画素がキズとして検出されたならば、当該画素の（ガンマ補正済信号の）値を周囲の画素の値を用いて補正する。さらに、キズ・ノイズ補正回路１１２は、キズ検出・補正済みの信号に対してノイズ除去処理を適用することによって、ノイズ除去済信号を生成する。キズ・ノイズ補正回路１１２は、ノイズ除去済信号をデジタルゲイン回路１１３へと出力する。

具体的には、キズ・ノイズ補正回路１１２は、キズ検出の対象画素の値とその周囲の複数の画素の平均値との間の差分を閾値と比較し、当該差分が閾値を超えているならば対象画素をキズとして検出する。ここで、周囲の複数の画素とは、図４に例示されるように、対象画素（中心に位置する「Ｒ」）に対して、上、右上、右、右下、下、左下、左および左上方向でそれぞれ隣接する８個の同色画素（丸で囲まれた「Ｒ」）を指す。

キズ・ノイズ補正回路１１２は、キズとして検出した画素の値を当該画素の周囲の画素の平均値で置き換えることによりキズを補正する。他方、キズ・ノイズ補正回路１１２は、キズとして検出しなかった画素の値については補正を行わない。

さらに、キズ・ノイズ補正回路１１２は、ノイズ除去の対象画素とその周囲の複数の画素とに対してメディアンフィルタを適用し、これらの画素の中央値を抽出する。キズ・ノイズ補正回路１１２は、抽出した中央値と対象画素の値との差分をノイズ基本成分として算出する。そして、キズ・ノイズ補正回路は、このノイズ基本成分にノイズ除去の強度を定める係数を乗算し、これらの積を対象画素の値から差し引くことでノイズ除去済信号を生成する。

なお、キズ・ノイズ補正回路１１２は、上述の技法とは異なる技法を用いて、キズを検出・補正したり、ノイズを除去したりしてもよい。

デジタルゲイン回路１１３は、キズ・ノイズ補正回路１１２からノイズ除去済信号を受け取る。デジタルゲイン回路１１３は、ノイズ除去済信号に対してデジタルゲインを乗算し、高ダイナミックレンジ信号（第３の画素信号）を生成する。デジタルゲイン回路１１３は、高ダイナミックレンジ信号をＨＤＲ圧縮回路１１４へと出力する。

デジタルゲインは、ＨＤＲ比率に基づいて全色共通に設定される第１のゲインに依存して定められる。第１のゲインは、ＨＤＲ比率が１［倍］よりも大きければ、ＨＤＲ比率よりも小さくなる。

或いは、デジタルゲインは、ノイズ除去済信号の色調を補正（典型的には、ホワイトバランスを調整）するために色毎に設定される第２のゲインと前述の第１のゲインとの積に依存して定められてもよい。

なお、γ補正回路１１１よりも前段に例えば図示されない自動ホワイトバランス調整回路を設け、当該自動ホワイトバランス調整回路にホワイトバランスの調整を行わせてもよい。この場合に、デジタルゲインは第１のゲインと同じであってよい。以降の説明では、簡単化のために、特に断りの無い限りは第２のゲインを無視し、デジタルゲインが第１のゲインと等しいこととする。

デジタルゲインは、以下のように導出することができる。ＨＤＲ比率が１［倍］およびｎ［倍］の場合の入力飽和レベルでのガンマ補正済信号の値からガンマ補正済信号の黒レベル設定値（ＯＵＴ（０））を差し引いた値を、それぞれＤＩＦ（１）およびＤＩＦ（ｎ）とする。ＤＩＦ（ｎ）をＤＩＦ（１）で除算することにより、ＨＤＲ比率がｎ［倍］の場合のデジタルゲインを導出することができる。

例えば、ＨＤＲ比率が１［倍］に設定され、ＡＤＣ１０３の入力飽和レベルが１５０［％］に設定されているとする。この場合に、図３のγ補正によれば、入力飽和レベルでのガンマ補正済信号の値は以下のように計算される。

そして、ＨＤＲ比率が２［倍］に設定されれば、ＡＤＣ１０３の入力飽和レベルは３００［％］に設定されることになる。この場合に、図３のγ補正によれば、入力飽和レベルでのガンマ補正済信号の値は以下のように計算される。

故に、ＨＤＲ比率が２［倍］の場合のデジタルゲインは、以下のように導出することができる。

ＨＤＲ圧縮回路１１４は、デジタルゲイン回路１１３から高ダイナミックレンジ信号を受け取る。ＨＤＲ圧縮回路１１４は、高ダイナミックレンジ信号のダイナミックレンジを圧縮することによってＨＤＲ圧縮信号を生成する。ＨＤＲ圧縮回路１１４は、図示されない後段の装置（例えば、表示装置）へとＨＤＲ圧縮信号を出力する。なお、ＨＤＲ圧縮信号のダイナミックレンジは、上記後段の装置がサポート可能なダイナミックレンジに適合するように定められる。

具体的には、ＨＤＲ圧縮回路１１４は、例えばトーンマッピングを用いて局所的なコントラストをできるだけ維持しながら、高ダイナミックレンジ信号のダイナミックレンジを圧縮する。

例えば、ＨＤＲ圧縮回路１１４は、図７に示されるように、入力信号（高ダイナミックレンジ信号）の輝度レベルのヒストグラムを作成する。そして、ＨＤＲ圧縮回路１１４は、図８に示されるように、各ビンに属する入力信号に対して当該ビンの頻度に応じて解像度を割り当てることにより、ＨＤＲ圧縮信号を生成する。頻度が高いビンには高い解像度が割り当てられ、頻度が低いビンには低い解像度が割り当てられる。

信号処理回路１１０によって行われる信号処理の流れが図９に例示される。ここで、信号処理回路１１０は、ＨＤＲモードおよびノーマルモードのいずれかに設定されることとする。ＨＤＲモードでは、ダイナミックレンジの拡大が行われ、ＨＤＲ比率は１［倍］より大きく設定される。ノーマルモードではダイナミックレンジの拡大は行われず、ＨＤＲ比率は１［倍］に設定される。

まず、γ補正回路１１１は、ＲＡＷ信号にガンマ補正を適用することによって、当該ＲＡＷ信号よりもビット数の多いガンマ補正済信号を生成する（ステップＳ１０１）。キズ・ノイズ補正回路１１２は、ステップＳ１０１において生成されたガンマ補正済信号に基づいて、対象画素がキズであるか否かを判定する（ステップＳ１０２）。対象画素がキズとして判定されれば処理はステップＳ１０４へと進み、そうでなければ処理はステップＳ１０５へと進む（ステップＳ１０３）。

ステップＳ１０４において、キズ・ノイズ補正回路１１２は、キズとして判定された画素の値を正常な値（例えば、周囲の画素の平均値）に置き換えることでキズ補正を行う。ステップＳ１０４の後に処理はステップＳ１０５へと進む。

ステップＳ１０５において、キズ・ノイズ補正回路１１２は、対象画素にノイズ除去を適用することでノイズ除去済信号を生成する。信号処理回路１１０の動作モードがＨＤＲモードであれば処理はステップＳ１０７へと進み、信号処理回路１１０の動作モードがノーマルモードであれば処理はステップＳ１０９へと進む（ステップＳ１０６）。

ステップＳ１０７において、デジタルゲイン回路１１３は、ＨＤＲ比率に基づいて全色共通に設定される第１のゲインに依存して定められるデジタルゲインを、ステップＳ１０５において生成されたノイズ除去済信号に乗算することで、高ダイナミックレンジ信号を生成する。なお、デジタルゲイン回路１１３は、ノイズ除去済信号の色調を補正するために色毎に設定される第２のゲインを上記第１のゲインに乗算することにより得られるデジタルゲインを用いてもよい。

ＨＤＲ圧縮回路１１４は、ステップＳ１０７において生成された高ダイナミックレンジ信号のダイナミックレンジを例えばトーンマッピングを用いて圧縮する（ステップＳ１０８）。ステップＳ１０８にて図９の信号処理（ＨＤＲモード）は終了する。

他方、ステップＳ１０９では、ノイズ除去済信号の色調を補正するために色毎に設定される第２のゲインに等しいデジタルゲインを、ステップＳ１０５において生成されたノイズ除去済信号に乗算することで、当該ノイズ除去済信号の色調を補正する。ステップＳ１０９にて図９の信号処理（ノーマルモード）は終了する。

なお、図示されない自動ホワイトバランス調整回路にホワイトバランスの調整を行わせる場合には、ステップＳ１０９を省略してもよい。

概括すれば、第１の実施形態に係る画像処理装置は、入力信号レベルに対して線形に変化するＲＡＷ信号（図６Ａ）にガンマ補正を適用することで、入力信号レベルに対して非線形に変化するガンマ補正済信号（図６Ｂ）を生成する。そして、この画像処理装置は、ガンマ補正済信号（より正確にはノイズ除去済信号）にデジタルゲインを乗算することでダイナミックレンジを拡大する（図６Ｃ）。

他方、従来の画像処理装置（以降、比較例に係る画像処理装置と呼ばれる）は、ＲＡＷ信号（図６Ａ）に直接的にデジタルゲインを乗算することで、入力信号レベルに対して線形に変化する高ダイナミックレンジ信号（図６Ｄ）を生成する。故に、比較例に係る画像処理装置によって用いられるデジタルゲインは、ＨＤＲ比率に等しくなる。

図５には、第１の実施形態に係る画像処理装置と比較例に係る画像処理装置とのデジタルゲイン設定が例示されている。図５から理解できるように、第１の実施形態に係る画像処理装置のデジタルゲインは、ＨＤＲ比率が１より大きい限りは、ＨＤＲ比率（すなわち、比較例に係る画像処理装置のデジタルゲイン）よりも小さい。

加えて、第１の実施形態に係る画像処理装置のデジタルゲインはＨＤＲ比率が増加すると連動して増加するものの、前者の増分は後者の増分に比べて小さく抑えられる。例えばＨＤＲ比率が１２８［倍］の場合に、第１の実施形態に係る画像処理装置のデジタルゲインは８．８７６であり、この値は比較例の約０．０６９倍に相当し非常に小さい。

以上説明したように、第１の実施形態に係る画像処理装置は、入力画素信号に入出力１：１の多ビット化ノンリニア変換を適用してから、デジタルゲインを乗算してダイナミックレンジを拡大する。この結果、この画像処理装置は、入力画素信号に直接的にデジタルゲインを乗算する場合に比べて、小さなデジタルゲインで同等のダイナミックレンジの拡大を実現する。故に、この画像処理装置によれば、ダイナミックレンジの拡大に伴う量子化ノイズを低減することができる。換言すれば、この画像処理装置によれば、画質（例えば、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）、色再現性など）の劣化を抑制しながらダイナミックレンジを拡大することができる。

さらに、第１の実施形態に係る画像処理装置は、単一露光方式であるから、イメージセンサの複雑な制御や画像合成のような複雑な処理を必要としないので低コストでの実装が可能である。また、この画像処理装置は、多ビット化γ補正後に空間演算処理を含むキズ・ノイズ補正を行うので、色再現性の向上が可能である。

上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１・・・レンズ
１０２・・・ＣＭＯＳセンサ
１０３・・・ＡＤＣ
１１０・・・信号処理回路
１１１・・・γ補正回路
１１２・・・キズ・ノイズ補正回路
１１３・・・デジタルゲイン回路
１１４・・・ＨＤＲ圧縮回路

Claims (3)

1. 第１の画素信号に対して入出力１：１のノンリニア変換を適用し、当該第１の画素信号よりもビット数の多い第２の画素信号を生成するノンリニア変換回路と、
   前記第２の画素信号に×１倍よりも大きなデジタルゲインを乗算し、当該第２の画素信号よりもダイナミックレンジの広い第３の画素信号を得るデジタルゲイン回路と
   を具備する、画像処理装置。
2. 前記第３の画素信号のダイナミックレンジを圧縮する圧縮回路をさらに具備する、請求項１記載の画像処理装置。
3. 前記デジタルゲインは、前記第２の画素信号のダイナミックレンジの拡大率に基づいて設定される第１のゲインと、当該第２の画素信号の色調を補正するために色毎に設定される第２のゲインとの積に依存して定められる、請求項１記載の画像処理装置。