JP2020162049A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ホワイトバランス補正がノイズに起因する色づきに与える影響を考慮して撮像画像の色成分の抑圧処理を行う技術を提供する。【解決手段】ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定手段と、前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定手段と、前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図２

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

従来、撮像装置において、ゲイン、温度、露光時間などに起因するノイズの抑圧制御や、ホワイトバランス（ＷＢ）補正の制御などが行われている。低照度環境下においては、視認性を高めるために大きなゲインを使用する場合があるが、この場合、ゲインに起因するノイズも大きくなる。その結果、撮像画像の低輝度領域においてはノイズ成分が支配的となり、ノイズに起因する色づきが発生して画質が低下するという問題があった。

この問題を解決するために、ゲインに基づいてノイズの抑制制御を行う技術が知られている。例えば、特許文献１には、撮像素子により得られた映像信号を表示する場合に、測光値に基づいて決定したゲインや露光時間といった撮影条件に基づいて、映像信号のうちノイズ成分を推測して抑圧することが開示されている。また、特許文献２には、発生するノイズ成分のうち、特に色ノイズを抑圧するための技術が開示されている。具体的には、露光時間及び温度に応じて変化するノイズレベルを求め、求めたノイズレベルに対応する色ずれのレベルを算出し、ゲインに基づいて色成分の抑圧処理を実施することが開示されている。

特許第３７６２７２５号公報 特開２０１３−１６２２４８号公報

低輝度領域に発生するノイズに起因する色づきは、撮影条件、特にホワイトバランス補正のゲイン（ホワイトバランスゲイン）に応じて大きく変化する。また、低輝度領域以外の領域についても、ノイズに起因する色づきはホワイトバランスゲインの影響を受ける。しかしながら、従来の技術では、ホワイトバランス補正がノイズに起因する色づきに与える影響が考慮されていなかった。

本発明はこのような状況に鑑みてなされたものであり、ホワイトバランス補正がノイズに起因する色づきに与える影響を考慮して撮像画像の色成分の抑圧処理を行う技術を提供することを目的とする。

上記課題を解決するために、本発明は、ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定手段と、前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定手段と、前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、ホワイトバランス補正がノイズに起因する色づきに与える影響を考慮して撮像画像の色成分の抑圧処理を行うことが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

画像処理装置を含む撮像装置１００の構成を示すブロック図。 第１の実施形態に係る画像処理のフローチャート。 ノイズレベルを推定する処理の概念図。 色毎のノイズ信号推定値を算出する処理の概念図。 色抑圧処理を適用する輝度範囲を決定する処理の概念図。 ノイズの色差成分の大きさΔＣｒＣｂの概念図。 色抑圧処理の強度を決定する処理の概念図。 第２の実施形態に係る画像処理のフローチャート。 色抑圧処理を適用する色差範囲を決定する処理の概念図。 画像処理装置を含む撮像装置２００の構成を示すブロック図。 撮像素子２０の遮光領域及び非遮光領域を示す概念図。 第３の実施形態に係る画像処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、画像処理装置を含む撮像装置１００の構成を示すブロック図である。図１において、レンズ１０から入射した光は、ＣＣＤやＣＭＯＳセンサに代表される撮像素子２０の受光面上に結像する。撮像素子２０は、結像した光を光電変換により画像信号に変換して出力する。画像処理部３０は、撮像素子２０から出力された画像信号に対して、色変換、ＡＥ処理、ホワイトバランス補正（ＷＢ補正）、階調変換を行うγ処理などの、各種画像処理を行う。システム制御部４０は、制御プログラムが格納されたＲＯＭとワークメモリとして使用されるＲＡＭとを含み、制御プログラムを実行することにより撮像装置１００全体を制御する。

画像処理部３０において、ゲイン制御部３１は、撮像素子２０による光電変換により生成された画像信号に対して適用するゲインを決定し、決定したゲインを画像信号に適用する。露光時間制御部３２は、露光時間を決定し、撮像素子２０に対して露光時間の制御を行う。ノイズレベル推定部３３は、ゲイン制御部３１により決定されたゲインに基づいて、撮像画像に含まれるノイズのレベル（ノイズレベル）を推定する。なお、ノイズレベルは、ゲインを含む様々な撮影条件の影響を受ける。ノイズレベルに影響を与える撮影条件の例として、露光時間がある。従って、ノイズレベル推定部３３は、ゲイン制御部３１により決定されたゲインに加えて、露光時間制御部３２によって決定された露光時間に基づいてノイズレベルを推定してもよい。

ＷＢゲイン制御部３４は、画像信号において適切なホワイトバランスが得られるよう、画像信号の各色にかけるゲイン（ホワイトバランスゲイン）を決定する。即ち、ゲイン制御部３１のゲインは全色共通のゲインであるが、ホワイトバランスゲイン（ＷＢゲイン）は色毎に決定される。ＷＢゲイン制御部３４は、画像信号に対して、色毎に決定されたＷＢゲインを適用する信号処理（ＷＢ補正）を行う。

ノイズ輝度・色差推定部３５は、ノイズレベル推定部３３により推定されたノイズレベルに対し、ＷＢゲイン制御部３４により決定された色毎のＷＢゲインをかけることで、実際に出力されるノイズ（撮像画像に含まれるノイズ）の輝度成分及び色差成分を推定する。

色抑圧範囲決定部３６は、ノイズ輝度・色差推定部３５によって推定されたノイズの輝度成分に基づいて、色成分の抑圧処理（色抑圧処理）を適用する輝度範囲を決定する。色抑圧レベル決定部３７は、ノイズ輝度・色差推定部３５により推定されたノイズの色差成分に基づいて、色抑圧処理の強度を決定する。色抑圧部３８は、ホワイトバランス補正が行われた撮像画像の、色抑圧範囲決定部３６により決定された輝度範囲内の輝度を持つ画素に対して、色抑圧レベル決定部３７により決定された強度で色抑圧処理を適用する。

図２は、第１の実施形態に係る画像処理のフローチャートである。撮像素子２０による光電変換により生成された画像信号が画像処理部３０に入力されると、本フローチャートの処理が開始する。

Ｓ１０で、ゲイン制御部３１は、全色共通のゲインを決定し、決定したゲインを画像信号に適用する。Ｓ１１で、露光時間制御部３２は、画像信号の露光時間を取得する。Ｓ１２で、ノイズレベル推定部３３は、Ｓ１０において決定されたゲインに基づいてノイズレベルを推定する。なお、ノイズレベル推定部３３は、Ｓ１０において決定されたゲインに加えて、Ｓ１１において取得された露光時間に基づいてノイズレベルを推定してもよい。

図３は、ノイズレベルを推定する処理の概念図である。図３に示されるように、ゲイン及び露光時間に対応するノイズレベルが推定される。

図２に戻り、Ｓ１３で、ＷＢゲイン制御部３４は、画像信号の色毎にＷＢゲインを決定し、決定したＷＢゲインを画像信号に適用する。Ｓ１４で、ノイズ輝度・色差推定部３５は、ノイズレベル及びＷＢゲインに基づいて色毎にノイズ信号推定値を算出する。そして、ノイズ輝度・色差推定部３５は、算出された色毎のノイズ信号推定値から、推定ノイズ輝度値（ノイズの輝度成分）及び推定ノイズ色差値（ノイズの色差成分）を算出する。

図４は、色毎のノイズ信号推定値を算出する処理の概念図である。撮像素子２０により生成される画像信号に生じるノイズは電気的な信号であり、ゲイン制御部３１のゲインは全色共通である。そのため、図４の左側に示すように、ノイズレベル推定部３３により推定されるノイズレベルには、色毎の相違は生じない。一方、ＷＢゲインは色毎に決定される。そのため、図４の右側に示すように、ノイズ信号推定値は、色毎に異なる場合があり、ノイズの色づきが発生する場合がある。ノイズ輝度・色差推定部３５は、このような色毎のノイズ信号推定値から、ノイズの輝度成分及び色差成分を算出する。

なお、Ｓ１２及びＳ１４の処理から理解できるように、ノイズレベルはゲイン制御部３１のゲインに基づいて推定され、ノイズの輝度成分及び色差成分はノイズレベル及びＷＢゲインに基づいて算出される。従って、Ｓ１２及びＳ１４の処理全体としては、ホワイトバランス補正が行われた撮像画像に含まれるノイズの輝度成分及び色差成分が、全色共通のゲイン及び色毎に決定されるＷＢゲインに基づいて推定される。

図２に戻り、Ｓ１５で、色抑圧範囲決定部３６は、ノイズの輝度成分の大きさに基づいて、色抑圧処理を適用する輝度範囲を決定する。また、色抑圧レベル決定部３７は、ノイズの色差成分の大きさに基づいて、色抑圧処理の強度を決定する。

図５は、色抑圧処理を適用する輝度範囲を決定する処理の概念図である。推定ノイズ輝度以下の輝度の範囲（ノイズの輝度成分の大きさ以下の輝度の範囲）が、色抑圧処理を適用する輝度範囲として決定される。なお、色抑圧処理を適用する輝度範囲は、推定ノイズ輝度未満の輝度の範囲（ノイズの輝度成分の大きさ未満の輝度の範囲）であってもよい。このように色抑圧処理の輝度範囲を決定することにより、ノイズに起因する色づきが目立つ低輝度領域に対して色抑圧処理を適用することが可能となる。

図６は、ノイズの色差成分の大きさΔＣｒＣｂの概念図である。ΔＣｒＣｂは、下記の式（１）に従って算出される。
ΔＣｒＣｂ＝√（Ｃｒ^２＋Ｃｂ^２） ・・・（１）
ここで、Ｃｒ及びＣｂは、Ｓ１４においてノイズ輝度・色差推定部３５により算出された推定ノイズ色差値（ノイズの色差成分）である。ノイズの色差成分の大きさΔＣｒＣｂを求めることで、ノイズに起因する色づきの度合いを判定することができる。

図７は、色抑圧処理の強度を決定する処理の概念図である。図７に示すように、ノイズの色差成分の大きさΔＣｒＣｂに応じて、色抑圧処理の強度が変化する。

図２に戻り、Ｓ１６で、色抑圧部３８は、ＷＢ補正が行われた撮像画像に対して色抑圧処理を適用する。色抑圧処理は、撮像画像のうちＳ１５において決定された輝度範囲内の輝度を持つ画素に対して、Ｓ１５において決定された強度で行われる。

以上説明したように、第１の実施形態によれば、撮像装置１００は、撮像素子２０による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるＷＢゲインとを適用することにより、撮像画像を取得する（図２のＳ１０及びＳ１３）。そして、撮像装置１００は、全色共通のゲインと色毎に決定されるＷＢゲインとに基づいて、撮像画像に含まれるノイズの輝度成分及び色差成分を推定する（図２のＳ１２及びＳ１４）。そして、撮像装置１００は、ノイズの輝度成分の大きさに基づいて、色抑圧処理を適用する輝度範囲を決定し、ノイズの色差成分の大きさに基づいて、色抑圧処理の強度を決定する。そして、撮像装置１００は、撮像画像のうち決定された輝度範囲内の輝度を持つ画素に対して、決定された強度で色抑圧処理を適用する。これにより、ＷＢ補正がノイズに起因する色づきに与える影響を考慮して撮像画像の色成分の抑圧処理を行うことが可能となる。

なお、撮像装置１００は、色抑圧処理を適用する輝度範囲を決定せずに、輝度に関わらず撮像画像に対して色抑圧処理を適用してもよい。この場合、ノイズに起因する色づきがそれほど目立たない高輝度領域においても色抑圧処理が適用されるが、ＷＢ補正がノイズに起因する色づきに与える影響は、色抑圧処理において依然として考慮されている。

また、図７の例ではノイズの色差成分の大きさが大きいほど色抑圧処理の強度も大きいが、ノイズの色差成分の大きさと色抑圧処理の強度との具体的な関係は特に限定されない。色抑圧処理の強度がノイズの色差成分の大きさに基づいて決定される限り、ＷＢ補正がノイズに起因する色づきに与える影響は、色抑圧処理において依然として考慮されている。

［第２の実施形態］
第２の実施形態では、色抑圧処理を適用する色差範囲を決定し、撮像画像のうち決定された色差範囲内の色差を持つ画素に対して色抑圧処理を適用する構成について説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

図８は、第２の実施形態に係る画像処理のフローチャートである。図８において、図２と同一又は同様の処理が行われるステップには図２と同一の符号を付し、その説明を省略する。撮像素子２０による光電変換により生成された画像信号が画像処理部３０に入力されると、本フローチャートの処理が開始する。

Ｓ２６で、色抑圧範囲決定部３６は、Ｓ１４において算出されたノイズの色差成分に基づいて、色抑圧処理を適用する色差範囲を決定する。

図９は、色抑圧処理を適用する色差範囲を決定する処理の概念図である。ノイズの色差成分の近傍の色差の範囲が、色抑圧処理を適用する色差範囲として決定される。ここで言う「近傍」とは、撮像画像の画素が持つ色差がノイズの色差成分に起因する可能性が高いと考えられる範囲であり、例えば図９に示すように閾値ＴｈＣｒ及びＴｈＣｂを用いて定めることができる。即ち、図９の例では、０≦推定Ｃｒ≦推定Ｃｒ＋ＴｈＣｒ、かつ０≦推定Ｃｂ≦推定Ｃｂ＋ＴｈＣｂを満たす色差の場合が、色抑圧処理を適用する色差範囲として決定される。

なお、色抑圧処理を適用する色差範囲は、ノイズの色差成分に基づいて決定される限り、ノイズの色差成分の近傍の色差の範囲に限定されない。

図８に戻り、Ｓ２７で、色抑圧部３８は、ＷＢ補正が行われた撮像画像に対して色抑圧処理を適用する。色抑圧処理は、撮像画像のうち、Ｓ１５において決定された輝度範囲内の輝度を持ち、Ｓ２６において決定された色差範囲内の色差を持つ画素に対して、Ｓ１５において決定された強度で行われる。

以上説明したように、第２の実施形態によれば、撮像装置１００は、ＷＢ補正が行われた撮像画像に含まれるノイズの色差成分に基づいて、色抑圧処理を適用する色差範囲を決定する。そして、撮像装置１００は、撮像画像のうち決定された色差範囲内の色差を持つ画素に対して色抑圧処理を適用する。これにより、ＷＢ補正がノイズに起因する色づきに与える影響を考慮して撮像画像の色成分の抑圧処理を行うことが可能となる。

［第３の実施形態］
第１の実施形態では、全色共通のゲインと色毎に決定されるＷＢゲインとに基づいて、撮像画像に含まれるノイズの輝度成分及び色差成分を推定する構成について説明した。しかしながら、ノイズの輝度成分及び色差成分を推定する方法は、第１の実施形態で説明した方法に限定されない。第３の実施形態では、撮像画像の遮光領域に対応する領域の画素値、又はユーザ指示に従って選択された撮像画像の部分領域の画素値に基づいて、ノイズの輝度成分及び色差成分を推定する構成について説明する。

図１０は、画像処理装置を含む撮像装置２００の構成を示すブロック図である。撮像装置２００は、図１に示す撮像装置１００と比べて、画像処理部３０の代わりに画像処理部１３０を備える点が異なる。また、画像処理部１３０は、画像処理部３０と比べて、ノイズレベル推定部３３及びノイズ輝度・色差推定部３５の代わりにノイズ推定領域選択部１３３及びノイズ輝度・色差推定部１３５を備える点が異なる。以下、主に第１の実施形態と異なる点について説明する。

ノイズ推定領域選択部１３３は、撮像画像においてノイズ推定を行う領域（ノイズ推定領域）を選択する。例えば、ノイズ推定領域選択部１３３は、撮像画像において撮像素子２０の遮光領域に対応する領域を選択してもよいし、ユーザ指示に従って撮像画像の部分領域を選択してもよい。後者の場合、ユーザは、撮像画像における低輝度領域が選択されるように指示を行う。ノイズ輝度・色差推定部１３５は、撮像画像のノイズ推定領域の画素値に基づいて、ノイズの輝度成分及び色差成分を推定する。例えば、ノイズ輝度・色差推定部１３５は、撮像画像のノイズ推定領域の画素値から輝度値及び色差値を算出し、算出された輝度値及び色差値をノイズの輝度成分及び色差成分の推定値として用いる。

図１１は、撮像素子２０の遮光領域及び非遮光領域を示す概念図である。レンズ１０から入射した光が結像するイメージサークルが撮像素子２０の撮像面よりも狭い場合、イメージサークルの外の領域（遮光領域）は光を受光しない。従って、遮光領域をノイズ推定領域として選択することで、撮像画像の遮光領域に対応する領域の画素値をノイズと見なすことが可能である。

図１２は、第３の実施形態に係る画像処理のフローチャートである。図１２において、図２と同一又は同様の処理が行われるステップには図２と同一の符号を付し、その説明を省略する。撮像素子２０による光電変換により生成された画像信号が画像処理部１３０に入力されると、本フローチャートの処理が開始する。

Ｓ３２で、ノイズ推定領域選択部１３３は、撮像画像のノイズ推定領域を選択する。前述の通り、ノイズ推定領域選択部１３３は、撮像画像において撮像素子２０の遮光領域に対応する領域を選択してもよいし、ユーザ指示に従って撮像画像の部分領域を選択してもよい。Ｓ３４で、ノイズ輝度・色差推定部１３５は、撮像画像のノイズ推定領域の画素値に基づいて、ノイズの輝度成分及び色差成分を推定する。

以上説明したように、第３の実施形態によれば、撮像装置２００は、撮像画像の遮光領域に対応する領域の画素値、又はユーザ指示に従って選択された撮像画像の部分領域の画素値に基づいて、ノイズの輝度成分及び色差成分を推定する。このように、第１の実施形態において説明した方法とは異なる方法によってもノイズの輝度成分及び色差成分を推定することが可能である。

［その他の実施形態］
上記実施形態で用いられる撮像装置として、いわゆる一般的なデジタルスチルカメラやデジタルビデオカメラの他、監視カメラや産業・工場用カメラ、医療用カメラを用いることも可能である。これらのカメラはその用途によっては低照度下での撮像が必須となる場合があり、その場合に本発明は有用となる。さらに本発明は画像処理装置を含む撮像装置を例に説明したが、撮像装置を例えば有線または無線ネットワーク越しに制御する画像処理装置にも適用可能である。この場合、画像処理装置は各種ゲインの値を撮像装置から受信し、ノイズレベルの推定および色抑圧レベルの決定を行い、色抑圧レベルを撮像装置に送信してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０…撮像素子、３０…画像処理部、３１…ゲイン制御部、３３…ノイズレベル推定部、３４…ＷＢゲイン制御部、３５…ノイズ輝度・色差推定部、３６…色抑圧範囲決定部、３７…色抑圧レベル決定部、３８…色抑圧部、１００…撮像装置

Claims (11)

1. ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定手段と、
   前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定手段と、
   前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記推定手段は、前記ノイズの輝度成分を推定し、
   前記決定手段は、前記ノイズの輝度成分の大きさに基づいて、前記色抑圧処理を適用する輝度範囲を決定し、
   前記処理手段は、前記撮像画像のうち前記輝度範囲内の輝度を持つ画素に対して前記色抑圧処理を適用する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度範囲は、前記ノイズの輝度成分の大きさ以下の輝度の範囲、又は前記ノイズの輝度成分の大きさ未満の輝度の範囲である
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記ノイズの色差成分に基づいて、前記色抑圧処理を適用する色差範囲を決定し、
   前記処理手段は、前記撮像画像のうち前記色差範囲内の色差を持つ画素に対して前記色抑圧処理を適用する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記色差範囲は、前記ノイズの色差成分の近傍の色差の範囲である
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記撮像画像は、撮像手段による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるホワイトバランスゲインとを適用することにより得られ、
   前記推定手段は、前記ゲイン及び前記ホワイトバランスゲインに基づいて、前記ノイズの色差成分を推定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記撮像画像は、遮光領域及び非遮光領域を含む撮像手段による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるホワイトバランスゲインとを適用することにより得られ、
   前記推定手段は、前記撮像画像の前記遮光領域に対応する領域の画素値に基づいて、前記ノイズの色差成分を推定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. ユーザ指示に従って前記撮像画像の部分領域を選択する選択手段を更に備え、
   前記撮像画像は、撮像手段による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるホワイトバランスゲインとを適用することにより得られ、
   前記推定手段は、前記撮像画像の前記部分領域の画素値に基づいて、前記ノイズの色差成分を推定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
9. 請求項６乃至８のいずれか１項に記載の画像処理装置と、
   前記撮像手段と、
   を備えることを特徴とする撮像装置。
10. 画像処理装置が実行する画像処理方法であって、
    ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定工程と、
    前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定工程と、
    前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理工程と、
    を備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images