JP2021180439A - 撮像装置 - Google Patents

Abstract

【課題】この開示は、撮像装置に関し、様々なエッジ部を含む画像について好ましい画質を生成することを目的とする。【解決手段】固体撮像素子が取得した撮影イメージから、中心部に注目画素を含むように切り出した画像データｂと、デコンボリューションフィルタａとの畳み込み演算により注目画素の補正輝度値（ｃm,n）を演算する（ステップ１００）。画像データｂにおいて前記注目画素を取り巻く位置に配置されている複数の画素の輝度値に基づいて、前記注目画素の上限輝度値（bmax）および下限輝度値（bmin）を演算する（ステップ１０２）。補正輝度値（ｃm,n）が上限輝度値を超える場合に、その値を上限輝度値に変更する（ステップ１０４，１０６）。補正輝度値（ｃm,n）が下限輝度値に満たない場合に、その値を下限輝度値に変更する（ステップ１０８，１１０）。【選択図】図６

Description

この開示は、撮像装置に係り、特に、レンズを介して撮像素子が取得した撮影イメージを補正する機能を備える撮像装置に関する。

特許文献１には、レンズと撮像素子を備える撮像装置が開示されている。レンズを通過して撮像素子に到達する画像には、レンズの光学的特性に起因するボケが生ずる。特許文献１には、そのボケの影響を改善するために、撮像素子が取得した撮影イメージにデコンボリューション処理による補正を施す技術が開示されている。

撮影イメージには、輝度が大きく変化する部分が含まれることがある。以下、このような部分を「エッジ部」と称す。このようなエッジ部に対してデコンボリューション処理による補正が施された場合、輝度の変化が過剰となるオーバーシュートの現象、或いは、その変化が過少となるアンダーシュートの現象が生ずることがある。

特許文献１には、撮影イメージに対して、エッジ強度に応じた更なる補正処理を施す手法が開示されている。この手法によれば、具体的には、エッジ強度が上限閾値を超える場合は、デコンボリューション処理で得られた輝度値ｄが最終的な輝度値として採用される。また、エッジ強度が下限閾値を下回る場合は撮影イメージの輝度値Ｉがそのまま最終的な輝度値とされる。そして、エッジ強度が、上限閾値と下限閾値との間に位置する場合は、予め定めた係数αにより演算されるｄとＩの間の値（１−α）・Ｉ＋α・ｄが最終的な輝度値とされる。

特開２０１８−６７８６８号公報

特許文献１に記載の上記の手法は、エッジ部のオーバーシュートおよびアンダーシュートを防止するうえである程度有用である。しかしながら、この手法は、エッジ強度を強、中、弱の３種類に分類して処理しているに過ぎず、エッジ強度と最終的な輝度値との関係を明確に関連付けるものではない。このため、この手法は、様々なエッジ強度が混在する自然画像が撮影対象であるような場合に、全てのエッジ部に適切な修正を施すことができず、好ましい画質が得られない事態を招き易い。

この開示は、上述のような課題を解決するためになされたもので、例えば自然画像のように様々なエッジ部を含む画像についても、好ましい画質を生成する撮像装置を提供することを目的とする。

第１の態様は、上記の目的を達成するため、撮像装置であって、光学レンズと、前記光学レンズを通過した光を受ける固体撮像素子と、前記固体撮像素子が取得した撮影イメージに、解像度を改善するための補正処理を施す処理装置と、を備え、当該処理装置は、前記撮影イメージから、中心部に注目画素を含むように切り出した画像データと、当該画像データのサイズと等しいカーネルサイズを持つデコンボリューションフィルタとの畳み込み演算を行って、前記注目画素の補正輝度値を演算する処理と、前記画像データにおいて前記注目画素を取り巻く位置に配置されている複数の画素の輝度値に基づいて、前記注目画素の上限輝度値を演算する処理と、前記補正輝度値が前記上限輝度値を超える場合に、当該補正輝度値を前記上限輝度値に変更する処理と、を実行することが望ましい。

また、第２の態様は、第１の態様において、前記上限輝度値は、前記複数の画素の輝度値の最大値であることが望ましい。

また、第３の態様は、第１の態様において、前記上限輝度値は、前記複数の画素の輝度値の最大値に調整係数を掛け合わせた値であることが望ましい。

また、第４の態様は、撮像装置であって、光学レンズと、前記光学レンズを通過した光を受ける固体撮像素子と、前記固体撮像素子が取得した撮影イメージに、解像度を改善するための補正処理を施す処理装置と、を備え、当該処理装置は、前記撮影イメージから、中心部に注目画素を含むように切り出した画像データと、当該画像データのサイズと等しいカーネルサイズを持つデコンボリューションフィルタとの畳み込み演算を行って、前記注目画素の補正輝度値を演算する処理と、前記画像データにおいて前記注目画素を取り巻く位置に配置されている複数の画素の輝度値に基づいて、前記注目画素の下限輝度値を演算する処理と、前記補正輝度値が前記下限輝度値に満たない場合に、当該補正輝度値を前記下限輝度値に変更する処理と、を実行することが望ましい。

また、第５の態様は、第４の態様において、前記下限輝度値は、前記複数の画素の輝度値の最小値であることが望ましい。

また、第６の態様は、第４の態様において、前記下限輝度値は、前記複数の画素の輝度値の最小値に調整係数を掛け合わせた値であることが望ましい。

また、第７の態様は、第３または第６の態様において、前記処理装置は、前記調整係数の入力インターフェースを備え、当該入力インターフェースに入力値が提供された場合に、前記調整係数を当該入力値に変更する処理を実行することが望ましい。

また、第８の態様は、第１乃至第７の態様の何れかにおいて、前記複数の画素は、前記注目画素を中心としてその周囲に隣接して配置されているｎ×ｎ−１個の画素であることが望ましい。

また、第９の態様は、第１乃至第７の態様の何れかにおいて、前記複数の画素は、前記注目画素の上下左右に隣接して配置されている四個の画素であることが望ましい。

第１の態様によれば、デコンボリューションフィルタを用いた畳み込み演算により、注目画素の補正輝度値が算出される。そして、この補正輝度値は、上限輝度値を超える場合には、その上限輝度値に変更される。上限輝度値は、補正前の撮影イメージにおいて注目画素を取り巻いている複数の画素の輝度値に基づいて演算される。注目画素の補正輝度値が、そのような上限輝度値以下にガードされれば、その補正輝度値が、周囲の輝度値に対して著しく突出した値になるのを避けることができる。そして、撮影イメージに含まれる個々の画素が注目画素として順次処理されることにより、補正により得られる画像は、周囲から著しく輝度値が突出した画素を持たない画像となる。このため、本態様によれば、自然画像のように様々なエッジ部を含む画像についても、輝度値のオーバーシュートを抑えて好ましい画質を生成することができる。

第２の態様によれば、注目画素の補正輝度値を、補正前の周囲の輝度値の最大値以下にガードすることができる。これにより、本態様によれば、演算負荷の低い簡単な処理により、エッジ部のオーバーシュートを有効に抑えることができる。

第３の態様によれば、注目画素の補正輝度値を、補正前の周囲の輝度値の最大値に調整係数を掛け合わせた値以下にガードすることができる。これにより、本態様によれば、エッジ部のオーバーシュートを適切に調整して、そのエッジ部に、好ましいエッジ強度を与えることができる。

第４の態様によれば、下限輝度値に満たない補正輝度値は、その下限輝度値に変更される。下限輝度値は、補正前の撮影イメージにおいて注目画素を取り巻いている複数の画素の輝度値に基づいて演算される。注目画素の補正輝度値が、そのような下限輝度値以上にガードされれば、その補正輝度値が、周囲の輝度値に対して著しく過少な値になるのを避けることができる。そして、撮影イメージに含まれる個々の画素が注目画素として順次処理されることにより、補正により得られる画像は、周囲から著しく輝度値が下がった画素を持たない画像となる。このため、本態様によれば、自然画像のように様々なエッジ部を含む画像についても、輝度値のアンダーシュートを抑えて好ましい画質を生成することができる。

第５の態様によれば、注目画素の補正輝度値を、補正前の周囲の輝度値の最小値以上にガードすることができる。これにより、本態様によれば、演算負荷の低い簡単な処理により、エッジ部のアンダーシュートを有効に抑えることができる。

第６の態様によれば、注目画素の補正輝度値を、補正前の周囲の輝度値の最小値に調整係数を掛け合わせた値以上にガードすることができる。これにより、本態様によれば、エッジ部のアンダーシュートを適切に調整して、そのエッジ部に、好ましいエッジ強度を与えることができる。

第７の態様によれば、必要に応じて調整係数を自由に変更することができる。このため、本態様によれば、撮像装置のユーザが画質の好みに応じてエッジ部のエッジ強度を調整することができる。

第８の態様によれば、上限輝度値または下限輝度値を、注目画素に隣接する全ての画素の輝度値に基づいて演算することができる。このため、本態様によれば、注目画素の補正輝度値に適切なガードをかけることができる。

第９の態様によれば、上限輝度値または下限輝度値を演算する基礎データを、注目画素に隣接する全ての画素のうち、特に上下左右に隣接配置される四個の画素の輝度値に絞ることができる。これら四個の画素は、注目画素の周囲に等間隔でバランス良く隣接配置されている。また、複数の画素に関わるデータは、一般に物理的な配置の順でメモリに記憶されるため、注目画素が演算対象である場合に、その左右、または上下に位置する二つの画素のデータの読み出しは最も簡単に行うことができる。このため、本態様によれば、上限輝度値または下限輝度値を用いた補正に、優れた効用と高速処理特性とを与えることができる。

本開示の実施の形態１の撮像装置の構成を示す図である。 撮影対象であるオリジナルイメージＣと、撮影イメージＢと、光学レンズのＰＳＦとの関係を説明するための図である。 撮影イメージＢから切り出した画像データと、デコンボリューションフィルタＡとの畳み込み演算で、ＰＳＦ復元イメージＣの補正輝度値を得る手法を説明するための図である。 図４（Ａ）は撮影イメージの一例とエッジ部の周辺での輝度変化とを示す図である。図４（Ｂ）はＰＳＦ復元イメージの一例とエッジ部の周辺での輝度変化とを示す図である。図４（Ｃ）は輝度復元イメージの一例とエッジ部の周辺での輝度変化とを示す図である。 本開示の実施の形態１で輝度値の補正処理に用いられる複数の画素を示す図である。 本開示の実施の形態１で実行される輝度値の補正処理のフローチャートである。 本開示の実施の形態２で輝度値の補正処理に用いられる複数の画素を示す図である。 本開示の実施の形態３で実行される輝度値の補正処理のフローチャートである。

実施の形態１．
［実施の形態１の構成］
図１は、本開示の実施の形態１の撮像装置１０の構成を説明するための図である。本実施形態の撮像装置１０は、光学レンズ１２を備えている。撮像装置１０は、静止画または動画を撮影するカメラとして用いることができる。光学レンズ１２の焦点位置には固体撮像素子１４が配置されている。

以下、撮像装置１０の撮影対象であるイメージを「オリジナルイメージＣ」と称す。また、光学レンズ１２を介して固体撮像素子１４が取り込んだイメージを「撮影イメージＢ」と称す。

固体撮像素子１４には、処理装置１６が電気的に接続されている。処理装置１６は、演算部１８およびメモリ１９を備えている。演算部１８では、撮影イメージＢの解像度を改善するための補正処理が行われる。メモリ１９には、その補正処理に必要な各種のデータが格納される。

［補正処理の原理］
図２は、オリジナルイメージＣと、撮影イメージＢと、光学レンズのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との関係を説明するための図である。図２において、撮像装置１０の上方に示す一連の表示は、オリジナルイメージＣと撮影イメージＢとの間の、空間領域における関係を示している。オリジナルイメージＣは、固体撮像素子１４に到達する過程で光学レンズ１２を通過する。その通過の過程でオリジナルイメージＣには、光学レンズ１２の特性に起因する空間的なひずみ、所謂ボケが重畳する。このボケの影響は光学伝達関数であるＰＳＦとして表すことができる。そして、ＰＳＦを用いると、オリジナルイメージＣと撮影イメージＢとの関係は、下記の式（１）で表すことができる。
Ｂ＝Ｃ＊ＰＳＦ ・・・（１）
但し、上記（１）式中「＊」は畳み込み演算の演算子である。

図２において、撮像装置１０の下方が示す一連の表示は、オリジナルイメージＣと撮影イメージＢとの間に成立する周波数領域での関係を示している。オリジナルイメージＣにフーリエ変換を施すことで得られる、その周波数領域表現Ｆ｛Ｃ｝と、撮影イメージＢの周波数領域表現Ｆ｛Ｂ｝との間には、同図に示す通り下記の関係が成立する。
Ｆ｛Ｂ｝＝Ｆ｛Ｃ｝×ＯＴＦ ・・・（２）
但し、ＯＴＦ（Ｏｐｒｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、ＰＳＦにフーリエ変換を施すことで得られる周波数領域表現である。従って、上記（２）式は、以下のように表すこともできる。
Ｆ｛Ｂ｝＝Ｆ｛Ｃ｝×Ｆ｛ＰＳＦ｝ ・・・（３）

上記（３）式を変形して、オリジナルイメージＣの周波数領域表現Ｆ｛Ｃ｝は、次式のように表すことができる。
Ｆ｛Ｃ｝＝Ｆ｛Ｂ｝／Ｆ｛ＰＳＦ｝ ・・・（４）

Ｆ｛Ｃ｝に逆フーリエ変換を施すとその結果はＣになる。このため、上記（４）式の関係は、その両辺に逆フーリエ変換Ｆ^−１を施すことで、以下のように書き換えることができる。
Ｃ＝Ｆ^−１｛Ｆ｛Ｂ｝／Ｆ｛ＰＳＦ｝｝ ・・・（５）

フーリエ変換の定理によれば、（５）式右辺中のＦ｛Ｂ｝／Ｆ｛ＰＳＦ｝は、下記の通り書き換えることができる。
Ｆ｛Ｂ｝／Ｆ｛ＰＳＦ｝＝Ｆ｛Ｂ｝＊｛１／Ｆ｛ＰＳＦ｝｝ ・・・（６）

従って、上記（５）式は、以下のように変形することができる。
Ｃ＝Ｆ^−１Ｆ｛Ｂ｝＊Ｆ^−１｛１／Ｆ｛ＰＳＦ｝｝
＝Ｂ＊Ｆ^−１｛１／Ｆ｛ＰＳＦ｝｝ ・・・（７）

ＰＳＦは、光学レンズ１２の光学伝達関数として既知の手法により特定することができる。ＰＳＦが判れば、上記（７）式中のＦ^−１｛１／Ｆ｛ＰＳＦ｝｝は計算により求めることができる。そして、計算により求めた逆伝達関数Ｆ^−１｛１／Ｆ｛ＰＳＦ｝｝を用いた畳み込み演算によれば、上記（７）式により、撮影イメージＢから、ＰＳＦの影響を排除したオリジナルイメージＣを復元することができる。

以下、Ｆ^−１｛１／Ｆ｛ＰＳＦ｝｝を「デコンボリューションフィルタ」と称し、符号Ａで表す。このようにして復元されたオリジナルイメージＣは、厳密には、ＰＳＦの影響を受ける前のオリジナルイメージＣそのものではない。このため、以下、そのイメージを「ＰＳＦ復元イメージＣ」と称す。

図３は、撮影イメージＢから切り出した画像データ（輝度値）と、デコンボリューションフィルタＡとの畳み込み演算で、ＰＳＦ復元イメージＣの補正輝度値を得る手法を説明するための図である。以下、便宜上、「画像データ」は、撮影イメージと同様に符号Ｂを付して表す。ここでは、具体的には、以下の条件で実行される畳み込み演算の例を説明する。
１．画像データＢの中心に位置する（ｂm,n）がＰＳＦ補正の対象となる注目画素である。
２．画像データＢは、中心部に注目画素（ｂm,n）を含むように、９×９のサイズで切り出されている。
３．デコンボリューションフィルタＡには、画像データＢのサイズと等しい９×９のカーネルサイズが与えられている。

画像データＢとデコンボリューションフィルタＡとの畳み込み演算では、互いに同じ位置にある輝度値と要素が積算される。例えば、（a0）と（ｂm-4,n-4）とが積算される。また、（a1）と（ｂm-3,n-4）とが積算される。その結果、八十一個の積算値が得られる。これら八十一個の積算値は、図３の下段に示すように互いに加算される。これにより、ＰＳＦ復元イメージＣの補正輝度値（ｃm,n）が計算される。

上記の畳み込み演算は、注目画素（ｂm,n）をずらして順次実行される。撮影イメージＢに含まれる全ての画素について、上記の畳み込み演算が実行されると、ＰＳＦ復元イメージCの生成に必要な全ての画素の補正輝度値が得られる。

［実施の形態１の特徴］
ＰＳＦの影響は、注目画素の周辺に広く広がっているため、復元の精度を高めるためには、デコンボリューションフィルタＡのカーネルサイズを大きくすることが望ましい。しかしながら、畳み込み演算には多大な演算が伴うため、そのカーネルサイズは制限無く大きくし得るものではない。この点で、デコンボリューションフィルタＡは、ＰＳＦの影響を排除するためのフィルタとして不完全なものにならざるを得ない。

また、本実施形態で用いるデコンボリューションフィルタＡは、上記の通り１／Ｆ｛ＰＳＦ｝を構成要素とする。行列Ｇが、例えばg00、g01、g10、g11の４つの要素を持つ２×２行列である場合、行列１／Ｇは、1/g00、1/g01、1/g10、1/g11を要素とする２×２行列となる。この場合、gnmがゼロに近い値であると、1/gnmは無限大の値に発散してしまう。

この発散を防ぐ手法としてウィーナーフィルタの採用が知られている。ウィナーフィルタでは、上記のような場合には、１／Ｇが１／（Ｇ＋ａ）に置き換えられる。但し、ａは本来Ｓ／Ｎ比から決定されるべきであるが、ノイズ量が不明である場合は適当な固定値に設定しても良い。この置き換えによれば、１／Ｇの発散を防ぐことができる。本実施形態において、Ｆ｛ＰＳＦ｝に基づいて１／Ｆ｛ＰＳＦ｝を算出する際にも、同様の観点から同様の置換が行われる。このため、デコンボリューションフィルタＡは、逆伝達関数Ｆ^−１｛１／Ｆ｛ＰＳＦ｝｝を、ウィーナーフィルタを用いて近似したものとなり、その近似に起因する不完全性をも内包せざるを得ない。

以上の理由により、デコンボリューションフィルタＡを用いた補正処理により得られるＰＳＦ復元イメージＣは、オリジナルイメージと完全一致するものにはならない。特に、撮影イメージＢに、輝度値が大きく変化するエッジ部が含まれている場合、ＰＳＦ復元イメージＣのエッジ部周辺には、輝度の変化が過剰となるオーバーシュートの現象、或いは、その変化が過少になるアンダーシュートの現象が生じ易い。その結果、ＰＳＦ復元イメージＣは、特に複雑な輝度変化を含む場合には、オリジナルイメージに比して不自然な画像になり易い。

図４（Ａ）上段の画像は、固体撮像素子１４に取得された撮影イメージＢを示している。また、下段の波形は、上段の画像に含まれるエッジ部を横切る方向に、輝度値の変化がどのように表れるかを示している。この図に示すように、撮影イメージＢには、ＰＳＦの影響が全体に表れている。そして、この画像に含まれるエッジ部はシャープさに欠けるぼやけたものとなっている。

図４（Ｂ）は、デコンボリューション処理により得られたＰＳＦ復元イメージＣと、そこに含まれるエッジ部周辺における輝度値の波形を示す。この図は、デコンボリューション処理の結果、エッジ部を挟んで輝度値にオーバーシュート（強い白）とアンダーシュート（強い黒）が表れた様子を示している。その結果、ＰＳＦ復元イメージＣにおいては、エッジ部が不自然にはっきりし過ぎてしまっている。

図４（Ｃ）は、ＰＳＦ復元イメージＣに、後述する輝度補正を更に施すことで得た輝度復元イメージと、そこに含まれるエッジ部周辺における輝度値の波形を示す。この図は、輝度補正の結果、輝度値のオーバーシュートとアンダーシュートが軽減され、その結果、エッジ部に適度なシャープさが与えられた様子を示している。図示の通り、輝度復元イメージでは、撮影イメージＢおよびＰＳＦ復元イメージＣの場合と比べて、好ましい自然な画質が実現されている。

［実施の形態１における輝度補正］
本実施形態では、注目画素（ｂm,n）の補正輝度値（ｃm,n）に輝度補正を施すに際して、下記の２つの処理により実現される。
１．補正輝度値（ｃm,n）について、上限輝度値および下限輝度値を定める。
２．補正輝度値（ｃm,n）が、上限輝度値を超える場合には、その値（ｃm,n）を上限輝度値に変更する。また、補正輝度値（ｃm,n）が、下限輝度値に満たない場合には、その値（ｃm,n）を下限輝度値に変更する。

図５は、上記の上限輝度値および下限輝度値を定める手法を説明するための図である。補正輝度値（ｃm,n）についての上限輝度値および下限輝度値を定める際には、図５中に網掛けを付して示す八個の輝度値が参照される。換言すると、撮影イメージＢにおいて、注目画素（ｂm,n）を中心として配置される（３×３）個の画素から注目画素（ｂm,n）を除いた（３×３−１）個の輝度値が参照される。そして、それら八個の輝度値の中で最大の値が上限輝度値として定められる。また、それら八個の輝度値の中で最小の値が下限輝度値として定められる。

図６は、補正輝度値（ｃm,n）に輝度補正を施すために本実施形態において処理装置１６が実行する処理のフローチャートである。図６に示すフローチャートでは、先ず、デコンボリューションフィルタＡと撮影イメージＢとの畳み込み演算により輝度値（ｃm,n）が計算される（ステップ１００）。この処理は、図３を参照して説明した上記の手法により行われる。

次に、注目画素（ｂm,n）の近傍画素の最大値bmaxおよび最小値bminが算出される（ステップ１０２）。最大値bmaxおよび最小値bminは、図５を参照して説明した８つの輝度値に基づいて算出される。また、このようにして算出されたbmaxおよびbminは、それぞれ、補正輝度値（ｃm,n）に関する上限輝度値および下限輝度値として認識される。

次に、補正輝度値（ｃm,n）が上限輝度値（bmax）を超えているかが判別される（ステップ１０４）。

その結果、ｃm,n＞bmaxの成立が認められる場合は、ｃm,nがbmaxに変更される（ステップ１０６）。これにより、補正輝度値は上限輝度値（bmax）にガードされる。この上限輝度値が注目画素（ｂm,n）に近接する画素の輝度値であることから、上限輝度値にガードされた補正輝度値（ｃm,n）には、撮影イメージＢの傾向が適度に反映される。このため、本ステップの処理によれば、輝度値のオーバーシュートを抑制しつつエッジ部に適度なシャープさを与える補正輝度値（ｃm,n）を得ることができる。

上記ステップ１０４においてｃm,n＞bmaxが成立しないと判別された場合は、次に、補正輝度値（ｃm,n）が下限輝度値（bmin）を下回っているかが判別される（ステップ１０８）。

ｃm,nがbminを下回ると判別された場合は、ｃm,nがbminに変更される（ステップ１１０）。これにより、補正輝度値は下限輝度値（bmin）にガードされる。この下限輝度値が注目画素（ｂm,n）に近接する画素の輝度値であることから、下限輝度値にガードされた補正輝度値（ｃm,n）には、撮影イメージＢの傾向が適度に反映される。このため、本ステップの処理によれば、輝度値のアンダーシュートを抑制しつつエッジ部に適度なシャープさを与える補正輝度値（ｃm,n）を得ることができる。

上記ステップ１０８にいて、ｃm,n＜bmaxが成立しないと判別された場合は、補正輝度値（ｃm,n）が、周囲の輝度値に対して過大でなく、かつ過少でもないと判断できる。この場合、ステップ１００で計算された補正輝度値（ｃm,n）が、輝度復元イメージの輝度値としてそのまま維持される。

以上説明した通り、本実施形態の撮像装置によれば、補正輝度値（ｃm,n）に、撮影イメージBの傾向が反映された適度の値を与えることができる。そして、注目画素（ｂm,n）が順次変更されて上記の処理が繰り返されることで、輝度復元イメージに含まれる全ての輝度補正値（ｃm,n）は、そのような適度な値に設定される。このため、本実施形態の撮像装置によれば、自然画像のように様々なエッジ部を含む画像についても、輝度値のオーバーシュートおよびアンダーシュートを抑えて好ましい画質を生成することができる。

［実施の形態１の変形例］
ところで、上述した実施の形態１では、上限輝度値および下限輝度値を、注目画素（ｂm,n）と隣接する（３×３−１）個の輝度値に基づいて設定している。しかしながら、その設定の手法はこれに限定されるものではない。例えば、（５×５−１）個の輝度値、或いは（７×７−１）個の輝度値など、注目画素（ｂm,n）の周囲に存在するより多くの輝度値を基礎とすることとしてもよい。

また、上述した実施の形態１では、補正輝度値（ｃm,n）を、上限輝度値と下限輝度値の双方でガードすることとしているが、この手法もこれに限定されるものではない。例えば、補正輝度値（ｃm,n）を上限輝度値だけでガードし、輝度値のアンダーシュートは許容することとしてもよい。或いは、補正輝度値（ｃm,n）を下限輝度値だけでガードし、輝度値のオーバーシュートは許容することとしてもよい。

実施の形態２．
次に、図７を参照して本開示の実施の形態２について説明する。本実施形態の撮像装置１０は、実施の形態１の場合と同様に図１に示すハードウェアにより実現することができる。

図７は、本実施形態の撮像装置１０が、上限輝度値（bmax）および下限輝度値（bmin）を計算する際に参照する四個の輝度値を示す。図７中に網掛けを付して示すように、本実施形態では、輝度補正の処理において、注目画素（ｂm,n）の上下左右に隣接する四個の輝度値が参照される。そして、それら四個の輝度値の中で最大の値が最大値bmaxとして定められる。また、それら四個の輝度値の中で最小の値が最小値bminとして定められる。

輝度補正の処理は、実施の形態１の場合と同様に、図６に示すフローチャートに沿った処理により実現される。但し、本実施形態では、ステップ１０２において、上述した四個の輝度値から最大値bmaxおよび最小値bminが算出される。

図７に示すように、本実施形態で参照される四個の画素は、注目画素（ｂm,n）の周囲に等間隔でバランス良く隣接配置されている。このため、注目画素（ｂm,n）の斜め方向に隣接する四個の画素を参照対象から外しても、最大値bmaxおよび最小値bminは、実施の形態１の場合の値から大きく乖離しない。従って、本実施形態の手法によっても、輝度復元イメージには、実施の形態１の場合と同等に、好適な画質を与えることができる。

また、参照する画素を四個に絞れば、八個の画素を参照する実施の形態１の場合に比して演算負荷を下げることができる。更に、本実施形態で参照される四個の画素は、注目画素（ｂm,n）の上下または左右に隣接している。上下または左右に隣接する一連の画素の輝度値は、メモリ１９内の連続した領域に格納され易い。そして、連続した領域に格納されたデータは、離散した領域に格納されているデータに比して、短時間で容易に読み出すことができる。このため、本実施形態の輝度補正では、注目画素（ｂm,n）が処理の対象である場合に、その左右の輝度値（ｂm-1,n）、（ｂm+1,n）、またはその上下の輝度値（ｂm,n-1）、（ｂm,n+1）は、短時間で容易に読み出すことができる。この点においても、本実施形態の輝度補正は、実施の形態１の場合に比して高速処理に適している。

以上説明した理由により、本実施形態の撮像装置１０によれば、実施の形態１の場合と同等の輝度補正を、より優れた高速処理特性と共に実現することができる。

実施の形態３．
次に、図８を参照して本開示の実施の形態３について説明する。本実施形態の撮像装置１０は、実施の形態１の場合と同様に図１に示すハードウェアにより実現することができる。

図８は、本実施形態において実行される輝度補正のフローチャートを示す。図８に示すフローチャートにおいて、ステップ１００およびステップ１０２の処理は、図６に示す場合と同様に進められる。これらの処理により、補正輝度値（ｃm,n）と、最大値bmaxおよび最小値bminとが計算される。

図８に示すフローチャートでは、上記の処理に続いて、補正輝度値（ｃm,n）が、bmax×αを超えているかが判別される（ステップ１１４）。αは、予め設定されている調整係数であり、その値は、１より大きな値であっても、１より小さな値であってもよい。

上記の処理により、ｃm,n＞bmax×αが成立すると判別された場合は、ｃm,nがbmax×αに変更される（ステップ１１６）。すなわち、本実施形態では、bmax×αが上限輝度値として用いられ、補正輝度値（ｃm,n）の上限はbmax×αにガードされる。

ステップ１１４の条件が不成立である場合は、次に、補正輝度値（ｃm,n）がbmin×βを下回っているかが判別される（ステップ１１８）。βは、αと同様に、予め設定された調整係数である。その値は、１より大きな値であっても１より小さな値であってもよい。

ｃm,n＜bmin×βの成立が認められた場合は、ｃm,nがbmin×βに変更される（ステップ１２０）。すなわち、本実施形態では、bmin×βが下限輝度値として用いられ、補正輝度値（ｃm,n）の下限はbmin×βにガードされる。

ステップ１１８の条件が不成立である場合は、ステップ１００で計算された補正輝度値（ｃm,n）が、輝度復元イメージの輝度値としてそのまま維持される。

以上説明した通り、本実施形態では、bmax×αが上限輝度値として用いられ、またbmin×βが下限輝度値として用いられる。調整係数α、βによれば、輝度復元イメージに現れるエッジ強度を、好ましい強度に調整することができる。このため、本実施形態の撮像装置１０によれば、実施の形態１の場合に比して、輝度復元イメージに更に好ましい画質を与えることができる。

ところで、上述した実施の形態３では、調整係数αおよびβを、予め設定された値としているが、その値は固定値に限定されるものではない。処理装置１６に、調整係数α、β設定用の入力インターフェースを設けて、撮像装置１０のユーザが事後的にα、βを変更できる構成としてもよい。

１０ 撮像装置
１２ 光学レンズ
１４ 固体撮像素子
１６ 処理装置
１８ 演算部
１９ メモリ
bmax 最大値
bmin 最小値
α、β 調整係数
ｃm,n 補正輝度値
ｂm,n 注目画素

Claims (9)

1. 光学レンズと、
   前記光学レンズを通過した光を受ける固体撮像素子と、
   前記固体撮像素子が取得した撮影イメージに、解像度を改善するための補正処理を施す処理装置と、を備え、
   当該処理装置は、
   前記撮影イメージから、中心部に注目画素を含むように切り出した画像データと、当該画像データのサイズと等しいカーネルサイズを持つデコンボリューションフィルタとの畳み込み演算を行って、前記注目画素の補正輝度値を演算する処理と、
   前記画像データにおいて前記注目画素を取り巻く位置に配置されている複数の画素の輝度値に基づいて、前記注目画素の上限輝度値を演算する処理と、
   前記補正輝度値が前記上限輝度値を超える場合に、当該補正輝度値を前記上限輝度値に変更する処理と、
   を実行する撮像装置。
2. 前記上限輝度値は、前記複数の画素の輝度値の最大値である請求項１に記載の撮像装置。
3. 前記上限輝度値は、前記複数の画素の輝度値の最大値に調整係数を掛け合わせた値である請求項１に記載の撮像装置。
4. 光学レンズと、
   前記光学レンズを通過した光を受ける固体撮像素子と、
   前記固体撮像素子が取得した撮影イメージに、解像度を改善するための補正処理を施す処理装置と、を備え、
   当該処理装置は、
   前記撮影イメージから、中心部に注目画素を含むように切り出した画像データと、当該画像データのサイズと等しいカーネルサイズを持つデコンボリューションフィルタとの畳み込み演算を行って、前記注目画素の補正輝度値を演算する処理と、
   前記画像データにおいて前記注目画素を取り巻く位置に配置されている複数の画素の輝度値に基づいて、前記注目画素の下限輝度値を演算する処理と、
   前記補正輝度値が前記下限輝度値に満たない場合に、当該補正輝度値を前記下限輝度値に変更する処理と、
   を実行する撮像装置。
5. 前記下限輝度値は、前記複数の画素の輝度値の最小値である請求項４に記載の撮像装置。
6. 前記下限輝度値は、前記複数の画素の輝度値の最小値に調整係数を掛け合わせた値である請求項４に記載の撮像装置。
7. 前記処理装置は、
   前記調整係数の入力インターフェースを備え、
   当該入力インターフェースに入力値が提供された場合に、前記調整係数を当該入力値に変更する処理を実行する
   請求項３または６に記載の撮像装置。
8. 前記複数の画素は、前記注目画素を中心としてその周囲に隣接して配置されているｎ×ｎ−１個の画素である請求項１乃至７の何れか１項に記載の撮像装置。
9. 前記複数の画素は、前記注目画素の上下左右に隣接して配置されている四個の画素である請求項１乃至７の何れか１項に記載の撮像装置。

Images