JP2014158165A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】特定波長領域を多く含む被写体に対する倍率色収差の補正の影響を少なくすることができるようにする。
【解決手段】色収差補間回路１０６は、色比算出回路１０７で求めた色比プレーン信号Ｒ／Ｇから、着目画素の周辺画素の色比データ（Ｒ／Ｇ）を抽出する。そして、この色比データが第１の閾値より大きく、第２の閾値以下である場合は、通常の補正量よりも弱い、倍率色収差の補正量を所定の式に従って算出される補正量とし、色比データが第２の閾値以上である場合は、倍率色収差の補正量を０とする。
【選択図】図１

Description

本発明は、特に、倍率色収差を補正するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。

従来、ＣＣＤ等の固体撮像装置において、撮影レンズに応じて倍率色収差を補正する技術が開示されている（例えば、特許文献１参照）。特許文献１に記載の技術では、撮影レンズの倍率色収差が中心位置からの像高と入射した光の波長とにより決定される性質を利用して、像高ごとに倍率色収差の補正量を求めて補正を行っている。また、倍率色収差の補正前後の彩度を比較して彩度低減度を判定し、彩度低減度が大きい場合は、倍率色収差を強く補正するという技術が開示されている（例えば、特許文献２参照）。

特開平６−２９２２０７号公報 特開２００８−１４１３２３号公報

一般に、図３に示すような分布の被写体のように特定の波長領域が多い入力画像の場合、Ｒ画素とＧ画素との間で倍率色収差はほとんど生じず、本来は倍率色収差を補正する必要がない。しかしながら、従来技術では、特定の波長領域しか持たない被写体を考慮していないため、このような被写体でも倍率色収差を補正してしまう。そのため、Ｒ画素とＧ画素との相対的な位置がずれてしまい、逆に画質が低下してしまうという問題点がある。

本発明は前述の問題点に鑑み、特定波長領域を多く含む被写体に対する倍率色収差の補正の影響を少なくすることができるようにすることを目的としている。

本発明の画像処理装置は、画像信号における被写体において、特定波長領域の割合を着目画素の周辺画素から推定する推定手段と、前記被写体に対して倍率色収差の補正を行う補正手段とを有し、前記補正手段は、前記推定手段により前記特定波長領域の割合が所定値よりも大きいと推定された場合に、前記倍率色収差の補正量を弱めることを特徴とする。

本発明によれば、特定波長領域を多く含む被写体であっても、倍率色収差の補正により画質が劣化してしまうことを防止することができる。

本発明の実施形態に係る撮像装置の一部である画像処理装置の構成例を示すブロック図である。 本発明の実施形態における色収差補間回路の動作の手順の一例を示すフローチャートである。 特定波長領域の被写体の波長分布を説明するための図である。 色比プレーン信号を作成する手順を説明するための図である。 色比と倍率色収差の補正量との関係を説明するための図である。 ローパスフィルタを適用する範囲を説明するための図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本実施形態に係る撮像装置の一部である画像処理装置１００の構成例を示すブロック図である。
図１において、撮像部１０１は、図示しない撮影レンズ、撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。この撮像素子はＣＣＤやＣＭＯＳセンサで構成されており、図４（ａ）に示すベイヤー配列の画素の集合で構成されているものとする。

撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換回路１０２によってデジタル信号に変換される。Ａ／Ｄ変換回路１０２によってデジタル信号に変換された画像信号は、ホワイトバランス（ＷＢ）回路１０３で公知のホワイトバランス調整が行われる。そして、ホワイトバランス回路１０３から出力された画像信号は、倍率色収差補正回路１０４に入力される。

倍率色収差補正回路１０４は、詳細は後述するが補間回路１０５と色収差補間回路１０６と色比算出回路１０７とから構成されている。倍率色収差補正回路１０４で補正された倍率色収差補正済みの画像信号は、信号処理回路１０８に入力され、公知の色補間処理、輝度信号処理、色信号処理等が行われる。

ここで、図３を用いて、被写体の分光によって倍率色収差の補正量に差が出る原理について説明する。図３に示す横軸は波長を示しており、右側に行くに従って、長波長側になる。縦軸は強度を示しており、値が大きいほどその波長域での感度が高いことを示している。Ｒ、Ｇ、Ｂはそれぞれ、Ｒ画素、Ｇ画素、Ｂ画素の分光感度分布を示している。図３からわかるように、Ｒ画素、Ｇ画素、Ｂ画素の分光感度は、波長によって明確に区切られているわけではなく、同一の波長に対してＢ画素とＧ画素、あるいは、Ｇ画素とＲ画素の両方から出力が得られる。

ここで、一例として図３に示す分光感度を持つ被写体３０１の画像信号が入力された場合を考える。被写体３０１のような特定波長領域に分光感度を持つ被写体の場合、Ｇ画素で得られた出力もＲ画素で得られた出力も、ともに同じ波長の被写体から得られたものであるのだから、Ｇ画素に対するＲ画素の倍率色ずれ量はほぼ０となる。このため、像高ごとに標準光源で測定された白色被写体を想定した補正量で倍率色収差の補正を行うと画質が劣化する。そこで、特定波長領域であることを検出し、具体的には図３に示す例のようにＧ画素に対してＲ画像の強度が大きい場合（色比Ｒ／Ｇが大きい場合）は特定波長領域である可能性が高いものとして、倍率色収差の補正量を弱める処理を行う。

次に、図４を参照しながら補間回路１０５の動作について説明する。
まず、図４（ａ）に示す公知のベイヤー配列を、図４（ｂ）に示すようにそれぞれＲ成分、Ｇ成分、Ｂ成分の色プレーン画像に分離し、分離によって空白が生じた画素位置に０を挿入する。次に、図４（ｂ）に示す各色プレーン画像に対して、図４（ｃ）に示すように成分ごとに公知の色補間処理を行う。

続いて、色比算出回路１０７の動作について説明する。
図４（ｃ）に示した色補間後のＲプレーン画像、Ｇプレーン画像、Ｂプレーン画像から、図４（ｄ）に示すように、画素ごとに色比プレーン信号Ｒ／Ｇ、Ｂ／Ｇを作成する。

図２は、色収差補間回路１０６の動作の手順の一例を示すフローチャートである。以下、１つの着目画素に対するＲ画素の倍率色収差の補正について説明する。
まず、ステップＳ２０１において、着目画素の像高を算出し、像高ごとの倍率色収差の補正量Ｒ＿Ｄｉｆｆを求める。ここで、補正量Ｒ＿Ｄｉｆｆは、レンズの設計データ等から予め与えられるデータでもよく、公知の画像のエッジ等を検出して求められる倍率色収差の補正量でもよい。

次に、ステップＳ２０２において、色比算出回路１０７で求めた色比プレーン信号Ｒ／Ｇから、着目画素の周辺画素の色比データ（Ｒ／Ｇ）を抽出する。そして、ステップＳ２０３において、色比データが所定値（閾値Ｔｈ＿ｒｇ）よりも大きいか否かを判定する。この判定の結果、色比データが閾値Ｔｈ＿ｒｇ以下である場合は、ステップＳ２０５に進み、補正量Ｒ＿ｄｉｆｆの値を参照して、公知の方法によりＲ画素の倍率色収差を補正する。

一方、ステップＳ２０３の判定の結果、色比データが閾値Ｔｈ＿ｒｇより大きい場合は、ステップＳ２０４へ進み、ステップＳ２０１で求めた補正量Ｒ＿ｄｉｆｆよりも少なくして、倍率色収差の補正を行う。

ここで、図５を参照しながらステップＳ２０４の処理について説明する。図５において、横軸は色比（Ｒ／Ｇ）を示し、縦軸は倍率色収差の補正量を示している。図５に示すように、色比が閾値Ｔｈ＿ｒｇ以下の場合は倍率色収差の補正量はＲ＿ｄｉｆｆとなり、色比が閾値Ｔｈ＿ｒｇ２以上の場合は、倍率色収差の補正量は０となり、倍率色収差の補正は行わない。閾値Ｔｈ＿ｒｇより大きくかつ閾値Ｔｈ＿ｒｇ２未満の場合は、色比（Ｒ／Ｇ）とすると、例えば下記の式（１）に従って線形補間で行う。
（補正量）＝Ｒ＿ｄｉｆｆ−（色比−Ｔｈ＿ｒｇ）＊Ｒ＿ｄｉｆｆ／（Ｔｈ＿ｒｇ２−Ｔｈ＿ｒｇ） ・・・（１）

なお、図２に示した処理では、Ｒ画素の例について説明したが、Ｂ画素の場合も同等のため、説明は省略する。上記説明したように、本実施形態によれば、周辺の色比を推定し色比が大きい場合に、倍率色収差の補正量を弱める処理を行う。このようにすることにより、赤または青の特定波長領域が大きい被写体に対して倍率色収差の補正性能が向上する。

また、高感度時など撮像素子のノイズが大きい場合は、色比（Ｒ／Ｇ）の検出精度が低下する。このため、高感度時は、閾値ＴＨ＿ｒｇ、ＴＨ＿ｒｇ２を大きくしてもよい。また、高感度時では常に補正量Ｒ＿ｄｉｆｆで補正を行うようにしてもよい。本実施形態では、特定波長領域の割合を示すものとして図４に示した色比信号を生成するときに、画素ごとに色比プレーンＲ／Ｇ、Ｂ／Ｇを作成したが、これに限られるものではない。公知の色差信号や彩度信号など、色が判断できる信号であれば特に限定されない。

また、色エッジ付近での誤検出をさけるため、作成した色プレーン画像に対して、着目画素を中心として例えば５×５のＬＰＦ（ローパスフィルタ）を施すようにしてもよい。さらに、例えば図６に示すように、着目画素３３＿Ｒに対して、像高から求めた補正量で周辺画素４４＿Ｒの位置を参照する場合には、周辺画素４４＿Ｒの方向へ中心をずらした領域６０１でＬＰＦを施すようにしてもよい。

また、本実施形態では、色比が大きい場合に、Ｒ画素の補正量を弱めるが、これに限るものではなく、Ｇ画素を動かして、相対的にＲまたはＢの補正量とＧの補正量との差が少なくなるようにしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０４ 倍率色収差補正回路
１０５ 補間回路
１０６ 色比算出回路
１０７ 色収差補間回路

Claims (9)

1. 画像信号における被写体において、特定波長領域の割合を着目画素の周辺画素から推定する推定手段と、
   前記被写体に対して倍率色収差の補正を行う補正手段とを有し、
   前記補正手段は、前記推定手段により前記特定波長領域の割合が所定値よりも大きいと推定された場合に、前記倍率色収差の補正量を弱めることを特徴とする画像処理装置。
2. 画像信号における被写体において、特定波長領域の割合を着目画素の周辺画素から推定する推定手段と、
   前記被写体に対して倍率色収差の補正を行う補正手段とを有し、
   前記補正手段は、前記推定手段により前記特定波長領域の割合が所定値よりも大きいと推定された場合に、Ｒ画素とＧ画素との間の補正量、またはＢ画素と画素との間の補正量の差を少なくして前記倍率色収差の補正を行うことを特徴とする画像処理装置。
3. 前記推定手段は、色比信号、色差信号、または彩度信号から前記特定波長領域の割合を推定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正手段は、前記倍率色収差の補正を行う方向の周辺画素を中心とした所定の領域にローパスフィルタを施すことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記所定値は、撮像素子の感度に応じて定められる値であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 画像信号における被写体において、特定波長領域の割合を着目画素の周辺画素から推定する推定工程と、
   前記被写体に対して倍率色収差の補正を行う補正工程とを有し、
   前記補正工程においては、前記推定工程において前記特定波長領域の割合が所定値よりも大きいと推定された場合に、前記倍率色収差の補正量を弱めることを特徴とする画像処理方法。
7. 画像信号における被写体において、特定波長領域の割合を着目画素の周辺画素から推定する推定工程と、
   前記被写体に対して倍率色収差の補正を行う補正工程とを有し、
   前記補正工程においては、前記推定工程において前記特定波長領域の割合が所定値よりも大きいと推定された場合に、Ｒ画素とＧ画素との間の補正量、またはＢ画素と画素との間の補正量の差を少なくして前記倍率色収差の補正を行うことを特徴とする画像処理方法。
8. 画像信号における被写体において、特定波長領域の割合を着目画素の周辺画素から推定する推定工程と、
   前記被写体に対して倍率色収差の補正を行う補正工程とをコンピュータに実行させ、
   前記補正工程においては、前記推定工程において前記特定波長領域の割合が所定値よりも大きいと推定された場合に、前記倍率色収差の補正量を弱めることを特徴とするプログラム。
9. 画像信号における被写体において、特定波長領域の割合を着目画素の周辺画素から推定する推定工程と、
   前記被写体に対して倍率色収差の補正を行う補正工程とをコンピュータに実行させ、
   前記補正工程においては、前記推定工程において前記特定波長領域の割合が所定値よりも大きいと推定された場合に、Ｒ画素とＧ画素との間の補正量、またはＢ画素と画素との間の補正量の差を少なくして前記倍率色収差の補正を行うことを特徴とするプログラム。

Images