JP2004096175A

JP2004096175A - 信号処理方法及びその装置

Info

Publication number: JP2004096175A
Application number: JP2002251012A
Authority: JP
Inventors: Satoru Wada; 和田　哲
Original assignee: Fujifilm Microdevices Co Ltd; Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp; Fujifilm Microdevices Co Ltd
Priority date: 2002-08-29
Filing date: 2002-08-29
Publication date: 2004-03-25
Anticipated expiration: 2022-08-29
Also published as: JP4691309B2

Abstract

【課題】レンズの色収差によって被写体画像の輝度輪郭にギザギザ状ノイズが発生しないようにする。
【解決手段】撮影レンズを通し撮像素子の交互に色配置された画素によって被写体画像を撮像し得られた画像信号を処理する信号処理において、前記被写体画像の少なくとも輝度輪郭部分の輝度信号に対して前記交互に色配置された画素間隔のレスポンスを零にするフィルタ処理を施す。これにより、前記交互の色配置の方向と前記被写体画像の輝度輪郭とが直交し、撮影レンズの色収差によって、輝度輪郭部分の色信号が色によって輝度輪郭からずれ、輝度輪郭にギザギザ状のノイズが発生しても、このノイズを低減することができる。
【選択図】　図５

Description

【０００１】
【発明の属する技術分野】
本発明はデジタルカメラの信号処理方法及びその装置に係り、特に、レンズの色収差によって画像輪郭部分にギザギザが生じることのない信号処理方法及びその装置に関する。
【０００２】
【従来の技術】
デジタルカメラに搭載される単板式のＣＣＤやＣＭＯＳ等の固体撮像素子は、原色系であれば、Ｒ（赤），Ｇ（緑），Ｂ（青）の各画素が所定規則にて配置される。図８は、例えば特開平１０―１３６３９１号公報に記載されている固体撮像素子の画素配置図であり、所謂、市松状に実画素Ｒ，Ｇ，Ｂを配置しており、Ｒ画素とＢ画素が交互に並ぶ行と、Ｇ画素のみが一列に並ぶ行とが１／２ピッチずれながら交互に配列されている。
【０００３】
また、図９は、ベイヤー方式のＣＣＤの画素配置図である。ベイヤー方式では、Ｂ画素とＧ画素が交互に並ぶ行と、Ｇ画素とＲ画素とが交互に並ぶ行とが、交互に配列されている。
【０００４】
【発明が解決しようとする課題】
この様な固体撮像素子で、例えば図１０に示す様に白領域と黒領域とが垂直線で仕切られた画像を撮像すると、この垂直線が直線とはならずに、ギザギザ状に撮像されてしまう。
【０００５】
これは、図１１に示す様に、明暗を分ける輝度Ｙの変化位置に対して、Ｒ，Ｇ，Ｂの各色の光線がレンズを通るときに屈折する屈折角が異なる色収差に起因し、各色Ｒ，Ｇ，Ｂから求めた輝度信号が直線にならないことが原因である。
【０００６】
本発明の目的は、レンズの色収差に起因する画像輪郭部分の劣化を回避する信号処理方法及びその装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的は、撮影レンズを通し撮像素子の交互に色配置された画素によって被写体画像を撮像し得られた画像信号を処理する信号処理において、前記被写体画像の少なくとも輝度輪郭部分の輝度信号に対して前記交互に色配置された画素間隔のレスポンスを零にするフィルタ処理を施すことを特徴とする。
【０００８】
この構成により、前記交互の色配置の方向と前記被写体画像の輝度輪郭とが直交し、撮影レンズの色収差によって、輝度輪郭部分の色信号が色によって輝度輪郭からずれ、輝度輪郭にギザギザ状のノイズが発生しても、このノイズを低減することが可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１０】
図１は、本発明の一実施形態に係る信号処理方法を適用したデジタルスチルカメラの構成図である。このデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１１】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、市松状に画素配置をしたＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。
【００１２】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００１３】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データをＲ，Ｇ，Ｂ毎に積算してホワイトバランスゲイン等を求める積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１４】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００１５】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。
【００１６】
図示する例のデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるＲ，Ｇ，Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整を行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路４３とを備える。
【００１７】
デジタル信号処理部２６は更に、ガンマ補正回路４３から出力されるＲＧＢの色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４８とを備える。
【００１８】
ＲＧＢ補間演算部４４は、固体撮像素子１１が３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００１９】
本実施形態の特徴である信号処理すなわち輝度信号のノイズ低減処理は、ノイズフィルタ４６で実行される。このノイズフィルタ４６では、次の様な処理を行うことで、レンズ１０の色収差に起因する画像輪郭ノイズの低減を図る。
【００２０】
図３は、市松状に画素配置した固体撮像素子で得られた画像信号の一例を示す模式図である。Ｒ画素とＢ画素とが交互に配置された行に対して直角方向ｋ１に黒領域と白領域の輪郭を持つ模様を撮像したとき、図示する例では、レンズ１０の色収差によってＲ画素５には赤色の光は当たらず、方向ｋ１にあるＢ画素６には青色の光が当たり、更に方向ｋ１にあるＲ画素７には赤色の光が当たらないため、Ｂ画素６での黒白の境界はｋ２位置となり、Ｒ画素５，７での黒白の境界はｋ１位置となり、このＲ，Ｇ，Ｂ信号から求めた輝度信号は、図４に示す様に、境界ｋ１においてギザギザ状のノイズとなって現れる。
【００２１】
そこで、本実施形態では、Ｒ，Ｇ，Ｂ信号から求めた輝度信号Ｙに対して、交互に配置された色画素間隔のレスポンスが“０”となるフィルタ処理を施す。例えば、ｍ行ｎ列の画素であって輪郭線上の画素の画素の輝度値を、Ｙ’ｍｎ＝（Ｙ（ｍ−２）ｎ＋２・Ｙｍｎ＋Ｙ（ｍ＋２）ｎ）／４なる演算式により求める。図４の例では、Ｙｂ’＝（Ｙｒ１３＋２・Ｙｂ３３＋Ｙｒ５３）／４とし、これをＹｂ３３の代わりに使用する。このように、輪郭線ｋ１位置に存在する画素の輝度値を上記演算式で計算することで、図５に示す様に、輪郭線ｋ１位置におけるギザギザ状のノイズは消失する。
【００２２】
上述した実施形態では、市松状に配置された実画素から得られた色信号から輝度信号を求め、この輝度信号のギザギザ状ノイズを消去したが、市松状に配置された実画素間の無画素位置のＲ，Ｇ，Ｂ信号を求めて画像信号を正方配列に変換し、図４のＹ２２とＹ２４の間にあるべきＹ２３や、Ｙ４２とＹ４４との間にあるべきＹ４３が求められている場合には、Ｙ’３３＝（Ｙ２３＋Ｙ４３）／２として求めても、即ちＹ’ｍｎ＝（Ｙ（ｍ−１）ｎ＋Ｙ（ｍ＋１）ｎ）／２として輝度信号を求めても、輪郭線上のギザギザ状ノイズを同様に消去することができる。
【００２３】
ベイヤー方式の画素配置にも本実施形態を適用可能である。図９に示す画素配置において、レンズ１０の色収差によって輝度信号の状態が図６に示す様になったとする。この場合にも、Ｙ’ｍｎ＝（Ｙ（ｍ−１）ｎ＋２・Ｙｍｎ＋Ｙ（ｍ＋１）ｎ）／４の演算処理を施すことで、輪郭線上のギザギザ状ノイズを消去することができる。具体的には、図６の場合、Ｙｂ’３３＝（Ｙｇ２３＋２・Ｙｂ３３＋Ｙｇ４３）／４として計算し、これをＹｂ３３の代わりに使用する。これにより、図７に示す様に、輪郭線上の輝度値のギザギザはなくなる。
【００２４】
【発明の効果】
本発明によれば、レンズの色収差に起因する輝度信号のギザギザ状ノイズを低減でき、画質劣化を抑制することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る信号処理方法を適用したデジタルスチルカメラのブロック構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】市松状に画素配置したときのレンズ色収差による色信号の模式図である。
【図４】図３に示す色信号から求めた輝度信号の模式図である。
【図５】図４に示す輝度信号のギザギザ状ノイズを消去した例を示す図である。
【図６】ベイヤー方式の画素配置のレンズ色収差による輝度信号の模式図である。
【図７】図６に示す輝度信号のギザギザ状ノイズを消去した例を示す図である。
【図８】市松状に画素配置した例を示す図である。
【図９】ベイヤー方式の画素配置を示す図である。
【図１０】白領域と黒領域とが直線で仕切られた模様を示す図である。
【図１１】レンズの色収差によるギザギザ状ノイズの発生を説明する図である。
【符号の説明】
Ｒ，Ｇ，Ｂ　画素配置位置
１０　撮影レンズ
１１　固体撮像素子
２６　デジタル信号処理部
４６　ノイズフィルタ

Claims

撮影レンズを通し撮像素子の交互に色配置された画素によって被写体画像を撮像し得られた画像信号を処理する信号処理方法において、前記被写体画像の少なくとも輝度輪郭部分の輝度信号に対して前記交互に色配置された画素間隔のレスポンスを零にするフィルタ処理を施すことを特徴とする信号処理方法。
撮影レンズを通し撮像素子の交互に色配置された画素によって被写体画像を撮像し得られた画像信号を処理する信号処理装置において、前記被写体画像の少なくとも輝度輪郭部分の輝度信号に対して前記交互に色配置された画素間隔のレスポンスを零にするフィルタ処理を施すノイズフィルタを備えることを特徴とする信号処理装置。