JP2006311314A - 色分離処理方法および色分離処理回路 - Google Patents

Abstract

【課題】フィルタ処理により除去しきれなかった残留成分が位相の回った不自然なノイズとして低域に折り返す。ランダムノイズやショットノイズ、斜め線、図形角の情報や輝度情報のフィルタ処理による位相回りと高周波折り返し成分による偽色を大幅に軽減できるようにする。
【解決手段】ＲＧＢベイヤー配列の色データに対応して、Ｒ−Ｇ、Ｂ−Ｇの色差データ演算を行う際、ベイヤー配列の最小ユニットの４画素で行うこととして、４画素の情報を独立にサンプリングし、４画素の情報から３種類のＲ−Ｇ信号とＢ−Ｇ信号を発生させ、３種類のＲ−Ｇ信号とＢ−Ｇ信号から絶対値の一番小さいデータを４画素内のＲ−Ｇ信号、Ｂ−Ｇ信号として選択し、選択されたＲ−Ｇ信号、Ｂ−Ｇ信号に含まれる傷信号による偽色信号を除去する。
【選択図】図１

Description

本発明は、デジタルカメラ用におけるＲＧＢベイヤー配列の色データに対応した色分離処理方法および色分離処理回路に関する。

近年、カメラ業界におけるアナログ技術からデジタル技術への移行には目覚しいものがある。特にフィルムも現像も不要なデジタルスチルカメラは活況を呈し、携帯電話もデジタルカメラ搭載型が主流を占めるようになってきている。

現状では、デジタルカメラ用として色再現性重視の観点から原色フィルタ搭載センサに対応した信号処理を採用したカメラが主流となり、解像度を重視し、色のＳ／Ｎ比の優れた信号処理方式の提案が必要になっている。

以上のようなデジタルカメラの信号処理方式における色分離処理技術について、以下に説明する。

図５は従来の色分離処理回路の構成図である（例えば、特許文献１参照）。図５において、５１は縦横に４×４に配列されたＲＧＢベイヤー配列の画素データ、５２は縦横に４×４に配列された２次元フィルタ係数、５３は画素データ５１からＲ成分だけを抽出し、フィルタ係数５２を乗じて加算し、４×４配列中心位置のＲ信号を出力する色補間回路、５４は画素データ５１からＢ成分だけを抽出し、フィルタ係数５２を乗じて加算し、４×４配列中心位置のＢ信号を出力する色補間回路、５５は画素データ５１から左上方向４画素のＧ成分だけを抽出し、フィルタ係数５２を乗じて加算し、４×４配列中心位置のＧ信号を出力する色補間回路、５６は画素データ５１から右下方向４画素のＧ成分だけを抽出し、フィルタ係数５２を乗じて加算し、４×４配列中心位置のＧ信号を出力する色補間回路である。５７は色補間回路５３，５６により抽出されたＲ信号と右下方向のＧ信号の差をとり、Ｒ−Ｇ信号を出力する引算器、５８は色補間回路５３，５５により抽出されたＲ信号と左上方向のＧ信号の差をとり、Ｒ−Ｇ信号を出力する引算器、５９は色補間回路５４，５５により抽出されたＢ信号と左上方向のＧ信号の差をとり、Ｂ−Ｇ信号を出力する引算器である。６０は色補間回路５４，５６により抽出されたＢ信号と右下方向のＧ信号の差をとり、Ｂ−Ｇ信号を出力する引算器、６１は引算器５７，５８から出力された２種類のＲ−Ｇ信号のうち絶対値の小さい方を選択し出力する判定回路、６２は引算器５９，６０から出力された２種類のＢ−Ｇ信号のうち絶対値の小さい方を選択し出力する判定回路である。

図６はデジタルカメラの基本構成を示すブロック図である。図６において、７１はイメージセンサ、７２はイメージセンサ７１の駆動パルスを発生するタイミングジェネレータ、７３はイメージセンサ７１の出力信号のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路、７４はＡ／Ｄコンバータ（アナログデジタル変換器）、７５はＤＳＰ（デジタル信号処理回路）、７６は画像データおよび各種データを保存しておくメモリ、７７はカメラを制御するマイクロコンピュータである。

以上のように構成された従来の色分離処理回路の動作を以下に説明する。まず、図６において、レンズを通ってイメージセンサ７１に入射した光は、フォトダイオードにより電気信号に変換され、垂直駆動、水平駆動により、アナログ連続信号として出力される。イメージセンサ７１の動作に必要な駆動タイミングパルスはタイミングジェネレータ７２から発生される。イメージセンサ７１から出力された信号はＣＤＳ／ＡＧＣ回路７３のサンプルホールド（ＣＤＳ）にて１／ｆノイズが効果的に低減された後、ゲインコントロールして、Ａ／Ｄコンバータ７４に入力され、デジタル信号に変換される。デジタル化されたデータはＤＳＰ７５に入力され、メモリ７６を介して色分離、カラーマトリクス処理、輝度処理などの各種処理が行われる。

次に、色分離処理について説明する。イメージセンサ７１のカラーフィルタ配列がＲＧＢベイヤー配列の場合、イメージセンサから取り込まれた画素データ５１はメモリ７６を介してベイヤー配列情報を保ったまま色分離処理回路（ＤＳＰ７５内蔵）に入力される。処理は４×４の１６画素の情報に対して行っていく。１６画素の情報から色補間回路５３，５４，５５，５６で４画素の情報を多重してＲ信号、Ｂ信号、Ｇ左上信号、Ｇ右下信号を発生する。４画素の情報を多重する際、加算情報が画素重心の中心位置となるように、２次元フィルタ係数５２を各画素に乗じる。色分離されたＲＧＢの各信号は引算器５７，５８，５９，６０の処理により２種類のＲ−Ｇ信号とＢ−Ｇ信号となる。各々２種類の色差信号はベイヤー配列の画素位置ずれに起因する偽色成分を含んでいる。偽色成分は縦線情報が多いときは、Ｒ，Ｂそれぞれ４画素の位置に対して縦方向のＧ信号を選択してＲ−Ｇ、Ｂ−Ｇを演算した方が偽色成分は少なく、横線情報が多いときは、Ｒ，Ｂそれぞれ４画素の位置に対して横方向のＧ信号を選択してＲ−Ｇ、Ｂ−Ｇを演算した方が偽色成分は少なくなる。判定回路６１，６２の選択方法では２種類のＲ−Ｇ信号、Ｂ−Ｇ信号の絶対値をとり、小さい方のＲ−Ｇ信号、Ｂ−Ｇ信号を、４×４の１６画素情報についてのＲ−Ｇ信号、Ｂ−Ｇ信号とする。

このようにして従来の色分離処理回路においては、１６画素を１ユニットとして処理の最初にローパスフィルタ処理をかけ、次いで２種類のＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、絶対値の小さい方をユニット内の色差信号としている。

特許文献１においても、ＲＧＢベイヤー配列における各画素位置で異なる複数色の画像データをそれぞれ有するように周辺画素の補間処理を行い、２種類のＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、絶対値の小さい方に重み付けをしてユニット内の色差信号とする構成である。
特開２００２−１６９３０号公報（第５−６頁、第１図）

しかしながら、上記のような従来の色分離処理回路および方法ではＲＧＢベイヤー配列に対する処理単位が４×４の１６画素で行っている。そのため画素重心が０．５画素ずれることになり、オリジナル情報の画像高周波成分の位相回りが発生する。その結果、縦線情報、横線情報が直線的に１６画素を横切る場合は偽色成分除去の効果が十分発揮されるが、フィルタ処理により除去しきれなかった残留成分が位相の回った不自然なノイズとして低域に折り返すという問題点を有している。

本発明は、このような事情に鑑みて創作したものであり、ランダムノイズやショットノイズ、斜め線、図形角の情報や輝度情報のフィルタ処理による位相回りと高周波折り返し成分による偽色を大幅に軽減できるようにすることを目的としている。

上記の課題を解決するために本発明は次のような手段を講じる。

本発明による色分離処理方法は、ＲＧＢベイヤー配列の色データに対応した色分離処理方法であって、Ｒ−Ｇ、Ｂ−Ｇの色差データ演算を行う際、前記ベイヤー配列の最小ユニットの４画素で行うこととして、４画素の情報を独立にサンプリングし、４画素の情報から３種類のＲ−Ｇ信号とＢ−Ｇ信号を発生させ、前記３種類のＲ−Ｇ信号とＢ−Ｇ信号から絶対値の一番小さいデータを４画素内のＲ−Ｇ信号、Ｂ−Ｇ信号として選択し、選択されたＲ−Ｇ信号、Ｂ−Ｇ信号に含まれる傷信号による偽色信号を除去することを特徴とするものである。上記の３種類のＲ−ＧとＢ−Ｇの発生については、４画素内の２つのＧ信号とそれらの平均値とで３つのＧ信号を設定し、Ｒ信号、Ｂ信号から３種類のＧ信号を引き算することにより実現可能である。

上記の色分離処理方法に対応する本発明の色分離処理回路は、ＲＧＢベイヤー配列の色データに対応した色分離処理回路であって、Ｒ−Ｇ、Ｂ−Ｇの色差データ演算を行う際、ベイヤー配列の最小ユニットの４画素で行うこととして、
４画素の情報を独立にサンプリングするスイッチ手段と、
４画素の情報から３種類のＲ−Ｇ信号とＢ−Ｇ信号を発生させるための引算手段と、
前記３種類のＲ−Ｇ信号とＢ−Ｇ信号から絶対値の一番小さいデータを４画素内のＲ−Ｇ信号、Ｂ−Ｇ信号として選択する選択手段と、
選択されたＲ−Ｇ信号、Ｂ−Ｇ信号に含まれる傷信号による偽色信号を除去するフィルタ手段とを備えたものである。

上記構成によれば、ベイヤー配列の最小ユニットの４画素で色演算し、その後段でノイズ除去するためのフィルタ処理をする構成により、ランダムノイズやショットノイズ、斜め線、図形角の情報や輝度情報のフィルタ処理による位相回りと高周波折り返し成分による偽色を大幅に軽減することが可能となる。

上記の構成については、次のような好ましいいくつかの態様がある。

Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接するＮ本の奇数ラインで同時処理を実施して、Ｎ−１ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、画素重心がセンター位置の２次元タップ数（Ｎ−１）×（Ｎ−１）のＬＰＦ処理を行う態様がある。

すなわち、前記選択手段および前記フィルタ手段について、
前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接するＮ本の奇数ラインで同時処理を実施して、Ｎ−１ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
前記フィルタ手段は、画素重心がセンター位置の２次元タップ数（Ｎ−１）×（Ｎ−１）のＬＰＦ処理を行うものとする。

より具体的には次のとおりである。

１つは、Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する５ラインで同時処理を実施して、４ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、画素重心がセンター位置の２次元タップ数４×４のＬＰＦ処理を行う態様である。すなわち、Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行った後、上下４画素、左右４画素の１６画素のＲ−Ｇ、Ｂ−Ｇに対して、２次元タップ数４×４のＬＰＦ処理を行う。

すなわち、前記選択手段および前記フィルタ手段について、
前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する５ラインで同時処理を実施して、４ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
前記フィルタ手段は、画素重心がセンター位置の２次元タップ数４×４のＬＰＦ処理を行うものとする。

もう１つは、Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する７ラインで同時処理を実施して、６ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
前記フィルタ手段は、画素重心がセンター位置の２次元タップ数６×６のＬＰＦ処理を行う態様である。すなわち、Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行った後、上下６画素、左右６画素の３６画素のＲ−Ｇ、Ｂ−Ｇに対して、２次元タップ数６×６のＬＰＦ処理を行う。

すなわち、前記選択手段および前記フィルタ手段について、
前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する７ラインで同時処理を実施して、６ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
前記フィルタ手段は、画素重心がセンター位置の２次元タップ数６×６のＬＰＦ処理を行うものとする。

さらにもう１つは、Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する９ラインで同時処理を実施して、８ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
前記フィルタ手段は、画素重心がセンター位置の２次元タップ数８×８のＬＰＦ処理を行う態様である。すなわち、Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行った後、上下８画素、左右８画素の６４画素のＲ−Ｇ、Ｂ−Ｇに対して、２次元タップ数８×８のＬＰＦ処理を行う。

すなわち、前記選択手段および前記フィルタ手段について、
前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する９ラインで同時処理を実施して、８ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
前記フィルタ手段は、画素重心がセンター位置の２次元タップ数８×８のＬＰＦ処理を行うものとする。

そして、上記において、フィルタ手段が前記画素重心がセンター位置の２次元タップ数４×４のＬＰＦ処理を行う際、そのタップ係数として１：３：３：１の係数比を持った１次元ＦＩＲ（Finite Impulse Response）フィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：４：６：４：１の５×５のＬＰＦ処理を行うものとする。

また、上記において、フィルタ手段が前記画素重心がセンター位置の２次元タップ数６×６のＬＰＦ処理を行う際、そのタップ係数として１：５：１０：１０：５：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：６：１５：２０：１５：６：１の７×７のＬＰＦ処理を行うものとする。

また、上記において、フィルタ手段が前記画素重心がセンター位置の２次元タップ数８×８のＬＰＦ処理を行う際、そのタップ係数として１：７：２１：３５：３５：２１：７：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：８：２８：５６：７０：５６：２８：８：１の９×９のＬＰＦ処理を行うものとする。

また、上記の構成において、前記ＬＰＦ処理の前段で、Ｎ−１ラインと水平方向の同色画素を用いて中心近傍画素に比重をおいて周辺同色画素情報を用いた傷補正処理を行うか、前記ＬＰＦ処理の後段で、水平方向の注目画素の近傍画素を用いて中心画素に比重をおいて周辺同色画素情報を用いた傷補正処理を行うか、を選択可能とした構成も好ましい。これにより、撮影シーンに応じた対応が可能となる。

以上のように、本発明によればベイヤー配列の複数ラインに亘って、最小ユニットの４画素で色演算して３種類のＲ−Ｇ、Ｂ−Ｇを生成し、最小値判定選択処理を行い、その後段で傷補正処理を含む２次元ＬＰＦ処理を行う構成により、ランダムノイズやショットノイズ、斜め線、図形角の情報や輝度情報のフィルタ処理による位相回りと高周波折り返し成分による偽色を大幅に軽減することができる。

以下、本発明の実施の形態における色分離処理回路および色分離処理方法について図面を参照しながら具体的に説明する。

（実施の形態１）
図１は本発明の実施の形態１の色分離処理回路の基本構成を示すブロック図である。図１において、１１はＲＧＢベイヤー配列の画素データの最小ユニットの４画素を示す。１２は３種類のＲ−Ｇデータから絶対値の一番小さいものを選択するスイッチ回路、１３は３種類のＢ−Ｇデータから絶対値の一番小さいものを選択するスイッチ回路である。

図２は本実施の形態の色分離処理回路の基本構成を示す詳細回路図である。図２において、２１はベイヤー配列の画素データの最小ユニットの４画素を示す。２２は最小ユニットの４画素を画素クロックで水平方向にシフトしていったときに、４画素中上方２画素のうち選択画素情報として常にＲ信号を抽出するためのスイッチ回路、２３は最小ユニットの４画素を画素クロックで水平方向にシフトしていったときに、４画素中下方２画素のうち選択画素情報として常にＢ信号を抽出するためのスイッチ回路、２４は最小ユニットの４画素を画素クロックで水平方向にシフトしていったときに、４画素中上方２画素のうち選択画素情報として常にＧ信号を抽出するためのスイッチ回路、２５は最小ユニットの４画素を画素クロックで水平方向にシフトしていったときに、４画素中下方２画素のうち選択画素情報として常にＧ信号を抽出するためのスイッチ回路である。２６はスイッチ回路２４，２５で選択されたＧ信号の平均値を演算出力するＧ信号平均値回路、２７はスイッチ回路２２，２３，２４，２５およびＧ信号平均値回路２６で選択または演算されたＲＧＢ信号からＲ−Ｇ、Ｂ−Ｇそれぞれ３種類の色差信号を発生する６つの引算回路、２８は前記Ｒ−Ｇ、Ｂ−Ｇ信号の絶対値を抽出する絶対値回路、２９は前記３種類のＲ−Ｇ信号とＢ−Ｇ信号の中から絶対値の一番小さいものを判定する最小値判定回路、３０は最小値判定回路２９の判定結果をもとに３種類のＲ−Ｇ、Ｂ−Ｇから１つの信号を選択する最小値選択回路である。

図３は本実施の形態の色分離処理装置のフィルタ構成を示すブロック図である。図３において、３１は隣接する縦横５画素のＲＧＢベイヤー配列情報を示す。３２はスイッチ回路２２，２３，２４，２５およびＧ信号平均値回路２６で選択または演算されたＲＧＢ信号からＲ−Ｇ、Ｂ−Ｇそれぞれ３種類の色差信号を発生し、任意の色差信号を選択出力する４つの演算選択回路、３３は演算選択回路３２からの各ライン上の注目Ｒ−Ｇ、Ｂ−Ｇ信号に対して周辺同色画素を用いて傷補正およびショットノイズによる高周波成分を除去する第１の傷補正フィルタである。３４は第１の傷補正フィルタ３３から受け取った上下に隣接する４ラインで４画素単位のＲ−ＧとＢ−Ｇの分離の同時処理を実施することにより出力される４ラインのＲ−Ｇ、Ｂ−Ｇに対して、画素重心がセンター位置のタップ係数１，３，３，１の垂直ＬＰＦ処理を行う垂直ＬＰＦ、３５は垂直ＬＰＦ３４で処理されたＲ−Ｇ、Ｂ−Ｇ信号に対して左右に隣接する４画素で画素重心がセンター位置のタップ係数１，３，３，１の水平ＬＰＦ処理を行う水平ＬＰＦである。３６は垂直ＬＰＦ３４の処理と水平ＬＰＦ３５の処理を行った場合の等価的な４×４の２次元ＬＰＦ係数を表す。３７は隣接する縦横５画素のＲＧＢベイヤー配列情報３１に対して前記色分離とＬＰＦ処理により総合的にかかる係数を表す。３８は水平ＬＰＦ３５の処理を行ったＲ−Ｇ、Ｂ−Ｇ信号に対して水平方向の周辺画素（注目画素の近傍に位置する）を用いて傷補正およびショットノイズによる高周波成分を除去する第２の傷補正フィルタである。

以上のように構成された色分離処理回路および方法について、その動作を以下に説明する。

まず、４画素ＲＧＢベイヤー配列１１の色データからＲ−Ｇ、Ｂ−Ｇの色差データ演算を行う方法を説明する。

ベイヤー配列の最小ユニットの、４画素の情報を独立にサンプリングするために４つのスイッチ回路２２，２３，２４，２５を用いる。画素クロック毎に４画素の情報は水平方向にシフトしていくため水平方向の配置が入れ替わる。そこで、スイッチ回路２２，２３，２４，２５を画素クロックで切り替えることにより、４つのスイッチ出力が常にＲ，Ｂ，Ｇ１，Ｇ２の連続的な信号になるようにする。前記の連続的な信号のうちＧ１とＧ２に関しては平均値回路２６により中間値を発生し、Ｇ信号を３種類用意する。引算回路２７にて３種類のＧ信号を用いてＲ−Ｇ、Ｂ−Ｇをそれぞれ３種類発生させる。その後、絶対値回路２８にてそれぞれ３種類のＲ−ＧとＢ−Ｇの絶対値を生成し、最小値判定回路２９にて絶対値の一番小さいデータを判定し、最小値選択回路３０にて最小値と判定されたＲ−Ｇ、Ｂ−Ｇを４画素内の代表出力とする。

次に、前記４画素単位で行うＲ−Ｇ信号とＢ−Ｇ信号の分離処理を、上下に隣接する５ラインを用いて４ユニット同時処理する場合について説明する。

図３の隣接する縦横５画素のＲＧＢベイヤー配列情報３１に対して縦方向に２画素ずつ４種類の４画素ユニットを０Ｈ，１Ｈ，２Ｈ，３Ｈとして４ライン分設定する。

各ライン４画素単位のＲ−Ｇ信号とＢ−Ｇ信号の分離の同時処理を画素クロック毎に水平方向に実施することにより、４ライン分の絶対値の一番小さいＲ−Ｇ信号、Ｂ−Ｇ信号を発生させる。出力される４ライン分のＲ−Ｇ信号、Ｂ−Ｇ信号に対して、第１の傷補正フィルタ３３にて各ライン上の注目Ｒ−Ｇ信号、Ｂ−Ｇ信号に対して周辺同色画素を用いて傷補正およびショットノイズによる高周波成分を除去する。

次に、垂直ＬＰＦ３４において画素重心がセンター位置のタップ係数１，３，３，１の垂直ＬＰＦ処理を行い垂直方向の色の高周波成分を除去した後、水平ＬＰＦ３５において左右に隣接する４画素で画素重心がセンター位置のタップ係数１，３，３，１の水平ＬＰＦ処理を行い水平方向の色の高周波成分を除去する。垂直ＬＰＦ３４の処理と水平ＬＰＦ３５の処理を行った場合の等価的な４×４の２次元ＬＰＦ係数３６は図示のとおりの値となる。隣接する縦横５画素のＲＧＢベイヤー配列情報に対してのフィルタ係数は前記色分離とＬＰＦ処理により、総合特性３７に示す値となる。

〔１，３，３，１，０〕とこれを位置的に１だけシフトさせた〔０，１，３，３，１〕とを加算すると、〔１＋０，３＋１，３＋３，１＋３，０＋１〕＝〔１，４，６，４，１〕となる。この〔１，４，６，４，１〕を縦横に配置し、縦方向と横方向の交点に積の値を設定する。例えば、２行２列目は４×４＝１６、２行３列目は４×６＝２４、３行２列目は６×４＝２４、３行３列目は６×６＝３６といった具合である。

なお、この後段の第２の傷補正フィルタ３８において、Ｒ−Ｇ信号、Ｂ−Ｇ信号に対して水平方向の周辺画素（注目画素の近傍に位置する）を用いて傷補正およびショットノイズによる高周波成分を除去することにより、強いノイズ低減効果が得られる。また、第１の傷補正フィルタ３３を使用するか、第２の傷補正フィルタ３８を使用するか、あるいは双方を使用するかは撮影シーンに応じて選択可能とするとなお良い。

（実施の形態２）
図４は本発明の実施の形態２の色分離処理装置のフィルタ構成を示すブロック図である。図４において、４１は隣接する縦横７画素のＲＧＢベイヤー配列情報を示す。４２はスイッチ回路２２，２３，２４，２５およびＧ信号平均値回路２６で選択または演算されたＲＧＢ信号からＲ−Ｇ信号、Ｂ−Ｇ信号それぞれ３種類の色差信号を発生する６つの演算選択回路、４３は演算選択回路４２からの各ライン上の注目Ｒ−Ｇ信号、Ｂ−Ｇ信号に対して周辺同色画素を用いて傷補正およびショットノイズによる高周波成分を除去する第１の傷補正フィルタである。４４は第１の傷補正フィルタ４３から受け取った上下に隣接する６ラインで４画素単位のＲ−Ｇ信号とＢ−Ｇ信号の分離の同時処理を実施することにより出力される３ラインのＲ−Ｇ信号、Ｂ−Ｇ信号に対して、画素重心がセンター位置のタップ係数１，５，１０，１０，５，１の垂直ＬＰＦ処理を行う垂直ＬＰＦ、４５は垂直ＬＰＦ４４で処理されたＲ−Ｇ信号、Ｂ−Ｇ信号に対して左右に隣接する６画素で画素重心がセンター位置のタップ係数１，５，１０，１０，５，１の水平ＬＰＦ処理を行う水平ＬＰＦ、４６は垂直ＬＰＦ４４の処理と水平ＬＰＦ４５の処理を行った場合の等価的な６×６の２次元ＬＰＦ係数を表す。４７は隣接する縦横７画素のＲＧＢベイヤー配列情報４１に対して前記色分離とＬＰＦ処理により総合的にかかる係数を表す。４８は水平ＬＰＦ４５の処理を行ったＲ−Ｇ、Ｂ−Ｇ信号に対して水平方向の周辺画素（注目画素の近傍に位置する）を用いて傷補正およびショットノイズによる高周波成分を除去する第２の傷補正フィルタである。なお、本実施の形態においては、実施の形態１の場合の図１、図２の構成が適用される。

次に、前記４画素単位で行うＲ−Ｇ信号とＢ−Ｇ信号の分離処理を、上下に隣接する７ラインを用いて６ユニット同時処理する場合について説明する。

図４の隣接する縦横４画素のＲＧＢベイヤー配列情報４１に対して縦方向に２画素ずつ６種類の４画素ユニットを０Ｈ，１Ｈ，２Ｈ，３Ｈ，４Ｈ，５Ｈとして６ライン分設定する。

各ライン４画素単位のＲ−Ｇ信号とＢ−Ｇ信号の分離の同時処理を画素クロック毎に水平方向に実施することにより、６ライン分の絶対値の一番小さいＲ−Ｇ信号、Ｂ−Ｇ信号を発生させる。出力される６ライン分のＲ−Ｇ信号、Ｂ−Ｇ信号に対して、第１の傷補正フィルタ４３にて各ライン上の注目Ｒ−Ｇ信号、Ｂ−Ｇ信号に対して周辺同色画素を用いて傷補正およびショットノイズによる高周波成分を除去する。

次に、垂直ＬＰＦ４４において画素重心がセンター位置のタップ係数１，５，１０，１０，５，１の垂直ＬＰＦ処理を行い垂直方向の色の高周波成分を除去した後、水平ＬＰＦ４５において左右に隣接する６画素で画素重心がセンター位置のタップ係数１，５，１０，１０，５，１の水平ＬＰＦ処理回路にて水平方向の色の高周波成分を除去する。垂直ＬＰＦ４４の処理と水平ＬＰＦ４５の処理を行った場合の等価的な６×６の２次元ＬＰＦ係数４６は図示のとおりの値となる。隣接する縦横４画素のＲＧＢベイヤー配列情報に対してのフィルタ係数は前記色分離とＬＰＦ処理により、総合特性４７に示す値となる。

〔１，５，１０，１０，５，１，０〕とこれを位置的に１だけシフトさせた〔０，１，５，１０，１０，５，１〕とを加算すると、〔１＋０，５＋１，１０＋５，１０＋１０，５＋１０，１＋５，０＋１〕＝〔１，６，１５，２０，１５，６，１〕となる。この〔１，６，１５，２０，１５，６，１〕を縦横に配置し、縦方向と横方向の交点に積の値を設定する。例えば、２行２列目は６×６＝３６、２行３列目は６×１５＝９０、２行４列目は６×２０＝１２０、３行２列目は１５×６＝９０、３行３列目は１５×１５＝２２５、３行４列目は１５×２０＝３００、４行２列目は２０×６＝１２０、４行２列目は２０×１５＝３００、４行３列目は２０×２０＝４００といった具合である。

なお、この後段の第２の傷補正フィルタ４８において、Ｒ−Ｇ信号、Ｂ−Ｇ信号に対して水平方向の周辺画素（注目画素の近傍に位置する）を用いて傷補正およびショットノイズによる高周波成分を除去することにより、強いノイズ低減効果が得られる。また、第１の傷補正フィルタ４３を使用するか、第２の傷補正フィルタ４８を使用するか、あるいは双方を使用するかは撮影シーンに応じて選択可能とするとなお良い。

上記の実施の形態１，２によれば、４画素単位で行う色分離処理と第１の傷補正処理、垂直ＬＰＦ処理、水平ＬＰＦ処理、第２の傷補正処理を時系列処理することにより、ＲＧＢベイヤー情報に含まれる色差信号帯域で必要のない輝度の高周波成分を大幅に抑圧することができる。

また、原画素に対して画素重心が注目画素位置のＬＰＦ処理を行うので、ＲＧＢ信号のフィルタ処理よる位相回りが発生せず、自然な美しい偽色抑圧効果が期待できる。

本発明は、デジタルカメラ等におけるＲＧＢベイヤー配列の色データに対応した色分離処理の技術として有用である。

本発明の実施の形態１の色分離処理回路の基本構成を示すブロック図 本発明の実施の形態１の色分離処理回路の詳細回路図 本発明の実施の形態１の色分離処理装置のフィルタ構成を示すブロック図 本発明の実施の形態２の色分離処理装置のフィルタ構成を示すブロック図 従来の色分離処理回路および方法を示す構成図 デジタルカメラの基本構成ブロック図

符号の説明

１１ ２１ ベイヤー配列の画素データの最小ユニットの４画素
１２，１３ 最小値選択回路
２２ Ｒ信号選択のスイッチ回路
２３ Ｂ信号選択のスイッチ回路
２４，２５ Ｇ信号選択のスイッチ回路
２６ Ｇ信号平均値回路
２７ 引算器
２８ 絶対値回路
２９ 最小値判定回路
３０ 最小値選択回路
３１ ベイヤー配列の画素データの２５画素
３２ 最小値演算選択回路
３３ 第１の傷補正フィルタ
３４ ４タップ垂直ＬＰＦ
３５ ４タップ水平ＬＰＦ
３６ ４タップ２次元ＬＰＦ係数
３７ ４×４画素重心センターＬＰＦ係数
３８ 第２の傷補正フィルタ
４１ ベイヤー配列の画素データの４９画素
４２ 最小値選択回路
４３ 第１の傷補正フィルタ
４４ ６タップ垂直ＬＰＦ
４５ ６タップ水平ＬＰＦ
４６ ６タップ２次元ＬＰＦ係数
４７ ７×７画素重心センターＬＰＦ係数
４８ 第２の傷補正フィルタ

Claims (17)

1. ＲＧＢベイヤー配列の色データに対応した色分離処理方法であって、Ｒ−Ｇ、Ｂ−Ｇの色差データ演算を行う際、前記ベイヤー配列の最小ユニットの４画素で行うこととして、４画素の情報を独立にサンプリングし、４画素の情報から３種類のＲ−Ｇ信号とＢ−Ｇ信号を発生させ、前記３種類のＲ−Ｇ信号とＢ−Ｇ信号から絶対値の一番小さいデータを４画素内のＲ−Ｇ信号、Ｂ−Ｇ信号として選択し、選択されたＲ−Ｇ信号、Ｂ−Ｇ信号に含まれる傷信号による偽色信号を除去することを特徴とする色分離処理方法。
2. Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接するＮ本の奇数ラインで同時処理を実施して、Ｎ−１ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、画素重心がセンター位置の２次元タップ数（Ｎ−１）×（Ｎ−１）のＬＰＦ処理を行う請求項１に記載の色分離処理方法。
3. Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する５ラインで同時処理を実施して、４ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、画素重心がセンター位置の２次元タップ数４×４のＬＰＦ処理を行う請求項１に記載の色分離処理方法。
4. Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する７ラインで同時処理を実施して、６ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、画素重心がセンター位置の２次元タップ数６×６のＬＰＦ処理を行う請求項１に記載の色分離処理方法。
5. Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する９ラインで同時処理を実施して、８ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、画素重心がセンター位置の２次元タップ数８×８のＬＰＦ処理を行う請求項１に記載の色分離処理方法。
6. 前記画素重心がセンター位置の２次元タップ数４×４のＬＰＦ処理を行う際、そのタップ係数として１：３：３：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：４：６：４：１の５×５のＬＰＦ処理を行う請求項３に記載の色分離処理方法。
7. 前記画素重心がセンター位置の２次元タップ数６×６のＬＰＦ処理を行う際、そのタップ係数として１：５：１０：１０：５：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：６：１５：２０：１５：６：１の７×７のＬＰＦ処理を行う請求項４に記載の色分離処理方法。
8. 前記画素重心がセンター位置の２次元タップ数８×８のＬＰＦ処理を行う際、そのタップ係数として１：７：２１：３５：３５：２１：７：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：８：２８：５６：７０：５６：２８：８：１の９×９のＬＰＦ処理を行う請求項５に記載の色分離処理方法。
9. ＲＧＢベイヤー配列の色データに対応した色分離処理回路であって、Ｒ−Ｇ、Ｂ−Ｇの色差データ演算を行う際、ベイヤー配列の最小ユニットの４画素で行うこととして、
   ４画素の情報を独立にサンプリングするスイッチ手段と、
   ４画素の情報から３種類のＲ−Ｇ信号とＢ−Ｇ信号を発生させるための引算手段と、
   前記３種類のＲ−Ｇ信号とＢ−Ｇ信号から絶対値の一番小さいデータを４画素内のＲ−Ｇ信号、Ｂ−Ｇ信号として選択する選択手段と、
   選択されたＲ−Ｇ信号、Ｂ−Ｇ信号に含まれる傷信号による偽色信号を除去するフィルタ手段とを備えた色分離処理回路。
10. 前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接するＮ本の奇数ラインで同時処理を実施して、Ｎ−１ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
    前記フィルタ手段は、画素重心がセンター位置の２次元タップ数（Ｎ−１）×（Ｎ−１）のＬＰＦ処理を行う請求項９に記載の色分離処理回路。
11. 前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する５ラインで同時処理を実施して、４ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
    前記フィルタ手段は、画素重心がセンター位置の２次元タップ数４×４のＬＰＦ処理を行う請求項９に記載の色分離処理回路。
12. 前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する７ラインで同時処理を実施して、６ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
    前記フィルタ手段は、画素重心がセンター位置の２次元タップ数６×６のＬＰＦ処理を行う請求項９に記載の色分離処理回路。
13. 前記選択手段は、前記Ｒ−Ｇ信号とＢ−Ｇ信号の分離処理を４画素単位で行う際、上下に隣接する９ラインで同時処理を実施して、８ラインのＲ−Ｇ信号、Ｂ−Ｇ信号を発生し、
    前記フィルタ手段は、画素重心がセンター位置の２次元タップ数８×８のＬＰＦ処理を行う請求項９に記載の色分離処理回路。
14. 前記フィルタ手段は、前記画素重心がセンター位置の２次元タップ数４×４のＬＰＦ処理を行う際、そのタップ係数として１：３：３：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：４：６：４：１の５×５のＬＰＦ処理を行う請求項１１に記載の色分離処理回路。
15. 前記フィルタ手段は、前記画素重心がセンター位置の２次元タップ数６×６のＬＰＦ処理を行う際、そのタップ係数として１：５：１０：１０：５：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：６：１５：２０：１５：６：１の７×７のＬＰＦ処理を行う請求項１２に記載の色分離処理回路。
16. 前記フィルタ手段は、前記画素重心がセンター位置の２次元タップ数８×８のＬＰＦ処理を行う際、そのタップ係数として１：７：２１：３５：３５：２１：７：１の係数比を持った１次元ＦＩＲフィルタ処理を垂直、水平方向に２度行うことにより、ベイヤー配列の原画素の各色データに対して画素重心がセンター位置の係数比１：８：２８：５６：７０：５６：２８：８：１の９×９のＬＰＦ処理を行う請求項１３に記載の色分離処理回路。
17. 前記ＬＰＦ処理の前段で、Ｎ−１ラインと水平方向の同色画素を用いて中心近傍画素に比重をおいて周辺同色画素情報を用いた傷補正処理を行うか、前記ＬＰＦ処理の後段で、水平方向の注目画素の近傍画素を用いて中心画素に比重をおいて周辺同色画素情報を用いた傷補正処理を行うか、を選択可能とした請求項１０に記載の色分離処理回路。

Images