JP2005318387A - 画像処理装置及びその色判定方法、画像機器 - Google Patents

Abstract

【課題】 特定色を判別してノイズ低減処理を行うことにより、ハードウェア規模の削減を図りながら高い画質の画像データを得る。
【解決手段】 撮像素子からの出力信号を量子化して得られる画像信号に対し、判定領域に属する複数のカラーフィルタに対応する各画像信号から、判定領域が特定の色領域に属しているか否かを判定し（色判定手段１１）、当該判定結果に基づき、特定色領域に属する画像信号に対する第１のノイズ低減処理と、特定色領域とは異なる色領域に属する画像信号に対する第２のノイズ低減処理の一方を選択して実行する（ノイズ低減処理手段１３〜１５）。
【選択図】 図１

Description

本発明は、カラー画像信号を取り込み、高画質、高速画像処理が必要とされる、特に、電子カメラに用いて好適な画像処理装置及びその色判定方法、画像機器に関する。

ＣＣＤ（Charge Coupled Device）等の撮像素子（以下、イメージャと称する）を用いた画像入力機器において、より高画質な画像をより高速な処理で実現するために、イメージャにより得られた画像情報を量子化し、様々なデジタル処理を加えて所望の画像を得ることが行われている。その画像入力機器を備えた画像機器では、より高画質化が望まれ、特に被写体の特徴を現す特定色の再現性が重要になっている。例えば、デジタルカメラ若しくはムービー等の電子カメラは、イメージャを搭載した画像入力機器を用いた人物の撮影時において、ＩＳＯ感度を高めると、イメージャ固有のランダムノイズが画像に重畳され、画像の見栄えに悪影響を及ぼす。

こうしたイメージャのノイズを抑制するため、イメージャにより生成されたカラー画像信号の量子化値に対する様々な画像処理が実施されている。例えば、イメージャより得られたＲＧＢの画像データから、色相と濃淡のデータを加工して、当該色相データを用いて例えば、肌色等の特定色エリアを判別し、この判別された領域における濃淡のデータに対して空間フィルタによる処理を経て高域のノイズを低減させる技術が知られている（例えば、特許文献１参照）。
上記した技術によれば、判別領域に相当するか否かで、空間フィルタの種類を変えて（特定色領域に対して強めにローパスフィルタをかける処理）、よりきめ細かいノイズ低減を実施している。以下に具体的に説明する。

図１４に上記したノイズ低減処理を行う従来の画像処理装置の構成例を示す。図１４において、１０１はＲＧＢ補間回路であり、ここに、図示せぬイメージャからＲＧＢの画像データが入力される。このデータはＢａｙｅｒ（ベイヤー）配列であり、例えば、図５に示す様に、水平方向（図中の横方向）Ｒ／Ｇ列とＧ／Ｂ列の画素に相当するデータである。ここで、ＲＧＢ補間回路１０１により、１フレームのＲＧＢのベイヤーデータから、各１フレームずつのＲＧＢデータが補間演算により求められ、各ピクセル当たりそれぞれ１つずつのＲＧＢ値を得る。１０２は濃淡データを演算する濃淡データ取得回路である。ＲＧＢ補間回路１０１により得た、１ピクセル当たりのＲＧＢ値に従って、以下の演算（１）を行い、最終的には、１フレーム分の濃淡値ＹＯを得る。
（１）ＹＯ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ

このようにして求められた濃淡値ＹＯは、高域抽出回路１０４および低域抽出回路１０５に入力され、それぞれ、高域成分のみの１フレームと低域成分のみの１フレームが抽出される。高域抽出回路１０４もしくは低域抽出回路１０５は、具体的には、ｎ×ｎピクセルエリアの空間フィルタ（２次元フィルタ）である。
高域抽出回路１０４により出力される濃淡信号ＹＨは、ローパスフィルタ（ＬＰＦ１０７）のｎ×ｎピクセルエリアの空間フィルタ（２次元フィルタ）によりノイズ成分を抑圧されＹＮとして出力される。そして、合成回路１０８により、ＹＮ値と低域抽出成分であるＹＬが合成され、最終的な濃淡画像データが得られる。

一方、色相データ取得回路１０３は、ＲＧＢ補間回路１０１により得た、１ピクセル当たりのＲＧＢ値よりＧ値を基準とした色相データを求める手段である。具体的には、以下の演算（２），（３）を行い、最終的に、１フレーム分の色値Ｃｒ及びＣｂを得る。
（２）Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
（３）Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ
特定色判断回路１０６は、特定色の判定手段である。例えば、色相データ取得回路１０３により得られた１ピクセル分のＣｒおよびＣｂ値を基に、例えば、肌色領域に入っているか否かを判断し、結果をノイズ低減手段としてのＬＰＦ１０７に入力する。ＬＰＦ１０７は、特定色判定回路１０６の判定結果により、例えば、肌色領域では、より強力にＬＰＦ処理を施し、より見栄えの良い画像を生成する。
特公平５−６２８７９号公報

上記した特許文献１に開示された技術によれば、カラー画像において特に雑音が目立ちやすい特定部分からランダムな雑音を取り除き、この特定部分を美しく仕上げることが可能である。
しかしながら、ノイズ低減処理を行うために、複数の空間フィルタ（具体的には、高域抽出回路１０４、低域抽出回路１０５、ＬＰＦ１０７）が必要となる。空間フィルタは、パイプライン処理によるフィルタ演算を前提とし、例えば、１フレームの画角が縦１００、横１００ピクセルで、かつ空間フィルタサイズが３×３ピクセルの場合、１つのフィルタにつき、横方向の画像データを保持するＦＩＦＯ（First-In First-Out）メモリを１００ピクセル×２段用意しなければならず、従って、ハードウェア規模の増大と消費電力の増加を招くといった課題を有していた。また、各種フィルタ演算を実施しなければならないため、スループットが低下し、リアルタイム性に欠ける課題もある。

本発明は上記事情に鑑みてなされたものであり、特定色を判別してノイズ低減処理を行うことにより、ハードウェア規模の削減を図りながら高い画質の画像データを得ることのできる画像処理装置及びその色判定方法、画像機器を提供することを目的とする。

上記した課題を解決するために本発明の画像処理装置は、色属性の異なる複数のカラーフィルタを所定の配列でマトリクス状に配列して形成されたフィルタが受光面に貼付された撮像素子からの出力信号を量子化して得られる画像信号に対し、判定領域に属する複数の前記カラーフィルタに対応する各画像信号から、前記判定領域が特定の色領域に属しているか否かを判定する色判定手段と、前記色判定手段による判定結果に基づき、前記特定色領域に属する画像信号に対する第１のノイズ低減処理と、前記特定色領域とは異なる色領域に属する画像信号に対する第２のノイズ低減処理とのいずれか一方を選択して実行するノイズ低減処理手段とを具備することを特徴とする。

本発明の画像処理装置において、前記色判定手段は、前記フィルタが有する赤及び緑のカラーフィルタ、或いは緑及び青のカラーフィルタ、のいずれか一方のカラーフィルタが配列された領域に対応する画像信号から、前記判定領域が前記特定色領域に属しているか否かを仮決定してその結果を記憶し、前記フィルタが有する他方のフィルタが配列された領域に対応する画像信号と前記仮決定結果とから前記判定を行う予測手段を具備することを特徴とする。

本発明の画像処理装置において、前記ノイズ低減手段は、前記第１のノイズ低減処理として、前記画像信号に対応するノイズ量に所定のゲインを乗じた値を画像信号から減算することを特徴とする。

本発明の画像処理装置において、前記色判定手段は、前記特定色領域として肌色を判定することを特徴とする。

本発明の画像処理装置において、前記ノイズ低減手段は、前記色判定手段の判定結果を１フレーム分記憶する記憶手段から読み取られた前記判定結果に基づき、前記特定色領域とされた領域に対して前記第１のノイズ低減処理を行うか否かを判定することを特徴とする。

本発明の色判定方法は、赤、緑及び青の３刺激値に対応したベイヤー配列のカラー画像データを入力として画像処理を行う画像処理装置における色判定方法であって、前記赤及び緑の画像データ、或いは緑及び青の画像データ、のいずれか一方の画像データが配列された領域に対応する前記カラー画像データから、判定領域が特定色領域に属しているか否かを仮判定してその結果を記憶する過程と、他方の画像データが配列された領域に対応する画像信号と前記仮判定結果とから色判定を行う過程とを有することを特徴とする。

本発明の画像機器は、色属性の異なる複数のカラーフィルタを所定の配列でマトリクス状に配列して形成されたフィルタが受光面に貼付された撮像素子からの出力信号を量子化して得られる画像信号に対して、判定領域に属する複数の前記カラーフィルタに対応する各画像信号から、この判定領域が特定の色領域に属しているか否かを判定する色判定手段と、前記色判定手段による判定結果に基づき、前記特定色領域に属する画像信号に対する第１のノイズ低減処理と、前記特定色領域とは異なる色領域に属する画像信号に対する第２のノイズ低減処理とのいずれか一方を選択して実行するノイズ低減処理手段とを備えた画像処理装置を具備することを特徴とする。

本発明によれば、撮像素子からの出力信号を量子化して得られる画像信号に対し、判定領域に属する複数のカラーフィルタに対応する各画像信号から、判定領域が特定の色領域に属しているか否かを判定し、当該判定結果に基づき、特定色領域に属する画像信号に対する第１のノイズ低減処理と、特定色領域とは異なる色領域に属する画像信号に対する第２のノイズ低減処理の一方を選択して実行することにより、ハードウェア規模の削減をはかりながら高い画質の画像データを得ることのできる、画像処理装置および電子カメラをはじめとする各種画像機器を提供することができる。また、ハードウェア規模が削減されたことによる省電力化、ならびにフィルタ演算に要する負荷が軽減されることからスループットの向上がはかれ、リアルタイム応答が可能になる。
更に、本発明によれば、ベイヤー配列のカラー画像データを入力として画像処理を行うのに、赤及び緑の画像データ、或いは緑及び青の画像データのいずれか一方の画像データが配列された領域に対応する画像データから、判定領域が特定色領域に属しているか否かを仮判定し、他方の画像データが配列された領域に対応する画像信号と仮判定結果とから色判定を行うことで、容易に色判定が可能になり、このための画像処理装置にかかる演算負荷が軽減される。

以下、図面を参照し、本発明の一実施形態について詳細に説明する。
図１は本発明の一実施形態を示すブロック図である。ここでは、ＣＣＤ等のイメージャから得られた画像データを直接用いて処理することを前提とし、イメージャには、色属性の異なる複数のカラーフィルタを所定の配列でマトリクス状に配列して形成されたフィルタがその受光面に貼付されている。なお、図１に示す実施形態においては、入力及び出力データはＲＧＢベイヤーデータとして扱っているが、補色ＣＣＤから得られた画像データとして扱っても良い。

図１において、符号１１は、ＲＧＢベイヤーデータから特定色を判定する、本発明の色判定手段としての色相判定回路である。ここでは、特定色として肌色領域を判定するものとする。特定色としては、他に、空の青、植物の緑等がある。符号１２はノイズテーブルであり、画像データに対応したノイズ量が予め設定され記憶したものである。また、符号１３は、乗算器１４の乗算係数を決定する乗算係数選択回路、符号１５は減算器である。これらノイズテーブル１２、乗算係数選択回路１３、乗算器１４、減算器１５で本発明のノイズ低減手段を構成する。回路構成等詳細は図２を用いて後述する。

図３にノイズテーブル１２の内容の一例が示されている。横軸は、画像データ（１ピクセル）の値、すなわち明るさを示し、縦軸は各明るさに対応したノイズ量を示す。
図３中の白抜きの棒は、各明るさに対応したノイズ量のデフォルト値を示している。色相判定回路１１で肌色領域内に存在すると判定された場合、乗算係数選択回路１３でデフォルト値のＫ倍の係数が選択される。次いで、この選択された係数は、ノイズテーブル１２から出力されるノイズ量に乗算器１４にて乗算される。この係数が乗じられた後のノイズ量は、減算回路１５にてベイヤーデータから減算される。また、図３において、黒で塗りつぶした棒は、あるノイズ量をＫ倍したときのノイズ量を示している。

次に、色相判定を主に、ノイズ低減処理について更に詳しく説明する。
ＲＧＢベイヤー配列の場合、Ｒ画素、Ｇ画素、Ｂ画素からなる４つの画素を１つのエリアと考え、当該４つの画像データから肌色領域を判定する。
図４は、ベイヤー配列の一例を示す図である。図４では、４ピクセル×４行（Ｒ／Ｇ画素の行とＧ／Ｂ画素の行）にて１フレームのベイヤー配列としている。なお、実際はこのような少ないピクセル数ではないが、便宜上、図４の例で説明する。肌色判定のための領域は、例えば、図４の破線Iで囲んだエリアで考える。この場合、Ｒ００、Ｇ００、Ｇ１０、Ｂ１０の４画素の画像データにて肌色か否かを判定し、肌色に相当した場合は、Ｂ１０の画像データに対応したノイズ量をＫ倍して、Ｂ１０自身の画像データから減算する。

すなわち、４つの画像データから領域判定を行い、判定された結果に対するノイズ低減処理を、右下の画像データＢ１０に対して実施する。破線Iに対する肌色領域の判定とこの結果を受けたノイズ低減処理を終えたら、次は、図４中、破線IIにて囲まれた領域での処理を実施する。この場合、Ｇ００、Ｒ０１、Ｂ１０、Ｇ１１の４画素の画像データにて肌色か否かを判定し、肌色に相当した場合は、右下のＧ１１の画像データに対応したノイズ量をＫ倍して、Ｇ１１自身の画像データから減算する。
こうしてノイズ低減処理後のデータは、図４における４×４のベイヤーデータより、図４内の斜線で示す３×３のデータとして得られる。尚、フレームの左端、及び上端の画像データは、ノイズ低減処理後無効になるが、実際にはメガピクセル相当の画素数であるため影響は無い。

図２に、図１の詳細回路構成を示す。具体的には、図１における色相判定回路１１と、ノイズ量に乗ずる乗算係数選択回路１３の内部構成を示したものである。
図２において、符号２１〜２３は、それぞれ、ＲＧＢベイヤーデータから、Ｒデータ、Ｇデータ、Ｂデータを取り込むフリップフロップである。フリップフロップ２１は、図６に示す表１に従い動作する。ここでは、信号Ｓ０とＳ１が共に“Ｈｉｇｈ（１）”の状態の際にイネーブル端子ＣＥは“１”になり、データ端子ＤからＲデータを取り込みＱに出力する。なお、ＣＥが“Ｌｏｗ（０）”の場合は、前に記憶した値を保持する。
上記と同様に、フリップフロップ２２は、図６に示す表２に従い動作し、フリップフロップ２３は、図６に示す表３に従い動作する。

符号２４〜２６は、１クロックのデータ遅延用フリップフロップである。フリップフロップ２４〜２６は、図７に示す表４に従い動作する。また、符号２７は、フリップフロップ２１の出力、もしくはフリップフロップ２４の出力を選択するＲデータ用セレクタである。セレクタ２７は、Ｓ０が“１”のときにはフリップフロップ２１からのＲデータ出力を選択し、Ｓ０が“０”のときにはフリップフロップ２４からのＲデータ出力を選択する。当該セレクタ２７は、図７に示す表５に従い動作する。
符号２８は、フリップフロップ２２の出力もしくはフリップフロップ２５の出力を選択するＧデータ用セレクタである。セレクタ２８は図７に示す表６に従い動作する。また、符号２９は、フリップフロップ２３出力もしくはフリップフロップ２６出力を選択するＢデータ用セレクタである。当該セレクタ２９は図７に示す表７に従い動作する。

符号２１２は、肌色検出用のＲデータの上限値を保持するＲｈレジスタ、符号２１３は、肌色検出用のＲデータの下限値を保持するＲｌレジスタである。また、符号２１４は、肌色検出用のＧデータの上限値を保持するＧｈジスタ、符号２１５は、肌色検出用のＧデータの下限値を保持するＧｌレジスタである。更に、符号２１６は、肌色検出用のＢデータの下限値を保持するＢｌレジスタである。
また、符号２１７はＲｈレジスタ２１２とＲ画素のデータを比較する比較器（ＣＭＰ１）である。比較器２１７は、図８の表１１に記載の肌色領域抽出条件のＲ≦Ｒｈを満たした場合に出力は１となる。また、符号２１８は、Ｒｌレジスタ２１３とＲ画素のデータを比較する比較器（ＣＭＰ２）である。比較器２１８は、図８の表１１記載の肌色領域抽出条件のＲ≧Ｒｌを満たした場合に出力は１となる。

また、符号２１９は、Ｇｈレジスタ２１４とＧ画素のデータを比較する比較器（ＣＭＰ３）である。比較器２１９は、図８の表１１記載の肌色領域抽出条件のＧ≦Ｇｈを満たした場合に出力は１となる。また、符号２２０は、Ｇｌレジスタ２１５とＧ画素のデータを比較する比較器（ＣＭＰ４）である。比較器２２０は、図８の表１１記載の肌色領域抽出条件のＧ≧Ｇｌを満たした場合に出力は１となる。また、符号２２１は、Ｂｌレジスタ２１６とＢ画素のデータを比較する比較器（ＣＭＰ５）である。比較器２２１は、図８の表１１記載の肌色領域抽出条件のＢ≦Ｂｌを満たした場合に出力は１となる。
こうして、比較器２１７〜２２１による比較結果が全て“１”になった場合、上記したＲ画素、Ｇ画素、Ｂ画素からなる４画素を１エリアとした領域は肌色であると判断できる。

図９に、ＲＧＢ空間での肌色領域の一例を示す。図９中、Ｒ軸において、Ｒｈ≧Ｒ≧Ｒｌの領域がＲ軸における肌色領域である。また、Ｇ軸において、Ｇｈ≧Ｇ≧Ｇｌの領域がＧ軸における肌色領域である。Ｒ軸及びＧ軸に共通の肌色領域は、図９における四角形Ａ１−Ｂ１−Ｃ１−Ｄ１−Ａ１の範囲内になる。更に、Ｂ軸において、Ｂｌ≧Ｂの領域がＢ軸における肌色領域である。従って、Ｒ軸及びＧ軸及びＢ軸に共通な肌色領域は、多角形Ａ１−Ｄ１−Ｄ２−Ａ２−Ｂ２−Ｃ２−Ｃ１−Ｂ１−Ａ１の範囲内になる。これが最終的な肌色領域である。

説明を図２に戻す。符号２２２は、Ｒ／Ｇ行のベイヤー配列を用いた肌色検出用のＡＮＤゲートである。図４に示す画像データ配列を参考にすれば、例えば、Ｒ００とＧ００が共に肌色領域か否かを判定する。すなわち、ＡＮＤゲート２２２で図９におけるＲ軸及びＧ軸に共通の肌色領域に相当する四角形Ａ１−Ｂ１−Ｃ１−Ｄ１−Ａ１を判定し、この領域内に存在する場合、ＡＮＤゲート２２２は、“１”を出力する。
符号２２３は、Ｇ／Ｂ行のベイヤー配列を用いた肌色検出用のＡＮＤゲートである。図４に示す画像データ配列を参考にすれば、例えば、Ｇ１０とＢ１０が共に肌色領域か否かを判定する。すなわち、ＡＮＤゲート２２３で図９におけるＧ軸及びＢ軸に共通の肌色領域に相当する四角形Ａ１−Ａ２−Ｂ２−Ｂ１を判定し、この領域内に存在する場合、ＡＮＤゲート２２３は、“１”を出力する。

符号２２４は、Ｒ／Ｇ行のベイヤー配列を用いた肌色検出と、ＦＩＦＯメモリ２２７から読み出された１行前のＧ／Ｂ行のベイヤー配列を用いた肌色検出結果との論理積演算を行うＡＮＤゲート、符号２２６は、Ｇ／Ｂ行のベイヤー配列を用いた肌色検出と、ＦＩＦＯメモリ２２７から読み出された１行前のＲ／Ｇ行のベイヤー配列を用いた肌色検出結果との論理積演算を行うＡＮＤゲートである。
また、符号２２５は、Ｒ／Ｇ行のベイヤー配列を用いた肌色検出、もしくはＧ／Ｂ行のベイヤー配列を用いた肌色検出をＦＩＦＯメモリ２２７に出力するためのセレクタである。セレクタ２２５は、図７に示す表８に従い動作する。なお、ＦＩＦＯメモリ２２７は、１フレームにおけるベイヤー配列の１行分の画素数に相当する１ビットの記憶素子を有するものとする。

符号２３０は、ＡＮＤゲート２２４、２２６の出力を選択するセレクタであり、図８に示す表９に従い動作する。また、符号２２８および符号２２９は、ノイズ量に乗算する乗算係数が設定される乗算係数レジスタである。符号２３２は、乗算係数レジスタ２２８、２２９を選択するセレクタであり、図１に示す乗算係数選択回路１３に相当する。セレクタ２３２は、肌色領域にあると判定された場合、乗算係数レジスタ２２８に設定された係数Ｋを選択する。なお、Ｋはあらかじめ設定される任意の値とする。
符号２３１は、ノイズ量が定義されるルックアップテーブルであり、図１に示すノイズテーブル１２に相当する。符号２３３は乗算器であり、図１の乗算器１４に相当する。
なお、符号２１０は、画像データに同期した転送クロックＣＬＫと水平/垂直ブランキング信号を制御するＡＮＤゲート、符号２１１は、Ｓ０、Ｓ１信号を生成するシーケンサである。ここで、Ｓ１は水平ブランキングの開始毎にトグルし、Ｓ０はＡＮＤゲート２１０の出力のクロックをトグルした信号である。

図５は、図２に示す画像処理装置の動作を示すタイミングチャートである。以下、図５に示すタイミングチャートを参照しながら、図２に示す画像処理装置の動作について、色相判定を主に説明する。
図５中、ＣＬＫは、画像データに同期した転送クロックである。垂直（Ｖ）ブランキングは“Ｈｉｇｈ”（有効期間）とする。水平（Ｈ）ブランキングは、ベイヤー配列の行方向に画像データを出力する毎にブランキングレベル“Ｌｏｗ”になるものとする。Ｓ１は、“Ｈｉｇｈ”でベイヤー配列のＲ／Ｇ画素列の出力中とし、“Ｌｏｗ”でベイヤー配列のＧ／Ｂ画素列の出力中とする。Ｓ０は、１画素出力する毎に“Ｌｏｗ”／“Ｈｉｇｈ”を繰り返す。ＲＧＢデータは、ベイヤー配列に従って読み出されるＲＧＢ画素の画像データであり、例えば、図４に示す配列に従って、Ｒ００、Ｇ００、Ｒ０１、Ｇ０１の順番に読み出される。ＦＩＦＯメモリ２２７は、開始時点において１にプリセットされている。

図５において、まず、Ｒ００とＧ００で、Ｇ００の読み出し時刻にて肌色判定が行われる。なお、Ｒ００は、フリップフロップ２４で１クロック遅延した値を用いる。判定結果は、図５中のＣ０１であり、この結果がＦＩＦＯメモリ２２７に書き込まれる。次に、Ｇ００とＲ０１で、Ｒ０１の読み出し時刻にて肌色判定が行われる。なお、Ｇ００は、フリップフロップ２５で１クロック遅延した値を用いる。判定結果は、図５中のＣ０２であり、この結果がＦＩＦＯメモリ２２７に書き込まれる。
続いて、Ｒ０１とＧ０１で、Ｇ０１の読み出し時刻にて肌色判定が行われる。なお、Ｒ０１は、フリップフロップ２４で１クロック遅延した値を用いる。ここでの判定結果は、図５中のＣ０３であり、この判定結果がＦＩＦＯメモリ２２７に書き込まれる。以上で、図４に示される最初の１行に関する肌色判定が完了し、その判定結果は、ＦＩＦＯメモリ２２７に書き込まれる。そして、Ｈブランキングレベルが“Ｌｏｗ”から“Ｈｉｇｈ”になった後、Ｇ１０、Ｂ１０、Ｇ１１、Ｂ１１の順番に読み出される。

次に、Ｇ１０とＢ１０で、Ｂ１０の読み出し時刻にて肌色判定が行われる。なお、Ｇ１０は、フリップフロップ２５で１クロック遅延した値を用いる。判定結果は、図５中のＣ１１であり、その結果がＦＩＦＯメモリ２２７に書き込まれる。この判定結果のＣ１１は、同時刻にＦＩＦＯメモリ２２７から読み出された値Ｃ０１とＡＮＤゲート２２６で論理積演算を行うことで、Ｒ００、Ｇ００、Ｇ１０、Ｂ１０エリアでの肌色判定の最終結果になる。
続いて、Ｂ１０とＧ１１で、Ｇ１１の読み出し時刻にて肌色判定が行われる。なお、Ｂ１０は、フリップフロップ２６で１クロック遅延した値を用いる。判定結果は、図５中のＣ１２であり、ＦＩＦＯメモリ２２７に書き込まれる。判定結果Ｃ１２は、同時刻にＦＩＦＯメモリ２２７から読み出された値Ｃ０２とＡＮＤゲート２２６で論理積演算を行うことにより、Ｇ００、Ｒ０１、Ｂ１０、Ｃ１１エリアでの肌色判定の最終結果になる。

次に、Ｇ１１とＢ１１が入力され、Ｂ１１の読み出し時刻にて肌色判定が行われる。なお、Ｇ１１は、フリップフロップ２５で１クロック遅延した値を用いる。判定結果は、図５中、Ｃ１３であり、ＦＩＦＯメモリ２２７に書き込まれる。判定結果Ｃ１３は、同時刻にＦＩＦＯメモリ２２７から読み出された値Ｃ０３とＡＮＤゲート２２６で論理積演算を行うことにより、Ｒ０１、Ｇ０１、Ｇ１１、Ｂ１１エリアでの肌色判定の最終結果になる。
こうして、肌色の判定結果であるセレクタ２３０の出力Ｙ（図５中の２３０Ｙ出力）が得られる。なお、図５中、２３０Ｙ出力が“Ｈｉｇｈ”の時において、ノイズ量がＫ倍される。

図１０は、本発明の他の実施形態を示すブロック図である。上記した肌色検出においては、ベイヤー画像データ４画素で判定を行うために肌色を過検出しやすい。ノイズ低減処理が要求されるケースは、人物画像等のポートレート写真に代表されるような肌色領域が１フレームの画角に対して支配的な場合である。従って、ここに示す実施形態では、１フレームの画像中にどの程度の肌色画素が含まれているかを判別し、この結果を用いてノイズ低減処理を行う。

以下に具体的に説明する。図１０において、符号８１はセレクタであり、入力されるベイヤー画像、もしくはフレームメモリ８６に蓄えられた１フレーム分のベイヤー画像を上位コントローラであるＣＰＵ８３からの信号Ｓ１で選択する。本実施形態では、Ｓ１が“Ｈｉｇｈ”の時に入力されるベイヤー画像を選択するものとする。符号８２は色相判定回路であり、ここで上記したベイヤー画像データ４画素から肌色判定結果を出力する。なお、色相判定回路８２は、図２の破線エリアで囲んだ領域相当の回路である。また、符号８４はセレクタであり、上記したセレクタ８１で選択された画像データ、もしくは当該画像データのノイズ低減結果（ノイズ低減回路（ＮＲ回路）８７の出力）を選択する。本実施形態では、Ｓ１が“Ｈｉｇｈ”の時にセレクタ８１を介して入力されるベイヤー画像を選択するものとする。
符号８５は、色相判定回路８２により検出された肌色判定結果をカウントするカウンタである。図２中のセレクタ２３０の出力であるＹが“Ｈｉｇｈ”の期間において画像転送クロック毎に１インクリメントする。符号８７はノイズ低減回路（ＮＲ回路）である。

上記構成において、先ず、１フレーム分のベイヤー画像がセレクタ８１および８４を経て、フレームメモリ８６に蓄積される。この画像データの蓄積と並行して、色相判定回路８２により肌色検出が行われると共に、カウンタ８５で肌色検出結果のカウントが行われる。このとき、ＣＰＵ８３からの選択信号Ｓ１は、“Ｈｉｇｈ”である。
ＣＰＵ８３は、カウンタ値を、１フレーム分のベイヤー画像データがフレームメモリ８６へ蓄積された時点で読み込む。カウンタ値が所望の値より大きい場合、ＣＰＵ８３は、画像データの肌色が支配的であると判断し、選択信号Ｓ２を“Ｈｉｇｈ”にする。次に、ＣＰＵ８３は、選択信号Ｓ１を“Ｌｏｗ”にすることで、フレームメモリ８６に蓄積された画像データをノイズ低減回路８７に送る。このノイズ低減回路８７でノイズ低減処理が実行された結果の画像データは再び、フレームメモリ８６に蓄積される。

なお、カウンタ８５によるカウント値が所望の値より小さい場合、ＣＰＵ８３は、画像データは肌色が支配的でないと判断し、選択信号Ｓ２を“Ｌｏｗ”にする。このＳ２の信号は、図２中のセレクタ２３２のセレクト信号（セレクタ２３０の出力Ｙ）をマスクする。
このように制御することで、乗算係数設定回路２２８のゲインＫがノイズ量に乗算されることなく肌色領域外のノイズ低減処理が１フレーム全てに渡って実行される。

図１１は、図１および図２に示した画像処理装置を画像機器としての電子カメラへ適用した場合の実施形態を示すブロック図である。
図１１において、符号９１はＣＣＤ等の撮像素子である。また、符号９２は、撮像素子９１から得られたアナログ画像データをベイヤーの画像データに変換するＡ／Ｄ回路である。符号９３は上記したノイズ低減装置である。符号９４は、本発明によりノイズ低減された後のベイヤー画像データをＲＧＢに３板化する回路である。符号９５は、ＲＧＢ９４で３板化されたデータに対して色調整を実施する色補正回路であり、符号９６は、画像データをメディアへ記録するための記録回路である。また、符号９８は、画像データをＣＲＴ等の表示装置に表示出力するための表示回路である。符号９７は、上記した各ブロック９３〜９６ならびに表示装回路９８を制御する上位コントローラである。

図１２、図１３は、本発明による特定色の判定処理をソフトウェアで実現する場合の処理の流れをフローチャートで示した図である。
以下に、処理の流れを説明する。まず、ベイヤー水平方向の画素カウント値ｉと垂直方向画素カウント値ｊをクリアする（Ｓ１３２）。続いて、レジスタＬ０に特定色のＲ軸判定用の下限値Ｒｌを代入し、レジスタＨ０に特定色のＲ軸判定用の上限値Ｒｈを代入する。また、レジスタＬ１に特定色のＧ軸判定用の下限値Ｇ１を代入し、レジスタＨ１に特定色のＧ軸判定用の上限値Ｇｈを代入する（Ｓ１３３）。

次に、ｊ値がＶｍａｘ値と比較され（Ｓ１３４）、ここで、Ｊ値がＶｍａｘを超えていたら１フレームの判別処理は終了する。否の場合、任意の１ピクセル分のベイヤー画像データＤ[ｉ]が、Ｒ軸判定用の下限値Ｒｌと上限値Ｒｈの領域内（もしくはＧ軸判定用の下限値Ｇｌと上限値Ｇｈの領域内）に存在するかを判定する（Ｓ１３５）。続いて、ベイヤー画像データに隣接するデータＤ[ｉ＋１]が、Ｇ軸判定用の下限値Ｇlと上限値Ｇｈの領域内（もしくはＲ軸判定用の下限値Ｒｌと上限値Ｒｈの領域内）に存在するか否かを判定する（Ｓ１３６）。
Ｓ１３５、Ｓ１３６の判定結果が共に領域内のときのみ、判定結果レジスタＤＥＴ０［ｉ＋１］に“１”が書き込まれ（Ｓ１３７）、Ｓ１３５、Ｓ１３６のいずれかの判定結果が領域外ならば、判定結果レジスタＤＥＴ０［ｉ＋１］に“０”が書き込まれる（Ｓ１３８）。続いて、ｊ値が０のときは（Ｓ１３９でＹＥＳ）、Ｓ１４１に進み、０でないときは（Ｓ１３９でＮＯ）、Ｓ１３７もしくはＳ１３８で得られた、隣接画素による、特定色判定結果と、垂直方向に１行前の隣接画素による特定色判定結果との論理積演算を実行し、最終的な特定色判定結果としてＤＥＴ［ｉ＋１］に格納する（Ｓ１４０）。続いて、ｉ値がＨｍａｘ値と比較され（Ｓ１４１）、ベイヤー画像データの水平方向の終了を判定する。

ここで未だ終了していない場合は、ベイヤー水平方向の画素カウント値ｉを＋１更新する（Ｓ１４２）。終了した場合は、ベイヤー水平方向の画素カウント値ｉをクリアし、垂直方向画素カウント値ｊを＋１更新する。更に、水平方向の判定結果レジスタＤＥＴ０［ｉ］（ｉ＝１，・・・，Ｈｍａｘ−１）をＤＥＴ１［ｉ］（ｉ＝１，・・・，Ｈｍａｘ−１）にコピーする（図１３、Ｓ１４３）。続いて、垂直方向画素カウント値ｊが奇数か偶数かを判定し（Ｓ１４４）、奇数の場合は、レジスタＬ０に特定色のＧ軸判定用の下限値Ｇｌを代入し、レジスタＨ０にＧ軸判定用の上限値Ｇｈを代入する。また、レジスタＬ１に特定色のＢ軸判定用の下限値Ｂｌを代入し、レジスタＨ１に特定色のＢ軸判定用の上限値Ｂｈを代入する（Ｓ１４５）。一方、Ｓ１４４による判定が偶数の場合は、レジスタＬ０に特定色のＲ軸判定用の下限値Ｒｌを代入し、レジスタＨ０に特定色のＲ軸判定用の上限値Ｒｈを代入する。また、レジスタＬ１に特定色のＧ軸判定用の下限値Ｇｌを代入し、レジスタＨ１に特定色のＧ軸判定用の上限値Ｇｈを代入する（Ｓ１４６）。

以上説明したように本実施形態によれば、撮像素子からの出力信号を量子化して得られる画像信号に対し、判定領域に属する複数のカラーフィルタに対応する各画像信号から、判定領域が特定の色領域に属しているか否かを判定する。そして、当該判定結果に基づき、特定色領域に属する画像信号に対する第１のノイズ低減処理と、特定色領域とは異なる色領域に属する画像信号に対する第２のノイズ低減処理とのいずれか一方を選択して実行する。これにより、ハードウェア規模の削減を図りながら高い画質の画像データを得ることが可能な画像処理装置、及び電子カメラをはじめとする各種画像機器を提供することができる。また、ハードウェア規模が削減されたことによる省電力化、ならびにフィルタ演算に要する負荷が軽減されることからスループットの向上が図れ、リアルタイム応答が可能になる。

また、ベイヤー配列のカラー画像データを入力として画像処理を行うために、赤及び緑の画像データが配列された領域に対応する画像データから、判定領域が特定色領域に属しているか否かを仮判定し、緑及び青の画像データが配列された領域に対応する画像信号と仮判定結果とから色判定を行う画像処理装置における色判定方法を提供することが可能となる。このことにより、色判定が容易になり、画像処理装置にかかる演算負荷が軽減される。
なお、本実施形態においては、特定色領域として人物の肌色を判定することを例に挙げて説明したが、他に、空の青、植物の緑等についても同様に応用が可能である。また、本実施形態では、ハードウェアにより実現する方法とソフトウェアにより実現する方法について説明したが、一部をハードウェア又はソフトウェアで実現しても同様の効果が得られる。

本発明の一実施形態を示すブロック図である。 図１の詳細を示す回路構成図である。 図１に示すノイズテーブルの内容を説明するために引用した図である。 画像データの配列の一例を示す図である。 図２に示す本発明実施形態の動作タイミングチャートである。 本発明実施形態の動作を表形式で示した図である。 本発明実施形態の動作を表形式で示した図である。 本発明実施形態の動作を表形式で示した図である。 肌色領域を説明するために引用した図である。 本発明の他の実施形態を示すブロック図である。 本発明の画像機器の構成例を示す図である。 本発明をソフトウェアで実現する場合の処理フローチャートである。 本発明をソフトウェアで実現する場合の処理フローチャートである。 従来例を示すブロック図である。

符号の説明

１１…色相判定回路（色判定手段）、１２…ノイズテーブル（ノイズ低減処理手段）、１３…乗算係数選択回路（ノイズ低減処理手段）、１４…乗算器（ノイズ低減処理手段）、１５…減算器（ノイズ低減処理手段）。

Claims (7)

1. 色属性の異なる複数のカラーフィルタを所定の配列でマトリクス状に配列して形成されたフィルタが受光面に貼付された撮像素子からの出力信号を量子化して得られる画像信号に対し、判定領域に属する複数の前記カラーフィルタに対応する各画像信号から、前記判定領域が特定の色領域に属しているか否かを判定する色判定手段と、
   前記色判定手段による判定結果に基づき、前記特定色領域に属する画像信号に対する第１のノイズ低減処理と、前記特定色領域とは異なる色領域に属する画像信号に対する第２のノイズ低減処理とのいずれか一方を選択して実行するノイズ低減処理手段と、
   を具備することを特徴とする画像処理装置。
2. 前記色判定手段は、
   前記フィルタが有する赤及び緑のカラーフィルタ、或いは緑及び青のカラーフィルタ、のいずれか一方のカラーフィルタが配列された領域に対応する画像信号から、前記判定領域が前記特定色領域に属しているか否かを仮決定してその結果を記憶し、前記フィルタが有する他方のフィルタが配列された領域に対応する画像信号と前記仮決定結果とから前記判定を行う予測手段を具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ低減手段は、
   前記第１のノイズ低減処理として、前記画像信号に対応するノイズ量に所定のゲインを乗じた値を画像信号から減算することを特徴とする請求項１に記載の画像処理装置。
4. 前記色判定手段は、
   前記特定色領域として肌色を判定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記ノイズ低減手段は、
   前記色判定手段の判定結果を１フレーム分記憶する記憶手段から読み取られた前記判定結果に基づき、前記特定色領域とされた領域に対して前記第１のノイズ低減処理を行うか否かを判定することを特徴とする請求項１または３に記載の画像処理装置。
6. 赤、緑及び青の３刺激値に対応したベイヤー配列のカラー画像データを入力として画像処理を行う画像処理装置における色判定方法であって、
   前記赤及び緑の画像データ、或いは緑及び青の画像データ、のいずれか一方の画像データが配列された領域に対応する前記カラー画像データから、判定領域が特定色領域に属しているか否かを仮判定してその結果を記憶する過程と、
   他方の画像データが配列された領域に対応する画像信号と前記仮判定結果とから色判定を行う過程と、
   を有することを特徴とする色判定方法。
7. 色属性の異なる複数のカラーフィルタを所定の配列でマトリクス状に配列して形成されたフィルタが受光面に貼付された撮像素子からの出力信号を量子化して得られる画像信号に対して、判定領域に属する複数の前記カラーフィルタに対応する各画像信号から、この判定領域が特定の色領域に属しているか否かを判定する色判定手段と、前記色判定手段による判定結果に基づき、前記特定色領域に属する画像信号に対する第１のノイズ低減処理と、前記特定色領域とは異なる色領域に属する画像信号に対する第２のノイズ低減処理とのいずれか一方を選択して実行するノイズ低減処理手段とを備えた画像処理装置、
   を具備することを特徴とする画像機器。
   
   

Images