JP2011151739A - 画像処理装置 - Google Patents

Abstract

【課題】被写体画像の彩度の検出精度を向上して、低彩度領域における偽色の抑圧と、高彩度領域における「色抜け」の発生の抑制性能を向上して、より自然な画像を再現する。
【解決手段】
撮像部２の撮像素子は、ベイヤー配列のカラーフィルタを有し、補間手段６により撮像素子から入力した各画素の画像信号に対して、近傍の画素の画像信号を用いて補間処理を行い、各画素についてＲ、Ｇ、Ｂの画像信号を取得する。高周波成分抽出手段７は、Ｇ信号から高周波成分を抽出し、偽色低減色信号生成手段８は、各画素について偽色の影響が低減された偽色低減色信号（Ｒ＋Ｂ−２Ｇ）を求め、彩度信号生成手段９が偽色低減色信号の絶対値である彩度信号を生成する。抑圧手段１０は、高周波成分抽出手段７により抽出された高周波成分と彩度信号生成手段９により生成された画素ごとの彩度信号に基づき、偽色の抑圧を行う。
【選択図】図１

Description

本発明は、デジタルカメラや顕微鏡等に用いられる画像処理装置に関する。

従来、デジタルカメラやビデオカメラでは、撮像素子としてＣＣＤ（Charge Coupled Device）が用いられている。ＣＣＤは、多数の光電変換素子を例えば格子状に配置した構造を有する。これらの光電変換素子は、光を受光するとその強度に応じた電荷を発生し、これを順次読み出すことによって、被写体の画像を電気信号に変換することができる。

一方、ＣＣＤを用いてカラー画像を得るためには、複数の原色成分を含むカラーフィルタを撮像素子の受光面側に設け、各光電変換素子に所定の原色成分の光を入射させ、各画素に対応する色成分の画像信号を取得する。このとき用いられるフィルタとしては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色フィルタを用いたベイヤー配列のものが良く知られている。

ベイヤー配列のフィルタを用いた撮像素子では、光電変換素子ごとにカラーフィルタに対応した色成分の信号のみが得られる。例えば、Ｒのフィルタに覆われた光電変換素子では、ＧおよびＢの信号は得られない。このため、各画素について光電変換素子から直接得ることのできない原色成分データは、当該原色成分を有する周辺画素の原色成分データから、補間処理を行うことによって取得している。これによって、一つの撮像素子を用いて、各画素について被写体のカラー画像データを取得することが可能になる。

ところで、ベイヤー配列のフィルタを使用して撮像を行う場合、被写体画像に高周波の空間周波数成分が含まれる部分では、偽色が発生することが知られている。そこで、一般に高周波成分を有する領域では、色差を減じて彩度を抑圧し、偽色を目立たなくさせる処理が行われる。しかしながら、彩度を抑圧すると、いわゆる「色抜け」が発生するという問題が生じる。特に、高彩度領域における「色抜け」は、視覚的に目立ちやすく撮像画像を不自然にする。

このため、高彩度部の色抜けを低減しつつ、低彩度部の偽色を抑圧する技術が開示されている（例えば、引用文献１参照）。引用文献１によれば、三原色成分を持つ色空間の画像信号を、輝度信号Ｙと色差信号Ｃｒ（＝Ｒ−Ｙ）、Ｃｂ（＝Ｂ−Ｙ）とを持つＹＣｂＣｒ色空間の画像信号に変換する（Ｒ、Ｂはそれぞれ赤色成分、青色成分の画像信号を表す）。そして、輝度信号Ｙに基づいて、各画像近傍における輝度信号の高周波成分の含有程度を検出し、また、色差信号Ｃｂ、Ｃｒに基づいて彩度を求め低彩度領域を検出する。これにより、検出された低彩度領域内の画素については、高周波成分の含有程度に応じた色差信号の抑圧を行う一方、高彩度領域内の画素については、色差信号の抑圧を行わない（あるいは、抑制する）ようにしている。

特許第３６３３５６１号公報

しかしながら、従来技術では、低彩度エリアを検出する際に使用する色成分信号自体に偽色が含まれているため、低彩度エリアの検出が不正確になり、低彩度部の偽色の抑圧が不充分になるという問題点がある。たとえば、引用文献１に開示された発明では、色差信号Ｃｒ、Ｃｂの絶対値の和を求めることにより彩度を求めている。しかしながら、この信号には偽色成分（Ｒ−Ｂ）が含まれているため、画像に高周波成分が多く含まれていると、本来低彩度エリアであっても、低彩度エリアとして検出されないという問題点が生じる。この結果、偽色が目立ちやすい低彩度エリアでの偽色抑圧が充分に行われなくなり、画質の低下が懸念される。

したがって、これらの点に着目してなされた本発明の目的は、被写体画像の低彩度領域の検出精度を向上させて、低彩度領域における偽色の抑圧と、高彩度領域における「色抜け」の発生の抑制性能を向上させることにより、より自然な画像を再現することができる画像処理装置を提供することにある。

上記目的を達成する請求項１に係る画像処理装置の発明は、
複数の原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する複数種の光電変換素子が、画素ごとに所定の配列規則に従って配置された撮像素子からの画像信号を処理する画像処理装置であって、
前記撮像素子は、ものであり、
前記撮像素子から入力した各画素の画像信号に対して、近傍の画素の画像信号を用いて補間処理を行い、各画素について複数の原色成分の画像信号を取得する補間手段と、
前記撮像素子から入力した画像信号に含まれる高周波成分を抽出する高周波成分抽出手段と、
前記各画素について複数の原色成分の画像信号から、偽色の影響が低減された偽色低減色信号を求める偽色低減色信号生成手段と、
前記偽色低減色信号の信号値に基づいて、各画素について彩度信号を生成する彩度信号生成手段と、
前記彩度信号と前記高周波成分とに基づいて、前記各画素について複数の原色成分の画像信号に含まれる偽色を抑圧する抑圧手段と、
を備えることを特徴とするものである。

請求項２に係る発明は、請求項１に記載の画像処理装置において、
前記撮像素子は、原色成分Ｒ、Ｇ、Ｂをベイヤー配列して成り、前記偽色低減色信号生成手段は、偽色低減色信号として（Ｒ＋Ｂ）成分を生成することを特徴とする
ものである。

上記目的を達成する請求項３に係る画像処理装置の発明は、
複数の原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する複数種の光電変換素子が、画素ごとに所定の配列規則に従って配置された撮像素子からの画像信号を処理する画像処理装置であって、
前記撮像素子から入力した各画素の画像信号に対して、近傍の画素の画像信号を用いて補間処理を行い、各画素について複数の原色成分の画像信号を取得する補間手段と、
前記各画素について前記補間手段により取得された複数の原色成分の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換する色空間変換手段と、
前記前記輝度成分の信号値に基づいて、各画素における輝度成分の信号値の高周波成分を抽出する高周波成分抽出手段と、
前記前記色成分の信号値に基づいて、各画素において、偽色の影響が低減された偽色低減色信号を求める偽色低減色信号生成手段と、
前記偽色低減色信号の信号値に基づいて、各画素において彩度信号を生成する彩度信号生成手段と、
前記彩度信号と前記高周波成分とに基づいて、前記色成分の信号値を抑圧する抑圧手段と、
を備えることを特徴とするものである。

請求項４に係る発明は、請求項３に記載の画像処理装置において、
前記撮像素子は、原色成分Ｒ、Ｇ、Ｂをベイヤー配列して成り、輝度と色成分とを持つ色空間がＹＣｂＣｒ空間であり、偽色低減色信号として、Ｃｂ成分とＣｒ成分との線形和を生成することを特徴とするものである。

本発明によれば、各画素について複数の原色成分の画像信号から、偽色の影響が低減された偽色低減色信号を求め、これに基づいて、各画素について彩度信号を生成するようにしたので、被写体の彩度の検出精度を向上して、低彩度領域における偽色の抑圧と、高彩度領域における「色抜け」の発生の抑制性能を向上して、より自然な画像を再現することができる。

本発明の第１実施の形態に係る画像処理装置を搭載したデジタルカメラの概略構成を示すブロック図である。 撮像部の撮像素子に用いられるカラーフィルタの原色ベイヤー配列を示す図である。 第１実施の形態に係るデジタルカメラの信号処理部のより詳細な構成を示すブロック図である。 水平垂直ハイパスフィルタ（ＨＰＦ）の周波数特性を示す図である。 原色ベイヤー配列画像信号のスペクトルを示す図である。 エッジクロマキラー設定ＬＵＴの高周波成分強度Ｓｈｆの入力値と偽色抑制量Ｓｕｐの出力値との関係を示すグラフである。 クロマキラー調整回路における彩度信号Ｓａｔの入力値と偽色抑圧調整値ｋの出力値との関係を示すグラフである。 本発明の第２実施の形態に係る画像処理装置を搭載した顕微鏡の概略構成を示す図である。 本発明の第３実施の形態に係る画像処理装置を搭載したデジタルカメラの概略構成を示すブロック図である。 第３実施に係るデジタルカメラの信号処理部のより詳細な構成を示すブロック図である。 本発明の第４実施の形態に係る画像処理装置におけるコンピュータプログラムによる画像処理手順を示すフローチャートである。 低彩度エリアの抽出処理を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１実施の形態）
まず、本発明に係る画像処理装置の第１実施の形態について説明する。本実施の形態は、本発明に係る画像処理装置をデジタルカメラに適用した例である。図１は、第１実施の形態に係る画像処理装置を搭載したデジタルカメラの概略構成を示すブロック図である。本実施の形態は、低彩度エリアを検出する際に使用する偽色低減色信号生成手段を有し、この低彩度エリアの色成分信号に対して偽色低減処理を行うことに特徴を有する。

図１のデジタルカメラは、光学系１、撮像部２、本願の画像処理装置に対応する信号処理部３、出力部４および制御部５を含んで構成される。ここで、光学系１は、図示しない撮像レンズ、絞り、シャッターを備え、撮像部２は、図示しない撮像素子、アナログ増幅器、Ａ／Ｄ変換器およびバッファを備える。信号処理部３は、撮像部２から入力された画像情報に対して、偽色抑圧処理を行う他、偽色抑圧処理を行った画像情報に対して、階調調整処理や色調整処理などを行う図示しない色調整部を備える。出力部４は、信号処理部３から出力された出力画像を表示する図示しない液晶ディスプレイ、出力画像を圧縮する図示しないデータ圧縮部、圧縮された出力画像を格納する図示しないメモリーカード等を備える。制御部５は、光学系１、撮像部２、信号処理部３および出力部４の各部と相互に接続され各部の制御を行う図示しないＣＰＵや、ユーザーからの操作を受け付ける図示しない操作ボタン等を有する。

撮像部２の撮像素子には、各光電変換素子の受光面に各１つのカラーフィルタが配置されるように、原色ベイヤー配列のフィルタが設けられている。このフィルタは、図２に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のカラーフィルタをマトリクス状に２次元配列したものであり、左上から右下へＲ−Ｇ−Ｇ−Ｂの順に配置した２×２画素のフィルタを、縦横方向に繰り返し配列した構成となっている。

また、信号処理部３は、補間手段６、高周波成分抽出手段７、偽色低減色信号生成手段８、彩度信号生成手段９、抑圧手段１０を含んで構成される。

補間手段６は、撮像部２から入力された各画素の画像信号に対して、近傍の画素の画像信号を用いて補間処理を行い、各画素についてＲ、Ｇ、Ｂそれぞれの原色成分の画像信号を取得する。例えば、光電変換素子によりＲ成分の画像信号が得られる画素については、Ｇ成分およびＢ成分を、それぞれ、近傍の光電変換素子により得られたＧ成分およびＢ成分の信号値を用いて補間処理を行うことによって取得する。

また、高周波成分抽出手段７は、撮像部２から入力された画像信号に含まれる高周波成分を抽出する。具体的には、補間処理前のＧ成分の信号を用いて高周波成分の抽出を行う。

さらに、偽色低減色信号生成手段８は、各画素について補間手段６から入力された複数の原色成分の画像信号から、偽色の影響が低減された偽色低減色信号を算出して出力する。彩度信号生成手段９は、偽色低減色信号生成手段８から出力された偽色低減色信号の信号値に基づいて、各画素について彩度信号を生成する。

抑圧手段１０は、彩度信号生成手段９から入力された彩度信号と高周波成分抽出手段７から入力された高周波成分とに基づいて、補間手段６から入力された各画素の画像信号について複数の原色成分の画像信号に含まれる偽色を抑圧する。

次に、図３を用いて信号処理部３をより詳細に説明する。図３は、第１実施の形態に係るデジタルカメラの信号処理部のより詳細な構成を示すブロック図である。

信号処理部３は、ホワイトバランス回路（ＷＢ回路）１０１、補間手段である補間回路１０２、偽色抑圧部１０４、エッジ強調処理部１０５、３×３色差マトリックス回路１０６、バッファ１０７、色調整回路１０８を含んで構成される。

また、偽色抑圧部１０４は、水平垂直ハイパスフィルタ（ＨＰＦ）１１１、エッジクロマキラー設定ルックアップテーブル（ＬＵＴ）１１２、加算器１１４、積算器１１５、絶対値回路１１６、クロマキラー調整回路１１７および偽色抑制回路１１８を含んで構成される。ここで、水平垂直ＨＰＦ１１１とエッジクロマキラー設定ＬＵＴ１１２とは、高周波成分抽出手段７を構成し、加算器１１４と積算器１１５とは、偽色低減色信号生成手段８を構成し、絶対値回路１１６は、彩度信号生成手段９を構成し、クロマキラー調整回路１１７と、偽色抑圧回路１１８とは、抑圧手段１０を構成する。

さらに、エッジ強調処理部１０５は、ローパスフィルタ（ＬＰＦ）１２１、ハイパスフィルタ（ＨＰＦ）１２２、エッジ強調回路１２３およびエッジ加算器１２４を含んで構成される。

以上のような構成によって、シャッターボタンが押されると、図１に示す制御部５の制御に基づいて、光学系１の撮像レンズ、絞り、シャッターが駆動される。さらに、撮像部２が駆動され、光学系１により結像された被写体像は、撮像部２の撮像素子により光電変換され、アナログ増幅、Ａ／Ｄ変換されて、デジタル化された画像データが撮像部２内のバッファに一時保存される。本実施の形態では、原色ベイヤー配列の撮像素子を用いているので、得られた画像データは、各画素にＲ、Ｇ、Ｂのいずれか一色のデータがモザイク状に配置されたデータとなっている。

続いて、信号処理部３が、撮像部２のバッファから画像データを読み出して処理を行う。画像処理部での処理を、図３を参照して説明する。以下各部での処理は、画素ごとに、適宜周囲の画素のデータも用いて行われる。

撮像部２から読み出された画像データは、ＷＢ回路１０１に入力される。ＷＢ回路１０１は、制御部５により算出されたホワイトバランス補正係数に基づいて、入力画像データのＲ信号、Ｂ信号のゲインを調整し、ホワイトバランスを調整する。

補間回路１０２は、ＷＢ回路１０１より出力した画像データのＲ信号、Ｇ信号、Ｂ信号に、別個に補間フィルタをかけることにより、各画素の欠落した色信号成分を生成する。

エッジ強調処理部１０５において、ＨＰＦ１２２は、補間回路１０２から出力されたＧ信号の高周波成分を抽出する。エッジ強調回路１２３は、ＨＰＦ１２２から出力されたＧ信号の高周波成分のゲインを調整して、画像のエッジ強調処理を行う。一方、ＬＰＦ１２１は、補間回路１０２から出力されたＧ信号の低周波成分を抽出する。エッジ加算器１２４は、ＬＰＦ１２１から出力されたＧ信号の低周波成分に、エッジ強調回路１２３から出力されたエッジ強調されたＧ信号の高周波成分を加算して、エッジ強調されたＧ信号を出力する。

偽色抑圧部１０４の水平垂直ＨＰＦ１１１は、ＷＢ回路２から出力されたベイヤーＧ信号に対して、図４に示す周波数特性のハイパスフィルタをかけることにより、水平および垂直のナイキスト周波数近傍の高周波成分を抽出する。図４において、Ｆｈ、Ｆｖの座標軸はそれぞれ水平および垂直方向の周波数を示し、画素ピッチに対応する空間周波数を１としている。

ここで、図５を用いて、原色ベイヤー配列画像信号の周波数スペクトルについて説明する。原色ベイヤー配列では、水平、垂直のナイキスト周波数の位置にＲ−Ｂのエイリアス成分が、斜めのナイキスト周波数の２倍の位置にＲ＋Ｂ−２×Ｇのエイリアス成分が発生する。この信号に対して、各画素の欠落した色成分信号を生成するため、補間フィルタを適用すると、水平、垂直のナイキスト周波数の位置に発生しているＲ−Ｂのエイリアスも抽出してしまうため、偽色が発生する。そこで、本実施の形態では、画像信号に水平および垂直のナイキスト周波数近傍に高周波成分が含まれている場合に発生するＲ−Ｂの偽色の有無を、水平、垂直のナイキスト周波数の位置にエイリアス成分が発生しないＧ信号を用いて、高周波成分を検出することにより推定する。水平垂直ＨＰＦ１１１は、検出した高周波成分の絶対値をとって、高周波成分強度Ｓｈｆを生成する。

水平垂直ＨＰＦ１１１で抽出した高周波成分Ｓｈｆは、エッジクロマキラー設定ＬＵＴ１１２に入力される。エッジクロマキラー設定ＬＵＴ１１２は、図６に示した高周波成分強度Ｓｈｆの入力値と偽色抑制量Ｓｕｐの出力値との関係を示すグラフに基づき、高周波成分Ｓｈｆを偽色抑制量Ｓｕｐに変換する。この結果、画像信号に含まれる高周波成分強度Ｓｈｆに基づいた偽色抑圧量Ｓｕｐが得られる。

低彩度部の検出に際して、色信号に含まれている偽色による誤差を小さくするためには、彩度信号の算出時にＲ−Ｂ成分が含まれないようにすれば良い。本実施の形態で対象としている、水平もしくは垂直の高周波を含む画像をベイヤー配列でサンプリングした場合の例として、白黒(R=G=B)の縦縞画像の場合を考える。ベイヤー配列の画像をG成分と(R+B)成分に分けると、両者の信号が同一となり、偽色の影響を受けない。そこで、加算器１１４でＲ＋Ｂ成分を生成し、元々エイリアス成分を含まないＧ成分と組み合わせて偽色低減色信号Ｃ（＝Ｒ＋Ｂ−２×Ｇ）を算出することにより、低彩度部の検出を正確に行うことができる。

具体的には、積算器１１５は、補間回路１０２から出力されたＧ信号のゲインを調整する。また、加算器１１４は、補間回路１０２から出力されたＲ信号、Ｂ信号を加算し、積算器１１５でゲイン調整されたＧ信号を減算する。この処理により、偽色低減色信号Ｃ（＝Ｒ＋Ｂ−２×Ｇ）が算出される。積算器１１５のゲインは２に設定したことによって、無彩色信号のとき彩度信号Ｃが０となる。

次に、絶対値回路１１６は、加算器１１４により出力された偽色低減色信号Ｃの絶対値を求めて、色成分信号の彩度に相当する彩度信号Ｓａｔを算出する。クロマキラー調整回路１１７は、エッジクロマキラー設定ＬＵＴ１１２より出力された偽色抑圧量Ｓｕｐ、および、絶対値回路１１６より出力された彩度信号Ｓａｔを入力として、修正偽色抑圧量Ｓｕｐ’を出力する。このＳｕｐ’の算出は、以下のように行う。

まず、図７に示すグラフに従うルックアップテーブルを用いて、彩度信号Ｓａｔを入力として偽色抑圧量調整値ｋを求める。偽色抑圧量調整値ｋは、彩度信号が小さい低彩度領域では１に近く、彩度信号が大きい高彩度領域では、１よりも小さい値となる。次に、偽色抑圧量調整値ｋを偽色抑圧量Ｓｕｐにかけることにより、修正偽色抑圧量Ｓｕｐ’（＝ｋ×Ｓｕｐ）を求める。

偽色抑圧回路１１８は、補間回路１０２から出力されたＲ信号およびＢ信号、並びに、クロマキラー調整回路１１７から出力された修正偽色抑圧量Ｓｕｐ’を入力とし、偽色が抑圧されたＲ信号およびＢ信号を出力する。Ｒ信号およびＢ信号に対する偽色の抑圧は、修正偽色抑圧量Ｓｕｐ’に基づいて、下記の式により行われる。これらの式に基づく処理は、Ｒ信号およびＢ信号それぞれに含まれる偽色成分（Ｒ−Ｂ）の量を、修正偽色抑圧量Ｓｕｐ’に従って低減する処理になっている。
Ｒ＝（Ｒ＋Ｂ）／２＋（１−Ｓｕｐ’）×（Ｒ−Ｂ）／２
Ｂ＝（Ｒ＋Ｂ）／２−（１−Ｓｕｐ’）×（Ｒ−Ｂ）／２
この結果、彩度信号Ｓａｔが小さい領域では、高周波成分強度Ｓｈｆに基づく偽色抑圧の効果が大きく、彩度信号Ｓａｔが大きい領域では、偽色抑圧効果が小さくなるように制御される。

３×３色差マトリックス回路１０６は、偽色抑圧回路１１８から出力された偽色が抑圧されたＲ信号、Ｂ信号およびエッジ加算器１２４から出力されたエッジ強調されたＧ信号を、ＹＣｂＣｒ表色系に変換して、輝度信号Ｙと色差信号Ｃｂ、Ｃｒとを生成する。これらの輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒは、バッファ１０７によって一時的に保持される。

さらに、出力部４がバッファ１０７のカラー画像を読み出し、データを圧縮した後、メモリーカードに記録する。また、画像を表示する場合は画像表示用のボタンが操作されると、制御部５の制御により、出力部４がバッファ１０７のカラー画像を読み出し、色調整回路１０８により、Ｙ信号に対する階調変換処理や、Ｃｂ信号、Ｃｒ信号に対する調整処理を行って、液晶ディスプレイに表示する。

以上説明したように、本実施の形態によれば、偽色の影響が低減された偽色低減色信号Ｃを求め、これに基づいて、各画素について彩度に相当する彩度信号Ｓａｔを生成し、彩度信号Ｓａｔが小さい領域では、高周波成分強度Ｓｈｆに基づく偽色抑圧の効果が大きくなるように制御し、彩度信号Ｓａｔが大きい領域では偽色の抑圧を抑制するようにしたので、被写体画像の彩度の検出精度を向上して、低彩度領域における偽色の抑圧と、高彩度領域における「色抜け」の発生の防止性能を向上して、より自然な画像を再現することができる。また、撮像素子にベイヤー配列のカラーフィルタフィルタを用い、偽色低減色信号Ｃとして、偽色の含まれない（Ｒ＋Ｂ）成分を生成するようにしたので、被写体画像の彩度の検出精度をより向上させ、より自然な画像を再現することができる。

（第２実施の形態）
次に、本発明に係る画像処理装置の第２実施の形態について説明する。本実施の形態は、第１実施の形態に係る画像処理装置と同様の画像処理装置を顕微鏡に搭載したものである。図８に、本発明の第２実施の形態に係る顕微鏡の概略構成を示す。

本実施の形態の顕微鏡２００は、照明光学系、観察光学系、試料台等を備えた顕微鏡本体２０１、撮像部２０２、信号処理部２０３、出力部２０４および制御部２０５を含んで構成されている。撮像部２０２、信号処理部２０３、出力部２０４および制御部２０５は、第１実施の形態の撮像部２、信号処理部３、出力部４および制御部５と略同様の構成、作用を有しているので、説明を省略する。

これによって、第１実施の形態と同様に、被写体画像の彩度の検出精度を向上して、低彩度領域における偽色の抑圧と、高彩度領域における「色抜け」の発生の防止性能を向上して、より自然な画像を再現することができる。

特に、細胞組織の顕微鏡観察の分野では、代表的な染色方法としてヘマトキシリン・エオジン染色（ＨＥ染色）が使用されている。このような染色方法を用いた標本を撮影して得られるＲＧＢ画像においては、高周波領域の偽色を抑圧し過ぎると、鮮明な色彩の染色画像が得られなくなる虞がある。このような染色方法では、（Ｒ−Ｂ）成分が比較的小さい傾向があるので、本実施の形態に係る彩度信号による低彩度エリアの検出が特に好適である。

（第３実施の形態）
次に、本発明に係る画像処理装置の第３実施の形態について説明する。本実施の形態は、第１実施の形態に係るデジタルカメラにおいて、信号処理部３における偽色の抑圧を各画素の原色成分の画像信号に対して行うのではなく、これらを他の色空間の画像信号に変換した信号に対して行うようにしたものである。図９は、本発明の第３実施にかかるデジタルカメラの概略構成を示すブロック図である。

本実施の形態の信号処理部３は、補間手段６、色空間変換手段１１、高周波成分抽出手段７’、偽色低減信号生成手段８’、彩度信号生成手段９’、抑圧手段１０’を含んで構成されている。

色空間変換手段１１は、補間手段６から出力された各画素の原色成分の画像信号を、異なる色空間の画像信号に変換する。高周波成分抽出手段７’、偽色低減信号生成手段８’、彩度信号生成手段９’および抑圧手段１０’は、色空間変換手段１１で変換された色空間の画像信号に対して、第１実施の形態における高周波成分抽出手段７、偽色低減信号生成手段８、彩度信号生成手段９および抑圧手段１０と同様な処理を行うように構成されている。その他の構成、すなわち、光学系１、撮像部２、補間手段６、出力部４および制御部５は、第１実施の形態と同様なので、同一参照符号を付して説明を省略する。

次に、図１０を用いて信号処理部３をより詳細に説明する。図１０は、第３実施の形態に係るデジタルカメラの信号処理部のより詳細な構成を示すブロック図である。

本実施の形態の信号処理部３は、ホワイトバランス回路（ＷＢ回路）１０１、補間回路１０２、３×３色差マトリックス回路３０６、偽色抑圧部３０４、エッジ強調処理部３０５、バッファ１０７および色調整回路１０８を含んで構成される。これらのうち、ホワイトバランス回路（ＷＢ回路）１０１、補間回路１０２、バッファ１０７および色調整回路１０８は、第１実施の形態と同様の構成、作用を有するので、同一構成要素には同一符号を付して説明を省略する。

３×３色差マトリックス回路３０６は、補間回路１０２の後段に設けられ、ＲＧＢ信号をＹＣｂＣｒ表色系の輝度信号であるＹ信号および色差信号であるＣｂ信号、Ｃｒ信号に変換する。

偽色抑圧部３０４は、エッジクロマキラー設定ＬＵＴ３１１、加算器３１２、積算器３１３、絶対値回路３１４、マスキング回路３１５、Ｃｂ積算器３１６およびＣｒ積分器３１７を含んで構成される。ここで、エッジクロマキラー設定ＬＵＴ３１１は、高周波成分抽出手段７’を構成し、加算器３１２と積算器３１３とは、偽色低減色信号生成手段８’を構成し、絶対値回路３１４は、彩度信号生成手段９’を構成し、マスキング回路３１５、Ｃｂ積算器３１６およびＣｒ積算器３１７は、抑圧手段１０’を構成する。

さらに、エッジ強調処理部３０５は、ローパスフィルタ（ＬＰＦ）３２１、ハイパスフィルタ（ＨＰＦ）３２２、エッジ強調回路３２３およびエッジ加算器３２４を含んで構成される。

エッジ強調処理部３０５において、ＨＰＦ３２２は、３×３色差マトリックス回路３０６から出力されたＹ信号の高周波成分を抽出する。エッジ強調回路３２３は、ＨＰＦ３２２から出力されたＹ信号の高周波成分のゲインを調整して、画像のエッジ強調処理を行う。一方、ＬＰＦ３２１は、３×３色差マトリックス回路３０６から出力されたＹ信号の低周波成分を抽出する。エッジ加算器３２４は、ＬＰＦ３２１から出力されたＹ信号の低周波成分に、エッジ強調回路３２３から出力されたエッジ強調されたＹ信号の高周波成分を加算して、エッジ強調されたＹ信号を出力する。

偽色抑圧部１０４のエッジクロマキラー設定ＬＵＴ３１１は、ＨＰＦ３２２から出力されたＹ信号の高周波成分の絶対値を取り高周波成分強度Ｓｈｆとする。この高周波成分強度Ｓｈｆは、第１実施の形態のエッジクロマキラー設定ＬＵＴ１１２と同様の方法に基づいて、偽色抑圧量Ｓｕｐに変換される。

積算器３１３は、３×３色差マトリックス回路３０６から出力されたＣｂ信号と制御部５により設定された調整係数ｋＣｂとを積算する。加算器３１２は、３×３色差マトリックス回路３０６から出力されたＣｒ信号と積算器３１３から出力された調整Ｃｂ信号（＝ｋＣｂ×Ｃｂ）とを加算して偽色低減色信号Ｃ（＝ｋＣｂ×Ｃｂ＋Ｃｒ）を生成して出力する。調整係数ｋＣｂは、以下のようにして設定される。

ＲＧＢ信号からＹＣｂＣｒ信号への変換は以下の式により行われる。
Ｙ ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝ ０．５×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
Ｃｂ＝−０．１６８×Ｒ−０．３３２×Ｇ ＋０．５×Ｂ

よって、逆変換は以下の式となる。
Ｒ＝Ｙ ＋１．４×Ｃｒ−０．０００９×Ｃｂ
Ｇ＝Ｙ −０．７１３×Ｃｒ −０．３４４×Ｃｂ
Ｂ＝Ｙ−０．００２８×Ｃｒ ＋１．７７×Ｃｂ

したがって、偽色低減色信号Ｃは、下記の式で算出できる。
Ｃ＝Ｒ＋Ｂ−２×Ｇ＝２．８３×Ｃｒ＋２．４６×Ｃｂ

以上から、積算器３１３に設定する調整係数ｋＣｂは以下のようにして求めることができる。
ｋＣｂ＝２．４６／２．８３＝０．８７

絶対値回路３１４は、加算器３１２から出力された偽色低減色信号Ｃの入力を受け、絶対値を求めて彩度信号Ｓａｔとして出力する。マスキング回路３１５は、エッジクロマキラー設定ＬＵＴ３１１より出力された偽色抑圧量Ｓｕｐを、絶対値回路３１４より出力された彩度信号Ｓａｔに応じて、修正偽色抑圧量Ｓｕｐ’に変換する。

マスキング回路３１５での変換処理は、以下のようにして行われる。彩度信号Ｓａｔが、制御部５により設定された閾値Ｓｔｈと比較される。彩度信号Ｓａｔが閾値Ｓｔｈより小さい場合には、修正偽色抑圧量Ｓｕｐ’を１とする。彩度信号Ｓａｔが閾値Ｓｔｈ以上の場合には、修正偽色抑圧量Ｓｕｐ’を
Ｓｕｐ’＝１−Ｓｕｐ×（Ｓａｔ−Ｓｔｈ）
とする。この結果低彩度エリアにおいては、高周波成分強度Ｓｈｆに応じた修正偽色抑圧量Ｓｕｐ’が生成され、高彩度エリアにおいては、高周波数成分強度Ｓｈｆの値にかかわらず一定の修正偽色抑圧量Ｓｕｐ’が生成される。

Ｃｂ積算器３１６は、３×３色差マトリックス回路３０６から出力されたＣｂ信号とマスキング回路３１５から出力された修正偽色抑圧量Ｓｕｐ’とを積算しＣｂ信号に含まれる偽色を抑圧する。Ｃｒ積算器３１７は、３×３色差マトリックス回路３０６から出力されたＣｒ信号とマスキング回路３１５から出力された修正偽色抑圧量Ｓｕｐ’とを積算しＣｒ信号に含まれる偽色を抑圧する。

Ｃｂ積算器３１６から出力された偽色を抑圧したＣｂ信号、Ｃｒ積算器３１７から出力された偽色を抑圧したＣｒ信号、および、エッジ加算器３２４から出力したエッジ強調されたＹ信号は、バッファ１０７に入力され一時的に保持される。その他の作用は、第１実施の形態と同様なので、説明を省略する。

上記のようにして偽色低減色信号Ｃを求めてから、彩度信号Ｓａｔ（＝ａｂｓ（Ｃ））を求めることにより、低彩度エリアの検出を行う際に、色信号に含まれる偽色の影響をなくすことできる。

ＹＣｂＣｒ信号を一旦ＲＧＢ信号に逆変換して偽色低減色信号Ｃを求めようとすると計算が複雑になるが、上記に示した処理方法であれば、加算器ひとつと積算器ひとつの簡単な構成で偽色低減色信号Ｃを求めることができる。

また、上記例では、調整係数ｋＣｂは１に近い値になっている。そこで、偽色低減色信号Ｃを下記の式により求めることにすれば、積算器３１３が不要になるので、より小さな回路規模で正確な低彩度エリアの検出ができる。
Ｃ＝Ｃｒ＋Ｃｂ

以上説明したように、本実施の形態によれば、原色成分の画像信号をＹＣｂＣｒ色空間の画像信号に変換し、輝度成分の信号値であるＹ信号から高周波成分を抽出し、色成分の信号値であるＣｂ、Ｃｒ信号から偽色の影響が低減された偽色低減色信号Ｃを求めこれに基づいて、各画素について彩度に相当する彩度信号を生成する。このようにして、抽出、生成した高周波成分と彩度信号とに基づいてＣｂ、Ｃｒ信号の信号値を抑圧するようにしたので、被写体画像の彩度の検出精度を向上して、低彩度領域における偽色の抑圧と、高彩度領域における「色抜け」の発生の防止性能を向上して、より自然な画像を再現することができる。また、偽色低減色信号をＣｂ信号とＣｒ信号との線形和により算出するようにしたので、簡単な回路構成で実現することができる。

なお、本実施の形態では、原色ベイヤー配列のカラーフィルタを用いて得られるＲＧＢ色空間の画像信号を所定のＹＣｂＣｒ信号に変換して処理する例を示したが、変換先のＹＣｂＣｒ色空間は、機器に応じて様々である。このため、変換先の色空間に応じた変換式に基づいて、偽色低減色信号Ｃを求める際の調整係数ｋＣｂを変えることが望ましい。すなわち、ＹＣｂＣｒ信号からＲＧＢ信号への変換式が、次式で表されるものとする。
Ｒ＝Ｙ＋ｋＣｒＲ×Ｃｒ＋ｋＣｂＲ×Ｃｂ
Ｇ＝Ｙ＋ｋＣｒＧ×Ｃｒ＋ｋＣｂＧ×Ｃｂ
Ｂ＝Ｙ＋ｋＣｒＢ×Ｃｒ＋ｋＣｂＢ×Ｃｂ
（ｋＣｒＲ，ｋＣｂＲ，ｋＣｒＧ，ｋＣｂＧ，ｋＣｒＢ，ｋＣｂＢは変換先の色空間に応じて定まる変換係数）
この場合、積算器３１３に設定する調整係数ｋＣｂは以下のようにして求めることができる。
ｋＣｂ＝（ｋＣｂＲ＋ｋＣｂＢ−２×ｋＣｂＧ）／（ｋＣｒＲ＋ｋＣｒＢ−２×ｋＣｒＧ）
そこで、予め変換先の色空間と調整係数ｋＣｂの組み合わせを求めて記憶しておき、変換先色空間の切り替えに応じて、調整係数ｋＣｂを切り替えるようにしても良い。

（第４実施の形態）
本実施の形態は、第３実施の形態においてハードウェア回路で行っていた信号処理部の画像処理を、コンピュータ上でソフトウエアプログラムによって行うものである。図１１は、コンピュータプログラムによる画像処理の手順を示すフローチャートである。また、図１２は、図１１のステップＳ５（色差信号Ｃｒ，Ｃｂに基づいて低彩度エリアを抽出）の処理の詳細を示すフローチャートである。

図１１に示すように、ソフトウエアプログラムによる処理は、まず、コンピュータが各画素についての、いずれかの原色成分の画像信号の入力を受け（ステップＳ１）、近傍画素の画像信号を用いて各画素についてＲＧＢ３原色成分を補間し（ステップＳ２）、これによって得られたＲＧＢ信号を輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに変換し（ステップＳ３）、輝度信号Ｙに基づいて高周波エリアを抽出し（ステップＳ４）、色差信号Ｃｂ，Ｃｒに基づいて、低彩度エリアを抽出し（ステップＳ５）、高周波エリア内かつ低彩度エリア内の画素について、色差信号Ｃｂ、Ｃｒを抑圧し（ステップＳ６）、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを出力する（ステップＳ７）。

ここで、ステップＳ５の低彩度エリアの抽出は、図１２に示すように、偽色低減色信号ＣをＣｒ＋ｋＣｂ×Ｃｂにより求め（ステップＳ５１）、その絶対値ＳａｔをＳａｔ＝ａｂｓ（Ｃ）によりＣの絶対値を求めて算出し（ステップＳ５２）、算出した彩度信号Ｓａｔに基づいて低彩度エリア以外をマスキング処理する（ステップＳ５３）ことによって行う。

本実施の形態によれば、画像処理装置をソフトウェアで実現したので、第３実施の形態の効果に加え、装置を小型で安価に構成することが可能になる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、撮像素子に用いるカラーフィルタとしては、ＲＧＢの３原色によるベイヤー配列に限られない。例えば、これ以外の色の組み合わせや、３色以上のフィルタを用いても良い。

１ 光学系
２ 撮像部
３ 信号処理部
４ 出力部
５ 制御部
６ 補間手段
７，７’ 高周波成分抽出手段
８，８’ 偽色低減色信号生成手段
９，９’ 彩度信号生成手段
１０，１０’ 抑圧手段
１１ 色空間変換手段
１０１ ＷＢ回路
１０２ 補間回路
１０４ 偽色抑圧部
１０５ エッジ強調処理部
１０６ ３×３色差マトリックス回路
１０７ バッファ
１０８ 色調整回路
１１１ 水平垂直ＨＰＦ
１１２ エッジクロマキラー設定ＬＵＴ
１１４ 加算器
１１５ 積算器
１１６ 絶対値回路
１１７ クロマキラー調整回路
１１８ 偽色抑圧回路
１２１ ＬＰＦ
１２２ ＨＰＦ
１２３ エッジ強調回路
１２４ エッジ加算器
２００ 顕微鏡
２０１ 顕微鏡光学系
２０２ 撮像部
２０３ 信号処理部
２０４ 出力部
２０５ 制御部
３０４ 偽色抑圧部
３０５ エッジ強調処理部
３０６ ３×３色差マトリックス回路
３１１ エッジクロマキラー設定ＬＵＴ
３１２ 加算器
３１３ 積算器
３１４ 絶対値回路
３１５ マスキング回路
３１６ Ｃｂ積算器
３１７ Ｃｒ積算器
３２１ ＬＰＦ
３２２ ＨＰＦ
３２３ エッジ強調回路
３２４ エッジ加算器

Claims (4)

1. 複数の原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する複数種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子からの画像信号を処理する画像処理装置であって、
   前記撮像素子は、ものであり、
   前記撮像素子から入力した各画素の画像信号に対して、近傍の画素の画像信号を用いて補間処理を行い、各画素について複数の原色成分の画像信号を取得する補間手段と、
   前記撮像素子から入力した画像信号に含まれる高周波成分を抽出する高周波成分抽出手段と、
   前記各画素について複数の原色成分の画像信号から、偽色の影響が低減された偽色低減色信号を求める偽色低減色信号生成手段と、
   前記偽色低減色信号の信号値に基づいて、各画素について彩度信号を生成する彩度信号生成手段と、
   前記彩度信号と前記高周波成分とに基づいて、前記各画素について複数の原色成分の画像信号に含まれる偽色を抑圧する抑圧手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮像素子は、原色成分Ｒ、Ｇ、Ｂをベイヤー配列して成り、前記偽色低減色信号生成手段は、偽色低減色信号として（Ｒ＋Ｂ）成分を生成することを特徴とする請求項１に記載の画像処理装置。
3. 複数の原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する複数種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子からの画像信号を処理する画像処理装置であって、
   前記撮像素子から入力した各画素の画像信号に対して、近傍の画素の画像信号を用いて補間処理を行い、各画素について複数の原色成分の画像信号を取得する補間手段と、
   前記各画素について前記補間手段により取得された複数の原色成分の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換する色空間変換手段と、
   前記前記輝度成分の信号値に基づいて、各画素における輝度成分の信号値の高周波成分を抽出する高周波成分抽出手段と、
   前記前記色成分の信号値に基づいて、各画素において、偽色の影響が低減された偽色低減色信号を求める偽色低減色信号生成手段と、
   前記偽色低減色信号の信号値に基づいて、各画素において彩度信号を生成する彩度信号生成手段と、
   前記彩度信号と前記高周波成分とに基づいて、前記色成分の信号値を抑圧する抑圧手段と、
   を備えることを特徴とする画像処理装置。
4. 前記撮像素子は、原色成分Ｒ、Ｇ、Ｂをベイヤー配列して成り、輝度と色成分とを持つ色空間がＹＣｂＣｒ空間であり、偽色低減色信号として、Ｃｂ成分とＣｒ成分との線形和を生成することを特徴とする請求項３に記載の画像処理装置。

Images