JP2002077645A

JP2002077645A - 画像処理装置

Info

Publication number: JP2002077645A
Application number: JP2000256515A
Authority: JP
Inventors: Shiyoubou Chiyou; 小▲忙▼ 張
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-08-25
Filing date: 2000-08-25
Publication date: 2002-03-15
Anticipated expiration: 2020-08-25
Also published as: JP4055927B2; US7116819B2; US20050249404A1; US20020039142A1

Abstract

(57)【要約】【課題】鮮鋭な画像を得る際に生じるノイズやジャギー
を防止する。【解決手段】画像処理装置に、低域輝度信号を生成する
ルートと並列に、中高域輝度成分ＹＨを抽出するルート
を設け、加算器８にて中高域輝度成分ＹＨを低域輝度信
号ＹＬに加えることにより、中高域輝度成分を補償す
る。これにより、従来よりも高い解像度の画像が得られ
ると同時に、鮮鋭な画像を得る際に生じるノイズやジャ
ギーも防止することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラ
（例えば電子スチルカメラ）などに搭載され、原色フィ
ルタを用いたＣＣＤエリアセンサにより撮像された画像
データを画像処理して高画質画像を得る画像処理装置に
関する。

【０００２】

【従来の技術】従来、デジタルカメラなどに用いられる
画像処理装置は、原色フィルタが配設されたＣＣＤエリ
アセンサから得た画像データを用いて、各色成分の補間
処理や輪郭強調処理などの一連の各種画像処理を行うこ
とにより高画質画像を得るものである。以下、図１３〜
図２１を用いて従来の画像処理装置について説明する。

【０００３】図１３は従来の画像処理装置の第１の構成
例を示すブロック図である。図１３において、画像処理
装置１００は、光学的なローパスフィルタ１０１と、原
色ＣＣＤエリアセンサ１０２と、ＲＧＢ補間手段１０３
と、ホワイトバランス調整手段１０４と、ガンマ補正手
段１０５と、シャープ処理手段（輪郭強調手段）１０６
とを有している。

【０００４】ローパスフィルタ１０１は、サンプリング
周波数ｆｓの１／２以上の周波数成分をカットするもの
である。即ち、サンプリング定理よりサンプリング周波
数ｆｓの１／２以上の周波数成分は、画像データを生成
したときに折り返しノイズとなる。この折り返しノイズ
を低減するために、ＣＣＤエリアセンサ１０２の前方に
光学的なローパスフィルタ１０１を設けている。

【０００５】原色ＣＣＤエリアセンサ１０２は、複数の
受光素子がマトリクス状に配列されて構成されている。
原色ＣＣＤエリアセンサ１０２の受光素子面側には３原
色（Ｒ，Ｇ，Ｂ）カラーフィルタが画素単位で配設され
ている。このカラーフィルタは、Ｒ，Ｇ，Ｂ色配列の１
種であるＢａｙｅｒ配列（図１４）となっている。

【０００６】ＲＧＢ補間手段１０３は、詳細に後述する
が、カラーフィルタのＲ、Ｇ、Ｂ色のうち各画素毎に１
種類の色成分しか得られず、残りの２種類の色成分（欠
落している各色成分）については、カラーフィルタで得
られた色成分の周りの同色の色成分から求めることによ
り、各画素毎のＲ，Ｇ，Ｂ色成分を全て得るようになっ
ている。

【０００７】ホワイトバランス調整手段１０４は、ＲＧ
Ｂ補間手段１０３で得た各画素毎のＲ，Ｇ，Ｂ色成分に
対して、画像の色合いを正しくするため、照明の色温度
に合せて白色を調節する処理を行うものである。

【０００８】ガンマ補正手段１０５は、ホワイトバラン
ス調整後のＲ，Ｇ，Ｂ成分に対して、画像を出力するデ
ィスプレイやプリンタの特性と一致させるための処理を
行うものである。

【０００９】シャープ処理手段１０６は、鮮鋭な画像を
得るために輪郭強調処理を行うものである。シャープ処
理とは、高域輝度成分強調フィルタリング処理によっ
て、失った高域輝度成分を補償する処理である。即ち、
ローパスフィルタ１０１を設けることによって、ＣＣＤ
画像データに高域輝度成分が少なくなっている。しか
も、補間処理によって、画素毎に欠落している各色成分
を、その画素周囲の同色の色成分から平均値を取るなど
して求めているため、その補間処理によって得た画像に
は高域輝度成分が更に少なくなっている。したがって、
鮮鋭な画像を得るには、失った高域輝度成分を高域輝度
成分強調フィルタリング処理によって補償することが不
可欠である。

【００１０】ここで、ＲＧＢ補間手段１０３による補間
処理について、以下、さらに詳細に説明する。

【００１１】単板式ＣＣＤエリアセンサ１０２の場合に
は、各画素毎にＲ、Ｇ、Ｂ色それぞれの色成分が揃うよ
うに、残りの２種類の色成分について補間処理を行い、
この補間処理で得られた色成分を含めたＲ、Ｇ、Ｂ色成
分によりカラー画像を作り上げている。

【００１２】つまり、３板式ＣＣＤカメラの場合には、
３枚のＣＣＤエリアセンサそれぞれに対して全面Ｒ色、
全面Ｇ色、全面Ｂ色のカラーフィルタがそれぞれ配設さ
れており、１つの画素に対してＲ、Ｇ、Ｂの各色成分が
同時に揃うため、補間処理の必要はないが、単板式ＣＣ
Ｄカメラの場合には、１枚のＣＣＤエリアセンサ１０２
の受光素子面側に、Ｒ、Ｇ、Ｂフィルタを規則的に配列
したカラーフィルタ（例えば図１４のＢａｙｅｒ配列）
が設けられており、１つの画素に対してＲ、Ｇ、Ｂ色の
うち揃っていない各色成分に対する補間処理が必要であ
る。このため、１枚のＣＣＤエリアセンサを搭載した単
板式ＣＣＤカメラの場合には、カラーフィルタの色成分
以外の色成分を各画素毎に種々の方法で作成している。

【００１３】従来の技術であるＵＳＰａｔｅｎｔ４
６０５９５６，４６４２６７８，４６３０３０７および
ＪａｍｅｓＥ．Ａｄａｍｓ，Ｊｒ．氏の論文”Ｉｎｔ
ｅｒａｃｔｉｏｎｓｂｅｔｗｅｅｎｃｏｌｏｒｐ
ｌａｎｅｉｎｔｅｒｐｏｌａｔｉｏｎａｎｄｏｔ
ｈｅｒｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｆｕｎｃ
ｔｉｏｎｓｉｎｅｌｅｃｔｒｏｎｉｃｐｈｏｔｏ
ｇｒａｐｈｙ”には、ジャギー（ＪａｇｇｙｏｒＺｉ
ｐｎｏｉｓｅ）の無い画像を作るために、色々な補間
方法が提案されている。なお、ジャギーとは各種ノイズ
のうちの一種類で、輪郭部に現れる階段状のノイズのこ
とである。

【００１４】ＵＳＰＰａｔｅｎｔ４６０５９５６で
は、例えば図１５の画素配列から得られる各色成分に式
（１）〜式（４）を用いて補間している（バイリニア補
間法）。図１４および図１５の各画素位置におけるＧ成
分とＢ成分の補間処理を以下に示す。

【００１５】Ｇ５＝（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４（１）Ｂ５＝（Ｂ１＋Ｂ３＋Ｂ７＋Ｂ９）／４（２）Ｂ２＝（Ｂ１＋Ｂ３）／２（３）Ｂ４＝（Ｂ１＋Ｂ７）／２（４）図１５に示すＢａｙｅｒ配列は、Ｒ、Ｇ、Ｂの各色が規
則的に配列されているため、図１５の例えば中央画素位
置Ｒ５に注目すると、カラーフィルタで欠落している各
色成分は、Ｇ５，Ｂ５である。Ｇ５は式（１）により得
られ、同様にして、Ｂ５は式（２）により得られる。

【００１６】また、Ｂ２は式（３）により得られ、Ｂ４
は式（４）により得られ、さらに、Ｂ６，Ｂ８の補間処
理も、隣接する上下または左右の平均値をとる式（３）
および式（４）と同様にして得られる。Ｒ２，Ｒ４，Ｒ
６，Ｒ８についても、Ｂ２，Ｂ４，Ｂ６，Ｂ８の場合と
同様に補間処理される。

【００１７】さらに、Ｇ１は、Ｂ１を中心とした周囲の
Ｇ成分の画像データから式（１）と同様にして得られ、
Ｇ３，Ｇ７，Ｇ９についても同様である。また、Ｒ１は
Ｂ１を中心とした周囲のＲ成分の画像データから式
（２）と同様にして得られ、Ｒ３，Ｒ７，Ｒ９について
も同様である。

【００１８】次に、特開平１０−１６４３７１号公報の
画像処理方法について図１６を参照して説明する。

【００１９】図１６は、従来の画像処理装置の第２の構
成例を示すブロック図である。図１６に示すように、画
像処理装置２００は、Ｂａｙｅｒ配列のカラーフィルタ
が配設された原色ＣＣＤエリアセンサ２０１と、ＲＧＢ
補間手段２０２と、Ｒ，Ｇ，Ｂ成分毎に設けられた輪郭
強調手段２０３とを有している。

【００２０】ＲＧＢ補間手段２０２は、図１５の画像配
列から得られる各色成分に対してメディアン処理を示す
以下の（５）式を用いて、まず、Ｇ成分を補間し、それ
から、補間したＧ成分を利用して、図１４のＲ，Ｂの画
素位置にのみ（Ｒ−Ｇ）成分と（Ｂ−Ｇ）成分を生成
し、最後に、生成した（Ｒ−Ｇ）、（Ｂ−Ｇ）成分をバ
イリニア処理で補間してから、これにＧ成分を加えて
Ｒ、Ｂ成分を得るようにしている。

【００２１】Ｇ５＝（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８−Ｍｉｎ−Ｍａｘ）／２（５）Ｍｉｎ＝Ｍｉｎ（Ｇ２，Ｇ４，Ｇ６，Ｇ８）Ｍａｘ＝Ｍａｘ（Ｇ２，Ｇ４，Ｇ６，Ｇ８）図１５を用いて、Ｇ４の画素位置におけるＢ４を求める
場合について具体的に説明する。まず、式（５）を用い
たメディアン処理によって、Ｇ１，Ｇ３，Ｇ５，Ｇ７，
Ｇ９を補間する。その後に、例えばＢ１，Ｂ７の画素位
置の（Ｂ−Ｇ）成分であるＢ１−Ｇ１，Ｂ７−Ｇ７を生
成する。したがって、Ｇ４の画素位置の（Ｂ−Ｇ）成分
であるＢ４−Ｇ４は、Ｂ４−Ｇ４＝（１／２）｛（Ｂ１−Ｇ１）＋（Ｂ７−Ｇ
７）｝となる。

【００２２】∴Ｂ４＝（１／２）｛（Ｂ１−Ｇ１）＋
（Ｂ７−Ｇ７）｝＋Ｇ４となって、Ｂ４を得ることができる。

【００２３】輪郭強調手段２０３は、ＲＧＢの各成分そ
れぞれに対して図１７（ａ）の２次元２次微分フィルタ
を採用している。図１７（ａ）の２次元２次微分フィル
タは、各領域がそれぞれ１画素に対応し、各領域内の数
字は「重み」を表しており、トータルで０になるように
なっている。

【００２４】次に、特開平１１−１８０４７の補間処理
について図１８を参照して説明する。

【００２５】図１８は、従来の画像処理装置の第３の構
成例を示すブロック図である。図１８において、画像処
理装置３００は、Ｂａｙｅｒ配列のカラーフィルタが配
設された原色ＣＣＤエリアセンサ３０１と、ＲＧＢ補間
手段３０２と、中域成分強調手段３０３と、高域成分強
調手段３０４と、ホワイトバランス調整手段３０５と、
ガンマ補正手段３０６とを有している。

【００２６】ＲＧＢ補間手段３０２は、Ｒ，Ｇ，Ｂ成分
に対してそれぞれ補間処理を行う。画質のよい補間方法
として、Ｇ成分には式（５）のメディアン法を用い、
Ｒ，Ｂ成分には式（２）〜式（４）のバイリニア法を用
いる。

【００２７】中域成分強調手段３０３は中域成分抽出手
段３０３ａおよび加算手段３０３ｂからなり、補間した
Ｇ成分を利用して中域成分抽出手段３０３ａで抽出した
中域成分を、Ｒ，Ｇ，Ｂ成分それぞれに各加算手段３０
３ｂにてそれぞれ合成して補償することにより中域成分
強調処理を行うようにしている。この中域成分強調処理
は、例えばＧ成分とそのローパスフィルタリング処理し
た結果の差を補償成分としてＧ成分に上乗せしている。
つまり、ローパスフィルタ（図示せず）によりＧ成分の
高域成分がカットされて、周波数変化の少ないＧバーを
求め、Ｇ成分との差である補償成分（Ｇ−Ｇバー）をＧ
成分に上乗せすることにより中域成分強調を行うもので
ある。

【００２８】高域成分強調手段３０４は高域成分抽出手
段３０４ａおよび加算手段３０４ｂからなり、補間した
Ｇ成分を利用して高域成分抽出手段３０４ａで抽出した
高域成分を、Ｒ，Ｇ，Ｂ成分それぞれに各加算手段３０
４ｂにてそれぞれ合成して補償することにより高域成分
強調処理を行うようになっている。この高域成分強調処
理には、図１７（ｂ）の２次元２次微分フィルタを採用
している。図１７（ｂ）の中央領域「４」に対応する画
素の画素データを求めるには、フィルタの「重み」に各
画素のデータをかけて足し算を行う。したがって、変化
しなければゼロ、変化が大きければこの値も大きくな
り、高域成分強調となる。

【００２９】

【発明が解決しようとする課題】図１４のＢａｙｅｒ配
列に対して、実際のサンプリング周波数をｆｓ＝１／△
ｘ＝１／△ｙとすると、Ｒ，Ｇ，Ｂ成分について個別サ
ンプリングを行った場合のサンプリング周波数分布範囲
を、図１９に示している。なお、△ｘは横方向（ｘ方
向）の画素幅（画素ピッチ）、△ｙは縦方向（ｙ方向）
の画素幅（画素ピッチ）である。

【００３０】サンプリング定理により、元の画像に含ま
れる空間周波数のうちで復元可能な最高周波数は、図１
９においてＧ成分が実線で示すひし形状内であり、Ｒ，
Ｂ成分が２点鎖線で示す正方形状内であることから、画
像データのＲ，Ｇ，Ｂ成分に正しく復元できる周波数範
囲は、２点鎖線で示される正方形の範囲内である。した
がって、その正しく復元できる最高周波数は、図１９か
らサンプリング周波数ｆｓ（＝１／△ｘ＝１／△ｙ）の
半分であることが解る。したがって、復元可能な最高周
波数ｆｓ／２よりも高い周波数成分はノイズとして現れ
ることになる。

【００３１】この問題を避けるために、ＣＣＤエリアセ
ンサに光学的なローパスフィルタ（折返しノイズ防止フ
ィルタ）を付けるようにしている。このローパスフィル
タにより、画像データのｆｓ／２以上の周波数成分をカ
ットすると同時にフィルタが理想的でないためｆｓ／２
以下の周波数成分も減衰される。図２０に示すように、
グラフａは理想的なローパスフィルタ周波数特性（ｆｓ
／２できれいにカット）であるが、実際には、グラフｂ
のローパスフィルタの周波数特性となる。また、グラフ
ｃは、ローパスフィルタによって減衰した高域輝度成分
を補償してグラフｂをシステム全体の理想的なグラフａ
の特性に近づけるための補償用フィルタの理想的な周波
数特性である。本発明では、新たに抽出する中高域輝度
成分に中域輝度成分と高域輝度成分とを任意の割合で合
成し、グラフｃに近い周波数特性を有する補償用フィル
タによって補償する。

【００３２】また、図１４のＢａｙｅｒ配列の各画素に
対して欠落した２種類の各色成分を補間して作る際に
も、高域輝度成分が少なくなるが、減衰した高域輝度成
分を補償することは鮮鋭な画像を作るには不可欠な処理
である。通常、この補償は図２１に示すように中域輝度
成分補償用フィルタの周波数特性（グラフｄ）と高域輝
度成分補償用フィルタの周波数特性（グラフｃ）とに分
けて行っている。図２１において、グラフｂはローパス
フィルタ（折返しノイズ防止用フィルタ）および補間処
理結果後の総合周波数特性であり、グラフａは補償処理
を含めた画像処理システム全体の理想周波数特性であ
る。

【００３３】前述した従来技術では、図２１の中域成分
補償用フィルタの周波数特性（グラフｄ）と高域成分補
償用フィルタの周波数特性（グラフｃ）とによって中域
成分と高域成分の補償を行っている。グラフｄの振幅の
最大値は角周波数ωがπ／２（ｆｓ／４に相当）の処に
あり、グラフｃの振幅の最大値は角周波数ωがπ（ｆｓ
／２に相当）の処にある。よって、グラフｄにより中域
成分補償を行い、グラフｃにより高域成分補償を行う。

【００３４】しかし、鮮鋭な画像を得るための輪郭強調
処理において、高域成分補償により画像の高域成分が強
調されると、角周波数ωがｆｓ／２より高い成分は全て
ノイズとなる。この結果、画像の解像度を上げようとす
るとノイズやジャギー成分が目立ってくる。

【００３５】例えば、上記従来の第１の構成例に提案さ
れた方法では、主として輝度に大きく寄与するＧ成分の
上記式（１）による補間処理によって得られた画像デー
タを輪郭強調処理することによって、画像エッジ部分に
ジャギーを生じる。この問題に対して、色平滑補間法
（ＵＳＰａｔｅｎｔ４６４２６７８）やパターン認
識補間法（ＵＳＡＰａｔｅｎｔ４６３０３０７）や
適応補間法（ＪａｍｅｓＥ. Ａｄａｍｓ，Ｊｒ．氏
の論文）が提案されている。これらの方法は何れも、補
間法としては異なるが、図１３に示すような画像処理装
置１００と同様の構成によって行われている。即ち、鮮
鋭な画像に不可欠な高域成分は、最終段のシャープ処理
手段１０６の輪郭強調処理によって生成されている。こ
れらの方法は、偽色とジャギーの低減にある程度の効果
があるものの、高域成分の処理に関しては高域強調フィ
ルタリング処理以外には何ら特別な手法を講じておら
ず、高域強調フィルタリング処理時にノイズを生じてし
まう。

【００３６】したがって、上記従来の第１〜第３の構成
例に提案された方法においては、シャープ処理（輪郭強
調処理）で高域成分補償を行う場合に、ノイズを強調し
てしまうことは避けられないという問題があった。つま
り、高域成分補償時に、サンプリング周波数ｆｓの１／
２以上の周波数も強調され、これがノイズやジャギーと
なって現れてしまうのである。

【００３７】本発明は、上記従来の問題を解決するもの
で、鮮鋭な画像を得る際に生じるノイズやジャギーを防
止することができる画像処理装置を提供することを目的
とする。

【００３８】

【課題を解決するための手段】本発明の画像処理装置
は、原色フィルタが形成された撮像素子から出力された
ＲＧＢ画像データを処理する画像処理装置において、該
ＲＧＢ画像データに基づいて生成した、所定周波数以下
の理想的な周波数輝度特性から中高域輝度成分が減衰し
た低域輝度信号に対して、減衰した中高域輝度成分を補
償する中高域輝度成分補償手段を備えたものであり、そ
のことにより、上記目的が達成される。なお、中高域輝
度成分とは、中高域周波数成分を主な成分とする輝度成
分である。また、低域輝度信号とは低域周波数成分を主
な成分とする輝度信号である。

【００３９】この構成により、所定周波数（サンプリン
グ周波数ｆｓ／２）以下の理想的な周波数特性から中高
域輝度成分が減衰した実際の低域輝度信号に対して、減
衰した中高域輝度成分を補償するので、輪郭強調処理時
に、より鮮鋭な画像を得ると共に、この鮮鋭な画像を得
る際に生じるノイズやジャギーを防止することが可能と
なる。

【００４０】本発明の画像処理装置は、原色フィルタが
形成された撮像素子から出力されるＲＧＢ画像データを
処理する画像処理装置において、各画素からのＲＧＢ画
像データに基づいて生成した第１輝度信号から、角周波
数ωがπで振幅がゼロとなり、かつ角周波数ωがπ／２
とπの間で振幅が最大となる中高域輝度成分を抽出する
中高域輝度成分抽出手段と、このＲＧＢ画像データに基
づいて生成した低域輝度信号に、中高域輝度成分を加え
て第２輝度信号を生成する第１合成手段とを備えたもの
であり、そのことにより、上記目的が達成される。

【００４１】この構成により、高い解像度の画像が得ら
れると同時に、鮮鋭な画像を得る際に生じるノイズやジ
ャギーを防止することが可能となる。

【００４２】また、好ましくは、本発明の画像処理装置
における中高域輝度成分抽出手段は、少なくとも一つの
偶数サイズのフィルタを使用して第１輝度信号の演算処
理を行う。

【００４３】この構成により、角周波数ωがπで振幅が
ゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が
最大となる中高域輝度成分を容易に抽出することが可能
となる。

【００４４】さらに、好ましくは、本発明の画像処理装
置における偶数サイズのフィルタは２次元フィルタであ
り、かつ各項の係数はｘ方向およびｙ方向に対して対称
である。

【００４５】この構成により、フィルタリング処理の効
果を均一にできるので、画像を忠実に再現することが可
能となる。

【００４６】さらに、好ましくは、本発明の画像処理装
置における偶数サイズのフィルタは、微分効果を有する
第１ローパスフィルタと、第２ローパスフィルタとから
構成され、第１ローパスフィルタを使用して第１輝度信
号の演算処理により得られた出力と、第２ローパスフィ
ルタを使用して第１輝度信号の演算処理により得られた
出力との出力差を中高域輝度成分として出力する。

【００４７】この構成により、ｘ方向、ｙ方向の演算を
分離して行うことができるので、計算規模を抑えること
ができるため、ハードウエアにより容易に実現すること
が可能となる。

【００４８】さらに、好ましくは、本発明の画像処理装
置において、第１輝度信号を生成する前に、各画素毎に
Ｒ，Ｇ，Ｂの各成分のうち欠落している成分を補間処理
により求める第１補間手段をさらに備え、第１補間手段
は３画素×３画素のフィルタを使用してＲＧＢ画像デー
タの演算処理を行うことにより欠落している成分を補間
処理する。

【００４９】この構成により、中高域輝度成分を最も損
なわずに抽出することが可能となる。

【００５０】さらに、好ましくは、本発明の画像処理装
置において、撮像素子からのＲＧＢ画像データに基づい
て低域輝度信号を生成する前に、各画素毎にＲ，Ｇ，Ｂ
の各成分のうち欠落している成分を補間処理により求め
る第２補間手段をさらに備え、第２補間手段は偶数サイ
ズのフィルタを使用してＲＧＢ画像データの演算処理を
行うことにより欠落している成分を補間処理する。

【００５１】この構成により、低域輝度信号に対して中
高域輝度成分による補償を行う際に、中高域輝度成分の
中心が各画素と画素との間にあるため、第２補間手段に
偶数サイズのフィルタを使用することによって低域輝度
信号の中心も各画素と画素との間にしておかないと再現
された画像にゴーストが発生する。

【００５２】さらに、好ましくは、本発明の画像処理装
置における第１補間手段および第２補間手段の少なくと
も何れかは、Ｇ成分についてはメディアン方式により、
Ｒ成分およびＢ成分についてはバイリニア方式により補
間処理を行う。

【００５３】この構成により、Ｇ成分についてはメディ
アン方式で補間処理を行うことによって高域輝度成分の
減少を最小限に抑えると共に、Ｒ成分およびＢ成分につ
いてはバイリニア方式で補間処理を行うことによってノ
イズを少なくすることが可能となる。したがって、輪郭
がより強調されると共に、画質のよい画像を得ることが
可能となる。

【００５４】さらに、好ましくは、本発明の画像処理装
置において、第２輝度信号に基づいて中域輝度成分およ
び高域輝度成分の少なくとも何れかを抽出する中域・高
域輝度成分抽出手段と、中域輝度成分および高域輝度成
分の少なくとも何れかを第２輝度信号に加えて第３輝度
信号を生成する第２合成手段とをさらに備える。なお、
中域輝度成分とは、中域周波数成分を主な成分とする輝
度成分である。また、高域輝度成分とは、高域周波数成
分を主な成分とする輝度成分である。

【００５５】この構成により、中域輝度成分と高域輝度
成分の割合を任意の割合にすることにより、画像の立体
感を好みに応じて調整することが可能となる。

【００５６】さらに、好ましくは、本発明の画像処理装
置における中域・高域輝度成分抽出手段はその係数を調
整できる一つのフィルタを使用して第２輝度信号の演算
処理を行う。

【００５７】この構成により、中域、高域輝度成分抽出
手段を単一フィルタにより簡単に構成することが可能と
なる。

【００５８】さらに、好ましくは、本発明の画像処理装
置において、第２補間手段からのＲＧＢ画像信号に基づ
いて生成された色差信号に含まれる、撮像デバイスに固
有のノイズを除去するメディアンフィルタリング処理手
段をさらに備え、メディアンフィルタリング処理手段
は、ノイズの量に応じてメディアンフィルタのサイズを
切り替える。

【００５９】この構成により、例えばＣＣＤなどの撮像
素子の質によって色差信号に含まれるノイズの量が異な
るため、ノイズの量に応じてメディアンフィルタを使い
分けることにより、ノイズの少ない色差信号を生成する
ことが可能となる。

【００６０】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。

【００６１】図１は本発明の一実施形態における画像処
理装置の構成を示すブロック図である。図１において、
画像処理装置１は、光学ローパスフィルタ２と、原色Ｃ
ＣＤエリアセンサ３と、第１ＲＧＢ補間手段（中高域輝
度成分抽出用ＲＧＢ補間手段）４と、中高域輝度成分抽
出用輝度生成手段５と、中高域輝度成分抽出手段６と、
第１合成手段としての乗算器７および加算器８と、中域
・高域輝度成分抽出手段９と、第２合成手段としての乗
算器１０および加算器１１とを備えている。これらの第
１ＲＧＢ補間手段４、中高域輝度成分抽出用輝度生成手
段５および中高域輝度成分抽出手段６により中高域輝度
成分補償手段が構成されている。

【００６２】光学ローパスフィルタ２は、サンプリング
周波数ｆｓの１／２以上の高域輝度成分をカットするも
のである。

【００６３】原色ＣＣＤエリアセンサ３は、複数の受光
素子がマトリクス状に配列されており、その受光素子面
側にカラーフィルタが配設されている。このカラーフィ
ルタは、Ｂａｙｅｒ配列（図１４）となっている。な
お、ＣＣＤエリアセンサ３から読み出されたＲＧＢ画像
データは、雑音を低減させるＣＤＳ（Correlated Doubl
e Sampling）回路、ゲイン調整処理を行うＡＧＣ（Auto
matic Gain Control）回路、さらに分解能が例えば１０
ビットのＡ／Ｄ変換回路を介して、デジタル画像データ
として後段の第１ＲＧＢ補間手段４およ第２ＲＧＢ補間
手段（低域輝度信号生成及び色差信号生成用ＲＧＢ補間
手段）１２に出力されるようになっている。

【００６４】第１ＲＧＢ補間手段４は、カラーフィルタ
のＲ、Ｇ、Ｂのうち揃っていない各色の色成分について
は、各画素毎にその周りの同色成分データから補間する
ものである。即ち、Ｂ，Ｒ成分に対しては、式（２）〜
式（４）で示されるバイリニア法で行い、また、Ｇ成分
に対しては、式（５）で示されるメディアン法で行うよ
うにしている。第１ＲＧＢ補間手段のＲＧＢ補間処理フ
ィルタは、フィルタサイズが３画素×３画素以上の奇数
サイズの２次元フィルタを用いる。

【００６５】このフィルタのサイズが大きくなるほど、
中高域輝度成分が少なくなり、その成分を抽出しにくく
なる。１画素×１画素のフィルタでは補間処理ができな
い。また、２画素×２画素の２次元フィルタを用いた場
合、バイリニア補間法を用いることができないので、最
近接補間法（Nearest neighbor interpolation）に依
らなければならない。この補間法を用いると、バイリニ
ア補間法を用いたものに比べて中高域輝度線分が損なわ
れる。したがって、３画素×３画素の２次元フィルタが
ベストである。

【００６６】中高域輝度成分抽出用輝度生成手段５は、
第１ＲＧＢ補間手段４にて得られた第１ＲＧＢ画像信号
を使用して、下記の式（６）にて中高域輝度成分抽出用
輝度信号Ｙを生成するようになっている。

【００６７】Ｙ＝０.３０Ｒ＋０.５９Ｇ＋０.１１Ｂ（６）中高域輝度成分抽出手段６は、中高域輝度成分抽出用輝
度生成手段５で生成した中高域輝度成分抽出用輝度信号
Ｙに、図２（ａ）および図２（ｂ）のＹＨ抽出用フィル
タ１，２を使用して演算することにより中高域輝度成分
ＹＨを抽出するようになっている。つまり、中高域輝度
成分抽出手段６は、図２（ａ）の６画素×６画素のＹＨ
抽出用フィルタ１からの出力と、図２（ｂ）の４画素×
４画素のＹＨ抽出用フィルタ２からの出力との差出力と
して中高域輝度成分ＹＨを出力するものである。ＹＨ抽
出用フィルタ１，２におけるｘは横方向の演算、ｙは縦
方向の演算を示している。

【００６８】なお、図２（ａ）のＹＨ抽出用フィルタ１
の特長は、まず、微分効果を有するローパスフィルタ
（負の係数が含まれている）、次に、ｘ方向およびｙ方
向に対して対称、ｘ、ｙ共、偶数サイズ（８×８、１０
×１０などでもよい）、さらに、正方形（ｘ、ｙの数が
同一）が望ましいが、例えばｘ方向を強調したいのであ
れば、横長（ｘの数がｙの数よりも多い）でもよく、ｙ
方向を強調したいのであれば、縦長（ｙの数がｘの数よ
りも多い）でもよく、さらには、各項の係数はフィルタ
のｘ方向およびｙ方向に対して対称であることである。
また、図２（ｂ）のＹＨ抽出用フィルタ２の特長は、ロ
ーパスフィルタ（正の係数のみ）、次に、ｘ、ｙ共、偶
数サイズ（ただし、図２（ａ）のＹＨ抽出用フィルタ１
のサイズ以下）、さらに、正方形が望ましいが、横長や
縦長の矩形でもよく、さらには、各項の係数はフィルタ
のｘ方向およびｙ方向に対して対称であることである。
各項の係数が対称であることにより、フィルタリング処
理の効果を均一にすることができるので、画像を忠実に
再現することができる。

【００６９】このように、ＹＨ抽出用フィルタを２枚の
フィルタで構成することによって、ｘ方向とｙ方向の演
算を分離することができるので、ハード化しやすくな
る。図３に図２のＹＨ抽出用フィルタ１，２およびそれ
らの差出力の周波数特性を示している。図３において、
グラフｈはＹＨ抽出用フィルタ１の周波数特性、グラフ
ｉはＹＨ抽出用フィルタ２の周波数特性であり、グラフ
ｊは、グラフｈとグラフｉとの差出力からなる中高域輝
度成分ＹＨの周波数特性である。なお、ここでは、ＹＨ
抽出用フィルタを２枚のフィルタで構成したが、ＹＨ抽
出用フィルタを１枚のフィルタで構成することもでき
る。そのフィルタの係数は、図２２に示す通りである。
この場合には計算規模が増大する。

【００７０】乗算器７は、中高域輝度成分抽出手段６で
抽出した中高域輝度成分ＹＨに対して、調節係数である
ゲインαの調整で補助的な補償を行うものである。

【００７１】加算器８は、後述する低域輝度信号生成手
段１５からの低域輝度信号ＹＬに、所定の倍率のゲイン
αがかけられた中高域輝度成分αＹＨを加算して輝度信
号（ＹＬ+αＹＨ）を生成するものである。

【００７２】中域・高域輝度成分抽出手段９は、加算器
８からの輝度信号（ＹＬ+αＹＨ）に対して、図４の複
合輪郭強調フィルタをかけて中域・高域輝度成分ＥＮＨ
を抽出するようになっている。なお、図４に示す変数
ｌ，ｍの割合で中域輝度成分と高域輝度成分の割合を調
整することもできる。

【００７３】乗算器１０は、中域・高域輝度成分抽出手
段９からの中域・高域輝度成分ＥＮＨに対して、調節係
数であるゲインβによる補助的な補償を行うものであ
る。

【００７４】加算器１１は、加算器８からの輝度信号
（ＹＬ+αＹＨ）に、乗算器１０で調節係数のゲインβ
の調整を行った後の中域、高域輝度成分βＥＮＨを加算
して輝度信号（ＹＬ+αＹＨ+βＥＮＨ）を出力するもの
である。

【００７５】また、画像処理装置１は、原色ＣＣＤエリ
アセンサ３に接続された第２ＲＧＢ補間手段１２と、ホ
ワイトバランス調整手段１３と、ガンマ補正手段１４
と、低域輝度信号生成手段１５と、色差信号生成手段１
６と、メディアンフィルタ１７とを備えている。

【００７６】第２ＲＧＢ補間手段１２は、その補間処理
が、図５（ａ）および図５（ｂ）に示す補間フィルタに
よる演算処理によって行われるようになっている。第２
ＲＧＢ補間手段１２により補間した色成分と、カラーフ
ィルタにより得た色成分とを合わせて、各画素毎にＲＧ
Ｂ成分が全て揃った第２ＲＧＢ画像信号が生成されてい
る。また、Ｒ，Ｂ成分に図５（ａ）のＲ，Ｂ補間フィル
タを用い、Ｇ成分に図５（ｂ）のＧ補間フィルタを用
い、Ｇ補間フィルタはｘ方向の演算が先行することが要
求されている。

【００７７】例えばＲ成分の補間を行う際には、図１４
に示すＢａｙｅｒ配列にあるＲ成分のみを、図５（ａ）
のＲ，Ｂ補間フィルタに入力すると共に、Ｂ成分とＧ成
分の処に０を入力することにより、図５（ａ）のＲ，Ｂ
補間フィルタからの出力は、補間された１枚のＲ成分画
像となる。図５（ａ）のＲ，Ｂ補間フィルタでは、ｘ方
向とｙ方向の重み係数は同じであるので、演算順序には
関係ないが、図５（ｂ）のＧ補間フィルタでは、ｘ方向
とｙ方向の重み係数が異なるので、ｘ方向の演算は先
に、ｙ方向の演算は後にしなければならない。なお、ｙ
方向の演算を先にすることが要求されるような場合に
は、図５（ｂ）のＧ補間フィルタにあるｘ方向とｙ方向
の重み係数を置換えればよい。また、図５（ａ）および
図５（ｂ）のフィルタの特長としては、まず、ローパス
フィルタ（正の係数のみ）、次に、ｘ、ｙ共、偶数サイ
ズ、さらに、各項の係数はフィルタのｘ方向およびｙ方
向に対して対称であることである。各項の係数が対称で
あることにより、フィルタリングの効果を均一にするこ
とができるので、画像を忠実に再現することができる。

【００７８】また、第２ＲＧＢ補間手段１２において、
図５に示す偶数サイズのフィルタを使用するのは、低域
輝度信号ＹＬに中高域輝度成分ＹＨを加える加算器８
で、画素データの位置を合わせる必要があるからであ
る。即ち、中高域輝度成分抽出手段６のＹＨ抽出用フィ
ルタは既に述べたように偶数サイズでなければならず、
第１ＲＧＢ補間手段４で用いる補間フィルタは奇数サイ
ズである。したがって、抽出された中高域輝度成分ＹＨ
の画素データは各画素の間にある。このため、第２ＲＧ
Ｂ補間手段１２で用いる補間フィルタを偶数サイズとす
ることにより、低域輝度信号ＹＬの画素データも画素間
の境界上に新たな画素を作らなければならない。このと
き、低域輝度信号ＹＬの画素データの位置は各画素の間
にあって、中高域輝度成分ＹＨの画素データの位置と合
うことになる。

【００７９】ホワイトバランス調整手段１３は、画像の
色合いを正しくするために、補間されたＲ，Ｇ，Ｂ成分
に対して、照明の色温度に合せて白色を調節する処理を
実行するものである。

【００８０】ガンマ補正手段１４は、画像を出力するデ
ィスプレイやプリンタの特性と一致させるための処理を
実行するものである。

【００８１】低域輝度信号生成手段１５は、ガンマ補正
後に上記式（６）により低域輝度信号ＹＬを生成するよ
うになっている。

【００８２】色差信号生成手段１６は、ガンマ補正後に
下記の式（７）により色差信号Ｃｒ，Ｃｂを生成するよ
うになっている。

【００８３】Ｃｒ＝０.７０Ｒ−０.５９Ｇ−０.１１ＢＣｂ＝−０.３０Ｒ−０.５９Ｇ＋０.８９Ｂ（７）メディアンフィルタ１７は、上記式（７）で生成された
色差信号に対してノイズを除去して出力するようになっ
ている。メディアンフィルタ１７のサイズについては、
ＣＣＤの質によって決められる。即ち、ノイズの多いＣ
ＣＤには５画素×５画素のメディアンフィルタを用い、
ノイズの少ないＣＣＤには３画素×３画素のメディアン
フィルタを用いるように選択して処理するようにしてい
る。

【００８４】ここで、本発明の原理について詳細に説明
する。

【００８５】前述したように、図２１において、高域輝
度成分を高域輝度成分補償用フィルタの周波数特性（グ
ラフｃ）で強調する際に、サンプリング周波数ｆｓ／２
よりも高い周波数成分も一緒に強調することがジャギー
を生じた原因であった。このため、本発明では図２１の
グラフｅのような中高域輝度成分をメインとして補償
し、補助的に画像の中域輝度成分と高域輝度成分とを補
償する。中高域輝度成分は、角周波数ωがπ／２〜πの
間に振幅の最大値があって、角周波数ωがπのところで
振幅がゼロになるような成分である。

【００８６】ここでは、説明を簡略化するために、２次
元フィルタではなく１次元フィルタを使って検証する。
上記中高域輝度成分を抽出できるフィルタは図６のフィ
ルタ（Ａ）である。図６に示す偶数サイズのフィルタ
（Ａ）の伝達関数は、以下の式（８）に示されている。
注意すべき点は、図６のフィルタ（Ａ）のような偶数サ
イズのフィルタの中心が画素と画素の中間に存在するこ
とであり、フィルタ出力の位置も画素と画素の中間に存
在することである。偶数サイズのフィルタを使用する理
由は、図２１のグラフｅに示された周波数特性を得るた
めである。なお、図６のフィルタ（Ａ）の各領域内の数
字は各画素の「重み」を表している。

【００８７】Ｈ（ｚ）＝−Ｚ^-1.5＋Ｚ^-0.5＋Ｚ^0.5−Ｚ^1.5 ＝２ｃｏｓ（０.５ω）−２ｃｏｓ（１.５ω）（８）ただし、ｚ＝ｅ^jω＝ｃｏｓω＋ｊｓｉｎω 従来技術で使われている中域輝度成分補償フィルタおよ
び高域輝度成分補償フィルタと比較するため、図１７の
２次元２次微分フィルタ（Ｂ）を１次元フィルタに置き
換えると、図６のフィルタ（Ｂ）となり、図１７の２次
元２次微分フィルタ（ａ）を１次元フィルタに置き換え
ると、図６のフィルタ（Ｃ）となる。図６のフィルタ
（Ｂ）の伝達関数は式（９）に示され、図６のフィルタ
（Ｃ）の伝達関数は式（１０）に示される。

【００８８】Ｈ（ｚ）＝−Ｚ^-1＋２Ｚ⁰−Ｚ¹ ＝２−２ｃｏｓ（ω）（９）Ｈ（ｚ）＝−Ｚ^-2＋２Ｚ⁰−Ｚ² ＝２−２ｃｏｓ（２ω）（１０）式（８）、式（９）および式（１０）の伝達関数を正規
化して、その周波数特性をそれぞれ図７のグラフ
（Ａ），（Ｂ），（Ｃ）に対応させて表示している。グ
ラフ（Ａ）に示す式（８）の周波数特性は角周波数ωが
０．６πの処で振幅が最大値（ピーク）に達して、角周
波数ωがπの処で振幅がゼロになる。このため、中高域
輝度成分による補償が可能となる。

【００８９】また、角周波数ωがπの処で伝達関数の値
（振幅）がゼロになる奇数サイズのフィルタでは、振幅
がピークになる角周波数ωがπ／２（ｆ_s／４に相当）
以外にはない。例えば図６のフィルタ（Ａ），（Ｄ），
（Ｅ）の周波数特性を図８に示すと、奇数サイズのフィ
ルタ（Ｄ），（Ｅ）の振幅は角周波数ωがπの処でゼロ
ではないことが判る。したがって、奇数サイズのフィル
タは、従来のようにノイズやジャギーが生じる原因とな
る。

【００９０】このため、ノイズやジャギーを強調せず、
より高い周波数を補償するには、図６のフィルタ（Ａ）
に示すような偶数サイズのフィルタを選択すべきであ
る。図６のフィルタ（Ｆ）はフィルタ（Ａ）に高次微分
項を加えた偶数サイズのフィルタであり、その伝達関数
は、以下の式（１１）になる。

【００９１】Ｈ（ｚ）＝Ｚ^-2.5−５Ｚ^-1.5＋４Ｚ^-0.5＋４Ｚ^0.5−５Ｚ^1.5＋Ｚ^2.5 ＝８ｃｏｓ（０.５ω）−１０ｃｏｓ（１.５ω）＋２ｃｏｓ（２.５ω）（１１）正規化した伝達関数（８）の周波数特性（フィルタＡ）
を図９のグラフ（Ａ）に示し、正規化した伝達関数（１
１）の周波数特性（フィルタＦ）を図９のグラフ（Ｆ）
に示している。グラフ（Ａ）の振幅のピーク位置は角周
波数ωが０．６πにあり、グラフ（Ｆ）の振幅のピーク
位置は角周波数ωが０．６８πにある。これらは共に角
周波数ωがπの処で振幅がゼロである。したがって、何
れのフィルタも中高域輝度成分による補償のために使用
することはできるが、振幅の最大値の角周波数ωがより
大きいグラフ（Ｆ）に示す周波数特性を有するフィルタ
が望ましい。つまり、角周波数ωがπのところで振幅が
ゼロであることによって、ｆｓ／２以上の周波数成分に
よるノイズを抑え、また、振幅の最大値をπ／２とπの
間でよりπに近づけることによって、より高域に近い高
域輝度成分の補償をすることが可能となるからである。

【００９２】また、偶数サイズのフィルタの使用はＣＣ
Ｄ画素の元位置でなく、元の画素と画素との間の境界上
に新たな画素を作ることを意味している。したがって、
２次元に配列されたフィルタでは図１０のようになる。
即ち、図１０に示す◎印は元の画素位置であり、図１０
に示す○印は偶数サイズのフィルタ使用後の画素データ
位置となっている。

【００９３】ここで、本発明の画像処理装置の動作を検
証するため、１次元の場合の輝度信号に関する処理の周
波数特性を調べてみる。図１に示すように、原色ＣＣＤ
エリアセンサ３からの出力から加算器８によって輝度信
号（ＹＬ＋αＹＨ）を得るまでの一連の処理に注目して
分析する。なお、図１の中高域輝度成分抽出用輝度生成
手段５、ホワイトバランス調整手段１３、ガンマ補正手
段１４および低域輝度信号生成手段１５による各処理は
画像データの周波数分布に影響を与えないので、ここで
はその説明を省略する。

【００９４】第１ＲＧＢ補間手段４により、Ｂ，Ｒ成分
に対しては、式（２）〜式（４）で示されるバイリニア
法で行い、また、Ｇ成分に対しては、式（５）で示され
るメディアン法で行われている。このような補間処理に
よって、中高域輝度成分は減衰するが、完全に失われて
はいない。

【００９５】中高域輝度成分抽出手段６により、図２の
ＹＨ抽出用フィルタを用いて中高域輝度成分ＹＨを抽出
する。その抽出した中高域輝度成分ＹＨはゲインαで自
由に調節することができる。なお、説明を簡略化するた
めに、第１ＲＧＢ補間手段４での補間処理では中高域輝
度成分ＹＨの損失については考慮しないものとする。

【００９６】中高域輝度成分ＹＨの抽出処理について、
図２の中高域輝度成分抽出用２次元フィルタ（ＹＨ抽出
用フィルタ１，２）に対応する１次元フィルタは図６の
フィルタ（Ｆ）に示されており、その伝達関数は式（１
１）に表されている。

【００９７】また、第２ＲＧＢ補間手段１２のＲＧＢ補
間フィルタについては、図５の２次元フィルタに相当す
る１次元フィルタとしては、図６のフィルタ（Ｇ）に示
されており、その伝達関数は、以下の式（１２）に表さ
れている。

【００９８】Ｈ（ｊω）＝Ｚ^-1.5＋３Ｚ^-0.5＋３Ｚ^0.5＋Ｚ^1.5 （１２）ＹＨ抽出用フィルタの式（１１）の周波数特性は、図１
１にグラフ（Ｊ）で表示し、第２ＲＧＢ補間手段１２に
よるＲＧＢ補間処理を表す式（１２）の周波数特性は、
図１１にグラフ（Ｉ）で表示している（正規化処理
後）。輝度信号（ＹＬ＋ＹＨ）の周波数特性は同図のグ
ラフ（Ｈ）で表している。図１１から中高域輝度成分Ｙ
Ｈは補償されたことがよく判る。

【００９９】中域輝度成分および高域輝度成分の補償は
図１７の２つのフィルタを使って補助的に行う。比較の
ため、図２のＹＨ抽出用フィルタおよび図１７の２つの
２次微分フィルタに対して、その１次元形式の伝達関数
（１１），（９），（１０）の周波数特性を図１２に再
表示している。図１２において、グラフ（Ｊ）は式（１
１）に示されたフィルタＦの周波数特性、グラフＢは図
１７の（ｂ）の高域輝度成分抽出フィルタ、グラフＣは
図１７の（ａ）の中域輝度成分抽出フィルタの周波数特
性を示している。光学ローパスフィルタ２の影響（図２
０）を考慮し、図１２のグラフ（ｂ）およびグラフ
（ｃ）の周波数特性を利用して図１１のグラフ（Ｈ）に
対して中域輝度成分と高域輝度成分を補償することがで
きる。中高域輝度成分ＹＨによる補償だけでは理想状態
である図２０のグラフ（ｃ）に完全に一致させることは
できないが、図４の複合輪郭強調フィルタのパラメータ
１，ｍおよびゲインα、ＥＮＨゲインβを調節すること
によってグラフ（ｃ）により近づけることができる。

【０１００】以上により、本実施形態によれば、画像処
理システムに、第２ＲＧＢ補間手段１２を有する低域輝
度信号ＹＬ生成ルートと並列に、第１ＲＧＢ補間手段４
および中高域輝度成分抽出手段６を有する中高域輝度成
分ＹＨ生成ルートを設け、加算器８にて中高域輝度成分
ＹＨを低域輝度信号ＹＬに加えることにより、中高域輝
度成分ＹＨで中高域輝度成分を補償すると共に、従来の
補償法を使って中域輝度成分および高域輝度成分につい
ても補助的に補償を行うため、従来よりも高い解像度の
画像が得られると同時にノイズやジャギーも防止するこ
とができるものである。

【０１０１】偽色防止のために、色差信号はローパスフ
ィルタ特性を持つ補間処理で作られた第２ＲＧＢ画像信
号から生成され、更にメディアンフィルタをかけてから
出力される。輝度信号については、低域輝度信号ＹＬに
中高域輝度成分ＹＨを加えた後、中域輝度成分と高域輝
度成分による補償を補助的に行う。このとき、低域輝度
信号ＹＬに中高域輝度成分ＹＨを加える加算器８で画素
データの位置を合わせる必要がある。中高域輝度成分抽
出手段６の抽出用フィルタは、既に述べたように、中高
域輝度成分ＹＨを抽出するために、偶数サイズのフィル
タである必要があることから、第１ＲＧＢ補間処理手段
４のＲＧＢ補間処理用フィルタは、中高域輝度成分ＹＨ
を最も損なわない３画素×３画素の奇数サイズのフィル
タとすると共に、第２ＲＧＢ補間処理手段１２のＲＧＢ
補間処理用フィルタは偶数サイズのフィルタとする必要
がある。

【０１０２】なお、本実施形態では、ＣＣＤエリアセン
サに配設されたカラーフィルタのＲ，Ｇ，Ｂの色配列を
Ｂａｙｅｒ配列として説明したが、これに限らず、どの
ような色配列であってもよい。

【０１０３】なお、本実施形態の画像処理装置について
更に説明すると、画像処理装置は、光学ローパスフィル
タ２を介してエリアセンサ３から出力された画像データ
を画像処理する画像処理装置において、このエリアセン
サ３からのＲＧＢ画像データに基づいて生成した、ロー
パスフィルタによる理想的な周波数特性から中高域輝度
成分が減衰した低域輝度信号に対して、減衰した中高域
輝度成分を補償する中高域輝度成分補償手段を備えたも
のである。この構成により、ローパスフィルタによる理
想的な周波数特性から中高域輝度成分が減衰した実際の
低域輝度信号に対して、減衰した中高域輝度成分を補償
するので、輪郭強調処理時に、より鮮鋭な画像を得ると
共に、この鮮鋭な画像を得る際に生じるノイズやジャギ
ーを防止することができる。

【０１０４】

【発明の効果】以上により、請求項１によれば、所定周
波数（サンプリング周波数ｆｓ／２）以下の理想的な周
波数特性から中高域輝度成分が減衰した実際の低域輝度
信号に対して、減衰した中高域輝度成分を補償するた
め、輪郭強調処理時に、より鮮鋭な画像を得ると共に、
この鮮鋭な画像を得る際に生じるノイズやジャギーを防
止することができる。

【０１０５】また、請求項２によれば、高い解像度の画
像が得られると同時に、鮮鋭な画像を得る際に生じるノ
イズやジャギーを防止することができる。

【０１０６】さらに、請求項３によれば、角周波数ωが
πで振幅がゼロとなり、かつ角周波数ωがπ／２とπの
間で振幅が最大となる中高域輝度成分を容易に抽出する
ことができる。

【０１０７】さらに、請求項４によれば、フィルタリン
グ処理の効果を均一にできるので、画像を忠実に再現す
ることができる。

【０１０８】さらに、請求項５によれば、ｘ方向、ｙ方
向の演算を分離して行うことができるので、計算規模を
抑えることができるため、ハードウエアにより容易に実
現することができる。

【０１０９】さらに、請求項６によれば、中高域輝度成
分を最も損なわずに抽出することができる。

【０１１０】さらに、請求項７によれば、低域輝度信号
に対して中高域輝度成分による補償を行う際に、中高域
輝度成分の中心が各画素と画素との間にあり、低域輝度
信号の中心も各画素と画素との間にあるため、再現され
た画像にゴーストの発生を防止することができる。

【０１１１】さらに、請求項８によれば、Ｇ成分につい
てはメディアン方式で補間処理を行うことによって高域
輝度成分の減少を最小限に抑えると共に、Ｒ成分および
Ｂ成分についてはバイリニア方式で補間処理を行うこと
によってノイズを少なくすることができる。したがっ
て、輪郭がより強調されると共に、画質のよい画像を得
ることができる。

【０１１２】さらに、請求項９によれば、中域輝度成分
と高域輝度成分の割合を任意の割合にすることにより、
画像の立体感を好みに応じて調整することができる。

【０１１３】さらに、請求項１０によれば、中域、高域
輝度成分抽出手段を単一フィルタにより簡単に構成する
ことができる。

【０１１４】さらに、請求項１１によれば、例えばＣＣ
Ｄなどの撮像素子の質によって色差信号に含まれるノイ
ズの量が異なるため、ノイズの量に応じてメディアンフ
ィルタを使い分けることにより、ノイズの少ない色差信
号を生成することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態における画像処理装置の構
成を示すブロック図である。

【図２】（ａ）（ｂ）は図１の中高域輝度成分抽出手段
で用いるＹＨ抽出用フィルタ１，２の具体例を示す図で
ある。

【図３】図２のＹＨ抽出用フィルタ１，２およびそれら
の差出力の各周波数特性図である。

【図４】図１の中域、高域輝度成分抽出手段で用いる複
合輪郭強調フィルタの具体例を示す図である。

【図５】図１の第２ＲＧＢ補間手段で用いるＲＧＢ補間
フィルタであって、（ａ）はＲ，Ｂ補間フィルタの具体
例を示す図、（ｂ）はＧ補間フィルタの具体例を示す図
である。

【図６】（Ａ）〜（Ｇ）は１次元フィルタの例を示す図
である。

【図７】偶数サイズフィルタＡと奇数サイズフィルタ
Ｂ，Ｃの各周波数特性図である。

【図８】偶数サイズフィルタＡと奇数サイズフィルタ
Ｄ，Ｅの各周波数特性図である。

【図９】異なるサイズの偶数サイズフィルタの各周波数
特性図である。

【図１０】偶数サイズのフィルタにより各画素間に画素
データを生成する場合の説明図である。

【図１１】低域輝度信号、中高域輝度成分および、低域
輝度信号に中高域輝度成分を補償した輝度信号の周波数
特性図である。

【図１２】中高域輝度成分抽出、中域輝度成分抽出およ
び高域輝度成分抽出用の各フィルタ周波数特性図であ
る。

【図１３】従来の画像処理装置の第１の構成例を示すブ
ロック図である。

【図１４】Ｂａｙｅｒ配列を示す平面図である。

【図１５】図１４のＢａｙｅｒ配列の一部を示す図であ
る。

【図１６】従来の画像処理装置の第２の構成例を示すブ
ロック図である。

【図１７】（ａ）および（ｂ）は輪郭強調処理における
２次元２次微分フィルタを示す図である。

【図１８】従来の画像処理装置の第３の構成例を示すブ
ロック図である。

【図１９】Ｂａｙｅｒ配列における各色成分の復元可能
なサンプリング周波数の範囲を示す図である。

【図２０】光学ローパスフィルタと補償用フィルタの周
波数特性を示す図である。

【図２１】中域輝度成分、中高域輝度成分、高域輝度成
分補償用フィルタの周波数特性を示す図である。

【図２２】図１の中高域輝度成分抽出手段で用いるＹＨ
抽出用フィルタが１枚の場合の具体例を示す図である。

【符号の説明】

１画像処理装置２光学ローパスフィルタ３原色ＣＣＤエリアセンサ４第１ＲＧＢ補間手段（中高域輝度成分抽出用ＲＧ
Ｂ補間手段）５中高域輝度成分抽出用輝度生成手段６中高域輝度成分抽出手段７，１０乗算器８，１１加算器９中域・高域輝度成分抽出手段１２第２ＲＧＢ補間手段（低域輝度信号及び色差信
号生成用ＲＧＢ補間手段）１５低域輝度信号生成手段１６色差信号生成手段１７メディアンフィルタＹ中高域輝度成分抽出用輝度信号ＹＬ低域輝度信号ＹＨ中高域輝度成分ＥＮＨ中域・高域輝度成分Ｃｒ，Ｃｂ色差信号 α 中高域輝度成分補償用ゲイン β 中域・高域輝度成分補償用ゲイン

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 9/07 Ｈ０４Ｎ 1/40 Ｄ 9/64 １０１ＤＦターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE03 CE05 CE06 CH09 5C065 AA01 BB22 BB48 CC02 CC03 DD02 DD17 EE05 EE06 GG04 GG13 GG21 5C066 AA01 AA11 CA07 CA17 EA03 EC02 EE01 GA01 GA02 GA05 GB02 JA01 KA12 KC04 KC06 KD06 KE02 KF05 KM02 5C077 LL05 MM03 MP08 PP02 PP03 PP32 PP37 PP47 PQ03 PQ08 PQ12 RR19 TT09 5C079 HB01 LA15 LA28 LA31 MA11 NA02 NA04 PA00

Claims

【特許請求の範囲】

【請求項１】原色フィルタが形成された撮像素子から
出力されたＲＧＢ画像データを処理する画像処理装置に
おいて、該ＲＧＢ画像データに基づいて生成した、所定
周波数以下の理想的な周波数輝度特性から中高域輝度成
分が減衰した低域輝度信号に対して、減衰した中高域輝
度成分を補償する中高域輝度成分補償手段を備えた画像
処理装置。
【請求項２】原色フィルタが形成された撮像素子から
出力されるＲＧＢ画像データを処理する画像処理装置に
おいて、前記ＲＧＢ画像データに基づいて生成した第１輝度信号
から、角周波数ωがπで振幅がゼロとなり、かつ角周波
数ωがπ／２とπの間で振幅が最大となる中高域輝度成
分を抽出する中高域輝度成分抽出手段と、該ＲＧＢ画像データに基づいて生成した低域輝度信号
に、該中高域輝度成分を加えて第２輝度信号を生成する
第１合成手段とを備えた画像処理装置。
【請求項３】前記中高域輝度成分抽出手段は、少なく
とも一つの偶数サイズのフィルタを使用して前記第１輝
度信号の演算処理を行う請求項２記載の画像処理装置。
【請求項４】前記偶数サイズのフィルタは２次元フィ
ルタであり、かつ各項の係数はｘ方向およびｙ方向に対
して対称である請求項３記載の画像処理装置。
【請求項５】前記偶数サイズのフィルタは、微分効果
を有する第１ローパスフィルタと、第２ローパスフィル
タとから構成され、該第１ローパスフィルタを使用して
前記第１輝度信号の演算処理により得られた出力と、該
第２ローパスフィルタを使用して該第１輝度信号の演算
処理により得られた出力との出力差を前記中高域輝度成
分として出力する請求項３または４記載の画像処理装
置。
【請求項６】前記第１輝度信号を生成する前に、各画
素毎にＲ，Ｇ，Ｂの各成分のうち欠落している成分を補
間処理により求める第１補間手段をさらに備え、前記第１補間手段は３画素×３画素のフィルタを使用し
て該ＲＧＢ画像データの演算処理を行うことにより欠落
している成分を補間処理する請求項２〜５の何れかに記
載の画像処理装置。
【請求項７】前記低域輝度信号を生成する前に、各画
素毎にＲ，Ｇ，Ｂの各成分のうち欠落している成分を補
間処理により求める第２補間手段をさらに備え、前記第２補間手段は偶数サイズのフィルタを使用して該
ＲＧＢ画像データの演算処理を行うことにより欠落して
いる成分を補間処理する請求項２〜６の何れかに記載の
画像処理装置。
【請求項８】前記第１補間手段および第２補間手段の
少なくとも何れかは、Ｇ成分についてはメディアン方式
により、Ｒ成分およびＢ成分についてはバイリニア方式
により補間処理を行う請求項５または６記載の画像処理
装置。
【請求項９】前記第２輝度信号に基づいて中域輝度成
分および高域輝度成分の少なくとも何れかを抽出する中
域・高域輝度成分抽出手段と、該中域輝度成分および高
域輝度成分の少なくとも何れかを第２輝度信号に加えて
第３輝度信号を生成する第２合成手段とをさらに備えた
請求項２〜８の何れかに記載の画像処理装置。
【請求項１０】前記中域・高域輝度成分抽出手段はそ
の係数を調整できる一つのフィルタを使用して前記第２
輝度信号の演算処理を行う請求項９記載の画像処理装
置。
【請求項１１】前記第２補間手段からのＲＧＢ画像信
号に基づいて生成された色差信号に含まれる、前記撮像
デバイスに固有のノイズを除去するメディアンフィルタ
リング処理手段をさらに備え、前記メディアンフィルタリング処理手段は、該ノイズの
量に応じてメディアンフィルタのサイズを切り替える請
求項２〜１０の何れかに記載の画像処理装置。