JP2002077928A

JP2002077928A - 画像処理装置

Info

Publication number: JP2002077928A
Application number: JP2000256516A
Authority: JP
Inventors: Shiyoubou Chiyou; 小▲忙▼ 張; Kensuke Takai; 健介高井; Ikou Kawamura; 偉光河村; Katsuya Otoi; 克也乙井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-08-25
Filing date: 2000-08-25
Publication date: 2002-03-15
Anticipated expiration: 2020-08-25
Also published as: US7065246B2; US20020041331A1; JP3745948B2

Abstract

(57)【要約】【課題】補色フィルタを用いることにより色再現性のよ
い高感度な画像データを得ると共に、輪郭強調処理時に
生じるノイズやジャギーを低減する。【解決手段】各補間された成分からＲＧＢ生成手段５に
て変換したＲＧＢ成分に基づいて、低域輝度信号生成手
段７にて各画素毎に生成された低域輝度信号に、中高域
輝度成分抽出手段１１にて入力輝度信号Ｙｉｎから抽出
した中高域輝度成分ＹＨを加えるようにしたため、ノイ
ズやジャギーを防止して解像度の高い画像を得ることが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラ
（例えば電子スチルカメラ）などに搭載され、補色フィ
ルタを用いたＣＣＤ（電荷結合素子）エリアセンサによ
り撮像された画像データを画像処理して高画質画像を得
る画像処理装置に関する。

【０００２】

【従来の技術】従来より、ＣＣＤエリアセンサに補色フ
ィルタを用いた場合、補色フィルタは、原色フィルタに
比べて透過度が高く、輝度成分抽出時にもＧ成分が多い
ために、高感度な画像データが得られることが知られて
いる。

【０００３】ＣＣＤエリアセンサに補色フィルタを用い
た構成例として、カラービデオカメラの場合を例に挙げ
て説明する。ＣＣＤエリアセンサの受光素子面側に画素
単位で図１５に示すような補色フィルタが配設されてい
る。このＣＣＤエリアセンサは、色差順次方式ＣＣＤの
走査線出力、即ち、色信号が色差信号の形で走査線毎に
交互に得られるように画像データの読み出しが行われる
ものである。つまり、ＣＣＤエリアセンサの走査線出力
は、図１５の補色フィルタに示すように、まず、奇数フ
ィールドでは垂直方向奇数番目の画素値と次の偶数番目
の画素値を加算して読み出し、次の偶数フィールドでは
組み合わせかたを変えて、偶数番目の画素値と次の奇数
番目の画素値を加算して読み出して行くようになってい
る。例えば奇数フィールドの場合、走査線ではＹｅ＋
Ｍｇ，Ｃｙ＋Ｇｒの順に信号が得られ、走査線ではＹ
ｅ＋Ｇｒ，Ｃｙ＋Ｍｇの順に信号が得られるようになっ
ている。また、偶数フィールドの場合、走査線’では
Ｍｇ＋Ｙｅ，Ｇｒ＋Ｃｙの順に信号が得られ、走査線
’ではＧｒ＋Ｙｅ，Ｍｇ＋Ｃｙの順に信号が得られる
ようになっている。

【０００４】図１５の補色フィルタに示すＹｅ（イエ
ロ），Ｃｙ（シアン），Ｍｇ（マゼンダ），Ｇｒ（グリ
ーン）と、３原色のＲ（レッド），Ｇ（グリーン），Ｂ
（ブルー）との関係は、理想的には、以下の式（６）で
示される。

【０００５】Ｙｅ＝Ｒ＋Ｇ，Ｃｙ＝Ｇ＋Ｂ，Ｍｇ＝Ｒ＋Ｂ，Ｇｒ＝Ｇ（６）このようにして読み出された画像データは、雑音を低減
させるＣＤＳ（Correlated Double Sampling）回路、ゲ
イン調整処理を行うＡＧＣ（Automatic Gain Control）
回路、さらに分解能が例えば１０ビットのＡ／Ｄ変換回
路を介してデジタル画像データとして画像処理装置に入
力され、画像処理装置にて各種画像処理が施された後、
表示用の映像信号として出力されるようになっている。
ＣＤＳ回路、ＡＧＣ回路およびＡ／Ｄ変換回路は図１６
の色差順次方式ＣＣＤの走査線入力に含まれる。その従
来の画像処理装置として、以下、「業務用単板式カラー
カメラのデジタル信号処理システム」（東芝レビュー１
９９４Ｖｏｌ．４９Ｎｏ．１）について説明する。

【０００６】図１６は、従来のカラービデオカメラにお
ける画像処理装置の構成例を示すブロック図である。図
１６において、カラービデオカメラの信号処理システム
４００は、色差順次方式ＣＣＤの走査線入力を受ける水
平垂直輪郭強調手段４０１と、走査線入力を受けるロー
パスフィルタ（ＬＰＦ）４０２と、ローパスフィルタ
（ＬＰＦ）４０２の出力を入力するガンマ補正手段４０
３と、走査線入力を受ける色分離手段４０４と、色分離
手段４０４の出力を入力とするホワイトバランス調整手
段（ＷＢ）４０５と、ホワイトバランス調整手段４０５
の出力を入力するガンマ補正手段４０６と、ガンマ補正
手段４０６の出力を入力として色差信号Ｃｒ，Ｃｂを出
力する色差マトリックス手段４０７と、ガンマ補正手段
４０３および色差マトリックス手段４０７の各出力を入
力する定輝度処理手段４０８と、水平垂直輪郭強調手段
４０１および定輝度処理手段４０８の各出力を入力とし
て輝度信号Ｙを出力する加算手段４０９とを備えてい
る。

【０００７】水平垂直輪郭強調手段４０１は、色差順次
方式ＣＣＤの走査線入力を受けて水平垂直輪郭強調処理
を行うものである。水平輪郭強調処理は同一走査線上の
隣接画像データで行われ、例えば走査線では（Ｙｅ＋
Ｍｇ）−（Ｃｙ＋Ｇｒ）である。また、垂直輪郭強調処
理はフィード内隣接の走査線間の画像データで行われ、
例えば走査線とでは（Ｙｅ＋Ｍｇ）−（Ｙｅ＋Ｇ
ｒ）である。

【０００８】ローパスフィルタ（ＬＰＦ）４０２は、走
査線入力を受けてその高域輝度成分をカットして広域輝
度成分Ｙ１を出力するものである。この広域輝度成分Ｙ
１は、各走査線について４画素毎に下記の式（７）で生
成されている。なお、広域輝度成分Ｙ１の中心は各走査
線内の４画素の中心である。ここで、式（７）の計算
は、図１５の走査線の４画素毎に行われる。

【０００９】Ｙ１＝Ｙｅ＋Ｃｙ＋Ｍｇ＋Ｇｒ（７）ガンマ補正手段４０３は、ローパスフィルタ４０２から
の広域輝度成分Ｙ１の出力をガンマ補正処理するもので
ある。ガンマ補正処理とは、画像を出力するディスプレ
イやプリンタ特性と一致させる処理である。

【００１０】色分離手段４０４は、例えば走査線のＹ
ｅ，Ｃｙ，Ｍｇ，Ｇｒ成分と、走査線に隣接する走査
線のＹｅ，Ｃｙ，Ｇｒ，Ｍｇ成分とから、位置の異な
るＹｅ成分とＹｅ成分，・・を同じと考えて、Ｙｅ，Ｃ
ｙ，Ｍｇ，Ｇｒ成分の色分離を行うと共に、色分離で求
めたＹｅ，Ｃｙ，Ｍｇ，Ｇｒ成分に基づいて、上記式
（６）より８画素毎の３原色のＲ，Ｇ，Ｂ成分に変換す
るものである。

【００１１】ホワイトバランス調整手段（ＷＢ）４０５
は、色分離手段４０４によって変換されたＲＧＢ成分に
対して、画像の色合いを正しくするために、照明の色温
度に合わせて白色を調節するようになっている。

【００１２】ガンマ補正手段４０６は、ホワイトバラン
ス調整手段（ＷＢ）４０５からの画像データ出力をガン
マ補正処理するものである。

【００１３】色差マトリックス手段４０７は、変換した
Ｒ，Ｇ，Ｂ成分から、以下の式（８）にて低域輝度信号
Ｙ２（定輝度信号Ｙ２ともいう）を求めると共に、色差
信号Ｃｒ，Ｃｂを下記の式（９）にて求めるようになっ
ている。

【００１４】Ｙ２＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ（８）Ｃｒ＝Ｒ−Ｙ２Ｃｂ＝Ｂ−Ｙ２（９）定輝度処理手段４０８は、ガンマ補正手段４０３にてガ
ンマ補正処理が施された広域輝度成分Ｙ１の低域部を、
低域輝度信号Ｙ２に置き換える定輝度処理をするもので
ある。

【００１５】加算手段４０９は、水平垂直輪郭強調手段
４０１からの水平垂直輪郭強調処理信号に、定輝度処理
手段４０８から出力される輝度信号を加算して輝度信号
Ｙとして出力するようになっている。

【００１６】

【発明が解決しようとする課題】上記カラービデオカメ
ラの信号処理システム４００では、図１５に示すよう
に、２走査線上の画素のデータを加算して読み出すた
め、解像度が悪くなるが、ディスプレイの解像度も同程
度のため、あまり問題とはならなかった。しかし、高解
像度が必要なデジタルスチルカメラの信号処理システム
では１走査線毎に画素データを読み出す必要がある。

【００１７】図１５または図２に示す補色フィルタ配列
に対して、実際のサンプリング周波数をｆｓ＝１／△ｘ
＝１／△ｙとする。なお、△ｘは横方向（ｘ方向）の画
素幅（画素ピッチ）、△ｙは縦方向（ｙ方向）の画素幅
（画素ピッチ）である。

【００１８】サンプリング定理により、元の画像に含ま
れる空間周波数のうちで復元可能な最高周波数は、サン
プリング周波数ｆｓ（＝１／△ｘ＝１／△ｙ）の半分で
あることが解る。したがって、復元可能な最高周波数ｆ
ｓ／２よりも高い周波数成分はノイズとして現れること
になる。

【００１９】この問題を避けるために、ＣＣＤエリアセ
ンサに光学ローパスフィルタ（折返しノイズ防止フィル
タ）を付けるようにしている。この光学ローパスフィル
タにより、画像データのｆｓ／２以上の周波数成分をカ
ットすると同時にフィルタが理想的でないためｆｓ／２
以下の周波数成分も減衰してしまう。図８に示すよう
に、グラフａは理想的なローパスフィルタの周波数特性
（ｆｓ／２以上の周波数成分をカット）であるが、実際
には、グラフｂに示すローパスフィルタの周波数特性と
なる。また、ローパスフィルタによって減衰した高域輝
度成分を回復して理想的なグラフａの特性に近づけるた
めに要求される補償用フィルタの周波数特性としては、
グラフｃが望ましいが、本発明では、新たに抽出する中
高域輝度成分に中域輝度成分と高域輝度成分とを任意の
割合で合成し、グラフＤ１に近い周波数特性を有する補
償用フィルタによって補償する。

【００２０】また、図２に示す補色フィルタ配列の各画
素に対して欠落した３つの各色成分を補間する際にも、
高域輝度成分が少なくなるので、減衰した高域輝度成分
を補償することは鮮鋭な画像を作るには不可欠な処理で
ある。通常、この補償は図９に示すように中域輝度成分
補償用フィルタの周波数特性（グラフｄ）による補償と
高域輝度成分補償用フィルタの周波数特性（グラフｃ）
による補償とに分けて行っている。図９において、グラ
フｂはローパスフィルタ（折返しノイズ防止用フィル
タ）および補間処理後の総合周波数特性であり、グラフ
ａは補償処理を含めた画像処理システム全体の理想周波
数特性である。

【００２１】前述した従来技術では、図９の中域輝度成
分補償用フィルタの周波数特性曲線（グラフｄ）と高域
輝度成分補償用フィルタの周波数特性曲線（グラフｃ）
とによって中域輝度成分と高域輝度成分の補償を行って
いる。グラフｄの振幅の最大値は角周波数ωがπ／２
（ｆｓ／４に相当）の処にあり、グラフｃの振幅の最大
値は角周波数ωがπ（ｆｓ／２に相当）の処にある。よ
って、角周波数ωがπ／２の処に振幅の最大値がある曲
線ｄにより中域輝度成分補償を行い、角周波数ωがπの
処に振幅の最大値がある曲線ｃにより高域輝度成分補償
を行う。

【００２２】しかし、鮮鋭な画像を得るための輪郭強調
処理において、高域輝度成分補償により画像の高域輝度
成分が強調されると、ノイズ成分も強調されることにな
る。このため、角周波数ωがｆｓ／２より高い成分は全
てノイズとなる。この結果、画像の解像度を上げようと
するとノイズやジャギー成分が目立ってくる。なお、ジ
ャギーとは各種ノイズのうちの一種類で最も目につきや
すいノイズのことである。なお、ジャギー（Ｊａｇｇｙ
ｏｒＺｉｐｎｏｉｓｅ）とは各種ノイズのうちの一
種類で、輪郭部に現れる階段状のノイズのことである。

【００２３】本発明は、上記従来の事情に鑑みて為され
たもので、補色フィルタを用いることにより高感度な画
像を得ると共に、鮮鋭な画像を得る際に生じるノイズや
ジャギーを低減することができる画像処理装置を提供す
ることを目的とする。

【００２４】

【課題を解決するための手段】本発明の画像処理装置
は、補色フィルタが形成された撮像素子から出力される
補色画像データを処理する画像処理装置において、補色
画像データに基づいて生成した、所定周波数以下の理想
的な周波数特性から中高域輝度成分が減衰した低域輝度
信号に対して、減衰した中高域輝度成分を補償する中高
域輝度成分補償手段を備えたものであり、そのことによ
り上記目的が達成される。なお、中高域輝度成分とは、
中高域周波数成分を主な成分とする輝度成分である。ま
た、低域輝度信号とは低域周波数成分を主な成分とする
輝度信号である。

【００２５】この構成により、所定周波数（サンプリン
グ周波数ｆｓ／２）以下の理想的な周波数特性から中高
域輝度成分が減衰した低域輝度信号に対して、減衰した
中高域輝度成分を補償するので、補色フィルタを用いる
ことにより高感度な画像を得ると共に、鮮鋭な画像を得
る際に生じるノイズやジャギーを低減することが可能と
なる。

【００２６】また、本発明の画像処理装置は、補色フィ
ルタが形成された撮像素子から出力される補色画像デー
タを処理する画像処理装置において、隣接する４画素か
らの補色画像データに基づいて生成した第１輝度信号か
ら、角周波数ωがπで振幅がゼロとなり、かつ角周波数
ωがπ／２とπの間で振幅が最大となる中高域輝度成分
を抽出する中高域輝度成分抽出手段と、この補色画像デ
ータに基づいて生成した低域輝度信号に、前記中高域輝
度成分を加えて第２輝度信号を生成する第１合成手段と
を備えたものであり、そのことにより上記目的が達成さ
れる。

【００２７】この構成により、中高域輝度成分の補償を
行うので、高い解像度の画像が得られると同時に、鮮鋭
な画像を得る際に生じるノイズやジャギーを防止するこ
とが可能となる。

【００２８】また、好ましくは、本発明の画像処理装置
における中高域輝度成分抽出手段は、少なくとも一つの
偶数サイズのフィルタを使用して第１輝度信号の演算処
理を行う。

【００２９】この構成により、角周波数ωがπで振幅が
ゼロとなり、かつ角周波数ωがπ／２とπの間で振幅が
最大となる中高域輝度成分を容易に抽出することが可能
となる。

【００３０】さらに、好ましくは、本発明の画像処理装
置における偶数サイズのフィルタは２次元フィルタであ
り、かつ各項の係数はｘ方向およびｙ方向に対して対称
である。

【００３１】この構成により、フィルタリング処理の効
果を均一にできるので、画像を忠実に再現することが可
能となる。

【００３２】さらに、好ましくは、本発明の画像処理装
置における偶数サイズのフィルタは、微分効果を有する
第１ローパスフィルタと、第２ローパスフィルタとから
構成され、第１ローパスフィルタを使用して第１輝度信
号の演算処理を行うことにより得られた出力と、第２ロ
ーパスフィルタを使用して第１輝度信号の演算処理を行
うことにより得られた出力との出力差を中高域輝度成分
として出力する。

【００３３】この構成により、ｘ方向、ｙ方向の演算を
分離して行うことができるので、計算規模を抑えること
ができるため、ハードウエアにより容易に実現すること
が可能となる。

【００３４】さらに、好ましくは、本発明の画像処理装
置において、補色画像データのうち、隣接する４画素か
らの補色画像データを加えることにより、第１輝度信号
を生成する第１輝度信号生成手段をさらに備えている。

【００３５】この構成により、補色フィルタでは、隣接
する４画素毎に補色画像データを加えることにより、中
高域輝度成分抽出手段入力信号Ｙｉｎが得られる。した
がって、補間処理をすることによって失われる高域輝度
成分が失われないので、鮮鋭な画像を得ることが可能と
なる。

【００３６】さらに、好ましくは、本発明の画像処理装
置において、低域輝度信号を生成する前に、各画素毎に
Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分のうち欠落している成
分を補間して補色画像信号を求める補間手段をさらに備
え、この補間手段は奇数サイズのフィルタを使用して該
補色画像データの演算処理をすることにより欠落してい
る成分を補間する。

【００３７】この構成により、低域輝度信号に対して中
高域輝度成分による補償を行う際に、中高域輝度成分の
中心が各画素の中心にあるため、低域輝度信号の中心も
各画素の中心にしておかないと、再現された画像にゴー
ストが発生する。

【００３８】さらに、好ましくは、本発明の画像処理装
置において、補間手段の後段に配設され、補間手段から
の補色画像信号に基づいてＲＧＢ画像信号を生成するＲ
ＧＢ生成手段を有する。

【００３９】この構成により、低域輝度信号を生成する
ためのＲＧＢ画像信号が補色画像信号から容易に得られ
る。

【００４０】さらに、好ましくは、本発明の画像処理装
置におけるＲＧＢ生成手段は、式（数２）に基づいて前
記補色画像信号からＲＧＢ画像信号を求める。

【００４１】

【数２】この構成により、上記の式（数２）のパラメータＣｉｊ
の値を調節することによって、製造メーカなどの違いな
どに基づく撮像素子特性の差が調節可能である。

【００４２】さらに、好ましくは、本発明の画像処理装
置において、第２輝度信号に基づいて中域輝度成分を抽
出する中域輝度成分抽出手段と、第２輝度信号に基づい
て高域輝度成分を抽出する高域輝度成分抽出手段と、中
域輝度成分および高域輝度成分の少なくとも何れかを第
２輝度信号に加えて第３輝度信号を生成する第２合成手
段とをさらに備える。なお、中域輝度成分とは、中域周
波数成分を主な成分とする輝度成分である。また、高域
輝度成分とは、高域周波数成分を主な成分とする輝度成
分である。

【００４３】この構成により、中域輝度成分と高域輝度
成分の割合を任意の割合にすることにより、画像の立体
感を好みに応じて調整することが可能となる。

【００４４】さらに、好ましくは、本発明の画像処理装
置において、補色画像データに基づいて生成された色差
信号に含まれるノイズを除去するメディアンフィルタリ
ング処理手段をさらに備え、メディアンフィルタリング
処理手段はサイズの異なる複数のメディアンフィルタを
有し、色差信号の変化量に応じて該メディアンフィルタ
のサイズを切り替える。

【００４５】この構成により、色差信号の変化量に応じ
て、サイズの異なるメディアンフィルタを使い分けるこ
とにより、偽色の発生を防止することが可能となる。

【００４６】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。

【００４７】図１は、本発明の一実施形態における画像
処理装置の構成を示すブロック図である。図１におい
て、画像処理装置１は、光学ローパスフィルタ２と、補
色ＣＣＤエリアセンサ３と、成分を補間するための低域
輝度信号生成用Ｙｅ，Ｃｙ，Ｇｒ，Ｍｇ補間処理手段４
（以下低域輝度信号生成用補間処理手段４という）と、
ＲＧＢ生成手段５と、ホワイトバランス調整・ガンマ補
正手段６と、低域輝度信号生成手段（定輝度信号生成手
段ともいう）７と、色差信号Ｃｒ，Ｃｂを生成する色差
信号生成手段８と、適応型メディアンフィルタリング処
理手段９とを備えている。

【００４８】光学ローパスフィルタ２は、実際のサンプ
リング周波数ｆｓの１／２以上の高域輝度成分をカット
するものである。サンプリング周波数ｆｓは、図２に示
すように、ｆｓ＝１／△ｘ＝１／△ｙである。△ｘ，△
ｙは画素ピッチである。

【００４９】補色ＣＣＤエリアセンサ３は、複数の受光
素子がマトリクス状に配列されており、その受光素子面
側に補色カラーフィルタが配設されている。この補色カ
ラーフィルタは、例えば図２に示すような色配列となっ
ている。なお、補色ＣＣＤエリアセンサ３から読み出さ
れた画像データは、例えば、雑音を低減させるＣＤＳ回
路、ゲイン調整処理を行うＡＧＣ回路、さらに分解能が
例えば１０ビットのＡ／Ｄ変換回路を介して画像データ
として出力されるようになっている。

【００５０】低域輝度信号生成用補間処理手段４は、補
色ＣＣＤエリアセンサ３からの画像データの各画素毎の
成分を用いて各画素毎の欠落成分を補間処理する。図３
に示す補色配列に示すように、例えば欠落成分がＧｒ成
分の場合、下記の式（１１）〜式（１３）を用いて補間
処理を行う。また、Ｙｅ、Ｃｙ、Ｍｇ成分はＧｒ成分と
同じパターン配置をとっているので、補間方法はＧｒ成
分の場合と同様である。

【００５１】Ｇｒ５＝（Ｇｒ４＋Ｇｒ６）/２（１１）Ｇｒ７＝（Ｇｒ４＋Ｇｒ１０）/２（１２）Ｇｒ８＝（Ｇｒ４＋Ｇｒ６＋Ｇｒ１０＋Ｇｒ１２）/４（１３）以上の補間処理は、低域輝度信号生成用補間処理手段４
を構成する図４に示すＹｅＣｙＧｒＭｇ補間フィルタを
用いている。ＹｅＣｙＧｒＭｇ補間フィルタは、画素デ
ータが画素の中心に来るように奇数サイズ３画素×３画
素のフィルタとしている。

【００５２】ＹｅＣｙＧｒＭｇ補間フィルタの使い方に
ついて説明する。例えば図３に示す補色フィルタ配列の
場合、Ｙｅ５、Ｃｙ５、Ｍｇ５を以下の各式により順次
求める。

【００５３】Ｙｅ５＝（１／４）×Ｙｅ１＋（１／４）
×Ｙｅ３＋（１／４）×Ｙｅ７＋（１／４）×Ｙｅ９このとき、Ｙｅ２＝Ｙｅ４＝Ｙｅ６＝Ｙｅ８＝０Ｃｙ５＝（１／２）×Ｃｙ２＋（１／２）×Ｃｙ８このとき、Ｃｙ１＝Ｃｙ３＝Ｃｙ４＝Ｃｙ５＝Ｃｙ６＝
Ｃｙ７＝０Ｍｇ５＝１×Ｍｇ５このとき、Ｍｇ１＝Ｍｇ２＝Ｍｇ３＝Ｍｇ４＝Ｍｇ６＝
Ｍｇ７＝Ｍｇ８＝Ｍｇ９＝０また、ＹｅＣｙＧｒＭｇ補間フィルタを３画素×３画素
のフィルタとしたのは、３画素×３画素よりも大きいフ
ィルタを用いて補間処理すると、解像度および色再現性
が低下し、またサイズ１画素×１画素では補間処理がで
きないため、サイズ３画素×３画素のフィルタがベスト
であるからである。なお、ここで、奇数サイズのフィル
タを使用しなければならない理由は後述する。

【００５４】ＲＧＢ生成手段５は、低域輝度信号生成用
補間処理手段４にて補間された成分を含む補色画像信号
であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分に基づいて、下
記の式（１４）より８画素毎の３原色のＲ，Ｇ，Ｂ成分
からなるＲＧＢ画像信号を生成するものである。

【００５５】ホワイトバランス調整・ガンマ補正手段６は、変換され
たＲＧＢ画像信号に対して、画像の色合いを正しくする
ために、照明の色温度に合わせて白色を調節することで
ホワイトバランス調整をし、ホワイトバランス調整後の
出力に対してガンマ補正処理をするものである。

【００５６】低域輝度信号生成手段７は、ＲＧＢ生成手
段５で得られたＲＧＢ画像信号を所定の割合で加えるこ
とによって低域輝度信号ＹＬを生成するものである。Ｒ
ＧＢ画像信号から、以下の式（１５）にて低域輝度信号
ＹＬを求めるようになっている。本発明では、従来技術
の欄で説明したカラービデオカメラの信号処理システム
の場合と異なり、画素毎に補間処理を行うため、生成し
た低域輝度信号ＹＬの解像度がよくなる。

【００５７】ＹＬ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ（１５）色差信号生成手段８は、変換されたＲ，Ｇ，Ｂ成分か
ら、以下の式（１６）にて色差信号Ｃｒ，Ｃｂを求める
ようになっている。画素毎に補間処理を行うため、生成
した色差信号Ｃｒ，Ｃｂには色ノイズが少ない。

【００５８】Ｃｒ＝Ｒ−ＹＬＣｂ＝Ｂ−ＹＬ（１６）適応型メディアンフィルタリング処理手段９は、色差信
号Ｃｒ，Ｃｂから色ノイズを防ぐために、色差信号の変
化が小さい場合には５画素×５画素の画素領域を選択
し、色差信号の変化が大きい場合には３画素×３画素の
画素領域を選択するように、下記の適応型メディアンフ
ィルタリング処理手段９は下記の式（１７）で色差信号
を処理するようになっている。ただし、Ｍａｘは５画素
×５画素領域での色差信号Ｃｒ，Ｃｂの最大値である。
Ｍｉｎは５画素×５画素の画素領域での色差信号Ｃｒ，
Ｃｂの最小値である。Ｔｈは閾値である。

【００５９】色差信号の変化が小さい場合は、色差信号
を求める画素を中心とした５画素×５画素の画素（計２
５画素）について求め、下記式（１７）により中央値を
求める。その求めた中央値を、求める画素の色差信号に
おきかえる。また、色差信号の変化が大きい場合は、色
差信号を求める画素を中心とした３画素×３画素の画素
（計９画素）について求め、下記式（１７）により中央
値を求める。その求めた中央値を、求める画素の色差信
号におきかえる。水平または垂直方向に１画素ずらし、
同様にして、この処理を全画素について順次行う。

【００６０】Ｃｒ＝Ｍｅｄｉａｎ５×５｛Ｃｒｉｊ｝Ｃｂ＝Ｍｅｄｉａｎ５×５｛Ｃｂｉｊ｝（Ｍａｘ-Ｍｉｎ）≦Ｔｈ 1≦ｉ, ｊ≦５Ｃｒ＝Ｍｅｄｉａｎ３×３｛Ｃｒｉｊ｝Ｃｂ＝Ｍｅｄｉａｎ３×３｛Ｃｂｉｊ｝（Ｍａｘ-Ｍｉｎ）>Ｔｈ 1≦ｉ, ｊ≦５（１７）また、画像処理装置１は、中高域輝度成分補償用輝度生
成手段１０と、中高域輝度成分抽出手段１１と、第１合
成手段としての乗算手段１２および加算手段１３と、中
域輝度成分抽出手段１４と、高域輝度成分抽出手段１５
と、第２合成手段としての乗算手段１６，１７および加
算手段１８とを備えている。これら中高域輝度成分補償
用輝度生成手段１０および中高域輝度成分抽出手段１１
により中高域輝度成分補償手段が構成されている。

【００６１】中高域輝度成分補償用輝度生成手段１０
は、４画素毎に補色画像データであるＹｅ，Ｃｙ，Ｍ
ｇ，Ｇｒの各成分を加えて中高域輝度成分抽出手段入力
輝度信号（以下、入力輝度信号という）Ｙｉｎを生成す
るものである。つまり、中高域輝度成分ＹＨを抽出する
前に、隣接する４画素毎に補色画像データであるＹｅ、
Ｃｙ、Ｍｇ、Ｇｒの各成分から生成された入力輝度信号
Ｙｉｎを下記の式（１８）を用いて生成する。

【００６２】Ｙｉｎ＝（Ｙｅ＋Ｃｙ＋Ｇｒ＋Ｍｇ）/４（１８）ここで、上記の式（１８）は２画素×２画素の偶数サイ
ズのフィルタを使用して処理することを表しているの
で、各画素データの位置は画素と画素の間にある。

【００６３】中高域輝度成分抽出手段１１は、中高域輝
度成分補償用輝度生成手段１０で生成した入力輝度信号
Ｙｉｎに、図５（ａ）および図５（ｂ）のＹＨ抽出用フ
ィルタ１，２を使用して中高域輝度成分ＹＨを抽出する
ようになっている。つまり、中高域輝度成分抽出手段１
１は、図５（ａ）の６画素×６画素のＹＨ抽出用フィル
タ１からの出力と、図５（ｂ）の４画素×４画素のＹＨ
抽出用フィルタ２からの出力との差出力として中高域輝
度成分ＹＨを出力するものである。このように、各フィ
ルタへの入力信号が同じであるので、ＹＨ抽出用フィル
タ１の出力からＹＨ抽出用フィルタ２の出力を引くと中
高域輝度成分ＹＨの高周波数成分にノイズが少ない中高
域輝度成分ＹＨが得られる。ＹＨ抽出用フィルタ１，２
におけるｘは横方向の演算、ｙは縦方向の演算を指して
いる。

【００６４】図５（ａ）のＹＨ抽出用フィルタ１の特長
は、まず、微分効果を有するローパスフィルタ（負の係
数が含まれている）、次に、ｘ、ｙ共、偶数サイズ（８
画素×８画素、１０画素×１０画素などでもよい）、さ
らに、正方形（ｘ、ｙの数が同一）が望ましいが、例え
ばｘ方向を強調したいのであれば、横長（ｘの数がｙの
数よりも多い）でもよく、ｙ方向を強調したいのであれ
ば、縦長（ｙの数がｘの数よりも多い）でもよく、さら
には、各項の係数はフィルタのｘ方向およびｙ方向に対
して対称であることである。また、図５（ｂ）のＹＨ抽
出用フィルタ２の特長は、ローパスフィルタ（正の係数
のみ）、次に、ｘ、ｙ共、偶数サイズ（ただし、図５
（ａ）のＹＨ抽出用フィルタ１のサイズ以下）、さら
に、正方形が望ましいが、横長や縦長の矩形でもよい。
また、各項の係数はフィルタのｘ方向およびｙ方向に対
して対称であるため、フィルタリング処理の効果を均一
にすることができるので、画像を忠実に再現することが
できる。

【００６５】このように、ＹＨ抽出用フィルタを２枚の
フィルタで構成することによって、ｘ方向とｙ方向の演
算を分離することができて、ハード化しやすくなる。図
６に図５のＹＨ抽出用フィルタ１，２およびそれらの差
出力の周波数特性を示している。図６において、グラフ
ｈはＹＨ抽出用フィルタ１の周波数特性、グラフｉはＹ
Ｈ抽出用フィルタ２の周波数特性であり、グラフｊは、
グラフｈとグラフｉとの差信号からなる中高域輝度成分
ＹＨの周波数特性である。なお、ここでは、ＹＨ抽出用
フィルタを２枚のフィルタで構成したが、ＹＨ抽出用フ
ィルタを１枚のフィルタで構成することもできる。その
フィルタの係数は、図１７に示す通りである。この場合
には計算規模が増大する。

【００６６】乗算器１２は、中高域輝度成分抽出手段１
１で抽出した中高域輝度成分ＹＨに対して、調節係数で
あるゲインαの調整で輝度信号に補助的な補償を行うも
のである。

【００６７】加算器１３は、所定の倍率のゲインαがか
けられた中高域輝度成分αＹＨを、低域輝度信号生成手
段７からの低域輝度信号ＹＬに加算することにより輝度
信号（ＹＬ＋αＹＨ）を得るものである。

【００６８】中域輝度成分抽出手段１４は、輝度信号
（ＹＬ＋αＹＨ）から中域輝度成分ＥＮＨ１を抽出する
ものである。中域輝度成分抽出用フィルタは例えば図７
（ａ）に示している。

【００６９】高域輝度成分抽出手段１５は、輝度信号
（ＹＬ＋αＹＨ）から高域輝度成分ＥＮＨ２を抽出する
ものである。高域輝度成分抽出用フィルタは例えば図７
（ｂ）に示している。なお、高域輝度成分抽出用フィル
タと中域輝度成分抽出用フィルタとは、１枚のフィルタ
の使用領域を使い分けることによって兼用してもよい
し、２枚のフィルタを高域輝度成分抽出用と中域輝度成
分抽出用として別々に使ってもよい。

【００７０】乗算手段１６は、中域輝度成分ＥＮＨ１に
対して、調節係数であるゲインβ１により補助的な補償
を行うものである。

【００７１】乗算手段１７は、高域輝度成分ＥＮＨ２に
対して、調節係数であるゲインβ２により補助的な補償
を行うものである。

【００７２】加算器１８は、加算器１３からの輝度信号
（ＹＬ＋αＹＨ）、乗算器１６からの中域輝度成分（β
１ＥＮＨ）および、乗算器１７からの高域輝度成分（β
２ＥＮＨ）を合成することにより、輪郭強調処理を行っ
て更に画像の解像度を向上させるものである。

【００７３】ここで、本発明の原理について詳細に説明
する。

【００７４】解像度の向上に関しては、以下、１次元の
モデルを使って簡単に分析する。折り返しノイズの防止
のため、補色ＣＣＤエリアセンサ３の受光素子面側に光
学ローパスフィルタ２が被せてある。この光学ローパス
フィルタ２の画像データの周波数特性への影響を図８に
示している。図８において、グラフａは光学ローパスフ
ィルタ２の理想的な周波数特性であり、グラフｂは光学
ローパスフィルタ２の実際の周波数特性である。光学ロ
ーパスフィルタ２の影響を無くすため、理論的にはグラ
フｂの中域輝度成分から高域輝度成分の低下を打ち消す
ための補償用フィルタの周波数特性はグラフｃになるこ
とが望ましい。しかし、本発明では、新たに抽出する中
高域輝度成分に中域輝度成分と高域輝度成分とを任意の
割合で合成し、グラフＤ１に近い周波数特性を有する補
償用フィルタによって補償する。

【００７５】図９には中域輝度成分、中高域輝度成分、
高域輝度成分補償用フィルタの周波数特性を示してい
る。図９において、グラフＤ２は図８のグラフＤ１に相
当する目標周波数特性である。グラフｂは、光学ローパ
スフィルタ２および補間処理などの影響を受けて、中域
輝度成分から高域輝度成分にかけて減衰した画像信号の
周波数特性である。グラフｃは高域輝度成分補償用フィ
ルタ（図７（ｂ））、グラフｄは中域輝度成分補償用フ
ィルタ（図７（ａ））、グラフｅは中高域輝度成分補償
用フィルタ（図５）を使用した周波数特性である。中高
域輝度成分補償用フィルタ（図５）を主な強調手段とし
て使用し、高域輝度成分補償用フィルタ（図７（ｂ））
と中域輝度成分補償用フィルタ（図７（ａ））を補助的
な補償手段として使用している。

【００７６】画像処理装置の伝達特性を定量的に分析す
るため、上記各２次元フィルタを図１０の１次元の各等
価フィルタ（Ａ）〜（Ｅ）に換算して説明する。

【００７７】図５の２次元のＹＨ抽出用フィルタ１，２
は、図１０の１次元フィルタ（Ａ）に直すことができ
る。この１次元フィルタの伝達関数は下記の式（１９）
に示している。

【００７８】Ｈ（ｚ）＝ｚ^-2.5−５ｚ^-1.5＋４ｚ^-0.5＋４ｚ^0.5−５ｚ^1.5+ｚ^2.5 ＝８ｃｏｓ（０．５ω）−１０ｃｏｓ（１．５ω）＋２ｃｏｓ（２．５ω ）（１９）ここでは、ｚ＝ｅ^jω ＝ｃｏｓ（ω）＋ｊｓｉｎ（ω） ω＝２πｆ図７（ｂ）の２次元高域輝度成分抽出用フィルタは図１
０の１次元フィルタ（Ｂ）に直すことができる。その１
次元フィルタの伝達関数は下記の式（２０）になる。

【００７９】Ｈ（ｚ）＝−ｚ^-1＋２−ｚ＝２−２ｃｏｓ（ω）（２０）図７（ａ）に２次元中域輝度成分抽出用フィルタは図１
０の１次元フィルタ（Ｃ）に直すことができる。その１
次元フィルタの伝達関数は下記の式（２１）である。

【００８０】Ｈ（ｚ）＝−ｚ^-2＋２−ｚ² ＝２−２ｃｏｓ（２ω）（２１）図４のＹｅＣｙＧｒＭｇ補間用の２次元フィルタは、図
１０の１次元フィルタ（Ｄ）に直すことができる。その
１次元フィルタの伝達関数は下記の式（２２）である。

【００８１】Ｈ（ｚ）＝ｚ^-1＋２＋ｚ＝２＋２ｃｏｓ（２ω）（２２）上記式（１８）によって入力輝度信号Ｙｉｎを得るため
の２次元フィルタは、図１０のグラフの１次元フィルタ
（Ｅ）に直すことができる。その１次元フィルタの伝達
関数は下記の式（２３）である。

【００８２】Ｈ（ｚ）＝＋ｚ^-0.5＋ｚ^0.5 ＝２ｃｏｓ（０．５ω）（２３）図１０の１次元フィルタに示す中高域輝度成分抽出用フ
ィルタ（Ａ）の式（１９）、高域輝度成分抽出用フィル
タ（Ｂ）の式（２０）および、中域輝度成分抽出用フィ
ルタ（Ｃ）の式（２１）の各周波数特性を図１１に表示
している。図１１において、グラフＡは中高域輝度成分
抽出用フィルタの周波数特性であり、グラフＢは高域輝
度成分抽出用フィルタの周波数特性であり、グラフＣは
中域輝度成分抽出用フィルタの周波数特性である。ここ
では、比較しやすいように、各グラフＡ〜Ｃを正規化処
理している。

【００８３】また、図１２のグラフＤは図１０の１次元
フィルタに示す低域輝度信号生成用補間処理フィルタの
式（２２）の周波数特性を示している。また、グラフＥ
はＹＨ抽出用フィルタの入力輝度信号Ｙｉｎ生成用処理
フィルタの式（２３）の周波数特性を示している。

【００８４】図１３のグラフＦは、低域輝度信号ＹＬに
中高域輝度成分ＹＨを補償した輝度信号（ＹＬ＋ＹＨ）
の周波数特性を示している。比較のため、低域輝度信号
ＹＬの周波数特性をグラフＤに再表示している。

【００８５】図１４は輝度信号（ＹＬ＋ＹＨ）の周波数
特性をグラフＦに表示し、高域輝度成分補償用フィルタ
の周波数特性をグラフＢに表示し、中域輝度成分補償用
フィルタの周波数特性をグラフＣに表示している。図１
に示すように調節係数（ゲインα，β１，β２）の調節
により、図９の目標周波数であるグラフＤ２の周波数特
性により近づくことができる。ここで、中域輝度成分と
高域輝度成分補償は中高域輝度成分ＹＨに適用するので
はなく、輝度信号（ＹＬ＋ＹＨ）に適用する理由は輝度
信号（ＹＬ＋ＹＨ）のＳ／Ｎ比が中高域輝度成分ＹＨよ
り高いためである。

【００８６】図９のグラフｅに示す中高域輝度成分補償
用フィルタの周波数特性をメインとし、中域輝度成分補
償用フィルタの周波数特性（グラフｄ）と高域輝度成分
補償用フィルタの周波数特性（グラフｃ）とによって補
助的に補償する。中高域輝度成分を補償できるフィルタ
の周波数特性は、角周波数ωがπ／２〜πの間に振幅の
最大値があって、角周波数ωがπのところで振幅がゼロ
になることである。この条件を満たすフィルタは、図１
１のグラフＡに示された周波数特性を持つ偶数サイズの
フィルタとする必要がある。

【００８７】ここで、低域輝度信号生成用補間処理手段
４のＹｅＣｙＧｒＭｇ補間フィルタとして奇数サイズの
フィルタを使用するのは、低域輝度信号ＹＬに中高域輝
度成分ＴＨを加える加算器１３で、画素データの位置を
合わせる必要があるからである。即ち、中高域輝度成分
抽出手段１１のＹＨ抽出用フィルタは既に述べたように
偶数サイズでなければならず、また中高域輝度成分補償
用輝度生成手段１０で用いるフィルタも既に述べたよう
に偶数サイズ（２画素×２画素）である。したがって、
抽出された中高域輝度成分ＹＨの画素データは各画素の
中心にある。このため、低域輝度信号生成用補間処理手
段４で用いるＹｅＣｙＧｒＭｇ補間フィルタを奇数サイ
ズとすることにより、低域輝度信号ＹＬの画素データも
各画素の中心に作ることができるので、低域輝度信号Ｙ
Ｌの画素データの位置を中高域輝度成分ＹＨの画素デー
タの位置と合わせることができる。

【００８８】上記構成により、入射光が、光学ローパス
フィルタ２で実際のサンプリング周波数ｆｓの１／２以
上の成分がカットされた状態で、補色フィルタを介して
補色ＣＣＤエリアセンサ３に入射する。補色ＣＣＤエリ
アセンサ３から画像データが読み出され、低域輝度信号
生成用補間処理手段４により欠落成分を補間する。ＲＧ
Ｂ生成手段５によって補色画像信号であるＹｅ，Ｃｙ，
Ｍｇ，Ｇｒの各成分に基づいてＲ，Ｇ，Ｂ成分からなる
ＲＧＢ画像信号を生成する。さらに、ＲＧＢ画像信号は
ホワイトバランス調整さらにガンマ補正が為された後
に、低域輝度信号生成手段７にて低域輝度信号ＹＬが生
成される。

【００８９】また、ガンマ補正されたＲＧＢ画像信号か
ら色差信号生成手段８にて色差信号Ｃｒ，Ｃｂを求めた
後に、適応型メディアンフィルタリング処理手段９にお
いて、色差信号の変化が小さい場合には５画素×５画素
の画素領域を選択し、色差信号の変化が大きい場合には
３画素×３画素の画素領域を選択する式（１７）によっ
て表される適応型メディアンフィルタリング処理によっ
て、色差信号Ｃｒ，Ｃｂからノイズを消して偽色を防ぐ
ことができる。

【００９０】一方、中高域輝度成分補償用輝度生成手段
１０において、４画素毎に補色画像データであるＹｅ，
Ｃｙ，Ｍｇ，Ｇｒの各成分を加えて入力輝度信号Ｙｉｎ
を生成し、この入力輝度信号Ｙｉｎから中高域輝度成分
抽出手段１１にて偶数マスクサイズのバンドパスフィル
タである中高域輝度成分抽出用フィルタを使用して中高
域輝度成分ＹＨを抽出する。さらに、中高域輝度成分抽
出手段１１で抽出した中高域輝度成分ＹＨに対してゲイ
ンαで調整した中高域輝度成分αＹＨを、低域輝度信号
生成手段７からの低域輝度信号ＹＬに加算して輝度信号
（ＹＬ＋αＹＨ）を得る。

【００９１】さらに、中域輝度成分抽出手段１４で輝度
信号（ＹＬ＋αＹＨ）から中域輝度成分ＥＮＨ１を抽出
し、高域輝度成分抽出手段１５で輝度信号（ＹＬ＋αＹ
Ｈ）から高域輝度成分ＥＮＨ２を抽出する。この中域輝
度成分ＥＮＨ１に対してゲインβ１で調整し、中域輝度
成分ＥＮＨ２に対してゲインβ２で調整した後に、加算
器１８で輝度信号（ＹＬ＋αＹＨ）に高域輝度成分（β
１ＥＮＨ）および中域輝度成分（β２ＥＮＨ）を合成す
ることで、ＳＮ比の高い輝度信号（ＹＬ＋αＹＨ）に中
域輝度成分補償と高域輝度成分補償を行って、より鮮鋭
な最終の輝度信号を出力する。

【００９２】以上により、本実施形態によれば、補色画
像信号からＲＧＢ生成手段５にて変換したＲＧＢ画像信
号に基づいて、低域輝度信号生成手段７にて各画素毎に
生成された低域輝度信号ＹＬに、中高域輝度成分抽出手
段１１にて入力輝度信号Ｙｉｎから抽出した中高域輝度
成分ＹＨを加えるようにしたため、補色フィルタを用い
たカラービデオカメラよりも色再現性がよい画像データ
を得ると共に、光学ローパスフィルタ２および補間処理
にて減衰した中高域輝度成分を補償すると共に、中域輝
度成分抽出手段１４および高域輝度成分抽出手段１５に
よる輪郭強調処理によって、従来の補償法を使った補助
的な補償をも行うことができて、鮮鋭な画像を得る際に
生じるノイズやジャギーを効率的に防止することができ
る。したがって、本発明の原理で得られたデジタルスチ
ル画像はノイズやジャギーや偽色が少なく、解像度が高
く色再現性のよい鮮鋭な画像とすることができる。

【００９３】なお、本実施形態では、ＲＧＢ生成手段５
は、補色画像信号であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成
分に基づいて、Ｙｅ＝Ｒ＋Ｇ，Ｃｙ＝Ｇ＋Ｂ，Ｍｇ＝Ｒ
＋Ｂ，Ｇｒ＝Ｇにより８画素毎の３原色のＲ，Ｇ，Ｂ成
分に変換するようにしたが、これに限らず、補色画像信
号であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分から，下記の
式（数３）によって、ＲＧＢ成分を生成するようにして
もよい。下記の式（数３）のパラメータＣｉｊの値を調
節することによって、製造メーカなどの違いなどに基づ
く撮像素子特性としてのＣＣＤ特性の差を調節可能とし
ている。

【００９４】

【数３】なお、本実施形態の画像処理装置について更に説明す
る。画像処理装置は、光学ローパスフィルタ２を介して
補色ＣＣＤエリアセンサ３から出力される補色画像デー
タを処理する画像処理装置において、補色画像データに
基づいて生成した、ローパスフィルタによる理想的な周
波数特性から中高域周波数成分が減衰した低域輝度信号
に対して、減衰した中高域輝度成分を補償する中高域輝
度成分補償手段を備えたものである。この構成により、
ローパスフィルタによる理想的な周波数特性から中高域
輝度成分が減衰した低域輝度信号に対して、減衰した中
高域輝度成分を補償するので、補色フィルタを用いる従
来のカラービデオカメラよりも色再現性のよい画像デー
タを得ると共に、鮮鋭な画像を得る際に生じるノイズや
ジャギーを防止することも可能となる。

【００９５】

【発明の効果】以上により、請求項１によれば、所定周
波数（サンプリング周波数ｆｓ／２）以下の理想的な周
波数特性から中高域輝度成分が減衰した低域輝度信号に
対して、減衰した中高域輝度成分を補償するため、鮮鋭
な画像を得る際に生じるノイズやジャギーを防止するこ
とができる。

【００９６】また、請求項２によれば、中高域輝度成分
の補償を行うため、高い解像度の画像が得られると同時
に、鮮鋭な画像を得る際に生じるノイズやジャギーを防
止することができる。

【００９７】さらに、請求項３によれば、角周波数ωが
πで振幅がゼロとなり、かつ角周波数ωがπ／２とπの
間で振幅が最大となる中高域輝度成分を容易に抽出する
ことができる。

【００９８】さらに、請求項４によれば、フィルタリン
グ処理の効果を均一にできるので、画像を忠実に再現す
ることができる。

【００９９】さらに、請求項５によれば、ｘ方向、ｙ方
向の演算を分離して行うことができるので、計算規模を
抑えることができるため、ハードウエアにより容易に実
現することができる。

【０１００】さらに、請求項６によれば、補色フィルタ
では隣接する４画素毎に補色データであるＹｅ，Ｃｙ，
Ｍｇ，Ｇｒ成分を加えることにより、中高域輝度成分抽
出用輝度信号Ｙｉｎを得ることができる。したがって、
高域輝度成分の損失を最小限に抑えることができるの
で、鮮鋭な画像を得ることができる。

【０１０１】さらに、請求項７によれば、低域輝度信号
に対して中高域輝度成分による補償を行う際に、中高域
輝度成分の中心が各画素の中心にあり、かつ低域輝度成
分の中心も各画素の中心にあるため、再現された画像に
ゴーストの発生を防止することができる。

【０１０２】さらに、請求項８によれば、低域輝度信号
を生成するためのＲＧＢ画像信号が補色画像信号から容
易に得ることができる。

【０１０３】さらに、請求項９によれば、上記の式（数
２）のパラメータＣｉｊの値を調節することによって、
製造メーカなどの違いなどに基づく撮像素子特性の差を
調節することができる。

【０１０４】さらに、請求項１０によれば、中域輝度成
分と高域輝度成分の割合を任意の割合にすることによ
り、画像の立体感を好みに応じて調整することができ
る。

【０１０５】さらに、請求項１１によれば、色差信号の
変化量に応じて、サイズの異なるメディアンフィルタを
使い分けることにより、偽色の発生を防止することがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施形態における画像処理装置の構
成を示すブロック図である。

【図２】補色フィルタの色配列を示す図である。

【図３】図２の補色フィルタの色配列の一部を示す図で
ある。

【図４】ＹｅＣｙＧｒＭｇ補間フィルタの具体例を示す
図である。

【図５】（ａ）および（ｂ）は図１の中高域輝度成分抽
出手段で用いるＹＨ抽出用フィルタ１，２の具体例を示
す図である。

【図６】図５のＹＨ抽出用フィルタ１，２およびそれら
の差出力の各周波数特性図である。

【図７】（ａ）は中域輝度成分抽出用フィルタの具体例
を示す図、（ｂ）は高域輝度成分抽出用フィルタの具体
例を示す図である。

【図８】光学ローパスフィルタと補償用フィルタの周波
数特性を示す図である。

【図９】中域輝度成分、中高域輝度成分、高域輝度成分
補償用フィルタの周波数特性を示す図である。

【図１０】（Ａ）〜（Ｅ）は本発明で用いる各フィルタ
を１次元フィルタに置換えた場合のフィルタの具体例を
示す図である。

【図１１】本発明の中高域輝度成分補償用フィルタ、中
域輝度成分補償用フィルタおよび高域輝度成分補償用フ
ィルタの周波数特性図である。

【図１２】本発明の低域輝度信号ＹＬおよび入力輝度信
号Ｙｉｎの周波数特性図である。

【図１３】本発明の低域輝度信号ＹＬ、中高域輝度成分
補償後の輝度信号（ＹＬ＋ＹＨ）の周波数特性図であ
る。

【図１４】本発明の輝度信号（ＹＬ＋ＹＨ）、高域輝度
成分補償用フィルタおよび中域輝度成分補償用フィルタ
の周波数特性図である。

【図１５】ビデオカメラ用補色フィルタの配列を示す平
面図である。

【図１６】従来のカラービデオカメラにおける信号処理
システムの構成例を示すブロック図である。

【図１７】図１の中高域輝度成分抽出手段で用いるＹＨ
抽出用フィルタが１枚の場合の具体例を示す図である。

【符号の説明】

１画像処理装置２光学ローパスフィルタ３補色ＣＣＤエリアセンサ４低域輝度信号生成用補間処理手段５ＲＧＢ生成手段７低域輝度信号生成手段８色差信号生成手段９適応型メディアンフィルタリング処理手段１０中高域輝度成分補償用輝度生成手段１１中高域輝度成分抽出手段１２，１６，１７乗算手段１３，１８加算手段１４中域輝度成分抽出手段１５高域輝度成分抽出手段 α 中高域輝度成分補償用ゲイン β１中域輝度成分補償用ゲイン β２高域輝度成分補償用ゲイン

フロントページの続き (72)発明者河村偉光大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者乙井克也大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内Ｆターム(参考） 5C065 AA01 AA03 BB10 BB22 CC02 CC03 CC08 CC09 DD02 DD17 EE08 EE14 GG03 GG13 GG21 GG23

Claims

【特許請求の範囲】

【請求項１】補色フィルタが形成された撮像素子から
出力される補色画像データを処理する画像処理装置にお
いて、該補色画像データに基づいて生成した、所定周波
数以下の理想的な周波数特性から中高域輝度成分が減衰
した低域輝度信号に対して、減衰した中高域輝度成分を
補償する中高域輝度成分補償手段を備えた画像処理装
置。
【請求項２】補色フィルタが形成された撮像素子から
出力される補色画像データを処理する画像処理装置にお
いて、隣接する４画素からの補色画像データに基づいて生成し
た第１輝度信号から、角周波数ωがπで振幅がゼロとな
り、かつ角周波数ωがπ／２とπの間で振幅が最大とな
る中高域輝度成分を抽出する中高域輝度成分抽出手段
と、該補色画像データに基づいて生成した低域輝度信号に、
該中高域輝度成分を加えて第２輝度信号を生成する第１
合成手段とを備えた画像処理装置。
【請求項３】前記中高域輝度成分抽出手段は、少なく
とも一つの偶数サイズのフィルタを使用して前記第１輝
度信号の演算処理を行う請求項２記載の画像処理装置。
【請求項４】前記偶数サイズのフィルタは２次元フィ
ルタであり、かつ各項の係数はｘ方向およびｙ方向に対
して対称である請求項３記載の画像処理装置。
【請求項５】前記偶数サイズのフィルタは、微分効果
を有する第１ローパスフィルタと、第２ローパスフィル
タとから構成され、該第１ローパスフィルタを使用して
前記第１輝度信号の演算処理を行うことにより得られた
出力と、該第２ローパスフィルタを使用して該第１輝度
信号の演算処理を行うことにより得られた出力との出力
差を前記中高域輝度成分として出力する請求項３または
４記載の画像処理装置。
【請求項６】前記補色画像データのうち、隣接する４
画素からの補色画像データを加えることにより、前記第
１輝度信号を生成する第１輝度信号生成手段をさらに備
えた請求項２〜５の何れかに記載の画像処理装置。
【請求項７】前記低域輝度信号を生成する前に、各画
素毎にＹｅ，Ｃｙ，Ｍｇ，Ｇｒの各成分のうち欠落して
いる成分を補間して補色画像信号を求める補間手段をさ
らに備え、該補間手段は奇数サイズのフィルタを使用して該補色画
像データの演算処理することにより欠落している成分を
補間する請求項２〜６の何れかに記載の画像処理装置。
【請求項８】前記補間手段の後段に配設され、該補間
手段からの補色画像信号に基づいてＲＧＢ画像信号を生
成するＲＧＢ生成手段を有した請求項７記載の画像処理
装置。
【請求項９】前記ＲＧＢ生成手段は、式（数１）に基
づいて前記補色画像信号からＲＧＢ画像信号を求める請
求項８記載の画像処理装置。【数１】
【請求項１０】前記第２輝度信号に基づいて中域輝度
成分を抽出する中域輝度成分抽出手段と、前記第２輝度
信号に基づいて高域輝度成分を抽出する高域輝度成分抽
出手段と、該中域輝度成分および高域輝度成分の少なく
とも何れかを第２輝度信号に加えて第３輝度信号を生成
する第２合成手段とをさらに備えた請求項２〜９の何れ
かに記載の画像処理装置。
【請求項１１】前記補色画像データに基づいて生成さ
れた色差信号に含まれるノイズを除去するメディアンフ
ィルタリング処理手段をさらに備え、前記メディアンフ
ィルタリング処理手段はサイズの異なる複数のメディア
ンフィルタを有し、色差信号の変化量に応じて該メディ
アンフィルタのサイズを切り替える請求項２〜１０の何
れかに記載の画像処理装置。