JP2001136542A - 信号処理装置 - Google Patents

Abstract

(57)【要約】 【課題】少ない周波数分解数でそれ以上の分解数の場合
とほぼ同等の画像が得られる信号処理装置を提供する。 【解決手段】画素配列がベイヤー配列をなし、複数の分
光感度特性のうち、第１番目の分光感度特性をもつ光電
変換単位領域の数が、第２番目以降である他の分光感度
特性をもつ光電変換単位領域の数の複数倍存在する画像
入力手段と、この画像入力手段の所定領域からの信号
を、その周波数成分により複数に分解する周波数分解手
段を具備し、この周波数分解手段の分解数を、第１番目
の分光感度特性を持つ光電変換単位領域の数と、第２番
目以降である他の分光感度特性を持つ光電変換単位領域
の数との間の比率に応じて決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は信号処理装置に関す
るものである。

【０００２】

【従来の技術】信号処理装置に用いられる画像入力装置
の一例として、例えば２次元配列ＣＣＤを用いた入力装
置がある。又、色フィルターの２次元配列の１つとして
例えばベイヤー配列がある。色フィルターがベイヤー配
列を持つ２次元ＣＣＤから出力された画像データ中に
は、空間サンプリング周波数の低いレッド（以下Ｒで示
す）、ブルー（以下Ｂで示す）の色信号と、空間サンプ
リング周波数が高く３色中輝度信号に最も近い信号であ
るグリーン（以下Ｇで示す）の輝度信号とがある。従っ
て多くの場合に、入力信号を例えばウェーブレット変換
により周波数分解した後、Ｇの輝度信号の高域情報に基
づいてＲ、Ｂの色信号成分の高域情報を推定することが
可能である。このような高域情報の推定を行った後で逆
ウェーブレット変換を行うことにより、高域情報の回復
された色信号が得られる。

【０００３】図１１は上記したベイヤー配列をなす全画
素配列を示す図である。図１１においてＲ信号は輝度成
分より色度成分を多く含み、所定領域における画素数が
２番目に多い。また、Ｇ信号は輝度成分を最も多く含
み、所定領域における画素数が１番多い。また、Ｂ信号
は輝度成分より色度成分を多く含み、所定領域における
画素数が２番目に多い。

【０００４】特開平０９−２８４７９８号公報は、ベイ
ヤー配列における欠落したＧ画素を補間した図１２
（Ａ）に示すような２×２画素配列のブロックにおい
て、局所的関数を基底関数（ここではＨａｒｒ関数）と
したウェーブレット変換による周波数域分解方法を開示
している。Ｈａｒｒ関数を用いているので垂直方向の局
所的関数は図１２（Ｂ）に示すようなＬＰＦ（ローパス
フィルタ）とＨＰＦ（ハイパスフィルタ）とが適用さ
れ、水平方向の局所的関数は図１２（Ｃ）に示すような
ＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィル
タ）とが適用される。また、このときのウェーブレット
変換においては例えば以下の演算式が用いられる。

【０００５】 ＧLL＝｛（ＧUL＋ＧUR）＋（ＧDL＋ＧDR）｝／４ ＧHL＝｛（ＧUL−ＧUR）＋（ＧDL−ＧDR）｝／４ ＧLH＝｛（ＧUL＋ＧUR）−（ＧDL＋ＧDR）｝／４ ＧHH＝｛（ＧUL−ＧUR）−（ＧDL−ＧDR）｝／４ 上記ウェーブレット変換により図１２（Ｄ）に示すよう
に、周波数分解されたＧ画素の４つの成分、ＧLL、ＧH
L、ＧLH、ＧHHが得られる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記し
た特開平０９−２８４７９８号公報を含む従来技術は以
下の問題点を有する。

【０００７】第一に、周波数域の分解において、周波数
分解数をどのように決定するかについての具体的方法を
開示していない。

【０００８】また、異なる画素数を持つ所定領域情報間
で高周波成分の生成を行った場合には、局所領域の重心
位置に違いによってデータの急激な変化部分に偽色が発
生する。

【０００９】また、画像全体で相関係数、及び相似性算
出を行ったときに、画像全体について高周波成分の存在
する範囲が少ない場合は、高周波成分の生成が行われな
い。

【００１０】また、被写体にＲ又はＢの高域情報より
も、Ｇの高域情報が少ない場合には、高域情報生成を用
いた画素補間処理を行うと、推定に依らない補間手段を
用いた場合と比較して高域情報が減少して画像の精細度
が悪くなる。

【００１１】また、高域情報を正確に求めると、演算量
が多く実処理時間が長くなってしまう。

【００１２】また、振幅の分散を用いた場合でも、演算
量が多く実処理時間が長くなってしまう。

【００１３】また、被写体に高域情報が少ない場合に
は、高域情報の推定による補間と、高域情報の推定を行
わない補間とで出力結果に大きな差が無く、高域情報推
定のための補間の演算量が多く実処理時間が長くなって
しまう。

【００１４】本発明は上記した課題に着目してなされた
ものであり、その目的とするところは、推定に用いる高
域情報量に応じて周波数分解数を決定することにより、
最小の演算時間となる少ない周波数分解数でそれ以上の
分解数の場合とほぼ同等の画像が得られる信号処理装置
を提供することにある。

【００１５】また、本発明の他の目的は、局所領域の重
心位置の違いによる、データの急激な変化部分での偽色
発生を抑圧可能な信号処理装置を提供することにある。

【００１６】また、本発明の他の目的は、高周波成分の
推定が必要で有るにもかかわらず、高周波成分の生成が
行われない場合が少なくなる信号処理装置を提供するこ
とにある。

【００１７】また、本発明の他の目的は、Ｒ又はＢの高
域情報よりも、Ｇの高域情報が少ない場合にも高域情報
が減少せず、Ｒ又はＢがもとから持つ画像の精細度が劣
化せず、かつ、情報量が同等の場合にキュービックやリ
ニア等の推定に依らない補間を行った場合には、同等の
画像が少ない演算量で求まる信号処理装置を提供するこ
とにある。

【００１８】また、本発明の他の目的は、高域情報全て
を比較する場合と比較して、ほぼ同等の判断が可能で、
演算量が少なく、少ない処理時間で実現可能な信号処理
装置を提供することにある。

【００１９】また、本発明の他の目的は、振幅の分散を
用いた場合と比較してほぼ同等の判断が可能で、演算量
が少なく、少ない処理時間で実現可能な信号処理装置を
提供することにある。

【００２０】また、本発明の他の目的は、高周波推定に
よる補間手段と、推定に依らない補間手段とによる出力
結果に大きな差が無い場合には、少ない演算量で、信号
処理を実現可能な信号処理装置を提供することにある。

【００２１】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明は、複数の分光感度特性を持つ画像入
力手段を持ち、少なくとも１つの分光感度特性に関する
信号の情報量が、他の分光感度特性に関する信号の情報
量より多い信号を処理する信号処理装置において、画素
配列がベイヤー配列をなし、上記複数の分光感度特性の
うち、第１番目の分光感度特性をもつ光電変換単位領域
の数が、第２番目以降である他の分光感度特性をもつ光
電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数
成分に応じて複数に分解する周波数分解手段と、この周
波数分解手段から得られた、第１番目の分光感度特性を
持つ光電変換領域の低周波成分信号と、情報量が少ない
第２番目以降の分光感度特性を持つ光電変換領域の低周
波成分信号との間で、相関係数を算出する相関係数算出
手段と、この相関係数算出手段から得られた相関係数
と、前記周波数分解手段から得られた第１番目の分光感
度特性を持つ光電変換領域の高周波成分信号に基づい
て、情報量の少ない第２番目以降の分光感度特性を持つ
光電変換領域の高周波成分信号を生成する高周波成分信
号生成手段と、この高周波成分信号生成手段から得られ
た第２番目以降の分光感度特性を持つ光電変換領域の高
周波成分信号と、情報量の少ない第２番目以降の分光感
度特性を持つ光電変換領域の低周波成分信号とを合成し
て、高精細な第２番目以降の出力信号を出力する周波数
合成手段とを具備し、上記周波数分解手段の周波数分解
数を、第１番目の分光感度特性を持つ光電変換単位領域
の数と、第２番目以降である他の分光感度特性を持つ光
電変換単位領域の数との間の比率に応じて決定する。

【００２２】また、第２の発明は、複数の分光感度特性
を持つ画像入力手段を持ち、少なくとも１つの分光感度
特性に関する信号の情報量が、他の分光感度特性に関す
る信号の情報量より多い信号を処理する信号処理装置に
おいて、画素配列がベイヤー配列をなし、上記複数の分
光感度特性のうち、第１番目の分光感度特性をもつ光電
変換単位領域の数が、第２番目以降である他の分光感度
特性をもつ光電変換単位領域の数の複数倍存在する画像
入力手段と、上記画像入力手段の所定領域からの信号
を、その周波数成分に応じて複数に分解する周波数分解
手段と、この周波数分解手段から得られた、第１番目の
分光感度特性を持つ光電変換領域の低周波成分信号と、
情報量が少ない第２番目以降の分光感度特性を持つ光電
変換領域の低周波成分信号との間で、相関係数を算出す
る相関係数算出手段と、この相関係数算出手段から得ら
れた相関係数と、前記周波数分解手段から得られた第１
番目の分光感度特性を持つ光電変換領域の高周波成分信
号に基づいて、情報量の少ない第２番目以降の分光感度
特性を持つ光電変換領域の高周波成分信号を生成する高
周波成分信号生成手段と、この高周波成分信号生成手段
から得られた第２番目以降の分光感度特性を持つ光電変
換領域の高周波成分信号と、情報量の少ない第２番目以
降の分光感度特性を持つ光電変換領域の低周波成分信号
とを合成して、高精細な第２番目以降の出力信号を出力
する周波数合成手段とを具備し、上記相関係数算出手段
の２つの入力信号の所定領域における各分光感度特性の
画素の重心を等しくするための補間手段をさらに具備す
る。

【００２３】また、第３の発明は、複数の分光感度特性
を持つ画像入力手段を持ち、少なくとも１つの分光感度
特性に関する信号の情報量が、他の分光感度特性に関す
る信号の情報量より多い信号を処理する信号処理装置に
おいて、画素配列がベイヤー配列をなし、上記複数の分
光感度特性のうち、第１番目の分光感度特性をもつ光電
変換単位領域の数が、第２番目以降である他の分光感度
特性をもつ光電変換単位領域の数の複数倍存在する画像
入力手段と、上記画像入力手段の所定領域からの信号
を、その周波数成分に応じて複数に分解する周波数分解
手段と、この周波数分解手段から得られた、第１番目の
分光感度特性を持つ光電変換領域の低周波成分信号と、
情報量が少ない第２番目以降の分光感度特性を持つ光電
変換領域の低周波成分信号との間で、相関係数を算出す
る相関係数算出手段と、この相関係数算出手段から得ら
れた相関係数と、前記周波数分解手段から得られた第１
番目の分光感度特性を持つ光電変換領域の高周波成分信
号に基づいて、情報量の少ない第２番目以降の分光感度
特性を持つ光電変換領域の高周波成分信号を生成する高
周波成分信号生成手段と、この高周波成分信号生成手段
から得られた第２番目以降の分光感度特性を持つ光電変
換領域の高周波成分信号と、情報量の少ない第２番目以
降の分光感度特性を持つ光電変換領域の低周波成分信号
とを合成して、高精細な第２番目以降の出力信号を出力
する周波数合成手段と、１つの画像を複数のブロックに
分解する画像分解手段とを具備し、前記高周波成分信号
生成手段は、前記画像分解手段により分解されたブロッ
ク毎に高周波成分信号を生成する。

【００２４】また、第４の発明は、複数の分光感度特性
を持つ画像入力手段を持ち、少なくとも１つの分光感度
特性に関する信号の情報量が、他の分光感度特性に関す
る信号の情報量より多い信号を処理する信号処理装置に
おいて、画素配列がベイヤー配列をなし、上記複数の分
光感度特性のうち、第１番目の分光感度特性をもつ光電
変換単位領域の数が、第２番目以降である他の分光感度
特性をもつ光電変換単位領域の数の複数倍存在する画像
入力手段と、上記画像入力手段の所定領域からの信号
を、その周波数成分に応じて複数に分解する周波数分解
手段と、この周波数分解手段から得られた、第１番目の
分光感度特性を持つ光電変換領域の低周波成分信号と、
情報量が少ない第２番目以降の分光感度特性を持つ光電
変換領域の低周波成分信号との間で、相関係数を算出す
る相関係数算出手段と、この相関係数算出手段から得ら
れた相関係数と、前記周波数分解手段から得られた第１
番目の分光感度特性を持つ光電変換領域の高周波成分信
号に基づいて、情報量の少ない第２番目以降の分光感度
特性を持つ光電変換領域の高周波成分信号を生成する高
周波成分信号生成手段と、この高周波成分信号生成手段
から得られた第２番目以降の分光感度特性を持つ光電変
換領域の高周波成分信号と、情報量の少ない第２番目以
降の分光感度特性を持つ光電変換領域の低周波成分信号
とを合成して、高精細な第２番目以降の出力信号を出力
する周波数合成手段と、上記周波数分解手段から得られ
た、第１番目の分光感度特性を持つ光電変換領域の高周
波成分信号と、情報量が少ない第２番目以降の分光感度
特性を持つ光電変換領域の高周波成分信号とを比較する
高周波信号比較手段と、キュービックやリニアーなどの
高周波信号成分の推定に依らない補間手段と、上記高周
波信号比較手段における比較結果に応じて、上記高周波
成分信号生成手段と上記周波数合成手段による高周波信
号成分の推定処理と、キュービックやリニアーなどの補
間処理とを適応的に切り替える高周波推定方法切り替え
手段とを具備する。

【００２５】また、第５の発明は、第４の発明におい
て、上記高周波信号比較手段は、第１番目と第２番目以
降の分光感度特性を持つ光電変換領域からの信号の振幅
の分散値を演算する分散演算手段と、得られたそれぞれ
の分散値を比較する比較手段とを具備する。

【００２６】また、第６の発明は、第４の発明におい
て、上記高周波信号比較手段は、第１番目と第２番目以
降の分光感度特性を持つ光電変換領域からの信号の振幅
の最大値と最小値の差を演算する演算手段と、得られた
それぞれの最大値と最小値の差を比較する比較手段とを
具備する。

【００２７】また、第７の発明は、第４の発明におい
て、上記高周波信号比較手段は、第１番目の分光感度特
性を持つ光電変換領域からの信号の振幅の分散を演算す
る分散演算手段と、得られた分散値と閾値とを比較する
分散値比較手段とを具備する。

【００２８】また、第８の発明は、第４の発明におい
て、上記高周波信号比較手段は、第１番目の分光感度特
性を持つ光電変換領域からの信号振幅の最大値と最小値
の差を演算する演算手段と、この信号振幅の最大値と最
小値の差と閾値とを比較する比較手段とを具備する。

【００２９】また、第９の発明は、第１〜第８のいずれ
か１つの発明において、上記周波数分解手段は、分布が
局所的な関数を基底関数として周波数分解を行い、上記
周波数合成手段は、分布が局所的な関数を基底関数とし
て周波数合成を行う。

【００３０】また、第１０の発明は、第９の発明におい
て、上記周波数分解手段はウェーブレット変換により周
波数分解を行い、上記周波数合成手段は逆ウェーブレッ
ト変換により周波数合成を行う。

【００３１】

【発明の実施の形態】以下に述べる本発明の各実施形態
を実現するにあたって、ここでは、入力された信号を分
光感度特性により周波数分解して、情報量が多い分光感
度特性の高周波成分を、情報量が少ない他の分光感度特
性の高周波成分の推定に用いることで高精細な信号を得
る信号処理装置を用いる。このような信号処理装置は、
画素配列がベイヤー配列をなし、上記複数の分光感度特
性のうち、第１番目の分光感度特性をもつ光電変換単位
領域の数が、第２番目以降である他の分光感度特性をも
つ光電変換単位領域の数の複数倍存在する画像入力手段
と、上記画像入力手段の所定領域からの信号を、その周
波数成分に応じて複数に分解する周波数分解手段と、こ
の周波数分解手段から得られた、第１番目の分光感度特
性を持つ光電変換領域の低周波成分信号と、情報量が少
ない第２番目以降の分光感度特性を持つ光電変換領域の
低周波成分信号との間で、相関係数を算出する相関係数
算出手段と、この相関係数算出手段から得られた相関係
数と、前記周波数分解手段から得られた第１番目の分光
感度特性を持つ光電変換領域の高周波成分信号に基づい
て、情報量の少ない第２番目以降の分光感度特性を持つ
光電変換領域の高周波成分信号を生成する高周波成分信
号生成手段と、この高周波成分信号生成手段から得られ
た第２番目以降の分光感度特性を持つ光電変換領域の高
周波成分信号と、情報量の少ない第２番目以降の分光感
度特性を持つ光電変換領域の低周波成分信号とを合成し
て、高精細な第２番目以降の出力信号を出力する周波数
合成手段とを備えている。上記した信号処理装置の構成
は特開平０９−２８４７９８号公報に開示されている。

【００３２】ここで、少なくとも１つの分光感度特性に
関する信号の情報量が、他の分光感度特性より多い信号
とはＧ信号であり、Ｇの輝度信号の高域情報を元に、他
の分光感度特性に関する信号としてのＲ、Ｂの色信号成
分の高域情報を推定することが可能である。また、上記
周波数分解手段は、ウェーブレット変換などのように、
分布が局所的な関数を基底関数として周波数分解を行
う。また、上記周波数合成手段は、逆ウェーブレット変
換のような、分布が局所的な関数を基底関数として周波
数合成を行う。

【００３３】図１は上記した各手段を用いて信号処理を
行うことによりＲの色信号成分の高域情報を推定するま
での手順を説明するための図である。まず図１を用いて
特開平０９−２８４７９８号公報に記載の高域情報推定
処理について説明する。ここではＲ信号とＧ信号に関し
てのみ説明するが、Ｂ信号とＧ信号に関しても同様であ
る。図１の（ａ）、（ｂ）は、上記画像入力手段により
入力されたＧ信号Ｇ0LLとＲ信号Ｒ0LLとを示す。また、
図１の（ｃ）、（ｄ）は、それぞれ上記周波数分解手段
での周波数分解処理１０４により得られたＧ信号低周波
成分Ｇ1LLと、Ｇ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHを
示す。また、（ｂ’）は、Ｇ1LLと同一サイズのデータ
に変換されたＲ信号低周波成分Ｒ1LLを示す。

【００３４】次に上記相関係数算出手段による相関係数
算出処理１０３により信号Ｇ1LLと信号Ｒ1LLとの間で相
関係数εR,Gが算出される。ここでの相関係数εR,Gは同
一画素位置にある信号Ｇ1LLと信号Ｒ1LLとの間で画素単
位で算出される。得られた相関係数εR,Gは、Ｇ信号高
周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHとともに上記高周波成分
信号生成手段へ転送される。ここで図１の（ｆ）に示す
高周波成分推定処理１０６により、上記相関係数εR,G
とＧ信号高周波成分Ｇ1HH、Ｇ1HL、Ｇ1LHとが乗算され
てＲ信号の高周波成分Ｒ1HH、Ｒ1HL、Ｒ1LHが生成され
る。次に上記周波数合成手段におけるウェーブレット逆
変換処理により、Ｒ信号Ｒ1LLと、高周波成分Ｒ1HH、Ｒ
1HL、Ｒ1LHとが周波数合成されて高精細なＲ信号Ｒ0LL
（図１の（ｇ））が得られる。

【００３５】本実施形態では上記した信号処理に加え
て、重心合わせ処理１００、周波数分解数の決定処理１
０１、ブロック分解処理１０２、さらに、図２に示すよ
うな構成をもつ切り替え手段１０７により、キュービッ
クやリニアーなどの高周波成分の推定に依らない補間処
理１０５と、高周波成分推定処理１０６とを切り替える
切り替え処理とを別個にあるいは適宜組み合わせて行う
ことを特徴とする。以下、これらの処理について詳細に
説明する。

【００３６】（第１実施形態）以下に本発明の第１実施
形態を説明する。図３は本発明の第１実施形態におい
て、ウェーブレット変換を用いた周波数分解における周
波数分解数の決定方法を説明するための図である。第１
実施形態では、上記周波数分解手段の分解数を、第１番
目の分光感度特性を持つ光電変換単位領域の数（すなわ
ち、光電変換領域の画素数）と、第２番目以降である他
の分光感度特性を持つ光電変換単位領域の数との間の比
率に応じて決定することを特徴とする。すなわち、分光
感度特性の異なる光電変換単位領域の数の比率により周
波数分解における周波数分解数を決定する。

【００３７】このことを具体例を用いて説明する。図３
の（Ａ）に示すようなベイヤー配列に従った全画素配列
があったときに、高域情報を多く含む成分（図３の
（Ｂ）に示すようなＧ輝度信号成分）の画素数は水平方
向についてはｋ＝８であり、垂直方向についてはｊ＝４
となり、高域情報を少なく含む成分（図３の（Ｃ）に示
すようなＲ信号成分）の画素数は水平方向についてはｎ
＝４であり、垂直方向についてはｍ＝２となっている。
そこで本実施形態では、水平方向の周波数域分解数をｋ
／ｎ以上の整数の最小値（ここでは２）に設定し、垂直
方向の周波数域分解数をｊ／ｍ以上の整数の最小値（こ
こでは２）に設定するようにする。すなわち、ベイヤー
配列の場合、水平垂直共にＧの画素数が、Ｒ、Ｂの画素
数の２倍存在することから、２周波数域とする。

【００３８】このように第１実施形態においては、ウェ
ーブレット変換を行うにあたって、複数の周波数域を空
間サンプリング周波数に応じて決定しており、空間サン
プリング周波数の高い即ち高域情報を多く含むＧの輝度
信号データをウェーブレット変換して、水平垂直それぞ
れについて２以上の複数の周波数域に分解し、同様に
Ｒ、Ｇの色信号データについても、水平垂直それぞれに
２以上の複数の周波数域に分解している。これによって
推定に用いる高域情報量に応じて周波数分解数が決定さ
れることになり、最小の演算時間となる少ない周波数分
解数でそれ以上（ここでは２倍以上）の分解数の場合と
ほぼ同等の画質の画像を得ることができる。また、周波
数分解数が多くなるほど特定周波数により発生するモア
レは改善される。

【００３９】（第２実施形態）次に本発明の第２実施形
態について説明する。本来ウェーブレット変換処理の対
象は、本質的には連続な信号が対象となる。従って離散
系を対象とした場合、相関を算出する部分で画素数が異
なるとそれぞれ色データの重心が異なることから局所領
域にずれが生じ、特定方向に偽色が発生する。そこで第
２実施形態では、上記相関係数算出手段の２つの入力信
号の所定領域における各分光感度特性の画素の重心を合
わせるための画素補間手段を設け、ウェーブレット変換
により周波数成分を分解する前に、この画素補間手段に
より、情報量の多い分光感度特性のデータ数と、情報量
の少ない分光感度特性のデータ数を等しくする。すなわ
ち、ＲとＢの高域情報を推定するときに、それぞれ画素
補間によりＲ、Ｇ、Ｂ全画素を同一画素数にした後にウ
ェーブレット変換処理（低域相関→高域推定）を行うよ
うにすれば、上記したような偽色の発生を抑圧すること
が可能である。

【００４０】上記のことを具体例を用いて説明する。図
４の（Ａ）に示すようなベイヤー配列に従った全画素配
列があったときに、このようなベイヤー配列のＧ画素配
列（輝度成分）は図４の（Ｂ）、Ｒ画素配列（色度成
分）は図４の（Ｃ）、Ｂ画素配列（色度成分）は図４の
（Ｄ）に示すようになる。図４の（Ｂ）において、補間
前の最も左上部の２×２画素のＧ信号の重心は２×２画
素の中心（黒丸の部分）となる。また、図４の（Ｃ）に
示す最も左上部の２×２画素のＲ信号の重心及び、図４
の（Ｄ）に示す最も左上部の２×２画素のＢ信号の重心
は各画素の中心（黒丸の部分）となる。このため、水平
及び垂直方向に０．５画素のずれが生じ、これが原因と
なって方向性のある偽色が発生する。

【００４１】そこで、画素補間により図４の（Ｅ）、
（Ｆ）、（Ｇ）に示すようにＲ、Ｇ、Ｂ全画素が同一画
素数になるようにすると、Ｒ、Ｇ、Ｂの各信号の重心は
すべて２×２画素の中心となる。このようにして各色信
号での重心の違いによる偽色の発生を防止することがで
きる。

【００４２】（第３実施形態）次に本発明の第３実施形
態を説明する。第３実施形態では、図５の（Ａ）に示す
ように１つの画像を複数のブロック（００ブロック〜ｍ
ｎブロック）に分解する画像分解手段を設け、この画像
分解手段により分解されたブロック毎に相関係数及び相
似性の算出を行って各色信号の高域情報を推定すること
を特徴とする。

【００４３】以下にこのことを具体的に説明する。図５
の（Ｃ）は、処理前の１つの原画像を示している。２×
２画素のブロック単位でその低周波成分と高周波成分と
を図５の（Ｂ）のごとく規定すると、図５の（Ｃ）に示
す画像では、最も右下部に高周波成分を含んでいること
になる。このように画像の一部にしか高周波成分が含ま
れていない場合には、１つの画像を複数に分解した場合
と分解しない場合とで以下の違いが発生する。

【００４４】すなわち、図５の（Ｃ）に示す画像を分解
することなしに推定処理を施すと、全画像での相関係数
（高周波成分と低周波成分との比）が低いため、すなわ
ち、位置による周波数成分の違いが発生するために高周
波成分の推定が適切に行われなくなって、高周波成分は
図５の（Ｄ）に示すように処理後に減少してしまう。

【００４５】そこで図５の（Ｅ）に示すような１つの画
像を複数ブロック（ここでは１ブロック＝２×２画素ご
と）に分解した上で推定処理を行うと、最も右下部のブ
ロックでの相関係数（高周波成分と低周波成分との比）
が高いため、すなわち、位置による周波数成分の違いが
少なくなるために適切な高周波成分の推定が行われ、高
周波成分は図５の（Ｆ）に示すように推定処理後でも減
少しない。

【００４６】上記した第３実施形態によれば、１つの画
像内で、高域情報量の部位依存がある場合でも、高域情
報が少なくなることなしに高周波成分を推定することが
できる。

【００４７】（第４実施形態）以下に本発明の第４実施
形態を説明する。第４実施形態では、上記周波数分解手
段から得られた、第１番目の分光感度特性を持つ光電変
換領域の高周波成分信号と、情報量が少ない第２番目以
降の分光感度特性を持つ光電変換領域の高周波成分信号
とを比較する高周波信号比較手段と、キュービックやリ
ニアーなどの高周波成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上
記高周波信号成分の推定処理と、キュービックやリニア
ーなどの補間処理とを適応的に切り替える高周波推定方
法切り替え手段とを備えている。すなわち、高周波信号
比較手段（高域情報比較手段）により各色信号の高域情
報を比較し、Ｒ又はＢの高域情報よりもＧの高域情報が
少ない場合には、ウェーブレット変換処理による高域情
報の推定（高周波推定処理）に代わって、キュービック
やリニアなどの高域情報生成を用いない補間処理に適応
的に切り替えるようにする。

【００４８】図６はこのような高周波推定方法の切り替
えのようすを示している。すなわち、相関係数（第２番
目以降の分光感度特性の高域情報量と第１番目の分光感
度特性の高域情報量との比、すなわち、ＲまたはＢの高
域情報量とＧの高域情報量との比）が１になる点を境に
して、相関が小さい左側（高周波成分の推定量＜補間
量）ではキュービックやリニアーなどの補間処理を行
い、相関が大きい右側（高周波成分の推定量＞補間量）
では高周波推定処理を行うようにする。

【００４９】上記した第４実施形態によれば、Ｒ又はＢ
の高域情報よりも、Ｇの高域情報が少ない場合に発生す
るアーティファクト（色境界が斜めの場合はギザギザノ
イズ）の発生を抑圧することができる。

【００５０】（第５実施形態）以下に本発明の第５実施
形態を説明する。第５実施形態では、上記高周波信号比
較手段が第１番目と第２番目以降の分光感度特性を持つ
光電変換領域からの信号の振幅の分散値を演算する分散
演算手段と、得られたそれぞれの分散値を比較する比較
手段とを備えていることを特徴とする。すなわち、各色
信号の高域情報を比較する手段として、Ｇの振幅の分散
とＲ、Ｂの振幅の分散の比較手段を用いるようにする。

【００５１】上記のことを具体例を用いて説明する。図
７の（Ａ）に示すようなベイヤー配列をなすｎ×ｍ画素
の全画素配列において、以下の分散に関する式

【００５２】

【数１】

【００５３】を用いて各色Ｒ、Ｇ、Ｂごとに振幅の分散
を求める。次に第２番目以降の分光感度特性の信号振幅
の分散と第１番目の分光感度特性の信号振幅の分散（Ｒ
またはＢの信号振幅の分散とＧの信号振幅の分散の比）
を求め、この比の値が１より大きいか否かで上記した高
周波推定処理と補間処理とを切り替えるようにする（図
７の（Ｂ））。

【００５４】上記第５実施形態によれば、Ｇが変化せず
Ｒ、Ｂの少なくとも一方が変化する画像におけるアーテ
ィファクトの発生を抑圧可能である。高域情報全てを比
較する場合よりも演算量が少なく、少ない処理時間で実
現可能になる。

【００５５】（第６実施形態）以下に本発明の第６実施
形態を説明する。第６実施形態では、上記高周波信号比
較手段が第１番目と第２番目以降の分光感度特性を持つ
光電変換領域からの信号の振幅の最大値と最小値の差を
演算する演算手段と、得られたそれぞれの最大値と最小
値の差を比較する比較手段とを備えていることを特徴と
する。すなわち、高域情報を比較する手段として、Ｇの
最大値と最小値の差とＲ、Ｂの最大値と最小値の差とを
比較する手段を用いる。

【００５６】より具体的には、第２番目以降の分光感度
特性の｜信号最大値−信号最小値｜と、第１番目の分光
感度特性の｜信号最大値−信号最小値｜との比（ここで
は、｜ＲまたはＢの最大値−ＲまたはＢの最小値｜と、
｜Ｇの最大値−Ｇの最小値｜との比を求め、この比の値
が１よりも小さい場合には補間処理を行い、１よりも大
きい場合には高周波推定処理を行うようにする（図
８）。

【００５７】第６実施形態では上記した第５実施形態と
比較して、１ブロック中の少ない領域だけに最大振幅が
発生している場合には、１ブロック中の他の広い領域に
おいてアーティファクトが発生してしまう欠点がある
が、演算量が少なく、少ない処理時間で推定処理を実現
可能となる。

【００５８】（第７実施形態）以下に本発明の第７実施
形態を説明する。第７実施形態では、上記高周波信号比
較手段が第１番目の分光感度特性を持つ光電変換領域か
らの信号の振幅の分散値を演算する分散演算手段と、得
られた分散値と閾値とを比較する分散値比較手段とを備
えていることを特徴とする。すなわち、Ｇ信号の分散値
を比較した結果、Ｇ信号の高域情報が閾値よりも低く、
ウェーブレット変換による高域情報の推定を用いた場合
と、キュービックやリニアなどの補間による場合とで画
素補間結果に大きな違いがない場合には、高域情報生成
を行わないキュービックやリニアなどの補間手段に適応
的に切り替えるようにする。

【００５９】より具体的には、第２番目以降の分光感度
特性の信号振幅の分散と第１番目の分光感度特性の信号
振幅の分散（ＲまたはＢの信号振幅の分散とＧの信号振
幅の分散の比）を求め、この比の値が閾値（例えば１．
１あるいは１．２）よりも小さい場合には、上記した高
周波推定処理の代わりにキュービックやリニアなどの補
間処理に切り替えるようにする（図９）。

【００６０】上記した第７実施形態によれば、第５実施
形態のように閾値を用いない場合よりも演算量が少な
く、ほぼ同等の結果を得ることが可能である。

【００６１】（第８実施形態）以下に本発明の第８実施
形態を説明する。第８実施形態では、上記高周波信号比
較手段が第１番目の分光感度特性を持つ光電変換領域か
らの信号の振幅の最大値と最小値の差を演算する演算手
段と、得られた信号振幅の最大値と最小値の差と閾値と
を比較する比較手段とを備えていることを特徴とする。
Ｇ信号の高域情報が閾値よりも低くく、ウェーブレット
変換による高域情報の推定を用いた場合と、キュービッ
クやリニアなどの補間による場合とで画素補間結果に大
きな違いがない場合には、高域情報生成をしないキュー
ビックやリニアなどの補間手段に適応的に切り替えるよ
うにする。

【００６２】より具体的には、第２番目以降の分光感度
特性の｜信号最大値−信号最小値｜と、第１番目の分光
感度特性の｜信号最大値−信号最小値｜との比（ここで
は、｜ＲまたはＢの最大値−ＲまたはＢの最小値｜と、
｜Ｇの最大値−Ｇの最小値｜との比を求め、この比の値
が閾値（例えば１．１あるいは１．２）よりも小さい場
合には、上記した高周波推定処理の代わりにキュービッ
クやリニアなどの補間処理に切り替えるようにする（図
１０）。

【００６３】上記した第８実施形態によれば、第６実施
形態のように閾値を用いない場合よりも演算量が少な
く、ほぼ同等の結果を得ることが可能である。

【００６４】

【発明の効果】請求項１に記載の発明によれば、推定に
用いる高域情報量に応じて周波数分解数を決定可能にし
たので、最小の演算時間となる少ない周波数分解数でそ
れ以上の分解数の場合とほぼ同等の画像が得られる信号
処理装置を提供することができる。

【００６５】また、請求項２に記載の発明によれば、局
所領域の重心位置の違いによる、データの急激な変化部
分での偽色発生を抑圧可能な信号処理装置を提供するこ
とができる。

【００６６】また、請求項３に記載の発明によれば、高
周波成分の推定が必要で有るにもかかわらず、高周波成
分の生成が行われない場合が少なくなる信号処理装置を
提供することができる。

【００６７】また、請求項４に記載の発明によれば、少
なくとも１つの分光感度特性に関する信号の情報量が他
の分光感度特性より多い信号（例えばＧ信号）の高域情
報が、他の分光感度特性に関する信号（例えばＲ又はＢ
信号）よりも少ない場合であっても高域情報が減少せ
ず、かつ、他の分光感度特性に関する信号（例えばＲ又
はＢ信号）がもとから持つ画像の精細度が劣化せず、か
つ、情報量が同等の場合にキュービックやリニア補間を
行った場合には、同等の画像が少ない演算量で求まる信
号処理装置を提供することができる。

【００６８】また、請求項５に記載の発明によれば、高
域情報全てを比較する場合と比較して、ほぼ同等の判断
が可能で、演算量が少なく、少ない処理時間で実現可能
な信号処理装置を提供することができる。

【００６９】また、請求項６に記載の発明によれば、振
幅の分散を用いた場合と比較してほぼ同等の判断が可能
で、演算量が少なく、少ない処理時間で実現可能な信号
処理装置を提供することができる。

【００７０】また、請求項７または請求項８に記載の発
明によれば、出力結果に大きな差が無い場合には、少な
い演算量で、処理を実現可能な信号処理装置を提供する
ことができる。

【００７１】また、請求項９または請求項１０に記載の
発明によれば、フーリエ変換等を用いて周波数分解する
よりも少ない処理時間、回路規模で実現することができ
る。

【図面の簡単な説明】

【図１】本発明の一実施形態の方法によりＲの色信号成
分の高域情報を推定するまでの手順を説明するための図
である。

【図２】切り替え手段の構成を示す図である。

【図３】本発明の第１実施形態を具体的に説明するため
の図である。

【図４】本発明の第２実施形態を具体的に説明するため
の図である。

【図５】本発明の第３実施形態を具体的に説明するため
の図である。

【図６】本発明の第４実施形態を具体的に説明するため
の図である。

【図７】本発明の第５実施形態を具体的に説明するため
の図である。

【図８】本発明の第６実施形態を具体的に説明するため
の図である。

【図９】本発明の第７実施形態を具体的に説明するため
の図である。

【図１０】本発明の第８実施形態を具体的に説明するた
めの図である。

【図１１】ベイヤー配列をなす全画素配列を示す図であ
る。

【図１２】Ｇ画素を補間した画素配列に対してウェーブ
レット変換により周波数分解を行う手順を説明するため
の図である。

【符号の説明】

１００ 重心合わせ処理 １０１ 周波数分解数の決定処理 １０２ ブロック分解処理 １０３ 相関係数算出処理 １０４ 周波数分解処理 １０５ 補間処理 １０６ 高周波成分推定処理 １０７ 切り替え手段

Claims (10)

【特許請求の範囲】
1. 【請求項１】 複数の分光感度特性を持つ画像入力手段
   を持ち、少なくとも１つの分光感度特性に関する信号の
   情報量が、他の分光感度特性に関する信号の情報量より
   多い信号を処理する信号処理装置において、 画素配列がベイヤー配列をなし、上記複数の分光感度特
   性のうち、第１番目の分光感度特性をもつ光電変換単位
   領域の数が、第２番目以降である他の分光感度特性をも
   つ光電変換単位領域の数の複数倍存在する画像入力手段
   と、 上記画像入力手段の所定領域からの信号を、その周波数
   成分に応じて複数に分解する周波数分解手段と、 この周波数分解手段から得られた、第１番目の分光感度
   特性を持つ光電変換領域の低周波成分信号と、情報量が
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の低周波成分信号との間で、相関係数を算出する相関係
   数算出手段と、 この相関係数算出手段から得られた相関係数と、前記周
   波数分解手段から得られた第１番目の分光感度特性を持
   つ光電変換領域の高周波成分信号に基づいて、情報量の
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の高周波成分信号を生成する高周波成分信号生成手段
   と、 この高周波成分信号生成手段から得られた第２番目以降
   の分光感度特性を持つ光電変換領域の高周波成分信号
   と、情報量の少ない第２番目以降の分光感度特性を持つ
   光電変換領域の低周波成分信号とを合成して、高精細な
   第２番目以降の出力信号を出力する周波数合成手段とを
   具備し、 上記周波数分解手段の周波数分解数を、第１番目の分光
   感度特性を持つ光電変換単位領域の数と、第２番目以降
   である他の分光感度特性を持つ光電変換単位領域の数と
   の間の比率に応じて決定することを特徴とする信号処理
   装置。
2. 【請求項２】 複数の分光感度特性を持つ画像入力手段
   を持ち、少なくとも１つの分光感度特性に関する信号の
   情報量が、他の分光感度特性に関する信号の情報量より
   多い信号を処理する信号処理装置において、 画素配列がベイヤー配列をなし、上記複数の分光感度特
   性のうち、第１番目の分光感度特性をもつ光電変換単位
   領域の数が、第２番目以降である他の分光感度特性をも
   つ光電変換単位領域の数の複数倍存在する画像入力手段
   と、 上記画像入力手段の所定領域からの信号を、その周波数
   成分に応じて複数に分解する周波数分解手段と、 この周波数分解手段から得られた、第１番目の分光感度
   特性を持つ光電変換領域の低周波成分信号と、情報量が
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の低周波成分信号との間で、相関係数を算出する相関係
   数算出手段と、 この相関係数算出手段から得られた相関係数と、前記周
   波数分解手段から得られた第１番目の分光感度特性を持
   つ光電変換領域の高周波成分信号に基づいて、情報量の
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の高周波成分信号を生成する高周波成分信号生成手段
   と、 この高周波成分信号生成手段から得られた第２番目以降
   の分光感度特性を持つ光電変換領域の高周波成分信号
   と、情報量の少ない第２番目以降の分光感度特性を持つ
   光電変換領域の低周波成分信号とを合成して、高精細な
   第２番目以降の出力信号を出力する周波数合成手段とを
   具備し、 上記相関係数算出手段の２つの入力信号の所定領域にお
   ける各分光感度特性の画素の重心を等しくするための補
   間手段をさらに具備することを特徴とする信号処理装
   置。
3. 【請求項３】 複数の分光感度特性を持つ画像入力手段
   を持ち、少なくとも１つの分光感度特性に関する信号の
   情報量が、他の分光感度特性に関する信号の情報量より
   多い信号を処理する信号処理装置において、 画素配列がベイヤー配列をなし、上記複数の分光感度特
   性のうち、第１番目の分光感度特性をもつ光電変換単位
   領域の数が、第２番目以降である他の分光感度特性をも
   つ光電変換単位領域の数の複数倍存在する画像入力手段
   と、 上記画像入力手段の所定領域からの信号を、その周波数
   成分に応じて複数に分解する周波数分解手段と、 この周波数分解手段から得られた、第１番目の分光感度
   特性を持つ光電変換領域の低周波成分信号と、情報量が
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の低周波成分信号との間で、相関係数を算出する相関係
   数算出手段と、 この相関係数算出手段から得られた相関係数と、前記周
   波数分解手段から得られた第１番目の分光感度特性を持
   つ光電変換領域の高周波成分信号に基づいて、情報量の
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の高周波成分信号を生成する高周波成分信号生成手段
   と、 この高周波成分信号生成手段から得られた第２番目以降
   の分光感度特性を持つ光電変換領域の高周波成分信号
   と、情報量の少ない第２番目以降の分光感度特性を持つ
   光電変換領域の低周波成分信号とを合成して、高精細な
   第２番目以降の出力信号を出力する周波数合成手段と、 １つの画像を複数のブロックに分解する画像分解手段と
   を具備し、 前記高周波成分信号生成手段は、前記画像分解手段によ
   り分解されたブロック毎に高周波成分信号を生成するこ
   とを特徴とする信号処理装置。
4. 【請求項４】 複数の分光感度特性を持つ画像入力手段
   を持ち、少なくとも１つの分光感度特性に関する信号の
   情報量が、他の分光感度特性に関する信号の情報量より
   多い信号を処理する信号処理装置において、 画素配列がベイヤー配列をなし、上記複数の分光感度特
   性のうち、第１番目の分光感度特性をもつ光電変換単位
   領域の数が、第２番目以降である他の分光感度特性をも
   つ光電変換単位領域の数の複数倍存在する画像入力手段
   と、 上記画像入力手段の所定領域からの信号を、その周波数
   成分に応じて複数に分解する周波数分解手段と、 この周波数分解手段から得られた、第１番目の分光感度
   特性を持つ光電変換領域の低周波成分信号と、情報量が
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の低周波成分信号との間で、相関係数を算出する相関係
   数算出手段と、 この相関係数算出手段から得られた相関係数と、前記周
   波数分解手段から得られた第１番目の分光感度特性を持
   つ光電変換領域の高周波成分信号に基づいて、情報量の
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の高周波成分信号を生成する高周波成分信号生成手段
   と、 この高周波成分信号生成手段から得られた第２番目以降
   の分光感度特性を持つ光電変換領域の高周波成分信号
   と、情報量の少ない第２番目以降の分光感度特性を持つ
   光電変換領域の低周波成分信号とを合成して、高精細な
   第２番目以降の出力信号を出力する周波数合成手段と、 上記周波数分解手段から得られた、第１番目の分光感度
   特性を持つ光電変換領域の高周波成分信号と、情報量が
   少ない第２番目以降の分光感度特性を持つ光電変換領域
   の高周波成分信号とを比較する高周波信号比較手段と、 キュービックやリニアーなどの高周波信号成分の推定に
   依らない補間手段と、 上記高周波信号比較手段における比較結果に応じて、上
   記高周波成分信号生成手段と上記周波数合成手段による
   高周波信号成分の推定処理と、キュービックやリニアー
   などの補間処理とを適応的に切り替える高周波推定方法
   切り替え手段と、 を具備することを特徴とする信号処理装置。
5. 【請求項５】 上記高周波信号比較手段は、第１番目と
   第２番目以降の分光感度特性を持つ光電変換領域からの
   信号の振幅の分散値を演算する分散演算手段と、得られ
   たそれぞれの分散値を比較する比較手段とを具備する事
   を特徴とする請求項４記載の信号処理装置。
6. 【請求項６】 上記高周波信号比較手段は、第１番目と
   第２番目以降の分光感度特性を持つ光電変換領域からの
   信号の振幅の最大値と最小値の差を演算する演算手段
   と、得られたそれぞれの最大値と最小値の差を比較する
   比較手段とを具備することを特徴とする請求項４記載の
   信号処理装置。
7. 【請求項７】 上記高周波信号比較手段は、第１番目の
   分光感度特性を持つ光電変換領域からの信号の振幅の分
   散を演算する分散演算手段と、得られた分散値と閾値と
   を比較する分散値比較手段とを具備する事を特徴とする
   請求項４記載の信号処理装置。
8. 【請求項８】 上記高周波信号比較手段は、第１番目の
   分光感度特性を持つ光電変換領域からの信号振幅の最大
   値と最小値の差を演算する演算手段と、この信号振幅の
   最大値と最小値の差と閾値とを比較する比較手段とを具
   備する事を特徴とする請求項４記載の信号処理装置。
9. 【請求項９】 上記周波数分解手段は、分布が局所的な
   関数を基底関数として周波数分解を行い、上記周波数合
   成手段は、分布が局所的な関数を基底関数として周波数
   合成を行うことを特徴とする請求項１〜８のいずれか１
   つに記載の信号処理装置。
10. 【請求項１０】 上記周波数分解手段はウェーブレット
    変換により周波数分解を行い、上記周波数合成手段は逆
    ウェーブレット変換により周波数合成を行うことを特徴
    とする請求項９記載の信号処理装置。