JP2001292455A - 画像処理方法および装置並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 単板ＣＣＤのような撮像デバイスにおいて得
られる画像データについて、所定方向およびこれに直交
する方向についての信号推定値を重み付け加算して全画
素位置における信号値を推定するに際し、重み付け係数
算出のための演算量を低減する。 【解決手段】 第１補間手段１１では所定方向について
の信号値Ｑ１が算出され、第２補間手段１２ではこれに
直交する方向について信号値Ｑ２が算出される。変動値
算出手段１３では、信号値を算出する画素位置での所定
方向および直交方向の信号値の変動量を変動値ＳＡ，Ｓ
Ｂとして算出する。複数の重み付け係数に対する変動値
ＳＡ，ＳＢの対応関係をメモリ１４Ａに記憶しておき、
重み付け係数選択手段１４はメモリ１４Ａを参照して重
み付け係数Ｓｊを選択する。重み付け加算手段１５にお
いては、選択された重み付け係数Ｓｊにより信号Ｑ１，
Ｑ２を重み付け加算してＲ信号ＱＲ、Ｂ信号ＱＢを求め
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単板ＣＣＤのよう
な撮像デバイスにおいて得られた信号値を用いて、撮像
デバイスの全画素位置における信号値を推定する画像処
理方法および装置並びに画像処理方法をコンピュータに
実行させるためのプログラムを記録したコンピュータ読
取り可能な記録媒体に関するものである。

【０００２】

【従来の技術】デジタルカメラに用いられるＣＣＤ等の
撮像デバイスとしては、分光感度が異なる複数種類の光
電変換素子を同一平面上に交互に配置して構成されてい
るものが知られている（以下単板ＣＣＤと称する）。こ
こで、Ｒ，Ｇ，Ｂのそれぞれに分光感度を有する光電変
換素子、すなわちＲ，Ｇ，Ｂの各チャンネルの光電変換
素子を交互に配置した単板ＣＣＤの場合、連続したＲ，
Ｇ，Ｂチャンネルの３個の光電変換素子の組が１つの画
素を構成することとなる。しかしながら、このような単
板ＣＣＤにおいては各画素のＲ，Ｇ，Ｂ信号値を同一画
素位置において得ることができないため、色ずれや偽色
が生じることがある。また、各チャンネルの光電変換素
子数は単板ＣＣＤを構成する全素子数よりも少ないた
め、高解像度の画像を得ることができない。例えばＲ，
Ｇ，Ｂ各チャンネルの光電変換素子を交互に配置した単
板ＣＣＤにおいては、各チャンネルの光電変換素子数は
全素子数の１／３しかないため、同一素子数のモノクロ
撮像装置に比べて解像度が１／３となってしまう。この
ため、Ｒ，Ｇ，Ｂ各チャンネルの光電変換素子が存在し
ない部分における信号値を補間処理により求める方法が
提案されているが、単に補間処理を行うのみでは、信号
値が大きく変化する部分において偽色が発生することが
ある。この場合、撮像系に光学ローパスフィルタを使用
したり、撮像信号に対してローパスフィルタによる平滑
化処理を行うことにより偽色の発生を防止することがで
きるが、この場合解像度が悪化するという問題がある。

【０００３】ここで、人間の視覚特性は色よりも輝度に
対して感度が高いものである。このため、単板ＣＣＤに
おいて得られたカラー撮像信号から、各画素の輝度を表
す高周波の輝度信号と、上述した補間処理およびローパ
スフィルタによる平滑化処理によって得られた低周波の
色信号とを生成し、輝度信号および色信号を用いてカラ
ー画像信号を再構成するようにした方法が提案されてい
る（特開平１０−２００９０６号等）。この方法によれ
ば、人間の視覚特性において感度が高い輝度成分に対し
てより多くの情報が与えられることとなるため、見かけ
上解像度が高い画像を再現可能なカラー画像信号を得る
ことができる。

【０００４】ところで、単板ＣＣＤとして、例えば図３
０に示すように市松状に画素が配置されたハニカム配列
のアレイ構造を有するＣＣＤが知られている（例えば特
開平１０−１３６３９１号）。なお、これを市松状の画
素配列と称することもある。また、図３１に示すように
正方状に画素が配置されたベイヤー配列のアレイ構造を
有するＣＣＤも知られている。なお、これを正方状の画
素配列と称することもある。このようなアレイ構造すな
わち画素配列を有する単板ＣＣＤにおいても上記と同様
に偽色の問題が生じる。このため、上述したベイヤー配
列のＣＣＤにおいて得られた光量ベースの信号について
偽色を除去するために、画像中の局所的な領域において
はｒ，ｇ，ｂの信号の比は略一定であるという仮定に基
づいて、ベイヤー配列のＣＣＤにおける垂直方向または
水平方向のラインにおいて、隣接するラインにおけるｒ
信号とｇ信号との比をｇ信号に乗算することにより、そ
のラインにおけるｒ信号を算出するようにした方法が知
られている（特開平９−２１４９８９号）。この方法
は、具体的には、図３２に示す画素配列において、ｇ１
２画素位置におけるｒ信号ｒ１２を求めるには、まずｒ
１１画素位置におけるｇ１１信号を（ｇ６＋ｇ１６）／
２の演算により算出し、ｒ１１：ｇ１１＝ｒ１２：ｇ１
２という仮定に基づいて、ｒ１２＝ｇ１２×ｒ１１／ｇ
１１の演算によりｒ１２信号を算出するものである。

【０００５】しかしながら、上記特開平１０−２００９
０６号等に記載された方法においては、単板ＣＣＤにお
いて得られた撮像信号に対してどのようなローパスフィ
ルタにより平滑化処理を施しても、実際の画像における
高周波成分が画像中にすでに折り返されてしまっている
ため、折り返しひずみによるモアレを取り除くことがで
きず、その結果偽色を十分に除去することができない。

【０００６】一方、上記特開平９−２１４９８９号に記
載された方法によれば、効果的に偽色を除去することが
できる。とくにこの方法は、画像の局所的な領域におい
ては、ｒ：ｇ：ｂの光量の比が一定であるという仮定に
基づいており、得られたＲＧＢ信号の比が光量に比例し
ているアナログ信号である場合には、ベイヤー配列のＣ
ＣＤにおいて得られる画像信号における偽色を効率よく
除去することができる。しかしながら、デジタルカメラ
により得られる画像信号は、Ａ／Ｄ変換を行って光量ｒ
ｇｂをデジタルのＲＧＢ信号に変換する場合に、量子化
誤差を低減するため、およびコンピュータ系のビデオ回
路へ信号を入力するために、例えばＲ＝ｒ^０．４５、Ｒ
＝ｌｏｇ（ｒ）のように、光量に対する指数値、対数値
となるように信号値が表されていることから、ｒ：ｇ：
ｂ＝Ｒ：Ｇ：Ｂとはならないものである。このため、上
記特開平９−２１４９８９号に記載された方法は、信号
値が光量に比例するアナログ信号に対しては偽色を除去
することができるが、信号値が光量の指数値や対数値に
より表されている場合には偽色を除去することはできな
い。また、偽色はベイヤー配列の単板ＣＣＤのみならず
ハニカム配列の単板ＣＣＤにおいても発生する。

【０００７】このため、撮像デバイスにおいて得られた
信号値が、光量に対する指数値や対数値により表されて
いる場合、画像の局所的な領域においてはＲＧＢ各信号
値の差は一定であるという前提に基づき、信号値を算出
する画素位置における信号値が変化する方向を考慮し
て、各画素位置における信号値を算出する方法が提案さ
れている（特願平１１−２１２２０２号）。以下、この
方法について具体的に説明する。

【０００８】まず、撮像デバイスであるＣＣＤの画素配
列を図３０に示すハニカム配列とし、図３３に示すよう
に各画素位置に参照番号を付与する。なお、この画素配
列を正方配列と見なした場合に、信号値を有さない画素
位置を図３３において＊を用いて示す。また、各チャン
ネルにおいて得られる信号値は８ビットであるものと
し、紙面左上から右下に延在する方向を矢印Ａ方向、紙
面右上から左下に延在する方向を矢印Ｂ方向とし、以下
本明細書中においては矢印Ａ方向および矢印Ｂ方向は不
変とする。なお、ここではＢ２４画素位置におけるＲ信
号（以下Ｒ（Ｂ２４）信号と表記する）の算出について
説明する。まず、矢印Ａ方向について、下記の式（１）
によりＢ２４画素位置のＲ（Ｂ２４）Ａ信号を求める。

【０００９】 R(B24)A=G(B24)A+((R(G33)A-G33)+(R(G15)A-G15))/2 （１） 但し、Ｇ（Ｂ２４）Ａ信号は、画素がＢ０２，Ｇ１３，
Ｂ２４，Ｇ３５…と並ぶライン上のＧ画素位置における
Ｇ信号に対して、矢印Ａ方向に１次元Cubicスプライン
補間演算等の１次元補間演算を施して求めたＢ２４画素
位置のＧ信号である。また、Ｒ（Ｇ３３）Ａ信号は、画
素が…Ｒ２２，Ｇ３３，Ｒ４４，Ｇ５５…と並ぶライン
上のＲ画素位置におけるＲ信号に対して、矢印Ａ方向に
１次元補間演算を施して求めたＧ３３画素位置のＲ信号
である。さらに、Ｒ（Ｇ１５）Ａ信号は、画素がＲ０
４，Ｇ１５，Ｒ２６，Ｇ３７…と並ぶライン上のＲ画素
位置におけるＲ信号に対して、矢印Ａ方向に１次元補間
演算を施して求めたＧ１５画素位置のＲ信号である。

【００１０】次に、矢印Ｂ方向について、下記の式
（２）によりＢ２４画素位置のＲ（Ｂ２４）Ｂ信号を求
める。

【００１１】 R(B24)B=G(B24)B+((R(G13)B-G13)+(R(G35)B-G35))/2 （２） 但し、Ｇ（Ｂ２４）Ｂ信号は、画素がＢ０６，Ｇ１５，
Ｂ２４，Ｇ３３…と並ぶライン上のＧ画素位置における
Ｇ信号に対して、矢印Ｂ方向に１次元補間演算を施して
求めたＢ２４画素位置のＧ信号である。また、Ｒ（Ｇ１
３）Ｂ信号は、画素がＲ０４，Ｇ１３，Ｒ２２，Ｇ３１
…と並ぶライン上のＲ画素位置におけるＲ信号に対し
て、矢印Ｂ方向に１次元補間演算を施して求めたＧ１３
画素位置のＲ信号である。さらに、Ｒ（Ｇ３５）Ｂ信号
は、画素が…Ｒ２６，Ｇ３５，Ｒ４４，Ｇ５３…と並ぶ
ライン上のＲ画素位置におけるＲ信号に対して、矢印Ｂ
方向に１次元補間演算を施して求めたＧ３５画素位置の
Ｒ信号である。

【００１２】そして、下記の式（３）、（４）により、
Ｂ２４画素位置における矢印Ａ方向および矢印Ｂ方向に
ついての信号値の変動量を表す変動値ＳＡ，ＳＢを算出
し、さらに、変動値ＳＡ，ＳＢを用いて式（５）により
Ｒ（Ｂ２４）Ａ信号とＲ（Ｂ２４）Ｂ信号とを重み付け
加算するための重み付け係数Ｓｊを算出する。

【００１３】 SA=|B24-G(B24)A|/(B24+G(B24)A) （３） SB=|B24-G(B24)B|/(B24+G(B24)B) （４） Sj=SA/(SA+SB)(SA+SB=0ならSj=0.5) （５） このように重み付け係数Sjが求められると、下記の式
（６）により、Ｒ（Ｂ２４）信号を算出する。

【００１４】 R(B24)=(1-Sj)*R(B24)A+Sj*R(B24)B （６） この方法によれば、撮像デバイスにおいて得られた信号
値が指数値や対数値により表されている場合であって
も、偽色を発生させることなく全画素位置における信号
値を求めることができる。また、この方法において、信
号値が変化する方向に応じて、撮像デバイス上の所定方
向およびこれに直交する直交方向について算出された信
号値を上記式（６）に示すように重み付け加算して、各
画素位置における信号値を算出することにより、信号値
の変化方向に拘わらず偽色の発生を防止できるととも
に、アーチファクトの発生をも防止することができる。

【００１５】

【発明が解決しようとする課題】上記特願平１１−２１
２２０２号の方法では、上記式（５）において、変動値
ＳＡに対して変動値ＳＡと変動値ＳＢとの加算値（ＳＡ
＋ＳＢ）による除算を行うことにより、重み付け係数を
算出している。ここで、種々の演算を行う演算回路にお
いては、演算が加算、減算および乗算のみである場合に
は、比較的少ない演算素子により回路を構成することが
できる。しかしながら、上記式（５）のように除算が含
まれると、演算が複雑となるため多数の演算素子が必要
となり回路の構成が複雑化するとともに、演算に長時間
を要するものとなる。

【００１６】本発明は上記事情に鑑みなされたものであ
り、簡易な回路構成により重み付け係数を求めることが
できる画像処理方法および装置並びに画像処理方法をコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読取り可能な記録媒体を提供することを目的
とするものである。

【００１７】

【課題を解決するための手段】本発明による画像処理方
法は、異なる分光感度を有する第１から第３の光電変換
素子を単一面上に配置して撮像面が形成された撮像デバ
イスであって、前記第１および前記第２の光電変換素子
を所定方向に交互に配置して第１ラインを形成し、前記
第１および前記第３の光電変換素子を前記所定方向に交
互に配置して第２ラインを形成し、前記所定方向と直交
する直交方向において前記第１および前記第２の光電変
換素子が交互に、かつ前記第１および前記第３の光電変
換素子が交互に配置されるよう、前記第１および前記第
２ラインを前記直交方向に交互に配置することにより、
第１から第３画素からなる前記撮像面が形成された撮像
デバイスにおいて得られた第１から第３信号値に基づい
て、全画素位置における前記第１から第３信号値のうち
少なくとも１つの信号値を推定する画像処理方法におい
て、前記所定方向についての信号値の推定値である所定
方向推定値および前記直交方向についての信号値の推定
値である直交方向推定値を算出し、前記所定方向につい
ての信号値の変動量を表す所定方向変動値および前記直
交方向についての信号値の変動量を表す直交方向変動値
を算出し、前記所定方向変動値および前記直交方向変動
値の加算値に対する前記所定方向変動値または前記直交
方向変動値の比率を、前記所定方向推定値および前記直
交方向推定値を重み付け加算する際の重み付け係数とし
て算出するに際し、前記重み付け係数が一定であるとし
た場合の前記所定方向変動値と前記直交方向変動値との
関係に基づいて、複数の重み付け係数に対する所定方向
変動値および直交方向変動値の対応関係を予め算出して
記憶した記憶手段を参照して、前記所定方向変動値およ
び前記直交方向変動値に基づいて、前記複数の重み付け
係数から一の重み付け係数を選択し、該一の重み付け係
数に基づいて、前記所定方向推定値および前記直交方向
推定値を重み付け加算して、前記第１から第３信号値の
うち少なくとも１つの信号値を推定することを特徴とす
るものである。

【００１８】ここで、図３０に示すようなハニカム配列
の単板ＣＣＤにおいて、第１から第３画素、第１信号値
から第３信号値をそれぞれＧ，Ｒ，Ｂに対応させるとす
ると、第１ラインは図３０上左上から右下方向（これを
所定方向とする）にＧＲ画素を交互に配置したＧＲライ
ンとなり、第２ラインは第１ラインと同様の方向にＧＢ
画素を交互に配置したＧＢラインとなる。また、所定方
向と直交する方向にもＧＲラインおよびＧＢラインが交
互に配置されている。本発明による画像処理方法は、単
板ＣＣＤのような撮像デバイスにおいて得られる信号値
が光量に対する指数値や対数値により表されている場合
には、画像上の局所的な領域において、各信号値の差分
値が等しくなるという前提に基づいて、このような撮像
デバイスにおいて得られた第１から第３信号値から、各
画素位置における全ての信号値を推定するようにしたも
のである。なお、本発明においては撮像デバイスの画素
配列はこれに限定されるものではない。

【００１９】「所定方向推定値」および「直交方向推定
値」とは、所定方向および直交方向についてそれぞれ推
定した第１から第３信号値のうち少なくとも１つの信号
値のことである。

【００２０】「所定方向変動値および直交方向変動値を
算出する」とは、例えば上記式（３）、（４）に示す演
算方法により変動値ＳＡおよび変動値ＳＢを所定方向変
動値および直交方向変動値として求めることをいう。ま
た、下記の式（７）、（８）に示す演算方法により変動
値ＳＡおよび変動値ＳＢを所定方向変動値および直交方
向変動値として求めてもよい。

【００２１】 SA=|B24-G(B24)A| （７） SB=|B24-G(B24)B| （８） なお、本発明による画像処理方法においては、前記記憶
手段に記憶された前記対応関係における前記複数の重み
付け係数が、前記加算値に対する前記所定方向変動値ま
たは前記直交方向変動値の比率が１／２^ｎ（ｎは自然
数）となるように設定されてなり、前記重み付け加算
を、前記選択された一の重み付け係数に基づくビットシ
フトにより行うことが好ましい。

【００２２】ここで、本発明においては、加算値に対す
る所定方向変動値または直交方向変動値の比率が１／２
^ｎ（ｎは自然数）となるように重み付け係数が設定され
ていることから、所定方向推定値および直交方向推定値
を２進数で表した場合、これらに１／２^ｎを乗算するこ
とは、これらの推定値を右側にｎビットシフトさせるこ
とと等価な演算を行っていることとなる。したがって、
「一の重み付け係数に基づくビットシフト」とは、一の
重み付け係数の値１／２^ｎに基づいて、所定方向推定値
および直交方向推定値を右側にｎビットシフトさせるこ
とにより、重み付け加算を行うことをいう。

【００２３】また、本発明による画像処理方法において
は、前記第１から前記第３の光電変換素子が、それぞれ
Ｇ（グリーン）、Ｂ（ブルー）、Ｒ（レッド）のいずれ
かの色、あるいはＹ（イエロー）、Ｇ（グリーン）、Ｃ
（シアン）のいずれかの色に分光感度を有するものであ
ることが好ましい。

【００２４】本発明による画像処理装置は、異なる分光
感度を有する第１から第３の光電変換素子を単一面上に
配置して撮像面が形成された撮像デバイスであって、前
記第１および前記第２の光電変換素子を所定方向に交互
に配置して第１ラインを形成し、前記第１および前記第
３の光電変換素子を前記所定方向に交互に配置して第２
ラインを形成し、前記所定方向と直交する直交方向にお
いて前記第１および前記第２の光電変換素子が交互に、
かつ前記第１および前記第３の光電変換素子が交互に配
置されるよう、前記第１および前記第２ラインを前記直
交方向に交互に配置することにより、第１から第３画素
からなる前記撮像面が形成された撮像デバイスにおいて
得られた第１から第３信号値に基づいて、全画素位置に
おける前記第１から第３信号値のうち少なくとも１つの
信号値を推定する画像処理装置において、前記所定方向
についての信号値の推定値である所定方向推定値および
前記直交方向についての信号値の推定値である直交方向
推定値を算出する推定値算出手段と、前記所定方向につ
いての信号値の変動量を表す所定方向変動値および前記
直交方向についての信号値の変動量を表す直交方向変動
値を算出する変動値算出手段と、前記所定方向変動値と
前記直交方向変動値との加算値に対する前記所定方向変
動値または前記直交方向変動値の比率を、前記所定方向
推定値および前記直交方向推定値を重み付け加算する際
の重み付け係数として算出するに際し、前記重み付け係
数が一定であるとした場合の前記所定方向変動値と前記
直交方向変動値との関係に基づいて、複数の重み付け係
数に対する所定方向変動値および直交方向変動値の対応
関係を予め算出して、該対応関係を記憶した記憶手段
と、前記所定方向変動値および前記直交方向変動値に基
づいて、前記記憶手段を参照して前記複数の重み付け係
数から一の重み付け係数を選択する重み付け係数選択手
段と、該一の重み付け係数に基づいて、前記所定方向推
定値および前記直交方向推定値を重み付け加算して、前
記第１から第３信号値のうち少なくとも１つの信号値を
推定する重み付け加算手段とを備えたことを特徴とする
ものである。

【００２５】なお、本発明による画像処理装置において
は、前記記憶手段に記憶された前記対応関係における前
記複数の重み付け係数が、前記加算値に対する前記所定
方向変動値または前記直交方向変動値の比率が１／２^ｎ
（ｎは自然数）となるように設定されてなり、前記重み
付け加算手段は、前記重み付け加算を、前記選択された
一の重み付け係数に基づくビットシフトにより行う手段
であることが好ましい。

【００２６】さらに、本発明による画像処理装置におい
ては、前記第１から前記第３の光電変換素子が、それぞ
れＧ、Ｂ、Ｒのいずれかの色に、あるいはＹ、Ｇ、Ｃの
いずれかの色に分光感度を有するものであることが好ま
しい。

【００２７】なお、本発明による画像処理方法をコンピ
ュータに実行させるためのプログラムとして、コンピュ
ータ読取り可能な記録媒体に記録して提供してもよい。

【００２８】また、本発明による画像処理装置をデジタ
ルカメラ等の撮像装置、あるいはスキャナ等の画像読取
装置に搭載して提供してもよい。

【００２９】

【発明の効果】本発明によれば、所定方向変動値と直交
方向変動値との加算値に対する所定方向変動値または直
交方向変動値の比率を重み付け係数として算出するに際
し、重み付け係数が一定であるとした場合の所定方向変
動値と直交方向変動値との関係に基づいて、複数の重み
付け係数に対する所定方向変動値および直交方向変動値
の対応関係を予め算出しておき、これを記憶手段に記憶
しておく。そして、信号値を推定する画素位置において
所定方向変動値および直交方向変動値を算出し、上記記
憶手段を参照して一の重み付け係数を選択し、この一の
重み付け係数に基づいて、所定方向推定値と直交方向推
定値との重み付け加算を行うようにしたものである。

【００３０】ここで、重み付け係数を上記式（５）によ
り算出する場合、これを変動量ＳＢについて解くと、 SB=((1-Sj)/Sj)*SA （９） となる。これは重み付け係数Ｓｊが一定であると、変動
値ＳＡと変動値ＳＢとの関係は比例関係にあることを示
している。したがって、変動値ＳＡを所定方向変動値、
変動値ＳＢを直交方向変動値と対応させ、ｘ軸を所定方
向変動値、ｙ軸を直交方向変動値とする２次元平面を設
定すると、この２次元平面上においては、複数の重み付
け係数はその重み付け係数に応じた傾きを有する原点を
通る（厳密には原点を含まないが）直線として表される
ものとなる。

【００３１】本発明においては、例えば重み付け係数に
応じた傾きを有する複数の直線により、２次元平面を複
数の領域に分割して、これを複数の重み付け係数に対す
る所定方向変動値および直交方向変動値の対応関係とし
て求めてこれを記憶手段に記憶しておき、算出された所
定方向変動値および直交方向変動値が上記２次元平面上
のいずれの領域に含まれるかを判断し、これらが位置す
ると判断された領域に対応する重み付け係数を一の重み
付け係数として選択することができる。

【００３２】したがって、本発明によれば、重み付け係
数を求めるために、式（５）に示すように、所定方向変
動値または直交方向変動値を所定方向変動値および直交
方向変動値の加算値により除算する必要がなくなり、こ
れにより、演算量を低減でき、演算を行うための回路の
構成も簡易なものとすることができる。したがって、本
発明を実施するための装置をデジタルカメラ等の小型の
撮像装置や、スキャナ等の画像読取装置に搭載すること
が容易となる。

【００３３】また、重み付け係数が加算値に対する所定
方向変動値または直交方向変動値の値が１／２^ｎ（ｎは
自然数）となるように設定されている場合、所定方向推
定値および直交方向推定値を２進数で表すと、これらに
１／２^ｎを乗算することは、値を右側にｎビットシフト
させることと等価な演算を行っていることとなる。した
がって、ビットシフトにより所定方向推定値および直交
方向推定値の重み付け加算を行うことにより、演算を簡
易に行って処理時間を短縮することができる。

【００３４】

【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。図１は本発明の第１の実施形態
による画像処理装置の構成を示す概略ブロック図であ
る。図１に示すように本発明の第１の実施形態による画
像処理装置は、単板ＣＣＤ１を構成する各光電変換素子
において得られた信号値に対して補間処理を施して、全
画素位置における信号値を求めるものであり、各信号値
により構成される画像データＳ０に対して補間処理を施
して、補間済み画像データＳ１を得る補間手段２を備え
る。補間手段２は、後述するようにして補間演算により
Ｇ信号ＱＧを算出するＧ補間手段３と、Ｒ信号ＱＲおよ
びＢ信号ＱＢを算出するＲＢ補間手段４と、Ｇ信号Ｑ
Ｇ、Ｒ信号ＱＲおよびＢ信号ＱＢから後述する図３に示
す空孔画素位置＊の信号値を算出する市松正方補間手段
５とを備える。なお、図１に示す単板ＣＣＤ１において
は、これを構成する光電変換素子からはアナログ信号が
得られるものであるが、本実施形態における画像データ
Ｓ０は、アナログ信号をＡ／Ｄ変換したデジタル信号で
あり、なおかつこのデジタル信号は単板ＣＣＤ１に入力
する光量の０．４５乗あるいは対数値となるように変換
されているものとする。

【００３５】なお、本実施形態による画像処理装置は、
デジタルカメラのような撮像装置やフイルムから画像を
読み取るスキャナ等の読取装置に設けられるものであっ
てもよく、これらの装置において得られた画像信号を再
生するモニタやプリンタ等の再生装置に設けられるもの
であってもよい。また、画像処理装置単体として用いて
もよい。

【００３６】図２は本実施形態において用いられる単板
ＣＣＤ１の画素配列を示す図である。図２（ａ）に示す
画素配列は、ｙ方向にＲ，Ｇチャンネルに対応する画素
を交互に配列した第１のラインと、ｙ方向にＧ，Ｂチャ
ンネルに対応する画素を交互に配列した第２のラインと
を、ｘ方向に交互に配列したものであり、ｘ方向におけ
る各ラインにおいてもＲ，ＧチャンネルおよびＧ，Ｂチ
ャンネルが交互に配列された正方状の画素配列となって
いる。このような正方状の画素配列としては、図３１に
示すベイヤー配列が知られており、本実施形態において
は図２（ａ）に示す画素配列をベイヤー配列と称するも
のとする。

【００３７】また、図２（ｂ）に示す画素配列は、ｙ方
向にＲ，Ｂチャンネルに対応する画素を交互に配設した
ラインと、ｙ方向にＧチャンネルに対応する画素を配列
したラインとを、各ラインの画素の配列間隔が他のライ
ンの画素配列に対してｙ方向に略１／２相対的にずれる
ように配列したものであり、市松状の画素配列となって
いる。このような市松状の画素配列としては、上記特開
平１０−１３６３９１号に記載されたハニカム配列（図
３０）が知られており、本実施形態においては図２
（ｂ）に示す画素配列をハニカム配列と称するものとす
る。このハニカム配列は、ｘ方向に対して４５度傾斜し
た方向についてみれば、Ｒ，Ｇチャンネルの画素を交互
に配列したラインと、同様に４５度傾斜した方向にＧ，
Ｂチャンネルの画素を交互に配列したラインとを、この
方向に直交する方向に交互に配列したものとなってい
る。なお、ハニカム配列は図２（ａ）に示すようなベイ
ヤー配列と画素の配列を４５度回転させた関係となって
いる。また、ハニカム配列は上述したように市松状に画
素が配列されてなるものであり、信号値を有さない空孔
画素位置＊を用いて図３に示すように正方状に表現する
ことも可能である。本実施形態においては、図２（ｂ）
すなわち図３に示すハニカム配列の単板ＣＣＤ１におい
て得られた画像データＳ０に対して処理を行うものとし
て説明する。

【００３８】図４は、ハニカム配列の単板ＣＣＤ１の画
素位置を示す図であり、各画素位置に参照番号を付して
示すものである。ここでは、図４の左上から右下に向か
う方向、すなわち図４において画素がＲ００，Ｇ１１，
Ｒ２２，Ｇ３３，Ｒ４４…と並ぶ方向（矢印Ａ方向）を
所定方向とし、この所定方向すなわち矢印Ａ方向に直交
する方向を矢印Ｂ方向とする。なお、本実施形態では画
素位置に付与された参照番号を信号値の参照番号として
も使用する。

【００３９】図５は、ＲＢ補間手段４の構成を示す概略
ブロック図である。図５に示すように、ＲＢ補間手段４
は、図４における矢印Ａ方向について全画素位置でのＲ
信号およびＢ信号（総称して信号Ｑ１とする）を算出す
る第１補間手段１１と、矢印Ｂ方向について全画素位置
でのＲ信号およびＢ信号（総称して信号Ｑ２とする）を
算出する第２補間手段１２と、矢印Ａ方向および矢印Ｂ
方向における信号値の変動量を表す値を変動値ＳＡ，Ｓ
Ｂとして算出する変動値算出手段１３と、第１補間手段
１１および第２補間手段１２において得られた信号Ｑ
１，Ｑ２を重み付け補間する際の重み付け係数Ｓｊに対
する変動値ＳＡ，ＳＢの対応関係を、複数の重み付け係
数について記憶したメモリ１４Ａと、変動値算出手段１
３において算出された変動値ＳＡ，ＳＢに基づいて、メ
モリ１４Ａに記憶された対応関係を参照して複数の重み
付け係数から一の重み付け係数Ｓｊを選択する重み付け
係数選択手段１４と、重み付け係数選択手段１４におい
て選択された重み付け係数Ｓｊにより、第１補間手段１
１および第２補間手段において得られた信号Ｑ１，Ｑ２
を重み付け加算してＲ信号ＱＲおよびＢ信号ＱＢを得る
重み付け加算手段１５とを備える。

【００４０】次いで、本実施形態のＧ補間手段３におけ
るＧ信号ＱＧおよびＲＢ補間手段４におけるＲ信号Ｑ
Ｒ、Ｂ信号ＱＢの算出について説明する。

【００４１】（１）まず、ＲおよびＢ画素位置における
Ｇ信号の算出処理について説明する。このＧ信号の算出
はＧ補間手段３において行われる。ＲおよびＢ画素位置
におけるＧ信号は、その画素位置周辺のＧ画素位置にお
いて得られるＧ信号に対してスプライン補間演算を施す
ことにより算出することができる。図６はスプライン補
間演算を行う２次元Cubicスプライン補間フィルタの例
を示す図である。図６に示す２次元Cubicスプライン補
間フィルタは、Ｇ信号を算出する画素位置の近傍１６画
素のＧ画素位置におけるＧ信号に対して補間演算を施す
ものである。したがって、図７において実線で囲んだＲ
４４画素位置でのＧ（Ｒ４４）信号は、破線で囲んだそ
の周囲の１６のＧ画素位置（Ｇ１１，Ｇ１３，Ｇ１５，
Ｇ１７，Ｇ３１，Ｇ３３，Ｇ３５，Ｇ３７，Ｇ５１，Ｇ
５３，Ｇ５５，Ｇ５７，Ｇ７１，Ｇ７３，Ｇ７５，Ｇ７
７）のＧ信号に対して、図６に示す２次元Cubicスプラ
イン補間フィルタによりフィルタリング処理を施すこと
により算出される。一方、Ｂ４６画素位置でのＧ（Ｂ４
６）信号は、破線で囲んだその周囲のＧ画素位置（Ｇ１
３，Ｇ１５，Ｇ１７，Ｇ１９，Ｇ３３，Ｇ３５，Ｇ３
７，Ｇ３９，Ｇ５３，Ｇ５５，Ｇ５７，Ｇ５９，Ｇ７
３，Ｇ７５，Ｇ７７，Ｇ７９）のＧ信号に対して、同様
にフィルタリング処理を施すことにより算出される。こ
れにより、補間前にＧ信号が有する周波数成分を損なう
ことなく補間を行うことができ、この結果、全ての画素
位置において元の周波数情報を保持したＧ信号を得るこ
とができる。

【００４２】ここで、補間演算の手法としては図４にお
ける縦横２次元方向における補間演算であれば、いかな
る手法をも適用することができる。なお、Ｇ信号を算出
する画素位置周辺のＧ画素位置において得られるＧ信号
に対して単純な線形補間演算を施すことによりＲ、Ｇ画
素位置におけるＧ信号を算出してもよい。例えば図７に
おいて実線で囲んだＲ４４画素位置でのＧ（Ｒ４４）信
号およびＢ４６画素位置でのＧ（Ｂ４６）信号は、その
周囲の４つのＧ画素位置におけるＧ信号を用いて下記の
式（１０）、（１１）により算出してもよい。

【００４３】 Ｇ（Ｒ４４）＝（Ｇ３３＋Ｇ３５＋Ｇ５３＋Ｇ５５）／４ （１０） Ｇ（Ｂ４６）＝（Ｇ３５＋Ｇ３７＋Ｇ５５＋Ｇ５７）／４ （１１） （２）次に、ＲＢ補間手段４におけるＲ信号ＱＲおよび
Ｂ信号ＱＢの算出について説明する。まず、第１および
第２補間手段１１，１２における信号Ｑ１，Ｑ２の算出
について説明する。

【００４４】１まず、矢印Ａ方向においてＲ，Ｇ画素が
並ぶライン（以下第１のラインとする）におけるＧ画素
位置での、矢印Ａ方向についてのＲ信号の算出処理につ
いて説明する。この矢印Ａ方向についての信号の算出は
第１補間手段１１において行われる。なお、以降の説明
において、矢印Ａ方向について算出された信号には参照
符号に（Ａ）を付し、矢印Ｂ方向について算出された信
号には参照符号に（Ｂ）を付するものとする。また、矢
印Ａ方向にＲ，Ｇ画素が並ぶラインを第１のライン、矢
印Ａ方向にＢ，Ｇ画素が並ぶラインを第２のライン、矢
印Ｂ方向にＲ，Ｇ画素が並ぶラインを第３のライン、矢
印Ｂ方向にＢ，Ｇ画素が並ぶラインを第４のラインとす
る。

【００４５】第１のラインにおける矢印Ａ方向について
のＧ画素位置におけるＲ信号の算出処理は、そのＧ画素
位置が含まれる第１のライン上におけるＲ信号に対して
１次元補間演算を施すことにより行われる。例えば、図
８における実線で囲んだＧ３３画素位置でのＲ（Ｇ３
３）Ａ信号は、Ｇ３３画素位置が存在する第１のライン
上のＧ３３画素位置周辺の４点のＲ画素（Ｒ００，Ｒ２
２，Ｒ４４，Ｒ６６）において得られるＲ信号に対し
て、下記の式（１２）に示す１次元Cubicスプライン補
間演算等の１次元補間演算を施すことにより算出され
る。

【００４６】 R(G33)A=(-3*ROO+19*R22+19*R44-3*R66)/32 （１２） なお、第１のラインにおいて矢印Ａ方向に隣接する２つ
のＲ画素位置におけるＲ２２，Ｒ４４信号を用いて下記
の式（１３）により算出してもよい。

【００４７】 R(G33)A=(R22+R44)/2 （１３） また、補間演算の手法としてはこの第１のライン上の矢
印Ａ方向における１次元補間演算であれば、いかなる手
法をも適用することができる。そしてこれにより第１の
ライン上のＧ画素位置におけるＲ信号を算出することが
できる。

【００４８】２次に、矢印Ａ方向においてＲ，Ｇ画素が
並ぶ第１のラインにおけるＧ画素位置での、矢印Ｂ方向
についてのＲ信号の算出処理について説明する。この矢
印Ｂ方向についての信号の算出は第２補間手段１２にお
いて以下のようにして行われる。まず、Ｒ信号を算出す
るＧ画素位置に矢印Ａ方向において隣接する画素位置を
求める。例えば、ここでは図９に示す実線で囲んだＧ３
３画素位置でのＲ（Ｇ３３）Ｂ信号を算出するものとす
ると、Ｇ３３画素位置に隣接する画素位置は破線で囲ん
だＲ２２画素位置およびＲ４４画素位置となる。そして
このＲ２２画素位置におけるＲ２２信号とＧ（Ｒ２２）
信号との差およびＲ４４画素位置におけるＲ４４信号と
Ｇ（Ｒ４４）信号との差の平均値を、Ｇ３３画素位置に
おけるＧ３３信号に加算し、その加算結果をＧ３３画素
位置におけるＲ（Ｇ３３）Ｂ信号とする。

【００４９】ここで、Ｒ２２信号のみを用いた場合、Ｇ
３３画素位置でのＲ（Ｇ３３）Ｂ信号は下記の式（１
４）により算出される。

【００５０】 R(G33)B=G33+(R22-G(R22)) （１４） なお、式（１４）は画像の局所的な領域におけるＲ信号
とＧ信号との差は等しいという前提により定められるも
のである。例えば、Ｒ２２画素位置およびＧ３３画素位
置でのＲ信号とＧ信号との差が等しいとは、 R(G33)B-G33=R22-G(R22) （１５） の関係を満たすということであり、式（１５）をＲ（Ｇ
３３）Ｂ信号について解いたものが式（１４）となる。
なお、式（１４）においてＧ（Ｒ２２）信号は、上記
（１）の方法により算出されたものではなく、Ｒ２２画
素位置が存在する第３のライン上のＧ信号に対して、矢
印Ｂ方向に下記の式（１６）に示す線形補間演算や式
（１２）に示す１次元Cubicスプライン補間演算等の１
次元補間演算を施すことにより算出したものである。し
たがって、Ｇ（Ｒ２２）信号には参照符号Ｂが付される
こととなる。

【００５１】G(R22)B=(G31+G13)/2 （１６） すなわち、式（１４）では、画像の局所的な領域におけ
るＲ信号とＧ信号との差は等しいという前提により信号
値を算出しており、信号値の算出に使用するのは矢印Ｂ
方向においてＧ３３画素位置が存在する第４のライン
と、Ｒ２２画素位置が存在する第３のラインである。こ
れは、第３および第４のライン上にある画素値の相関関
係に基づいて信号値を算出しているということであり、
不明な信号値について矢印Ｂ方向における信号値の変化
を反映させて信号値を算出する必要がある。２の処理に
おいて、Ｒ２２信号のみを用いた場合、Ｇ３３画素位置
でのＲ（Ｇ３３）Ｂ信号は上記式（１５）に示す関係に
基づいて算出されるが、Ｇ（Ｒ２２）信号が不明である
ため、これを推定する必要がある。ここで、式（１５）
は第３および第４のライン間における相関関係を表して
いるため、Ｇ（Ｒ２２）信号を推定するには、第３のラ
イン上において矢印Ｂ方向の信号値の変化を反映させる
必要がある。この場合、上記（１）の方法により算出し
たＧ信号を使用することが考えられるが、このＧ信号は
式（１０）、（１１）に示すように、別のラインの信号
値を用いて算出しているものであるため、第３のライン
上における矢印Ｂ方向の信号値の変化を反映したもので
はない。このため、矢印Ｂ方向の信号値の変化を反映さ
せるために、式（１６）のように第３のライン上におい
て、矢印Ｂ方向についての１次元補間演算を行ってＧ
（Ｒ２２）Ｂ信号を算出しているものである。

【００５２】一方、Ｒ４４信号のみを用いると、上記式
（１５）の関係に基づいて、Ｇ３３画素位置でのＲ（Ｇ
４４）Ｂ信号は下記の式（１７）により算出される。

【００５３】 R(G33)B=G33+(R44-G(R44)B) （１７） なお、Ｇ（Ｒ４４）Ｂ信号は式（１６）と同様に算出さ
れる。ここで、本実施形態においては、式（１４）ある
いは（１７）のいずれかによりＲ（Ｇ３３）Ｂ信号を求
めてもよいが、Ｇ画素位置の片側にのみ隣接する画素位
置の信号値を用いたのでは、画像の位相がその方向に近
寄ってしまう。これを防止するために、下記の式（１
８）に示すように、Ｒ信号を算出するＧ画素位置（例え
ばＧ３３画素位置）の両隣の画素位置（Ｒ２２，Ｒ４４
画素位置）におけるＲ信号とＧ信号との差の平均値を、
Ｒ信号を算出するＧ画素位置におけるＧ信号に加算した
ものを、そのＧ画素位置におけるＲ信号としたものであ
る。

【００５４】 R(G33)B=G33+((R22-G(R22)B)+(R44-G(R44)B))/2 （１８） そしてこれにより、矢印Ｂ方向についてのＧ画素位置で
のＲ（Ｇ３３）Ｂ信号を算出することができる。

【００５５】３次に、矢印Ａ方向においてＢ，Ｇ画素が
並ぶ第２のラインにおけるＧ画素位置での、矢印Ａ方向
についてのＲ信号の算出処理について説明する。この矢
印Ａ方向についての信号の算出は第１補間手段１１にお
いて行われる。まず、Ｒ信号を算出するＧ画素位置に矢
印Ｂ方向において隣接する画素位置を求める。例えば、
ここでは図１０に示す実線で囲んだＧ３５画素位置での
Ｒ（Ｇ３５）Ａ信号を算出するものとすると、Ｇ３５画
素位置に隣接する画素位置は破線で囲んだＲ２６画素位
置およびＲ４４画素位置となる。そして上記２の処理と
同様に、下記の式（１９）に示すように、Ｒ２６画素位
置におけるＲ２６信号とＧ（Ｒ２６）Ａ信号との差およ
びＲ４４画素位置におけるＲ４４信号とＧ（Ｒ４４）Ａ
信号との差の平均値を、Ｇ３５画素位置におけるＧ３５
信号に加算し、その加算結果をＧ３５画素位置における
Ｒ（Ｇ３５）Ａ信号とする。

【００５６】 R(G35)A=G35+((R26-G(R26)A)+(R44-G(R44)A))/2 （１９） なお、Ｇ（Ｒ２６）Ａ信号およびＧ（Ｒ４４）Ａ信号
は、Ｒ２６およびＲ４４画素位置が存在する第１のライ
ン上におけるＧ信号に対して、矢印Ａ方向に１次元補間
演算を施すことにより算出したものである。そしてこれ
により、矢印Ａ方向についてのＧ画素位置でのＲ（Ｇ３
５）Ａ信号を算出することができる。

【００５７】４次に、矢印Ａ方向においてＢ，Ｇ画素が
並ぶ第２のラインにおけるＧ画素位置での、矢印Ｂ方向
についてのＲ信号の算出処理について説明する。この矢
印Ｂ方向についての信号の算出は、第２補間手段１２に
おいて、そのＧ画素位置が含まれる第３のライン上にお
けるＲ信号に対して、１次元補間演算を施すことにより
行われる。例えば、図１１における実線で囲んだＧ３５
画素位置でのＲ（Ｇ３５）Ｂ信号は、Ｇ３５画素位置が
存在する第３のライン上におけるＧ３５画素位置周辺の
４点のＲ画素（Ｒ０８，Ｒ２６，Ｒ４４，Ｒ６２）にお
いて得られるＲ信号に対して、１の処理と同様に１次元
補間演算を施すことにより算出される。１次元Cubicス
プライン補間演算による算出の例を下記の式（２０）に
示す。

【００５８】 R(G35)B=(-3*RO8+19*R26+19*R44-3*R62)/32 （２０） ５次に、矢印Ａ方向においてＢ，Ｇ画素が並ぶ第２のラ
インにおけるＢ画素位置での矢印Ａ方向についてのＲ信
号の算出処理について説明する。この矢印Ａ方向につい
ての信号の算出は第１補間手段１１において行われる。
まず、Ｒ信号を算出するＢ画素位置に矢印Ｂ方向におい
て隣接する画素位置を求める。例えば、ここでは図１２
に示す実線で囲んだＢ２４画素位置でのＲ（Ｂ２４）Ａ
信号を算出するものとすると、Ｂ２４画素位置に隣接す
る画素位置は破線で囲んだＧ１５画素位置およびＧ３３
画素位置となる。そして上記２の処理と同様に、下記の
式（２１）に示すように、Ｇ１５画素位置におけるＲ
（Ｇ１５）Ａ信号とＧ１５信号との差およびＧ３３画素
位置におけるＲ（Ｇ３３）Ａ信号とＧ３３信号との差の
平均値を、Ｂ２４画素位置におけるＧ（Ｂ２４）Ａ信号
に加算し、その加算結果をＢ２４画素位置におけるＲ
（Ｂ２４）Ａ信号とする。

【００５９】 R(B24)A=G(B24)A+((R(G33)A-G33)+(R(G15)A-G15))/2 （２１） なお、Ｒ（Ｇ１５）Ａ信号およびＲ（Ｇ３３）Ａ信号
は、Ｇ１５およびＧ３３画素位置が存在する第１のライ
ン上におけるＲ信号に対して、矢印Ａ方向に１次元補間
演算を施すことにより算出したものであり、１の処理に
おいて算出したＲ信号そのものである。また、Ｇ（Ｂ２
４）Ａ信号は、Ｂ２４画素位置が存在する第２のライン
上におけるＧ信号に対して矢印Ａ方向に１次元補間演算
を施すことにより算出したものである。そしてこれによ
り、矢印Ａ方向についてのＢ画素位置でのＲ（Ｂ２４）
Ａ信号を算出することができる。

【００６０】６次に、矢印Ａ方向においてＢ，Ｇ画素が
並ぶ第２のラインにおけるＢ画素位置での矢印Ｂ方向に
ついてのＲ信号の算出処理について説明する。この矢印
Ｂ方向についての信号の算出は第２補間手段１２におい
て行われる。まず、Ｒ信号を算出するＢ画素位置に矢印
Ａ方向において隣接する画素位置を求める。例えば、こ
こでは図１３に示す実線で囲んだＢ２４画素位置でのＲ
（Ｂ２４）Ｂ信号を算出するものとすると、Ｂ２４画素
位置に隣接する画素位置は破線で囲んだＧ１３画素位置
およびＧ３５画素位置となる。そして上記２の処理と同
様に、下記の式（２２）に示すように、Ｇ１３画素位置
におけるＲ（Ｇ１３）Ｂ信号とＧ１３信号との差および
Ｇ３５画素位置におけるＲ（Ｇ３５）Ｂ信号とＧ３５信
号との差の平均値を、Ｂ２４画素位置におけるＧ（Ｂ２
４）Ｂ信号に加算し、その加算結果をＢ２４画素位置に
おけるＲ（Ｂ２４）Ｂ信号とする。

【００６１】 R(B24)B=G(B24)B+((R(G35)B-G35)+(R(G13)B-G13))/2 （２２） なお、Ｒ（Ｇ１３）Ｂ信号およびＲ（Ｇ３５）Ｂ信号
は、Ｇ１３およびＧ３５画素位置が存在する第３のライ
ン上におけるＲ信号に対して、矢印Ｂ方向に１次元補間
演算を施すことにより算出したものであり、４の処理に
おいて算出したＲ信号そのものである。また、Ｇ（Ｂ２
４）Ｂ信号は、Ｂ２４画素位置が存在する第４のライン
上におけるＧ信号に対して、矢印Ｂ方向に１次元補間演
算を施すことにより算出したものである。そしてこれに
より、矢印Ｂ方向についてのＢ画素位置でのＲ（Ｂ２
４）Ｂ信号を算出することができる。

【００６２】以上、１の処理により、矢印Ａ方向におい
てＲ，Ｇ画素が並ぶ第１のラインにおけるＧ画素位置で
の矢印Ａ方向についてのＲ信号が算出され、２の処理に
より、矢印Ａ方向においてＲ，Ｇ画素が並ぶ第１のライ
ンにおけるＧ画素位置での矢印Ｂ方向についてのＲ信号
が算出される。

【００６３】また、３の処理により、矢印Ａ方向におい
てＢ，Ｇ画素が並ぶ第２のラインにおけるＧ画素位置で
の矢印Ａ方向についてのＲ信号が算出され、４の処理に
より、矢印Ａ方向においてＢ，Ｇ画素が並ぶ第２のライ
ンにおけるＧ画素位置での矢印Ｂ方向についてのＲ信号
が算出される。

【００６４】さらに、５の処理により、矢印Ａ方向にお
いてＢ，Ｇ画素が並ぶ第２のラインにおけるＢ画素位置
での矢印Ａ方向についてのＲ信号が算出され、６の処理
により、矢印Ａ方向においてＢ，Ｇ画素が並ぶ第２のラ
インにおけるＢ画素位置での矢印Ｂ方向についてのＲ信
号が算出される。

【００６５】以上、各画素位置における矢印Ａ，Ｂ両方
向でのＲ信号の算出について説明したが、Ｂ信号につい
ても上記１から６の処理において説明したようにＲ信号
と同様にして算出することができる。

【００６６】変動値算出手段１３は、後述する重み付け
係数選択手段１４において、１と２、３と４および５と
６の処理により算出された矢印Ａ，Ｂ方向の信号値を重
み付け加算するための重み付け係数の算出に必要な変動
値ＳＡ，ＳＢを算出するものである。ここで、変動値Ｓ
Ａ，ＳＢとは信号値を推定する画素位置において、信号
値の変動量を表す値のことをいう。

【００６７】まず、１および２の処理により算出された
矢印Ａ，Ｂ方向のＲ信号の重み付け係数を算出するため
の変動値ＳＡ，ＳＢの算出について説明する。この矢印
Ａ方向についての変動値ＳＡおよび矢印Ｂ方向について
の変動値ＳＢは下記の式（２３）、（２４）により算出
する。なお、ここでは１および２の処理と同様に、図８
に示すＧ３３画素位置での信号値の変動値ＳＡ，ＳＢを
算出するものとする。

【００６８】 SA=|R(G33)A-G33| （２３） SB=|B(G33)B-G33| （２４） ここで、式（２３）におけるＲ（Ｇ３３）Ａは１の処理
において式（１２）により算出された信号値、式（２
４）におけるＢ（Ｇ３３）Ｂは第４のライン上のＧ３３
画素位置周辺の４点のＢ画素位置（Ｂ０６，Ｂ２４，Ｂ
４２，Ｂ６０）において得られるＢ信号に対して、１次
元補間演算を施すことにより算出された信号値である。
このように算出された変動値ＳＡは、Ｇ３３画素位置の
矢印Ａ方向における信号値の変化を表し、変動値ＳＢは
Ｇ３３画素位置の矢印Ｂ方向における信号値の変化を表
す。

【００６９】次に、３および４の処理により算出された
矢印Ａ，Ｂ方向のＲ信号の重み付け係数を算出するため
の変動値の算出について説明する。この矢印Ａ方向につ
いての変動値ＳＡおよび矢印Ｂ方向についての変動値Ｓ
Ｂは下記の式（２５）、（２６）により算出する。な
お、ここでは３および４の処理と同様に、図１０に示す
Ｇ３５画素位置での信号値の変動値を算出するものとす
る。

【００７０】 SA=|B(G35)A-G35| （２５） SB=|R(G35)B-G35| （２６） ここで、式（２５）におけるＢ（Ｇ３５）Ａは第２のラ
イン上のＧ３５画素位置周辺の４点のＢ画素位置（Ｂ０
２，Ｂ２４，Ｂ４６，Ｂ６８）において得られるＢ信号
に対して、１次元補間演算を施すことにより算出された
信号値、式（２６）におけるＲ（Ｇ３５）Ｂは上記４の
処理において式（２０）により算出された信号値であ
る。このように算出された変動値ＳＡは、Ｇ３５画素位
置の矢印Ａ方向における信号値の変化を表し、変動値Ｓ
ＢはＧ３５画素位置の矢印Ｂ方向における信号値の変化
を表す。

【００７１】次に、５および６の処理により算出された
矢印Ａ，Ｂ方向のＲ信号の重み付け係数を算出するため
の変動値の算出について説明する。この矢印Ａ方向につ
いての変動値ＳＡおよび矢印Ｂ方向についての変動値Ｓ
Ｂは下記の式（２７）、（２８）により算出する。な
お、ここでは５および６の処理と同様に、図１２、図１
３に示すＢ２４画素位置での信号値の変動値を算出する
ものとする。

【００７２】 SA=|B24-G(B24)A| （２７） SB=|B24-G(B24)B| （２８） ここで、式（２７）におけるＧ（Ｂ２４）Ａは、上記５
の処理においてＢ２４画素位置が存在する第２のライン
上のＧ信号に対して、矢印Ａ方向に１次元補間演算を施
すことにより算出した信号値、式（２８）におけるＧ
（Ｂ２４）Ｂは、上記６の処理においてＢ２４画素位置
が存在する第４のライン上のＧ信号に対して、矢印Ｂ方
向に１次元補間演算を施すことにより算出した信号値で
ある。このように算出された変動値ＳＡは、Ｂ２４画素
位置の矢印Ａ方向における信号値の変化を表し、変動値
ＳＢはＢ２４画素位置の矢印Ｂ方向における信号値の変
化を表す。

【００７３】以上のように算出された変動値ＳＡ，ＳＢ
は重み付け係数選択手段１４に入力される。以下、重み
付け係数選択手段１４における重み付け係数の算出につ
いて説明する。本実施形態においては、基本的には下記
の式（２９）に示すように重み付け係数Ｓｊが算出され
る。

【００７４】 Sj=SA/(SA+SB) (if SA+SB=0 then Sj=0.5) （２９） なお、式（２９）においてＳＡ＋ＳＢ＝０となるのは、
ＳＡ，ＳＢ≧０であることから、ＳＡ＝ＳＢ＝０の場合
である。ここで、種々の演算を行う演算回路において
は、演算が加算、減算および乗算のみである場合には、
比較的少ない演算素子により回路を構成することができ
る。しかしながら、式（２９）のように除算が含まれる
と、演算が複雑となるため多数の演算素子が必要となり
回路の構成が複雑化するとともに、演算に長時間を要す
るものとなる。

【００７５】ここで、重み付け係数Ｓｊを式（２９）に
より算出する場合、これを変動量ＳＢについて解くと、 SB=((1-Sj)/Sj)*SA （２９′） となる。これは重み付け係数Ｓｊが一定であると、変動
値ＳＡと変動値ＳＢとの関係は、比例関係にあることを
示している。したがって、ｘ軸を変動値ＳＡ、ｙ軸を変
動値ＳＢとする２次元平面を設定すると、この２次元平
面上においては、図１４に示すように、重み付け係数Ｓ
ｊはその重み付け係数に応じた傾きを有する原点を通る
（ＳＡ＝ＳＢ＝０すなわち原点を除く）直線として表さ
れるものとなる。以下、この関係を用いて式（２９）に
おける除算処理の省略について説明する。

【００７６】図１５は重み付け係数選択手段１４におけ
る重み付け係数Ｓｊの算出処理を説明するための図であ
る。本実施形態においては、重み付け係数Ｓｊが一定で
あると変動値ＳＡと変動値ＳＢとは比例関係にあり、Ｓ
Ａ−ＳＢ平面においては重み付け係数Ｓｊはその値に応
じた傾きを有する直線となる、ということを利用して、
まず重み付け係数Ｓｊを図１４に示すようにＳｊ＝０，
０．２５，０．５，０．７５，１．０の５段階に量子化
する。そして、図１５に示すようにＳＡ−ＳＢ平面上に
おいてＳｊ＝０，０．１２５，０．３７５，０．６２
５，０．８７５，１を境界として５つの領域Ａ１〜Ａ５
を設定し、各領域Ａ１〜Ａ５をそれぞれＳｊ＝０，０．
２５，０．５，０．７５，１．０に対応付ける。ここ
で、Ｓｊ＝０．１２５の場合ＳＢ＝７ＳＡ、Ｓｊ＝０．
３７５の場合ＳＢ＝５／３ＳＡ、Ｓｊ＝０．６２５の場
合ＳＢ＝３／５ＳＡ、Ｓｊ＝０．８７５の場合ＳＢ＝１
／７ＳＡとなる。

【００７７】したがって、重み付け係数選択手段１４に
接続されたメモリ１４Ａに、図１５に示す関係をテーブ
ルとして記憶させておき、変動値ＳＡ，ＳＢの値の関係
に基づいてこのテーブルを参照することにより、式（２
９）に示すように除算を行うことなく重み付け係数Ｓｊ
を求めることができる。例えば、算出された変動値Ｓ
Ａ，ＳＢの値が３／５ＳＡ＜ＳＢ≦５／３ＳＡの関係、
すなわち３ＳＡ＜５ＳＢかつ５ＳＡ≧３ＳＢの関係にあ
る場合には、変動値ＳＡ，ＳＢは図１５に示すグラフの
領域Ａ３にプロットされることから、重み付け係数をＳ
ｊ＝０．５として求めることができる。また、７ＳＡ＜
ＳＢの関係にある場合にはプロットは領域Ａ１にあるた
めＳｊ＝０、５／３ＳＡ＜ＳＢ≦７ＳＡの関係、すなわ
ち５ＳＡ＜３ＳＢかつ７ＳＡ≧ＳＢの関係にある場合に
はプロットは領域Ａ２にあるためＳｊ＝０．２５、１／
７ＳＡ＜ＳＢ≦３／５ＳＡの関係、すなわちＳＡ＜７Ｓ
Ｂかつ３ＳＡ≧５ＳＢの関係にある場合にはプロットは
領域Ａ４にあるためＳｊ＝０．７５、ＳＢ≦１／７ＳＡ
の関係、すなわちＳＡ≧７ＳＢの関係にある場合にはプ
ロットは領域Ａ５にあるためＳｊ＝１として求めること
ができる。

【００７８】なお、重み付け係数Ｓｊはより細かく量子
化した方が好ましいが、変動値ＳＡ，ＳＢが存在する領
域の判断のための演算時間を考慮すると、５段階程度で
あることが好ましい。本出願人の実験によれば、５段階
に量子化したものであっても、十分に偽色低減効果が得
られるものである。

【００７９】重み付け加算手段１５においては、１と
２、３と４および５と６のそれぞれの場合について、下
記の式（３０）〜（３２）により信号値が算出される。
なお、式（３０）〜（３２）は、それぞれ矢印Ａ方向に
おいてＲ，Ｇ画素が並ぶ第１のラインにおけるＧ３３画
素位置でのＲ（Ｇ３３）信号、矢印Ａ方向においてＢ，
Ｇ画素が並ぶ第２のラインにおけるＧ３５画素位置での
Ｒ（Ｇ３５）信号、矢印Ａ方向においてＢ，Ｇ画素が並
ぶ第２のラインにおけるＢ２４画素位置でのＲ（Ｂ２
４）信号を算出するものである。

【００８０】 R(G33)=(1-Sj)*R(G33)A+Sj*R(G33)B （３０） R(G35)=(1-Sj)*R(G35)A+Sj*R(G35)B （３１） R(B24)=(1-Sj)*R(B24)A+Sj*R(B24)B （３２） なお、信号Ｑ１、Ｑ２を用いた一般式を式（３３）に示
す。

【００８１】 QR,QB=(1-Sj)*Q1+Sj*Q2 （３３） これにより、信号値の変化が少ない方向ほど大きな重み
付けがなされて、Ｒ、Ｂ信号ＱＲ，ＱＢが算出されるこ
ととなる。

【００８２】ここで、例えばＲ４４画素におけるＢ（Ｒ
４４）信号の算出は、重み付け係数Ｓｊ＝０．５とした
場合、 B(R44)=(1-Sj)*B(R44)A+Sj*B(R44)B=0.5*B(R44)A+0.5*B(R44)B （３４） として算出されるが、本実施形態においては、Ｓｊまた
は１−Ｓｊ＝１／２^ｎ（ｎは自然数）となるように重み
付け係数が設定されているため、下記の式（３５）のよ
うに、ビットシフトを用いて整数化して演算を行うこと
も可能である。

【００８３】 B(R44)=(B(R44)A+B(R44)B+1)>>1 （３５） ここで、＞＞１は信号値を２進数で表した際に、右側に
１ビットシフトさせることを表す。このように、右側に
１ビットシフトさせることにより、信号値は１／２倍さ
れるため、式（３４）と等価な演算を行っていることと
なる。なお、式（３５）において１を加算しているの
は、演算結果を四捨五入するためである。

【００８４】なお、図２（ａ）に示すベイヤー配列の単
板ＣＣＤ１においては画素配列を４５度回転させると、
その画素配列は図２（ｂ）に示すハニカム配列と空孔画
素位置＊を除けば同様のものとなる。したがって、上記
の説明において、矢印Ａ方向を図２における紙面上下方
向、矢印Ｂ方向を図２における紙面左右方向とすること
により、ベイヤー配列の場合もハニカム配列の場合と同
様に、全画素位置におけるＲＧＢ信号を算出することが
できる。

【００８５】このようにして、全ての画素位置において
ＲＧＢ全ての信号値ＱＲ，ＱＧ，ＱＢが得られると、市
松正方補間手段５において、図３における空孔画素位置
＊でのＲＧＢ信号値を補間演算により算出して、画素が
正方状に配列されてなる補間済み画像データＳ１を得
る。この補間演算は、図１６に示すような空孔画素位置
＊周辺の４画素位置の信号値を用いた補間フィルタや、
図１７に示すように４×４画素についての２次元Cubic
スプライン補間演算を行う補間フィルタの補間係数の配
置を４５度傾斜させた補間係数の配置を有する補間フィ
ルタを用いて補間演算を行うことにより求めることがで
きる。なお、この空孔画素位置＊における信号値を算出
するための補間演算を市松正方補間演算とする。また、
補間演算についてはこれらに限定されるものではなく、
上述したように求められた各画素位置におけるＲＧＢ信
号をＹＣＣ輝度色差空間に変換し、ＹＣＣ毎に異なる補
間フィルタによる補間演算を施す等、空孔画素位置＊に
おける信号値を算出するための補間演算であればいかな
る方法をも採用可能である。

【００８６】次いで、第１の実施形態の動作について説
明する。図１８は第１の実施形態の動作を示すフローチ
ャートである。まず、被写体を撮影して単板ＣＣＤ１に
おいて画像データＳ０を得る（ステップＳ１）。次い
で、補間手段２のＧ補間手段３において、上記（１）の
処理により所定方向におけるＲまたはＢ画素位置におけ
るＧ信号ＱＧが算出される（ステップＳ２）。そして、
補間手段２において、算出する信号をＲ信号にセットし
（ステップＳ３）、ＲＢ補間手段４においてＲ信号ＱＲ
が算出される（ステップＳ４）。

【００８７】図１９はステップＳ４の処理を示すフロー
チャートである。まず、上記処理１および２により信号
値を算出し（ステップＳ１１）、ステップＳ３および４
により信号値を算出し（ステップＳ１２）、処理５およ
び６により信号値を算出する（ステップＳ１３）。そし
て、変動値算出手段１３において、上記式（２３）、
（２４）等に示すように変動値ＳＡ，ＳＢを算出する
（ステップＳ１４）。そして、変動値ＳＡ，ＳＢは重み
付け係数選択手段１４に入力されて、ここで重み付け係
数Ｓｊが選択され、ステップＳ１１，Ｓ１２，Ｓ１３の
処理により算出された信号値が重み付け加算されて、Ｒ
信号ＱＲが算出される（ステップＳ１５）。

【００８８】図２０はステップＳ１５の処理を示すフロ
ーチャートである。なお、図２０はビットシフトを用い
ての重み付け係数Ｓｊの算出および重み付け加算の動作
を示すものである。また、図２０においては、Ｒ４４画
素位置におけるＢ（Ｒ４４）信号の算出を表すものであ
る。まず、変動値ＳＡ，ＳＢの和が０であるか否かが判
断される（ステップＳ２１）。ステップＳ２１が肯定さ
れると、ＳＡ＝ＳＢ＝０．５としてビットシフトを用い
て、式（３５）によりＢ（Ｒ４４）信号が算出される
（ステップＳ２２）。

【００８９】 B(R44)=(B(R44)A+B(R44)B+1)>>1 （３５） ステップＳ２１が否定されると、ＳＡ≧７ＳＢであるか
否かが判断される（ステップＳ２３）。ステップＳ２３
が肯定されると、変動値ＳＡ，ＳＢの関係は図１５の領
域Ａ５にあることからＳｊ＝１とされ、下記の式（３
６）によりＢ（Ｒ４４）信号が算出される（ステップＳ
２４）。

【００９０】 B(R44)=B(R44)B （３６） ステップＳ２３が否定されると、３ＳＡ≧５ＳＢである
か否かが判断される（ステップＳ２５）。ステップＳ２
５が肯定されると、変動値ＳＡ，ＳＢの関係は図１５の
領域Ａ４にあることからＳｊ＝０．７５とされ、下記の
式（３７）によりＢ（Ｒ４４）信号が算出される（ステ
ップＳ２６）。

【００９１】 B(R44)=(B(R44)A+3B(R44)B+2)>>2 （３７） ステップＳ２５が否定されると、５ＳＡ≧３ＳＢである
か否かが判断される（ステップＳ２７）。ステップＳ２
７が肯定されると、変動値ＳＡ，ＳＢの関係は図１５の
領域Ａ３にあることからＳｊ＝０．５とされ、式（３
５）によりＢ（Ｒ４４）信号が算出される（ステップＳ
２８）。

【００９２】ステップＳ２７が否定されると、７ＳＡ≧
ＳＢであるか否かが判断される（ステップＳ２９）。ス
テップＳ２９が肯定されると、変動値ＳＡ，ＳＢの関係
は図１５の領域Ａ２にあることからＳｊ＝０．２５とさ
れ、下記の式（３８）によりＢ（Ｒ４４）信号が算出さ
れる（ステップＳ３０）。

【００９３】 B(R44)=(3*B(R44)A+B(R44)B+2)>>2 （３８） そして、ステップＳ２９が否定されると、変動値ＳＡ，
ＳＢの関係は図１５の領域Ａ１にあることからＳｊ＝０
とされ、下記の式（３９）によりＢ（Ｒ４４）信号が算
出される（ステップＳ３１）。

【００９４】B(R44)=B(R44)A （３９） 図１８に戻り、Ｒ，Ｂ全ての信号を算出したか否かが判
断され（ステップＳ５）、ステップＳ５が否定された場
合には、ステップＳ６において算出する信号をＢ信号に
セットし、ステップＳ４に戻ってステップＳ４，Ｓ５の
処理を繰り返してＢ信号ＱＢが算出される。

【００９５】ステップＳ５が肯定されると、空孔画素位
置以外の全ての画素位置においてＲＧＢ信号ＱＲ，Ｑ
Ｇ，ＱＢが算出されたとして、市松正方補間手段５にお
いて、各画素の信号値に対して図１６あるいは図１７に
示す補間フィルタによる市松正方補間演算を行って、空
孔画素位置における信号値を算出し（ステップＳ７）、
処理を終了する。

【００９６】そしてこれにより、図２（ｂ）に示すハニ
カム配列による単板ＣＣＤ１の空孔画素位置を含む全画
素位置におけるＲＧＢ信号を得ることができ、全画素位
置においてＲＧＢ信号を有する補間済み画像データＳ１
を得ることができる。

【００９７】なお、図１８に示すフローチャートのステ
ップＳ３においては、算出する信号をＲ信号にセットし
ているが、先にＢ信号にセットしてもよい。この場合、
ステップＳ５が否定されるとステップＳ６において、算
出する信号がＢ信号からＲ信号に切り替えられることと
なる。

【００９８】このように、第１の実施形態によれば、重
み付け係数Ｓｊを算出する際に除算を行わないため、重
み付け係数Ｓｊの算出を行う回路の構成を簡易なものと
することができ、その結果、本実施形態を実施するため
の装置の構成を簡易なものとすることができるととも
に、演算時間も短縮することができる。また、ビットシ
フトを行うことにより、整数値にて演算を行うことがで
きるため、演算を簡易に行って処理時間を短縮すること
ができる。したがって、本発明を実施するための装置を
デジタルカメラ等の撮像装置やスキャナ等の画像読取装
置、あるいはプリンタ等に搭載することが容易となり、
これにより高機能の装置を作成することができる。

【００９９】なお、上記第１の実施形態においては、ビ
ットシフトを用いて重み付け加算を行っているが、重み
付け係数選択手段１４において算出された重み付け係数
Ｓｊを用いて、ビットシフトを行うことなく、重み付け
加算手段１５において、上記式（３３）に示す重み付け
加算を行うようにしてもよい。

【０１００】次いで、本発明の第２の実施形態について
説明する。図２１は本発明の第２の実施形態による画像
処理装置のＲＢ補間手段の構成を示す概略ブロック図で
ある。なお、図２１において図５と同一の構成について
は同一の参照番号を付し、詳細な説明は省略する。第２
の実施形態においては、信号値を推定する画素位置がグ
レーエッジにあるか色エッジにあるか否かを判定する判
定手段１０と、判定手段１０における判定結果を表す判
定情報Ｈに基づいて、矢印Ａ方向および矢印Ｂ方向にお
ける信号値の変動量を表す値を変動値ＳＡ，ＳＢとして
算出する変動値算出手段２３とを備えた点が第１の実施
形態と異なるものである。

【０１０１】判定手段１０は、以下のようにして信号値
を推定する画素位置がグレーエッジにあるか色エッジに
あるかを判定する。図２２は赤（Ｒ）および緑（Ｇ）か
らなる色エッジの例を示す図、図２３は白および黒から
なるグレーエッジの例を示す図である。なお、図２２，
２３においては、信号値が０の画素位置を白抜きで示
し、それ以外の画素は信号値が２５５であるものとして
説明する。また、ここではＲ４４画素位置での判定につ
いて説明する。まず、判定手段１０は、下記の式（４
０）から（４３）により、エッジの判断値Ｄａｔ１〜Ｄ
ａｔ４を求める。

【０１０２】 Dat1=|R44-G33|+|R44-G55|+|G35-B24|+|G35-B46| （４０） Dat2=|R44-G33|+|R44-G55|+|G53-B42|+|G53-B64| （４１） Dat3=|R44-G35|+|R44-G53|+|G33-B24|+|G33-B42| （４２） Dat4=|R44-G35|+|R44-G53|+|G55-B46|+|G55-B64| （４３） ここで、式（４０）は矢印Ａ方向において、Ｒ４４画素
位置の右上部分のエッジの色を判断するための判断値Ｄ
ａｔ１を算出するものであり、式（４１）は矢印Ａ方向
において、Ｒ４４画素位置の左下部分のエッジの色を判
断するための判断値Ｄａｔ２を算出するものである。ま
た、式（４２）は矢印Ｂ方向において、Ｒ４４画素位置
の左上部分のエッジの色を判断するための判断値Ｄａｔ
３を算出するものであり、式（４３）は矢印Ｂ方向にお
いて、Ｒ４４画素位置の右下部分のエッジの色を判断す
るための判断値Ｄａｔ４を算出するものである。

【０１０３】信号値を推定する画素位置がグレーエッジ
にある場合は、上記判断値Ｄａｔ１〜Ｄａｔ４のうちい
ずれか１つは必ず値が小さくなる。例えば、図２３に示
すグレーエッジの場合、上記式（４０）〜（４３）にお
いて算出される判断値Ｄａｔ１〜Ｄａｔ４において、判
断値Ｄａｔ１およびＤａｔ２が０となる。一方、信号値
を推定する画素位置が図２２に示すような色エッジにあ
る場合は、上記判断値Ｄａｔ１〜Ｄａｔ４のいずれの値
も大きくなる。したがって、判断値Ｄａｔ１〜Ｄａｔ４
の最小値Ｄｍｉｎを予め定められた閾値Ｔと比較し、最
小値Ｄｍｉｎが閾値Ｔ以下である場合、すなわち、 Dmin=min(Dat1,Dat2,Dat3,Dat4)≦Ｔ （４４） である場合には、その画素位置をグレーエッジであると
判定し、それ以外の場合、すなわち、 Dmin=min(Dat1,Dat2,Dat3,Dat4)＞Ｔ （４５） である場合には色エッジであると判定する。ここで、閾
値Ｔの値としては、信号値が８ビットで表される場合１
２８程度の値とする。そして、判定手段１０はこの判定
結果を判定情報Ｈとして変動値算出手段２３に入力す
る。

【０１０４】変動値算出手段２３においては、判定情報
Ｈに基づいて以下のようにして、変動値ＳＡ，ＳＢが算
出される。まず、１および２の処理により算出された矢
印Ａ，Ｂ方向のＲ信号の重み付け係数を算出するための
変動値ＳＡ，ＳＢの算出について説明する。判定情報Ｈ
により信号値を算出する画素位置が色エッジにあると判
定された場合、矢印Ａ方向についての変動値ＳＡおよび
矢印Ｂ方向についての変動値ＳＢを下記の式（４６）、
（４７）により算出する。なお、ここでは１および２の
処理と同様に、図８に示すＧ３３画素位置での信号値の
変動値ＳＡ，ＳＢを算出するものとする。

【０１０５】 SA=|R(G33)A-G33|/(R(G33)A+G33) （４６） SB=|B(G33)B-G33|/(B(G33)B+G33) （４７） 一方、判定情報Ｈにより信号値を算出する画素位置がグ
レーエッジにあると判定された場合、第１の実施形態と
同様に、変動値ＳＡおよび変動値ＳＢを、式（４６）、
（４７）の分母を省略した式（２３）、（２４）により
算出する。

【０１０６】 SA=|R(G33)A-G33| （２３） SB=|B(G33)B-G33| （２４） 次に、３および４の処理により算出された矢印Ａ，Ｂ方
向のＲ信号の重み付け係数を算出するための変動値の算
出について説明する。

【０１０７】まず、判定情報Ｈにより信号値を算出する
画素位置が色エッジにあると判定された場合、矢印Ａ方
向についての変動値ＳＡおよび矢印Ｂ方向についての変
動値ＳＢを下記の式（４８）、（４９）により算出す
る。なお、ここでは３および４の処理と同様に、図１０
に示すＧ３５画素位置での信号値の変動値を算出するも
のとする。

【０１０８】 SA=|B(G35)A-G35|/(B(G35)A+G35) （４８） SB=|R(G35)B-G35|/(R(G35)B+G35) （４９） 一方、判定情報Ｈにより信号値を算出する画素位置がグ
レーエッジにあると判定された場合、変動値ＳＡおよび
変動値ＳＢを式（４８）、（４９）の分母を省略した式
（２５）、（２６）により算出する。

【０１０９】 SA=|B(G35)A-G35| （２５） SB=|R(G35)B-G35| （２６） 次に、５および６の処理により算出された矢印Ａ，Ｂ方
向のＲ信号の重み付け係数を算出するための変動値の算
出について説明する。

【０１１０】まず、判定情報Ｈにより信号値を算出する
画素位置が色エッジにあると判定された場合、矢印Ａ方
向についての変動値ＳＡおよび矢印Ｂ方向についての変
動値ＳＢを下記の式（５０）、（５１）により算出す
る。なお、ここでは５および６の処理と同様に、図１
２、図１３に示すＢ２４画素位置での信号値の変動値を
算出するものとする。

【０１１１】 SA=|B24-G(B24)A|/(B24+G(B24)A) （５０） SB=|B24-G(B24)B|/(B24+G(B24)B) （５１） 一方、判定情報Ｈにより信号値を算出する画素位置がグ
レーエッジにあると判定された場合、変動値ＳＡおよび
変動値ＳＢを式（５０）、（５１）の分母を省略した式
（２７）、（２８）により算出する。

【０１１２】 SA=|B24-G(B24)A| （２７） SB=|B24-G(B24)B| （２８） ここで、色エッジおよびグレーエッジの場合における変
動値ＳＡ，ＳＢの算出方法の差異について説明する。図
２４は変動値ＳＡ，ＳＢの算出方法の差異を説明するた
めの図である。図２４に示す画素配列においては白（信
号値が２５５）および黒（信号値が０または０に近い
値）のグレーエッジが表されているものとする。なお、
ここではＲ４４画素におけるＢ（Ｒ４４）信号の算出に
ついて説明する。まず、矢印Ａ方向について、下記の式
（５２）によりＲ４４画素位置のＢ（Ｒ４４）Ａ信号を
求める。

【０１１３】 B(R44)A=G(R44)A+((B(G35)A-G35)+(B(G53)A-G53))/2 =0+((2-0)+(255-255))/2=1 （５２） 但し、G(R44)A=0，B(G35)A=2，B(G53)A=255であり、こ
れらの値の算出には、式（１２）、（２０）に示すよう
な１次元Cubicスプライン補間演算を用いた。

【０１１４】また、矢印Ｂ方向について、下記の式（５
３）によりＲ４４画素位置のＢ（Ｒ４４）Ｂ信号を求め
る。

【０１１５】 B(R44B)=G(R44)B+((B(G33)B-G33)+(B(G55)B-G55))/2 =103+((105-0)+(105-0))/2=208 （５３） 但し、G(R44)B≒103，B(G33)B≒105，B(G55)B≒105であ
り、これらの値の算出には、式（１２）、（２０）に示
すような１次元Cubicスプライン補間演算を用いた。

【０１１６】そして、下記の式（５４）により変動値Ｓ
Ａ，ＳＢを求め、式（５５）によりＢ（Ｒ４４）Ａ信号
とＢ（Ｒ４４）Ｂ信号とを重み付け加算するための重み
付け係数Ｓｊを算出する。

【０１１７】 SA=|R44-G(R44)A|/(R44+G(R44)A)=|1-0|/(1+0)=1 SB=|R44-G(R44)B|/(R44+G(R44)B)=|1-103|/(1+103)≒0.98 （５４） Sj=SA/(SA+SB)=1/(1+0.98)≒0.5 （５５） このように重み付け係数Ｓｊが求められると、下記の式
（５６）によりＢ（Ｒ４４）信号を算出する。

【０１１８】 B(R44)=(1-Sj)*B(R44)A+Sj*B(R44)B=0.5*1+0.5*208≒105 （５６） ここで、Ｒ４４画素位置は黒いエッジ上にあるため、Ｂ
（Ｒ４４）信号の値は０に近い値であることが好まし
い。しかしながら、上記式（５４）、（５５）に示すよ
うに重み付け係数Ｓｊを算出して式（５６）によりＢ
（Ｒ４４）信号の値を求めるとその値は１０５となるた
め、ここに偽色が発生することとなる。これは、矢印Ａ
方向において信号値の変動が少ないほど重み付け係数Ｓ
ｊの値は０に近くなるが、信号値を算出する画素位置周
辺の画素位置における信号値によっては、式（５６）に
示すように、重み付け係数Ｓｊが０に近い値とならない
場合があるからである。

【０１１９】一方、第２の実施形態においては、信号値
を算出する画素位置がグレーエッジにある場合には、式
（５４）において分母を省略して変動値ＳＡ，ＳＢを算
出するものであり、Ｒ４４画素位置においてそのように
変動値ＳＡ，ＳＢを算出すると、 SA=|R44-G(R44)A|=|1-0|=1 SB=|R44-G(R44)B|=|1-103|=102 （５７） となり、重み付け係数Ｓｊは、 Sj=SA/(SA+SB)=1/(1+102)≒0.01 （５８） となる。このように算出された重み付け係数Ｓｊにより
Ｂ（Ｒ４４）信号を算出すると、 B(R44)=(1-Sj)*B(R44)A+Sj*B(R44)B=0.99*1+0.01*208≒2.99 （５９） となる。これにより、Ｂ（Ｒ４４）信号は０に近い値と
なり、その結果偽色を低減することができる。

【０１２０】一方、色エッジであると判定された場合
に、式（５７）により変動値ＳＡ，ＳＢを算出しても偽
色を低減できるが、エッジ付近における細かな色味がな
くなってしまうため、画像が不自然なものとなる。した
がって、第２の実施形態においては、信号値を算出する
画素位置がグレーエッジであるか色エッジであるかに応
じて、変動値ＳＡ，ＳＢの算出方法を変更するようにし
たものである。

【０１２１】なお、第２の実施形態においては、変動値
算出手段２３において、色エッジである場合の変動値Ｓ
Ａ，ＳＢの算出は、上記式（４６）、（４７）等により
行っているが、これらの式においては除算が含まれるた
め、演算量を低減させるためには、除算を行わないこと
が好ましい。この場合、変動値ＳＡ，ＳＢの比率が変わ
らなければ重み付け係数Ｓｊの算出に支障はない。した
がって、上記式（４６）、（４７）の場合、右辺に(R(G
33)A+G33)*(B(G33)B+G33)を乗算し、下記の式（４
６′）、（４７′）により、変動値ＳＡ，ＳＢを算出す
ることが好ましい。

【０１２２】 SA=|R(G33)A-G33|*(B(G33)B+G33) （４６′） SB=|B(G33)B-G33|*(R(G33)A+G33) （４７′） なお、上記式（４８）、（４９）については、(B(G35)A
+G35)*(R(G35)B+G35)を乗算して、下記の式（４
８′）、（４９′）により変動値ＳＡ，ＳＢを算出すれ
ばよい。

【０１２３】 SA=|B(G35)A-G35|*(R(G35)B+G35) （４８′） SB=|R(G35)B-G35|*(B(G35)A+G35) （４９′） また、上記式（５０）、（５１）については、(B24+G(B
24)A)*(B24+G(B24)B)を乗算して、下記の式（５
０′）、（５１′）により変動値ＳＡ，ＳＢを算出すれ
ばよい。

【０１２４】 SA=|B24-G(B24)A|*(B24+G(B24)B) （５０′） SB=|B24-G(B24)B|*(B24+G(B24)A) （５１′） 次いで、第２の実施形態の動作について説明する。な
お、第２の実施形態の動作は基本的には図１８に示す第
１の実施形態の動作と同一であり、図１８におけるステ
ップＳ４における処理のみが異なるものであるため、こ
こではステップＳ４における信号算出処理についてのみ
説明する。図２５は第２の実施形態における信号算出処
理の動作を示すフローチャートである。まず、第１の実
施形態と同様に処理１および２による信号値の算出（ス
テップＳ４１）、処理３および４による信号値の算出
（ステップＳ４２）、処理５および６による信号値の算
出（ステップＳ４３）が行われる。

【０１２５】一方、判定手段１０においては、信号値を
算出する画素位置がグレーエッジにあるか否かが判定さ
れ（ステップＳ４４）、その判定結果を表す判定情報Ｈ
が変動値算出手段２３に入力される。変動値算出手段２
３においては、信号値を算出する画素位置がグレーエッ
ジにある場合には、上記式（２３）、（２４）等に示す
ようにグレーエッジ用の変動値ＳＡ，ＳＢを算出する
（ステップＳ４５）。逆に色エッジである場合には、上
記式（４６′）、（４７′）等に示すように色エッジ用
の変動値ＳＡ，ＳＢを算出する（ステップＳ４６）。そ
して、変動値ＳＡ，ＳＢは重み付け係数選択手段１４に
入力されて、第１の実施形態と同様に、メモリ１４Ａに
記憶されたテーブルを参照して重み付け係数Ｓｊが選択
され、ステップＳ１１，Ｓ１２，Ｓ１３の処理により算
出された信号値がビットシフトを用いて重み付け加算さ
れて、Ｒ信号ＱＲが算出される（ステップＳ４７）。な
お、ビットシフトを行うことなく、上記式（３３）に示
す重み付け加算を行うようにしてもよいことはもちろん
である。

【０１２６】このように、第２の実施形態によれば、信
号値を算出する画素位置がグレーエッジにあるか色エッ
ジにあるかを判定し、判定結果に応じて重み付け係数Ｓ
ｊを算出するための変動値ＳＡ，ＳＢの算出方法を変更
するようにしたため、信号値を算出する画素位置がグレ
ーエッジにある場合であっても、偽色を低減できる。ま
た、信号値を算出する画素位置が色エッジにある場合に
は、エッジ付近における細かい色味を残して自然な感じ
となる画像を得ることができる。

【０１２７】ここで、単板ＣＣＤ１を使用した撮像装置
においては、偽色を低減するために、画像データを得る
ための撮像系において、光学ローパスフィルタを用いる
必要がある。図２６はハニカム配列の単板ＣＣＤを用い
たデジタルカメラの撮像系を示す図、図２７はハニカム
配列の単板ＣＣＤにおいて得られた信号値の周波数特性
を示す図である。なお、図２７ではｆｓ／２がナイキス
ト周波数であり、図２７（ａ）における実線は従来の処
理により再現可能な周波数帯域、図２７（ｂ）における
実線は本実施形態の処理により再現可能な周波数帯域を
それぞれ示している。図２６に示すように、デジタルカ
メラの撮像系は被写体から順に撮影レンズ３１、光学ロ
ーパスフィルタ３２およびハニカム配列の単板ＣＣＤ３
３が配列されてなる。なお、光軸をＸで示す。上記特開
平１０−２０９０６号、同１０−１３６３９１号等に記
載された方法においては、偽色の低減効果が不十分であ
るため、図２７（ａ）に示す実線より外側の周波数帯域
をカットするための帯域の狭い光学ローパスフィルタ３
２を使用する必要がある。しかしながら、このような帯
域の狭い光学ローパスフィルタを使用すると、得られる
画像の解像度が低下する。また、このような周波数帯域
の狭い光学ローパスフィルタ３２を作成するには、中心
波長６３０〜７８５ｎｍ程度の１／４波長板を図２８
（ａ）に示すように３枚張り合わせる必要があるため、
撮像系の構成が大型化する。

【０１２８】本発明によれば、従来の方法と比較して偽
色を低減することができるため、光学ローパスフィルタ
３２の周波数帯域を図２７（ｂ）に示すように広げるこ
とができ、これにより、単板ＣＣＤ３３において得られ
る画像データＳ０により表される画像の解像度を向上さ
せることができる。また、図２８（ｂ）に示すように２
枚の１／４波長板を張り合わせることにより、図２７
（ｂ）に示す特性を得ることができるため、撮像系を小
型化することができる。

【０１２９】なお、上記第１および第２の実施形態にお
いては単板ＣＣＤ１として、Ｇ画素がＲ，Ｂ画素に対し
て倍の密度を有するものについて説明したが、Ｒ画素が
Ｇ，Ｂ画素に対して、あるいはＢ画素がＲ，Ｇ画素に対
して倍の密度を有するものであってもよい。また、Ｒ，
Ｇ，Ｂに対して分光感度を有するものについて説明した
が、単板ＣＣＤ１としてはこれに限定されるものではな
く、Ｙ（イエロー）、Ｇ（グリーン）、Ｃ（シアン）に
対して分光感度を有するもの、あるいはＹ、Ｗ（ホワイ
ト）、Ｃに対して分光感度を有するものであってもよ
い。

【０１３０】また、上記第１および第２の実施形態にお
いては、３色全ての信号値を算出しているが、１色また
は２色のみの信号値を算出するようにしてもよい。

【０１３１】さらに、上記第１および第２の実施形態に
おいては、式（２９）により重み付け係数Ｓｊを算出す
るものとしているが、下記の式（６０）により重み付け
係数Ｓｊを算出するものとしてもよい。

【０１３２】 Sj=SB/(SA+SB) (if SA+SB=0 then Sj=0.5) （６０） この場合、重み付け係数Ｓｊと変動値ＳＡ，ＳＢとの対
応関係は、図２９に示すようにｘ軸方向に変動値ＳＢ、
ｙ軸方向に変動値ＳＡとした２次元平面上において規定
されることとなる。

【０１３３】また、この場合、Ｒ、Ｂ信号ＱＲ、ＱＢ
は、下記の式（６１）により算出される。

【０１３４】 QR,QB=Sj*Q1+(1-Sj)*Q2 （６１）

【図面の簡単な説明】

【図１】本発明の第１の実施形態による画像処理装置の
構成を示す概略ブロック図

【図２】単板ＣＣＤにおける画素配列を示す図

【図３】ハニカム配列の単板ＣＣＤの画素配列を示す図

【図４】ハニカム配列の単板ＣＣＤの各画素位置を参照
番号を付して示す図

【図５】ＲＢ補間手段の構成を示す概略ブロック図

【図６】Cubicスプライン補間フィルタの例を示す図

【図７】信号値の算出を説明するための図（その１）

【図８】信号値の算出を説明するための図（その２）

【図９】信号値の算出を説明するための図（その３）

【図１０】信号値の算出を説明するための図（その４）

【図１１】信号値の算出を説明するための図（その５）

【図１２】信号値の算出を説明するための図（その６）

【図１３】信号値の算出を説明するための図（その７）

【図１４】変動値ＳＡ，ＳＢと重み付け係数Ｓｊとの関
係を示す図

【図１５】第１の実施形態の処理を説明するための図

【図１６】市松正方フィルタの例を示す図（その１）

【図１７】市松正方フィルタの例を示す図（その２）

【図１８】第１の実施形態の動作を示すフローチャート

【図１９】信号算出処理の動作を示すフローチャート

【図２０】ビットシフトを用いた重み付け加算処理の動
作を示すフローチャート

【図２１】本発明の第２の実施形態による画像処理装置
におけるＲＢ補間手段の構成を示す概略ブロック図

【図２２】赤（Ｒ）および緑（Ｇ）からなる色エッジの
例を示す図

【図２３】グレーエッジの例を示す図

【図２４】変動値ＳＡ，ＳＢの算出方法の差異を説明す
るための図

【図２５】第２の実施形態における信号算出処理の動作
を示すフローチャート

【図２６】ハニカム配列の単板ＣＣＤを用いたデジタル
カメラの撮像系を示す図

【図２７】ハニカム配列の単板ＣＣＤにおいて得られた
信号値の周波数特性を示す図

【図２８】光学ローパスフィルタの配置を示す図

【図２９】変動値ＳＡ，ＳＢと重み付け係数Ｓｊとの関
係を示す図

【図３０】ハニカム配列を示す図

【図３１】ベイヤー配列を示す図

【図３２】ベイヤー配列の画素位置を参照番号を付して
示す図

【図３３】ハニカム配列の画素位置を参照番号を付して
示す図

【符号の説明】

１ 単板ＣＣＤ ２ 補間手段 ３ Ｇ補間手段 ４ ＲＢ補間手段 ５ 市松正方補間手段 １０ 判定手段 １１ 第１補間手段 １２ 第２補間手段 １３，２３ 変動値算出手段 １４ 重み付け係数選択手段 １５ 重み付け加算手段 ３１ 撮影レンズ ３２ 光学ローパスフィルタ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 BA13 BA29 CA16 CB16 CD06 CE06 CE16 DC16 5C065 AA01 BB13 BB48 CC01 DD02 DD17 GG13 GG21 GG22 GG23 GG29 5C079 HB01 JA23 LA17 LA24 LA28 LA31 MA01 MA11 NA09 NA27

Claims (6)

【特許請求の範囲】
1. 【請求項１】 異なる分光感度を有する第１から第３
   の光電変換素子を単一面上に配置して撮像面が形成され
   た撮像デバイスであって、前記第１および前記第２の光
   電変換素子を所定方向に交互に配置して第１ラインを形
   成し、前記第１および前記第３の光電変換素子を前記所
   定方向に交互に配置して第２ラインを形成し、前記所定
   方向と直交する直交方向において前記第１および前記第
   ２の光電変換素子が交互に、かつ前記第１および前記第
   ３の光電変換素子が交互に配置されるよう、前記第１お
   よび前記第２ラインを前記直交方向に交互に配置するこ
   とにより、第１から第３画素からなる前記撮像面が形成
   された撮像デバイスにおいて得られた第１から第３信号
   値に基づいて、全画素位置における前記第１から第３信
   号値のうち少なくとも１つの信号値を推定する画像処理
   方法において、 前記所定方向についての信号値の推定値である所定方向
   推定値および前記直交方向についての信号値の推定値で
   ある直交方向推定値を算出し、 前記所定方向についての信号値の変動量を表す所定方向
   変動値および前記直交方向についての信号値の変動量を
   表す直交方向変動値を算出し、 前記所定方向変動値および前記直交方向変動値の加算値
   に対する前記所定方向変動値または前記直交方向変動値
   の比率を、前記所定方向推定値および前記直交方向推定
   値を重み付け加算する際の重み付け係数として算出する
   に際し、 前記重み付け係数が一定であるとした場合の前記所定方
   向変動値と前記直交方向変動値との関係に基づいて、複
   数の重み付け係数に対する所定方向変動値および直交方
   向変動値の対応関係を予め算出して記憶した記憶手段を
   参照して、前記所定方向変動値および前記直交方向変動
   値に基づいて、前記複数の重み付け係数から一の重み付
   け係数を選択し、 該一の重み付け係数に基づいて、前記所定方向推定値お
   よび前記直交方向推定値を重み付け加算して、前記第１
   から第３信号値のうち少なくとも１つの信号値を推定す
   ることを特徴とする画像処理方法。
2. 【請求項２】 前記記憶手段に記憶された前記対応関
   係における前記複数の重み付け係数が、前記加算値に対
   する前記所定方向変動値または前記直交方向変動値の比
   率が１／２^ｎ（ｎは自然数）となるように設定されてな
   り、 前記重み付け加算を、前記選択された一の重み付け係数
   に基づくビットシフトにより行うことを特徴とする請求
   項１記載の画像処理方法。
3. 【請求項３】 異なる分光感度を有する第１から第３
   の光電変換素子を単一面上に配置して撮像面が形成され
   た撮像デバイスであって、前記第１および前記第２の光
   電変換素子を所定方向に交互に配置して第１ラインを形
   成し、前記第１および前記第３の光電変換素子を前記所
   定方向に交互に配置して第２ラインを形成し、前記所定
   方向と直交する直交方向において前記第１および前記第
   ２の光電変換素子が交互に、かつ前記第１および前記第
   ３の光電変換素子が交互に配置されるよう、前記第１お
   よび前記第２ラインを前記直交方向に交互に配置するこ
   とにより、第１から第３画素からなる前記撮像面が形成
   された撮像デバイスにおいて得られた第１から第３信号
   値に基づいて、全画素位置における前記第１から第３信
   号値のうち少なくとも１つの信号値を推定する画像処理
   装置において、 前記所定方向についての信号値の推定値である所定方向
   推定値および前記直交方向についての信号値の推定値で
   ある直交方向推定値を算出する推定値算出手段と、 前記所定方向についての信号値の変動量を表す所定方向
   変動値および前記直交方向についての信号値の変動量を
   表す直交方向変動値を算出する変動値算出手段と、 前記所定方向変動値と前記直交方向変動値との加算値に
   対する前記所定方向変動値または前記直交方向変動値の
   比率を、前記所定方向推定値および前記直交方向推定値
   を重み付け加算する際の重み付け係数として算出するに
   際し、前記重み付け係数が一定であるとした場合の前記
   所定方向変動値と前記直交方向変動値との関係に基づい
   て、複数の重み付け係数に対する所定方向変動値および
   直交方向変動値の対応関係を予め算出して、該対応関係
   を記憶した記憶手段と、 前記所定方向変動値および前記直交方向変動値に基づい
   て、前記記憶手段を参照して前記複数の重み付け係数か
   ら一の重み付け係数を選択する重み付け係数選択手段
   と、 該一の重み付け係数に基づいて、前記所定方向推定値お
   よび前記直交方向推定値を重み付け加算して、前記第１
   から第３信号値のうち少なくとも１つの信号値を推定す
   る重み付け加算手段とを備えたことを特徴とする画像処
   理装置。
4. 【請求項４】 前記記憶手段に記憶された前記対応関
   係における前記複数の重み付け係数が、前記加算値に対
   する前記所定方向変動値または前記直交方向変動値の比
   率が１／２^ｎ（ｎは自然数）となるように設定されてな
   り、 前記重み付け加算手段は、前記重み付け加算を、前記選
   択された一の重み付け係数に基づくビットシフトにより
   行う手段であることを特徴とする請求項３記載の画像処
   理装置。
5. 【請求項５】 異なる分光感度を有する第１から第３
   の光電変換素子を単一面上に配置して撮像面が形成され
   た撮像デバイスであって、前記第１および前記第２の光
   電変換素子を所定方向に交互に配置して第１ラインを形
   成し、前記第１および前記第３の光電変換素子を前記所
   定方向に交互に配置して第２ラインを形成し、前記所定
   方向と直交する直交方向において前記第１および前記第
   ２の光電変換素子が交互に、かつ前記第１および前記第
   ３の光電変換素子が交互に配置されるよう、前記第１お
   よび前記第２ラインを前記直交方向に交互に配置するこ
   とにより、第１から第３画素からなる前記撮像面が形成
   された撮像デバイスにおいて得られた第１から第３信号
   値に基づいて、全画素位置における前記第１から第３信
   号値のうち少なくとも１つの信号値を推定する画像処理
   方法をコンピュータに実行させるためのプログラムを記
   録したコンピュータ読取り可能な記録媒体において、 前記プログラムは、前記所定方向についての信号値の推
   定値である所定方向推定値および前記直交方向について
   の信号値の推定値である直交方向推定値を算出する手順
   と、 前記所定方向についての信号値の変動量を表す所定方向
   変動値および前記直交方向についての信号値の変動量を
   表す直交方向変動値を算出する手順と、 前記所定方向変動値および前記直交方向変動値の加算値
   に対する前記所定方向変動値または前記直交方向変動値
   の比率を、前記所定方向推定値および前記直交方向推定
   値を重み付け加算する際の重み付け係数として算出する
   に際し、 前記重み付け係数が一定であるとした場合の前記所定方
   向変動値と前記直交方向変動値との関係に基づいて、複
   数の重み付け係数に対する所定方向変動値および直交方
   向変動値の対応関係を予め算出して記憶した記憶手段を
   参照して、前記所定方向変動値および前記直交方向変動
   値に基づいて、前記複数の重み付け係数から一の重み付
   け係数を選択する手順と、 該一の重み付け係数に基づいて、前記所定方向推定値お
   よび前記直交方向推定値を重み付け加算して、前記第１
   から第３信号値のうち少なくとも１つの信号値を推定す
   る手順とを有することを特徴とするコンピュータ読取り
   可能な記録媒体。
6. 【請求項６】 前記記憶手段に記憶された前記対応関
   係における前記複数の重み付け係数が、前記加算値に対
   する前記所定方向変動値または前記直交方向変動値の比
   率が１／２^ｎ（ｎは自然数）となるように設定されてな
   り、 前記重み付け加算を行う手順は、前記重み付け加算を、
   前記選択された一の重み付け係数に基づくビットシフト
   により行う手順であることを特徴とする請求項５記載の
   コンピュータ読取り可能な記録媒体。