JP2001119706A - 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 単板式固体撮像素子の色補間を適正に行い、
特に、エッジ部分の解像度に優れた画像とする。 【解決手段】 注目画素（シアンＣ２２部分の画素とす
る）を中心とし、シアンＣ、マゼンタＭ、イエロＹ、グ
リーンＧの基本色を含む３×３の画素範囲ａ２を設定
し、かつ、注目画素を中心とした５×５の画素範囲ａ３
を設定する。そして、前記３×３の画素範囲内に存在す
る注目画素に対応する色成分Ｃ２２以外の他の色成分Ｍ
１２，Ｍ３２、Ｙ２１，Ｙ２３、Ｇ１１，Ｇ１３，Ｇ３
１，Ｇ３３を用いて、当該注目画素に対応する色成分を
補間する。具体的には、注目画素に対応する色成分Ｃ２
２の色の変化を５×５の範囲内において調べる。たとえ
ば、Ｍ１２，Ｍ３２からＭ２２（注目画素のマゼンタ成
分）を得る場合には、シアンＣ２２に対するシアンＣ０
２とＣ４２の差に基づいて重み係数を算出して、その重
み係数による重みづけを前記Ｍ１２，Ｍ３２に対し行っ
てＭ２２を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は単板式固体撮像素子
の色補間方法に関し、それぞれの画素において適正な色
補間を行うことで、特に画像のエッジ部分の改善を図る
ようにした単板式固体撮像素子の色補間方法および単板
式固体撮像素子の色補間処理プログラムを記録した記録
媒体に関する。

【０００２】

【従来の技術】ディジタルカメラなど画像をディジタル
データとして取り出すことのできる画像入力装置には、
ＣＣＤ（Charge Coupled Device）と呼ばれる固体撮像
素子が用いられている。このＣＣＤは一般の家庭用機器
では、単一のＣＣＤから３つの基本となる色を取り出
す、いわゆる単板式方式が採用されている。

【０００３】この単板式のＣＣＤは基本となる色（ここ
では補色を用いて説明する）として、シアン（Ｃ）、イ
エロ（Ｙ）、マゼンタ（Ｍ）とそれにグリーン（Ｇ）を
加えた４つの色を１セットとして、例えば図７に示すよ
うにそれぞれの画素対応に２次元平面的な配列となって
いる場合が多い。すなわち、図７の例では、図中、太線
で示す画素範囲ａ１に存在するシアン（Ｃ）、イエロ
（Ｙ）、マゼンタ（Ｍ）、グリーン（Ｇ）の次元平面的
な色配列が繰り返し配列された構成となっている。

【０００４】この図７において、今、シアンＣ２２に対
応する画素部分に注目して考えると、この画素（注目画
素という）における色はシアンのみの色情報しか得られ
ないことになる。したがって、この部分の色再現を行う
には、近傍の色を用いた色補間を行う必要がある。一例
としては、マゼンタはシアンＣ２２の直ぐ上にあるマゼ
ンタＭ１２と直ぐ下にあるマゼンタＭ３２を用いて、両
者の値を足して２で割るいわゆる単純平均によって求め
た値を注目画素のマゼンタの値、つまり、マゼンタＭ２
２とする。なお、ここでの説明では、Ｃ２２やＭ１２な
どの数値「２２」や「１２」は、図７において、それぞ
れの色成分の座標上の位置を示しているが、便宜的にれ
ぞれの色成分の値（画素値）を示すものとする。これ
は、他の色においても同様であり、以下の説明でもこれ
を用いる。

【０００５】同様に、イエロはシアンＣ２２の左隣にあ
るイエロＹ２１と右隣にあるイエロＹ２３を用いて、両
者の値を足して２で割る単純平均によって得られた値を
注目画素Ｃ２２のイエロの値、つまり、イエロＹ２２と
する。

【０００６】同様に、グリーンはシアンＣ２２の斜め左
上にあるグリーンＧ１１と斜め右下にあるグリーンＧ３
３、斜め右上にあるグリーンＧ１３と斜め左下にあるグ
リーンＧ３１を用いて、これらの値を足して４で割る単
純平均によって得られた値を注目画素のグリーンの値、
つまり、グリーンＧ２２とする。

【０００７】このように、注目画素を中心とした３×３
の画素範囲に存在するそれぞれの画素対応の色成分（こ
の説明の例では、注目画素をシアン２２の位置に存在す
る画素としているので、太線で示す画素範囲ａ２に存在
するそれぞれの色成分）を用いて注目画素の色補間を行
うようにしている。

【０００８】また、これとは別にたとえば、図７の点Ｐ
１に存在する画素に注目すると、このＰ１の画素の色補
間は、この画素を取り囲むように存在する４つの色成
分、すなわち、シアンＣ０４、イエロＹ０５、マゼンタ
Ｍ１４、グリーンＧ１５を用いて色補間を行うようにし
ている。

【０００９】

【発明が解決しようとする課題】しかしながら、従来の
方法では、特にエッジ部分の解像度が適正に得られない
問題がある。たとえば、前者の方法では、ある画素に対
し色補間を行う際、補間に用いる色成分の範囲が注目画
素を中心とした３×３というような画素範囲であるた
め、エッジの位置によっては補間処理後のエッジ部分の
解像度などに問題が多い。

【００１０】これは、マゼンタを補間する場合、注目画
素を中心に対称位置に存在する２つのマゼンタＭ１２，
Ｍ３２の単純平均を求め、その値を注目画素値のマゼン
タ成分としていることに原因の一つがあると考えられ
る。すなわち、エッジに位置によっては、マゼンタＭ１
２の値とマゼンタＭ３２の値とに大きな差が生じている
こともあり、大きく異なった２つのマゼンタの値から単
純平均によって注目画素のマゼンタ成分を求めると、注
目画素が実際に持っているマゼンタの色情報と大きく異
なった値となる可能性もあり、適正な色補間が行えない
ことになる。

【００１１】また、後者の場合、補間に用いる色範囲は
２画素×２画素と狭いが、エッジの位置によっては、そ
れぞれの色成分の値が極端に異なる場合もあり、前述同
様、適正な色補間が行えずエッジ部分の解像度に問題が
生じることが多い。

【００１２】そこで本発明は、それぞれの画素において
適正な色補間を行うことで、特に画像のエッジ部分の改
善を図ることを目的としている。

【００１３】

【課題を解決するための手段】上述の目的を達成するた
めに、本発明の単板式固体撮像素子の色補間方法は、基
本となる色成分を構成する個々の色成分が、一定の繰り
返しで個々の画素対応に２次元平面的に配列されてなる
単板式固体撮像素子の色補間方法であって、色補間を行
うべき画素（注目画素という）を中心とし、少なくとも
前記基本となる色の種類を全て含む２次元平面的なｍ×
ｎ（ｍ、ｎは正の整数で、ｍは横方向の値、ｎは縦方向
の値をとるものとする）の画素範囲を設定し、かつ、そ
のｍ×ｎの画素範囲を含み、前記注目画素を中心とした
２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞ｍ、ｊ
＞ｎであり、ｉは横方向の値、ｊは縦方向の値をとるも
のとする）の画素範囲を設定し、前記ｍ×ｎの画素範囲
内に存在する前記注目画素に対応する色成分以外の他の
色成分を当該注目画素に対応する色成分として補間し、
その補間処理は、前記注目画素に対応する色成分の色の
変化を前記ｉ×ｊの範囲内において調べ、その結果に基
づいた重み付け係数を算出して、その算出された重み付
け係数による重み付けを前記補間すべき他の色成分に対
し行って補間するようにしている。

【００１４】また、本発明の単板式固体撮像素子の色補
間処理プログラムを記録した記録媒体は、基本となる色
成分を構成する個々の色成分が、一定の繰り返しで個々
の画素対応に２次元平面的に配列されてなる単板式固体
撮像素子の色補間処理プログラムを記録した記録媒体で
あって、その色補間処理プログラムは、色補間を行うべ
き画素（注目画素という）を中心とし、少なくとも前記
基本となる色の種類を全て含む２次元平面的なｍ×ｎ
（ｍ、ｎは正の整数で、 ｍは横方向の値、ｎは縦方向
の値をとるものとする）の画素範囲を設定し、かつ、そ
のｍ×ｎの画素範囲を含み、前記注目画素を中心とした
２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞ｍ、ｊ
＞ｎであり、ｉは横方向の値、ｊは縦方向の値をとるも
のとする）の画素範囲を設定する手順と、前記ｍ×ｎの
画素範囲内に存在する前記注目画素に対応する色成分以
外の他の色成分を当該注目画素に対応する色成分として
補間する手順とを含み、その補間処理は、前記注目画素
に対応する色成分の色の変化を前記ｉ×ｊの範囲内にお
いて調べ、その結果に基づいた重み付け係数を算出し
て、その算出された重み付け係数による重み付けを前記
補間すべき他の色成分に対し行って補間するようにして
いる。

【００１５】これら各発明において、前記注目画素に対
応する色成分の色の変化を前記ｉ×ｊの範囲内において
調べ、その結果に基づいた重み付け係数を算出して、そ
の算出された重み付け係数による重み付けを前記補間す
べき他の色成分に対し行って補間する処理は、前記注目
画素を通る線上に当該注目画素を中心として対称位置に
それぞれ存在する当該注目画素と同じ色成分と、当該注
目画素の色成分との差をそれぞれとり、両者の差の大き
さの比に基づいた重み付け係数を算出し、その算出され
た重み付け係数による重み付けを前記注目画素を通る線
上でかつ当該注目画素に隣接して存在する画素の色成分
に対して行う処理である。

【００１６】また、前記重み係数は、前記ｉ×ｊの範囲
内における前記注目画素に対応する色成分の色の変化だ
けではなく、前記注目画素に隣接する画素に対応する色
成分の変化を前記ｉ×ｊの範囲内において調べ、その結
果をも用いて決定するようにしている。また、前記ｍ，
ｎはｍ＝ｎ＝３としている。

【００１７】また、本発明の単板式固体撮像素子の色補
間方法は、基本となる色成分を構成する個々の色成分
が、一定の繰り返しで個々の画素対応に２次元平面的に
配列されてなる単板式固体撮像素子の色補間方法であっ
て、色補間を行うべき画素（注目画素という）を中心と
し、少なくとも前記基本となる色の種類を全て含む２次
元平面的なｍ×ｎ（ｍ、ｎは正の整数で、ｍは横方向の
値、ｎは縦方向の値をとるものとする）の画素範囲を設
定し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画
素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整
数でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方
向の値をとるものとする）の画素範囲を設定し、前記ｍ
×ｎの画素範囲内に存在する前記注目画素に対応する色
成分以外の他の色成分を当該注目画素に対応する色成分
として補間し、その補間処理は、前記ｉ×ｊの範囲内の
色成分を用いて、前記ｍ×ｎの範囲の各画素対応の輝度
を求め、そのｍ×ｎの範囲内における前記注目画素の輝
度とその注目すべき画素以外の他のそれぞれの画素の輝
度の変化を調べ、その結果に基づいた重み付け係数を算
出してその重み付け係数による重み付けを前記補間すべ
き他の色成分に対し行って補間するようにしている。

【００１８】また、本発明の単板式固体撮像素子の色補
間処理プログラムを記録した記録媒体は、基本となる色
成分を構成する個々の色成分が、一定の繰り返しで個々
の画素対応に２次元平面的に配列されてなる単板式固体
撮像素子の色補間処理プログラムを記録した記録媒体で
あって、その色補間処理プログラムは、色補間を行うべ
き画素（注目画素という）を中心とし、少なくとも前記
基本となる色の種類を全て含むｍ×ｎ（ｍ、ｎは正の整
数で、ｍ×ｎを２次元平面的配列として考えたとき、ｍ
は横方向の値、ｎは縦方向の値をとるものとする）の画
素範囲を設定し、かつ、そのｍ×ｎの画素範囲を含み、
前記注目画素を中心としたｉ×ｊ（ｉ，ｊは正の整数で
ｉ＞ｍ、ｊ＞ｎであり、ｉ×ｊを２次元平面的配列とし
て考えたとき、ｉは横方向の値、ｊは縦方向の値をとる
ものとする）の画素範囲を設定する手順と、前記ｍ×ｎ
の画素範囲内に存在する前記注目画素に対応する色成分
以外の他の色成分を当該注目画素に対応する色成分とし
て補間する手順とを含み、その補間処理は、前記ｉ×ｊ
の範囲内の色成分を用いて、前記ｍ×ｎの範囲の各画素
対応の輝度を求め、そのｍ×ｎの範囲内における前記注
目画素の輝度とその注目すべき画素以外の他のそれぞれ
の画素の輝度の変化を調べ、その結果に基づいた重み付
け係数を算出してその重み付け係数による重み付けを他
の色成分に対し行って補間するようにしている。

【００１９】これら各発明において、前記ｍ×ｎの範囲
の各画素対応の輝度の求め方は、前記ｍ×ｎの各画素に
おいてそれぞれの画素に対しそれぞれの画素を中心とす
る３×３の画素範囲を設定し、その３×３の画素範囲に
存在するそれぞれの画素の色成分を用いて当該３×３の
画素範囲の中心に位置する画素の輝度を求めるようにし
ている。

【００２０】また、前記ｍ×ｎの範囲内における前記注
目画素の輝度とその注目すべき画素以外の他のそれぞれ
の画素の輝度の変化を調べ、その結果に基づいた重み付
け係数を算出してその重み付け係数による重み付けを前
記他の画素の輝度に対し行って補間する処理は、前記注
目画素を通る線上に当該注目画素を中心として対称位置
にそれぞれ存在する当該注目画素のそれぞれの輝度と、
当該注目画素の輝度との差をそれぞれとり、両者の差の
大きさの比に基づいた重み付け係数を算出し、その算出
された重み付け係数による重み付けを前記注目画素を通
る線上でかつ当該注目画素に隣接して存在する画素の色
成分に対して行う処理としている。

【００２１】また、前記ｍ，ｎはｍ＝ｎ＝３としてい
る。そして、ｍ×ｎの画素範囲の各画素対応の輝度を求
める際、 ｍ，ｎがｍ＝ｎ＝３とした場合、３×３の画
素範囲の中心に存在する注目画素については、当該注目
画素を中心とした３×３の画素範囲に存在するそれぞれ
の画素の色成分を用いて当該注目画素の輝度を求め、注
目画素の斜め左上、斜め右上、斜め左下、斜め右下に隣
接するそれぞれの画素については、その画素を含むそれ
ぞれ２×２の画素範囲に存在するそれぞれの画素の色成
分を用いて当該画素の輝度を求め、注目画素の上と下に
隣接するそれぞれの画素については、その画素を含むそ
れぞれ３×２の画素範囲に存在するそれぞれの画素の色
成分を用いて当該画素の輝度を求め、注目画素の左と右
に隣接するそれぞれの画素については、その画素を含む
それぞれ２×３の画素範囲に存在するそれぞれの画素の
色成分を用いて当該画素の輝度を求めるようにしてい
る。

【００２２】また、これらの発明において、基本色は、
補色系のシアン、マゼンタ、イエロとこれにグリーンを
加えた４つの色を２×２の２次元的な平面配列として、
これを１セットとしてこの１セットが２次元平面的に繰
り返し配列されたものであっても、また、原色系の赤、
青、緑の３つの色でなり緑は２つ用いて２×２の２次元
的な平面配列として、これを１セットとしてこの１セッ
トが２次元平面的に繰り返し配列されてなるものでもよ
い。

【００２３】このように本発明は、ある画素を注目画素
とし、その注目画素の色補間を行う際、当該注目画素を
中心にｍ×ｎ（たとえば、３×３）の画素範囲を設定
し、その画素範囲内の画素における色成分を用いて注目
画素の色補間を行うが、そのとき、そのｍ×ｎの範囲を
含む注目画素を中心としたｉ×ｊ（たとえば、５×５）
の画素範囲を設定し、注目画素に対応する色成分の色の
変化をそのｉ×ｊの範囲内において調べ、その結果に基
づいた重み付け係数を算出して、その算出された重み付
け係数による重みづけを前記補間すべき他の色成分に対
し行って補間するようにしている。

【００２４】このように、所定範囲内において注目画素
の色の変化に基づいて算出された重み付け係数によって
補間すべき他の色に対し重み付けして色補間しているの
で、特に、画像のエッジ部分において解像度に優れた色
補間を行うことができる。

【００２５】さらに、前記重み付け係数は、前記ｉ×ｊ
の範囲内における前記注目画素に対応する色成分の色の
変化だけではなく、前記注目画素に隣接する画素に対応
する色成分の変化を前記ｉ×ｊの範囲内において調べ、
その結果をも用いて決定することも可能である。これに
より、ある１つの注目画素の処理が終了し、処理が隣の
画素に移ってその新たな注目画素に対し色補間を行う際
に、同じような重み付け処理による色補間処理を行った
場合でも、隣接する画素間における色むらを小さく抑え
ることができる。

【００２６】また、前記ｍ×ｎの画素範囲の各画素対応
の輝度を求め、そのｍ×ｎの範囲内における前記注目画
素の輝度とその注目すべき画素以外の他のそれぞれの画
素の輝度の変化を調べ、その変化に基づいた重み付け係
数を算出してその重み付け係数による重み付けを補間す
べき他の色成分に対し行う発明にあっては、それぞれの
画素ごとの輝度を予め求めておくことができ、それによ
って、注目画素ごとにすでに求められている輝度を用い
て簡単に色補間を行うことができるので、処理が簡略化
され処理時間の短縮が図れる。

【００２７】なお、ｍ×ｎの範囲の各画素対応の輝度の
求め方は、前記ｍ×ｎの各画素においてそれぞれの画素
に対しそれぞれの画素を中心とする３×３の画素範囲を
設定し、その３×３の画素範囲に存在するそれぞれの画
素の色成分を用いて当該３×３の画素範囲の中心に位置
する画素の輝度を求めることが可能で、このようにどの
画素についても３×３の画素範囲を設定することにより
処理を単純化することができる。

【００２８】また、前記ｍ×ｎの範囲の各画素対応の輝
度を求める際、ｍ×ｎを３×３とした場合、ｍ×ｎの中
心に存在する注目画素については、当該注目画素を中心
とした３×３の範囲内の画素の色成分を用いて輝度を求
め、注目画素の斜め左上、斜め右上、斜め左下、斜め右
下に隣接するそれぞれの画素については、それぞれ２×
２の範囲の画素の色成分を用いて当該画素の輝度を求
め、注目画素の上と下に隣接するそれぞれの画素につい
ては、それぞれ３×２の範囲の画素の色成分を用いて当
該画素の輝度を求め、注目画素の左と右に隣接するそれ
ぞれの画素については、それぞれ２×３の範囲の画素の
色成分を用いて当該画素の輝度を求めるようにしてい
る。

【００２９】このように、より狭い範囲から求められた
輝度を重み付けを求めるためのパラメータとして用いる
ようにしているので、その重み付け係数により補間され
た画像はより鮮明なものとなり、特にエッジ部分におけ
る鮮明度に優れたものとなる。

【００３０】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。なお、この実施の形態で説明する内容は、
本発明の単板式固体撮像素子の色補間方法についての説
明であるとともに、本発明の単板式固体撮像素子の色補
間処理プログラムを記録した記録媒体における色補間処
理プログラムの具体的な処理内容をも含むものである。

【００３１】図１は本発明の実施の形態を説明する図で
あり、ＣＣＤにおける色成分の配列を示すもので、従来
技術の項の説明に用いた図７と同じものであるとする。

【００３２】この場合も前述したように、注目画素に対
応する色成分の近傍の色成分を用いて色補間を行うが、
基本的には、前述したように、注目画素の色成分を中心
とした３画素×３画素に対応するそれぞれの色成分を用
いて補間する方法を用いる。本発明では、補間を行うそ
れぞれの色に重み付けを行って補間することに特徴があ
る。以下、これについて説明する。

【００３３】今、注目画素に対応する色成分がシアンＣ
２２であるとする。この実施の形態では、注目画素を中
心とし、少なくとも基本色の種類を全て含む３×３の２
次元平面的な画素範囲を設定し、かつ、その３×３の画
素範囲を含み、前記注目画素を中心とした５×５の画素
範囲を設定する。そして、３×３の画素範囲内に存在す
る注目画素に対応する色成分以外の他の色成分を当該注
目画素に対応する色成分として補間する。このとき、前
記注目画素に対応する色成分の色の変化を前記５×５の
画素範囲内において調べ、その結果に基づいた重み係数
を算出して、その算出された重み係数による重み付けを
前記補間すべき他の色成分に対し行って補間する。以
下、具体的に説明する。

【００３４】この場合、注目画素に対応する色成分はシ
アンＣ２２としているので、注目画素に対応する色成分
であるシアンＣ２２を中心に図１の太線で示す３×３の
画素範囲ａ２を設定し、かつ、シアンＣ２２を中心に図
１の太線で示す５×５の画素範囲ａ３を設定する。これ
を取り出して示すものが図２である。

【００３５】そして、この場合、注目画素に対してはマ
ゼンタ、イエロ、グリーンの色成分を補間することにな
る。マゼンタは図２に示すように、シアンＣ２２の上に
あるマゼンタＭ１２とシアンＣ２２の下にあるマゼンタ
Ｍ３２を用いて行うが、マゼンタＭ１２とマゼンタＭ３
２に重み付けを行う。この重み付けは次のようにして行
う。

【００３６】まず、重み付けを行うための係数（これを
重み付け係数といい、マゼンタにおける重み付け係数を
αで表す）を求める。

【００３７】この重み付け係数は、注目画素を通る線上
に当該注目画素を中心として対称位置にそれぞれ存在す
る当該注目画素と同じ色成分と、当該注目画素の色成分
との差をそれぞれとり、両者の差の大きさの比に基づい
て算出する。

【００３８】まず、マゼンタＭ１２とマゼンタＭ３２に
重み付けを行うための重み付け係数αを求める処理につ
いて説明する。この重み付け係数αは、この場合、シア
ンＣ２２を中心にして、マゼンタＭ１２、マゼンタＭ３
２を結ぶ画素ラインＬ０２上に存在するシアンＣ０２と
シアンＣ４２の値（画素値）を用いて決定する。そし
て、求められた重み付け係数によってマゼンタＭ１２、
マゼンタＭ３２に重み付けを行い注目画素におけるマゼ
ンタＭ２２を求める。このマゼンタＭ２２を求める式
を、 Ｍ２２＝α・Ｍ１２＋（１−α）Ｍ３２ （１） とする。この（１）式において、従来技術の項で説明し
た単純平均によってマゼンタＭ２２を求める場合には、
α=0.5とすればよい。本発明では、このαを重みづけ係
数として、上述したように、マゼンタＭ２２を求める場
合には、シアンＣ２２を中心にして、マゼンタＭ１２、
マゼンタＭ３２を結ぶ画素ラインＬ０２上に存在するシ
アンＣ０２とシアンＣ４２の値（画素値）を用いて決定
する。すなわち、補間しようとする色成分（この場合、
マゼンタＭ１２，Ｍ３２）の存在する画素ラインＬ０２
上において注目画素に対応する色成分（シアンＣ２２）
がどのように変化しているかを調べ、その変化の度合い
から重み付け係数αを求めて、補間しようとする色成分
（この場合、マゼンタＭ１２，Ｍ３２）に重み付けを行
う。

【００３９】この重み付け係数αは、シアンＣ２２の位
置に存在する画素（注目画素）の画素値とシアンＣ０２
の位置に存在する画素の画素値の差、および、シアンＣ
２２の位置に存在する画素（注目画素）の画素値とシア
ンＣ４２の位置に存在する画素の画素値の差をそれぞれ
求め、それぞれの差の大きさの比に基づいて求められ
る。すなわち、重み付け係数αは α＝｜C42−C22｜／（｜C02−C22｜＋｜C42−C22｜） （２） で求められる。このようにして求められたαを前述の
（１）式に代入することにより注目画素におけるマゼン
タ成分としてのマゼンタＭ２２が求められる。

【００４０】たとえば、 Ｃ４２−Ｃ２２＝７、Ｃ０２
−Ｃ２２＝３であったとすれば、（２）式により、α=
0.7と求められ、このαを（１）式に代入すれば、 Ｍ２２＝0.7×Ｍ１２＋0.3×Ｍ３２ となり、マゼンタＭ１２の方がマゼンタＭ３２よりも大
きい値の重み付けがなされ、求めようとするマゼンタＭ
２２は、マゼンタＭ１２の値の影響を大きく受けた値と
なる。

【００４１】つまり、 Ｃ４２−Ｃ２２＝７、Ｃ０２−
Ｃ２２＝３ということは、注目画素に対応するシアン成
分（シアンＣ２２）に対し、シアンＣ４２の方がシアン
Ｃ０２よりも差が大きいということであり、このこと
は、シアンＣ４２の方がシアンＣ２２に対し相関が少な
いことを示している。したがって、この場合は、シアン
Ｃ４２側に位置するマゼンタＭ３２の値を、シアンＣ０
２側に位置するマゼンタＭ１２よりも小さくした方がよ
り適正な色補間が行えることになる。

【００４２】以上はマゼンタＭ２２を求める場合につい
て説明したが、イエロＹ２２やグリーンＧ２２も同様に
して求める。

【００４３】イエロＹ２２の場合は、図２に示されるよ
うに、シアンＣ２２の左隣りにあるイエロＹ２１と右隣
りにあるイエロＹ２３を用いて補間を行うが、この場合
もイエロＹ２１とイエロＹ２３に重み付けを行う。この
重み付けは次のようにして行う。ここでは、シアンＣ２
２を中心にして、イエロＹ２１、イエロＹ２３を結ぶ画
素ラインＬ２０上に存在するシアンＣ２０とシアンＣ２
４の値（画素値）を用いて決定する。ここで、イエロＹ
２２を求める式を、 Ｙ２２＝β・Ｙ２１＋（１−β）・Ｙ２３ （３） とする。この（３）式において、従来技術の項で説明し
た単純平均によってイエロＹ２２を求める場合には、β
=0.5とすればよい。本発明では、このβを重み付け係数
として、上述したように、イエロＹ２２を求める場合に
は、シアンＣ２２を中心にして、イエロＹ２１、イエロ
Ｙ２３を結ぶ画素ラインＬ２０上に存在するシアンＣ２
０とシアンＣ２４の値（画素値）を用いて決定する。す
なわち、補間しようとする色成分（この場合、イエロＹ
２１、イエロＹ２３）の存在する画素ラインＬ２０上に
おいて注目画素に対応する色成分（シアンＣ２２）がど
のように変化しているかを調べ、その変化の度合いから
重み付け係数を求めて、補間しようとする色成分（この
場合、イエロＹ２１、イエロＹ２３）に重み付けを行
う。

【００４４】この重み付け係数βは、シアンＣ２２の位
置に存在する画素（注目画素）の画素値とシアンＣ２０
の位置に存在する画素の画素値の差、および、シアンＣ
２２の位置に存在する画素（注目画素）の画素値とシア
ンＣ２４の位置に存在する画素の画素値の差をそれぞれ
求め、それぞれの差の大きさの比に基づいて求める。す
なわち、重みづけ係数βは、 β＝｜C24−C22｜／（｜C20−C22｜＋｜C24−C22｜） （４） で求められる。このようにして求められたβを前述の
（３）式に代入することにより注目画素におけるイエロ
成分としてのイエロＹ２２が求められる。

【００４５】なお、グリーンＧ２２は、図２に示される
ように、シアンＣ２２の斜め左上にあるグリーンＧ１１
と斜め右下にあるグリーンＧ３３、シアンＣ２２の斜め
右上にあるグリーンＧ１３と斜め左下にあるグリーンＧ
３１を用いて補間を行うが、この場合もそれぞれのグリ
ーンＧ１１，Ｇ３３およびＧ１３，Ｇ３１にそれぞれ重
み付けを行う。

【００４６】この重み付けは次のようにして行う。ここ
では、シアンＣ２２を中心にして、グリーンＧ１１、グ
リーンＧ３３を結ぶ画素ラインＬ００上に存在するシア
ンＣ００とシアンＣ４４の値（画素値）、シアンＣ２２
を中心にして、グリーンＧ１３、グリーンＧ３１を結ぶ
画素ラインＬ４０上に存在するシアンＣ０４とシアンＣ
４０の値（画素値）を用いて決定する。ここで、グリー
ンＧ２２を求める式を、 Ｇ２２＝γ０・Ｇ１１＋γ１・Ｇ１３＋γ２・Ｇ３１＋γ３・Ｇ３３ （５） とする。この（５）式において、従来技術の項で説明し
た単純平均によってイエロＹ２２を求める場合には、γ
０＝γ１＝γ２＝γ３＝0.25とすればよい。

【００４７】本発明では、このγ０，γ１，γ２，γ３
を重み付け係数として用い、これら重み付け係数γ０，
γ１，γ２，γ３は以下のようにして決定される。

【００４８】まず、Ｃ００とＣ２２の差（Ｄ０とす
る）、 Ｃ０４とＣ２２の差（Ｄ１とする）、 Ｃ４０と
Ｃ２２の差（Ｄ２とする）、 Ｃ４４とＣ２２の差（Ｄ
３とする）を求め、これらの合計（ＤＴ＝Ｄ０＋Ｄ１＋
Ｄ２＋Ｄ３）を計算する。そして、その合計値ＤＴに対
し、Ｓ０＝ＤＴ／Ｄ０、 Ｓ１＝ＤＴ／Ｄ１、 Ｓ２＝Ｄ
Ｔ／Ｄ２、 Ｓ３＝ＤＴ／Ｄ３を計算し、このＳ０，Ｓ
１，Ｓ２，Ｓ３を用いて重み係数γ０，γ１，γ２，γ
３を求める。すなわち、γ０，γ１，γ２，γ３は γ０＝Ｓ０／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３） γ１＝Ｓ１／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３） γ２＝Ｓ２／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３） γ３＝Ｓ３／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３） （６ ） によって求められる。このようにして求められたγ０，
γ１，γ２，γ３を前述の（５）式に代入することによ
って、注目画素におけるグリーン成分としてのグリーン
Ｇ２２が求められる。

【００４９】以上のようにして、もともとシアンＣ２２
の色成分しかなかった画素部分（注目画素）に対しマゼ
ンタＭ２２、イエロＹ２２、グリーンＧ２２が決定され
ることにより、その部分の色補間が行える。このよう
に、この第１の実施の形態では、注目画素に対し補間す
べき色の値を求める場合、３×３の画素範囲に存在する
補間すべき色成分に重み付けして色補間するようにして
いる。この重み付けは、注目画素に対応する色成分と同
じ色成分の変化を、注目画素を中心とする５×５の画素
範囲において調べ、その変化の度合いに基づいて決定す
るようにしている。これにより、単純平均を求めて補間
する従来の方法に比べると、特に、エッジ付近において
解像感のある輪郭を再現できる。

【００５０】また、これまでの説明では注目画素をシア
ンＣ２２の部分に存在する画素とした例であったが、ど
の画素ついて注目した場合でも適用できる。たとえば、
注目画素をイエロＹ２３に存在する画素とした場合に
は、そのイエロＹ２３を中心とした３×３の画素範囲
と、イエロＹ２３を中心とした５×５の画素範囲を設定
し、前述したような重み付けを行った色補間を行えばよ
い。

【００５１】（第２の実施の形態）この第２の実施の形
態は、前述した第１の実施の形態の変形例であり、より
一層、高性能化を図ったものである。基本的な補間の方
法は第１の実施の形態と同じである。この第２の実施の
形態では、注目画素に対応する色成分の変化とともに、
注目画素に隣接する画素に対応する色成分の変化をも調
べ、両者の変化に基づいて重み付け係数を求めて、その
重み付け係数によって重み付けを行う。

【００５２】前述の第１の実施の形態と同様に、注目画
素に対応する色成分をシアンＣ２２とし、この注目画素
の色補間を行うものとする。たとえば、マゼンタＭ２２
を求めようとするとき、マゼンタＭ２２は、前述の
（１）式で求められるとする。

【００５３】そして、前述の第１の実施の形態と同じよ
うにして重み係数αを求めるが、この場合、図３に示す
ように、シアンＣ２２を中心として、マゼンタＭ１２と
マゼンタＭ３２を結ぶ画素ラインＬ０２における重み係
数（これをα０２で表す）と、それに隣接する画素ライ
ンＬ０１，Ｌ０３における重み係数（これらをα０１，
α０３であらわす）を求める。ここで、画素ラインＬ０
２における重み係数α０２は、前述した（２）式と同じ
考え方で求めることができる。

【００５４】また、画素ラインＬ０１における重み係数
α０１はイエロＹ２１とイエロＹ０１の差、イエロＹ２
１とイエロＹ４１の差の比に基づいて求められる。すな
わち、 α０１＝｜Y41−Y21｜／（｜Y01−Y21｜＋｜Y41−Y21｜） （７） で求められる。また、画素ラインＬ０３における重み係
数α０３は、イエロＹ２３とイエロＹ０３の差、イエロ
Ｙ２３とイエロＹ４３の差の比に基づいて求められる。
すなわち、 α03＝｜Y43−Y23｜／（｜Y03−Y23｜＋｜Y43−Y23｜） （８） で求められる。

【００５５】そして、このようにして求められた重み係
数α０１、α０２、α０３に対してもそれぞれ重みを設
定し、ここでは、α０２を全体の１／２とし、α０１と
α０２をそれぞれ１／４とする。したがって、全体の重
み係数αは α＝（１／２）・α02＋（１／４）・α01＋（１／４）・α03 （９） となり、これを（１）式に代入して、注目画素における
マゼンタ成分としてのマゼンタＭ２２を求めるようにす
る。

【００５６】イエロについても同様にして求める。イエ
ロＹ２２は前述の第１の実施の形態と同じようにして重
み係数βを求めるが、この場合、図３に示すように、シ
アンＣ２２を中心としてイエロＹ２１とイエロＹ２３を
結ぶ画素ラインＬ２０おける重み係数（これをβ２０で
表す）と、それに隣接する画素ラインＬ１０，Ｌ３０の
重み係数（これらをβ１０，β３０であらわす）を求め
る。ここで、画素ラインＬ２０における重み係数β２０
は、前述した（４）式と同じ考え方で求めることができ
る。

【００５７】また、画素ラインＬ１０における重み係数
β１０はマゼンタＭ１２とマゼンタＭ１４の差、マゼン
タＭ１２とマゼンタＭ１０の差の比に基づいて求められ
る。すなわち、 β10＝｜M14−M12｜／（｜M10−M12｜＋｜M14−M12｜） （１０） で求められる。また、画素ラインＬ３０における重み係
数β３０は、マゼンタＭ３２とマゼンタＭ３０の差、マ
ゼンタＭ３２とマゼンタＭ３４の差の比に基づいて求め
られる。すなわち、 β30＝｜M34−M32｜／（｜M30−M32｜＋｜M34−M32｜） （１１） で求められる。

【００５８】そして、このようにして求められた重み係
数β１０、β２０、β３０に対してもそれぞれ重みを設
定し、ここでは、β２０を全体の１／２とし、β１０と
β３０をそれぞれ１／４とする。したがって、全体の重
み係数βは β＝（１／２）・β20＋（１／４）・β10＋（１／４）・β30 （１２） となり、これを（３）式に代入して注目画素におけるイ
エロ成分としてのイエロＹ２２を求めるようにする。

【００５９】また、グリーンＧ２２を求めるには、ここ
では、以下のように簡略化した方法で求める。

【００６０】この場合、処理対象範囲において画像のエ
ッジがどのように存在しているかによって処理が異な
る。まず、画像のエッジラインが縦方向（たとえば、図
３においてラインＬ０１やＬ０２などと同じ方向）に存
在する場合は、図４（ａ）に示すような手順でグリーン
Ｇ２２を求める。まず、グリーンＧ１１とグリーンＧ３
１からグリーンＧ２１を求める。これは、Ｇ２１＝（Ｇ
１１＋Ｇ３１）／２で求める。同様に、グリーンＧ１３
とグリーンＧ３３からグリーンＧ２３を求める。これ
は、Ｇ２３＝（Ｇ１３＋Ｇ３３）／２で求める。このよ
うにして、グリーンＧ２１とＧ２３が求められると、こ
れらグリーンＧ２１とＧ２３からグリーンＧ２２を求め
る。グリーンＧ２２は、 Ｇ２２＝β・Ｇ２１＋（１−β）・Ｇ２３ （１３） で求められ、ここでの重み付け係数βは先ほどイエロＹ
２２を求める際に得られたβ（(12)式参照）を用いるこ
とができる。

【００６１】また、画像のエッジが横方向（たとえば、
図３においてラインＬ１０やＬ２０などと同じ方向）に
存在する場合は、図４（ｂ）に示すような手順でグリー
ンＧ２２を求める。まず、グリーンＧ１１とグリーンＧ
１３からグリーンＧ１２を求める。これは、Ｇ１２＝
（Ｇ１１＋Ｇ１３）／２で求める。同様に、グリーンＧ
３１とグリーンＧ３３からグリーンＧ３２を求める。こ
れは、Ｇ３２＝（Ｇ３１＋Ｇ３３）／２で求める。この
ようにして、グリーンＧ１２とＧ３２が求められると、
これらグリーンＧ１２とＧ３２からグリーンＧ２２を求
める。グリーンＧ２２は、 Ｇ２２＝α・Ｇ１２＋（１−α）・Ｇ３２ （１４） で求められ、ここでの重み付け係数αは先ほどマゼンタ
Ｍ２２を求める際に得られたα（(9)式参照）を用いる
ことができる。なお、このような斜め方向に存在する色
成分を色補間するための簡略化した方法は前述の第１の
実施の形態においても適用できる。

【００６２】以上説明したようにこの第２の実施の形態
では、注目画素に対応する色成分の色の変化だけではな
く、それに隣接する他の色の変化の大きさをもパラメー
タとして用いて重み付け係数を求め、その重み付け係数
によって補間すべき色の値を決めるようにしている。

【００６３】たとえば、マゼンタＭ２２の値を決める場
合を例に取れば、図３からもわかるように、シアンＣ２
２に対するシアンＣ０２とシアンＣ４２の変化のみなら
ず、その左隣りに存在するイエロＹ２１に対するイエロ
Ｙ０１とイエロＹ４１の変化、および、その右隣りに存
在するイエロＹ２３に対するイエロＹ０３とイエロＹ４
３の変化をも考慮して重み付け係数を求め、これによっ
てマゼンタＭ１２とＭ３２に重み付けを行うようにして
いる。これは、マゼンタだけではなく他の色の補間を行
う場合も同様であり、このように異なった色の変化をも
見ることにより、補間処理後の画像を色むらの少ないき
れいな画像とすることができる。

【００６４】補間処理後に色むらの生じる原因の１つと
しては、重み係数を求める際、これまで説明した色の変
化を調べるために使用する色の種類によって、変化の仕
方が一様でなく中には大きく異なることがあるためと考
えられる。

【００６５】たとえば、図２においてシアンＣ２２の画
素における補間処理が終了し、次の注目画素としてその
右隣りのイエロＹ２３の画素の補間処理を行う場合を考
える。この場合、補間すべき色成分として、グリーンＧ
２３、マゼンタＭ２３、シアンＣ２３を求めることにな
る。

【００６６】今、グリーンＧ２３の値を決めようとする
とき、イエロＹ２３に対するイエロＹ０３とイエロＹ３
３の値の変化をパラメータとして重み付け係数を求め、
求められた重み付け係数を用いてグリーンＧ１３とグリ
ーンＧ３３に重み付けを行ってグリーンＧ２３を求める
ことになる。このとき、シアンＣ２２に対するシアンＣ
０２とＣ４２の変化の度合いと、イエロＹ２３に対する
イエロＹ０３およびＹ４３の変化の度合いが大きく異な
ると、求められる重みづけ係数が大きく変わってくる可
能性がある。このように重み付けの値が隣接する画素間
で違いすぎると、補間後の色の状況が大きく異なって、
色むらとなって現れることになる。

【００６７】この第２の実施の形態では、注目画素の色
の変化のみならず、両隣りの色の変化をもパラメータと
して用いて重み係数を求めるようにしているので、この
ような色むらを防ぐことができ輝度変化が滑らかな画像
を得ることができる。

【００６８】（第３の実施の形態）この第３の実施の形
態は、処理対象範囲以内のそれぞれの画素ごとに輝度を
求め、その輝度の変化をパラメータとして重み付け係数
を求めるものである。この第３の実施の形態では、３画
素×３画素の範囲に存在する各画素ごとの輝度を、その
３画素×３画素の範囲を含めた５画素×５画素の範囲か
ら求める。まず、それそれの画素ごとの輝度を求める方
法について説明する。

【００６９】ここでは図５（ａ）の３×３の画素範囲ａ
２内のそれぞれの画素に対応する色成分から図５（ｂ）
のような各画素ごとの輝度を求める。なお、ある画素の
輝度Ｚは、その色成分がシアンＣ、マゼンタＭ、イエロ
Ｙ、グリーンＧとすれば、 Ｚ＝（Ｃ＋Ｍ＋Ｙ＋Ｇ）／４ （１５） で求められるものとする。

【００７０】グリーンＧ１１の位置に存在する画素の輝
度Ｚ１１を求める処理について説明する。まず、そのグ
リーンＧ１１における画素の色補間を行って、シアンＣ
１１、マゼンタＭ１１、イエロＹ１１を求める。この色
補間は前述した従来技術の項で説明した単純な色補間方
法を用いることによって、シアンＣ１１、マゼンタＭ１
１、イエロＹ１１を求める。つまり、グリーンＧ１１を
中心とする３×３の画素範囲を設定し、近傍の色成分を
用いて色補間を行う。

【００７１】すなわち、この場合、シアンＣ１１はＣ１
１＝（Ｃ００＋Ｃ０２＋Ｃ２０＋Ｃ２２）／４で求めら
れ、マゼンタＭ１１はＭ１１＝（Ｍ１０＋Ｍ１２）／２
で求められ、イエロＹ１１はＹ１１＝（Ｙ０１＋Ｙ２
１）／２で求められる。このようにして、グリーンＧ１
１における色補間がなされると、それぞれの色成分（グ
リーンＧ１１、イエロＹ１１、マゼンタＭ１１、シアン
Ｃ１１）を用いて、前記（１５）式により、その画素に
おける輝度（Ｚ１１で表す）を求める。つまり、輝度Ｚ
１１は Ｚ１１＝（Ｃ１１＋Ｍ１１＋Ｙ１１＋Ｇ１１）／４ （１６） で求められる。

【００７２】同様にして、３×３の画素範囲ａ２内にお
けるそれぞれの画素の色補間を行い、それぞれの画素に
おいて輝度を求める。このようにして、図５（ａ）の３
×３の画素範囲ａ２におけるそれぞれの画素の輝度Ｚ１
１，Ｚ１２，Ｚ１３，Ｚ２１，Ｚ２２，Ｚ２３， Ｚ３
１，Ｚ３２，Ｚ３３が求められる。図５（ｂ）はこれら
それぞれの輝度の配列を示すものである。

【００７３】以上のようにして、３×３の画素範囲ａ２
のそれぞれの画素における輝度が求めれられると、今度
は、その輝度情報を用いて重み付け係数を求める。マゼ
ンタの色成分における重み付け係数αは、この場合 α＝｜Z32−Z22｜／（｜Z12−Z22｜＋｜Z32−Z22｜） （１７） で求められる。その重み付け係数αを（１）式に代入す
ることによって、注目画素（シアンＣ２２部分の画素）
におけるマゼンタの色成分としてのマゼンタＭ２２が求
められる。 イエロやグリーンについても、輝度をパラ
メータとして求められた重み付け係数を用いるととも
に、前述の第１の実施の形態の考え方を適用することに
よって、注目画素におけるイエロの色成分としてのイエ
ロＹ２２と、グリーンの色成分としてのグリーンＧ２２
を求めることができる。

【００７４】この第３の実施の形態による方法は、それ
ぞれの画素における仮の輝度を予め求めておくことがで
き、それぞれの画素ごとの輝度情報があれば、注目画素
が次々と移っても、すでに求められている輝度を用いて
上述した処理を行うことができるので、処理が簡略化さ
れる。

【００７５】（第４の実施の形態）上述の第３の実施の
形態の変形例について説明する。基本的な考え方は第３
の実施の形態と同じであるが、注目画素以外の画素に対
応する輝度の求め方を変えている。

【００７６】図５（ｂ）で示した３×３の画素範囲ａ２
における輝度の配列を示す図において、それぞれの画素
の輝度を求める際、注目画素（ここでは、シアンＣ２２
の位置に存在する画素）の輝度は注目画素を中心とした
３×３の画素範囲ａ２に存在する色成分を用いて輝度Ｚ
２２を求めるが、３×３の画素範囲の４隅にある画素の
輝度（この場合、Ｚ１１，Ｚ１３，Ｚ３１，Ｚ３３）に
ついては、その画素を含めた２×２の画素範囲の画素の
色成分を用いて求め、注目画素の上の画素の輝度（Ｚ１
２）と下の画素の輝度（Ｚ３２）については、その画素
を含めた３×２の画素範囲の画素を用いて求め、注目画
素の左側の画素の輝度（Ｚ２１）と右側の画素の輝度
（Ｚ２３）については、その画素を含めた２×３の画素
範囲の画素を用いて求める。

【００７７】すなわち、輝度Ｚ１１は図６（ａ）に示す
ように、太線で示す２×２の画素範囲ａ１１内における
色成分Ｃ００、Ｙ０１，Ｍ１０，Ｇ１１を用いて求め、
輝度Ｚ１３は太線で示す２×２の画素範囲ａ１２内にお
ける色成分Ｙ０３、Ｃ０４，Ｇ１３，Ｍ１４を用いて求
め、輝度Ｚ３１は、太線で示す２×２の画素範囲ａ１３
内における色成分Ｍ３０、Ｇ３１，Ｃ４０，Ｙ４１を用
いて求め、輝度Ｚ３３は、太線で示す２×２の画素範囲
ａ１４内における色成分Ｇ３３、Ｍ３４，Ｙ４３，Ｃ４
４を用いて求める。

【００７８】また、輝度Ｚ１２は図６（ｂ）に示すよう
に、太線で示す３×２の画素範囲ａ２１内における色成
分Ｙ０１、Ｃ０２，Ｙ０３，Ｇ１１，Ｍ１２，Ｇ１３を
用いて求め、輝度Ｚ３２は、太線で示す３×２の画素範
囲ａ２２内における色成分Ｇ３１、Ｍ３２，Ｇ３３，Ｍ
４１，Ｃ４２，Ｙ４３を用いて求める。

【００７９】また、輝度Ｚ２１はは図６（ｃ）に示すよ
うに、太線で示す２×３の画素範囲ａ３１内における色
成分Ｍ１０、Ｇ１１，Ｃ２０，Ｙ２１，Ｍ３０，Ｇ３１
を用いて求め、輝度Ｚ２３は、太線で示す３×２の画素
範囲ａ３２内における色成分Ｇ１３、Ｍ１４，Ｙ２３，
Ｃ２４，Ｇ３３，Ｍ３４を用いて求める。

【００８０】この方法を第３の実施の形態の方法と比べ
ると、第３の実施の形態は、３×３の画素範囲内の画素
における輝度を求める場合、それぞれの画素を中心とし
た３×３の画素範囲を設定し、その３×３の画素範囲内
にある画素の色成分を用いて求めていた。これに対し
て、この第４の実施の形態では、注目画素（この場合は
シアンＣ２２部分に存在する画素）以外の画素の輝度
は、２×２または３×２（２×３）の狭い画素範囲から
求めるようにしている。このように狭い画素範囲から輝
度を求めるようにしているので、画像がより鮮明にな
り、特にエッジ部分をより鮮明なものとすることができ
る。

【００８１】ところで、本発明を実施する上で、注目す
る画素から見て斜め方向に存在する画素に対する色の補
間を行う処理が少し面倒であるが、これを簡略化する方
法として、次のような方法を採用することも可能であ
る。

【００８２】これまでの説明では、斜め４方向の画素の
値を全て用いて重み付けを行っていた。すなわち、図２
において、注目画素の色成分であるシアンＣ２２を中心
として３×３の画素範囲ａ２を考えたとき、その画素範
囲の４隅にはグリーンＧ１１，Ｇ３３，Ｇ１３，Ｇ３１
が存在し、これらの重み付け係数を求める場合、たとえ
ば、第１の実施の形態では、シアンＣ２２と５×５の画
素範囲の４隅のシアンＣ００，Ｃ４４，Ｃ０４，Ｃ４０
との差に基づいて４つの重み付け係数γ０，γ１，γ
２，γ３を求めた。

【００８３】しかし、そのような求め方ではなく、シア
ンＣ２２とシアンＣ００との差、シアンＣ２２とシアン
Ｃ４４との差から重み付け係数γ１１を求め、同様に、
シアンＣ２２とシアンＣ０４との差、シアンＣ２２とシ
アンＣ４０との差から重み付け係数γ１２を求め、これ
らγ１１、γ１２のうち、値が0.5に近い方（滑らかに
変化している方）を用いるようにしてもよい。これによ
れば２つの重み付け係数を計算するだけでよいので、計
算量を少なくすることができ、効率の良い処理が可能と
なる。

【００８４】なお、本発明は以上説明した実施の形態に
限定されるものではなく、本発明の要旨を逸脱しない範
囲で種々変形実施可能となるものである。たとえば、前
述の各実施の形態では、ある注目画素に対しての処理を
行うに必要な画素範囲を、当該注目画素を中心に３×３
の画素範囲を設定し、その３×３の画素範囲を含む５×
５の画素範囲を設定して行っていたが、これは、５×５
の画素範囲に限られるものではなく、たとえば、７×
７、５×７というように任意に設定することができるも
のである。ただし、注目する画素を中心とした範囲を設
定できるように、奇数×奇数の画素範囲とすることが望
ましく、また、あまり広い範囲の設定は好ましくない。

【００８５】また、これまでの説明は、基本となる色と
して、シアン、マゼンタ、イエロ、グリーンというよう
に、補色系の色にグリーンを用いた例で説明したが、こ
れは、赤、グリーン、青の原色系であっても同様に実施
することができる。この場合、基本となる色のセット
は、赤（Ｒ）、青（Ｂ）を１つずつと、グリーン（Ｇ）
を２つの４つで２×２の２次元平面配列とし、それを１
セットして繰り返し配列した構成のＣＣＤであってもよ
い。あとの処理はこれまでの説明した考え方を用いて行
うことができる。

【００８６】また、以上説明した本発明の処理を行う色
補間処理プログラムは、フロッピィディスク、光ディス
ク、ハードディスクなどの記録媒体に記録させておくこ
とができ、本発明はその記録媒体をも含むものである。
また、ネットワークから処理プログラムを得るようにし
てもよい。

【００８７】

【発明の効果】このように本発明は、ある画素を注目画
素とし、その注目画素の色補間を行う際、当該注目画素
を中心にｍ×ｎ（たとえば、３×３）の画素範囲を設定
し、その画素範囲内の画素における色成分を用いて注目
画素の色補間を行うが、そのとき、そのｍ×ｎの範囲を
含む注目画素を中心としたｉ×ｊ（たとえば、５×５）
の画素範囲を設定し、注目画素に対応する色成分の色の
変化をそのｉ×ｊの範囲内において調べ、その結果に基
づいた重み付け係数を算出して、その算出された重み付
け係数による重みづけを前記補間すべき他の色成分に対
し行って補間するようにしている。

【００８８】このように、所定範囲内において注目画素
の色の変化に基づいて算出された重み付け係数によって
補間すべき他の色に対し重み付けして色補間しているの
で、特に、画像のエッジ部分において解像度に優れた色
補間を行うことができる。

【００８９】さらに、前記重み付け係数は、前記ｉ×ｊ
の範囲内における前記注目画素に対応する色成分の色の
変化だけではなく、前記注目画素に隣接する画素に対応
する色成分の変化を前記ｉ×ｊの範囲内において調べ、
その結果をも用いて決定することも可能である。これに
より、ある１つの注目画素の処理が終了し、処理が隣の
画素に移ってその新たな注目画素に対し色補間を行う際
に、同じような重み付け処理による色補間処理を行った
場合でも、隣接する画素間における色むらを小さく抑え
ることができる。

【００９０】また、前記ｍ×ｎの画素範囲の各画素対応
の輝度を求め、そのｍ×ｎの範囲内における前記注目画
素の輝度とその注目すべき画素以外の他のそれぞれの画
素の輝度の変化を調べ、その変化に基づいた重み付け係
数を算出してその重み付け係数による重み付けを補間す
べき他の色成分に対し行う発明にあっては、それぞれの
画素ごとの輝度を予め求めておくことができ、それによ
って、注目画素ごとにすでに求められている輝度を用い
て簡単に色補間を行うことができるので、処理が簡略化
され処理時間の短縮が図れる。

【００９１】また、前記ｍ×ｎの範囲の各画素対応の輝
度を求める際、ｍ×ｎを３×３とした場合、ｍ×ｎの中
心に存在する注目画素については、当該注目画素を中心
とした３×３の範囲内の画素の色成分を用いて輝度を求
め、注目画素の斜め左上、斜め右上、斜め左下、斜め右
下に隣接するそれぞれの画素については、それぞれ２×
２の範囲の画素の色成分を用いて当該画素の輝度を求
め、注目画素の上と下に隣接するそれぞれの画素につい
ては、それぞれ３×２の範囲の画素の色成分を用いて当
該画素の輝度を求め、注目画素の左と右に隣接するそれ
ぞれの画素については、それぞれ２×３の範囲の画素の
色成分を用いて当該画素の輝度を求めるようにしてい
る。

【００９２】このように、より狭い範囲から求めた輝度
を重み付けを求めるためのパラメータとして用いるよう
にしているので、その重み付け係数により補間された画
像はより鮮明なものとなり、特にエッジ部分における鮮
明度に優れたものとなる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を説明するための単
板式固体撮像素子の色成分の配列を示す図である。

【図２】図１においてある注目画素の処理に必要な５×
５の画素範囲を取り出して示す図である。

【図３】本発明の第２の実施の形態を説明する図であ
り、図２と同様にある注目画素の処理に必要な５×５の
画素範囲を取り出して示す図である。

【図４】注目画素に対し斜め方向にある画素の色成分の
重み係数を簡略化した方法で求める例を説明する図であ
る。

【図５】本発明の第３の実施の形態を説明する図であ
り、それぞれの画素の輝度の変化をパラメータとして重
み係数を求める方法を説明する図である。

【図６】本発明の第４の実施の形態を説明する図であ
り、それぞれの画素の輝度を求めるために必要な画素範
囲を画素の位置に応じて設定する例を示す図である。

【図７】従来の色補間を説明するために一般的な単板式
固体撮像素子の色成分配列を示す図である。

【符号の説明】 ａ１ 基本となる色の１セットを示す画素範囲 ａ２ ３×３の画素範囲 ａ３ ５×５の画素範囲 Ｌ０１，Ｌ０２，Ｌ０３ 縦方向の画素ライン Ｌ１０，Ｌ２０，Ｌ３０ 横方向の画素ライン Ｌ００，Ｌ４０ 斜め方向の画素ライン

Claims (26)

【特許請求の範囲】
1. 【請求項１】 基本となる色成分を構成する個々の色成
   分が、一定の繰り返しで個々の画素対応に２次元平面的
   に配列されてなる単板式固体撮像素子の色補間方法であ
   って、 色補間を行うべき画素（注目画素という）を中心とし、
   少なくとも前記基本となる色の種類を全て含む２次元平
   面的なｍ×ｎ（ｍ、ｎは正の整数で、ｍは横方向の値、
   ｎは縦方向の値をとるものとする）の画素範囲を設定
   し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画素
   を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数
   でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方向
   の値をとるものとする）の画素範囲を設定し、前記ｍ×
   ｎの画素範囲内に存在する前記注目画素に対応する色成
   分以外の他の色成分を当該注目画素に対応する色成分と
   して補間し、その補間処理は、前記注目画素に対応する
   色成分の色の変化を前記ｉ×ｊの範囲内において調べ、
   その結果に基づいた重み付け係数を算出して、その算出
   された重み付け係数による重み付けを前記補間すべき他
   の色成分に対し行って補間することを特徴とする単板式
   固体撮像素子の色補間方法。
2. 【請求項２】 前記注目画素に対応する色成分の色の変
   化を前記ｉ×ｊの範囲内において調べ、その結果に基づ
   いた重み付け係数を算出して、その算出された重み付け
   係数による重み付けを前記補間すべき他の色成分に対し
   行って補間する処理は、 前記注目画素を通る線上に当該注目画素を中心として対
   称位置にそれぞれ存在する当該注目画素と同じ色成分
   と、当該注目画素の色成分との差をそれぞれとり、両者
   の差の大きさの比に基づいた重み付け係数を算出し、そ
   の算出された重み付け係数による重み付けを前記注目画
   素を通る線上でかつ当該注目画素に隣接して存在する画
   素の色成分に対して行う処理であることを特徴とする請
   求項１記載の単板式固体撮像素子の色補間方法。
3. 【請求項３】 前記重み係数は、前記ｉ×ｊの範囲内に
   おける前記注目画素に対応する色成分の色の変化だけで
   はなく、前記注目画素に隣接する画素に対応する色成分
   の変化を前記ｉ×ｊの範囲内において調べ、その結果を
   も用いて決定することを特徴とする請求項１または２記
   載の単板式固体撮像素子の色補間方法。
4. 【請求項４】 前記ｍ，ｎはｍ＝ｎ＝３であることを特
   徴とする請求項１から３のいずれかに記載の単板式固体
   撮像素子の色補間方法。
5. 【請求項５】 前記基本色は、補色系のシアン、マゼン
   タ、イエロとこれにグリーンを加えた４つの色を２×２
   の２次元的な平面配列として、これを１セットとしてこ
   の１セットが２次元平面的に繰り返し配列されてなるこ
   とを特徴とする請求項１から４のいずれかに記載の単板
   式固体撮像素子の色補間方法。
6. 【請求項６】 前記基本色は、原色系の赤、青、緑の３
   つの色でなり緑は２つ用いて２×２の２次元的な平面配
   列として、これを１セットとしてこの１セットが２次元
   平面的に繰り返し配列されてなることを特徴とする請求
   項１から４のいずれかに記載の単板式固体撮像素子の色
   補間方法。
7. 【請求項７】 基本となる色成分を構成する個々の色成
   分が、一定の繰り返しで個々の画素対応に２次元平面的
   に配列されてなる単板式固体撮像素子の色補間処理プロ
   グラムを記録した記録媒体であって、その色補間処理プ
   ログラムは、 色補間を行うべき画素（注目画素という）を中心とし、
   少なくとも前記基本となる色の種類を全て含む２次元平
   面的なｍ×ｎ（ｍ、ｎは正の整数で、 ｍは横方向の
   値、ｎは縦方向の値をとるものとする）の画素範囲を設
   定し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画
   素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整
   数でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方
   向の値をとるものとする）の画素範囲を設定する手順
   と、 前記ｍ×ｎの画素範囲内に存在する前記注目画素に対応
   する色成分以外の他の色成分を当該注目画素に対応する
   色成分として補間する手順と、 を含み、その補間処理は、前記注目画素に対応する色成
   分の色の変化を前記ｉ×ｊの範囲内において調べ、その
   結果に基づいた重み付け係数を算出して、その算出され
   た重み付け係数による重み付けを前記補間すべき他の色
   成分に対し行って補間することを特徴とする単板式固体
   撮像素子の色補間処理プログラムを記録した記録媒体。
8. 【請求項８】 前記注目画素に対応する色成分の色の変
   化を前記ｉ×ｊの範囲内において調べ、その結果に基づ
   いた重み付け係数を算出して、その算出された重み付け
   係数による重み付けを前記補間すべき他の色成分に対し
   行って補間する処理は、 前記注目画素を通る線上に当該注目画素を中心として対
   称位置にそれぞれ存在する当該注目画素と同じ色成分
   と、当該注目画素の色成分との差をそれぞれとり、両者
   の差の大きさの比に基づいた重み付け係数を算出し、そ
   の算出された重み付け係数による重み付けを前記注目画
   素を通る線上でかつ当該注目画素に隣接して存在する画
   素の色成分に対して行う処理であることを特徴とする請
   求項７記載の単板式固体撮像素子の色補間処理プログラ
   ムを記録した記録媒体。
9. 【請求項９】 前記重み係数は、前記ｉ×ｊの範囲内に
   おける前記注目画素に対応する色成分の色の変化だけで
   はなく、前記注目画素に隣接する画素に対応する色成分
   の変化を前記ｉ×ｊの範囲内において調べ、その結果を
   も用いて決定することを特徴とする請求項７または８記
   載の単板式固体撮像素子の色補間処理プログラムを記録
   した記録媒体。
10. 【請求項１０】 前記ｍ，ｎはｍ＝ｎ＝３であることを
    特徴とする請求項７から９のいずれかに記載の単板式固
    体撮像素子の色補間処理プログラムを記録した記録媒
    体。
11. 【請求項１１】 前記基本色は、補色系のシアン、マゼ
    ンタ、イエロとこれにグリーンを加えた４つの色を２×
    ２の２次元的な平面配列として、これを１セットとして
    この１セットが２次元平面的に繰り返し配列されてなる
    ことを特徴とする請求項７から１０のいずれかに記載の
    単板式固体撮像素子の色補間処理プログラムを記録した
    記録媒体。
12. 【請求項１２】 前記基本色は、原色系の赤、青、緑の
    ３つの色でなり緑は２つ用いて２×２の２次元的な平面
    配列として、これを１セットとしてこの１セットが２次
    元平面的に繰り返し配列されてなることを特徴とする請
    求項７から１０のいずれかに記載の単板式固体撮像素子
    の色補間処理プログラムを記録した記録媒体。
13. 【請求項１３】 基本となる色成分を構成する個々の色
    成分が、一定の繰り返しで個々の画素対応に２次元平面
    的に配列されてなる単板式固体撮像素子の色補間方法で
    あって、 色補間を行うべき画素（注目画素という）を中心とし、
    少なくとも前記基本となる色の種類を全て含む２次元平
    面的なｍ×ｎ（ｍ、ｎは正の整数で、ｍは横方向の値、
    ｎは縦方向の値をとるものとする）の画素範囲を設定
    し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画素
    を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数
    でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方向
    の値をとるものとする）の画素範囲を設定し、前記ｍ×
    ｎの画素範囲内に存在する前記注目画素に対応する色成
    分以外の他の色成分を当該注目画素に対応する色成分と
    して補間し、その補間処理は、前記ｉ×ｊの範囲内の色
    成分を用いて、前記ｍ×ｎの範囲の各画素対応の輝度を
    求め、そのｍ×ｎの範囲内における前記注目画素の輝度
    とその注目すべき画素以外の他のそれぞれの画素の輝度
    の変化を調べ、その結果に基づいた重み付け係数を算出
    してその重み付け係数による重み付けを前記補間すべき
    他の色成分に対し行って補間することを特徴とする単板
    式固体撮像素子の色補間方法。
14. 【請求項１４】 前記ｍ×ｎの範囲の各画素対応の輝度
    の求め方は、前記ｍ×ｎの各画素においてそれぞれの画
    素に対しそれぞれの画素を中心とする３×３の画素範囲
    を設定し、その３×３の画素範囲に存在するそれぞれの
    画素の色成分を用いて当該３×３の画素範囲の中心に位
    置する画素の輝度を求めることを特徴とする請求項１３
    記載の単板式固体撮像素子の色補間方法。
15. 【請求項１５】 前記ｍ×ｎの範囲内における前記注目
    画素の輝度とその注目すべき画素以外の他のそれぞれの
    画素の輝度の変化を調べ、その結果に基づいた重み付け
    係数を算出してその重み付け係数による重み付けを前記
    他の画素の輝度に対し行って補間する処理は、 前記注目画素を通る線上に当該注目画素を中心として対
    称位置にそれぞれ存在する当該注目画素のそれぞれの輝
    度と、当該注目画素の輝度との差をそれぞれとり、両者
    の差の大きさの比に基づいた重み付け係数を算出し、そ
    の算出された重み付け係数による重み付けを前記注目画
    素を通る線上でかつ当該注目画素に隣接して存在する画
    素の色成分に対して行う処理であることを特徴とする請
    求項１３または１４記載の単板式固体撮像素子の色補間
    方法。
16. 【請求項１６】 前記ｍ，ｎはｍ＝ｎ＝３であることを
    特徴とする請求項１３から１５のいずれかに記載の単板
    式固体撮像素子の色補間方法。
17. 【請求項１７】 前記ｍ×ｎの画素範囲の各画素対応の
    輝度を求める際、ｍ，ｎがｍ＝ｎ＝３とした場合、 ３×３の画素範囲の中心に存在する注目画素について
    は、当該注目画素を中心とした３×３の画素範囲に存在
    するそれぞれの画素の色成分を用いて当該注目画素の輝
    度を求め、 注目画素の斜め左上、斜め右上、斜め左下、斜め右下に
    隣接するそれぞれの画素については、その画素を含むそ
    れぞれ２×２の画素範囲に存在するそれぞれの画素の色
    成分を用いて当該画素の輝度を求め、 注目画素の上と下に隣接するそれぞれの画素について
    は、その画素を含むそれぞれ３×２の画素範囲に存在す
    るそれぞれの画素の色成分を用いて当該画素の輝度を求
    め、 注目画素の左と右に隣接するそれぞれの画素について
    は、その画素を含むそれぞれ２×３の画素範囲に存在す
    るそれぞれの画素の色成分を用いて当該画素の輝度を求
    める、 ことを特徴とする請求項１６記載の単板式固体撮像素子
    の色補間方法。
18. 【請求項１８】 前記基本色は、補色系のシアン、マゼ
    ンタ、イエロとこれにグリーンを加えた４つの色を２×
    ２の２次元的な平面配列として、これを１セットとして
    この１セットが２次元平面的に繰り返し配列されてなる
    ことを特徴とする請求項１３から１７のいずれかに記載
    の単板式固体撮像素子の色補間方法。
19. 【請求項１９】 前記基本色は、原色系の赤、青、緑の
    ３つの色でなり緑は２つ用いて２×２の２次元的な平面
    配列として、これを１セットとしてこの１セットが２次
    元平面的に繰り返し配列されてなることを特徴とする請
    求項１３から１７のいずれかに記載の単板式固体撮像素
    子の色補間方法。
20. 【請求項２０】 基本となる色成分を構成する個々の色
    成分が、一定の繰り返しで個々の画素対応に２次元平面
    的に配列されてなる単板式固体撮像素子の色補間処理プ
    ログラムを記録した記録媒体であって、その色補間処理
    プログラムは、 色補間を行うべき画素（注目画素という）を中心とし、
    少なくとも前記基本となる色の種類を全て含む２次元平
    面的なｍ×ｎ（ｍ、ｎは正の整数で、 ｍは横方向の
    値、ｎは縦方向の値をとるものとする）の画素範囲を設
    定し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画
    素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整
    数でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方
    向の値をとるものとする）の画素範囲を設定する手順
    と、 前記ｍ×ｎの画素範囲内に存在する前記注目画素に対応
    する色成分以外の他の色成分を当該注目画素に対応する
    色成分として補間する手順と、 を含み、その補間処理は、前記ｉ×ｊの範囲内の色成分
    を用いて、前記ｍ×ｎの範囲の各画素対応の輝度を求
    め、そのｍ×ｎの範囲内における前記注目画素の輝度と
    その注目すべき画素以外の他のそれぞれの画素の輝度の
    変化を調べ、その結果に基づいた重み付け係数を算出し
    てその重み付け係数による重み付けを他の色成分に対し
    行って補間することを特徴とする単板式固体撮像素子の
    色補間処理プログラムを記録した記録媒体。
21. 【請求項２１】 前記ｍ×ｎの範囲の各画素対応の輝度
    の求め方は、前記ｍ×ｎの各画素においてそれぞれの画
    素に対しそれぞれの画素を中心とする３×３の画素範囲
    を設定し、その３×３の画素範囲に存在するそれぞれの
    画素の色成分を用いて当該３×３の画素範囲の中心に位
    置する画素の輝度を求めることを特徴とする請求項２０
    記載の単板式固体撮像素子の色補間処理プログラムを記
    録した記録媒体。
22. 【請求項２２】 前記ｍ×ｎの範囲内における前記注目
    画素の輝度とその注目すべき画素以外の他のそれぞれの
    画素の輝度の変化を調べ、その結果に基づいた重み付け
    係数を算出してその重み付け係数による重み付けを前記
    他の画素の輝度に対し行って補間する処理は、 前記注目画素を通る線上に当該注目画素を中心として対
    称位置にそれぞれ存在する当該注目画素のそれぞれの輝
    度と、当該注目画素の輝度との差をそれぞれとり、両者
    の差の大きさの比に基づいた重み付け係数を算出し、そ
    の算出された重み付け係数による重み付けを前記注目画
    素を通る線上でかつ当該注目画素に隣接して存在する画
    素の色成分に対して行う処理であることを特徴とする請
    求項２０または２１記載の単板式固体撮像素子の色補間
    処理プログラムを記録した記録媒体。
23. 【請求項２３】 前記ｍ，ｎはｍ＝ｎ＝３であることを
    特徴とする請求項２０から２２のいずれかに記載の単板
    式固体撮像素子の色補間処理プログラムを記録した記録
    媒体。
24. 【請求項２４】 前記ｍ×ｎの画素範囲の各画素対応の
    輝度を求める際、ｍ，ｎがｍ＝ｎ＝３とした場合、 ３×３の画素範囲の中心に存在する注目画素について
    は、当該注目画素を中心とした３×３の画素範囲に存在
    するそれぞれの画素の色成分を用いて当該注目画素の輝
    度を求め、 注目画素の斜め左上、斜め右上、斜め左下、斜め右下に
    隣接するそれぞれの画素については、その画素を含むそ
    れぞれ２×２の画素範囲に存在するそれぞれの画素の色
    成分を用いて当該画素の輝度を求め、 注目画素の上と下に隣接するそれぞれの画素について
    は、その画素を含むそれぞれ３×２の画素範囲に存在す
    るそれぞれの画素の色成分を用いて当該画素の輝度を求
    め、 注目画素の左と右に隣接するそれぞれの画素について
    は、その画素を含むそれぞれ２×３の画素範囲に存在す
    るそれぞれの画素の色成分を用いて当該画素の輝度を求
    める、 ことを特徴とする請求項２３記載の単板式固体撮像素子
    の色補間処理プログラムを記録した記録媒体。
25. 【請求項２５】 前記基本色は、補色系のシアン、マゼ
    ンタ、イエロとこれにグリーンを加えた４つの色を２×
    ２の２次元的な平面配列として、これを１セットとして
    この１セットが２次元平面的に繰り返し配列されてなる
    ことを特徴とする請求項２０から２４のいずれかに記載
    の単板式固体撮像素子の色補間処理プログラムを記録し
    た記録媒体。
26. 【請求項２６】 前記基本色は、原色系の赤、青、緑の
    ３つの色でなり緑は２つ用いて２×２の２次元的な平面
    配列として、これを１セットとしてこの１セットが２次
    元平面的に繰り返し配列されてなることを特徴とする請
    求項２０から２４のいずれかに記載の単板式固体撮像素
    子の色補間処理プログラムを記録した記録媒体。