JP2000188762A - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、輝度成分と色成分とからなるカラ
ー画像に対し、各画素に欠落する色成分に相当する補間
量を算出する補間処理を行う補間処理装置と、該補間処
理をコンピュータに実行させる補間処理プログラムを記
録した記録媒体とに関し、色境界での偽色の発生を抑え
て、精度良く補間処理を行うことを目的とする。 【解決手段】 類似性判定手段は、補間処理の対象とな
る補間対象画素を起点として補間対象画素に欠落する色
成分を有する有色画素に向かう複数の方向に対して、補
間対象画素の類似性を判定し、補間量算出手段は、類似
性判定手段で判定された複数の方向に対する補間対象画
素の類似性の強弱に基づき、該複数の方向に位置する有
色画素の色成分を加重加算することによって補間量を算
出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、輝度成分と色成分
とからなるカラー画像に対し、各画素に欠落する色成分
に相当する補間量を算出する補間処理を行う補間処理装
置と、該補間処理をコンピュータに実行させる補間処理
プログラムを記録した記録媒体とに関する。

【０００２】

【従来の技術】電子カメラには、３色（例えば、ＲＧ
Ｂ：赤色・緑色・青色）のカラーフィルタが所定の位置
に配置（例えば、ベイア配列など）された撮像素子によ
ってカラー画像の画像データを生成するものがある。

【０００３】このような電子カメラでは、緑色に対応す
る画素の数を赤色（または、青色）に対応する画素の数
よりも多くすることによって、解像度の向上が図られて
いるが、個々の画素で１色の色情報しか生成されないた
め、画素単位で全ての色情報を得るための補間処理が必
要である。このような補間処理の方法としては、緑色に
対する補間処理を行った後に、赤色や青色に対する補間
処理を行う方法が良く用いられる。

【０００４】例えば、米国特許第４,６４２,６７８号明
細書に記載された技術では、まず、緑色に対する補間処
理が行われ、次に、赤色（または青色）が欠落する画素
（以下、「補間対象画素」という。）に隣接して赤色
（または青色）の色情報を有する２つの画素の色相が算
出され、２つの色相の平均値が補間対象画素の色相とさ
れる。そして、補間対象画素の色相と緑色の色情報とを
用いて赤色（または青色）の色情報（補間量に相当す
る）が算出される。

【０００５】ここで、緑色の色情報を画像データの輝度
成分とし、赤色や青色の色情報を画像データの色成分と
すると、米国特許第４,６４２,６７８号明細書に記載さ
れた技術では、補間対象画素に隣接する２つの画素の色
相の平均値が補間対象画素の色相とされ、補間対象画素
の色相と輝度成分とを用いることによって、色成分の補
間処理が行われることになる。

【０００６】

【発明が解決しようとする課題】ところで、補間対象画
素の色相は、必ずしも、補間対象画素に隣接する２つの
画素の色相の平均値と一致しない。例えば、補間処理の
対象となる画像データに色相が異なる領域が隣接する部
分（以下、「色境界」という。）が存在し、その色境界
上の画素が補間対象画素となる場合には、補間対象画素
の色相を隣接する２つの画素の色相の平均値とすること
は適当ではない。

【０００７】すなわち、米国特許第４,６４２,６７８号
明細書に記載された技術は、色成分が滑らかに変化する
画像には有効であるが、色境界を含む画像に対しては、
その色境界において、元の画像に本来存在し得ない偽色
が現れる可能性が高く、画像の品質が著しく低下するお
それがあった。そこで、請求項１ないし請求項５に記載
の発明は、色境界での偽色の発生を抑えて、精度良く補
間処理を行うことができる補間処理装置を提供すること
を目的とする。

【０００８】また、請求項６に記載の発明は、色境界で
の偽色の発生を抑えて精度良い補間処理をコンピュータ
に実行させることができる補間処理プログラムを記録し
た記録媒体を提供することを目的とする。

【０００９】

【課題を解決するための手段】以下、実施形態の図面に
対応付けて、課題を解決するための手段を説明する。

【００１０】請求項１に記載の補間処理装置は、補間処
理の対象となる補間対象画素を起点として補間対象画素
に欠落する色成分（赤色または青色の色情報に相当す
る）を有する有色画素に向かう複数の方向に対して、補
間対象画素の類似性を判定する類似性判定手段（Ｓ１
２、Ｓ１３を行っている状態の図１の補間処理部１７に
対応する）と、類似性判定手段で判定された複数の方向
に対する補間対象画素の類似性の強弱に基づき、該複数
の方向に位置する有色画素の色成分を加重加算すること
によって補間量を算出する補間量算出手段（Ｓ１４を行
っている状態の図１の補間処理部１７に対応する）とを
備えたことを特徴とする。

【００１１】請求項２に記載の補間処理装置は、補間処
理の対象となる補間対象画素を起点として補間対象画素
に欠落する色成分を有する有色画素に向かう複数の方向
に対して、補間対象画素の類似性を判定する類似性判定
手段（Ｓ１２、Ｓ１３を行っている状態の図１の補間処
理部１７に対応する）と、類似性判定手段で判定された
複数の方向に対する補間対象画素の類似性の強弱に基づ
き、該複数の方向に位置する有色画素の色相を加重加算
することによって補間対象画素の色相を推定し、補間対
象画素の色相と補間対象画素が有する輝度成分（緑色の
色情報に相当する）とを用いて補間量を算出する補間量
算出手段（Ｓ２０、Ｓ２１、Ｓ２２を行っている状態の
図１の補間処理部１７に対応する）とを備えたことを特
徴とする。

【００１２】請求項３に記載の補間処理装置は、補間処
理の対象となる補間対象画素を起点として補間対象画素
に欠落する色成分を有する有色画素に向かう複数の方向
に対して、補間対象画素の類似性を判定する類似性判定
手段（Ｓ１２、Ｓ１３を行っている状態の図１の補間処
理部１７に対応する）と、類似性判定手段で判定された
複数の方向に対する補間対象画素の類似性の強弱に基づ
き、該複数の方向に位置する有色画素の色成分を加重加
算して補間量の予測値を算出し、補間対象画素が有する
輝度成分（緑色の色情報に相当する）と補間対象画素の
近傍に位置する画素が有する輝度成分とに基づき、該予
測値を補正することによって補間量を算出する補間量算
出手段（Ｓ３０、Ｓ３１、Ｓ３２を行っている状態の図
１の補間処理部１７に対応する）とを備えたことを特徴
とする。

【００１３】なお、請求項１ないし請求項３の何れか１
項に記載の補間処理装置において、類似性判定手段で行
われる補間対象画素の類似性を判定する方法としては、
例えば、補間対象画素が有する輝度成分と複数の方向の
各々に位置する画素が有する輝度成分とを用いて算出し
た類似度によって類似性を判定する方法やグラジエント
（gradient）によって類似性を判定する方法などが考え
られる。

【００１４】請求項４に記載の補間処理装置は、請求項
１ないし請求項３の何れか１項に記載の補間処理装置に
おいて、前記複数の方向は、補間対象画素を起点として
近傍の有色画素に向かう２方向であることを特徴とす
る。請求項５に記載の補間処理装置は、請求項１ないし
請求項４の何れか１項に記載の補間処理装置において、
補間量算出手段は、類似性判定手段で判定された複数の
方向に対する補間対象画素の類似性の差違を評価し、該
類似性の差違が予め決められた閾値を上回る場合に加重
加算をし、該類似性の差違が該閾値以下の場合に加重加
算の対象となる値の平均値を求めることを特徴とする。

【００１５】請求項６に記載の記録媒体は、コンピュー
タを請求項１ないし請求項５の何れか１項に記載した類
似性判定手段、補間量算出手段として機能させるための
補間処理プログラム（図２のＳ１２〜Ｓ１４、図４のＳ
１２〜Ｓ２２、図５のＳ１２〜Ｓ３２に対応する）を記
録したことを特徴とする。

【００１６】

【発明の実施の形態】以下、図面に基づいて、本発明の
実施形態について詳細を説明する。

【００１７】なお、以下に示す各実施形態では、画像デ
ータの輝度成分として緑色の色情報を用い、画像データ
の色成分として赤色または青色の色情報を用いることに
する。図１は、第１の実施形態に対応する電子カメラの
機能ブロック図である。なお、第１の実施形態に対応す
る電子カメラは、請求項１および請求項４に記載の補間
処理装置が行う補間処理の機能を備えた電子カメラに相
当する。

【００１８】図１において、電子カメラ１０は、制御部
１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１
４、画像処理部１５および記録部１６を有する。また、
画像処理部１５は、補間処理部（補間処理専用の１チッ
プ・マイクロプロセッサ）１７を有する。なお、図１で
は、説明を簡略化するため、画像処理部１５内に補間処
理部１７のみを記載しているが、画像処理部１５内に
は、例えば、階調変換処理など他の画像処理を行う機能
ブロックが設けられても良い。

【００１９】図１において、制御部１１は、撮像部１
３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１
６に接続される。撮影光学系１２で取得された光学像
は、撮像部１３に与えられる。撮像部１３の出力は、Ａ
／Ｄ変換部１４によって量子化されて、カラー画像の画
像データとして画像処理部１５に供給される。

【００２０】画像処理部１５に供給された画像データ
は、補間処理部１７によって補間処理が施され、記録部
１６を介して記録される。図２は、第１の実施形態にお
ける補間処理部１７の動作フローチャートである。図３
は、第１の実施形態における補間処理の対象となる画像
データの色情報の配列を示す図である。

【００２１】なお、図３は、ベイア配列されたカラーフ
ィルタを介して生成された画像データの色情報の配列を
表しており、Ｇ、ＲＢ、ＢＲを用いて色を示し、各記号
に続く数字で位置を示している。例えば、座標(3,4)に
位置する画素は、輝度成分としてG34を有していると言
える。以下、第１の実施形態の動作を説明するが、第１
の実施形態では、図２を参照して補間処理部１７の動作
（特に、赤色の補間処理）を中心に説明する。

【００２２】まず、補間処理部１７は、全ての画素に対
して輝度成分（緑色の色情報に相当する）の補間処理を
行う（Ｓ１０）。なお、このような輝度成分の補間処理
の方法として、例えば、座標(3,3)、(3,5)に位置する画
素の輝度成分G33、G35を G33=(G23+G43+G32+G34)/4 G35=(G25+G45+G34+G36)/4 によって算出することが考えられるが、本実施形態およ
び後述する各実施形態において、輝度成分の補間処理の
方法については、如何なる公知技術を適用しても良い。

【００２３】次に、補間処理部１７は、色成分（赤色や
青色の色情報に相当する）の補間処理の対象となる補間
対象画素を選択し（Ｓ１１）、所定の２つの方向に対す
る類似度を算出する（Ｓ１２）。ただし、本実施形態お
よび後述する各実施形態において、所定の２つの方向と
は、補間対象画素に隣接する有色画素（補間対象画素に
欠落する色成分を有する画素）に向かう方向に相当する
が、有色画素が３つ以上の方向に隣接する場合には、上
方向および下方向（または、左方向および右方向）とす
る。

【００２４】例えば、座標(3,4) に位置する画素を補間
対象画素として赤色の補間処理を行う場合、赤色の有色
画素が上下に存在するので、補間処理部１７は、上方向
の類似度Dup34、下方向の類似度Ddn34を Dup34=|G34-G33| Ddn34=|G34-G35| によって算出する。また、座標(4,3)に位置する画素を
補間対象画素として赤色の補間処理を行う場合、赤色の
有色画素が左右に存在するので、補間処理部１７は、左
方向の類似度Dlt43、右方向の類似度Drt43を Dlt43=|G43-G33| Drt43=|G43-G53| によって算出する。

【００２５】ところで、座標(4,4)に位置する画素を補
間対象画素として赤色の補間処理を行う場合、赤色の有
色画素は上下左右には存在しない。そこで、このような
場合、補間処理部１７は、座標(4,3)、(4,5)（または、
座標(3,4)、(5,4)）における赤色の補間量R43、R45（ま
たは、補間量R34、R54）を後述するようにして算出した
後、これらの座標に位置する画素を有色画素として座標
(4,4)に位置する赤色の補間処理を行う。

【００２６】すなわち、座標(4,4)に位置する画素を補
間対象画素として赤色の補間処理を行う場合、補間処理
部１７は、上方向の類似度Dup34、下方向の類似度Ddn34
（または、左方向の類似度Dlt44、右方向の類似度Drt4
4）を Dup44=|G44-G43| Dlt44=|G44-G34| Ddn44=|G44-G45| Drt44=|G44-G54| によって算出する。

【００２７】なお、このようにして算出される類似度
は、値が小さい程、類似性が強いことを意味する。次
に、補間処理部１７は、Ｓ１２によって算出した２つの
方向に対する類似度を用いて加重係数を算出する（Ｓ１
３）。例えば、補間処理部１７は、補間対象画素が座標
(3,4) に位置する場合、上方向の加重係数Wup34、下方
向の加重係数Wdn34を Wup34=Ddn34/(Dup34+Ddn34) Wdn34=Dup34/(Dup34+Ddn34) によって算出し、補間対象画素が座標(4,3)に位置する
場合、左方向の加重係数Wlt43、右方向の加重係数Wrt43
を Wlt43=Drt43/(Dlt43+Drt43) Wrt43=Dlt43/(Dlt43+Drt43) によって算出する。

【００２８】また、補間対象画素が座標(4,4)に位置す
る際、補間処理部１７は、Ｓ１２によって上下方向の類
似度を算出した場合には、上方向の加重係数Wup44、下
方向の加重係数Wdn44を Wup44=Ddn44/(Dup44+Ddn44) Wdn44=Dup44/(Dup44+Ddn44) によって算出し、Ｓ１２によって左右方向の類似度を算
出した場合には、左方向の加重係数Wlt44、右方向の加
重係数Wrt44を Wlt44=Drt44/(Dlt44+Drt44) Wrt44=Dlt44/(Dlt44+Drt44) によって算出する。

【００２９】次に、補間処理部１７は、Ｓ１３によって
算出した加重係数を用いて、有色画素の色成分を加重加
算することによって、補間量を算出する（Ｓ１４）。す
なわち、補間処理部１７は、座標(3,4)、(4,3)に位置す
る画素を補間対象画素として赤色の補間処理を行う場
合、補間量R34、R43を R34=Wup34・R33+Wdn34・R35 R43=Wlt43・R33+Wrt43・R53 によって算出する。

【００３０】なお、このようにして算出される補間量
は、上方向の加重係数Wup=1、下方向の加重係数Wdn=0と
なる場合や、左方向の加重係数Wlt=1、右方向の加重係
数Wrt=0となる場合には、類似性が最も強い方向に隣接
する有色画素の色成分が引用されたことになる。また、
補間処理部１７は、座標(4,4)に位置する画素を補間対
象画素として赤色の補間処理を行う場合、補間量R44を R44=Wup44・R43+Wdn44・R45 または R44=Wlt44・R34+Wrt44・R54 によって算出する。

【００３１】次に、補間処理部１７は、全ての画素の色
成分の補間処理が完了したか否かを判定し（Ｓ１５）、
このような判定によって、全ての画素の色成分の補間処
理が完了したことを認識するまで、上述した処理（Ｓ１
１以降の処理）を繰り返し行う。なお、青色の補間量に
ついても、赤色の補間量と同様に算出される。

【００３２】以上説明したように、第１の実施形態で
は、ベイア配列されたカラーフィルタを介して生成され
る画像データに対する色成分の補間処理として、補間対
象画素に隣接する２つの有色画素の色成分を加重加算す
ることによって補間量を算出する。したがって、第１の
実施形態では、２つの有色画素の色成分の平均値を補間
量とする補間処理と比べて、色境界の偽色を確実に低減
することができる。

【００３３】なお、本実施形態では、上下方向または左
右方向に位置する有色画素に対する類似度を算出した
が、上下方向や左右方向に対して４５度または１３５度
を成す方向（斜め方向）のうち、類似性の高い２つの方
向（例えば、左上方向および右下方向）に対する類似度
を算出して補間量を算出しても良く、請求項４を対応付
けない場合には、斜め方向に位置する全ての有色画素に
対する類似度を算出して補間量を算出しても良い。

【００３４】ここで、斜め方向に位置する４つの有色画
素を用いて、座標(4,4) に位置する画素の赤色の補間量
を算出する処理過程を示す。補間処理部１７は、Ｓ１２
において、左上方向の類似度Dlt&up44、左下方向の類似
度Dlt&dn44、右上方向の類似度Drt&up44、右下方向の類
似度Drt&dn44を Dlt&up44=|G44-G33| Dlt&dn44=|G44-G35| Drt&up44=|G44-G53| Drt&dn44=|G44-G55| によって算出する。また、補間処理部１７は、Ｓ１３に
おいて、左上方向の加重係数Wlt&up44、左下方向の加重
係数Wlt&dn44、右上方向の加重係数Wrt&up44、右下方向
の加重係数Wrt&dn44を Wlt&up44=Drt&dn44/(Dlt&up44+Drt&dn44) Wlt&dn44=Drt&up44/(Dlt&dn44+Drt&up44) Wrt&up44=Dlt&dn44/(Dlt&dn44+Drt&up44) Wrt&dn44=Dlt&up44/(Dlt&up44+Drt&dn44) によって算出する。そして、補間処理部１７は、Ｓ１４
において、補間量R44を R44=(Wlt&up44・R33+Wrt&dn44・R55)/2+(Wlt&dn44・R35+Wr
t&up44・R53)/2 によって算出する。

【００３５】また、第１の実施形態に請求項５を適用す
る場合、以下のようにして補間量を算出することができ
る。補間処理部１７は、Ｓ１２によって類似度を算出し
た後に、補間量の算出時に加重加算を行うか否かを評価
するための値（以下、評価値という。）を算出し、その
評価値が所定の閾値を上回るか否かの判定を行う。ま
た、補間処理部１７は、このような判定の結果、評価値
が閾値を上回る場合には、Ｓ１３と同様にして算出した
加重係数を用いてＳ１４と同様にして有色画素の色成分
を加重加算して補間量を算出する。一方、評価値が閾値
以下の場合には、有色画素の色成分の平均値を補間量と
する。

【００３６】ここで、評価値としては、各々の類似度の
差の絶対値などが考えられる。例えば、座標(3,4)に位
置する画素を補間対象画素として赤色の補間処理を行う
場合、評価値は、|Dup34-Ddn34|となる。以下、第２の
実施形態の動作を説明する。第２の実施形態は、請求項
２および請求項４に記載の補間処理装置が行う補間処理
の機能を備えた電子カメラに相当するが、第２の実施形
態の特徴は、図１に示す補間処理部（補間処理専用の１
チップ・マイクロプロセッサ）１７によって行われる補
間処理の方法にあり、ハードウエアの構成は、図１と同
じであるため、図示および説明を省略する。

【００３７】図４は、第２の実施形態における補間処理
部１７の動作フローチャートである。なお、図４に示す
処理のうち、図２に示す処理と同じ処理については、同
じ番号を付与し、説明を省略する。以下、図４を参照し
て第２の実施形態における補間処理部１７の動作を説明
する。

【００３８】まず、補間処理部１７は、第１の実施形態
と同様に、全ての画素に対して輝度成分（緑色の色情報
に相当する）の補間処理を行い（Ｓ１０）、色成分（赤
色や青色の色情報に相当する）の補間処理の対象となる
補間対象画素を選択する（Ｓ１１）。また、補間処理部
１７は、第１の実施形態と同様に、所定の２つの方向に
対する類似度を算出し（Ｓ１２）、その類似度を用いて
加重係数を算出する（Ｓ１３）。

【００３９】次に、補間処理部１７は、所定の２つの方
向に隣接する有色画素の色相を算出する（Ｓ２０）。た
だし、本実施形態において、所定の２つの方向とは、Ｓ
１２において類似度を算出した方向に相当する。例え
ば、座標(3,4) に位置する画素を補間対象画素として赤
色の補間処理を行う場合、赤色の有色画素が上下に存在
するので、補間処理部１７は、座標(3,3)、(3,5)に位置
する有色画素の色相Cr33、Cr35を Cr33=R33-G33 Cr35=R35-G35 によって算出する。また、座標(4,3)に位置する画素を
補間対象画素として赤色の補間処理を行う場合、赤色の
有色画素が左右に存在するので、補間処理部１７は、座
標(3,3)、(5,3)に位置する有色画素の色相Cr33、Cr53を Cr33=R33-G33 Cr53=R53-G53 によって算出する。

【００４０】ところで、座標(4,4)に位置する画素を補
間対象画素として赤色の補間処理を行う際、Ｓ１３によ
って上下方向の加重係数が算出された場合には、座標
(4,3)、(4,5)における赤色の補間量R43、R45が算出され
ているので、補間処理部１７は、座標(4,3)、(4,5)に位
置する有色画素の色相Cr43、Cr45を Cr43=R43-G43 Cr45=R45-G45 によって算出し、Ｓ１３によって左右方向の加重係数が
算出された場合には、座標(3,4)、(5,4)における赤色の
補間量R34、R54が算出されているので、補間処理部１７
は、座標(3,4)、(5,4)に位置する有色画素の色相Cr34、
Cr54を Cr34=R34-G34 Cr54=R54-G54 によって算出する。

【００４１】次に、補間処理部１７は、Ｓ１３によって
算出した加重係数を用いて、有色画素の色相を加重加算
して補間対象画素の色相を算出する（Ｓ２１）。例え
ば、補間処理部１７は、補間対象画素が座標(3,4) に位
置する場合、上方向の加重係数Wup34、下方向の加重係
数Wdn34、有色画素の色相Cr33、Cr35を用いて補間対象
画素の色相Cr34を Cr34=Wup34・Cr33+Wdn34・Cr35 によって算出し、補間対象画素が座標(4,3)に位置する
場合、左方向の加重係数Wlt43、右方向の加重係数Wrt4
3、有色画素の色相Cr33、Cr53を用いて補間対象画素の
色相Cr43を Cr43=Wlt43・Cr33+Wrt43・Cr53 によって算出する。

【００４２】また、補間対象画素が座標(4,4)に位置す
る際、補間処理部１７は、Ｓ１３によって上下方向の加
重係数を算出した場合には、上方向の加重係数Wup44、
下方向の加重係数Wdn44、有色画素の色相Cr43、Cr45を
用いて補間対象画素の色相Cr44を Cr44=Wup44・Cr43+Wdn44・Cr45 によって算出し、Ｓ１３によって左右方向の加重係数を
算出した場合には、左方向の加重係数Wlt44、右方向の
加重係数Wrt44、有色画素の色相Cr34、Cr54を用いて補
間対象画素の色相Cr44を Cr44=Wlt44・Cr34+Wrt44・Cr54 によって算出する。

【００４３】次に、補間処理部１７は、補間対象画素の
色相と補間対象画素の輝度成分とを用いて補間量を算出
する（Ｓ２２）。すなわち、補間処理部１７は、座標
(3,4)、(4,3)、(4,4)に位置する画素を補間対象画素と
して赤色の補間処理を行う場合、補間量R34、R43、R44
を R34=Cr34+G34 R43=Cr43+G43 R44=Cr44+G44 によって算出する。

【００４４】なお、青色の補間量についても、赤色の補
間量と同様に算出される。以上説明したように、第２の
実施形態では、ベイア配列されたカラーフィルタを介し
て生成される画像データに対する色成分の補間処理とし
て、補間対象画素の色相を用いて補間量を算出するが、
補間対象画素の色相は、従来の補間処理と異なり、有色
画素の色相を加重加算することによって算出される。

【００４５】したがって、第２の実施形態では、従来の
補間処理と比べて、色境界の偽色を確実に低減すること
ができる。なお、本実施形態では、上下方向または左右
方向に位置する有色画素の色相を用いて補間対象画素の
色相を算出したが、上下方向や左右方向に対して４５度
または１３５度を成す方向（斜め方向）のうち、類似性
の高い２つの方向（例えば、左上方向および右下方向）
に位置する有色画素の色相を算出して補間量を算出して
も良く、請求項４を対応付けない場合には、斜め方向に
位置する４つの有色画素の色相を算出して補間量を算出
しても良い。

【００４６】ここで、座標(4,4) に位置する画素の色相
を、斜め方向に位置する４つの有色画素の色相を用いて
算出する処理過程を示す。補間処理部１７は、Ｓ１３に
おいて、左上方向の加重係数Wlt&up44、左下方向の加重
係数Wlt&dn44、右上方向の加重係数Wrt&up44、右下方向
の加重係数Wrt&dn44を算出すると、Ｓ２０において、斜
め方向（座標(3,3)、(3,5)、(5,3)、(5,5)）に位置する
有色画素の色相Cr33、Cr35、Cr53、Cr55を Cr33=R33-G33 Cr35=R35-G35 Cr53=R53-G53 Cr55=R55-G55 によって算出する。そして、補間処理部１７は、Ｓ２１
において、補間対象画素の色相Cr44を Cr44=(Wlt&up44・Cr33+Wrt&dn44・Cr55)/2+(Wlt&dn44・Cr3
5+Wrt&up44・Cr53)/2 によって算出する。

【００４７】また、本実施形態では、補間対象画素の近
傍に位置する有色画素の色相として、色成分（赤色や青
色の色情報に相当する）から輝度成分（緑色の色情報に
相当する）を減算した値を用いているが、例えば、色成
分を輝度成分で除算した値など、色成分と輝度成分によ
って算出される色相であれば、如何なる値を用いても良
い。 また、第２の実施形態に対しても第１の実施形態
と同様に請求項５を適用することができる。すなわち、
補間処理部１７は、Ｓ１２によって類似度を算出した後
に評価値を算出し、評価値が閾値を上回る場合には、Ｓ
１３と同様にして算出した加重係数を用いてＳ２１と同
様にして補間対象画素の色相を算出する。一方、評価値
が閾値以下の場合には、有色画素の色相の平均値を補間
対象画素の色相とする。

【００４８】以下、第３の実施形態の動作を説明する。
第３の実施形態は、請求項３および請求項４に記載の補
間処理装置が行う補間処理の機能を備えた電子カメラに
相当するが、第３の実施形態の特徴は、図１に示す補間
処理部（補間処理専用の１チップ・マイクロプロセッ
サ）１７によって行われる補間処理の方法にあり、ハー
ドウエアの構成は、図１と同じであるため、図示および
説明を省略する。

【００４９】図５は、第３の実施形態における補間処理
部１７の動作フローチャートである。なお、図５に示す
処理のうち、図２に示す処理と同じ処理については、同
じ番号を付与し、説明を省略する。以下、図５を参照し
て第３の実施形態における補間処理部１７の動作を説明
する。

【００５０】まず、補間処理部１７は、第１の実施形態
と同様に、全ての画素に対して輝度成分（緑色の色情報
に相当する）の補間処理を行い（Ｓ１０）、色成分（赤
色や青色の色情報に相当する）の補間処理の対象となる
補間対象画素を選択する（Ｓ１１）。また、補間処理部
１７は、第１の実施形態と同様に、類似度を算出し（Ｓ
１２）、その類似度を用いて加重係数を算出する（Ｓ１
３）。

【００５１】次に、補間処理部１７は、Ｓ１３によって
算出した加重係数を用いて有色画素の色成分を加重加算
することによって、補間量の予測値を算出する（Ｓ３
０）。例えば、補間処理部１７は、座標(3,4) に位置す
る画素を補間対象画素として赤色の補間処理を行う場
合、上方向の加重係数Wup34、下方向の加重係数Wdn34、
上下方向に位置する有色画素の色成分R33、R35を用い
て、補間量の予測値R'34を R'34=Wup34・R33+Wdn34・R35 によって算出し、座標(4,3)に位置する画素を補間対象
画素として赤色の補間処理を行う場合、左方向の加重係
数Wlt43、右方向の加重係数Wrt43、左右方向に位置する
有色画素の色成分R33、R53を用いて、補間量の予測値R'
43をR'43=Wlt43・R33+Wrt43・R53によって算出する。

【００５２】また、補間対象画素が座標(4,4)に位置す
る際、補間処理部１７は、Ｓ１３によって上下方向の加
重係数を算出した場合には、上方向の加重係数Wup44、
下方向の加重係数Wdn44、上下方向に位置する有色画素
の色成分R43、R45を用いて補間量の予測値R'44を R'44=Wup44・R43+Wdn44・R45 によって算出し、Ｓ１３によって左右方向の加重係数を
算出した場合には、左方向の加重係数Wlt44、右方向の
加重係数Wrt44、左右方向に位置する有色画素の色成分R
34、R54を用いて補間量の予測値R'44を R'44=Wlt44・R34+Wrt44・R54 によって算出する。

【００５３】次に、補間処理部１７は、補間対象画素の
補間量の予測値を補正する値（補正値）を算出する（Ｓ
３１）。例えば、補間処理部１７は、座標(3,4) に位置
する画素を補間対象画素として赤色の補間処理を行う場
合、補間対象画素の輝度成分G34と、Ｓ１０によって算
出された上下方向に位置する有色画素の輝度成分G33、G
35とを用い、補正値Crr34を Crr34=(2・G34-G33-G35)/2 によって算出し、座標(4,3) に位置する画素を補間対象
画素として赤色の補間処理を行う場合、補間対象画素の
輝度成分G43と、Ｓ１０によって算出された左右方向に
位置する有色画素の輝度成分G33、G53とを用い、補正値
Crr43を Crr43=(2・G43-G33-G53)/2 によって算出する。

【００５４】また、補間対象画素が座標(4,4)に位置す
る際、補間処理部１７は、Ｓ１３によって上下方向の加
重係数を算出した場合には、Ｓ１０によって算出された
輝度成分G44と、補間対象画素の上下方向に位置する有
色画素の輝度成分G43、G45とを用い、補正値Crr44を Crr44=(2・G44-G43-G45)/2 によって算出し、Ｓ１３によって左右方向の加重係数を
算出した場合には、Ｓ１０によって算出された輝度成分
G44と、補間対象画素の左右方向に位置する有色画素の
輝度成分G34、G54とを用い、補正値Crr44を Crr44=(2・G44-G34-G54)/2 によって算出する。

【００５５】次に、補間処理部１７は、補間量の予測値
と補正値とを用いて補間量を算出する（Ｓ３２）。例え
ば、補間処理部１７は、座標(3,4)、(4,3)、(4、4)に位
置する画素を補間対象画素として赤色の補間処理を行う
場合、補間量R34、R43、R44を R34=R'34+Crr34 R43=R'43+Crr43 R44=R'44+Crr44 によって算出する。

【００５６】なお、青色の補間量についても、赤色の補
間量と同様に算出される。以上説明したように、第３の
実施形態では、ベイア配列されたカラーフィルタを介し
て生成される画像データに対する色成分の補間処理とし
て、補間対象画素に隣接する２つの有色画素の色成分を
加重加算して得られた予測値を補正して補間量を算出す
る。

【００５７】したがって、第３の実施形態では、補間対
象画素に隣接する２つの有色画素の色成分を加重加算し
て得られた値を補間量とする第１の実施形態と比べて、
補間処理の精度を向上させることができる。なお、本実
施形態では、上下方向または左右方向に位置する有色画
素の色成分を用いて補間量の予測値を算出したが、上下
方向や左右方向に対して４５度または１３５度を成す方
向（斜め方向）のうち、類似性の高い２つの方向（例え
ば、左上方向および右下方向）に位置する有色画素の色
成分を用いて補間量の予測値を算出しても良く、請求項
４を対応付けない場合には、斜め方向に位置する４つの
有色画素の色成分を用いて補間量の予測値を算出しても
良い。

【００５８】ただし、斜め方向に位置する有色画素の色
成分を用いて補間量の予測値を算出する場合、斜め方向
に位置する有色画素の輝度値を用いて補正値を算出する
必要がある。例えば、座標(4,4) に位置する画素の補正
値Crr44は、Ｓ１０によって算出された補間対象画素の
輝度成分G44と、補間対象画素の斜め方向に位置する４
つの有色画素の輝度成分G33、G35、G53、G55とを用い
て、 Crr44=(4・G44-G33-G35-G53-G55)/4 によって算出することができる。

【００５９】また、第３の実施形態に対しても第１の実
施形態と同様に請求項５を適用することができる。すな
わち、補間処理部１７は、Ｓ１２によって類似度を算出
した後に評価値を算出し、評価値が閾値を上回る場合に
は、Ｓ１３と同様にして算出した加重係数を用いてＳ３
０と同様にして補間量の予測値を算出する。一方、評価
値が閾値以下の場合には、有色画素の色成分の平均値を
補間量の予測値とする。

【００６０】さらに、上述した各実施形態では、図３に
示すような画像データに対する補間処理を示したが、例
えば、図６（１）に示すように、G のみが配された列と
RとBとが交互に配された列とがストライプ状に配列され
たカラーフィルタを介して生成された画像データや、図
６（２）に示すように、G のみからなるカラーフィルタ
およびRとBとが市松模様状に配されたカラーフィルタを
介して生成された画像データや、図６（３）に示すよう
に、GのみからなるカラーフィルタおよびRの列とB の列
とが交互にストライプ状に配されたカラーフィルタを介
して生成された画像データに対して補間処理を行うこと
ができる。

【００６１】ところで、図６（１）、（３）に示す画像
データについては、上下方向や左右方向に位置する有色
画素に限らず斜め方向に位置する有色画素の色成分を用
いることによって補間量を算出しても良い。また、上述
した各実施形態では、図３に示す画像データを補間処理
の対象としているため、補間対象画素を中心として対称
となる方向（上方向および下方向、左方向および右方
向）に位置する有色画素の色成分を用いて補間量を算出
しているが、例えば、図６（２）のように、補間対象画
素に対して上下左右の４つの方向に有色画素が隣接する
画像データを補間処理の対象とする場合には、上方向お
よび左方向のように補間対象画素で直交する２つの方向
に位置する有色画素の色成分を用いて補間量を算出して
も良く、また、類似性が強い２つの方向を検出し、その
方向に位置する有色画素の色成分を用いて補間量を算出
しても良い。

【００６２】ただし、補間量を算出する際に参照する有
色画素としては、互いの重心を結んだ線上に補間対象画
素の重心が位置するものが望ましいので、補間対象画素
を中心として対称となる方向に位置するものが最適であ
る。さらに、上述した各実施形態では、画像データの輝
度成分として緑色の色情報を用い、色成分として赤色ま
たは青色の色情報を用いるが、画像データの輝度成分や
色成分としては、補色系の色情報を用いても良い。

【００６３】また、上述した各実施形態では、赤色の補
間量を算出する場合と、青色の補間量を算出する場合と
を分けて説明したが、例えば、全ての補間対象画素に対
して、横方向に隣接する２つの画素の色成分を用いて、
補間対象画素の補間量を算出した後に、縦方向に隣接す
る２つの画素の色成分を用いて、補間対象画素の補間量
を算出しても良い。すなわち、補間対象画素が座標(3,
4) に位置する場合には、B24とB44とを用いて横方向に
おける補間量を算出して、R33とR35とを用いて縦方向に
おける補間量を算出する。補間対象画素が座標(4,3) に
位置する場合には、R33とR53とを用いて横方向における
補間量を算出して、B42とB44とを用いて縦方向における
補間量を算出する。

【００６４】さらに、上述した各実施形態において、類
似度および加重係数は、以下のように算出しても良い。 Dup34=a・|G34-G33|+b・(|B24-B22|+|B44-B42|)/2+c・|G34
-R33| Ddn34=a・|G34-G35|+b・(|B24-B26|+|B44-B46|)/2+c・|G34
-R35| Wup34=(1-(Dup34-Ddn34)/(2・(α・(Dup34+Ddn34)+β))) Wdn34=(1+(Dup34-Ddn34)/(2・(α・(Dup34+Ddn34)+β))) ただし、a、b、c、α、βは、定数である。

【００６５】以下、第４の実施形態の動作を説明する。
図７は、第４の実施形態の機能ブロック図である。な
お、第４の実施形態は、請求項６に記載の補間処理プロ
グラムを記録した記録媒体を用いて、パーソナルコンピ
ュータによって補間処理を実行することに相当する。

【００６６】図７において、機能が図１に示す機能ブロ
ック図と同じものについては、同じ符号を付与して示
し、構成の説明については省略する。なお、図７に示す
電子カメラ２０と図１に示した電子カメラ１０との構成
の相違点は、制御部２１と画像処理部２２とが制御部１
１と画像処理部１５とに代えて設けられ、インタフェー
ス部２３が新たに設けられた点である。

【００６７】また、図７において、パーソナルコンピュ
ータ３０は、ＣＰＵ３１、インタフェース部３２、ハー
ドディスク３３およびメモリ３４を有し、ＣＰＵ３１
は、バスを介してインタフェース部３２、ハードディス
ク３３およびメモリ３４に接続される。

【００６８】なお、パーソナルコンピュータ３０には、
ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プロ
グラム（前述した各実施形態の補間処理部１７と同様に
して補間処理を実行する補間処理プログラム）が予めイ
ンストールされているものとする。すなわち、ハードデ
ィスク３３には、このような補間処理プログラムが実行
可能な状態で格納されている。

【００６９】以下、図７を参照して第４の実施形態の動
作を説明する。まず、電子カメラ２０では、図１に示し
た電子カメラ１０と同様に生成された画像データが画像
処理部２２に供給される。画像処理部２２は、画像デー
タに補間処理以外の画像処理（例えば、階調変換処理な
ど）を施し、記録部１６では、画像処理が施された画像
データが画像ファイルの形式で記録される。

【００７０】このような画像ファイルは、インタフェー
ス部２３を介してパーソナルコンピュータ３０に供給さ
れる。パーソナルコンピュータ３０内のＣＰＵ３１は、
インタフェース部３２を介して画像ファイルを取得する
と、前述した補間処理プログラムを実行する。すなわ
ち、第４の実施形態では、前述した各実施形態と同様の
補間処理をパーソナルコンピュータ３０によって行うこ
とができる。

【００７１】

【発明の効果】以上説明したように、請求項１に記載の
発明は、補間対象画素の近傍に位置する有色画素の色成
分の平均値を補間量とする場合と比べて、色境界の偽色
を確実に低減することができる。また、請求項２に記載
の発明は、補間対象画素の近傍に位置する２つの有色画
素の色相の平均値を補間対象画素の色相として補間処理
を行う場合と比べて、色境界の偽色を確実に低減するこ
とができる。

【００７２】さらに、請求項３に記載の発明では、請求
項１に記載の発明によって算出された補間量を、補間対
象画素が有する輝度成分と補間対象画素の近傍に位置す
る画素が有する輝度成分とに基づいて補正することがで
きる。そのため、請求項３に記載の発明によれば、請求
項１に記載の発明よりも補間処理の精度を向上すること
ができる。

【００７３】したがって、請求項１ないし請求項３に記
載の発明では、補間処理を精度良く行うことができる。
また、請求項４に記載の発明では、補間対象画素の類似
性を判定する方向として、補間対象画素を起点として近
傍の有色画素に向かう２つの方向を適用し、このような
２つの方向に位置する有色画素の色成分を加重加算の対
象とすることができるため、精度を高く維持しつつ、速
やかに補間処理を行うことができる。

【００７４】さらに、請求項５に記載の発明では、閾値
を小さい値に設定した場合、ノイズにより発生する類似
性の差違を抑制することができるため、補間処理の精度
を更に向上することができる。また、請求項５に記載の
発明では、閾値を大きい値に設定した場合、色境界に対
してのみ加重加算による補間処理を行うことができるた
め、効率良く補間処理を行うことができる。また、請求
項６に記載の発明では、請求項１ないし請求項５の何れ
か１項に記載の補間処理装置と同様の機能をコンピュー
タで実現することができる。

【図面の簡単な説明】

【図１】第１の実施形態に対応する電子カメラの機能ブ
ロック図である。

【図２】第１の実施形態における補間処理部の動作フロ
ーチャートである。

【図３】補間処理の対象となる画像データの色情報の配
列を示す図である。

【図４】第２の実施形態における補間処理部の動作フロ
ーチャートである。

【図５】第３の実施形態における補間処理部の動作フロ
ーチャートである。

【図６】補間処理の対象となる他の画像データの色情報
の配列を示す図である。

【図７】第４の実施形態の機能ブロック図である。

【符号の説明】

１０、２０ 電子カメラ １１、２１ 制御部 １２ 撮影光学系 １３ 撮像部 １４ Ａ／Ｄ変換部 １５、２２ 画像処理部 １６ 記録部 １７ 補間処理部 ２３、３２ インタフェース部 ３０ パーソナルコンピュータ ３１ ＣＰＵ ３３ ハードディスク ３４ メモリ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 輝度成分と色成分とからなるカラー画像
   に対し、各画素に欠落する色成分に相当する補間量を算
   出する補間処理を行う補間処理装置において、 補間処理の対象となる補間対象画素を起点として補間対
   象画素に欠落する色成分を有する有色画素に向かう複数
   の方向に対して、補間対象画素の類似性を判定する類似
   性判定手段と、 前記類似性判定手段で判定された複数の方向に対する補
   間対象画素の類似性の強弱に基づき、該複数の方向に位
   置する有色画素の色成分を加重加算することによって補
   間量を算出する補間量算出手段とを備えたことを特徴と
   する補間処理装置。
2. 【請求項２】 輝度成分と色成分とからなるカラー画像
   に対し、各画素に欠落する色成分に相当する補間量を算
   出する補間処理を行う補間処理装置において、 補間処理の対象となる補間対象画素を起点として補間対
   象画素に欠落する色成分を有する有色画素に向かう複数
   の方向に対して、補間対象画素の類似性を判定する類似
   性判定手段と、 前記類似性判定手段で判定された複数の方向に対する補
   間対象画素の類似性の強弱に基づき、該複数の方向に位
   置する有色画素の色相を加重加算することによって補間
   対象画素の色相を推定し、補間対象画素の色相と補間対
   象画素が有する輝度成分とを用いて補間量を算出する補
   間量算出手段とを備えたことを特徴とする補間処理装
   置。
3. 【請求項３】 輝度成分と色成分とからなるカラー画像
   に対し、各画素に欠落する色成分に相当する補間量を算
   出する補間処理を行う補間処理装置において、 補間処理の対象となる補間対象画素を起点として補間対
   象画素に欠落する色成分を有する有色画素に向かう複数
   の方向に対して、補間対象画素の類似性を判定する類似
   性判定手段と、 前記類似性判定手段で判定された複数の方向に対する補
   間対象画素の類似性の強弱に基づき、該複数の方向に位
   置する有色画素の色成分を加重加算して補間量の予測値
   を算出し、補間対象画素が有する輝度成分と補間対象画
   素の近傍に位置する画素が有する輝度成分とに基づき、
   該予測値を補正することによって補間量を算出する補間
   量算出手段とを備えたことを特徴とする補間処理装置。
4. 【請求項４】 請求項１ないし請求項３の何れか１項に
   記載の補間処理装置において、 前記複数の方向は、 補間対象画素を起点として近傍の有色画素に向かう２方
   向であることを特徴とする補間処理装置。
5. 【請求項５】 請求項１ないし請求項４の何れか１項に
   記載の補間処理装置において、 前記補間量算出手段は、 前記類似性判定手段で判定された複数の方向に対する補
   間対象画素の類似性の差違を評価し、該類似性の差違が
   予め決められた閾値を上回る場合に加重加算をし、該類
   似性の差違が該閾値以下の場合に加重加算の対象となる
   値の平均値を求めることを特徴とする補間処理装置。
6. 【請求項６】 コンピュータを請求項１ないし請求項５
   の何れか１項に記載した類似性判定手段、補間量算出手
   段として機能させるための補間処理プログラムを記録し
   た機械読み取り可能な記録媒体。