JP2009246963A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】偽色の発生をより一層抑制するデモザイク処理技術の開発。
【解決手段】モザイク画像データを受け取ると、縦方向の画素列毎に縦方向色差成分を、
横方向の画素行毎に横方向色差成分を算出する。モザイク画像データは、Ｒ成分の画素と
Ｇ成分の画素とが縦方向に交互に並んだ画素列と、Ｇ成分の画素とＢ成分の画素とが縦方
向に交互に並んだ画素列と、Ｒ成分の画素とＧ成分の画素とが横方向に交互に並んだ画素
行と、Ｇ成分の画素とＢ成分の画素とが横方向に交互に並んだ画素行とから構成されてい
る。次いで、モザイク画像データ中からＲ成分またはＢ成分が設定された画素を選択し、
その画素について、縦方向色差成分の変化量と横方向色差成分の変化量とを比較して、そ
の画素でのエッジ方向を決定する。モザイク画像データの各画素で、設定されていない色
成分である欠落色成分を補間する際には、決定されたエッジの方向を参照しながら補間す
る。
【選択図】図４

Description

本発明は、デジタルカメラなどの撮影機器で画像データを生成する技術に関し、詳しく
は、加法混色である光の三原色に相当するＲ（赤）、Ｇ（緑）、Ｂ（青）の微細なカラー
フィルタがモザイク状に配列されたカラーフィルタアレイを使用して、カラー画像データ
を生成する技術に関する。

デジタル技術の進歩によって、今日では画像をデジタルデータ（画像データ）として取
り扱うことが一般的になっている。例えば、デジタルカメラなどの撮影機器を用いれば、
画像を撮影すると直ちに、画像データの形態で出力することが可能である。このような撮
影機器には、光の強さを電気信号に変換する小さな素子が集まって構成された言わば電子
的な撮像板が搭載されている。そして、光学系を用いて被写体の像を撮像板の上に結像さ
せ、個々の素子での光の強さを電気信号として検出することによって、画像データを生成
している。また、光学系に入射した光を、光の三原色に相当するＲＧＢの各成分に分離し
た後に撮像板上に結像させて、各成分の光の強さに対応する電気信号を出力すれば、カラ
ー画像データを生成することも可能である。

ここで、光学系に入射した光を、ＲＧＢの各成分に分離した状態で撮像板の上に結像さ
せる方法としては、最も単純には、入射光を分光プリズムによって色成分毎に分離した後
に、撮像板に結像させてＲＧＢの成分毎に画像データを生成する方法が考えられる。もっ
とも、これでは３つの撮像板が必要になる。そこで、撮像板を構成する各素子にＲＧＢの
何れかの色成分を割り振っておき、１つの撮像板でＲＧＢ各成分を検出する方式も広く用
いられている。この方式では、Ｒ成分を検出する素子の前にはＲ成分のみを透過する小さ
なカラーフィルタを設け、Ｇ成分を検出する素子の前にはＧ成分のみを透過するカラーフ
ィルタを、そしてＢ成分を検出する素子の前にはＢ成分のみを透過するカラーフィルタを
設けることで、１つの撮像板でＲＧＢ各成分の画像データを同時に検出する。もちろん、
１つの撮像板でＲＧＢの各成分を検出する方式では、ある成分（例えばＲ成分）を検出し
た素子では他の成分（例えばＧ成分やＢ成分）を検出することはできない。従って、得ら
れる画像データは、Ｒ成分を検出した画素と、Ｇ成分を検出した画素と、Ｂ成分を検出し
た画素とが組み合わさったモザイク状の画像データとなるが、足らない色成分は周辺の画
素から補間することによって、全ての画素についてＲＧＢ各成分が揃ったカラー画像デー
タを生成することが可能である。

尚、ＲＧＢの色成分に分離した光を３つの撮像板を用いて電気信号に変換することで、
ＲＧＢ各成分の画像データを生成する撮影機器は、「３板式」の撮影機器と呼ばれること
がある。また、１つの撮像板を用いてモザイク状の画像データを生成した後、欠落した色
成分を補間によって求める方式の撮影機器は、「単板式」の撮影機器と呼ばれることがあ
る。更に、モザイク状の画像データから欠落した色成分を補って、ＲＧＢ各成分が揃った
カラー画像データを生成する処理は、「デモザイク処理」と呼ばれることがある。

もっとも、単板式の撮影機器では、欠落した色成分を求めるための補間演算が必要とな
り、その演算のための時間が必要になるだけでなく、演算時に生じる補間誤差によってい
わゆる偽色が発生することがある。そこで、偽色の発生を回避しながら、出来るだけ補間
演算に要する時間の増加は抑制することを目的として種々の技術が提案されている。例え
ば、欠落した色成分を求めた後、各画素についての色差成分（例えばＧ成分とＲ成分との
差）を求めておき、注目画素を含んだ所定数の画素列の中で、色差成分が最大の画素およ
び最小の画素はノイズとして省いた上で、注目画素の各色成分を再計算する技術が提案さ
れている（たとえば、特許文献１参照）。あるいは、各画素について求めた色差成分にロ
ーパスフィルタを施した後、ノイズ成分が除去された色成分に基づいて各色成分を再計算
する技術も提案されている（たとえば、特許文献２参照）。

特開２００５−１６７９７４号公報 特開２００５−２６０９０８号公報

しかし、撮影機器の画質に対する消費者の要求も年々厳しくなっており、偽色の発生を
より一層抑制することの可能なデモザイク処理技術の開発が要請されている。また、消費
者の画質に対する要請に対応するべく、撮影機器で撮影する画像の画素数も年々増加して
おり、このことに対応して、より迅速に実行することの可能なデモザイク処理技術の開発
が要請されている。

この発明は、上述したような、従来のデモザイク処理に対する互いに相反する要請を、
同時に満足させるためになされたものであり、偽色の発生をより一層抑制可能でありなが
ら、迅速にデモザイク処理を実行可能な技術の提供を目的とする。

上述した課題の少なくとも一部を解決するために、本発明の画像処理装置は次の構成を
採用した。すなわち、
光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
る画像処理装置であって、
前記モザイク画像データは、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交互に
並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画素列
と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記Ｇ成
分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成さ
れた画像データであり、
前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
、該画素列の各画素について算出する縦方向色差成分算出手段と、
前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
、該画素行の各画素について算出する横方向色差成分算出手段と、
前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択
し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定するエッジ方向
決定手段と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
色成分に基づいて補間する欠落色成分補間手段と
を備えることを要旨とする。

また、上記の画像処理装置に対応する本発明の画像処理方法は、
光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
る画像処理方法であって、
前記モザイク画像データとして、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交
互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画
素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記
Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
成された画像データを受け取る第１の工程と、
前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
、該画素列の各画素について算出する第２の工程と、
前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
、該画素行の各画素について算出する第３の工程と、
前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択
し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第４の工程
と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
色成分に基づいて補間する第５の工程と
を備えることを要旨とする。

かかる本発明の画像処理装置および画像処理方法においては、モザイク画像データを受
け取ると、該モザイク画像データを構成する画素列毎に縦方向色差成分を算出するととも
に、該モザイク画像データを構成する画素行毎に横方向色差成分を算出する。モザイク画
像データは、画素列としては、Ｒ成分の画素とＧ成分の画素とが縦方向に交互に並んだ画
素列と、Ｇ成分の画素とＢ成分の画素とが縦方向に交互に並んだ画素列とから構成されて
おり、画素行としては、Ｒ成分の画素とＧ成分の画素とが横方向に交互に並んだ画素行と
、Ｇ成分の画素とＢ成分の画素とが横方向に交互に並んだ画素行とから構成されている。
従って、縦方向色差成分としては、Ｇ成分とＲ成分との差を表す色差成分、あるいはＧ成
分とＢ成分との差を表す色差成分の何れかが、画素列毎に得られることになる。同様に、
横方向色差成分としては、Ｇ成分とＲ成分との差を表す色差成分、あるいはＧ成分とＢ成
分との差を表す色差成分の何れかが、画素行毎に得られることになる。次いで、モザイク
画像データ中からＲ成分またはＢ成分が設定された画素を選択し、少なくともその画素に
ついては、縦方向色差成分の変化量と横方向色差成分の変化量とを比較することにより、
その画素でのエッジ方向を決定する。上述したように、縦方向色差成分および横方向色差
成分は、何れもＧ成分とＲ成分との色差成分か、Ｇ成分とＢ成分との色差成分の何れかし
か取り得ないから、Ｒ成分が設定された画素であれば、縦方向色差成分も横方向色差成分
もＧ成分とＲ成分との色差成分となるので、縦横の色差成分を比較することによって、そ
の画素でのエッジの方向を正しく決定することができる。同様に、Ｂ成分が設定された画
素であれば、縦方向色差成分も横方向色差成分もＧ成分とＢ成分との色差成分となるので
、縦横の色差成分を比較することでエッジの方向を正しく決定することができる。モザイ
ク画像データの各画素について、その画素に設定されていない色成分である欠落色成分を
補間する際には、こうして正しく決定されたエッジの方向を参照しながら補間することで
、モザイク画像データに設定されている色成分から、欠落色成分を適切に補間することが
可能となり、適切なカラー画像データを生成することが可能となる。

また、かかる本発明の画像処理装置においては、エッジ方向を決定するために用いる縦
方向色差成分の変化量と横方向色差成分の変化量とを、次のようにして求めても良い。先
ず、エッジ方向を決定しようとする画素（ここでは、決定画素と称する）を選択する。次
いで、縦方向色差成分の変化量については、その決定画素を含んだ画素列での縦方向色差
成分と、その画素列に隣接する画素列での縦方向色差成分とに基づいて、決定画素での縦
方向色差成分の変化量を決定する。例えば、決定画素を含んだ画素列と、それに隣接する
画素列の２つの画素列での縦方向色差成分から、決定画素での縦方向色差成分の変化量を
求めても良いし、あるいは、決定画素を含んだ画素列と、その両側に隣接する複数の画素
列（更にはより多数の画素列）での縦方向色差成分から、決定画素での縦方向色差成分の
変化量を求めても良い。また、横方向色差成分の変化量については、その決定画素を含ん
だ画素行での横方向色差成分と、その画素行に隣接する画素行での横方向色差成分とに基
づいて、決定画素での横方向色差成分の変化量を決定する。横方向色差成分の変化量につ
いても、決定画素を含んだ画素行とそれに隣接する画素行の２つの画素行から、横方向色
差成分の変化量を求めても良いし、あるいは、より多数の画素行から、横方向色差成分の
変化量を求めても良い。

エッジ方向を決定しようとする画素（決定画素）を含んだ画素列と、その画素列に隣接
する画素列とを含む複数の画素列から縦方向色差成分の変化量を求めれば、単独の画素列
から縦方向色差成分の変化量を求めるよりも、正確な変化量を求めることができる。横方
向色差成分の変化量についても同様に、決定画素を含んだ画素行と、その画素行に隣接す
る画素行とを含む複数の画素行から求めた方が、単独の画素行から求めるよりも、正確な
変化量を求めることができる。そして、正確に求めた縦方向色差成分の変化量と、正確に
求めた横方向色差成分の変化量とを比較することで、エッジ方向をより適切に決定するこ
とが可能となる。

ここで、画素列の縦方向色差成分には、Ｇ成分とＲ成分との差を示す色差成分と、Ｇ成
分とＢ成分との差を示す色差成分の２種類の色差成分が存在している。このため、隣接す
る画素列の縦方向色差成分が同じ種類の色差成分であるとは限らず、異なる種類の色差成
分から変化量を求めても、意味のある値は得られないように思われる。しかし、たとえ異
なる種類の色差成分であっても、画像中の隣接する箇所では同じような変化の仕方をする
ことが経験上分かっているので、変化量であれば、異なる種類の縦方向色差成分から求め
ても、意味のある値を得ることができる。このため、互いに隣接する複数の画素列での縦
方向色差成分から変化量を求めることで、縦方向色差成分の変化量を正確に求めることが
可能となるのである。画素行の横方向色差成分についても全く同様に、Ｇ成分とＲ成分と
の差を示す色差成分と、Ｇ成分とＢ成分との差を示す色差成分の２種類の色差成分が存在
しているが、変化量であれば、これら異なる種類の横方向色差成分を全く同様に取り扱っ
て意味のある値を得ることができる。そのため、互いに隣接する複数の画素行での横方向
色差成分から変化量を求めることで、正確な横方向色差成分の変化量を求めることが可能
となる。そして、これらの変化量を比較することで、エッジ方向を適切に決定することが
可能となるのである。

また、本発明の画像処理装置においては、モザイク画像データ中でＲ成分が設定されて
いる画素、およびＢ成分が設定されている画素についてのみ、エッジ方向を決定すること
としてもよい。

モザイク画像データ中でＲ成分やＢ成分が設定されている画素では、Ｇ成分を補間する
必要があるが、Ｇ成分はＲ成分やＢ成分と比べて、人間が明るさの変化に敏感な波長に近
いため、画質に影響を与え易い傾向がある。従って、モザイク画像データ中でＲ成分やＢ
成分が設定されている画素でのエッジ方向を決定しておけば、画質に最も影響を与え易い
Ｇ成分を、エッジ方向を参照しながら補間できるので、全ての画素についてエッジ方向を
決定しなくても、効率よく適切な補間を行うことが可能となる。

また、本発明の画像処理装置においては、次のようにして、エッジ方向を縦方向または
横方向の何れか一方に決定することとしても良い。先ず、縦方向色差成分の変化量が横方
向色差成分の変化量よりも大きい場合には、エッジ方向は横方向であると決定し、逆に、
縦方向色差成分の変化量が横方向色差成分の変化量よりも小さい場合には、縦方向である
と決定する。また、縦方向色差成分の変化量と横方向色差成分の変化量とが等しい場合に
は、エッジ方向を、縦方向または横方向の何れか一方に決定することとしてもよい。ここ
で、両者の変化量が等しい場合は、エッジ方向を常に縦方向、あるいは横方向に決定して
も良いし、縦方向と横方向とを交互に、あるいはランダムに切り換えながら、何れか一方
に決定しても良い。

こうすれば、エッジ方向は縦方向または横方向に何れか一方しか取り得ないので、欠落
画素を補間する処理を大きく簡素化することが可能となる。もちろん、このようにすると
、エッジが存在しない画素でも、縦方向または横方向の何れかのエッジが存在するものと
仮定して補間することになる。しかし、エッジが存在しない画素では、縦方向または横方
向の何れのエッジが存在しているとしても、得られる結果はほとんど変わらないので、エ
ッジ方向を仮定して補間しても、画質が悪化することはない。

また、本発明の画像処理装置においては、欠落色成分としてＧ成分を補間する場合には
、補間しようとする画素である補間画素の上下に隣接する一組の画素、または、その補間
画素の左右に隣接する一組の画素の何れかの画素の組で得られた色成分に基づいて、補間
画素でのＧ成分を補間することとしてもよい。

補間画素のエッジ方向が縦方向であれば、補間画素の上下に隣接する一組の画素で得ら
れた色成分に基づいてＧ成分を補間すればよいし、逆に、エッジ方向が横方向であれば、
補間画素の左右に隣接する一組の画素で得られた色成分に基づいてＧ成分を補間すればよ
い。更に、補間画素にはエッジが存在しない場合には、上下に隣接する画素または左右に
隣接する画素の何れか一組の画素で得られた色成分に基づいて補間すればよい。結局、２
画素分の色成分に基づいてＧ成分を補間することができるので、迅速な補間を行うことが
できる。しかも、Ｇ成分を補間しなければならない画素は、モザイク画像データ中でＧ成
分が設定されていない全ての画素であるため、数がおおく、従って、Ｇ成分を迅速に補間
することで、モザイク画像データ中の欠落色成分を補間する処理を、大幅に迅速化するこ
とが可能となる。

また、補間画素でＧ成分を補間するに際しては、次のようにして補間しても良い。補間
画素の上下に隣接する一組の画素で得られた縦方向色差成分、または補間画素の左右に隣
接する一組の画素で得られた横方向色差成分の何れかに基づいて、その補間画素での縦方
向色差成分または横方向色差成分を補間する。そして、得られた縦方向色差成分または横
方向色差成分の何れかと、その補間画素に設定されているモザイク画像データの色成分と
に基づいて、補間画素でのＧ成分を算出することとしてもよい。

Ｇ成分を補間すべき補間画素には、モザイク画像データではＲ成分またはＢ成分が設定
されており、従って、縦方向色差成分および横方向色差成分は何れも、補間画素に設定さ
れているモザイク画像データの色成分と、Ｇ成分との差を示す値となっている。このこと
から、補間画素の上下に隣接する画素での縦方向色差成分、または補間画素の左右に隣接
する画素での横方向色差成分から補間画素での値を補間し、得られた値と、補間画素に設
定されているモザイク画像データの色成分とを用いれば、補間画素でのＧ成分を簡単に算
出することができる。しかも、縦方向あるいは横方向の色差成分を補間し、得られた補間
値からＧ成分を算出しているので、次の理由から、いわゆる偽色を発生させることなく、
適切にＧ成分を求めることができる。すなわち、互いに隣接するＧ成分とＲ成分との差、
あるいは互いに隣接するＧ成分とＢ成分との差が大きく変化すると、これは、色の変化に
現れる。そして、Ｇ成分、Ｒ成分、Ｂ成分の色成分毎に補間した場合には、補間した画素
での色成分の差が、周囲の画素とは大きく異なる箇所が発生し易くなり、その部分では、
いわゆる偽色が現れ易くなる。これに対して、縦方向あるいは横方向の色差成分を補間し
、得られた補間値からＧ成分を算出すれば、少なくとも補間した方向については、色成分
の差が大きく変化しないので、偽色が発生することを回避することが可能となるのである
。

また、上記の画像処理装置において、欠落色成分を補間するに際しては、モザイク画像
データにＧ成分が設定されていない全ての画素についてＧ成分を補間し、その後に、残り
の欠落色成分を補間するようにしても良い。

上述したように、Ｇ成分については、補間画素の上下に隣接する一組の画素、または左
右に隣接する一組の画素の何れかの画素の組で得られた色成分に基づいて、迅速に補間す
ることができる。従って、初めに、モザイク画像データにＧ成分が設定されていない全て
の画素についてＧ成分を迅速に補間してしまえば、残った欠落色成分については、補間し
て得られたＧ成分と、モザイク画像データに設定されている色成分とを用いて補間するこ
とができるので、迅速に且つ簡単に補間することが可能となる。

また、本発明の画像処理装置においては、欠落色成分を補間するに先立って、モザイク
画像データの中で少なくともＲ成分またはＢ成分が設定された全ての画素についてのエッ
ジ方向を決定することにより、エッジ方向マップを生成してもよい。そして、エッジ方向
マップに記憶されているエッジ方向を参照することにより、欠落色成分を補間することと
してもよい。

こうすれば、エッジ方向を決定する処理と、欠落色成分を補間する処理とを分離するこ
とができるので、全体の処理が複雑化することを回避することができる。また、エッジ方
向マップを参照することで、同時に複数の画素でのエッジ方向を容易に取得することが可
能となるので、欠落色成分を補間するに際しても、周囲の画素でのエッジ方向を参照する
ことで、より適切に補間することが可能となる。更には、例えば、モザイク画像データで
Ｒ成分あるいはＢ成分が設定されている画素についてのみエッジ方向を決定した場合など
のように、エッジ方向が決定されていない画素についても、周囲の画素のエッジ方向から
推定したエッジ方向に基づいて、欠落色成分を補間することも可能となる。

また、本発明は、上述した画像処理方法を実現するためのプログラムをコンピュータに
読み込ませ、所定の機能を実行させることで、コンピュータを用いても実現することが可
能である。従って、本発明は、次のようなプログラムとしての態様も含んでいる。すなわ
ち、上述した画像処理方法に対応する本発明のプログラムは、
光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
る方法を、コンピュータを用いて実現するためのプログラムであって、
前記モザイク画像データとして、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交
互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画
素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記
Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
成された画像データを受け取る第１の機能と、
前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
、該画素列の各画素について算出する第２の機能と、
前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
、該画素行の各画素について算出する第３の機能と、
前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択
し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第４の機能
と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
色成分に基づいて補間する第５の機能と
を実現させることを要旨とする。

かかる本発明のプログラムをコンピュータに読み込ませて、上記の各種機能を実現させ
ることにより、モザイク画像データの欠落色成分を適切に補間して、偽色の発生を回避し
ながら、迅速にカラー画像データを生成することが可能となる。

本実施例の画像処理装置を搭載したデジタルカメラの構成を示す説明図である。 カラーフィルタアレイおよび撮像板の構成を概念的に示した説明図である。 本実施例の画像処理装置がＲＡＷ画像データからカラー画像データを生成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。 ＲＡＷ画像データを色差成分のデータに変換する様子を概念的に示した説明図である。 ＲＡＷ画像データから色差成分を求めるための算出式を示した説明図である。 色差成分に混入したノイズを除去するために用いられるローパスフィルタを例示した説明図である。 本実施例の画像処理装置内で行われるエッジ方向マップ生成処理の流れを示したフローチャートである。 上下方向の色差成分ＣＤｖから上下方向への変化量Ｖｖを算出する様子を例示した説明図である。 水平方向の色差成分ＣＤｈから水平方向への変化量Ｖｈを算出する様子を例示した説明図である。 エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した説明図である。 Ｇ画素でのエッジ方向を判断可能とするための方法を示した説明図である。 Ｇ画素でのエッジ方向を判断可能とするための他の方法を示した説明図である。 色差成分の変化量を算出する他の方法を例示した説明図である。 色差成分の変化量を算出する更に他の方法を例示した説明図である。 色差成分の変化量を算出する更に他の方法を例示した説明図である。 非Ｇ画素でＧ成分を補間する処理の流れを示すフローチャートである。 非Ｇ画素でＧ成分を算出する処理を模式的に示した説明図である。 非Ｇ画素補間処理の流れを示すフローチャートである。 Ｇ画素補間処理の流れを示すフローチャートである。 Ｇ画素で周囲の画素のエッジ方向からエッジ方向を推定する方法を示した説明図である。

以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施
例を説明する。
Ａ．装置構成：
Ｂ．カラー画像データ生成処理の概要：
Ｃ．エッジ方向マップ生成処理：
Ｄ．Ｇ成分補間処理：
Ｅ．非Ｇ画素補間処理：
Ｆ．Ｇ画素補間処理：

Ａ．装置構成：
図１は、本実施例の画像処理装置３０を搭載したデジタルカメラ１００の構成を示す説
明図である。図示されるように、デジタルカメラ１００は、複数のレンズ群から構成され
る光学系１０と、光学系１０によって結像された被写体の像を電気信号に変換する撮像部
２０と、撮像部２０で得られた電気信号を受け取って所定の画像処理を施すことにより、
カラー画像データを生成する画像処理装置３０などから構成されている。

撮像部２０には、光の強さを電気信号に変換する微細な撮像素子が二次元的に配列され
て構成された撮像板２４が搭載されており、撮像板２４の手前側には、Ｒ（赤）、Ｇ（緑
）、Ｂ（青）の微細なカラーフィルタがモザイク状に配列されたカラーフィルタアレイ２
２が設けられている。カラーフィルタアレイ２２を構成するＲ，Ｇ，Ｂのカラーフィルタ
の配置については後述するが、ＲのカラーフィルタではＲ色の光を主に透過し、Ｇのカラ
ーフィルタではＧ色の光を主に透過し、ＢのカラーフィルタではＢ色の光を主に透過する
ので、撮像板２４では、Ｒ，Ｇ，Ｂのカラーフィルタの配置に従って、Ｒの光の強さに対
応する部分と、Ｇの光の強さに対応する部分と、Ｂの光の強さに対応する部分とが、モザ
イク状に組み合わされた画像データが得られることになる。

デジタルカメラ１００に搭載された画像処理装置３０は、このようなモザイク状の画像
データを撮像部２０から受け取って、各画素にＲ成分、Ｇ成分、Ｂ成分が設定されたカラ
ー画像データを生成する処理を行う。図示されているように、本実施例の画像処理装置３
０は、ＣＰＵや、ＲＯＭ、ＲＡＭ、データの入出力を行うＩ／Ｆなどが、バスを介して互
いにデータをやり取り可能に接続されて構成されており、カラー画像データを生成する処
理は、ＲＯＭに記憶されているプログラムに従ってＣＰＵが所定の動作を行うことによっ
て実現されている。また、こうして得られたカラー画像データは、外部出力端子４０を介
して外部機器に出力したり、あるいは外部記録媒体５０に出力することも可能となってい
る。

尚、撮像板２４で得られるようなＲＧＢの各成分がモザイク状に組み合わされた画像デ
ータは、画像処理装置３０が、各画素にＲＧＢの各成分が設定されたカラー画像データを
生成するための元になる画像データであることから、撮像板２４で得られるモザイク状の
画像データは「ＲＡＷ画像データ」と呼ばれることがある。

図２は、カラーフィルタアレイ２２および撮像板２４の構成を概念的に示した説明図で
ある。前述したように撮像板２４は、光の強さに応じた電気信号を出力する微細な撮像素
子が、二次元的に配置されて構成されている。図２では、微細な撮像素子が格子状に配置
されている場合を表しており、撮像板２４を格子状に分割する小さなマス目の１つ１つは
、撮像素子を概念的に表したものである。

カラーフィルタアレイ２２は、撮像板２４を構成する各撮像素子の位置に、Ｒのカラー
フィルタ、Ｇのカラーフィルタ、Ｂのカラーフィルタの何れかが設定された構成となって
いる。図２では、Ｒのカラーフィルタには粗い斜線を施して表示し、Ｂのカラーフィルタ
には細かい斜線を施して表示してある。また、斜線を施していない部分は、Ｇのカラーフ
ィルタが設定されていることを示している。これらＲＧＢのカラーフィルタの配置は、先
ずＧのフィルタを、互いが斜めの位置となるように（すなわち、チェッカーフラッグ状と
なるように）配置する。この結果、カラーフィルタアレイ２２の半分の位置にはＧのフィ
ルタが配置されることになる。次いで、残りの半分の位置に、ＲのフィルタおよびＢのフ
ィルタを、それぞれ同数ずつ均等に配置する。このようにして得られた図２に示す配置の
カラーフィルタは、「ベイヤー型カラーフィルタ」と呼ばれている。

前述したように、ＧのカラーフィルタはＧ色の光のみを透し、ＲのカラーフィルタはＲ
色の光のみを、ＢのカラーフィルタはＢ色の光のみを透すから、撮像板２４の手前側にベ
イヤー型のカラーフィルタアレイ２２を設けると、図２に示すように、撮像板２４ではモ
ザイク状の画像データが生成されることになる。もちろん、このような形式の画像データ
は、通常の画像データと同じように取り扱うことはできず、そのままでは画像を表示する
ことができない。そこで、画像処理装置３０は、このような画像データ（ＲＡＷ画像デー
タ）を受け取って、画素毎にＲＧＢの各成分が設定された通常のカラー画像データを生成
する処理を行う。

Ｂ．カラー画像データ生成処理の概要：
図３は、本実施例の画像処理装置３０が、ＲＡＷ画像データからカラー画像データを生
成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。尚
、かかる処理は、本実施例では画像処理装置３０に搭載されたＣＰＵが実行するものとし
て説明するが、もちろん、シグナルプロセッサーなどの専用のハードウェアを用いて実行
することとしてもよい。

カラー画像データ生成処理では、先ず始めに、元となるＲＡＷ画像データを、撮像板２
４から読み込む処理を行う（ステップＳ１００）。次いで、読み込んだＲＡＷ画像データ
を、色差成分のデータに変換する処理を行う（ステップＳ１０２）。これは次のような処
理である。

図４は、ＲＡＷ画像データを色差成分のデータに変換する様子を概念的に示した説明図
である。図の上段には、撮像板２４から読み込んだＲＡＷ画像データが概念的に示されて
いる。ベイヤー型のカラーフィルタによって得られたＲＡＷ画像データは、Ｒ成分、Ｇ成
分、Ｂ成分の画素がモザイク状に配置された画像データとなっているが、水平方向に注目
して観察すると、水平方向の画素列には、Ｇ画素（Ｇ成分が得られている画素）とＲ画素
（Ｒ成分が得られている画素）とが交互に現れる画素列か、若しくは、Ｇ画素とＢ画素（
Ｂ成分が得られている画素）とが交互に現れる画素列の何れかしか存在しない。また、上
下方向に注目して観察した場合も同様に、上下方向の画素列には、Ｇ画素とＲ画素とが交
互に現れる画素列か、Ｇ画素とＢ画素とが交互に現れる画素列しか存在しない。図４の中
段には、水平方向あるいは上下方向に着目して観察すると、ＲＡＷ画像データが、Ｇ画素
およびＲ画素から構成される画素列と、Ｇ画素およびＢ画素から構成される画素列とによ
って構成されている様子が示されている。

以上のような観察結果に基づいて、本実施例のカラー画像データ生成処理では先ず初め
に、ＲＧＢ各成分から構成されるＲＡＷ画像データを、水平方向の画素列を構成する各色
成分の差（水平方向の色差成分）を表すデータと、上下方向の画素列を構成する各色成分
の差（上下方向の色差成分）を表すデータとに変換する。例えば、Ｇ画素およびＲ画素か
ら構成される画素列であれば、Ｇ成分とＲ成分との色差成分に変換し、Ｇ画素およびＢ画
素の画素列であれば、Ｇ成分とＢ成分との色差成分に変換する。尚、色差成分を求めるた
めの算出式については後述する。

図４の下段には、このようにして水平方向あるいは上下方向の色差成分が得られる様子
が概念的に示されている。例えば、下段の左側の図には、ＲＡＷ画像データを上下方向に
観察することで、上下方向の色差成分ＣＤｖが得られる様子が示されている。図中に斜線
を付した画素列は、Ｇ画素およびＢ画素からなる画素列であるから、その画素列で得られ
る色差成分ＣＤｖは、Ｇ成分とＢ成分との差を表す色差成分となる。また、その他の画素
列は、Ｇ画素およびＲ画素の画素列であるから、その画素列で得られる色差成分ＣＤｖは
、Ｇ成分とＲ成分との差を表す色差成分となる。水平方向についても全く同様なことが成
立する。すなわち、ＲＡＷ画像データを水平方向に観察すれば分かるように、斜線を付し
て示した画素列からは、Ｇ成分とＢ成分との差を表す色差成分ＣＤｈが得られ、斜線を付
さない画素列からは、Ｇ成分とＲ成分との差を表す色差成分ＣＤｈを得ることができる。

図５は、ＲＡＷ画像データから色差成分を求めるための算出式を示した説明図である。
図５（ａ）には、上下方向の色差成分ＣＤｖを求めるための算出式が示されており、図５
（ｂ）には水平方向の色差成分ＣＤｈを求めるための算出式が示されている。尚、図中に
示したｚは、撮像板２４で得られたＲＡＷ画像データの階調値を表している。また、ｚ（
ｒ，ｓ）は、その階調値が、画像中に取った原点の位置から下方向に向かってｒ番目、右
方向に向かってｓ番目にある画素位置での階調値であることを示している（図４の上段を
参照のこと）。

先ず初めに、図５（ａ）を参照しながら、上下方向の色差成分ＣＤｖを求める算出式に
ついて説明する。色差成分ＣＤｖを求めようとしている画素が、Ｇ成分が得られている画
素（Ｇ画素）である場合には、図５（ａ）の上式に示されるように、先ず、上下の画素で
得られた階調値の平均値を求め（一点鎖線で囲って示した第２項）、次いで、求めようと
している画素で得られたＧ成分から（破線で囲って示した第１項）、平均値の値を減算す
ることによって、上下方向の色差成分ＣＤｖを算出する。すなわち、ここではＧ画素での
色差成分を求める場合について考えているから、色差成分を求めようとしている画素での
階調値ｚ（ｒ，ｓ）は、当然ながらＧ成分である。また、第２項に現れるｚ（ｒ−１，ｓ
）は、この画素に隣接する上側の画素で得られたＲＡＷ画像データの階調値であり、ｚ（
ｒ＋１，ｓ）は下側の隣接する画素で得られたＲＡＷ画像データの階調値である。そして
、図４を用いて説明したように、Ｇ画素の上下の画素はＲ画素またはＢ画素の何れの場合
もあり得るが、上下に来る画素が互いに異なる色成分の画素となることはない。従って、
図５（ａ）の上式に一点鎖線で囲って示した第２項は、上下の画素（すなわち、Ｒ画素ま
たはＧ画素）の階調値から算出したＧ画素でのＲ成分またはＢ成分を表している。このこ
とから、Ｇ成分が得られている画素（Ｇ画素）については、上下の画素がＲ画素またはＢ
画素の何れの場合でも、図５（ａ）の上式を適用することで、上下方向の色差成分ＣＤｖ
を求めることが可能となる。

尚、同じ式を用いて算出しているが、上下の画素がＲ画素またはＢ画素の何れであるか
によって、得られる色差成分ＣＤｖの中身は異なったものとなる点に注意しておく必要が
ある。すなわち、上下の画素がＲ画素である場合には、得られた上下方向の色差成分ＣＤ
ｖは、Ｇ成分とＲ成分との差を表す色差成分となり、上下の画素がＢ画素である場合には
、Ｇ成分とＢ成分との差を表す色差成分となる。

Ｇ画素以外の画素（すなわち、Ｒ画素またはＧ画素）で、上下方向の色差成分ＣＤｖを
求める場合も、ほぼ同様にして求めることができる。例えば、色差成分ＣＤｖを求めよう
としている画素がＲ画素であったとすると、図４を用いて説明したように上下の画素はＧ
画素となるから、上下の画素の階調値の平均値は、色差成分ＣＤｖを求めようとしている
着目画素でのＧ成分を表していると考えることができる。そこで、求めたＧ成分の値から
、着目画素の階調値（ここではＲ成分）を減算してやれば、色差成分ＣＤｖを求めること
ができる。着目画素がＢ画素である場合についても全く同様なことが成立する。結局、Ｇ
画素以外の画素については、図５（ａ）の下式に示したように、右辺に破線で囲った第１
項から、一点鎖線で囲った第２項を減算することで、上下方向の色差成分ＣＤｖを求める
ことができる。

尚、Ｇ画素以外の画素について上下方向の色差成分ＣＤｖを求める場合も、その画素が
Ｒ画素またはＢ画素の何れであるかに拘わらず同じ式を用いて算出するが、その画素がＲ
画素またはＢ画素の何れであるかによって、得られる色差成分ＣＤｖの中身が異なる点に
注意しておく必要がある。すなわち、その画素がＲ画素である場合には、Ｇ成分とＲ成分
との差を表す色差成分ＣＤｖとなり、その画素がＢ画素である場合には、Ｇ成分とＢ成分
との差を表す色差成分ＣＤｖとなる。

また、本実施例のカラー画像データ生成処理では、このように中身の異なる２種類の色
差成分ＣＤｖを用いた高度な処理をしているにも拘わらず、実際の計算式は全く同じ式を
使用することができる。このため、２種類の色差成分ＣＤｖを同時に扱っているにも拘わ
らず単純な処理を行った場合と同じ程度に簡素な処理となり、迅速に実行することができ
る。もちろん、実際の中身は高度な処理を行っているので、後述するように、偽色を発生
させることなく、適切にデモザイク処理を行うことが可能となっている。

以上、上下方向の色差成分ＣＤｖを求める場合について説明したが、水平方向の色差成
分ＣＤｈについても同様にして求めることができる。以下、図５（ｂ）を参照しながら簡
単に説明すると、先ず、Ｇ画素での水平方向の色差成分ＣＤｈを求める場合には、上式に
示したように、破線で囲って示した第１項から、一点鎖線で囲った第２項を減算すること
によって、水平方向の色差成分ＣＤｈを求めることができる。ここで、ｚ（ｒ，ｓ）は、
色差成分を求めようとしている着目画素で得られたＲＡＷ画像データの階調値（すなわち
、Ｇ成分）である。また、ｚ（ｒ，ｓ−１）は着目画素の左隣の画素での階調値であり、
ｚ（ｒ，ｓ＋１）は着目画素の右隣の画素での階調値である。着目画素の左右の画素は、
Ｒ画素またはＢ画素の何れの場合もあり得るが、左右の画素が異なる色成分の画素となる
ことはない。

Ｇ画素以外の画素（すなわち、Ｒ画素またはＧ画素）で、水平方向の色差成分ＣＤｈを
求める場合は、着目画素の左右の画素がＧ画素となり、着目画素がＲ画素またはＢ画素の
何れかとなる。従って、図５（ｂ）の下式に示すように、破線で囲った第１項（左右の画
素の平均値）から、一点鎖線で囲った第２項（着目画素の階調値）を減算することによっ
て、水平方向の色差成分ＣＤｈを求めることができる。

更に、水平方向の色差成分ＣＤｈを求める場合も、左右の画素がＲ画素またはＢ画素の
何れであるか、あるいはその画素がＲ画素またはＢ画素の何れであるかに拘わらず、同じ
式を用いて色差成分ＣＤｈを算出している。しかし、得られる色差成分ＣＤｖの中身は、
Ｇ成分とＲ成分との差を表している場合と、Ｇ成分とＢ成分との差を表している場合とが
存在している。このように、水平方向の色差成分ＣＤｈについても、中身の異なる２種類
の色差成分ＣＤｈを取り扱っているにも拘わらず、実際の計算式は全く同じ式を使用する
ことが可能であり、単純な処理と同じ程度に簡素な処理となり、迅速に実行可能である。

更に加えて、図５に示すように、上下方向の色差成分ＣＤｖと水平方向の色差成分ＣＤ
ｈとについても、互いに極めて良く似た計算式を用いて求めることが可能である。その結
果、方向の異なる２種類の色差成分（すなわちＣＤｖおよびＣＤｈ）を算出する処理も、
処理内容を共通化することができ、簡素で迅速に実行可能な処理を実現することが可能と
なっている。

図３に示したステップＳ１０２では、以上のようにして、撮像板２４で得られたＲＡＷ
画像データを、上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈに変換する処
理を行う。尚、必ずしも必須の処理ではないが、得られた色差成分に混入しているノイズ
を抑えるために、上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈに、ローパ
スフィルタを作用させておくことが望ましい。後述するように、本実施例のカラー画像デ
ータ生成処理では、画像中に含まれるエッジの方向を、色差成分を用いて検出しており、
ローパスフィルタを作用させることはエッジを鈍らせてエッジの検出精度を低下させるこ
とになるので、本来であれば望ましいことではない。しかし本実施例では、後述する方法
によって極めて精度良くエッジ方向を検出することが可能であるため、多少、エッジが鈍
っても検出精度はほとんど低下することはなく、むしろ、ノイズが抑制されることによっ
て、エッジの方向を安定して検出することが可能となっている。

図６は、色差成分に混入したノイズを抑えるために用いられるローパスフィルタを例示
した説明図である。図６（ａ）には、上下方向の色差成分ＣＤｖおよび水平方向の色差成
分ＣＤｈのそれぞれについて、ローパスフィルタが示されている。また、理解の便宜のた
めに、図６（ｂ）には、水平方向の色差成分ＣＤｈにローパスフィルタを作用させる様子
が例示されている。ローパスフィルタを作用させようとしている画素（着目画素）は、図
６（ｂ）中では斜線を付して示されている。本実施例のローパスフィルタでは、着目画素
の左右２画素ずつの色差成分と、着目画素の色差成分とを加算する。この時、着目画素の
色差成分については４画素分の重みを付けて、全体で加算する色差成分が８画素分となる
ように調整している。加算した色差成分が８画素分であれば、加算値を下位ビット側に３
ビットシフトさせるだけで、加算値を８で割った１画素分の色差成分を得ることが可能で
あり、ローパスフィルタを作用させる処理を迅速に実行することができる。

尚、上下方向の色差成分ＣＤｖ、および水平方向の色差成分ＣＤｈは、前述したように
、Ｇ成分とＲ成分との差を表す場合と、Ｇ成分とＢ成分との差を表す場合とが存在するが
、ローパスフィルタを作用させる処理は、こうした違いを全く考慮することなく実行する
ことが可能である。このため、本実施例のカラー画像データ生成処理は、実際には高度な
処理を行っているにも拘わらず、極めて簡素で迅速に実行可能な処理となっている。

図３に示した本実施例のカラー画像データ生成処理では、以上のようにして、上下方向
の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈを求めたら（図３のステップＳ１０２
）、今度は、これら色差成分のデータを用いてエッジ方向マップを生成する処理（エッジ
方向マップ生成処理）を開始する（ステップＳ１０４）。エッジ方向マップとは、画像中
のエッジが、上下あるいは左右の何れの方向に走っているのか表したマップである。エッ
ジの方向は、必ずしも全ての画素に設定されている必要はないが、少なくともＧ画素以外
の画素（すなわち、Ｒ画素およびＢ画素）については、求めておくことが望ましい。本実
施例のカラー画像データ生成処理では、上下方向の色差成分ＣＤｖおよび水平方向の色差
成分ＣＤｈを用いて、後述する方法によってエッジ方向を決定しており、このため、精度
良く、しかも比較的迅速にエッジ方向を決定することが可能となっている。エッジ方向マ
ップ生成処理の詳細については後述する。

エッジ方向マップを生成したら、続いて、Ｇ画素以外の画素（すなわち、Ｒ画素および
Ｂ画素）について、Ｇ成分の階調値を補間によって決定する処理（Ｇ成分補間処理）を行
う（ステップＳ１０６）。Ｇ成分を補間する際には、エッジ方向マップを参照しながら、
周囲の画素から補間することによって、適切な階調値を決定することが可能である。エッ
ジ方向マップを参照しながらＧ成分を補間するＧ成分補間処理の具体的な処理内容につい
ては後述する。

続いて、Ｇ画素以外の画素で、最後の色成分を補間する処理（非Ｇ画素補間処理）を開
始する（ステップＳ１０８）。Ｇ画素以外の画素ということは、Ｒ画素またはＢ画素の何
れかであるが、何れの場合についても先のステップＳ１０６でＧ成分が求められているこ
とから、Ｒ画素であればＢ成分を補間し、Ｂ画素であればＲ成分を補間することになる。
この結果、Ｇ画素以外の画素については、ＲＧＢ全ての色成分を得ることができる。Ｇ画
素以外の画素について、Ｇ成分を補間した後に、最後の色成分を補間する処理（非Ｇ画素
補間処理）の詳細については後述する。

以上のようにしてＧ画素以外の画素での補間を完了したら、今度はＧ画素で、ＲＡＷ画
像データに欠落している色成分（すなわち、Ｒ成分およびＢ成分）を補間する処理（Ｇ画
素補間処理）を行う（ステップＳ１１０）。Ｇ画素で欠落している色成分を補間する際も
、エッジ方向マップを参照することによって、適切な階調値を算出することができる。Ｇ
画素で欠落している各成分を決定するＧ画素補間処理の具体的な処理内容については後述
する。

以上のようにして、Ｇ画素以外の画素について欠落した成分を補間し（ステップＳ１０
６およびステップＳ１０８）、Ｇ画素について欠落した成分を補間したら（ステップＳ１
１０）、全ての画素についてＲＧＢの各成分が揃ったことになる。そこで、最終的に得ら
れたＲＧＢ各成分を、ＲＡＷ画像データから生成されたカラー画像データとして出力した
後（ステップＳ１１２）、図３に示した本実施例のカラー画像データ生成処理を終了する
。

上述した本実施例のカラー画像データ生成処理では、上下方向および水平方向の色差成
分に基づいてエッジ方向を検出し、エッジ方向マップを生成する。このとき、上下方向の
色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈの各々について、異なる２種類の色差成
分（Ｇ成分とＲ成分との差に対応する色差成分、およびＧ成分とＢ成分との差に対応する
色差成分）を用いてエッジ方向を検出することによって、精度良くエッジ方向マップを生
成することが可能となっている。そして、ＲＡＷ画像データに欠落した色成分を補間する
際には、精度の良いエッジ方向マップを参照しながら補間することで、適切に補間するこ
とが可能となっている。しかも、エッジ方向マップを生成する処理も、欠落した色成分を
補間する処理も、決して複雑な処理ではなく、迅速に実行可能である。その結果、ＲＧＢ
各成分がモザイク状に組み合わされたＲＡＷ画像データから、適切なカラー画像データを
迅速に生成することが可能となっている。以下では、こうしたことを実現するためにエッ
ジ方向マップを生成する処理（エッジ方向マップ生成処理）、Ｇ成分を補間する処理（Ｇ
成分補間処理）、Ｇ画素以外の画素で欠落した最後の色成分を補間する処理（非Ｇ画素補
間処理）、およびＧ画素で欠落した色成分を補間する処理（Ｇ画素補間処理）について説
明する。

Ｃ．エッジ方向マップ生成処理：
図７は、本実施例の画像処理装置３０内で行われるエッジ方向マップ生成処理の流れを
示したフローチャートである。前述したように、かかる処理は、図３のカラー画像データ
生成処理の中で、画像処理装置３０によって実行される処理である。

エッジ方向マップを生成するに際しては、先ず始めにエッジの方向を判断しようとする
画素（判断画素）を１つ選択する（ステップＳ２００）。次いで、判断画素について、色
差成分の上下方向への変化量Ｖｖを算出する（ステップＳ２０２）。尚、上下方向への変
化量Ｖｖを算出するのであるから、色差成分は、当然ながら、上下方向の色差成分ＣＤｖ
を用いて算出する。

図８は、上下方向の色差成分ＣＤｖから上下方向への変化量Ｖｖを算出する様子を例示
した説明図である。図８（ａ）には、算出式が例示されており、図８（ｂ）には、例示さ
れた算出式を用いて、上下方向への変化量Ｖｖを算出する様子が概念的に示されている。
また、図８（ｂ）に示した斜線は、判断画素の位置を表している。上下方向への変化量Ｖ
ｖを算出する際には、先ず、判断画素とその上の画素との間で、色差成分ＣＤｖの差の二
乗値を算出する。また、判断画素とその下の画素との間でも、色差成分ＣＤｖの差の二乗
値を算出する。図８（ｂ）中に、斜線を付した判断画素と上の画素、あるいは下の画素と
の間に示された白抜きの矢印は、それぞれの画素の間で色差成分ＣＤｖの差の二乗値を算
出している様子を模式的に表したものである。

判断画素と上下の画素との間で、色差成分ＣＤｖの差の二乗値を求めたら、今度は、判
断画素の左隣の画素と、その上下の画素との間でも、同様にして色差成分ＣＤｖの差の二
乗値を算出する。更に、判断画素の右隣の画素についても同様にして、右隣の画素とその
上下の画素との間で、色差成分ＣＤｖの差の二乗値を算出する。図８（ｂ）には、このよ
うにして、上下に並んだ６組の画素から１つずつ、合計６つの二乗値が得られた様子が模
式的に示されている。そして、こうして得られた６つの二乗値を加算した値を、判断画素
についての上下方向への変化量Ｖｖとする。

以上のようにして上下方向への変化量Ｖｖを求めたら、今度は、色差成分の水平方向へ
の変化量Ｖｈを算出する（図７のステップＳ２０４）。水平方向への変化量Ｖｈも、上述
した上下方向への変化量Ｖｖと同様にして算出することができるが、上下方向への変化量
Ｖｖを算出することと対応して、当然ながら、算出に用いる色差成分は水平方向の色差成
分ＣＤｈとなる。

図９は、水平方向の色差成分ＣＤｈから水平方向への変化量Ｖｈを算出する様子を例示
した説明図である。図９（ａ）には、算出式が例示されており、図９（ｂ）には、例示さ
れた算出式を用いて、水平方向への変化量Ｖｈを算出する様子が概念的に示されている。
水平方向への変化量Ｖｈを算出する際には、図９（ｂ）に白抜きの矢印で示したように、
判断画素と左右の画素との間で、色差成分ＣＤｈの差の二乗値を算出する。また、判断画
素の上の画素とその左右の画素との間や、判断画素の下の画素とその左右の画素との間で
も、色差成分ＣＤｈの差の二乗値を算出する。そして、これら６つの二乗値を加算して、
判断画素についての水平方向への変化量Ｖｈとする。図９（ａ）には、このようにして色
差成分の水平方向の変化量Ｖｈを求めるための算出式が示されている。

以上のようにして、初めに選択した判断画素について、上下方向への変化量Ｖｖと水平
方向への変化量Ｖｈとが得られたら、これら変化量の大きさを比較する（図７のステップ
Ｓ２０６）。そして、水平方向への変化量Ｖｈの方が、上下方向への変化量Ｖｖよりも大
きかった場合は（ステップＳ２０６：ｙｅｓ）、その判断画素では上下方向にエッジが走
っているものと判断して、エッジ方向を示す値ｄに「１」を設定する（ステップＳ２０８
）。逆に、上下方向への変化量Ｖｖの方が水平方向への変化量Ｖｈよりも大きかった場合
は（ステップＳ２０６：ｎｏ）、その判断画素では水平方向にエッジが走っているものと
判断して、エッジ方向を示す値ｄに「３」を設定する（ステップＳ２１０）。従って、エ
ッジ方向ｄに「１」が設定されている画素では、エッジが上下方向に走っており、エッジ
方向ｄに「３」が設定されている画素では、エッジが水平方向に走っていることになる。

尚、上下方向への変化量Ｖｖ（図８参照）あるいは水平方向への変化量Ｖｈ（図９参照
）を求める際に、色差成分の差の二乗値を算出しているのは、色差成分の差の符号を考慮
することなく、エッジ方向を判断するためである。従って、色差成分の差の二乗値の替わ
りに絶対値を算出し、隣接する画素間での絶対値を加算することにより、上下方向への変
化量Ｖｖおよび水平方向への変化量Ｖｈを求めることも可能である。もっとも、二乗値の
方が絶対値よりも、色差成分の差が強調されるので、エッジの方向をより精度良く検出す
ることが可能となる。

また、上下方向の変化量Ｖｖと水平方向への変化量Ｖｈとを比較する際には、若干の注
意が必要であり、これに伴って、図７に示すエッジ方向マップ生成処理にもバリエーショ
ンが存在している。以下では、この点について補足説明を行う。

図１０は、エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した
説明図である。判断画素を１つ選択すると、その周囲の状態は、必ず図１０（ａ）ないし
図１０（ｄ）の何れかの状態となっている。このうち、図１０（ａ）の場合について説明
すると、上下方向の変化量Ｖｖは、判断画素が位置する上下方向の画素列からは、Ｇ成分
とＲ成分との差を示す色差成分（以下では、ＣＤGRと表記する）に由来する二乗値が得ら
れ、その左右にある上下方向の画素列からは、Ｇ成分とＢ成分との差を示す色差成分（以
下では、ＣＤGBと表記する）に由来する二乗値が得られるから、結局、上下方向の変化量
Ｖｖは、ＣＤGRに由来する２つの二乗値と、ＣＤGBに由来する４つの二乗値とを加算した
値となっている。水平方向への変化量Ｖｈについても同様に、ＣＤGRに由来する２つの二
乗値と、ＣＤGBに由来する４つの二乗値とを加算した値となっている。従って、上下方向
の変化量Ｖｖと水平方向への変化量Ｖｈとを比較することで、エッジの方向を適切に判断
することができる。

図１０（ｂ）の場合についても同様で、上下方向の変化量Ｖｖ、または水平方向への変
化量Ｖｈの何れも、ＣＤGBに由来する２つの二乗値と、ＣＤGRに由来する４つの二乗値と
を加算した値となっている。このため、上下方向の変化量Ｖｖと水平方向への変化量Ｖｈ
とを比較することで、エッジの方向を適切に判断することができる。

ところが、図１０（ｃ）あるいは図１０（ｄ）に示した場合は、こうしたことが成り立
たない。例えば、図１０（ｃ）についていえば、上下方向の変化量Ｖｖは、ＣＤGBに由来
する２つの二乗値と、ＣＤGRに由来する４つの二乗値とを加算した値であるが、水平方向
の変化量Ｖｈは、ＣＤGBに由来する４つの二乗値と、ＣＤGRに由来する２つの二乗値とを
加算した値となっており、上下方向の変化量Ｖｖと水平方向の変化量Ｖｈとは単純には比
較できない値となっている。図１０（ｄ）についても事態は全く同様で、上下方向の変化
量Ｖｖと水平方向の変化量Ｖｈとを単純に比較することはできない。

こうした事態に対処するための１つの方法としては、図１０（ａ）あるいは図１０（ｂ
）のような画素についてのみ、エッジ方向を決定することが考えられる。すなわち、図７
に示したエッジ方向マップ生成処理のステップＳ２００で、判断画素を選択する際に、Ｇ
画素以外の画素、すなわちＲ画素またはＢ画素のみを選択するのである。図２を用いて前
述したように、ベイヤー型カラーフィルタではＧ画素が半数を占めているから、Ｒ画素ま
たはＢ画素のみについてエッジ方向を判断することとすれば、判断すべき画素が半分とな
って、迅速にエッジ方向マップを生成することが可能となる。もちろん、Ｇ画素でのエッ
ジ方向は分からないが、補間方法を工夫することで、そのことが画質に与える悪影響は回
避することが可能である。

また、Ｇ画素ではエッジ方向を判断できないというわけではなく、次のようにすれば、
Ｇ画素でのエッジ方向を判断することが可能である。例えば、図１１に示すように、判断
画素がある画素列での重みを、他の画素列での重みの２倍に設定すればよい。図１１（ａ
）には、上下方向の変化量Ｖｖを求めるための算出式が示されており、図１１（ｂ）には
、水平方向の変化量Ｖｈを求めるための算出式が示されている。このような計算式を用い
れば、Ｇ画素、Ｒ画素、Ｂ画素の全ての画素について、上下方向の変化量Ｖｖおよび水平
方向の変化量Ｖｈを算出し、両者を比較してエッジ方向を決定することができる。尚、図
１１に示した算出式において、判断画素が存在しない画素列での重みを半分にしても良い
ことはいうまでもない。

あるいは、図１２に示すように、判断画素がある画素列と、その画素列に隣接する何れ
か一方の画素列の２つの画素列での変化量を用いて、エッジ方向を決定するようにしても
良い。図１２（ａ）は、判断画素がある上下方向の画素列と、その画素列の右隣にある上
下方向の画素列とで、上下方向の変化量Ｖｖを求める算出式が例示されている。また、図
１２（ｂ）には、図１２（ａ）の算出式に従って、上下方向の変化量Ｖｖを求める様子が
概念的に示されている。図４を用いて前述したように、ベイヤー型カラーフィルタによる
ＲＡＷ画像データを上下方向に着目して観察すると、Ｇ画素およびＲ画素が上下に並んだ
画素列と、Ｇ画素およびＢ画素が上下に並んだ画素列とが、必ず交互に配置されている。
このため、図１２（ａ）の算出式によって求めた上下方向の変化量Ｖｖは、ＣＤGBに由来
する二乗値と、ＣＤGRに由来する二乗値とを２つずつ加算した値となる。

水平方向についても同様にして、２つの画素列から変化量Ｖｈを求めることができる。
図１２（ｃ）には、水平方向の変化量Ｖｈを求める算出式が例示されている。また、図１
２（ｄ）には、図１２（ｃ）の算出式に従って、水平方向の変化量Ｖｈを求める様子が概
念的に示されている。図４を用いて前述したように、ベイヤー型カラーフィルタによって
得られたＲＡＷ画像データを水平方向に着目して観察した場合も、Ｇ画素およびＲ画素が
並んだ画素列と、Ｇ画素およびＢ画素が並んだ画素列とが、必ず交互に配置されている。
このため、図１２（ｃ）の算出式によって求めた水平方向の変化量Ｖｈも、図１２（ａ）
による上下方向の変化量Ｖｖと同様に、ＣＤGBに由来する二乗値と、ＣＤGRに由来する二
乗値とを２つずつ加算した値となる。従って、これら２つの変化量を比較することにより
、エッジ方向を決定することが可能となる。

図７に示した本実施例のエッジ方向マップ生成処理のステップＳ２０２〜ステップＳ２
１０では、以上のようにして、色差成分の上下方向の変化量Ｖｖおよび水平方向の変化量
Ｖｈを算出し（ステップＳ２０２，Ｓ２０４）、両者を比較することによってエッジ方向
を決定する（ステップＳ２０６〜Ｓ２１０）。また、変化量を算出するにあたって、図８
および図９に示した方法を用いて算出するのであれば、エッジ方向を判断する判断画素と
して、Ｇ画素以外の画素（Ｒ画素およびＢ画素）を選択する（ステップＳ２００）。一方
、図１１あるいは図１２に示した方法を用いて変化量を算出するのであれば、全画素を判
断画素として選択する。もちろん、図１１あるいは図１２に示した方法を用いて変化量を
算出する場合でも、Ｇ画素以外の画素（Ｒ画素およびＢ画素）を判断画素として選択する
ようにしても構わない。こうして、ステップＳ２００で選択した判断画素についてのエッ
ジ方向を決定したら、全ての判断画素についてエッジ方向を決定したか否かを判断し（ス
テップＳ２１２）、未だ決定していない判断画素が残っている場合は（ステップＳ２１２
：ｎｏ）、未決定の画素の中から新たな判断画素を１つ選択した後（ステップＳ２００）
、続く上述した一連の処理を行う。こうした処理を繰り返しているうちに、全ての判断画
素についてエッジ方向を決定したと判断されたら（ステップＳ２１２：ｙｅｓ）、図７に
示すエッジ方向マップ生成処理を終了する。

以上に説明したエッジ方向マップ生成処理では、ＲＡＷ画像データに含まれるエッジ方
向を、極めて精度良く決定することが可能である。そして、ＲＡＷ画像データに含まれる
各画素の欠落した色成分を補間する際には、正確なエッジ方向マップを参照することがで
きるので、偽色を発生させることなく適切に補間することが可能となっている。以下では
、本実施例のエッジ方向マップ生成処理において、正確なエッジ方向マップが生成される
理由について説明する。

図２あるいは図４に示したように、ベイヤー型カラーフィルタによるＲＡＷ画像データ
では、ＲＧＢの何れの色成分についても、飛び飛びの画素位置でしかデータが得られてい
ない。例えば、Ｇ画素では２画素に１つの割合でしかデータが得られておらず、Ｒ画素や
Ｂ画素に到っては４画素に１つの割合でしかデータが得られていない。従って、色成分毎
に階調値の変化からエッジを検出しようとしても、ＲＧＢ何れの成分についても、まばら
にしかデータが得られていないので、精度良くエッジを検出することは困難である。

そこで、ＲＧＢの色成分をそのまま扱うのではなく、色成分の差を取り扱うことにする
。すなわち、Ｇ成分およびＲ成分が交互に得られている画素列については、ＲＡＷ画像デ
ータを、Ｇ成分とＲ成分との差を表す色差成分のデータに変換する。また、Ｇ成分および
Ｂ成分が交互に得られている画素列については、ＲＡＷ画像データを、Ｇ成分とＢ成分と
の差を表す色差成分のデータに変換する。図４の下段には、このようにしてＲＡＷ画像デ
ータを、上下方向の色差成分ＣＤｖ、および水平方向の色差成分ＣＤｈに変換した様子が
示されている。尚、図４中で斜線が付されているのは、Ｇ成分とＢ成分との差を表す色差
成分が得られている画素列である。

こうして色差成分に変換してしまえば、少なくとも画素列の方向には、同じ色差成分の
データを連続して得ることができる。もっとも、前述したように、隣接する画素列で得ら
れた色差成分は、互いに意味が異なる色差成分であるため、隣接する画素列の間で色差成
分の値を比較しても意味はない。従って、意味の同じ色差成分を用いてエッジを検出しよ
うとすると（例えば、図４中で斜線を付したＧ成分とＢ成分との差を表す色差成分を用い
てエッジを検出しようとすると）、隣接する画素列を飛ばして、１つおきの画素列の色差
成分を用いなければならず、画素列にして５列前後に亘るような、規模の大きなエッジで
なければ検出することが困難である。

しかし、色差成分の変化量については、隣接する画素列の間で比較することが可能であ
る。例えば、画像中で明るさが急変する箇所では、Ｇ成分とＲ成分との差の値も、Ｇ成分
とＢ成分との差の値も、何れも大きく変化する。同様に、色が急変する箇所でも、Ｇ成分
とＲ成分との差、およびＧ成分とＢ成分との差の何れの値も大きく変化する。従って、色
差成分の変化量に着目すれば、意味の異なる色差成分から得られた変化量であっても同じ
ように取り扱うことが可能であり、隣接する画素列で得られた色差成分を用いてエッジを
検出することができる。そして、このように隣接する画素列の色差成分に基づいて検出す
ることができれば、規模の小さなエッジであっても精度良く検出することが可能となる。

本実施例のエッジ方向マップ生成処理は、以上のような考察に基づいて、精度良くエッ
ジ方向を検出することにより、正確なエッジ方向マップを生成可能としたものであって、
先ず、ベイヤー型カラーフィルタによるＲＡＷ画像データを、上下方向の色差成分ＣＤｖ
および水平方向の色差成分ＣＤｈに変換する。こうして得られた色差成分のデータは、図
４の下段に示したように、Ｇ成分とＲ成分との差を表す色差成分ＣＤGRの画素列と、Ｇ成
分とＢ成分との差を表す色差成分ＣＤGBの画素列とが、交互に並んだデータとなっている
。次いで、図８および図９、あるいは図１１、図１２を用いて色差成分の変化量を算出す
る。こうして算出した変化量は、互いに隣接する画素列の色差成分ではあるが、意味の異
なる色差成分から求めた変化量となっている。しかし上述したように、意味の異なる色差
成分から求めた値であっても、変化量は同じように取り扱ってエッジを検出することがで
きる。そして、隣接する画素列の色差成分に基づいてエッジを検出することで、規模の小
さなエッジであっても精度良く検出することができる。そして、こうして上下方向および
水平方向について求めた変化量を比較することにより、エッジの方向を精度良く検出する
ことが可能となるのである。

以上の説明からも明らかなように、本実施例のエッジ方向マップ生成処理では、上下方
向の変化量Ｖｖおよび水平方向の変化量Ｖｈを算出する際に、隣接する画素列の色差成分
に基づいて算出することが重要である。逆に言えば、上下方向の変化量Ｖｖおよび水平方
向の変化量Ｖｈを算出するために、どのような算出式を用いるかはそれほど重要なことで
はなく、図８、図９、図１１、あるいは図１２に例示した算出式の他にも種々の算出式を
用いることが可能である。

例えば、図１３に例示したように、画素列の方向に沿って１画素飛びの画素間で、色差
成分の差の二乗値を求め、これらを加算することによって変化量を算出しても良い。尚、
図１３では、水平方向の変化量Ｖｈを求める場合についてのみ示しているが、上下方向の
変化量Ｖｖについても、同様にして求めることができる。あるいは図１４に例示したよう
に、色差成分の差の二乗値を、画素列の方向に沿って隣接する画素間だけでなく、１画素
飛びの画素間でも求め、これらを加算することによって変化量を求めても良い。尚、図１
４においても、水平方向の変化量Ｖｈを求める場合についてのみ示しているが、上下方向
の変化量Ｖｖについても、同様にして求めることができる。さらに、より遠い画素におけ
る色差成分をもちいて計算をするようにしても良い。例えば、図１５（ａ）の式を用いて
水平方向の変化量Ｖｈを計算することが考えられる。これは３画素とびの画素間での計算
を含んでおり、図１５（ｂ）において矢印で示されている画素間で計算を行う。なお、図
１５は水平方向の変化量Ｖｈを求めるためのものであるが、垂直方向の変化量Ｖｖを計算
する場合も同様である。

Ｄ．Ｇ成分補間処理：
図３を用いて前述したように、本実施例のカラー画像データ生成処理では、エッジ方向
マップを生成すると（図３のステップＳ１０４）、Ｇ画素ではない画素（Ｒ画素およびＢ
画素）で、Ｇ成分を補間する処理を開始する（ステップＳ１０６）。

図１６は、Ｒ画素およびＢ画素でＧ成分を補間する処理の流れを示すフローチャートで
ある。図示されているように、Ｇ成分補間処理を開始すると、先ず始めに、先に生成した
エッジ方向マップを参照することによって、補間しようとする画素（補間画素）でのエッ
ジ方向ｄを取得する（ステップＳ３００）。前述したように、エッジ方向マップは、全画
素にエッジ方向ｄが設定される場合と、非Ｇ画素（Ｒ画素およびＢ画素）にだけエッジ方
向ｄが設定される場合とが存在するが、ここでは非Ｇ画素について補間しようとしている
のであるから、エッジ方向マップを参照することで必ずエッジ方向ｄを取得することがで
きる。

次いで、取得したエッジ方向ｄの値が「１」であるか否かを判断する（ステップＳ３０
２）。そして、エッジ方向ｄが「１」であれば（ステップＳ３０２：ｙｅｓ）、補間画素
の上下の画素での色差成分から、補間画素での色差成分を補間によって推定する（ステッ
プＳ３０４）。逆に、エッジ方向ｄが「３」であれば（ステップＳ３０２：ｎｏ）、補間
画素の左右の画素での色差成分から、補間画素での色差成分を補間によって推定する（ス
テップＳ３０６）。続いて、補間画素で得られたＲＡＷ画像データを取得し（ステップＳ
３０８）、先に算出した補間画素での色差成分に、ＲＡＷ画像データを加算することによ
って、補間画素についてのＧ成分を算出する（ステップＳ３１０）。これら一連の処理に
ついて、補足して説明する。

図１７は、非Ｇ画素で、欠落しているＧ成分を算出する処理の流れを模式的に示した説
明図である。補間画素は非Ｇ画素であるから、Ｒ画素またはＢ画素の何れかとなる。Ｒ画
素であれば、周囲の画素の分布は図１７（ａ）に示した状態となっており、Ｂ画素であれ
ば、図１７（ｂ）に示した状態となっている。ここでは、Ｇ成分を補間する画素がＲ画素
であり、エッジ方向ｄは「１」であったものとして説明する。

エッジ方向ｄが「１」ということは、水平方向の色差成分の変化量Ｖｈの方が、上下方
向の色差成分の変化量Ｖｖよりも大きいということである。一般に、大きく変化している
状況下で補間するよりも、変化の少ない（定常状態により近い）状況下で補間した方が適
切な補間結果が得られるから、ここでも、変化量の少ない上下方向の色差成分を用いて、
Ｇ成分を算出することにする。すなわち、図１７（ａ）から明らかなように、非Ｇ画素で
は、上下方向の色差成分も水平方向の色差成分も、何れもＧ成分からＲ成分を減算した値
の色差成分が得られるので、何れの方向の色差成分を用いてもＧ成分を求めることができ
るのであるが、より適切なＧ成分を得るために、変化の少ない方の色差成分である上下方
向の色差成分に基づいて、補間画素のＧ成分を決定するのである。

上下方向の色差成分は、Ｇ成分からＲ成分を減算した値となっており、補間画素で得ら
れているＲＡＷ画像データはＲ成分である。従って、色差成分の値にＲＡＷ画像データの
値を加算することで、直ちに補間画素でのＧ成分を求めることができる。尚、Ｇ成分を算
出するための色差成分としては、エッジ方向を決定する際に、既に、図５の算出式を用い
て補間画素についての色差成分を算出しているので、この値を読み出して使用することが
できる。あるいは、図６に示したローパスフィルタを用いてノイズが除去された色差成分
が得られている場合には、この色差成分を用いてＧ成分を算出することが望ましい。

更には、補間画素での色差成分を直接読み出すのではなく、隣接する画素で得られた色
差成分から算出するようにしても良い。すなわち、ここでは上下方向の色差成分を用いる
こととしているから、補間画素の上下の画素について得られている上下方向の色差成分を
読み出して、これら色差成分の値から、補間画素での色差成分を算出するようにしても良
い。図１６に示したステップＳ３０４あるいはステップＳ３０６では、このようにして、
補間画素に隣接する画素から色差成分を算出する場合について示している。

以上のようにして補間画素でのＧ成分を求めたら、図１６に示したＧ成分補間処理を終
了して、図３のカラー画像データ生成処理に復帰する。カラー画像データ生成処理では、
Ｇ成分を補間したら、続いて、Ｇ画素以外の画素について残りの色成分を補間する処理（
非Ｇ画素補間処理）を開始する。

Ｅ．非Ｇ画素補間処理：
図１８は、非Ｇ画素補間処理の流れを示すフローチャートである。前述したように、か
かる処理では、Ｒ画素およびＢ画素でのＧ成分を補間した後に、残りの１つの色成分（す
なわち、Ｒ画素であればＢ成分、Ｂ画素であればＲ成分）の補間を行う。ここで、処理内
容の詳細な説明に入る前に、非Ｇ画素補間処理の基本的な考え方について簡単に説明して
おく。

上述したように非Ｇ画素補間処理では、Ｒ画素についてはＢ成分の補間を行い、Ｂ画素
についてはＲ成分の補間を行う。ここで、例えばＲ画素に着目すると、図１７（ａ）に示
したように、斜めに隣接する４つの画素はＢ画素であり、これらの画素ではＢ成分がＲＡ
Ｗ画像データとして得られている。同様に、Ｂ画素に着目すると、図１７（ｂ）に示した
ように、斜めに隣接する４つの画素はＲ画素であり、これらの画素ではＲ成分がＲＡＷ画
像データとして得られている。従って、最も単純には、これら斜めに隣接する４つの画素
のＲＡＷ画像データから補間することによって、求める色成分の階調値を決定することが
考えられる。これは、例えばＲ画素のＢ成分を斜めに隣接する４つのＢ画素の平均値とす
るということである。

また、斜めに隣接する４つの画素で得られたＲＡＷ画像データから直接補間するのでは
なく、これら４つの画素での色差成分から補間画素での色差成分を求め、この色差成分に
基づいて、求める色成分を決定ことも可能である。ＲＧＢカラー画像データでは一般に、
ＲＧＢの各成分間での差の値が、表現される色相に強く関係していることから、求めよう
とする色成分を周囲の画素から直接補間したのでは、他の色成分との差の値が微妙に狂っ
て、いわゆる偽色が発生することがある。また自然画像の場合は、通常、局所的に似通っ
た色相を有する。こうしたことを考えると、周囲の画素から色差成分を補間して、得られ
た色差成分に基づいて補間画素での色成分を決定する方がより望ましい。例えば、図１７
（ａ）に示したＲ画素であればＢ成分を求めようとしているのであるから、斜めに隣接す
る４つのＢ画素で、Ｇ成分とＢ成分との差を示す色差成分ＣＤGBを求め、これら４つの色
差成分ＣＤGBから補間画素での色差成分ＣＤGBを算出する。そして、得られた色差成分Ｃ
ＤGBと、補間画素でのＧ成分とに基づいて、最後の色成分であるＢ成分を求めることも可
能である。

ここで、斜めに隣接する画素はＢ画素であるから、これらの画素に対して、図５の算出
式を適用して得られている色差成分は、上下方向の色差成分ＣＶｖも水平方向の色差成分
ＣＤｈも、Ｇ成分とＢ成分との差を示す色差成分ＣＤGBとなっている。従って、これらの
８つの色差成分ＣＤGBに基づいて、補間画素での色差成分ＣＤGBを算出することも可能で
ある。例えば、各画素での上下方向の色差成分ＣＶｖと水平方向の色差成分ＣＤｈとの平
均を取ることによって、各画素を代表する色差成分を求めた後、それら４つの画素（補間
画素に斜めに隣接する画素）を代表する色差成分から、補間画素での色差成分を求めるよ
うにしてもよい。あるいは、補間画素でのエッジ方向を検出して、エッジ方向に合致する
色差成分ＣＤGBのみに基づいて、補間画素での色差成分ＣＤGBを算出することも可能であ
る。もっとも、これらのように、上下方向の色差成分ＣＶｖおよび水平方向の色差成分Ｃ
Ｄｈを考慮しながら補間画素の色差成分を決定する方法は、処理が複雑となるので、補間
画素に斜めに隣接する各画素で得られたＧ成分とＢ成分とに基づいて算出した方が、色差
成分ＣＤGBを迅速に算出することが可能である。

図１８に示した本実施例の非Ｇ画素補間処理は、以上のような考え方に基づいて、Ｇ成
分を補間した後に、非Ｇ画素での最後の色成分を補間する処理を行う。以下、フローチャ
ートに従って、非Ｇ画素補間処理の具体的な処理内容について説明する。

非Ｇ画素補間処理を開始すると、先ず始めに、補間画素から見て斜めに隣接する４つの
画素での、Ｇ成分とＲＡＷ画像データとを取得する（ステップＳ３５０）。図１７（ａ）
あるいは図１７（ｂ）に示したように、補間画素がＲ画素であれば、斜めに隣接する画素
はＢ画素であるからＲＡＷ画像データはＢ成分であり、また、補間画素がＢ画素であれば
、斜めに隣接する画素はＲ画素であるからＲＡＷ画像データはＲ成分となる。

次いで、これら隣接する４つの画素での色差成分、すなわち、ＲＡＷ画像データからＧ
成分を減算した値を算出して、それらの平均を取ることによって、補間画素での色差成分
を算出する（ステップＳ３５２）。尚、本明細書中で色差成分というと、図５に示したよ
うに、通常は、Ｇ成分からＲ成分あるいはＢ成分を減算した値を用いているのに対して、
ステップＳ３５２では、色差成分の符号を変えて、ＲＡＷ画像データ（すなわちＲ成分あ
るいはＢ成分）からＧ成分を減算している。これは、後の計算で、符号を変える手間を省
くための、言わば計算の便宜によるものである。

こうして、補間画素での色差成分を算出したら、今度は、補間画素でのＧ成分を取得す
る（ステップＳ３５４）。補間画素は非Ｇ画素であるから、ＲＡＷ画像データはＧ成分で
はないが、先に図１６を用いて説明したＧ成分補間処理において、既にＧ成分が求められ
ている。

そこで、ステップＳ３５２で求めた補間画素での色差成分（ここでは、ＲＡＷ画像デー
タからＧ成分を減算した値）に、ステップＳ３５４で取得したＧ成分を加算することによ
って、補間画素についての最後の色差成分を算出することができる（ステップＳ３５６）
。

以上のようにして、非Ｇ画素での最後の色差成分が得られたら、図１８に示した非Ｇ画
素補間処理を終了して、図３のカラー画像データ生成処理に復帰する。図３に示したよう
に、カラー画像データ生成処理では、非Ｇ画素補間処理から復帰すると、Ｇ画素での欠落
成分を補間する処理（Ｇ画素補間処理）を開始する。

Ｆ．Ｇ画素補間処理：
図１９は、Ｇ画素補間処理の流れを示すフローチャートである。Ｇ画素補間処理を開始
すると、先ず始めに、補間画素のエッジ方向ｄを取得する（ステップＳ４００）。エッジ
方向は、図７を用いて前述したエッジ方向マップ生成処理において予め決定されて、エッ
ジ方向マップに設定されている。また、前述したように、エッジ方向は、全ての画素につ
いて決定されている場合と、非Ｇ画素についてのみ決定されている場合とが存在し得る。
仮に、エッジ方向が全ての画素について決定されているのであれば、ステップＳ４００で
は、エッジ方向マップを参照することによって、直ちに補間画素のエッジ方向マップを取
得することができる。これに対して、非Ｇ画素についてのみエッジ方向が決定されている
場合は、エッジ方向が決定されている周囲の画素から、補間画素でのエッジ方向を推定す
ればよい。

図２０は、周囲の画素のエッジ方向から補間画素でのエッジ方向を推定する方法を示し
た説明図である。Ｇ画素補間処理は、Ｇ画素について欠落した色成分であるＲ成分とＢ成
分とを補間する処理であるから、補間画素の周囲の画素の配置は、図２０（ａ）に示す配
置、または図２０（ｂ）に示す配置の何れかである。尚、図２０（ａ）および図２０（ｂ
）では、補間画素に斜線を付して表示している。ここでは、非Ｇ画素についてのみエッジ
方向が決定されている場合を想定しているから、補間画素の上下左右の４つの画素では、
エッジ方向が設定されていることになる。

図２０（ｃ）あるいは図２０（ｄ）には、補間画素の周囲の４つの画素に、エッジ方向
ｄが設定されている様子が例示されている。例えば周囲の４つの画素に設定されているエ
ッジ方向ｄが、図２０（ｃ）に示した配列となっていた場合、補間画素の周囲ではエッジ
方向ｄが「３」の画素よりもエッジ方向ｄが「１」の画素の方が多いから、補間画素のエ
ッジ方向ｄは、「１」と推定することが適当である。また、周囲の画素のエッジ方向ｄが
図２０（ｄ）に示した配列であれば、エッジ方向ｄが「１」の画素よりもエッジ方向ｄが
「３」の画素の方が多いから、補間画素のエッジ方向ｄは「３」と推定することが適当で
ある。

従って、補間画素の周囲で、エッジ方向ｄが「１」の画素、およびエッジ方向ｄが「３
」の画素を数えて、画素数の多い方のエッジ方向ｄを、補間画素のエッジ方向ｄとすれば
よい。あるいは、画素数を数える代わりに、補間画素の上下左右の４つの画素に設定され
ているエッジ方向ｄの総和を求めてもよい。エッジ方向ｄが「１」の画素数と、エッジ方
向ｄが「３」の画素数とが同数ずつ存在する場合、エッジ方向ｄの総和値は「８」になる
から、総和値が「８」未満であれば、エッジ方向ｄが「１」の画素が多いものと判断して
、補間画素のエッジ方向ｄを「１」とすればよい。逆に、総和値が「８」を超過していれ
ば、エッジ方向ｄが「３」の画素が多いものと判断して、補間画素のエッジ方向ｄを「３
」すればよい。また、総和値が「８」である場合（エッジ方向ｄが「１」の画素およびエ
ッジ方向ｄが「３」の画素が同数存在する場合）は、補間画素のエッジ方向ｄは「１」あ
るいは「３」の何れかとしておけばよい。

以上に説明したように、図１９のステップＳ４００では、エッジ方向マップに全画素の
エッジ方向ｄが設定されている場合であれば、補間画素のエッジ方向ｄを読み出すことに
より、また、非Ｇ画素についてのみエッジ方向ｄが設定されている場合であれば、補間画
素の周囲にある画素のエッジ方向ｄを読み出すことによって、補間画素のエッジ方向ｄを
取得する。

以上のようにして、補間画素についてのエッジ方向ｄを取得したら、そのエッジ方向ｄ
が「１」であるか否かを判断する（ステップＳ４０２）。そして、エッジ方向ｄが「１」
であった場合は（ステップＳ４０２：ｙｅｓ）、補間画素ではエッジが上下方向に走って
いると判断されるので、補間画素の上下に隣接する画素のＲ成分、Ｇ成分、およびＢ成分
を取得する（ステップＳ４０４）。図２０（ａ）あるいは図２０（ｂ）に示したように、
補間画素の上下の画素は必ず非Ｇ画素であり、非Ｇ画素の欠落した色成分は、図１６Ｇ成
分補間処理および図１８の非Ｇ画素補間処理によって既に求められているので、直ちに、
Ｒ成分、Ｇ成分、およびＢ成分を取得することができる。

一方、補間画素のエッジ方向ｄが「１」ではないと判断された場合は（ステップＳ４０
２：ｎｏ）、補間画素ではエッジが水平方向に走っていると判断されるので、補間画素の
左右に隣接する画素のＲ成分、Ｇ成分、およびＢ成分を取得する（ステップＳ４０６）。
補間画素の左右の画素も非Ｇ画素であるから、これらの画素のＲ成分、Ｇ成分、Ｂ成分を
直ちに取得することができる。

次いで、ＲＧＢの各成分を取得した画素について、色差成分を算出する（ステップＳ４
０８）。補間画素のエッジ方向ｄが「１」であった場合は（ステップＳ４０２：ｙｅｓ）
、上下に隣接する画素での色差成分が算出され、逆に、補間画素のエッジ方向ｄが「１」
でなかった場合は（ステップＳ４０２：ｎｏ）、左右に隣接する画素での色差成分が算出
されることになる。尚、図１８に示した非Ｇ画素補間処理の場合と同様に、このとき算出
する色差成分も、Ｒ成分からＧ成分を減算し、あるいはＢ成分からＧ成分を減算すること
によって、符号を変えた色差成分を算出する。こうすることで、後ほど、補間画素のＲ成
分およびＢ成分を算出する際に、符号を変える手間を省くことが可能となる。

こうして上下の画素、あるいは左右の画素での色差成分を算出したら（ステップＳ４０
８）、これらの画素での色差成分から補間することにより、今度は、補間画素での色差成
分を算出する（ステップＳ４１０）。上述したように、上下の画素あるいは左右の画素で
得られている色差成分は、符号を変えた色差成分（すなわち、Ｒ成分からＧ成分を減算し
た色差成分、およびＢ成分からＧ成分を減算した色差成分）であるから、補間によって得
られた色差成分も、符号を変えた色差成分となる。

次いで、補間画素のＧ成分を取得する（ステップＳ４１２）。補間画素はＧ画素である
から、ＲＡＷ画像データがそのままＧ成分となっている。そして、先に算出した色差成分
と、補間画素のＧ成分とに基づいて、補間画素のＲ成分およびＢ成分を算出する（ステッ
プＳ４１４）。上述したように、色差成分は符号を変えた色差成分となっているから、単
に色差成分にＧ成分を加算するだけで、Ｒ成分、Ｂ成分を算出することが可能である。

以上のようにして、全てのＧ画素について欠落している色成分（Ｒ成分およびＢ成分）
を求めたら、図１９に示すＧ画素補間処理を終了して、図３のカラー画像データ生成処理
に復帰する。

図３を用いて前述したように、Ｇ画素補間処理から復帰すると（図３のＳ１１０）、全
画素について欠落している色成分の補間が終了したことになるので、各画素について得ら
れたＲＧＢ各成分を、ＲＡＷ画像データから生成されたカラー画像データとして出力して
（ステップＳ１１２）、図３に示した本実施例のカラー画像データ生成処理を終了する。

以上、本実施例のデジタルカメラ１００で、ＲＡＷ画像データにデモザイク処理を施し
て、カラー画像データを生成する処理について、詳しく説明した。かかるカラー画像デー
タ生成処理では、デモザイク処理に先立ってエッジ方向マップを生成する。このとき、上
下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈの各々についての変化量に着目
することで、異なる２種類の色差成分（Ｇ成分とＲ成分との差に対応する色差成分、およ
びＧ成分とＢ成分との差に対応する色差成分）を用いてエッジ方向を検出することが可能
となる。その結果、規模の小さなエッジも精度良く検出することができるようになり、正
確なエッジ方向マップを生成することが可能となる。そして、続いて行うデモザイク処理
では、正確なエッジ方向マップに従って、欠落した色成分を補間することで、適切に補間
することが可能となる。

しかも、エッジ方向マップを生成する処理も、欠落した色成分を補間する処理も、決し
て複雑な処理ではなく、迅速に実行可能である。その結果、ＲＧＢ各成分がモザイク状に
組み合わされたＲＡＷ画像データから、適切なカラー画像データを迅速に生成することが
可能となる。

以上、本実施例のデジタルカメラ１００内で、ＲＡＷ画像データからカラー画像データ
を生成する処理について説明したが、本発明は上記すべての実施例に限られるものではな
く、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

１０…光学系、２０…撮像部、２２…カラーフィルタアレイ、２４…撮像板、３０…画
像処理装置、４０…外部出力端子、５０…外部記録媒体、１００…デジタルカメラ。

Claims (10)

1. Ｒ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像デ
   ータを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素に
   Ｒ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成する画像処理装置であっ
   て、
   前記モザイク画像データは、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交互に
   並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画素列
   と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記Ｇ成
   分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成さ
   れた画像データであり、
   前記モザイク画像データの前記画素列において、該画素列内の所定の画素での前記Ｇ成
   分と他の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色
   差成分を、算出する縦方向色差成分算出手段と、
   前記モザイク画像データの前記画素行において、該画素行内の所定の画素での前記Ｇ成
   分と他の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色
   差成分を、算出する横方向色差成分算出手段と、
   前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択
   し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
   色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定するエッジ方向
   決定手段と、
   前記モザイク画像データの画素について該画素に設定されていない色成分である欠落色
   成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記色
   成分に基づいて補間する欠落色成分補間手段と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記エッジ方向決定手段は、
   前記エッジ方向を決定しようとする画素を含んだ前記画素列での前記縦方向色差成分と
   、該画素列に隣接する画素列での該縦方向色差成分とに基づいて、該画素での縦方向色差
   成分の変化量を算出する縦方向変化量算出手段と、
   前記エッジ方向を決定しようとする画素を含んだ前記画素行での前記横方向色差成分と
   、該画素行に隣接する画素行での該横方向色差成分とに基づいて、該画素での横方向色差
   成分の変化量を算出する横方向変化量算出手段と
   を備える画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記エッジ方向決定手段は、前記モザイク画像データ中で前記Ｒ成分が設定されている
   画素、および前記Ｂ成分が設定されている画素についてのみ、前記エッジ方向を決定する
   手段である画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記エッジ方向決定手段は、
   前記縦方向色差成分の変化量が前記横方向色差成分の変化量よりも大きい場合には、前
   記エッジ方向が横方向であると決定し、
   前記縦方向色差成分の変化量が前記横方向色差成分の変化量よりも小さい場合には、前
   記エッジ方向が縦方向であると決定し、
   前記縦方向色差成分の変化量と前記横方向色差成分の変化量とが等しい場合には、前記
   エッジ方向を縦方向または横方向の何れかに決定する手段である画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記欠落色成分補間手段は、前記欠落色成分として前記Ｇ成分を補間する場合には、補
   間しようとする画素である補間画素の上下に隣接する一組の画素、または該補間画素の左
   右に隣接する一組の画素の何れかの画素の組で得られた前記色成分に基づいて、該補間画
   素での該Ｇ成分を補間する手段である画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記欠落色成分補間手段は、
   前記補間画素の上下に隣接する一組の画素で得られた前記縦方向色差成分、または該補
   間画素の左右に隣接する一組の画素で得られた前記横方向色差成分の何れかに基づいて、
   前記補間画素での該縦方向色差成分または該横方向色差成分を補間する色差成分補間手段
   と、
   前記補間画素について得られた前記縦方向色差成分または前記横方向色差成分と、該補
   間画素に設定された前記モザイク画像データの前記色成分とに基づいて、該補間画素で前
   記Ｇ成分を算出するＧ成分算出手段と
   を備える画像処理装置。
7. 請求項５に記載の画像処理装置であって、
   前記欠落色成分補間手段は、前記モザイク画像データに前記Ｇ成分が設定されていない
   全ての画素について該Ｇ成分を補間した後、該補間したＧ成分と該モザイク画像データに
   設定された前記色成分とを用いて、前記Ｒ成分および前記Ｂ成分を補間する手段である画
   像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記エッジ方向決定手段は、前記モザイク画像データの中で少なくとも前記Ｒ成分また
   は前記Ｂ成分が設定された全ての画素についての前記エッジ方向を決定することにより、
   エッジ方向マップを生成する手段であり、
   前記欠落色成分補間手段は、前記エッジ方向マップに記憶されている前記エッジ方向を
   参照することにより、前記欠落色成分を補間する手段である画像処理装置。
9. 光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
   であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
   ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
   る画像処理方法であって、
   前記モザイク画像データとして、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交
   互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画
   素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記
   Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
   成された画像データを受け取る第１の工程と、
   前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
   、該画素列の各画素について算出する第２の工程と、
   前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
   、該画素行の各画素について算出する第３の工程と、
   前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択
   し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
   色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第４の工程
   と、
   前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
   色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
   色成分に基づいて補間する第５の工程と
   を備える画像処理方法。
10. 光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
    であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
    ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
    る方法を、コンピュータを用いて実現するためのプログラムであって、
    前記モザイク画像データとして、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交
    互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画
    素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記
    Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
    成された画像データを受け取る第１の機能と、
    前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
    色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
    、該画素列の各画素について算出する第２の機能と、
    前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
    色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
    、該画素行の各画素について算出する第３の機能と、
    前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択
    し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
    色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第４の機能
    と、
    前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
    色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
    色成分に基づいて補間する第５の機能と
    を実現させるプログラム。

Images