JP2001275126A - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

補間処理装置および補間処理プログラムを記録した記録媒体

Info

Publication number
JP2001275126A
JP2001275126A JP2000276212A JP2000276212A JP2001275126A JP 2001275126 A JP2001275126 A JP 2001275126A JP 2000276212 A JP2000276212 A JP 2000276212A JP 2000276212 A JP2000276212 A JP 2000276212A JP 2001275126 A JP2001275126 A JP 2001275126A
Authority
JP
Japan
Prior art keywords
similarity
color
pixel
interpolation
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000276212A
Other languages
English (en)
Other versions
JP4415468B2 (ja
JP2001275126A5 (ja
Inventor
Kenichi Ishiga
健一 石賀
Setsuko Chin
浙宏 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2000276212A priority Critical patent/JP4415468B2/ja
Publication of JP2001275126A publication Critical patent/JP2001275126A/ja
Publication of JP2001275126A5 publication Critical patent/JP2001275126A5/ja
Application granted granted Critical
Publication of JP4415468B2 publication Critical patent/JP4415468B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 各々の画素が２つのサブピクセルに分割され
て成る撮像素子によって生成される画像データに対し、
各々のサブピクセルに欠落する色成分や輝度成分に相当
する補間値を決める補間処理を精度良く行える補間処理
装置および補間処理プログラムを記録した記録媒体を提
供することを目的とする。 【解決手段】 主要類似性判定手段は、各々の画素を構
成する２つのサブピクセルから出力される色情報をひと
まとめにした値を当該画素の色情報に相当する画素出力
色情報とし、少なくとも２つの方向に対する補間対象サ
ブピクセルの類似性の強弱を、該画素出力色情報を用い
て判定し、補間値算出手段は、主要類似性判定手段によ
って判定された類似性の強弱に応じて、補間対象サブピ
クセルの補間値を算出する際に用いるサブピクセルの色
情報を選択し、該色情報を用いて補間対象サブピクセル
の補間値を算出する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、各々の画素が２つ
のサブピクセルに分割されて成る撮像素子によって生成
される画像データに対し、各々のサブピクセルに欠落す
る色成分や輝度成分に相当する補間値を決める補間処理
を行う補間処理装置および該補間処理をコンピュータで
実現させるための補間処理プログラムを記録したコンピ
ュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】電子カメラには、３色（ＲＧＢ：赤・緑
・青）の色成分に相当するカラーフィルタがベイア配列
された撮像素子によって、カラーの画像データを生成す
るものがある。このような電子カメラでは、撮像素子の
個々の画素から１つの色成分の色情報しか出力されない
ので、画素単位で全ての色成分の色情報を得るために、
補間処理を行う必要がある。
【０００３】そこで、本出願人は、高周波成分を含む画
像に対しても、精度良く補間処理が行える発明を特願平
１１−１４５２７３号、特願平１１−１４５４７３号と
して出願している。これらの発明によれば、撮像素子の
分解能の限界である画素ピッチで色が変化する画像に対
しても、精度良く補間処理を行うことできるため、高精
細な画像が得られる。
【０００４】
【発明が解決しようとする課題】ところで、図２８
（１）のように色成分がベイア配列された撮像素子の分
解能は、各々の画素を図２８（２）のように２つの領域
に分割し、各々の領域から個別に色情報を取得すること
によって向上する。なお、以下では、１つの画素が２分
割された各々の領域を「サブピクセル」と称し、図２８
（２）のような色成分の配列を「サブピクセル型ベイア
配列」と称する。
【０００５】図２８（２）のようにサブピクセル型ベイ
ア配列された撮像素子を備えた電子カメラでは、サブピ
クセル単位で補間処理を行うことによって、更に高精細
な画像を得ることが可能である。しかし、サブピクセル
型ベイア配列では、サブピクセル単位で色成分を捕らえ
た場合、任意のサブピクセルを起点とする横方向の色成
分の配列は非対称である。そのため、サブピクセル型ベ
イア配列された撮像素子によって生成された画像データ
には、上述した発明を容易に適用することができない。
【０００６】そこで、請求項１ないし請求項５８に記載
の発明は、各々の画素が２つのサブピクセルに分割され
て成る撮像素子によって生成される画像データに対し
て、サブピクセル単位で精度良く補間処理が行える補間
処理装置を提供することを目的とし、請求項５９ないし
請求項６７に記載の発明は、このような画像データに対
して、サブピクセル単位で精度良く補間処理が行える補
間処理プログラムを記録した記録媒体を提供することを
目的とする。
【０００７】
【課題を解決するための手段】請求項１に記載の補間処
理装置は、２次元配列された複数の画素の１画素につき
１つの色成分が対応付けられ、各々の画素が２つのサブ
ピクセルに分割されて成る撮像素子によって生成される
画像データに対し、各々のサブピクセルに欠落する色成
分の色情報に相当する補間値を決める処理を行う補間処
理装置において、各々の画素を構成する２つのサブピク
セルから出力される色情報をひとまとめにした値を当該
画素の色情報に相当する画素出力色情報とし、少なくと
も２つの方向に対する補間対象サブピクセルの類似性の
強弱を、該画素出力色情報を用いて判定する主要類似性
判定手段と、前記主要類似性判定手段によって判定され
た類似性の強弱に応じて、補間対象サブピクセルの補間
値を算出する際に用いるサブピクセルの色情報を選択
し、該色情報を用いて補間対象サブピクセルの補間値を
算出する補間値算出手段とを備えたことを特徴とする。
【０００８】すなわち、請求項１に記載の発明は、画素
ピッチでの類似性の強弱の判定が可能である。なお、請
求項１に記載の発明では、類似性の強弱が判定される少
なくとも２つの方向として、縦方向や横方向の他に、斜
め方向を適用することが可能である。請求項２に記載の
補間処理装置は、請求項１に記載の補間処理装置におい
て、サブピクセルから出力される色情報をサブピクセル
出力色情報とし、少なくとも２つの方向に対する補間対
象サブピクセルの類似性の強弱を、該サブピクセル出力
色情報を用いて判定する微細部類似性判定手段を備え、
前記補間値算出手段は、前記主要類似性判定手段と前記
微細部類似性判定手段とによって判定された類似性の強
弱に応じて、補間対象サブピクセルの補間値を算出する
際に用いるサブピクセルの色情報を選択し、該色情報を
用いて補間対象サブピクセルの補間値を算出することを
特徴とする。
【０００９】ところで、各々の画素が２つのサブピクセ
ルに分割されて成る撮像素子によって生成される画像デ
ータでは画素ピッチでの類似性の強弱の判定によって類
似性の強い方向を大まかに判断することが可能である
が、類似性の強い方向を詳細に判断するには、サブピク
セルピッチでの類似性の強弱を判定することが望まし
い。請求項２に記載の発明では、微細部類似性判定手段
は、サブピクセル出力色情報を用いて補間対象サブピク
セルの類似性の強弱を判定するので、サブピクセルピッ
チでの類似性の強弱の判定が可能である。
【００１０】請求項３に記載の補間処理装置は、請求項
２に記載の補間処理装置において、前記主要類似性判定
手段は、補間対象サブピクセルが属する画素について対
称な距離に位置する画素の画素出力色情報を用い、前記
類似性の強弱を判定し、前記微細部類似性判定手段は、
補間対象サブピクセルについて非対称な距離に位置する
サブピクセルサブピクセル出力色情報を用い、前記類似
性の強弱を判定することを特徴とする。
【００１１】すなわち、請求項３に記載の発明では、主
要類似性判定手段は、補間対象サブピクセルが属する画
素について対称な距離に位置する画素の画素出力色情報
を用いて類似性の強弱を判定することによって、画素ピ
ッチでの類似性の強弱の判定を実現できる。ところで、
各々の画素が２つのサブピクセルに分割されて成る撮像
素子によって生成される画像データでは、例えば、各々
の画素が縦方向の直線に沿って分割された場合、任意の
サブピクセルを起点とする横方向の色成分の配列は非対
称となる。
【００１２】請求項３に記載の発明では、任意の方向に
ついて、色成分の配列が非対称であっても、微細部類似
性判定手段は、補間対象サブピクセルについて非対称な
距離に位置するサブピクセルのサブピクセル出力色情報
を用いて類似性の強弱を判定することによって、サブピ
クセルピッチでの類似性の強弱の判定を実現できる。請
求項４に記載の補間処理装置は、２次元配列された複数
の画素の１画素につき１つの色成分が対応付けられ、各
々の画素が２つのサブピクセルに分割されて成る撮像素
子によって生成される画像データに対し、各々のサブピ
クセルに欠落する色成分の色情報に相当する補間値を決
める処理を行う補間処理装置において、補間対象サブピ
クセルについて対称な距離に位置する色情報を用い、少
なくとも２つの方向に対する補間対象サブピクセルの類
似性の強弱を判定する主要類似性判定手段と、補間対象
サブピクセルについて非対称な距離に位置する色情報を
用い、少なくとも２つの方向に対する補間対象サブピク
セルの類似性の強弱を判定する微細部類似性判定手段
と、前記主要類似性判定手段と前記微細部類似性判定手
段とによって判定された類似性の強弱に応じて、補間対
象サブピクセルの補間値を算出する際に用いるサブピク
セルの色情報を選択し、該色情報を用いて補間対象サブ
ピクセルの補間値を算出する補間値算出手段とを備えた
ことを特徴とする。
【００１３】請求項５に記載の補間処理装置は、請求項
４に記載の補間処理装置において、前記主要類似性判定
手段は、前記対象な距離に位置する色情報として、補間
対象サブピクセルが属する画素について対象な距離に位
置する画素を構成する２つのサブピクセルから出力され
る色情報をひとまとめにした値を用い、前記微細部類似
性判定手段は、前記非対称な距離に位置する色情報とし
て、補間対象サブピクセルについて非対称な距離に位置
するサブピクセルから出力される色情報を用いることを
特徴とする。
【００１４】請求項６に記載の補間処理装置は、請求項
４に記載の補間処理装置において、前記主要類似性判定
手段は、前記対象な距離に位置する色情報として、補間
対象サブピクセルについて対称な距離に位置するサブピ
クセルから出力される色情報を用い、前記微細部類似性
判定手段は、前記非対称な距離に位置する色情報とし
て、補間対象サブピクセルについて非対称な距離に位置
するサブピクセルから出力される色情報を用いることを
特徴とする。
【００１５】請求項７に記載の補間処理装置は、請求項
２ないし請求項６の何れか１項に記載の補間処理装置に
おいて、前記微細部類似性判定手段は、前記主要類似性
判定手段による判定の結果として類似性の強い方向が不
明であると判断された場合に、類似性の強弱を判定する
ことを特徴とする。ところで、各々の画素が２つのサブ
ピクセルに分割されて成る撮像素子によって生成される
画像データでは、画素ピッチでの類似性の強弱の判定に
より類似性の強い方向が判断できない場合であっても、
サブピクセルピッチでの類似性の強弱の判定により類似
性の強い方向を判断することが可能である。
【００１６】請求項７に記載の発明では、微細部類似性
判定手段によるサブピクセルピッチでの類似性の強弱の
判定によって、主要類似性判定手段による画素ピッチで
の類似性の強弱の判定が補えるため、主要類似性判定手
段による判定の結果として類似性の強い方向が不明であ
ると判断された場合にのみ、微細部類似性判定手段によ
って類似性の強弱を判定しても、類似性の強弱の判定の
精度が低下することがない。
【００１７】請求項８に記載の補間処理装置は、請求項
１ないし請求項７の何れか１項に記載の補間処理装置に
おいて、前記画像データが複数の色成分から成る表色系
で示される場合、前記主要類似性判定手段は、補間対象
サブピクセルにおける少なくとも２つの方向に対する類
似度を、複数の色成分の色情報を用いて算出し、該類似
度に基づき少なくとも２つの方向に対する補間対象サブ
ピクセルの類似性の強弱を判定することを特徴とする。
【００１８】請求項９に記載の補間処理装置は、請求項
８に記載の補間処理装置において、前記画像データが、
第１〜第３の色成分から成る表色系で示され、第１色成
分が第２色成分および第３色成分に比べて空間周波数が
高く、第１色成分が欠落するサブピクセルに第１色成分
の色情報に相当する補間値を決める場合、前記主要類似
性判定手段は、（１）前記第１色成分の色情報と前記第
２色成分の色情報とを用いた類似度成分と、（２）前記
第１色成分の色情報と前記第３色成分の色情報とを用い
た類似度成分と、（３）前記第１色成分の色情報のみを
用いた類似度成分と、（４）前記第２色成分の色情報の
みを用いた類似度成分と、（５）前記第３色成分の色情
報のみを用いた類似度成分との複数の類似度成分のう
ち、第１〜第３色成分の色情報が含まれる組み合わせを
利用して、補間対象サブピクセルにおける少なくとも２
つの方向に対する類似度を算出することを特徴とする。
【００１９】請求項１０に記載の補間処理装置は、請求
項９に記載の補間処理装置において、前記主要類似性判
定手段は、前記複数の類似度成分のうち、前記組み合わ
せに属する類似度成分を方向別に加重加算して、補間対
象サブピクセルにおける少なくとも２つの方向に対する
類似度を算出することを特徴とする。
【００２０】請求項１１に記載の補間処理装置は、請求
項１ないし請求項７の何れか１項に記載の補間処理装置
において、前記画像データが複数の色成分から成る表色
系で示される場合、前記主要類似性判定手段は、補間対
象サブピクセルの色情報とその近傍に存在する色情報と
から選ばれる複数の色情報に基づき、（１）異なる色成
分の色情報を用いて算出される異色間類似度と、（２）
同じ色成分の色情報を用いて算出される同色間類似度と
の２種類の類似度を算出し、補間対象サブピクセルが属
する局所的な領域における画像の特徴に応じて、どちら
か一方の類似度に切り換える、もしくは、各類似度を加
重加算するときの加重比率を切り換えることにより、補
間対象サブピクセルにおける少なくとも２つの方向に対
する類似度を算出し、該類似度に基づき少なくとも１方
向に対する補間対象サブピクセルの類似性の強弱を判定
することを特徴とする。
【００２１】請求項１２に記載の補間処理装置は、請求
項１１に記載の補間処理装置において、前記主要類似性
判定手段は、前記異色間類似度を前記同色間類似度より
も短い距離間隔で存在する色情報を用いて算出すること
を特徴とする。請求項１３に記載の補間処理装置は、請
求項１１または請求項１２に記載の補間処理装置におい
て、前記画像データが、第１〜第３の色成分から成る表
色系で示され、第１色成分が第２色成分および第３色成
分に比べて空間周波数が高く、第１色成分が欠落するサ
ブピクセルに第１色成分の色情報に相当する補間値を決
める場合、前記主要類似性判定手段は、前記異色間類似
度として、（１）前記第１色成分の色情報と前記第２色
成分の色情報とから成る異色間類似度成分と、（２）前
記第１色成分の色情報と前記第３色成分の色情報とから
成る異色間類似度成分との少なくとも一方を含む類似度
を算出し、前記同色間類似度として、（１）前記第１色
成分の色情報のみから成る同色間類似度成分と、（２）
前記第２色成分の色情報のみから成る同色間類似度成分
と、（３）前記第３色成分の色情報のみから成る同色間
類似度成分との少なくとも１つを含む類似度を算出する
ことを特徴とする。
【００２２】請求項１４に記載の補間処理装置は、請求
項１１に記載の補間処理装置において、前記主要類似性
判定手段は、補間対象サブピクセルが属する局所的な領
域における画像の特徴として色彩に関する情報を用い、
該色彩に関する情報を基準に、前記局所的な領域におけ
る画像が無彩色部であるか彩色部であるかを判別し、該
局所的な領域における画像が無彩色部である場合には、
補間対象サブピクセルにおける少なくとも２つの方向に
対する類似度として前記異色間類似度を選択する、また
は、該異色間類似度と前記同色間類似度とを加重加算す
る際の該異色間類似度の加重比率を該同色間類似度の加
重比率よりも大きくし、該局所的な領域における画像が
彩色部である場合には、補間対象サブピクセルにおける
少なくとも２つの方向に対する類似度として該同色間類
似度を選択する、または、該異色間類似度と前記同色間
類似度とを加重加算する際の該同色間類似度の加重比率
を該異色間類似度の加重比率よりも大きくすることを特
徴とする。
【００２３】請求項１５に記載の補間処理装置は、請求
項１４に記載の補間処置装置において、前記主要類似性
判定手段は、前記色彩に関する情報として前記異色間類
似度を用いることを特徴とする。請求項１６に記載の補
間処理装置は、請求項１４または請求項１５に記載の補
間処理装置において、前記主要類似性判定手段は、前記
異色間類似度が、少なくとも一方向に対して強い類似性
を示す場合、前記局所的な領域における画像が無彩色部
であると判断し、その他の場合、該局所的な領域におけ
る画像が彩色部であると判断することを特徴とする。
【００２４】請求項１７に記載の補間処理装置は、請求
項８ないし請求項１６の何れか１項に記載の補間処理装
置において、前記主要類似性判定手段は、補間対象サブ
ピクセルにおける少なくとも２つの方向に対する類似度
として、補間対象サブピクセルのみならず補間対象サブ
ピクセルの周辺のサブピクセルに対して算出した少なく
とも２つの方向に対する類似度を用いることを特徴とす
る。
【００２５】ところで、補間対象サブピクセルと周辺の
サブピクセルとの間には、何らかの関連（例えば、色情
報の変化の連続性等）がある場合が多い。請求項１７に
記載の発明では、補間対象サブピクセルにおける類似度
だけでなく、周辺のサブピクセルにおける類似度を合わ
せて用いることによって、画素ピッチでの類似性の強弱
の判定に、補間対象サブピクセルと周辺のサブピクセル
との関連を反映されることができる。
【００２６】請求項１８に記載の補間処理装置は、請求
項８または請求項１１に記載の補間処理装置において、
前記主要類似性判定手段は、各方向間の類似度の差異が
所定の閾値よりも小さい場合、各方向の類似性が同程度
であると判定することを特徴とする。そのため、請求項
１８に記載の発明によれば、類似性を判定する際のノイ
ズの影響を低減することができる。
【００２７】請求項１９に記載の補間処理装置は、請求
項２ないし請求項７の何れか１項に記載の補間処理装置
において、前記微細部類似性判定手段は、補間対象サブ
ピクセルにおける少なくとも２つの方向に対する類似度
を、１種類以上の色成分の色情報を用いて算出して、該
類似度に基づき少なくとも２つの方向に対する補間対象
サブピクセルの類似性の強弱を判定することを特徴とす
る。
【００２８】すなわち、請求項１９に記載の発明は、特
定の１種類の色成分の色情報や複数種類の色成分の色情
報を用いて算出された類似度によって、サブピクセルピ
ッチでの類似性の強弱を判定する。
【００２９】請求項２０に記載の補間処理装置は、請求
項１９に記載の補間処理装置において、１画素につき第
１〜第ｎ（ｎ≧２）の色成分の何れか１つの色成分が対
応付けられ、第１色成分よりも空間周波数が低い第２色
成分が対応付けられた画素を構成するサブピクセルに第
１色成分の補間値を補う場合、前記微細部類似性判定手
段は、（１）第２色成分の色情報を出力するサブピクセ
ルのうち、最短距離に位置するサブピクセル間の第２色
成分の色情報の差異を示す類似度成分と、（２）第１色
成分の色情報を出力するサブピクセルのうち、最短距離
に位置するサブピクセル間の第１色成分の色情報の差異
を示す類似度成分と、（３）第１色成分の色情報を出力
するサブピクセルと第２色成分の色情報を出力するサブ
ピクセルとのうち、最短距離に位置するサブピクセルの
第１色成分と第２色成分との色情報の差異を示す類似度
成分との少なくとも１つの類似度成分を用いて、補間対
象サブピクセルにおける少なくとも２つの方向に対する
類似度を算出することを特徴とする。
【００３０】すなわち、請求項２０に記載の発明では、
複数種類の類似度成分を用いることによって、補間対象
サブピクセルにおける少なくとも２つの方向に対する類
似度に、複数種類の色成分の色情報を反映させることが
できる。請求項２１に記載の補間処理装置は、請求項２
０に記載の補間処理装置において、前記微細部類似性判
定手段は、前記各々の類似度成分を各方向について加重
加算して、補間対象サブピクセルにおける少なくとも２
つの方向に対する類似度を算出することを特徴とする。
【００３１】すなわち、請求項２１に記載の発明では、
補間対象サブピクセルにおける少なくとも２つの方向に
対する類似度に、複数種類の色成分の色情報を的確に反
映させることができる。請求項２２に記載の補間処理装
置は、請求項２０または請求項２１に記載の補間処理装
置において、前記微細部類似性判定手段は、補間対象サ
ブピクセルにおける各方向に対する類似度を算出する際
に、前記各々の類似度成分をサブピクセル間の距離に応
じて規格化して用いることを特徴とする。
【００３２】ところで、各々の画素が２つのサブピクセ
ルに分割されて成る撮像素子によって生成される画像デ
ータでは、「第２色成分の色情報を出力するサブピクセ
ルの最短距離」と「第１色成分の色情報を出力するサブ
ピクセルの最短距離」と「第１色成分の色情報を出力す
るサブピクセルと第２色成分の色情報を出力するサブピ
クセルとの最短距離」とが異なる場合が多い。このよう
な最短距離の相違は、各々の類似度成分の値に影響を及
ぼす。
【００３３】請求項２２に記載の発明では、各方向に対
する類似度を算出する際に、各々の類似度成分をサブピ
クセル間の距離に応じて規格化して用いることによっ
て、最短距離の相違に影響されることなく、適切な類似
度を算出することができる。請求項２３に記載の補間処
理装置は、請求項２ないし請求項７の何れか１項に記載
の補間処理装置において、前記画像データが複数の色成
分から成る表色系で示される場合、前記微細部類似性判
定手段は、補間対象サブピクセルの色情報とその近傍に
存在する色情報とから選ばれる複数の色情報に基づき、
（１）異なる色成分の色情報を用いて算出される異色間
類似度と、（２）同じ色成分の色情報を用いて算出され
る同色間類似度との２種類の類似度を算出し、補間対象
サブピクセルが属する局所的な領域における画像の特徴
に応じて、どちらか一方の類似度に切り換える、もしく
は、各類似度を加重加算するときの加重比率を切り換え
ることにより、補間対象サブピクセルにおける少なくと
も２つの方向に対する類似度を算出し、該類似度に基づ
き少なくとも１方向に対する補間対象サブピクセルの類
似性の強弱を判定することを特徴とする。
【００３４】請求項２４に記載の補間処理装置は、請求
項２３に記載の補間処理装置において、前記微細部類似
性判定手段は、前記異色間類似度を前記同色間類似度よ
りも短い距離間隔で存在する色情報を用いて算出するこ
とを特徴とする。
【００３５】請求項２５に記載の補間処理装置は、請求
項１９ないし請求項２４の何れか１項に記載の補間処理
装置において、前記微細部類似性判定手段は、補間対象
サブピクセルにおける少なくとも２つの方向に対する類
似度として、補間対象サブピクセルのみならず補間対象
サブピクセルの周辺のサブピクセルに対して算出した少
なくとも２つの方向に対する類似度を用いることを特徴
とする。
【００３６】請求項２５に記載の発明では、補間対象サ
ブピクセルにおける類似度だけでなく、周辺のサブピク
セルにおける類似度を合わせて用いることによって、サ
ブピクセルピッチでの類似性の強弱の判定に、補間対象
サブピクセルと周辺のサブピクセルとの関連を反映させ
ることができる。請求項２６に記載の補間処理装置は、
請求項１９または請求項２３に記載の補間処理装置にお
いて、前記微細部類似性判定手段は、各方向間の類似度
の差異が所定の閾値よりも小さい場合、各方向の類似性
が同程度であると判定することを特徴とする。
【００３７】そのため、請求項２６に記載の発明によれ
ば、類似性を判定する際のノイズの影響を低減すること
ができる。請求項２７に記載の補間処理装置は、第１〜
第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々
の画素に１種類の色成分が対応付けられ、各々の画素が
２つのサブピクセルに分割されて成る撮像素子によって
生成される画像データに対し、第１色成分が欠落するサ
ブピクセルに第１色成分の色情報に相当する補間値を決
める処理を行う補間処理装置において、補間対象サブピ
クセルが属する局所的領域に存在する色情報を用いて、
少なくとも、（１）補間対象サブピクセルに関する第１
色成分の局所的な平均情報と、（２）補間対象サブピク
セルに関する２種類以上の色成分の局所的な変曲情報と
で構成される補間値を算出する補間値算出手段を備えた
ことを特徴とする。
【００３８】すなわち、請求項２７に記載の発明は、
「補間対象サブピクセルに関する第１色成分の局所的な
平均情報」を、「補間対象サブピクセルに関する２種類
以上の色成分の局所的な変曲情報」で補正することによ
って、補間値を算出する。なお、請求項２７において、
「補間対象サブピクセルに関する第１色成分の局所的な
平均情報」とは、補間対象サブピクセルが属する局所的
領域に存在する第１色成分の色情報の平均値や、補間対
象サブピクセルが属する局所的領域に存在する第１色成
分の色情報の範囲に収まる値を示す。また、「補間対象
サブピクセルに関する２種類以上の色成分の局所的な変
曲情報」とは、補間対象サブピクセルが属する局所的領
域に存在する２種類以上の色成分の色情報がどのように
変化するかを示す情報であり、各色成分の２次微分やさ
らに高次の微分などの算出により凹凸に関する構造情報
が反映された量である。
【００３９】請求項２８に記載の補間処理装置は、請求
項２７に記載の補間処理装置において、前記補間値算出
手段は、前記２種類以上の色成分の局所的な変曲情報と
して、（１）補間対象サブピクセルと同一の色成分によ
る局所的な変曲情報と、（２）補間対象サブピクセルと
は異なる色成分による局所的な変曲情報とを含む局所的
な変曲情報を算出することを特徴とする。
【００４０】すなわち、請求項２８に記載の発明は、
「補間対象サブピクセルに関する第１色成分の局所的な
平均情報」を、「補間対象サブピクセルと同一の色成分
による局所的な変曲情報」および「補間対象サブピクセ
ルとは異なる色成分による局所的な変曲情報」で補正す
ることによって、補間値を算出する。なお、請求項２８
において、「補間対象サブピクセルと同一の色成分（ま
たは、補間対象サブピクセルとは異なる色成分）による
局所的な変曲情報」とは、補間対象サブピクセルが属す
る局所的領域に存在する補間対象サブピクセルと同一の
色成分（または、補間対象サブピクセルとは異なる色成
分）の色情報がどのように変化するかを示す情報であ
り、その色成分の２次微分やさらに高次の微分などの算
出により凹凸に関する構造情報が反映された量である。
【００４１】請求項２９に記載の補間処理装置は、第１
〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各
々の画素に１種類の色成分が対応付けられ、各々の画素
が２つのサブピクセルに分割されて成る撮像素子によっ
て生成される画像データに対し、第１色成分が欠落する
サブピクセルに第１色成分の色情報に相当する補間値を
決める処理を行う補間処理装置において、補間対象サブ
ピクセルが属する局所的領域に存在する色情報を用い
て、少なくとも、（１）補間対象サブピクセルに関する
第１色成分の局所的な平均情報と、（２）補間対象サブ
ピクセルとは異なる色成分による局所的な変曲情報とで
構成される補間値を算出する補間値算出手段を備えたこ
とを特徴とする。
【００４２】すなわち、請求項２９に記載の発明は、
「補間対象サブピクセルに関する第１色成分の局所的な
平均情報」を、「補間対象サブピクセルとは異なる色成
分による局所的な変曲情報」で補正することによって、
補間値を算出する。なお、請求項２９において、「補間
対象サブピクセルとは異なる色成分による局所的な変曲
情報」とは、補間対象サブピクセルが属する局所的領域
に存在する補間対象サブピクセルとは異なる色成分の色
情報がどのように変化するかを示す情報であり、その色
成分の２次微分やさらに高次の微分などの算出により凹
凸に関する構造情報が反映された量である。
【００４３】請求項３０に記載の補間処理装置は、第１
〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各
々の画素に１種類の色成分が対応付けられ、各々の画素
が２つのサブピクセルに分割されて成る撮像素子によっ
て生成される画像データに対し、第１色成分が欠落する
サブピクセルに第１色成分の色情報に相当する補間値を
決める処理を行う補間処理装置において、補間対象サブ
ピクセルが属する局所的領域に存在する色情報を用い
て、少なくとも、（１）補間対象サブピクセルに関する
第１色成分の局所的な平均情報と、（２）補間対象サブ
ピクセルに関する第１色成分の局所的な変曲情報とで構
成される補間値を算出する補間値算出手段を備えたこと
を特徴とする。
【００４４】すなわち、請求項３０に記載の発明は、
「補間対象サブピクセルに関する第１色成分の局所的な
平均情報」を、「補間対象サブピクセルに関する第１色
成分の局所的な変曲情報」で補正することによって、補
間値を算出する。なお、請求項３０において、「補間対
象サブピクセルに関する第１色成分の局所的な変曲情
報」とは、補間対象サブピクセルが属する局所的領域に
存在する第１色成分の色情報がどのように変化するかを
示す情報であり、その色成分の２次微分やさらに高次の
微分などの算出により凹凸に関する構造情報が反映され
た量である。
【００４５】請求項３１に記載の補間処理装置は、請求
項２７ないし請求項２９の何れか１項に記載の補間処理
装置において、補間対象サブピクセルと第１色成分の色
情報が存在するサブピクセルとを結ぶ少なくとも２つの
方向に対し、補間対象サブピクセルとの類似性の強弱を
判定する第１の類似性判定手段と、前記第１の類似性判
定手段によって類似性の強弱が判定される方向とは異な
る少なくとも２つの方向に対し、補間対象サブピクセル
との類似性の強弱を判定する第２の類似性判定手段とを
備え、前記補間値算出手段は、前記第１色成分の局所的
な平均情報を算出する際に用いる色情報が存在するサブ
ピクセルの方向を、前記第１の類似性判定手段による判
定結果に基づいて選択し、前記局所的な変曲情報が、
（１）「単一色成分で構成され、前記第１の類似性判定
手段で類似性の強弱の判定対象となる方向について方向
性を有する局所的な変曲情報」である場合、該局所的な
変曲情報を算出する際に用いる色情報が存在するサブピ
クセルの方向を該第１の類似性判定手段による判定結果
に基づいて選択し、（２）「単一色成分で構成され、前
記第２の類似性判定手段で類似性の強弱の判定対象とな
る方向について方向性を有する局所的な変曲情報」であ
る場合、該局所的な変曲情報を算出する際に用いる色情
報が存在するサブピクセルの方向を該第２の類似性判定
手段による判定結果に基づいて選択することを特徴とす
る。
【００４６】すなわち、請求項３１に記載の発明では、
請求項２７に記載の「補間対象サブピクセルに関する２
種類以上の色成分の局所的な変曲情報」、請求項２８ま
たは請求項２９に記載の「補間対象サブピクセルと同一
の色成分による局所的な変曲情報」、「補間対象サブピ
クセルとは異なる色成分による局所的な変曲情報」のう
ち、「単一色成分で構成され、第１の類似性判定手段で
類似性の強弱の判定対象となる方向について方向性を有
する局所的な変曲情報」に相当するものについては、第
１の類似性判定手段による判定結果に基づいて選択した
方向に存在するサブピクセルの色情報を用いて算出し、
「単一色成分で構成され、第２の類似性判定手段で類似
性の強弱の判定対象となる方向について方向性を有する
局所的な変曲情報」に相当するものについては、第２の
類似性判定手段による判定結果に基づいて選択した方向
に存在するサブピクセルの色情報を用いて算出すること
になる。
【００４７】なお、各々の局所的な変曲情報が、如何な
る方向に方向性を有するかの詳細は、「発明の実施の形
態」において定義する。このように、請求項３１に記載
の発明によれば、局所的な変曲情報を算出する際に用い
る色情報を補間対象サブピクセルとの類似性に応じて選
択することができる。また、第１色成分の局所的な平均
情報を算出する際に用いる色情報についても、補間対象
サブピクセルとの類似性に応じて選択することができ
る。
【００４８】請求項３２に記載の補間処理装置は、第１
〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各
々の画素に１種類の色成分が対応付けられ、各々の画素
が２つのサブピクセルに分割されて成る撮像素子によっ
て生成される画像データに対し、第１色成分が欠落する
サブピクセルに第１色成分の色情報に相当する補間値を
決める処理を行う補間処理装置において、補間対象サブ
ピクセルが属する局所的領域に存在する色情報を用い
て、少なくとも、第１項と第２項との２つの項で構成さ
れる補間値を算出する補間値算出手段と、補間対象サブ
ピクセルと第１色成分の色情報が存在するサブピクセル
とを結ぶ少なくとも２つの方向に対し、補間対象サブピ
クセルとの類似性の強弱を判定する第１の類似性判定手
段と、前記第１の類似性判定手段によって類似性の強弱
が判定される方向とは異なる少なくとも２つの方向に対
し、補間対象サブピクセルとの類似性の強弱を判定する
第２の類似性判定手段とを備え、前記補間値算出手段
は、前記第１項を算出する際に用いる色情報が存在する
サブピクセルの方向を、前記第１の類似性判定手段によ
る判定結果に基づいて選択し、前記第２項を算出する際
に用いる色情報が存在するサブピクセルの方向を、前記
第２の類似性判定手段による判定結果に基づいて選択す
ることを特徴とする。
【００４９】すなわち、請求項３２に記載の発明では、
第２の類似性判定手段によって類似性が判定される方向
が、第１の類似性判定手段によって類似性が判定される
方向と異なるため、第１項を算出する際に用いる色情報
が存在する方向に限らず、第２項を算出する際に用いる
色情報が存在する方向も含めて、より細かな方向に存在
するサブピクセルの色情報を用いることができる。
【００５０】したがって、請求項３２に記載の発明によ
れば、細かく分けられた方向に存在するサブピクセルの
色情報を用いて、補間値を算出することができる。ま
た、請求項３２に記載の発明では、類似性が強い方向に
存在するサブピクセルの色情報を用いたり、多数の方向
に存在するサブピクセルの色情報を類似性の強弱に応じ
て加重合成するなどによって、第１項および第２項を算
出することができる。
【００５１】請求項３３に記載の補間処理装置は、請求
項３２に記載の補間処理装置において、前記補間値算出
手段は、前記第１項として、（ａ）補間対象サブピクセ
ルに関する第１色成分の局所的な平均情報と、（ｂ）単
一色成分で構成され、前記第１の類似性判定手段で類似
性の強弱の判定対象となる方向について方向性を有する
局所的な変曲情報とを含む項を算出し、前記第２項とし
て、単一色成分で構成され、前記第２の類似性判定手段
で類似性の強弱の判定対象となる方向について方向性を
有する局所的な変曲情報を含む項を算出することを特徴
とする。
【００５２】すなわち、請求項３３に記載の発明は、
「補間対象サブピクセルに関する第１色成分に関する平
均情報」を、「単一色成分で構成され、第１の類似性判
定手段で類似性の強弱の判定対象となる方向について方
向性を有する局所的な変曲情報」と「単一色成分で構成
され、第２の類似性判定手段で類似性の強弱の判定対象
となる方向について方向性を有する局所的な変曲情報」
とで補正することによって、補間値を算出する。
【００５３】なお、各々の局所的な変曲情報が、如何な
る方向に方向性を有するかの詳細は、「発明の実施の形
態」において定義する。請求項３４に記載の補間処理装
置は、請求項３１または請求項３３に記載の補間処理装
置において、前記画像データが第１〜第３の色成分から
成る表色系で示され、第１色成分が第２色成分および第
３色成分に比べて空間周波数が高く、第１色成分が市松
模様状に配置されると共に、第２色成分および第３色成
分がそれぞれ第１色成分の間に線順次に配置され、補間
対象サブピクセルに第２色成分が存在する場合、前記第
１の類似性判定手段は、補間対象サブピクセルと補間対
象サブピクセルに最も近接する第１色成分が存在するサ
ブピクセルとを結ぶ縦横２方向に対する補間対象サブピ
クセルの類似度を算出し、該類似度の差異に基づいて、
該縦横２方向に対する補間対象サブピクセルの類似性の
強弱を判定し、前記第２の類似性判定手段は、補間対象
サブピクセルと補間対象サブピクセルに最も近接する第
３色成分が存在するサブピクセルとを結ぶ斜め２方向に
対する補間対象サブピクセルの類似度を算出し、該類似
度の差異に基づいて、該斜め２方向に対する補間対象サ
ブピクセルの類似性の強弱を判定し、前記補間値算出手
段は、「単一色成分で構成され、前記第１の類似性判定
手段で類似性の強弱の判定対象となる方向について方向
性を有する局所的な変曲情報」を、第２色成分と第１色
成分との少なくとも一方に対応させ、「単一色成分で構
成され、前記第２の類似性判定手段で類似性の強弱の判
定対象となる方向について方向性を有する局所的な変曲
情報」を、第２色成分と第３色成分との少なくとも一方
に対応させることを特徴とする。
【００５４】ただし、各々の局所的な変曲情報が、如何
なる方向に方向性を有するかの詳細は、「発明の実施の
形態」において定義する。請求項３４に記載の発明で
は、第１の類似性判定手段で類似性の強弱の判定対象と
なる縦横２方向について方向性を有する色成分は、第２
色成分と第１色成分とであり、第２の類似性判定手段で
類似性の強弱の判定対象となる斜め２方向について方向
性を有する色成分は、第２色成分と第３色成分とであ
る。
【００５５】したがって、請求項３４に記載の発明で
は、請求項３１または請求項３３に記載の「単一色成分
で構成され、第１の類似性判定手段で類似性の強弱の判
定対象となる方向について方向性を有する局所的な変曲
情報」は、第１の類似性判定手段による判定結果に基づ
いて、第２色成分と第１色成分との少なくとも一方に関
して算出され、「単一色成分で構成され、第２の類似性
判定手段で類似性の強弱の判定対象となる方向について
方向性を有する局所的な変曲情報」は、第２の類似性判
定手段による判定結果に基づいて、第２色成分と第３色
成分との少なくとも一方に関して算出されることにな
る。
【００５６】また、請求項３４に記載の発明では、「第
２の類似性判定手段で類似性の強弱の判定対象となる方
向について類似性を示す色成分による局所的な変曲情
報」を算出する際に、斜め方向の類似性が確実に反映さ
れる。請求項３５に記載の補間処理装置は、請求項３４
に記載の補間処理装置において、前記補間値算出手段
は、前記局所的な変曲情報が、「補間対象サブピクセル
とは異なる色成分による局所的な変曲情報」である場
合、該局所的な変曲情報を、第１色成分に対応させる
か、第３色成分に対応させるかを、前記第２の類似性判
定手段によって判定された類似性の強弱に応じて切り替
えることを特徴とする。
【００５７】なお、請求項３５に記載の発明では、第３
色成分は補間対象サブピクセルの斜め２方向に存在する
サブピクセルに存在し、第２の類似性判定手段によって
判定される類似性は斜め２方向に対する補間対象サブピ
クセルの類似性である。そのため、請求項３５に記載の
発明によれば、「補間対象サブピクセルとは異なる色成
分による局所的な変曲情報」を、第１色成分に対応させ
るか第３色成分に対応させるか切り替えることによっ
て、斜め方向の類似性を「補間対象サブピクセルとは異
なる色成分による局所的な変曲情報」に反映することが
できる。
【００５８】請求項３６に記載の補間処理装置は、請求
項３５に記載の補間処理装置において、前記補間値算出
手段は、前記第２の類似性判定手段によって、前記斜め
２方向の類似性が同程度であると判定された場合、第１
色成分による局所的な変曲情報を算出し、該斜め２方向
の類似性のうち、一方の斜め方向の類似性が他方の斜め
方向の類似性よりも強いと判定された場合、第３色成分
による局所的な変曲情報を算出することを特徴とする。
【００５９】すなわち、請求項３６に記載の発明によれ
ば、「補間対象サブピクセルとは異なる色成分による局
所的な変曲情報」を算出する際に、斜め方向の類似性が
確実に反映される。請求項３７に記載の補間処理装置
は、請求項３４に記載の補間処理装置において、前記第
１の類似性判定手段は、前記縦横２方向の類似度の差異
が所定の閾値よりも小さい場合、該縦横２方向の類似性
が同程度であると判定し、前記第２の類似性判定手段
は、前記斜め２方向の類似度の差異が所定の閾値よりも
小さい場合、該斜め２方向の類似性が同程度であると判
定することを特徴とする。
【００６０】そのため、請求項３７に記載の発明によれ
ば、縦横２方向の類似性や斜め２方向の類似性を判定す
る際のノイズの影響を低減することができる。請求項３
８に記載の補間処理装置は、請求項３４に記載の補間処
理装置において、前記第１の類似性判定手段は、１つの
補間対象サブピクセルにつき、前記縦横２方向の類似度
を複数の色成分の色情報を用いて算出し、前記第２の類
似性判定手段は、１つの補間対象サブピクセルにつき、
前記斜め２方向の類似度を複数の色成分の色情報を用い
て算出することを特徴とする。
【００６１】すなわち、請求項３８に記載の発明によれ
ば、縦横２方向の類似性や斜め２方向の類似性を判定す
る際に複数の色成分の色情報が反映される。請求項３９
に記載の補間処理装置は、請求項３８に記載の補間処理
装置において、前記第２の類似性判定手段は、前記斜め
２方向の各々の方向毎に、（１）第１色成分のみの色情
報から成る類似度成分と、（２）第２色成分のみの色情
報から成る類似度成分と、（３）第３色成分のみの色情
報から成る類似度成分と、（４）第２色成分および第３
色成分の色情報から成る類似度成分とを加重加算して、
各々の方向の類似度を算出することを特徴とする。
【００６２】すなわち、請求項３９に記載の発明によれ
ば、斜め２方向の類似性を判定する際に、複数の色成分
の色情報が確実に反映される。請求項４０に記載の補間
処理装置は、請求項３４に記載の補間処理装置におい
て、前記第１の類似性判定手段は、各々のサブピクセル
における縦横２方向に対する類似度を算出し、補間対象
サブピクセルのみならず周辺のサブピクセルの類似度の
差異に基づいて、補間対象サブピクセルの縦横２方向に
対する類似性を判定し、前記第２の類似性判定手段は、
各々のサブピクセルにおける斜め２方向に対する類似度
を算出し、補間対象サブピクセルのみならず周辺のサブ
ピクセルの類似度の差異に基づいて、補間対象サブピク
セルの斜め２方向に対する類似性を判定することを特徴
とする。
【００６３】すなわち、請求項４０に記載の発明によれ
ば、縦横２方向の類似性や斜め２方向の類似性を判定す
る際に周辺のサブピクセルとの連続性が反映される。請
求項４１に記載の補間処理装置は、２次元配列された複
数の画素の１画素につき１つの色成分が対応付けられ、
各々の画素が２つのサブピクセルに分割されて成る撮像
素子によって生成される画像データに対し、各々のサブ
ピクセルに欠落する色成分の色情報に相当する補間値を
決める処理を行う補間処理装置において、補間対象サブ
ピクセルの少なくとも２つの方向に対する類似度を算出
する類似度算出手段と、前記類似度算出手段によって算
出された類似度に基づき、少なくとも２つの方向に対す
る補間対象サブピクセルの類似性の強弱を判定する類似
性判定手段と、前記類似性判定手段によって判定された
類似性の強弱に応じて、補間対象サブピクセルの補間値
を算出する際に用いるサブピクセルの色情報を選択し、
該色情報を用いて補間対象サブピクセルの補間値を算出
する補間値算出手段とを備えたことを特徴とする。
【００６４】請求項４２に記載の補間処理装置は、請求
項４１に記載の補間処理装置において、前記画像データ
が複数の色成分から成る表色系で示される場合、前記類
似度算出手段は、複数の色成分の色情報を用いて、補間
対象サブピクセルにおける少なくとも２つの方向に対す
る類似度を算出することを特徴とする。請求項４３に記
載の補間処理装置は、請求項４２に記載の補間処理装置
において、前記画像データが、第１〜第３の色成分から
成る表色系で示され、第１色成分が第２色成分および第
３色成分に比べて空間周波数が高く、第１色成分が欠落
するサブピクセルに第１色成分の色情報に相当する補間
値を決める場合、前記類似度算出手段は、（１）前記第
１色成分の色情報と前記第２色成分の色情報とを用いた
類似度成分、（２）前記第１色成分の色情報と前記第３
色成分の色情報とを用いた類似度成分、（３）前記第１
色成分の色情報のみを用いた類似度成分、（４）前記第
２色成分の色情報のみを用いた類似度成分、（５）前記
第３色成分の色情報のみを用いた類似度成分の複数の類
似度成分のうち、第１〜第３色成分の色情報が含まれる
組み合わせを利用して、補間対象サブピクセルにおける
少なくとも２つの方向に対する類似度を算出することを
特徴とする。
【００６５】請求項４４に記載の補間処理装置は、請求
項４３に記載の補間処理装置において、前記類似度算出
手段は、前記複数の類似度成分のうち、前記組み合わせ
に属する類似度成分を方向別に加重加算して、補間対象
サブピクセルにおける少なくとも２つの方向に対する類
似度を算出することを特徴とする。請求項４５に記載の
補間処理装置は、請求項４１に記載の補間処理装置にお
いて、前記画像データが複数の色成分から成る表色系で
示される場合、前記類似度算出手段は、補間対象サブピ
クセルとその近傍のサブピクセルとから選ばれる複数の
サブピクセルに存在する色情報に基づき、（１）異なる
色成分の色情報から成る異色間類似度成分を含む異色間
類似度と、（２）同じ色成分の色情報のみから成る同色
間類似度成分を含む同色間類似度との２種類の類似度を
算出し、補間対象サブピクセルが属する局所的な領域に
おける画像の特徴に応じて、どちらか一方の類似度に切
り換える、もしくは、各類似度を加重加算するときの加
重比率を切り換えることにより、補間対象サブピクセル
における少なくとも２つの方向に対する類似度を算出す
ることを特徴とする。
【００６６】請求項４６に記載の補間処理装置は、請求
項４５に記載の補間処理装置において、前記類似度算出
手段は、前記異色間類似度を前記同色間類似度よりも短
い距離間隔で存在する色情報を用いて算出することを特
徴とする。請求項４７に記載の補間処理装置は、請求項
４５または請求項４６に記載の補間処理装置において、
前記画像データが、第１〜第３の色成分から成る表色系
で示され、第１色成分が第２色成分および第３色成分に
比べて空間周波数が高く、第１色成分が欠落するサブピ
クセルに第１色成分の色情報に相当する補間値を決める
場合、前記類似度算出手段は、前記異色間類似度とし
て、（１）前記第１色成分の色情報と前記第２色成分の
色情報とから成る異色間類似度成分と、（２）前記第１
色成分の色情報と前記第３色成分の色情報とから成る異
色間類似度成分との少なくとも一方を含む類似度を算出
し、前記同色間類似度として、（１）前記第１色成分の
色情報のみから成る同色間類似度成分と、（２）前記第
２色成分の色情報のみから成る同色間類似度成分と、
（３）前記第３色成分の色情報のみから成る同色間類似
度成分との少なくとも１つを含む類似度を算出すること
を特徴とする。
【００６７】請求項４８に記載の補間処理装置は、請求
項４５に記載の補間処理装置において、前記類似度算出
手段は、補間対象サブピクセルが属する局所的な領域に
おける画像の特徴として色彩に関する情報を用い、該色
彩に関する情報を基準に、前記局所的な領域における画
像が無彩色部であるか彩色部であるかを判別し、該局所
的な領域における画像が無彩色部である場合には、補間
対象サブピクセルにおける少なくとも２つの方向に対す
る類似度として前記異色間類似度を選択する、または、
該異色間類似度と前記同色間類似度とを加重加算する際
の該異色間類似度の加重比率を該同色間類似度の加重比
率よりも大きくし、該局所的な領域における画像が彩色
部である場合には、補間対象サブピクセルにおける少な
くとも２つの方向に対する類似度として該同色間類似度
を選択する、または、該異色間類似度と前記同色間類似
度とを加重加算する際の該同色間類似度の加重比率を該
異色間類似度の加重比率よりも大きくすることを特徴と
する。
【００６８】請求項４９に記載の補間処理装置は、請求
項４８に記載の補間処置装置において、前記類似度算出
手段は、前記色彩に関する情報として前記異色間類似度
を用いることを特徴とする。請求項５０に記載の補間処
理装置は、請求項４８または請求項４９に記載の補間処
理装置において、前記類似度算出手段は、前記異色間類
似度が、少なくとも一方向に対して強い類似性を示す場
合、前記局所的な領域における画像が無彩色部であると
判断し、その他の場合、該局所的な領域における画像が
彩色部であると判断することを特徴とする。
【００６９】請求項５１に記載の補間処理装置は、請求
項４１ないし請求項５０の何れか１項に記載の補間処理
装置において、前記類似度算出手段は、補間対象サブピ
クセルにおける少なくとも２つの方向に対する類似度と
して、補間対象サブピクセルのみならず補間対象サブピ
クセルの周辺のサブピクセルに対して算出した少なくと
も２つの方向に対する類似度を用いることを特徴とす
る。
【００７０】請求項５１に記載の発明では、補間対象サ
ブピクセルにおける類似度だけでなく、周辺のサブピク
セルにおける類似度を合わせて用いることによって、類
似性の強弱の判定に、補間対象サブピクセルと周辺のサ
ブピクセルとの関連を反映させることができる。請求項
５２に記載の補間処理装置は、請求項４１に記載の補間
処理装置において、前記類似性判定手段は、各方向間の
類似度の差異が所定の閾値よりも小さい場合、各方向の
類似性が同程度であると判定することを特徴とする。
【００７１】そのため、請求項５２に記載の発明によれ
ば、類似性を判定する際のノイズの影響を低減すること
ができる。請求項５３に記載の補間処理装置は、２次元
配列された複数の画素のうち、空間周波数が低い色成分
が対応付けられる画素と該色成分が対応付けられない画
素との両方に空間周波数が高い輝度成分が対応付けら
れ、各々の画素が２つのサブピクセルに分割されて成る
撮像素子によって生成される画像データに対し、色成分
が欠落するサブピクセルの色成分に相当する補間値を決
める処理を行う補間処理装置において、補間処理の対象
となる補間対象サブピクセルの近傍に位置して輝度成分
と色成分とが存在する複数のサブピクセルの色相値を、
各々のサブピクセルの輝度成分と色成分とを用いて算出
する色相値算出手段と、前記色相値算出手段で算出され
た複数のサブピクセルの色相値の中央値によって、補間
対象サブピクセルの色相値を算出する色相値補間手段
と、補間対象サブピクセルに存在する輝度成分を用い
て、前記色相値補間手段で算出された補間対象サブピク
セルの色相値を色成分に変換して、補間対象サブピクセ
ルの補間値を求める色変換手段とを備えたことを特徴と
する。
【００７２】すなわち、請求項５３に記載の発明では、
補間対象サブピクセルの色相値は、補間対象サブピクセ
ルの近傍に位置する複数のサブピクセルの色相値の中央
値によって算出される。請求項５４に記載の補間処理装
置は、２次元配列された複数の画素の１画素毎に、空間
周波数が高い輝度成分と空間周波数が低い色成分との何
れか一方が対応付けられ、各々の画素が２つのサブピク
セルに分割されて成る撮像素子によって生成される画像
データに対し、輝度成分が欠落するサブピクセルの輝度
成分に相当する補間値と色成分が欠落するサブピクセル
の色成分に相当する補間値とを決める処理を行う補間処
理装置において、「輝度成分の補間処理の対象となる輝
度成分補間対象サブピクセルと輝度成分補間対象サブピ
クセルの近傍に位置するサブピクセルとの類似性」と
「輝度成分補間対象サブピクセルを含む局所的領域内の
複数の色成分」との少なくとも一方を利用して、輝度成
分補間対象サブピクセルの輝度成分に相当する補間値を
求める輝度成分補間手段と、色成分の補間処理の対象と
なる補間対象サブピクセルの近傍に位置し、色成分が存
在して前記輝度成分補間手段によって輝度成分が補間さ
れた複数のサブピクセルの色相値を、各々のサブピクセ
ルの輝度成分と色成分とを用いて算出する色相値算出手
段と、前記色相値算出手段で算出された複数のサブピク
セルの色相値の中央値によって、補間対象サブピクセル
の色相値を算出する色相値補間手段と、補間対象サブピ
クセルに存在する輝度成分を用いて、前記色相値補間手
段で算出された補間対象サブピクセルの色相値を色成分
に変換して、補間対象サブピクセルの色成分に相当する
補間値を求める色変換手段とを備えたことを特徴とす
る。
【００７３】すなわち、請求項５４に記載の発明では、
補間対象サブピクセルの色相値は、補間対象サブピクセ
ルの近傍に位置する複数のサブピクセルの色相値の中央
値によって算出される。請求項５５に記載の補間処理装
置は、請求項５３または請求項５４に記載の補間処理装
置において、画像データの輝度成分が緑色成分に対応
し、画像データの色成分が赤色成分と青色成分とに対応
する場合、前記色相値補間手段は、補間対象サブピクセ
ルに緑色成分が存在して赤色成分が欠落する場合、補間
対象サブピクセルの近傍に位置する画素の赤色成分を含
む色相値の中央値によって補間対象サブピクセルの色相
値を算出し、補間対象サブピクセルに緑色成分が存在し
て青色成分が欠落する場合、補間対象サブピクセルの近
傍に位置するサブピクセルの青色成分を含む色相値の中
央値によって補間対象サブピクセルの色相値を算出する
ことを特徴とする。
【００７４】すなわち、請求項５５に記載の発明では、
緑色成分が存在して赤色成分が欠落する補間対象サブピ
クセルの色相値は、近傍に位置するサブピクセルの赤色
成分を含む色相値の中央値によって算出され、緑色成分
が存在して青色成分が欠落する補間対象サブピクセルの
色相値は、近傍に位置するサブピクセルの青色成分を含
む色相値の中央値によって算出される。
【００７５】請求項５６に記載の補間処理装置は、請求
項５３または請求項５４に記載の補間処理装置におい
て、画像データの輝度成分が緑色成分に対応し、画像デ
ータの色成分が赤色成分と青色成分とに対応する場合、
前記色相値補間手段は、補間対象サブピクセルに青色成
分が存在して赤色成分が欠落する場合、補間対象サブピ
クセルの近傍に位置する画素の赤色成分を含む色相値の
中央値によって補間対象サブピクセルの色相値を算出す
ることを特徴とする。
【００７６】すなわち、請求項５６に記載の発明では、
青色成分が存在して赤色成分が欠落する補間対象サブピ
クセルの色相値は、近傍に位置するサブピクセルの赤色
成分を含む色相値の中央値によって算出される。請求項
５７に記載の補間処理装置は、請求項５３または請求項
５４に記載の補間処理装置において、画像データの輝度
成分が緑色成分に対応し、画像データの色成分が赤色成
分と青色成分とに対応する場合、前記色相値補間手段
は、補間対象サブピクセルに赤色成分が存在して青色成
分が欠落する場合、補間対象サブピクセルの近傍に位置
するサブピクセルの青色成分を含む色相値の中央値によ
って補間対象サブピクセルの色相値を算出することを特
徴とする。
【００７７】すなわち、請求項５７に記載の発明では、
赤色成分が存在して青色成分が欠落する補間対象サブピ
クセルの色相値は、近傍に位置するサブピクセルの青色
成分を含む色相値の中央値によって算出される。請求項
５８に記載の補間処理装置は、請求項５３ないし請求項
５７の何れか１項に記載の補間処理装置において、補間
対象サブピクセルに欠落する色成分が、縦横対称に配置
された４画素のうち１画素のみに存在する場合、前記色
相値補間手段は、補間対象サブピクセルの斜め方向に近
接する複数の斜め近接サブピクセルの色相値が前記色相
値算出手段によって算出されている場合、該斜め近接サ
ブピクセルの色相値の中央値によって補間対象サブピク
セルの色相値を算出する第１の色相値補間部と、補間対
象サブピクセルの縦方向と横方向とに近接する複数の縦
横近接サブピクセルの色相値が前記色相値算出手段また
は前記第１の色相値補間部によって算出されている場
合、該縦横近接サブピクセルの色相値の中央値によって
補間対象サブピクセルの色相値を算出する第２の色相値
補間部とを備えたことを特徴とする。
【００７８】すなわち、請求項５８に記載の発明では、
斜め近接サブピクセルの色相値が算出されている場合に
は、斜め近接サブピクセルの色相値の中央値によって補
間対象サブピクセルの色相値を算出し、縦横近接サブピ
クセルの色相値が算出されている場合には、縦横近接サ
ブピクセルの色相値の中央値によって補間対象サブピク
セルの色相値を算出する。
【００７９】請求項５９に記載の補間処理プログラムを
記録した記録媒体は、２次元配列された複数の画素の１
画素につき１つの色成分が対応付けられ、各々の画素が
２つのサブピクセルに分割されて成る撮像素子によって
生成される画像データに対し、各々のサブピクセルに欠
落する色成分の色情報に相当する補間値を決める補間処
理をコンピュータで実現するための補間処理プログラム
を記録した記録媒体において、各々の画素を構成する２
つのサブピクセルから出力される色情報をひとまとめに
した値を当該画素の色情報に相当する画素出力色情報と
し、少なくとも２つの方向に対する補間対象サブピクセ
ルの類似性の強弱を、該画素出力色情報を用いて判定す
る主要類似性判定手順と、前記主要類似性判定手順によ
って判定された類似性の強弱に応じて、補間対象サブピ
クセルの補間値を算出する際に用いるサブピクセルの色
情報を選択し、該色情報を用いて補間対象サブピクセル
の補間値を算出する補間値算出手順とをコンピュータに
実行させることを特徴とする。
【００８０】請求項６０に記載の補間処理プログラムを
記録した記録媒体は、２次元配列された複数の画素の１
画素につき１つの色成分が対応付けられ、各々の画素が
２つのサブピクセルに分割されて成る撮像素子によって
生成される画像データに対し、各々のサブピクセルに欠
落する色成分の色情報に相当する補間値を決める補間処
理をコンピュータで実現するための補間処理プログラム
を記録した記録媒体において、補間対象サブピクセルに
ついて対称な距離に位置する色情報を用い、少なくとも
２つの方向に対する補間対象サブピクセルの類似性の強
弱を判定する主要類似性判定手順と、補間対象サブピク
セルについて非対称な距離に位置する色情報を用い、少
なくとも２つの方向に対する補間対象サブピクセルの類
似性の強弱を判定する微細部類似性判定手順と、前記主
要類似性判定手順と前記微細部類似性判定手順とによっ
て判定された類似性の強弱に応じて、補間対象サブピク
セルの補間値を算出する際に用いるサブピクセルの色情
報を選択し、該色情報を用いて補間対象サブピクセルの
補間値を算出する補間値算出手順とをコンピュータに実
行させることを特徴とする。
【００８１】請求項６１に記載の補間処理プログラムを
記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分か
ら成る表色系で示され、各々の画素に１種類の色成分が
対応付けられ、各々の画素が２つのサブピクセルに分割
されて成る撮像素子によって生成される画像データに対
し、第１色成分が欠落するサブピクセルに第１色成分の
色情報に相当する補間値を決める補間処理をコンピュー
タで実現するための補間処理プログラムを記録した記録
媒体において、補間対象サブピクセルが属する局所的領
域に存在する色情報を用いて、少なくとも、（１）補間
対象サブピクセルに関する第１色成分の局所的な平均情
報と、（２）補間対象サブピクセルに関する２種類以上
の色成分の局所的な変曲情報とで構成される補間値を算
出する補間値算出手順をコンピュータに実行させること
を特徴とする。
【００８２】請求項６２に記載の補間処理プログラムを
記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分か
ら成る表色系で示され、各々の画素に１種類の色成分が
対応付けられ、各々の画素が２つのサブピクセルに分割
されて成る撮像素子によって生成される画像データに対
し、第１色成分が欠落するサブピクセルに第１色成分の
色情報に相当する補間値を決める補間処理をコンピュー
タで実現するための補間処理プログラムを記録した記録
媒体において、補間対象サブピクセルが属する局所的領
域に存在する色情報を用いて、少なくとも、（１）補間
対象サブピクセルに関する第１色成分の局所的な平均情
報と、（２）補間対象サブピクセルとは異なる色成分に
よる局所的な変曲情報とで構成される補間値を算出する
補間値算出手順をコンピュータに実行させることを特徴
とする。
【００８３】請求項６３に記載の補間処理プログラムを
記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分か
ら成る表色系で示され、各々の画素に１種類の色成分が
対応付けられ、各々の画素が２つのサブピクセルに分割
されて成る撮像素子によって生成される画像データに対
し、第１色成分が欠落するサブピクセルに第１色成分の
色情報に相当する補間値を決める補間処理をコンピュー
タで実現するための補間処理プログラムを記録した記録
媒体において、補間対象サブピクセルが属する局所的領
域に存在する色情報を用いて、少なくとも、（１）補間
対象サブピクセルに関する第１色成分の局所的な平均情
報と、（２）補間対象サブピクセルに関する第１色成分
の局所的な変曲情報とで構成される補間値を算出する補
間値算出手順をコンピュータに実行させることを特徴と
する。
【００８４】請求項６４に記載の補間処理プログラムを
記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分か
ら成る表色系で示され、各々の画素に１種類の色成分が
対応付けられ、各々の画素が２つのサブピクセルに分割
されて成る撮像素子によって生成される画像データに対
し、第１色成分が欠落するサブピクセルに第１色成分の
色情報に相当する補間値を決める補間処理をコンピュー
タで実現するための補間処理プログラムを記録した記録
媒体において、補間対象サブピクセルが属する局所的領
域に存在する色情報を用いて、少なくとも、第１項と第
２項との２つの項で構成される補間値を算出する補間値
算出手順と、補間対象サブピクセルと第１色成分の色情
報が存在するサブピクセルとを結ぶ少なくとも２つの方
向に対し、補間対象サブピクセルとの類似性の強弱を判
定する第１の類似性判定手順と、前記第１の類似性判定
手順によって類似性の強弱が判定される方向とは異なる
少なくとも２つの方向に対し、補間対象サブピクセルと
の類似性の強弱を判定する第２の類似性判定手順とをコ
ンピュータに実行させ、前記補間値算出手順は、前記第
１項を算出する際に用いる色情報が存在するサブピクセ
ルの方向を、前記第１の類似性判定手順による判定結果
に基づいて選択し、前記第２項を算出する際に用いる色
情報が存在するサブピクセルの方向を、前記第２の類似
性判定手順による判定結果に基づいて選択することを特
徴とする。
【００８５】請求項６５に記載の補間処理プログラムを
記録した記録媒体は、２次元配列された複数の画素の１
画素につき１つの色成分が対応付けられ、各々の画素が
２つのサブピクセルに分割されて成る撮像素子によって
生成される画像データに対し、各々のサブピクセルに欠
落する色成分の色情報に相当する補間値を決める補間処
理をコンピュータで実現するための補間処理プログラム
を記録した記録媒体において、補間対象サブピクセルの
少なくとも２つの方向に対する類似度を算出する類似度
算出手順と、前記類似度算出手順によって算出された類
似度に基づき、少なくとも２つの方向に対する補間対象
サブピクセルの類似性の強弱を判定する類似性判定手順
と、前記類似性判定手順によって判定された類似性の強
弱に応じて、補間対象サブピクセルの補間値を算出する
際に用いるサブピクセルの色情報を選択し、該色情報を
用いて補間対象サブピクセルの補間値を算出する補間値
算出手順とをコンピュータに実行させることを特徴とす
る。
【００８６】請求項６６に記載の補間処理プログラムを
記録した記録媒体は、２次元配列された複数の画素のう
ち、空間周波数が低い色成分が対応付けられる画素と該
色成分が対応付けられない画素との両方に空間周波数が
高い輝度成分が対応付けられ、各々の画素が２つのサブ
ピクセルに分割されて成る撮像素子によって生成される
画像データに対し、色成分が欠落するサブピクセルの色
成分に相当する補間値を決める補間処理をコンピュータ
で実現するための補間処理プログラムを記録した記録媒
体において、補間処理の対象となる補間対象サブピクセ
ルの近傍に位置して輝度成分と色成分とが存在する複数
のサブピクセルの色相値を、各々のサブピクセルの輝度
成分と色成分とを用いて算出する色相値算出手順と、前
記色相値算出手順で算出された複数のサブピクセルの色
相値の中央値によって、補間対象サブピクセルの色相値
を算出する色相値補間手順と、補間対象サブピクセルに
存在する輝度成分を用いて、前記色相値補間手順で算出
された補間対象サブピクセルの色相値を色成分に変換し
て、補間対象サブピクセルの補間値を求める色変換手順
とをコンピュータに実行させることを特徴とする。
【００８７】請求項６７に記載の補間処理プログラムを
記録した記録媒体は、２次元配列された複数の画素の１
画素毎に、空間周波数が高い輝度成分と空間周波数が低
い色成分との何れか一方が対応付けられ、各々の画素が
２つのサブピクセルに分割されて成る撮像素子によって
生成される画像データに対し、輝度成分が欠落するサブ
ピクセルの輝度成分に相当する補間値と色成分が欠落す
るサブピクセルの色成分に相当する補間値とを決める補
間処理をコンピュータで実現するための補間処理プログ
ラムを記録した記録媒体において、「輝度成分の補間処
理の対象となる輝度成分補間対象サブピクセルと輝度成
分補間対象サブピクセルの近傍に位置するサブピクセル
との類似性」と「輝度成分補間対象サブピクセルを含む
局所的領域内の複数の色成分」との少なくとも一方を利
用して、輝度成分補間対象サブピクセルの輝度成分に相
当する補間値を求める輝度成分補間手順と、色成分の補
間処理の対象となる補間対象サブピクセルの近傍に位置
し、色成分が存在して前記輝度成分補間手順によって輝
度成分が補間された複数のサブピクセルの色相値を、各
々のサブピクセルの輝度成分と色成分とを用いて算出す
る色相値算出手順と、前記色相値算出手順で算出された
複数のサブピクセルの色相値の中央値によって、補間対
象サブピクセルの色相値を算出する色相値補間手順と、
補間対象サブピクセルに存在する輝度成分を用いて、前
記色相値補間手順で算出された補間対象サブピクセルの
色相値を色成分に変換して、補間対象サブピクセルの色
成分に相当する補間値を求める色変換手順とをコンピュ
ータに実行させることを特徴とする。
【００８８】
【発明の実施の形態】以下、図面に基づいて、本発明の
実施形態について詳細を説明する。図１は、第１の実施
形態ないし第６の実施形態に対応する電子カメラの機能
ブロック図である。なお、第１の実施形態に対応する電
子カメラは、請求項１ないし請求項１０、請求項１７な
いし請求項２２、請求項２５、請求項２６、請求項５３
ないし請求項５８に記載の補間処理装置が行う補間処理
の機能を備えた電子カメラに相当し、第２の実施形態に
対応する電子カメラは、請求項１ないし請求項１０、請
求項１７ないし請求項２２、請求項２５ないし請求項４
０に記載の補間処理装置が行う補間処理の機能を備えた
電子カメラに相当し、第３の実施形態に対応する電子カ
メラは、請求項１ないし請求項２６に記載の補間処理装
置が行う補間処理の機能を備えた電子カメラに相当し、
第４の実施形態に対応する電子カメラは、請求項４、請
求項６ないし請求項１０、請求項１７ないし請求項２
２、請求項２５、請求項２６に記載の補間処理装置が行
う補間処理の機能を備えた電子カメラに相当し、第５の
実施形態に対応する電子カメラは、請求項４１ないし請
求項４４、請求項５１、請求項５２に記載の補間処理装
置が行う補間処理の機能を備えた電子カメラに相当し、
第６の実施形態に対応する電子カメラは、請求項２７な
いし請求項４４、請求項５１、請求項５２に記載の補間
処理装置が行う補間処理の機能を備えた電子カメラに相
当する。
【００８９】図１において、電子カメラ１０は、制御部
１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１
４、画像処理部１５および記録部１６を有する。また、
画像処理部１５は、補間処理部（例えば、補間処理専用
の１チップ・マイクロプロセッサ）１７を有する。な
お、図１では、説明を簡単にするため、画像処理部１５
内に補間処理部１７のみを記載しているが、画像処理部
１５内には、例えば、γ階調変換処理など他の画像処理
を行う機能ブロックが設けられても良い。
【００９０】また、撮像部１３は、図２８（２）のよう
に色成分がサブピクセル型ベイア配列された撮像素子を
有する。なお、図２８では、ｉ、ｊを用いて画素やサブ
ピクセルの座標を示しているが、ベイア配列上の座標と
サブピクセル型ベイア配列上の座標とを区別するため、
図２８（１）のベイア配列における座標のｉに添字pを
付与している。
【００９１】図１において、制御部１１は、撮像部１
３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１
６に接続される。また、撮影光学系１２で取得された光
学像は、撮像部１３内の撮像素子に結像する。撮像部１
３の出力は、Ａ／Ｄ変換部１４によって量子化され、画
像データとして画像処理部１５に供給される。画像処理
部１５に供給された画像データは、補間処理部１７によ
って補間処理が施され、必要に応じて画像圧縮を行って
から、記録部１６を介して記録される。補間処理により
各色成分の解像度が高められた画像データは、最終的に
ディスプレイ、プリンタなど各接続機器に応じた表色系
画像データとして出力される。
【００９２】なお、第１の実施形態ないし第６の実施形
態において、補間処理部１７は、緑色成分が欠落するサ
ブピクセルに緑の補間値を補う補間処理（以下、「Ｇ補
間処理」と称する。）を行った後に、赤色成分や青色成
分が欠落するサブピクセルに赤の補間値や青の補間値を
補う補間処理（以下、「ＲＢ補間処理」と称する。）を
行うが、以下では、説明を簡単にするため、図２８
（２）の座標[i,j],[i+1,j]に位置する２つのサブピク
セルをＧ補間処理における補間対象サブピクセルとす
る。
【００９３】また、第１の実施形態ないし第３の実施形
態では、図２８（１）のベイア配列上の画素の色情報と
して、各々の画素に対応する図２８（２）のサブピクセ
ル型ベイア配列上に位置する２つのサブピクセルの色情
報の平均値を用いる。例えば、図２８（１）の座標[ip,
j]に位置する画素の色情報R[ip,j]は、図２８（２）の
座標[i,j],[i+1,j]に位置する２つのサブピクセルの色
情報R[i,j],R[i+1,j]の平均値に相当する。
【００９４】さらに、第１の実施形態ないし第３の実施
形態では、このような２つの補間対象サブピクセルに対
応するベイア配列上の画素を「補間対象画素」と称す
る。また、後述するＧ補間処理では、補間対象サブピク
セルの色成分の種類（赤または青）に関係なく、緑の補
間値を算出することができるため、以下では、図２８の
ＲおよびＢをＺに置き換えて表現し、２つの補間対象サ
ブピクセルの色情報をZ[i,j],Z[i+1,j]によって表現
し、他のサブピクセルや画素の色情報についても同様に
表現する。
【００９５】《第１の実施形態》図２および図３は、第
１の実施形態における補間処理部１７の動作フローチャ
ートであるが、図２は、Ｇ補間処理における補間処理部
１７の動作を示し、図３は、ＲＢ補間処理における補間
処理部１７の動作を示す。以下、第１の実施形態の動作
を説明するが、ここでは、図２および図３を参照して補
間処理部１７の動作を説明する。
【００９６】まず、Ｇ補間処理において、補間処理部１
７は、ベイア配列上の補間対象画素における縦方向の大
まかな類似度を示す「縦方向の主要類似度Cv[ip,j]」
と、横方向の大まかな類似度を示す「横方向の主要類似
度Ch[ip,j]」とを算出する（図２Ｓ１）。なお、主要類
似度は、周辺との広域的な類似性を判定するための値で
あり、できるだけ多くの色情報を用い、連続的に変化す
る多値情報により類似性を捕らえることが重要である。
以下に示すようにして算出される主要類似度は、画像全
体の調和を保ちつつ、ベイア配列の画素ピッチに至る詳
細な類似性を判定することが可能である。
【００９７】以下、縦方向の主要類似度Cv[ip,j]および
横方向の主要類似度Ch[ip,j]を算出する処理の詳細を説
明する。まず、補間処理部１７は、以下の式10〜式21に
よって定義される縦方向および横方向に対する複数種類
の主要類似度成分を算出する。 縦方向のGG間主要類似度成分： Cv1[ip,j]=|G[ip,j-1]-G[ip,j+1]| ・・・式10 横方向のGG間主要類似度成分： Ch1[ip,j]=|G[ip-1,j]-G[ip+1,j]| ・・・式11 縦方向のBB(RR)間主要類似度成分： Cv2[ip,j]=(|Z[ip-1,j-1]-Z[ip-1,j+1]| +|Z[ip+1,j-1]-Z[ip+1,j+1]|)/2 ・・・式12 横方向のBB(RR)間主要類似度成分： Ch2[ip,j]=(|Z[ip-1,j-1]-Z[ip+1,j-1]| +|Z[ip-1,j+1]-Z[ip+1,j+1]|)/2 ・・・式13 縦方向のRR(BB)間主要類似度成分： Cv3[ip,j]=(|Z[ip,j-2]-Z[ip,j]|+|Z[ip,j+2]-Z[ip,j]|)/2 ・・・式14 横方向のRR(BB)間主要類似度成分： Ch3[ip,j]=(|Z[ip-2,j]-Z[ip,j]|+|Z[ip+2,j]-Z[ip,j]|)/2 ・・・式15 縦方向のGR(GB)間主要類似度成分： Cv4[ip,j]=(|G[ip,j-1]-Z[ip,j]|+|G[ip,j+1]-Z[ip,j]|)/2 ・・・式16 横方向のGR(GB)間主要類似度成分： Ch4[ip,j]=(|G[ip-1,j]-Z[ip,j]|+|G[ip+1,j]-Z[ip,j]|)/2 ・・・式17 縦方向のBG(RG)間主要類似度成分： Cv5[ip,j]=(|Z[ip-1,j-1]-G[ip-1,j]|+|Z[ip-1,j+1]-G[ip-1,j]| +|Z[ip+1,j-1]-G[ip+1,j]|+|Z[ip+1,j+1]-G[ip+1,j]|)/4 ・・・式18 横方向のBG(RG)間主要類似度成分： Ch5[ip,j]=(|Z[ip-1,j-1]-G[ip,j-1]|+|Z[ip-1,j+1]-G[ip,j+1]| +|Z[ip+1,j-1]-G[ip,j-1]|+|Z[ip+1,j+1]-G[ip,j+1]|)/4 ・・・式19 縦方向の輝度間主要類似度成分： Cv6[ip,j]=(|Y[ip,j-1]-Y[ip,j]|+|Y[ip,j+1]-Y[ip,j]|)/2 ・・・式20 横方向の輝度間主要類似度成分： Ch6[ip,j]=(|Y[ip-1,j]-Y[ip,j]|+|Y[ip+1,j]-Y[ip,j]|)/2 ・・・式21 ただし、式20および式21において、Y[ip,j]は、式22に
よって算出される値であり、補間対象画素の近傍に位置
する周辺画素の色成分の色情報をR:G:B=1:2:1の比で平
均化するフィルタリング処理で生成される輝度に相当す
る。
【００９８】 Y[ip,j]=(4・A[ip,j]+2・(A[ip,j-1]+A[ip,j+1]+A[ip-1,j]+A[ip+1,j]) +A[ip-1,j-1]+A[ip-1,j+1]+A[ip+1,j-1]+A[ip+1,j+1])/16 ・・・式22 ただし、式22において、A[ip,j]は、ベイア配列上の任
意の色情報を表し、配置場所に応じてGまたはZの値をと
る。
【００９９】なお、上述した各々の主要類似度成分を構
成する類似度の要素は、差分の絶対値を用いて算出して
いるが、絶対値の２乗やべき乗等によって算出しても良
い。次に、補間処理部１７は、以下の式23および式24に
示すようにして、加重係数a1,a2,a3,a4,a5,a6によっ
て、複数種類の主要類似度成分を各々の方向毎に加重加
算する。
【０１００】 Cv0[ip,j]=(a1・Cv1[ip,j]+a2・Cv2[ip,j]+a3・Cv3[ip,j]+a4・Cv4[ip,j] +a5・Cv5[ip,j]+a6・Cv6[ip,j])/(a1+a2+a3+a4+a5+a6) ・・・式23 Ch0[ip,j]=(a1・Ch1[ip,j]+a2・Ch2[ip,j]+a3・Ch3[ip,j]+a4・Ch4[ip,j] +a5・Ch5[ip,j]+a6・Ch6[ip,j])/(a1+a2+a3+a4+a5+a6) ・・・式24 なお、式23および式24において、加重係数a1,a2,a3,a4,
a5,a6の比率としては、例えば、「a1:a2:a3:a4:a5:a6=
2:1:1:4:4:12」などが考えられる。
【０１０１】このようにして算出されるCv0[ip,j]およ
びCh0[ip,j]は、そのまま、補間対象画素の縦方向の主
要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]と
することができるが、ここでは、縦方向および横方向に
対する複数種類の主要類似度成分の算出および加重加算
を、補間対象画素だけでなく、周辺画素に対しても行
い、このような加重加算によって得られる値を方向別に
加重加算（以下、「周辺加算」と称する。）して、補間
対象画素の縦方向の主要類似度Cv[ip,j]および横方向の
主要類似度Ch[ip,j]を算出する例を示す。
【０１０２】すなわち、補間処理部１７は、補間対象画
素と周辺画素とにおける主要類似度成分の方向別の加重
加算の結果（Cv0[ip,j]、Cv0[ip-1,j-1]、Cv0[ip-1,j+
1]、Cv0[ip+1,j-1]、Cv0[ip+1,j+1]など）を、以下の
《周辺加算方法１》または《周辺加算方法２》のように
加重加算して、補間対象画素の縦方向の主要類似度Cv[i
p,j]および横方向の主要類似度Ch[ip,j]を算出する。
【０１０３】 《周辺加算方法１》 Cv[ip,j]=(4・Cv0[ip,j]+Cv0[ip-1,j-1]+Cv0[ip-1,j+1] +Cv0[ip+1,j-1]+Cv0[ip+1,j+1])/8 ・・・式25 Ch[ip,j]=(4・Ch0[ip,j]+Ch0[ip-1,j-1]+Ch0[ip-1,j+1] +Ch0[ip+1,j-1]+Ch0[ip+1,j+1])/8 ・・・式26 《周辺加算方法２》 Cv[ip,j]=(4・Cv0[ip,j]+2・(Cv0[ip-1,j-1]+Cv0[ip+1,j-1]+Cv0[ip-1,j+1]+ Cv0[ip+1,j+1])+Cv0[ip,j-2]+Cv0[ip,j+2]+Cv0[ip-2,j]+ Cv0[ip+2,j])/16 ・・・式27 Ch[ip,j]=(4・Ch0[ip,j]+2・(Ch0[ip-1,j-1]+Ch0[ip+1,j-1]+Ch0[ip-1,j+1]+ Ch0[ip+1,j+1])+Ch0[ip,j-2]+Ch0[ip,j+2]+Ch0[ip-2,j]+ Ch0[ip+2,j])/16 ・・・式28 なお、《周辺加算方法１》は、図４（１）に示すように
して補間対象画素と周辺画素とにおける主要類似度成分
の加重加算を行うことに相当し、《周辺加算方法２》
は、図４（２）に示すようにして補間対象画素と周辺画
素とにおける主要類似度成分の加重加算を行うことに相
当する。
【０１０４】ところで、上述したGG間主要類似度成分、
BB(RR)間主要類似度成分、RR(BB)間主要類似度成分のよ
うに、同じ色成分の色情報を用いて算出される主要類似
度成分（以下、「同色間主要類似度成分」と称する。）
は、空間周波数が低く彩色部分の多い画像に対する類似
性の評価に適していることが実験によってわかってい
る。また、GR(GB)間主要類似度成分、BG(RG)間主要類似
度成分のように、異なる色成分の色情報を用いて算出さ
れる主要類似度成分（以下、「異色間主要類似度成分」
と称する。）は、空間周波数が高く無彩色部分が多い画
像に対する類似性の評価に適していることが実験によっ
てわかっている。さらに、輝度間主要類似度成分は、彩
色部分と、ある程度まで空間周波数の高い部分とを擁す
る画像に対する類似性の評価に適していることが実験に
よってわかっている。
【０１０５】すなわち、同色間主要類似度成分、異色間
主要類似度成分、輝度間主要類似度成分を加重加算して
得られる主要類似度は、多様な画像に対して類似性の評
価を高精度で行うことが可能である。また、同色間主要
類似度成分として算出される３種類の主要類似度成分
（GG間主要類似度成分、BB(RR)間主要類似度成分、RR(B
B)間主要類似度成分）は、類似性の評価に際して果たす
役割を色成分同士で互いに補うことができ、異色間主要
類似度成分として算出される２種類の主要類似度成分
（GR(GB)間主要類似度成分、BG(RG)間主要類似度成分）
も、類似性の評価に際して果たす役割を色成分同士で互
いに補うことができる。
【０１０６】さらに、第１の実施形態では、補間対象画
素における主要類似度成分の加重加算の結果と、周辺画
素における主要類似度成分の加重加算の結果とを加重加
算することによって、縦方向の主要類似度Cv[ip,j]およ
び横方向の主要類似度Ch[ip,j]が算出される。そのた
め、縦方向の主要類似度Cv[ip,j]および横方向の主要類
似度Ch[ip,j]は、補間対象画素と周辺画素とにおける色
情報の連続性が反映され易く、広域的な類似性を判定す
ることができる。
【０１０７】なお、第１の実施形態において、縦方向の
主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]
は、値が小さい程、類似性が強いことを示す。補間処理
部１７は、以上説明したようにして縦方向の主要類似度
Cv[ip,j]および横方向の主要類似度Ch[ip,j]を算出する
と、縦方向の主要類似度Cv[ip,j]および横方向の主要類
似度Ch[ip,j]に基づき、ベイア配列上の補間対象画素に
おける縦方向および横方向に対する類似性（以下、「縦
横主要類似性」と称する。）を判定する（図２Ｓ２）。
そして、このような判定結果として、縦横方向の類似性
を示す指標HV[ip,j]に以下のような値を設定する。
【０１０８】例えば、補間処理部１７は、任意の閾値Th
1について、|Cv[ip,j]-Ch[ip,j]|＞Th1 かつ Cv[ip,
j]＜Ch[ip,j]が成り立つ場合、横方向よりも縦方向の主
要類似性が強いと判断して指標HV[ip,j]に１を設定し
（図２Ｓ３）、|Cv[ip,j]-Ch[ip,j]|＞Th1 かつ Cv[i
p,j]＞Ch[ip,j]が成り立つ場合、縦方向よりも横方向の
主要類似性が強いと判定して指標HV[ip,j]に−１を設定
し（図２Ｓ４）、|Cv[ip,j]-Ch[ip,j]|≦Th1が成り立つ
場合、縦横間で主要類似性に区別がつかないと判定して
指標HV[ip,j]に０を設定する（図２Ｓ５）。
【０１０９】なお、閾値Th1は、縦方向の主要類似度Cv
[ip,j]と横方向の主要類似度Ch[ip,j]との差異が微少で
ある場合、ノイズの影響によって一方の主要類似性が強
いと誤判定されることを避ける役割を果たす。そのた
め、ノイズの多いカラー画像に対しては、閾値Th1の値
を高く設定することによって、主要類似性の判定の精度
が高められる。
【０１１０】次に、補間処理部１７は、以上説明したよ
うな縦横主要類似性の判定において、主要類似性が強い
方向が不明であったか否かを判定し（図２Ｓ６）、主要
類似性が強い方向が不明であった場合には、補間対象画
素における縦方向の詳細な類似度を示す「縦方向の微細
部類似度Cvs[ip,j]」と、横方向の詳細な類似度を示す
「横方向の微細部類似度Chs[ip,j]」とを算出する（図
２Ｓ７）。
【０１１１】なお、第１の実施形態において、主要類似
性が強い方向が不明である場合とは、指標HV[ip,j]に０
が設定された場合（縦横間で主要類似性に区別がつかな
い場合）に相当する。ところで、微細部類似度は、主要
類似度では判定できないサブピクセルピッチの類似性を
捕らえることが重要であり、できるだけ多くの色情報を
用いて正確に算出することが望ましい。以下に示すよう
に算出される微細部類似度は、サブピクセルピッチに至
る詳細な類似性を判定することが可能である。
【０１１２】以下、縦方向の微細部類似度Cvs[ip,j]お
よび横方向の微細部類似度Chs[ip,j]を算出する処理の
詳細を説明する。まず、補間処理部１７は、以下の式29
〜式34によって定義される縦方向および横方向に対する
複数種類の微細部類似度成分を算出する。なお、右辺の
座標表示は、図２８（２）のサブピクセル型ベイア配列
上の位置を示す。
【０１１３】 縦方向のRR(BB)間微細部類似度成分： Cvs1[ip,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|+ |Z[i+1,j-2]-Z[i+1,j]|+|Z[i+1,j+2]-Z[i+1,j]|)/4 ・・・式29 横方向のRR(BB)間微細部類似度成分： Chs1[ip,j]=|Z[i,j]-Z[i+1,j]| ・・・式30 縦方向のGG間微細部類似度成分： Cvs2[ip,j]=(|G[i,j-1]-G[i,j+1]|+|G[i+1,j-1]-G[i+1,j+1]|)/2 ・・・式31 横方向のGG間微細部類似度成分： Chs2[ip,j]=(|G[i,j-1]-G[i+1,j-1]|+|G[i,j+1]-G[i+1,j+1]|)/2 ・・・式32 縦方向のGR(GB)間微細部類似度成分： Cvs3[ip,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|+ |G[i+1,j-1]-Z[i+1,j]|+|G[i+1,j+1]-Z[i+1,j]|)/4 ・・・式33 横方向のGR(GB)間微細部類似度成分： Chs3[ip,j]=(|G[i-1,j]-Z[i,j]|+|G[i+2,j]-Z[i+1,j]|)/2 ・・・式34 なお、上述した各々の微細部類似度成分を構成する類似
度の要素は、差分の絶対値を用いて算出しているが、絶
対値の２乗やべき乗等によって算出しても良い。
【０１１４】ところで、縦方向の微細部類似度成分を算
出する際に用いる色情報間の距離は、主要類似度成分の
場合と変わらないが、横方向の微細部類似度成分は、主
要類似度成分の算出時に消滅してしまうサブピクセル間
隔での類似度成分であるため、更に詳細な類似性を判定
することが可能である。図５は、微細部類似度成分を算
出する際に用いる色情報の位置を示す図である。
【０１１５】ところで、図５に示すように、横方向に隣
接する２つのサブピクセル間の距離をＬとすると、縦方
向のRR間微細部類似度成分および縦方向のGG間微細部類
似度成分は、４Ｌ離れた位置のサブピクセルの色情報を
用いて算出され、縦方向のGR間微細部類似度成分は、２
Ｌ離れた位置のサブピクセルの色情報を用いて算出され
ることになる。
【０１１６】そこで、第１の実施形態において、補間処
理部１７は、以下の式35および式36に示すように、複数
種類の微細部類似度成分を加重係数s1,s2,s3によって加
重加算する際、縦方向と横方向との微細部類似度成分
を、サブピクセル間の距離によって規格化して用いる。 Cvs0[ip,j]=(s1・Cvs1[ip,j]/4+s2・Cvs2[ip,j]/4+s3・Cvs3[ip,j]/2)/ (s1+s2+s3) ・・・式35 Chs0[ip,j]=(s1・Chs1[ip,j]+s2・Chs2[ip,j]+s3・Chs3[ip,j])/ (s1+s2+s3) ・・・式36 なお、第１の実施形態では、微細部類似度成分のサブピ
クセル間の距離による規格化を、微細部類似度成分の加
重加算時（式35の算出時）に行っているが、例えば、式
29の分母を16に置き換え、式31の分母を8に置き換え、
式33の分母を8に置き換えることによって、規格化され
た微細部類似度成分を直接算出することもできる（ただ
し、このような場合、式35における各々の微細部類似度
成分を距離に応じて除算する演算は不要である）。
【０１１７】また、式35および式36において、加重係数
s1,s2,s3の比率としては、例えば、「s1:s2:s3=1:1:1」
などが考えられる。ところで、式35および式36で算出さ
れるCvs0[ip,j]およびChs0[ip,j]は、そのまま、補間対
象画素の縦方向の微細部類似度Cvs[ip,j]および横方向
の微細部類似度Chs[ip,j]とすることができるが、ここ
では、周辺加算によって、これらの類似度を算出する例
を示す。
【０１１８】すなわち、補間処理部１７は、補間対象画
素と周辺画素とにおける微細部類似度成分の方向別の加
重加算の結果（Cvs0[ip,j]、Cvs0[ip-1,j-1]、Cvs0[ip-
1,j+1]、Cvs0[ip+1,j-1]、Cvs0[ip+1,j+1]など）を、以
下の《周辺加算方法１》または《周辺加算方法２》のよ
うに加重加算して、補間対象画素の縦方向の微細部類似
度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]を算
出する（図４に示すように補間対象画素と周辺画素とに
おける類似度成分を加重加算することに相当する）。
【０１１９】 《周辺加算方法１》 Cvs[ip,j]=(4・Cvs0[ip,j]+Cvs0[ip-1,j-1]+Cvs0[ip-1,j+1] +Cvs0[ip+1,j-1]+Cvs0[ip+1,j+1])/8 ・・・式37 Chs[ip,j]=(4・Chs0[ip,j]+Chs0[ip-1,j-1]+Chs0[ip-1,j+1] +Chs0[ip+1,j-1]+Chs0[ip+1,j+1])/8 ・・・式38 《周辺加算方法２》 Cvs[ip,j]=(4・Cvs0[ip,j] +2・(Cvs0[ip-1,j-1]+Cvs0[ip+1,j-1]+Cvs0[ip-1,j+1]+Cvs0[ip+1,j+1]) +Cvs0[ip,j-2]+Cvs0[ip,j+2]+Cvs0[ip-2,j]+Cvs0[ip+2,j])/16 ・・・式39 Chs[ip,j]=(4・Chs0[ip,j] +2・(Chs0[ip-1,j-1]+Chs0[ip+1,j-1]+Chs0[ip-1,j+1]+Chs0[ip+1,j+1]) +Chs0[ip,j-2]+Chs0[ip,j+2]+Chs0[ip-2,j]+Chs0[ip+2,j])/16 ・・・式40 ところで、上述したGR(GB)間微細部類似度成分のよう
に、異なる色成分の色情報を用いて算出される微細部類
似度成分（以下、「異色間微細部類似度成分」と称す
る。）は、縦方向に関して最も色情報間の距離が短いの
で、微細部分における類似性の判定に有利であるが、色
成分が一致していないので無彩色に近い画像にしか適さ
ない。一方、RR(BB)間微細部類似度成分、GG間微細部類
似度成分のように、同じ色成分の色情報を用いて算出さ
れる微細部類似度成分（以下、「同色間微細部類似度成
分」と称する。）は、彩色部分を含む画像に適してい
る。
【０１２０】すなわち、異色間微細部類似度成分と同色
間微細部類似度成分とを加重加算して得られる微細部類
似度は、多様な画像に対して類似性の評価を高精度で行
うことが可能である。
【０１２１】さらに、第１の実施形態では、補間対象画
素における微細部類似度成分の加重加算の結果と、周辺
画素における微細部類似度成分の加重加算の結果とを加
重加算することによって、縦方向の微細部類似度Cvs
[ip,j]および横方向の微細部類似度Chs[ip,j]が算出さ
れる。そのため、縦方向の微細部類似度Cvs[ip,j]およ
び横方向の微細部類似度Chs[ip,j]は、補間対象画素と
周辺画素とにおける色情報の連続性が反映され易く、広
域的な類似性を判定することができる。
【０１２２】補間処理部１７は、以上説明したようにし
て縦方向の微細部類似度Cvs[ip,j]および横方向の微細
部類似度Chs[ip,j]を算出すると、縦方向の微細部類似
度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]に基
づき、補間対象画素におけるサブピクセルピッチの縦方
向および横方向に対する類似性（以下、「微細部類似
性」と称する。）を判定し（図２Ｓ８）、横方向よりも
縦方向の微細部類似性が強いと判定された場合、指標HV
[ip,j]の値を０から１に置き換える（図２Ｓ９）。
【０１２３】例えば、補間処理部１７は、任意の閾値Th
sについて、|Cvs[ip,j]-Chs[ip,j]|＞Ths かつ Cvs[i
p,j]＜Chs[ip,j]が成り立つ場合、横方向よりも縦方向
の類似性が強いと判断して指標HV[ip,j]に１を設定す
る。また、補間処理部１７は、|Cv[ip,j]-Ch[ip,j]|≦T
hsが成り立つ場合、微細部類似性に区別がつかないと判
定して指標HV[ip,j]を０のままにしておく。
【０１２４】ところで、サブピクセルは画素を縦方向に
分割しているため、サブピクセル単位で補間処理を行っ
ても横方向の類似性に関する解像は上がらない。すなわ
ち、横方向の類似性に関しては、微細部類似性は主要類
似性以上の情報量を得ていないことになる。そこで、第
１の実施形態では、|Cv[ip,j]-Ch[ip,j]|＞Ths かつ
Cv[ip,j]＞Ch[ip,j]が成り立つ場合にも、指標HV[ip,j]
を０のままにしておく。
【０１２５】なお、閾値Thsは、上述した閾値Th1と同様
に、ノイズの影響によって一方の類似性が強いと誤判定
されることを避ける役割を果たす。次に、補間処理部１
７は、指標HV[ip,j]が如何なる値であるかを判定し（図
２Ｓ１０）、以下のようにして２つのサブピクセルの緑
の補間値G[i,j]、G[i+1,j]を算出する。
【０１２６】 HV[ip,j]=1のとき G[i,j]=GvL G[i+1,j]=GvR：図２Ｓ１１ HV[ip,j]=0のとき G[i,j]=(GvL+GhL)/2 G[i+1,j]=(GvR+GhR)/2：図２Ｓ１２ HV[ip,j]=1のとき G[i,j]=GhL G[i+1,j]=GhR：図２Ｓ１３ ただし、GvL,GvR,GhL,GhRは、以下の《平均補間》また
は《色差補間》のようにして算出される値である。
【０１２７】《平均補間》 GvL=(G[i,j-1]+G[i,j+1])/2 ・・・式41 GvR=(G[i+1,j-1]+G[i+1,j+1])/2 ・・・式42 GhL=(2・G[i-1,j]+G[i+2,j])/3 ・・・式43 GhR=(G[i-1,j]+2・G[i+2,j])/3 ・・・式44 すなわち、《平均補間》において、GvL,GvRは、各々の
補間対象サブピクセルの縦方向に隣接して緑色成分が存
在するサブピクセルの色情報の平均値である。一方、Gh
L,GhRは、各々の補間対象サブピクセルの横方向に近接
して緑色成分が存在するサブピクセルの色情報を、各々
の補間対象サブピクセルとの距離に応じて平均化した値
である。
【０１２８】 《色差補間》 GvL=(G[i,j-1]+G[i,j+1])/2+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ・・・式45 GvR=(G[i+1,j-1]+G[i+1,j+1])/2 +(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/4 ・・・式46 GhL=(2・G[i-1,j]+G[i+2,j])/3 +(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/9 ・・・式47 GhR=(G[i-1,j]+2・G[i+2,j])/3 +(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/9 ・・・式48 すなわち、《色差補間》では、緑色成分と補間対象サブ
ピクセルにおける色成分（赤色成分または青色成分）と
の色差（G-RやG-Bに相当する）が一定であると仮定し、
補間対象サブピクセルの縦方向（または、横方向）に近
接する緑色成分が存在するサブピクセルの色成分（赤色
成分または青色成分）の補間とその位置における色差の
成分の算出、および、このような色差を用いた補間対象
サブピクセルの色差の補間、補間対象サブピクセルの色
差を緑の補間値に変換する演算を一括して行うことに相
当する。
【０１２９】また、式45〜式48は、《平均補間》の式41
〜式44と同様にして算出される値を、補間対象サブピク
セルと同色の色情報を用いて補正することによって、緑
の補間値を算出する演算式であると言える。すなわち、
式45〜式48において、第１項は、「緑色成分の局所的な
平均情報」であり、第２項は、補間対象サブピクセルに
おける凹凸の情報を反映した「補間対象サブピクセルと
同一の色成分による局所的な変曲情報」である。
【０１３０】ただし、補間処理が行われる前の画像デー
タに対してγ階調変換を施す場合、γ変換が対数特性に
近いので、《色差補間》では、色成分の比（G/RやG/Bに
相当する）が一定であると仮定することになる。なお、
図６は、《色差補間》で用いる色情報の位置を示す図で
ある。以上説明したように、補間処理部１７は、主要類
似度によって画素ピッチでの類似性の強弱を判定し、こ
のような判定によって類似性が強い方向が不明であった
場合に、微細部類似度によってサブピクセルピッチでの
類似性の強弱を判定するが、主要類似度および微細部類
似度は、補間対象画素の類似度成分と周辺画素の類似度
成分とを加重加算することによって算出されるため、補
間対象画素と周辺画素とにおける色情報の連続性が反映
され易く、広域的な判定をすることができる。また、微
細部類似度の算出時には、複数種類の微細部類似度成分
が加重加算されるため、多くの色情報が用いられること
になり、このような加重加算時には、複数種類の微細部
類似度成分がサブピクセル間の距離によって規格化され
る。
【０１３１】したがって、第１の実施形態のＧ補間処理
では、補間対象画素との類似性が強い方向を精度良く判
定することができるため、画像全体の調和を崩すことな
く補間値を算出することが可能である。次に、補間処理
部１７は、ＲＢ補間処理を行う。以下、ＲＢ補間処理の
動作として、図３に示した《ＲＢ補間処理１》と《ＲＢ
補間処理２》との２つのＲＢ補間処理の動作を説明す
る。なお、以下では、赤の補間値（または、青の補間
値）を補うべき２つのサブピクセルを、補間対象サブピ
クセルと称して説明を行う。また、青の補間値は、赤の
補間値と同様に算出できるため、以下では、説明を省略
する。
【０１３２】《ＲＢ補間処理１》まず、《ＲＢ補間処理
１》において、補間処理部１７は、補間対象サブピクセ
ルに欠落する色成分が存在するサブピクセル毎に、その
色成分の色情報から緑の補間値（上述したＧ補間処理に
よって得られた値）を減算し、色差を算出する（図３Ｓ
１０）。
【０１３３】例えば、補間処理部１７は、赤色成分の色
情報が存在して互いに隣接する２つのサブピクセルの座
標を[i,j],[i+1,j]とすると、これらのサブピクセルに
おける赤色成分を含む色差Cr[i,j],Cr[i,j]を、 Cr[i,j]=R[i,j]-G[i,j] ・・・式49 Cr[i+1,j]=R[i+1,j]-G[i+1,j] ・・・式50 によって算出する。
【０１３４】次に、補間処理部１７は、補間対象サブピ
クセルに対し最も近接するサブピクセルで算出された色
差を用いて、補間対象サブピクセルの色差を線形補間す
る（図３Ｓ１１）。例えば、２つの補間対象サブピクセ
ルの座標を[m,n],[m+1,n]とし、これらの２つの補間対
象サブピクセルに赤色成分の色情報が欠落していると仮
定すると、補間処理部１７は、座標[m,n],[m+1,n]の垂
直方向に位置するサブピクセルで赤色成分を含む色差が
算出されている場合（図７（１）に対応する）には、赤
色成分を含む色差Cr[m,n],Cr[m+1,n]を、 Cr[m,n]=(Cr[m,n-1]+Cr[m,n+1])/2 ・・・式51 Cr[m+1,n]=(Cr[m+1,n-1]+Cr[m+1,n+1])/2 ・・・式52 によって線形補間する。
【０１３５】また、補間処理部１７は、座標[m,n],[m+
1,n]の水平方向に位置するサブピクセルで赤色成分を含
む色差が算出されている場合（図７（２）に対応する）
には、赤色成分を含む色差Cr[m,n],Cr[m+1,n]を、 Cr[m,n]=(2・Cr[m-1,n]+Cr[m+2,n])/3 ・・・式53 Cr[m+1,n]=(Cr[m-1,n]+2・Cr[m+2,n])/3 ・・・式54 によって線形補間する。
【０１３６】さらに、補間処理部１７は、座標[m,n],[m
+1,n]の斜め方向に位置するサブピクセルで赤色成分を
含む色差が算出されている場合（図７（３）に対応す
る）には、赤色成分を含む色差Cr[m,n],Cr[m+1,n]を、 によって線形補間する。
【０１３７】次に、補間処理部１７は、補間対象サブピ
クセル毎に、緑色成分の色情報（緑色の補間値であって
も良い）によって色差を補間値に変換する（図３Ｓ１
２）。すなわち、補間処理部１７は、上述した任意の座
標[m,n],[m+1,n]に位置するサブピクセルの赤の補間値R
[m,n],R[m+1,n]については、 R[m,n]=Cr[m,n]+G[m,n] ・・・式57 R[m+1,n]=Cr[m+1,n]+G[m+1,n] ・・・式58 によって算出する。
【０１３８】ところで、《ＲＢ補間処理１》では、孤立
点（周辺画素との類似性の弱い空間周波数の高い画像部
分）の周辺に偽色が残るという問題が生じるため、《Ｒ
Ｂ補間処理１》を行った後には、画像データをＬａｂ表
色系に変換して得られる色相ａ，ｂ面に対して個別にme
dianフィルタを掛けるという事後処理を行うことがあ
る。
【０１３９】また、このようにmedianフィルタを掛ける
場合、ベイア配列上の３×３（＝９点）のフィルタサイ
ズでは、ほとんど有効に作用しないため、フィルタサイ
ズをベイア配列上の５×５（＝２５点）の広域に設定す
る必要がある。すなわち、《ＲＢ補間処理１》によって
孤立点の周辺の偽色を取り除いた赤や青の補間値を得る
には、フィルタサイズが広域に設定されたmedian処理を
別途行う必要があるため、非常に重い処理が課せられる
ことになる。また、median処理におけるフィルタサイズ
を大きくすることは、彩色部分の細かい構造（以下、
「色構造」と称する）を破壊する危険性を高めることに
繋がる。
【０１４０】そこで、以下では、《ＲＢ補間処理２》と
して、孤立点の周辺に偽色を残すことなく、赤や青の補
間値を高速かつ高精度で算出できるＲＢ補間処理を提示
する。なお、《ＲＢ補間処理２》は、請求項５３ないし
請求項５８に対応する。 《ＲＢ補間処理２》まず、《ＲＢ補間処理２》におい
て、補間処理部１７は、《ＲＢ補間処理１》と同様に、
補間対象サブピクセルに欠落する色成分が存在するサブ
ピクセル毎に色差を算出する（図３Ｓ２０）。
【０１４１】なお、このような処理によって、赤色成分
を含む色差が算出された状態では、赤色成分を含む色差
は、赤色成分の色情報が欠落して青色成分の色情報が存
在する２つのサブピクセルを斜め４方向から囲むように
配置されることになる。補間処理部１７は、色差が算出
されたサブピクセルによって斜め４方向が囲まれる補間
対象サブピクセル毎に、斜め方向に位置するサブピクセ
ルにおける色差の中央値で補間対象サブピクセルの色差
を補間する（図３Ｓ２１）。
【０１４２】例えば、図８（１）に示すように、赤色成
分を含む色差Crが算出されたサブピクセルによって、斜
め４方向が囲まれる任意の２つのサブピクセルの座標を
[m,n],[m+1,n]とすると、補間処理部１７は、これら２
つサブピクセルにおける赤色を含む色差Cr[m,n],Cr[m+
1,n]を、 Cr[m,n]=median｛Cr[m-1,n-1],Cr[m-1,n+1], Cr[m+2,n-1],Cr[m+2,n+1]｝ ・・・式59 Cr[m+1,n]=median｛Cr[m-1,n-1],Cr[m-1,n+1], Cr[m+2,n-1],Cr[m+2,n+1]｝ ・・・式60 によって算出する。ただし、median｛ ｝は、複数の要
素のmedian値を算出する関数を示し、要素の数が偶数で
ある場合、真ん中２つの要素の平均値をとるものとす
る。
【０１４３】なお、以上説明したようにして赤色成分を
含む色差が算出された状態では、赤色成分を含む色差
は、赤色成分および青色成分の色情報が欠落する２つの
サブピクセルを上下左右４方向から囲むように配置され
ることになる。補間処理部１７は、色差が算出されたサ
ブピクセルによって上下左右４方向が囲まれる補間対象
サブピクセル毎に、上下左右方向に位置するサブピクセ
ルにおける色差の中央値で補間対象サブピクセルの色差
を補間する（図３Ｓ２２）。
【０１４４】例えば、図８（２）に示すように、赤色成
分を含む色差Crが算出されたサブピクセルによって、上
下左右４方向が囲まれる任意の２つのサブピクセルの座
標を[m,n],[m+1,n]とすると、補間処理部１７は、これ
ら２つサブピクセルにおける赤色を含む色差Cr[m,n],Cr
[m+1,n]を、 Cr[m,n]=median｛Cr[m-1,n],Cr[m+2,n], Cr[m,n-1],Cr[m,n+1]｝ ・・・式61 Cr[m+1,n]=median｛Cr[m-1,n],Cr[m+2,n], Cr[m+1,n-1],Cr[m+1,n+1]｝ ・・・式62 によって算出する。
【０１４５】次に、補間処理部１７は、《ＲＢ補間処理
１》と同様に、補間対象サブピクセル毎に、緑色成分の
色情報によって色差を補間値に変換する（図３Ｓ２
３）。以上説明したように、《ＲＢ補間処理２》では、
median処理は、色相を表す色差に対してのみ行われ、輝
度成分に対しては行われない。また、ＲＢ補間処理にお
いて、図９（１）の○印が付与された２つのサブピクセ
ルに赤の補間値を補う場合、ベイア配列上の３×５の範
囲に位置する色差Crを用いて×印が付与されたサブピク
セルにおける赤色成分を含む色差が算出されるので、○
印が付与された２つのサブピクセルにおける赤色成分を
含む色差は、ベイア配列上の３×５の範囲に位置する色
差Crに重み付けをしてmedian処理を行った結果に近い値
を示す。また、図９（２）の△印が付与された２つのサ
ブピクセルに赤の補間値を補う場合、ベイア配列上の５
×３の範囲に位置する色差Crを用いて×印が付与された
サブピクセルにおける赤色成分を含む色差が算出される
ので、△印が付与された２つのサブピクセルにおける赤
色成分を含む色差は、ベイア配列上の５×３の範囲に位
置する色差Crに重み付けをしてmedian処理を行った結果
に近い値を示す。
【０１４６】すなわち、《ＲＢ補間処理２》では、フィ
ルタサイズを小さく抑えつつ、実質的には広域なmedian
処理と同等の効果が得られるため、色構造を破壊するこ
となく、孤立点の周辺における偽色の発生を低減するこ
とができる。また、《ＲＢ補間処理２》では、補間処理
を行いながらmedian処理を行うため、《ＲＢ補間処理
１》を行った後にmedian処理を行う場合と比べて処理効
率が良く、かつ、図３Ｓ２１と図３Ｓ２２との各々のme
dian処理において、４点の色差のみを用いるため、非常
に高速なmedian処理が可能である。
【０１４７】したがって、《ＲＢ補間処理２》では、色
構造を破壊することなく、孤立点の周辺における偽色の
発生を低減しつつ、補間値を高速に算出することができ
る。ところで、上述した第１の実施形態におけるＧ補間
処理では、色差が一定でない色境界部分において、偽色
が発生し易い。また、撮影光学系１２に倍率色収差が存
在する場合、赤色成分および青色成分は、図１０に示す
ように、緑色成分の結像位置から、それぞれ少しずつず
れた位置に結像する（以下、このような現象を「色ズ
レ」と称する。）。そのため、第１の実施形態では、こ
のような色ズレ等によって色差が適切に算出できず偽色
が発生する可能性がある。特に、《色差補間》を適用し
たＧ補間処理では、後述する倍率色収差による過補正が
原因で偽色が発生するおそれがある。
【０１４８】図１１は、倍率収差による過補正を説明す
る図である。図１１では、撮影光学系１２に倍率色収差
が存在しない状態で、各サブピクセルの色情報が図１１
（１）の●印のように与えられている場合（補間処理の
対象となる画像データの類似性が水平方向に強く、緑色
成分の色情報が一定で、赤色成分や青色成分の色情報が
補間対象サブピクセル（Ｚ５、Ｚ６が存在するサブピク
セル）の近傍でなだらかに変化する場合）、式47や式48
の第２項が０となるため、Ｇ４とＧ７とを平均化した値
（式47や式48の第１項に相当する）は補正されることな
くＧ５やＧ６（緑の補間値）となる。
【０１４９】しかし、Ｚ１、Ｚ２、Ｚ５、Ｚ６、Ｚ９、
Ｚ１０が赤色成分の色情報であり、撮影光学系１２の倍
率色収差によって、これらの赤色成分の色情報が右方向
に２サブピクセル分ずつずれた場合、各サブピクセルの
色情報は、図１１（２）のように変化することになる。
そのため、このような場合、式47や式48の第２項が０と
ならず、Ｇ４とＧ７とを平均化した値が過剰に補正（以
下、「過補正」と称する）され、本来、Ｇ４やＧ７と同
程度の値となるべきＧ５やＧ６は、Ｇ４やＧ７よりも大
きな値となる。
【０１５０】なお、Ｚ１、Ｚ２、Ｚ５、Ｚ６、Ｚ９、Ｚ
１０が青色成分の色情報であり、撮影光学系１２の倍率
色収差によって、これらの青色成分の色情報が左方向に
２サブピクセル分ずつずれた場合、本来、Ｇ４やＧ７と
同程度の値となるべきＧ５やＧ６は、Ｇ４やＧ７よりも
小さい値となる。そこで、第２の実施形態では、このよ
うな過補正等による偽色の発生を抑制できる補間処理を
提示する。
【０１５１】《第２の実施形態》以下、第２の実施形態
の動作を説明する。なお、第２の実施形態におけるＲＢ
補間処理は、第１の実施形態と同様にして行えるため、
ここでは、説明を省略する。図１２および図１３は、第
２の実施形態における補間処理部１７の動作フローチャ
ートであり、Ｇ補間処理における補間処理部１７の動作
を示す。
【０１５２】以下、第２の実施形態におけるＧ補間処理
について説明するが、第１の実施形態と同じ動作につい
ては、詳細な説明を省略する。まず、補間処理部１７
は、第１の実施形態と同様に、縦方向の主要類似度Cv[i
p,j]と、横方向の主要類似度Ch[ip,j]とを算出して（図
１２Ｓ１）、縦横主要類似性を比較し（図１２Ｓ２）、
指標HV[ip,j]に値を設定する（図１２Ｓ３〜Ｓ５）。
【０１５３】次に、補間処理部１７は、ベイア配列上の
補間対象画素における斜め45度方向の主要類似度C45
[ip,j]および斜め135度方向の主要類似度C135[ip,j]を
算出する（図１２Ｓ６）。ここで、斜め45度方向の類似
度C45[ip,j]および斜め135度方向の類似度C135[i p,j]を
算出する処理の詳細を説明する。
【０１５４】まず、補間処理部１７は、以下の式63〜式
70によって定義される斜め45度方向および斜め135度方
向に対する複数種類の主要類似度成分を算出する。 斜め45度方向のGG間主要類似度成分： C45_1[ip,j]=(|G[ip,j-1]-G[ip-1,j]|+|G[ip+1,j]-G[ip,j+1]|)/2 ・・・式63 斜め135度方向のGG間主要類似度成分： C135_1[ip,j]=(|G[ip,j-1]-G[ip+1,j]|+|G[ip-1,j]-G[ip,j+1]|)/2 ・・・式64 斜め45度方向のBB(RR)間主要類似度成分： C45_2[ip,j]=|Z[ip+1,j-1]-Z[ip-1,j+1]| ・・・式65 斜め135度方向のBB(RR)間主要類似度成分： C135_2[ip,j]=|Z[ip-1,j-1]-Z[ip+1,j+1]| ・・・式66 斜め45度方向のRR(BB)間主要類似度成分： C45_3[ip,j]=(|Z[ip+2,j-2]-Z[ip,j]|+|Z[ip-2,j+2]-Z[ip,j]|)/2 ・・・式67 斜め135度方向のRR(BB)間主要類似度成分： C135_3[ip,j]=(|Z[ip-2,j-2]-Z[ip,j]|+|Z[ip+2,j+2]-Z[ip,j]|)/2 ・・・式68 斜め45度方向のBR(RB)間主要類似度成分： C45_4[ip,j]=(|Z[ip+1,j-1]-Z[ip,j]|+|Z[ip-1,j+1]-Z[ip,j]|)/2 ・・・式69 斜め135度方向のBR(RB)間主要類似度成分： C135_4[ip,j]=(|Z[ip-1,j-1]-Z[ip,j]|+|Z[ip+1,j+1]-Z[ip,j]|)/2 ・・・式70 なお、上述した各々の主要類似度成分を構成する類似度
の要素は、差分の絶対値を用いて算出しているが、絶対
値の２乗やべき乗等によって算出しても良い。
【０１５５】次に、補間処理部１７は、以下の式71およ
び式72に示すようにして、加重係数b1,b2,b3,b4によっ
て、複数種類の主要類似度成分を各々の方向毎に加重加
算する。 C45_0[ip,j]=(b1・C45_1[ip,j]+b2・C45_2[ip,j]+b3・C45_3[ip,j] +b4・C45_4[ip,j])/(b1+b2+b3+b4) ・・・式71 C135_0[ip,j]=(b1・C135_1[ip,j]+b2・C135_2[ip,j]+b3・C135_3[ip,j] +b4・C135_4[ip,j])/(b1+b2+b3+b4) ・・・式72 なお、式71および式72において、加重係数b1,b2,b3,b4
の比率としては、例えば、「b1:b2:b3:b4=2:1:1:2」な
どが考えられる。
【０１５６】このようにして算出されるC45_0[ip,j]お
よびC135_0[ip,j]は、そのまま、補間対象画素の斜め45
度方向の主要類似度C45[ip,j]および斜め135度方向の主
要類似度C135[ip,j]とすることができるが、ここでは、
周辺加算によって、これらの類似度を算出する例を示
す。すなわち、補間処理部１７は、補間対象画素と周辺
画素とにおける主要類似度成分の方向別の加重加算の結
果（C45_0[ip,j]、C45_0[ip-1,j-1]、C45_0[ip-1,j+
1]、C45_0[ip+1,j-1]、C45_0[ip+1,j+1]など）を、以下
の《周辺加算方法１》または《周辺加算方法２》のよう
に加重加算して、補間対象画素の斜め45度方向の主要類
似度C45[ip,j]および斜め135度方向の主要類似度C135[i
p,j]を算出する（図４に示すように補間対象画素と周辺
画素とにおける類似度成分を加重加算することに相当す
る）。
【０１５７】 《周辺加算方法１》 C45[ip,j]=(4・C45_0[ip,j]+C45_0[ip-1,j-1]+C45_0[ip+1,j-1] +C45_0[ip-1,j+1]+C45_0[ip+1,j+1])/8 ・・・式73 C135[ip,j]=(4・C135_0[ip,j]+C135_0[ip-1,j-1]+C135_0[ip+1,j-1] +C135_0[ip-1,j+1]+C135_0[ip+1,j+1])/8 ・・・式74 《周辺加算方法２》 C45[ip,j]=(4・C45_0[ip,j]+2・(C45_0[ip-1,j-1]+C45_0[ip+1,j-1] +C45_0[ip-1,j+1]+C45_0[ip+1,j+1])+C45_0[ip,j-2] +C45_0[ip,j+2]+C45_0[ip-2,j]+C45_0[ip+2,j])/16 ・・・式75 C135[ip,j]=(4・C135_0[ip,j]+2・(C135_0[ip-1,j-1]+C135_0[ip+1,j-1] +C135_0[ip-1,j+1]+C135_0[ip+1,j+1])+C135_0[ip,j-2] +C135_0[ip,j+2]+C135_0[ip-2,j]+C135_0[ip+2,j])/16 ・・・式76 なお、このようにして算出される斜め45度方向の主要類
似度C45[ip,j]および斜め135度方向の主要類似度C135[i
p,j]において、複数種類の主要類似度成分や周辺画素と
の加重加算は、上述した縦方向の主要類似度Cv[ip,j]お
よび横方向の主要類似度Ch[ip,j]と同様の役割を果た
す。また、第２の実施形態において、斜め45度方向の主
要類似度C45[ip,j]および斜め135度方向の主要類似度C1
35[ip,j]は、値が小さい程、類似性が強いことを示す。
【０１５８】補間処理部１７は、斜め45度方向の主要類
似度C45[ip,j]および斜め135度方向の主要類似度C135[i
p,j]を算出すると、斜め45度方向の主要類似度C45[ip,
j]および斜め135度方向の主要類似度C135[ip,j]に基づ
き、補間対象画素の斜め45度方向および斜め135度方向
に対する類似性（以下、「斜め主要類似性」と称す
る。）を判定する（図１２Ｓ７）。そして、このような
判定結果として、斜め方向の類似性を示す指標DN[ip,j]
に以下のような値を設定する。
【０１５９】例えば、補間処理部１７は、任意の閾値Th
2について、|C45[ip,j]-C135[ip,j]|＞Th2 かつ C45
[ip,j]＜C135[ip,j]が成り立つ場合、斜め135度方向よ
りも斜め45度方向の主要類似性が強いと判断して指標DN
[ip,j]に１を設定し（図１２Ｓ８）、|C45[ip,j]-C135
[ip,j]|＞Th2 かつ C45[ip,j]＞C135[ip,j]が成り立
つ場合、斜め45度方向よりも斜め135度方向の主要類似
性が強いと判断して指標DN[ip,j]に−１を設定し（図１
２Ｓ９）、|C45[ip,j]-C135[ip,j]|≦Th2が成り立つ場
合、斜め方向間で主要類似性に区別がつかないと判断し
て指標DN[i p,j]に０を設定する（図１２Ｓ１０）。
【０１６０】なお、閾値Th2は、第１の実施形態におけ
る縦横主要類似性の比較に用いた閾値Th1と同様に、ノ
イズの影響によって一方の類似性が強いと誤判定される
ことを避ける役割を果たす。次に、補間処理部１７は、
以上説明したような縦横主要類似性および斜め主要類似
性の判定において、主要類似性が強い方向が不明であっ
たか否かを判定し（図１２Ｓ１１）、主要類似性が強い
方向が不明であった場合には、第１の実施形態と同様
に、縦方向の微細部類似度Cvs[ip,j]と横方向の微細部
類似度Chs[ip,j]とを算出する（図１２Ｓ１２）。
【０１６１】なお、第２の実施形態において、主要類似
性が強い方向が不明である場合とは、指標HV[ip,j]に０
が設定され、かつ、指標DN[ip,j]に０が設定された場合
（縦横間で主要類似性に区別がつかず、斜めの主要類似
性に区別がつかない場合）に相当する。補間処理部１７
は、縦方向の微細部類似度Cvs[ip,j]および横方向の微
細部類似度Chs[ip,j]を算出すると、第１の実施形態と
同様に、微細部類似性の強さを判定し（図１２Ｓ１
３）、横方向よりも縦方向の微細部類似性が強いと判定
された場合、指標HV[ip,j]の値を１に置き換える（図１
２Ｓ１４）。
【０１６２】次に、補間処理部１７は、縦横方向の類似
性を示す指標HV[ip,j]と斜め方向の類似性を示す指標DN
[ip,j]とが如何なる値であるかを判定して（図１２Ｓ１
５）、補間対象画素の類似性の強さを、以下のcase1〜c
ase9の何れかに分類する。 case1:(HV[ip,j],DN[ip,j])=(1,1):縦および斜め45度方
向の類似性が強い。 case2:(HV[ip,j],DN[ip,j])=(1,0):縦方向の類似性が強
い。
【０１６３】case3:(HV[ip,j],DN[ip,j])=(1,-1):縦お
よび斜め135度方向の類似性が強い。 case4:(HV[ip,j],DN[ip,j])=(0,1):斜め45度方向の類似
性が強い。 case5:(HV[ip,j],DN[ip,j])=(0,0):全ての方向の類似性
が強い、または、全ての方向の類似性が弱い。 case6:(HV[ip,j],DN[ip,j])=(0,-1):斜め135度方向の類
似性が強い。
【０１６４】case7:(HV[ip,j],DN[ip,j])=(-1,1):横お
よび斜め45度方向の類似性が強い。 case8:(HV[ip,j],DN[ip,j])=(-1,0):横方向の類似性が
強い。 case9:(HV[ip,j],DN[ip,j])=(-1,-1):横および斜め135
度方向の類似性が強い。 図１４は、(HV[ip,j],DN[ip,j])の値に対応する類似性
の強い方向を示す図である。
【０１６５】ところで、図１４では、「case5:(HV[ip,
j],DN[ip,j])=(0,0)」に対応する表示がされていない
が、case5のように、全ての方向の類似性が強い、また
は、全ての方向の類似性が弱い場合とは、補間対象画素
が平坦部に属している、または、孤立点（周辺画素との
類似性の弱い空間周波数の高い画像部分）であることに
相当する。
【０１６６】次に、補間処理部１７は、上述した判定結
果に応じて、以下のようにして緑の補間値G[i,j],G[i+
1,j]を算出する。 case1のとき:G[i,j]=Gv45L G[i+1,j]=Gv45R:図１３Ｓ１６ case2のとき:G[i,j]=GvL G[i+1,j]=GvR:図１３Ｓ１７ case3のとき:G[i,j]=Gv135L G[i+1,j]=Gv135R:図１３Ｓ１８ case4のとき:G[i,j]=(Gv45L+Gh45L)/2 G[i+1,j]=(Gv45R+Gh45R)/2:図１３Ｓ１９ case5のとき:G[i,j]=(GvL+GhL)/2 G[i+1,j]=(GvR+GhR)/2:図１３Ｓ２０ case6のとき:G[i,j]=(Gv135L+Gh135L)/2 G[i+1,j]=(Gv135R+Gh135R)/2:図１３Ｓ２１ case7のとき:G[i,j]=Gh45L G[i+1,j]=Gh45R:図１３Ｓ２２ case8のとき:G[i,j]=GhL G[i+1,j]=GhR:図１３Ｓ２３ case9のとき:G[i,j]=Gh135L G[i+1,j]=Gh135R:図１３Ｓ２４ ただし、 GvL=(G[i,j-1]+G[i,j+1])/2 +(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8 +(2・(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2]) +2・G[i+2,j]-G[i+2,j-2]-G[i+2,j+2])/24 ・・・式77 Gv45L=(G[i,j-1]+G[i,j+1])/2 +(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8 +(2・(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3]) +2・Z[i+2,j-1]-Z[i+2,j-3]-Z[i+2,j+1])/24 ・・・式78 Gv135L=(G[i,j-1]+G[i,j+1])/2 +(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8 +(2・(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1]) +2・Z[i+2,j+1]-Z[i+2,j-1]-Z[i+2,j+3])/24 ・・・式79 GhL=(2・G[i-1,j]+G[i+2,j])/3 +(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/18 +(5・G[i,j-1]-2・G[i-3,j-1]-2・G[i+1,j-1]-G[i+4,j-1] +5・G[i,j+1]-2・G[i-3,j+1]-2・G[i+1,j+1]-G[i+4,j+1])/36 ・・・式80 Gh45L=(2・G[i-1,j]+G[i+2,j])/3 +(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/18 +(5・Z[i+2,j-1]-2・Z[i-1,j-1]-2・Z[i+3,j-1]-Z[i+6,j-1] +5・Z[i-2,j+1]-2・Z[i-1,j+1]-2・Z[i-5,j+1]-Z[i+2,j+1])/36 ・・・式81 Gh135L=(2・G[i-1,j]+G[i+2,j])/3 +(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/18 +(5・Z[i-2,j-1]-2・Z[i-5,j-1]-2・Z[i-1,j-1]-Z[i+2,j-1] +5・Z[i+2,j+1]-2・Z[i-1,j+1]-2・Z[i+3,j+1]-Z[i+6,j+1])/36 ・・・式82 GvR=(G[i+1,j-1]+G[i+1,j+1])/2 +(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/8 +(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2] +2・(2・G[i+2,j]-G[i+2,j-2]-G[i+2,j+2]))/24 ・・・式83 Gv45R=(G[i+1,j-1]+G[i+1,j+1])/2 +(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/8 +(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3] +2・(2・Z[i+2,j-1]-Z[i+2,j-3]-Z[i+2,j+1]))/24 ・・・式84 Gv135R=(G[i+1,j-1]+G[i+1,j+1])/2 +(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/8 +(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1] +2・(2・Z[i+2,j+1]-Z[i+2,j-1]-Z[i+2,j+3]))/24 ・・・式85 GhR=(G[i-1,j]+2・G[i+2,j])/3 +(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/18 +(5・G[i+1,j-1]-2・G[i+4,j-1]-2・G[i,j-1]-G[i-3,j-1] +5・G[i+1,j+1]-2・G[i+4,j+1]-2・G[i,j+1]-G[i-3,j+1])/36 ・・・式86 Gh45R=(G[i-1,j]+2・G[i+2,j])/3 +(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/18 +(5・Z[i+3,j-1]-2・Z[i+6,j-1]-2・Z[i+2,j-1]-Z[i-1,j-1] +5・Z[i-1,j+1]-2・Z[i+2,j+1]-2・Z[i-2,j+1]-Z[i-5,j+1])/36 ・・・式87 Gh135R=(G[i-1,j]+2・G[i+2,j])/3 +(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/18 +(5・Z[i-1,j-1]-2・Z[i+2,j-1]-2・Z[i-2,j-1]-Z[i-5,j-1] +5・Z[i+3,j+1]-2・Z[i+6,j+1]-2・Z[i+2,j+1]-Z[i-1,j+1])/36 ・・・式88 である。
【０１６７】図１５〜図１７は、緑の補間値G[i,j],G[i
+1,j]を算出する際に用いる色情報の位置を示す図であ
る。ところで、式77〜式88において、第１項は「緑色成
分の局所的な平均情報」であり、第２項は「補間対象サ
ブピクセルと同一の色成分による局所的な変曲情報」で
あり、第３項は「補間対象サブピクセルとは異なる色成
分による局所的な変曲情報」である。
【０１６８】ここで、Gv45L,Gv45Rの「補間対象画素と
同一の色成分による局所的な変曲情報」は、縦方向に方
向性を有する局所的な変曲情報であり、「補間対象画素
と異なる色成分による局所的な変曲情報」は、縦方向お
よび斜め45度方向に方向性を有する局所的な変曲情報で
あり、Gv135L,Gv135Rの「補間対象画素と同一の色成分
による局所的な変曲情報」は、縦方向に方向性を有する
局所的な変曲情報であり、「補間対象画素と異なる色成
分による局所的な変曲情報」は、縦方向および斜め135
度方向に方向性を有する局所的な変曲情報であり、Gh45
L,Gh45Rの「補間対象画素と同一の色成分による局所的
な変曲情報」は、横方向に方向性を有する局所的な変曲
情報であり、「補間対象画素と異なる色成分による局所
的な変曲情報」は、横方向および斜め45度方向に方向性
を有する局所的な変曲情報であり、Gh135L,Gh135Rの
「補間対象画素と同一の色成分による局所的な変曲情
報」は、横方向に方向性を有する局所的な変曲情報であ
り、「補間対象画素と異なる色成分による局所的な変曲
情報」は、横方向および斜め135度方向に方向性を有す
る局所的な変曲情報である。
【０１６９】また、GvL,GvRの「補間対象画素と同一の
色成分による局所的な変曲情報」と「補間対象画素と異
なる色成分による局所的な変曲情報」とは、共に縦方向
に方向性を有する局所的な変曲情報であり、GhL,GhRの
「補間対象画素と同一の色成分による局所的な変曲情
報」と「補間対象画素と異なる色成分による局所的な変
曲情報」とは、共に横方向に方向性を有する局所的な変
曲情報である。
【０１７０】以上説明したように、補間処理部１７は、
複数の色成分の変曲情報を用いて補間値を算出するの
で、第２の実施形態では、撮影光学系１２に倍率色収差
が存在する場合であっても、平均情報を適切に補正する
ことが可能であり、偽色の発生を抑制することができ
る。その様子を図１８に示す。また、第２の実施形態で
は、複数の色成分の変曲情報が互いに相殺し合うので、
色差が一定でない色境界部分における偽色も抑制でき
る。
【０１７１】すなわち、第２の実施形態のＧ補間処理で
は、第１の実施形態のＧ補間処理によって発生する可能
性が高かった偽色を抑制することができる。ところで、
複数の色成分の変曲情報は、如何なる方向に位置する色
情報を採用するかで、値が変化し易い。そのため、複数
の色成分の変曲情報を用いて補間値を算出する際には、
補間対象画素における類似性の強い方向を正確に判定
し、その方向に位置する色情報を採用した変曲情報を用
いる必要がある。第２の実施形態では、縦方向や横方向
の類似度成分の他に斜め方向の類似度成分を用いること
によって、補間対象画素における類似性の強弱の判定の
精度を向上させている。
【０１７２】《第３の実施形態》以下、第３の実施形態
の動作を説明する。なお、第３の実施形態におけるＲＢ
補間処理は、第１の実施形態と同様にして行えるため、
ここでは、説明を省略する。図１９〜図２１は、第３の
実施形態における補間処理部１７の動作フローチャート
であり、Ｇ補間処理における補間処理部１７の動作を示
す。
【０１７３】なお、第３の実施形態と第１の実施形態と
のＧ補間処理の相違点は、縦横方向の類似性を判定する
処理や指標HV[ip,j]を設定する処理が異なる点にあり、
第３の実施形態は、第１の実施形態の図２Ｓ１〜Ｓ９の
処理に代えて、図１９Ｓ１〜Ｓ４、図２０、図２１の処
理を行うことに相当する。また、第３の実施形態では、
指標HV[ip,j]を設定する過程において、補間対象画素[i
p,j]の縦方向および横方向に対する主要類似度と微細部
類似度とが、それぞれ異色間類似度と同色間類似度とに
分けて算出される。そこで、ここでは、後述するＧ補間
処理の説明を簡単にするため、補間処理部１７によって
行われる各々の類似度を算出する処理を説明する。
【０１７４】まず、縦方向および横方向に対する主要類
似度の異色間類似度（以下、「主要異色間類似度」と称
する。）と同色間類似度（以下、「主要同色間類似度」
と称する。）とを算出する処理を説明する。補間処理部
１７は、第１の実施形態の式10〜式19によって定義され
る縦方向および横方向に対する複数種類の主要類似度成
分（Cv1[ip,j],Ch1[ip,j],Cv2[ip,j],Ch2[ip,j],Cv3
[ip,j],Ch3[ip,j],Cv4[ip,j],Ch4[ip,j],Cv5[ip,j],Ch5
[ip,j]）を算出する。
【０１７５】次に、補間処理部１７は、以下の式89およ
び式90に示すようにして、加重係数a1,a2,a3によって、
複数種類の同色間類似度成分を方向別に加重加算すると
共に、式91および式92に示すようにして、加重係数a4,a
5によって、複数種類の異色間類似度成分についても方
向別に加重加算する。 CvD0[ip,j]=(a1・Cv1[ip,j]+a2・Cv2[ip,j]+a3・Cv3[ip,j]) /(a1+a2+a3) ・・・式89 ChD0[ip,j]=(a1・Ch1[ip,j]+a2・Ch2[ip,j]+a3・Ch3[ip,j]) /(a1+a2+a3) ・・・式90 CvN0[ip,j]=(a4・Cv4[ip,j]+a5・Cv5[ip,j])/(a4+a5) ・・・式91 ChN0[ip,j]=(a4・Ch4[ip,j]+a5・Ch5[ip,j])/(a4+a5) ・・・式92 このようにして算出されるCvD0[ip,j]、ChD0[ip,j]、Cv
N0[ip,j]、ChN0[ip,j]は、そのまま、補間対象画素にお
ける縦方向の主要同色間類似度CvD[ip,j]、横方向の主
要同色間類似度ChD[ip,j]、縦方向の主要異色間類似度C
vN[ip,j]、横方向の主要異色間類似度ChN[ip,j]とする
ことができるが、ここでは、周辺加算によって、これら
の類似度を算出する例を示す。
【０１７６】すなわち、補間処理部１７は、補間対象画
素と周辺画素とにおける各々の類似度成分の加重加算に
よって得られる値（CvD0[ip,j]、CvD0[ip-1,j-1]、CvD0
[ip-1,j+1]、CvD0[ip+1,j-1]、CvD0[ip+1,j+1]など）
を、類似性の連続性を考慮し、以下の《周辺加算方法
１》または《周辺加算方法２》のように加重加算して、
補間対象画素における縦方向の主要同色間類似度CvD
[ip,j]、横方向の主要同色間類似度ChD[ip,j]、縦方向
の主要異色間類似度CvN[ip,j]、横方向の主要異色間類
似度ChN[ip,j]を算出する（図４に示すように補間対象
画素と周辺画素とにおける類似度成分を加重加算するこ
とに相当する）。
【０１７７】 《周辺加算方法１》 CvD[ip,j]=(4・CvD0[ip,j]+CvD0[ip-1,j-1]+CvD0[ip-1,j+1] +CvD0[ip+1,j-1]+CvD0[ip+1,j+1])/8 ・・・式93 ChD[ip,j]=(4・ChD0[ip,j]+ChD0[ip-1,j-1]+ChD0[ip-1,j+1] +ChD0[ip+1,j-1]+ChD0[ip+1,j+1])/8 ・・・式94 CvN[ip,j]=(4・CvN0[ip,j]+CvN0[ip-1,j-1]+CvN0[ip-1,j+1] +CvN0[ip+1,j-1]+CvN0[ip+1,j+1])/8 ・・・式95 ChN[ip,j]=(4・ChN0[ip,j]+ChN0[ip-1,j-1]+ChN0[ip-1,j+1] +ChN0[ip+1,j-1]+ChN0[ip+1,j+1])/8 ・・・式96 《周辺加算方法２》 CvD[ip,j]=(4・CvD0[ip,j] +2・(CvD0[ip-1,j-1]+CvD0[ip+1,j-1]+CvD0[ip-1,j+1]+CvD0[ip+1,j+1]) +CvD0[ip,j-2]+CvD0[ip,j+2]+CvD0[ip-2,j]+CvD0[ip+2,j])/16 ・・・式97 ChD[ip,j]=(4・ChD0[ip,j] +2・(ChD0[ip-1,j-1]+ChD0[ip+1,j-1]+ChD0[ip-1,j+1]+ChD0[ip+1,j+1]) +ChD0[ip,j-2]+ChD0[ip,j+2]+ChD0[ip-2,j]+ChD0[ip+2,j])/16 ・・・式98 CvN[ip,j]=(4・CvN0[ip,j] +2・(CvN0[ip-1,j-1]+CvN0[ip+1,j-1]+CvN0[ip-1,j+1]+CvN0[ip+1,j+1]) +CvN0[ip,j-2]+CvN0[ip,j+2]+CvN0[ip-2,j]+CvN0[ip+2,j])/16 ・・・式99 ChN[ip,j]=(4・ChN0[ip,j] +2・(ChN0[ip-1,j-1]+ChN0[ip+1,j-1]+ChN0[ip-1,j+1]+ChN0[ip+1,j+1]) +ChN0[ip,j-2]+ChN0[ip,j+2]+ChN0[ip-2,j]+ChN0[ip+2,j])/16 ・・・式100 次に、縦方向および横方向に対する微細部類似度の異色
間類似度（以下、「微細部異色間類似度」と称する。）
と同色間類似度（以下、「微細部同色間類似度」と称す
る。）とを算出する処理を説明する。
【０１７８】補間処理部１７は、第１の実施形態の式29
〜式34によって定義される縦方向および横方向に対する
複数種類の微細部類似度成分（Cvs1[ip,j],Chs1[ip,j],
Cvs2[ip,j],Chs2[ip,j],Cvs3[ip,j],Chs3[ip,j]）を算
出する。次に、補間処理部１７は、以下の式101および
式102に示すようにして、加重係数s1,s2によって、複数
種類の同色間類似度成分を方向別に加重加算すると共
に、式103および式104に示すようにして、異色間類似度
成分をCvsN0[ip,j]やChsNO[ip,j]に代入する。また、縦
方向の類似度成分については、以下の式101および式103
によって、サブピクセル間の距離による規格化も行う。
【０１７９】 CvsD0[ip,j]=(s1・Cvs1[ip,j]/4+s2・Cvs2[ip,j]/4)/(s1+s2) ・・・式101 ChsD0[ip,j]=(s1・Chs1[ip,j]+s2・Chs2[ip,j])/(s1+s2) ・・・式102 CvsN0[ip,j]=Cvs3[ip,j]/2 ・・・式103 ChsN0[ip,j]=Chs3[ip,j] ・・・式104 このようにして算出されるCvsD0[ip,j]、ChsD0[ip,j]、
CvsN0[ip,j]、ChsN0[i p,j]は、そのまま、補間対象画素
における縦方向の微細部同色間類似度CvsD[ip,j]、横方
向の微細部同色間類似度ChsD[ip,j]、縦方向の微細部異
色間類似度CvsN[ip,j]、横方向の微細部異色間類似度Ch
sN[ip,j]とすることができるが、ここでは、周辺加算に
よって、これらの類似度を算出する例を示す。
【０１８０】すなわち、補間処理部１７は、補間対象画
素と周辺画素とにおける各々の類似度成分の加重加算等
によって得られる値（CvsD0[ip,j]、CvsD0[ip-1,j-1]、
CvsD0[ip-1,j+1]、CvsD0[ip+1,j-1]、CvsD0[ip+1,j+1]
など）を、類似性の連続性を考慮し、以下の《周辺加算
方法１》または《周辺加算方法２》のように加重加算し
て、補間対象画素における縦方向の微細部同色間類似度
CvsD[ip,j]、横方向の微細部同色間類似度ChsD[ip,j]、
縦方向の微細部異色間類似度CvsN[ip,j]、横方向の微細
部異色間類似度ChsN[ip,j]を算出する（図４に示すよう
に補間対象画素と周辺画素とにおける類似度成分を加重
加算することに相当する）。
【０１８１】 《周辺加算方法１》 CvsD[ip,j]=(4・CvsD0[ip,j]+CvsD0[ip-1,j-1]+CvsD0[ip-1,j+1] +CvsD0[ip+1,j-1]+CvsD0[ip+1,j+1])/8 ・・・式105 ChsD[ip,j]=(4・ChsD0[ip,j]+ChsD0[ip-1,j-1]+ChsD0[ip-1,j+1] +ChsD0[ip+1,j-1]+ChsD0[ip+1,j+1])/8 ・・・式106 CvsN[ip,j]=(4・CvsN0[ip,j]+CvsN0[ip-1,j-1]+CvsN0[ip-1,j+1] +CvsN0[ip+1,j-1]+CvsN0[ip+1,j+1])/8 ・・・式107 ChsN[ip,j]=(4・ChsN0[ip,j]+ChsN0[ip-1,j-1]+ChsN0[ip-1,j+1] +ChsN0[ip+1,j-1]+ChsN0[ip+1,j+1])/8 ・・・式108 《周辺加算方法２》 CvsD[ip,j]=(4・CvsD0[ip,j]+2・(CvsD0[ip-1,j-1]+CvsD0[ip+1,j-1] +CvsD0[ip-1,j+1]+CvsD0[ip+1,j+1])+CvsD0[ip,j-2]+CvsD0[ip,j+2] +CvsD0[ip-2,j]+CvsD0[ip+2,j])/16 ・・・式109 ChsD[ip,j]=(4・ChsD0[ip,j]+2・(ChsD0[ip-1,j-1]+ChsD0[ip+1,j-1] +ChsD0[ip-1,j+1]+ChsD0[ip+1,j+1])+ChsD0[ip,j-2]+ChsD0[ip,j+2] +ChsD0[ip-2,j]+ChsD0[ip+2,j])/16 ・・・式110 CvsN[ip,j]=(4・CvsN0[ip,j]+2・(CvsN0[ip-1,j-1]+CvsN0[ip+1,j-1] +CvsN0[ip-1,j+1]+CvsN0[ip+1,j+1])+CvsN0[ip,j-2]+CvsN0[ip,j+2] +CvsN0[ip-2,j]+CvsN0[ip+2,j])/16 ・・・式111 ChsN[ip,j]=(4・ChsN0[ip,j]+2・(ChsN0[ip-1,j-1]+ChsN0[ip+1,j-1] +ChsN0[ip-1,j+1]+ChsN0[ip+1,j+1])+ChsN0[ip,j-2]+ChsN0[ip,j+2] +ChsN0[ip-2,j]+ChsN0[ip+2,j])/16 ・・・式112 ところで、以上説明したように算出される主要異色間類
似度や微細部異色間類似度は、縦方向または横方向に隣
接する画素の色情報を比較することによって算出される
ので、主要同色間類似度や微細部同色間類似度よりも短
い距離間隔で類似性の強弱の判定が可能である。すなわ
ち、異色間類似度には、同色間類似度よりも細かい画像
の構造が反映されることになる。
【０１８２】とりわけ、異色間類似度は、異なる色成分
の色情報が全て同一の輝度情報を表していると仮定して
算出されるため、異色間類似度を用いた類似性の強弱の
判定は、無彩色部において、信頼性が高い。一方、同色
間類似度を用いた類似性の強弱の判定は、彩色部・無彩
色部ともに全般的に信頼性が高いが、画像の構造が細か
い部分では、異色間類似度を用いた場合に比べて信頼性
が劣る。
【０１８３】したがって、補間処理の対象となる画像全
体に対して、信頼性の高い類似性の判定を行うには、画
像全体を、無彩色部と彩色部とに分け、各々の部分に適
した類似度を用いる方法が優れている。第３の実施形態
におけるＧ補間処理では、このような信頼性の高い類似
性の判定を実現するために、補間対象画素の近傍の画像
が無彩色部であるか否かによって、指標HV[ip,j]を設定
する際に用いる類似度を切り換えている。
【０１８４】以下、第３の実施形態におけるＧ補間処理
について説明するが、第１の実施形態と同じ動作につい
ては、詳細な説明を省略する。まず、補間処理部１７
は、補間対象画素が属する局所領域における色彩の有無
を示す色指標を算出し（図１９Ｓ１）、色指標に基づ
き、補間対象画素の近傍の画像が無彩色部であるか否か
を判定する（図１９Ｓ２）。
【０１８５】なお、色指標としては、局所的な色差情報
を用いることができるが、上述したように算出される主
要異色間類似度や微細部異色間類似度には、類似性の強
弱と同時に局所的な色差情報が反映されているので、色
指標として、主要異色間類似度や微細部異色間類似度を
直接利用することが可能である。第３の実施形態では、
色指標として、縦方向および横方向に対する主要異色間
類似度と微細部異色間類似度とのどちらでも用いること
ができるが、ここでは、主要異色間類似度を用いた場合
の例を示す。
【０１８６】ただし、主要異色間類似度は、値が小さい
程、類似性が強いことを示すので、縦方向および横方向
に対する主要異色間類似度が共に大きな値である場合に
は、無彩色部で縦横両方向に対する類似性が弱いか、ま
たは、補間対象画素の近傍の画像が彩色部であることを
意味する。逆に、縦方向と横方向との少なくとも１つの
方向に対する主要異色間類似度が比較的小さな値であれ
ば、補間対象画素の近傍の画像が無彩色部であり、類似
性の強い方向が存在していることを意味する。
【０１８７】すなわち、補間処理部１７は、縦方向の主
要異色間類似度CvN[ip,j]と横方向の主要異色間類似度C
hN[ip,j]とを算出し、閾値ThNv,ThNhについて、以下の
条件１が成り立つか否かを判定し、条件１が成り立つ場
合、補間対象画素の近傍の画像が無彩色部であると判断
し、条件１が成り立たない場合、補間対象画素の近傍の
画像が彩色部であると判断する。
【０１８８】 CvN[ip,j]≦ThNv または ChN[ip,j]≦ThNh ・・・条件１ ただし、閾値ThNv,ThNhは、階調数が256のとき10程度以
下の値をとるものとする。そして、補間処理部１７は、
補間対象画素の近傍の画像が無彩色部である場合、後述
する《異色間類似度を用いた指標HV[ip,j]の設定処理》
を行い（図１９Ｓ３）、補間対象画素の近傍の画像が彩
色部である場合、後述する《同色間類似度を用いた指標
HV[ip,j]の設定処理》を行う（図１９Ｓ４）。
【０１８９】このような処理によって、指標HV[ip,j]が
設定されると、補間処理部１７は、第１の実施形態と同
様（図２Ｓ１０〜Ｓ１３に相当する）に、指標HV[ip,j]
の値に応じて、２つのサブピクセルの緑の補間値G[i,
j]、G[i+1,j]を算出する（図１９Ｓ５〜Ｓ８）。ここ
で、《異色間類似度を用いた指標HV[ip,j]の設定処理》
と《同色間類似度を用いた指標HV[ip,j]の設定処理》と
を説明する。
【０１９０】《異色間類似度を用いた指標HV[ip,j]の設
定処理》まず、補間処理部１７は、縦方向の主要異色間
類似度CvN[ip,j]と横方向の主要異色間類似度ChN[ip,j]
とを算出し（図２０Ｓ１）、これらの類似度に基づく類
似性（以下、「主要異色間類似性」と称する。）が強い
方向が不明であるか否かを判定する（図２０Ｓ２）。
【０１９１】例えば、このような判定は、閾値Th0につ
いて、以下の条件２が成り立つか否かを判定することに
よって実現できる。 |CvN[ip,j]-ChN[ip,j]|≦Th0 ・・・条件２ そして、補間処理部１７は、このような判定結果とし
て、主要異色間類似性が強い方向が不明である場合、縦
方向の微細部異色間類似度CvsN[ip,j]と横方向の微細部
異色間類似度ChsN[ip,j]とを算出し（図２０Ｓ３）、こ
れらの類似度に基づく類似性（以下、「微細部異色間類
似性」と称する。）が強い方向が不明であるか否かを判
定する（図２０Ｓ４）。
【０１９２】例えば、このような判定は、閾値Ths0につ
いて、以下の条件３が成り立つか否かを判定することに
よって実現できる。 |CvsN[ip,j]-ChsN[ip,j]|≦Ths0 ・・・条件３ そして、補間処理部１７は、このような判定結果とし
て、微細部異色間類似性が強い方向が不明である場合
（条件２および条件３が成り立つ場合：図２２の領域１
(1)に相当する）、補間対象画素の近傍の画像が無彩色
部であり、縦横間で類似性に区別がつかないと判定して
指標HV[ip,j]に０を設定する（図２０Ｓ５）。一方、微
細部異色間類似性が強い方向が判別できる場合、縦方向
の微細部異色間類似性が強いか否かを判定する（図２０
Ｓ６）。
【０１９３】例えば、このような判定は、以下の条件４
が成り立つか否かを判定することによって実現できる。 CvsN[ip,j]<ChsN[ip,j] ・・・条件４ そして、補間処理部１７は、このような判定結果とし
て、縦方向の微細部異色間類似性が強い場合（条件２お
よび条件４が成り立ち、条件３が成り立たない場合：図
２２の領域２(1)に相当する）、補間対象画素の近傍の
画像が無彩色部であり、縦方向に類似性が強いと判断
し、指標HV[ip,j]に１を設定する（図２０Ｓ７）。一
方、縦方向の微細部異色間類似性が強くない場合（条件
２が成り立ち条件３および条件４が成り立たない場合：
図２２の領域１(2)に相当する）、指標HV[ip,j]に０を
設定する（図２０Ｓ８）。
【０１９４】また、補間処理部１７は、図２０Ｓ２の判
定結果として、主要異色間類似性が強い方向が判別でき
る場合、縦方向の主要異色間類似性が強いか否かを判定
する（図２０Ｓ９）。例えば、このような判定は、以下
の条件５が成り立つか否かを判定することによって実現
できる。
【０１９５】CvN[ip,j]<ChN[ip,j] ・・・条件５ そして、補間処理部１７は、このような判定結果とし
て、縦方向の主要異色間類似性が強い場合（条件２が成
り立たず条件５が成り立つ場合：図２２の領域２(2)に
相当する）、指標HV[ip,j]に１を設定する（図２０Ｓ１
０）。一方、縦方向の主要異色間類似性が強くない場合
（条件２および条件５が成り立たない場合：図２２の領
域３に相当する）、補間対象画素の近傍の画像が無彩色
部であり、横方向に類似性が強いと判断し、指標HV[ip,
j]に−１を設定する（図２０Ｓ１１）。
【０１９６】《同色間類似度を用いた指標HV[ip,j]の設
定処理》まず、補間処理部１７は、縦方向の主要同色間
類似度CvD[ip,j]と横方向の主要同色間類似度ChD[ip,j]
とを算出し（図２１Ｓ１）、これらの類似度に基づく類
似性（以下、「主要同色間類似性」と称する。）が強い
方向が不明であるか否かを判定する（図２１Ｓ２）。
【０１９７】例えば、このような判定は、閾値Th1につ
いて、以下の条件６が成り立つか否かを判定することに
よって実現できる。 |CvD[ip,j]-ChD[ip,j]|≦Th1 ・・・条件６ そして、補間処理部１７は、このような判定結果とし
て、主要同色間類似性が強い方向が不明である場合、縦
方向の微細部同色間類似度CvsD[ip,j]と横方向の微細部
同色間類似度ChsD[ip,j]とを算出し（図２１Ｓ３）、こ
れらの類似度に基づく類似性（以下、「微細部同色間類
似性」と称する。）が強い方向が不明であるか否かを判
定する（図２１Ｓ４）。
【０１９８】例えば、このような判定は、閾値Ths1につ
いて、以下の条件７がが成り立つか否かを判定すること
によって実現できる。 |CvsD[ip,j]-ChsD[ip,j]|≦Ths1 ・・・条件７ そして、補間処理部１７は、このような判定結果とし
て、微細部同色間類似性が強い方向が不明である場合
（条件６および条件７が成り立つ場合：図２２の領域４
(1)に相当する）、補間対象画素の近傍の画像が彩色部
であり、縦横間で類似性に区別がつかないと判定して指
標HV[ip,j]に０を設定する（図２１Ｓ５）。一方、微細
部同色間類似性が強い方向が判別できる場合、縦方向の
微細部同色間類似性が強いか否かを判定する（図２１Ｓ
６）。
【０１９９】例えば、このような判定は、以下の条件８
が成り立つか否かを判定することによって実現できる。 CvsD[ip,j]<ChsD[ip,j] ・・・条件８ そして、補間処理部１７は、このような判定結果とし
て、縦方向の微細部同色間類似性が強い場合（条件６お
よび条件８が成り立ち、条件７が成り立たない場合：図
２２の領域５(1)に相当する）、補間対象画素の近傍の
画像が彩色部であり、縦方向に類似性が強いと判断し、
指標HV[ip,j]に１を設定する（図２１Ｓ７）。一方、縦
方向の微細部同色間類似性が強くない場合（条件６が成
り立ち条件７および条件８が成り立たない場合：図２２
の領域４(2)に相当する）、指標HV[ip,j]に０を設定す
る（図２１Ｓ８）。
【０２００】また、補間処理部１７は、図２１Ｓ２の判
定結果として、主要同色間類似性が強い方向が判別でき
る場合、縦方向の主要同色間類似性が強いか否かを判定
する（図２１Ｓ９）。例えば、このような判定は、以下
の条件９が成り立つか否かを判定することによって実現
できる。
【０２０１】CvD[ip,j]<ChD[ip,j] ・・・条件９ そして、補間処理部１７は、このような判定結果とし
て、縦方向の主要同色間類似性が強い場合（条件６が成
り立たず条件９が成り立つ場合：図２２の領域５(2)に
相当する）、指標HV[ip,j]に１を設定する（図２１Ｓ１
０）。一方、縦方向の主要同色間類似性が強くない場合
（条件６および条件９が成り立たない場合：図２２の領
域６に相当する）、補間対象画素の近傍の画像が彩色部
であり、横方向に類似性が強いと判断し、指標HV[ip,j]
に−１を設定する（図２１Ｓ１１）。
【０２０２】ところで、《異色間類似度を用いた指標HV
[ip,j]の設定処理》と《同色間類似度を用いた指標HV[i
p,j]の設定処理》とにおいて、閾値Th0、Ths0、Th1、Th
s1は、縦方向の類似度と横方向の類似度との差異が微少
である場合、ノイズの影響によって一方の類似性が強い
と誤判定されることを避ける役割を果たす。そのため、
ノイズの多いカラー画像に対しては、閾値Th0、Ths0、T
h1、Ths1の値を高く設定することによって、類似性の判
定の精度が高められる。
【０２０３】以上説明したように、第３の実施形態で
は、局所的な色差情報が反映される異色間類似度を利用
して画像全体を無彩色部と彩色部とに分け、各々の部分
に適した類似度に基づいて類似性の強弱を判定すること
ができるため、従来の技術に比べて補間量を高い精度で
算出することができる。なお、第３の実施形態では、類
似性の強弱を判定する際に、異色間類似度と同色間類似
度とを切り換えているが、類似性の判定に用いる類似度
としては、異色間類似度と同色間類似度とを完全に切り
換える以外に、無彩色部では異色間類似度の加算比率を
上げ、彩色部では同色間類似度の加算比率を上げて、異
色間類似度と同色間類似度とを加重加算して得られる類
似度でも良い。
【０２０４】また、第３の実施形態では、局所的な色彩
の有無を調べる方法として異色間類似度に含まれる色差
を用いたが、色の比など他の色指標を用いても良い。と
ころで、第３の実施形態で設定される指標HV[ip,j]は、
第２の実施形態において、補間対象画素の類似性の強さ
を分類する際（図１３Ｓ１５に相当する）に用いること
ができる。すなわち、第２の実施形態の図１２Ｓ１〜Ｓ
４、Ｓ１１〜Ｓ１４の処理に代えて、第３の実施形態の
図１９Ｓ１〜Ｓ４、図２０、図２１の処理を行うことも
可能である。
【０２０５】《第４の実施形態》以下、第４の実施形態
の動作を説明するが、第４の実施形態におけるＧ補間処
理の大まかな流れ（類似度を算出して指標を設定し、指
標に基づいて補間値を算出する流れ）は、第１の実施形
態と同様であるため、図示を省略する。また、第４の実
施形態におけるＲＢ補間処理は、第１の実施形態と同様
にして行えるため、説明を省略する。
【０２０６】なお、第４の実施形態と第１の実施形態と
のＧ補間処理の相違点は、第１の実施形態が、補間対象
画素毎に縦横方向の類似性の判定や、指標HV[ip,j]の設
定を行っているのに対し、第４の実施形態は、補間対象
サブピクセル毎に、縦横方向の類似性の判定と、指標HV
[i,j]、HV[i+1,j]の設定を行う点にある。すなわち、第
４の実施形態では、第１の実施形態で算出される補間対
象画素における縦方向の主要類似度Cv[ip,j]に代えて、
２つの補間対象サブピクセルにおける縦方向の主要類似
度Cv[i,j]、Cv[i+1,j]が算出されることになり、横方向
の主要類似度、縦方向の微細部類似度、横方向の微細部
類似度についても同様である。
【０２０７】そこで、ここでは、第４の実施形態の動作
として、まず、縦方向および横方向に対する主要類似度
（Cv[i,j],Ch[i,j],Cv[i+1,j],Ch[i+1,j]）と微細部類
似度（Cvs[i,j],Chs[i,j],Cvs[i+1,j],Chs[i+1,j]）と
を算出する処理を説明する。ただし、後述する演算式で
は、図２８（２）の座標[i+1,j]に位置するサブピクセ
ルに対する演算式が、座標[i,j]に位置するサブピクセ
ルに対する演算式のiにi+1を代入することによって実現
できる場合、座標[i,j]に位置するサブピクセルに対す
る演算式のみを記載し、座標[i+1,j]に位置するサブピ
クセルに対する演算式の記載は省略する。
【０２０８】まず、座標[i,j]に位置するサブピクセル
に対する縦方向の主要類似度Cv[i,j]と横方向の主要類
似度Ch[i,j]とを算出する処理を説明する（座標[i+1,j]
に位置するサブピクセルに対する縦方向の主要類似度Cv
[i+1,j]と横方向の主要類似度Ch[i+1,j]とは、以下の式
113〜式131のiにi+1を代入することによって算出でき
る）。
【０２０９】補間処理部１７は、以下の式113〜式124に
よって定義される縦方向および横方向に対する複数種類
の主要類似度成分を算出する。なお、以下の式113〜式1
24において、主要類似度成分は、距離に関して縦方向と
横方向との間で対称な位置関係で構成される。 縦方向のGG間主要類似度成分： Cv1[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式113 横方向のGG間主要類似度成分： Ch1[i,j]=|G[i-2,j]-G[i+2,j]| ・・・式114 縦方向のBB(RR)間主要類似度成分： Cv2[i,j]=(|Z[i-2,j-1]-Z[i-2,j+1]|+|Z[i+2,j-1]-Z[i+2,j+1]|)/2 ・・・式115 横方向のBB(RR)間主要類似度成分： Ch2[i,j]=(|Z[i-2,j-1]-Z[i+2,j-1]|+|Z[i-2,j+1]-Z[i+2,j+1]|)/2 ・・・式116 縦方向のRR(BB)間主要類似度成分： Cv3[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式117 横方向のRR(BB)間主要類似度成分： Ch3[i,j]=(|Z[i-4,j]-Z[i,j]|+|Z[i+4,j]-Z[i,j]|)/2 ・・・式118 縦方向のGR(GB)間主要類似度成分： Cv4[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式119 横方向のGR(GB)間主要類似度成分： Ch4[i,j]=(|G[i-2,j]-Z[i,j]|+|G[i+2,j]-Z[i,j]|)/2 ・・・式120 縦方向のBG(RG)間主要類似度成分： Cv5[i,j]=(|Z[i-2,j-1]-G[i-2,j]|+|Z[i-2,j+1]-G[i-2,j]| +|Z[i+2,j-1]-G[i+2,j]|+|Z[i+2,j+1]-G[i+2,j]|)/4 ・・・式121 横方向のBG(RG)間主要類似度成分： Ch5[i,j]=(|Z[i-2,j-1]-G[i,j-1]|+|Z[i-2,j+1]-G[i,j+1]| +|Z[i+2,j-1]-G[i,j-1]|+|Z[i+2,j+1]-G[i,j+1]|)/4 ・・・式122 縦方向の輝度間主要類似度成分： Cv6[i,j]=(|Y[i,j-1]-Y[i,j]|+|Y[i,j+1]-Y[i,j]|)/2 ・・・式123 横方向の輝度間主要類似度成分： Ch6[i,j]=(|Y[i-2,j]-Y[i,j]|+|Y[i+2,j]-Y[i,j]|)/2 ・・・式124 ただし、式123および式124において、Y[i,j]は、以下の
式125によって算出される値であり、補間対象サブピク
セルの近傍に位置するサブピクセルの色成分の色情報を
R:G:B=1:2:1の比で平均化するフィルタリング処理で生
成される輝度に相当する。
【０２１０】 Y[i,j]=(4・(A[i,j]+A[i-1,j]+A[i+1,j]) +2・(A[i,j-1]+A[i-1,j-1]+A[i+1,j-1] +A[i,j+1]+A[i-1,j+1]+A[i+1,j+1] +A[i-2,j]+A[i+2,j]) +A[i-2,j-1]+A[i-2,j+1]+A[i+2,j-1]+A[i+2,j+1])/32 ・・・式125 ただし、式125において、A[i,j]は、サブピクセル型ベ
イア配列上の任意の色情報を表し、配置場所に応じてG
またはZの値をとる。図２３は、輝度を生成するための
フィルタを示す図である。
【０２１１】なお、上述した各々の主要類似度成分を構
成する類似度の要素は、差分の絶対値を用いて算出して
いるが、絶対値の２乗やべき乗等によって算出しても良
い。次に、補間処理部１７は、以下の式126および式127
に示すようにして、第１の実施形態と同様の役割を果た
す加重係数a1,a2,a3,a4,a5,a6によって、複数種類の主
要類似度成分を各々の方向毎に加重加算する。
【０２１２】 Cv0[i,j]=(a1・Cv1[i,j]+a2・Cv2[i,j]+a3・Cv3[i,j]+a4・Cv4[i,j] +a5・Cv5[i,j]+a6・Cv6[i,j])/(a1+a2+a3+a4+a5+a6) ・・・式126 Ch0[i,j]=(a1・Ch1[i,j]+a2・Ch2[i,j]+a3・Ch3[i,j]+a4・Ch4[i,j] +a5・Ch5[i,j]+a6・Ch6[i,j])/(a1+a2+a3+a4+a5+a6) ・・・式127 このようにして算出されるCv0[i,j]およびCh0[i,j]は、
そのまま、補間対象サブピクセルの縦方向の主要類似度
Cv[i,j]および横方向の主要類似度Ch[i,j]とすることが
できるが、ここでは、周辺加算によって、これらの類似
度を算出する例を示す。
【０２１３】すなわち、補間処理部１７は、補間対象サ
ブピクセルと、補間対象サブピクセルの近傍に位置する
サブピクセル（以下、「周辺サブピクセル」と称す
る。）とにおける主要類似度成分の方向別の加重加算よ
って得られる値（Cv0[i,j]、Cv0[i-1,j-1]、Cv0[i-1,j+
1]、Cv0[i+1,j-1]、Cv0[i+1,j+1]など）を、以下の《周
辺加算方法１》または《周辺加算方法２》のように加重
加算して、補間対象サブピクセルの縦方向の主要類似度
Cv[i,j]および横方向の主要類似度Ch[i,j]を算出する。
【０２１４】 《周辺加算方法１》 Cv[i,j]=(4・Cv0[i,j]+Cv0[i-2,j-1]+Cv0[i-2,j+1]+Cv0[i+2,j-1] +Cv0[i+2,j+1])/8 ・・・式128 Ch[i,j]=(4・Ch0[i,j]+Ch0[i-2,j-1]+Ch0[i-2,j+1]+Ch0[i+2,j-1] +Ch0[i+2,j+1])/8 ・・・式129 《周辺加算方法２》 Cv[i,j]=(4・Cv0[i,j] +2・(Cv0[i-2,j-1]+Cv0[i+2,j-1]+Cv0[i-2,j+1]+Cv0[i+2,j+1]) +Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-4,j]+Cv0[i+4,j])/16 ・・・式130 Ch[i,j]=(4・Ch0[i,j] +2・(Ch0[i-2,j-1]+Ch0[i+2,j-1]+Ch0[i-2,j+1]+Ch0[i+2,j+1]) +Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-4,j]+Ch0[i+4,j])/16 ・・・式131 なお、《周辺加算方法１》は、図２４（１）に示すよう
にして補間対象サブピクセルと周辺サブピクセルとにお
ける主要類似度成分の加重加算を行うことに相当し、
《周辺加算方法２》は、図２４（２）に示すようにして
補間対象サブピクセルと周辺サブピクセルとにおける主
要類似度成分の加重加算を行うことに相当する。
【０２１５】次に、座標[i,j]に位置するサブピクセル
に対する縦方向の微細部類似度Cvs[i,j]および横方向の
微細部類似度Chs[i,j]と、座標[i+1,j]に位置するサブ
ピクセルに対する縦方向の微細部類似度Cvs[i+1,j]およ
び横方向の微細部類似度Chs[i+1,j]とを算出する処理を
説明する。
【０２１６】補間処理部１７は、以下の式132〜式143に
よって定義される縦方向および横方向に対する複数種類
の微細部類似度成分を算出する。なお、以下の式132〜
式143において、微細部類似度成分は、距離に関して縦
方向と横方向との間で非対称な位置関係で構成される。 縦方向のRR(BB)間微細部類似度成分： Cvs1[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式132 Cvs1[i+1,j]=(|Z[i+1,j-2]-Z[i+1,j]|+|Z[i+1,j+2]-Z[i+1,j]|)/2 ・・・式133 横方向のRR(BB)間微細部類似度成分： Chs1[i,j]=|Z[i,j]-Z[i+1,j]| ・・・式134 Chs1[i+1,j]=|Z[i,j]-Z[i+1,j]| ・・・式135 縦方向のGG間微細部類似度成分： Cvs2[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式136 Cvs2[i+1,j]=|G[i+1,j-1]-G[i+1,j+1]| ・・・式137 横方向のGG間微細部類似度成分： Chs2[i,j]=(|G[i,j-1]-G[i+1,j-1]|+|G[i,j+1]-G[i+1,j+1]|)/2 ・・・式138 Chs2[i+1,j]=(|G[i,j-1]-G[i+1,j-1]|+|G[i,j+1]-G[i+1,j+1]|)/2 ・・・式139 縦方向のGR(GB)間微細部類似度成分： Cvs3[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式140 Cvs3[i+1,j]=(|G[i+1,j-1]-Z[i+1,j]|+|G[i+1,j+1]-Z[i+1,j]|)/2 ・・・式141 横方向のGR(GB)間微細部類似度成分： Chs3[i,j]=|G[i-1,j]-Z[i,j]| ・・・式142 Chs3[i+1,j]=|G[i+2,j]-Z[i+1,j]| ・・・式143 なお、上述した各々の微細部類似度成分を構成する類似
度の要素は、差分の絶対値を用いて算出しているが、絶
対値の２乗やべき乗等によって算出しても良い。
【０２１７】次に、補間処理部１７は、以下の式144お
よび式145に示すようにして、加重係数s1,s2,s3によっ
て、複数種類の微細部類似度成分を方向別に加重加算す
る（座標[i+1,j]に位置するサブピクセルに対する複数
種類の微細部類似度成分についても、同様にして方向別
の加重加算が行える）。なお、式144では、縦方向の類
似度成分を、サブピクセル間の距離による規格化して用
いている。
【０２１８】 Cvs0[i,j]=(s1・Cvs1[i,j]/4+s2・Cvs2[i,j]/4+s3・Cvs3[i,j]/2) /(s1+s2+s3) ・・・式144 Chs0[i,j]=(s1・Chs1[i,j]+s2・Chs2[i,j]+s3・Chs3[i,j]) /(s1+s2+s3) ・・・式145 このようにして算出されるCvs0[i,j]およびChs0[i,j]
は、そのまま、補間対象サブピクセルの縦方向の微細部
類似度Cvs[i,j]および横方向の微細部類似度Chs[i,j]と
することができるが、ここでは、周辺加算によって、こ
れらの類似度を算出する例を示す。
【０２１９】すなわち、補間処理部１７は、補間対象サ
ブピクセルと周辺サブピクセルとにおける微細部類似度
成分の方向別の加重加算よって得られる値（Cvs0[i,
j]、Cvs0[i-1,j-1]、Cvs0[i-1,j+1]、Cvs0[i+1,j-1]、C
vs0[i+1,j+1]など）を、以下の《周辺加算方法１》また
は《周辺加算方法２》のように加重加算して、縦方向の
微細部類似度Cvs[i,j]および横方向の微細部類似度Chs
[i,j]を算出する（座標[i+1,j]に位置するサブピクセル
に対する微細部類似度についても、同様にして算出す
る）。
【０２２０】 《周辺加算方法１》 Cvs[i,j]=(4・Cvs0[i,j]+Cvs0[i-2,j-1]+Cvs0[i-2,j+1]+Cvs0[i+2,j-1] +Cvs0[i+2,j+1])/8 ・・・式146 Chs[i,j]=(4・Chs0[i,j]+Chs0[i-2,j-1]+Chs0[i-2,j+1]+Chs0[i+2,j-1] +Chs0[i+2,j+1])/8 ・・・式147 《周辺加算方法２》 Cvs[i,j]=(4・Cvs0[i,j] +2・(Cvs0[i-2,j-1]+Cvs0[i+2,j-1]+Cvs0[i-2,j+1]+Cvs0[i+2,j+1]) +Cvs0[i,j-2]+Cvs0[i,j+2]+Cvs0[i-4,j]+Cvs0[i+4,j])/16 ・・・式148 Chs[i,j]=(4・Chs0[i,j] +2・(Chs0[i-2,j-1]+Chs0[i+2,j-1]+Chs0[i-2,j+1]+Chs0[i+2,j+1]) +Chs0[i,j-2]+Chs0[i,j+2]+Chs0[i-4,j]+Chs0[i+4,j])/16 ・・・式149 ところで、第４の実施形態の２つの補間対象サブピクセ
ルにおける主要類似性や微細部類似性の判定および指標
HV[i,j]、HV[i+1,j]の設定は、上述したように算出され
る主要類似度や微細部類似度を用いることによって、第
１の実施形態の補間対象画素における処理と同様に算出
することができる。すなわち、第１の実施形態の図２Ｓ
２〜Ｓ６、Ｓ８、Ｓ９の説明において、図２８（１）の
座標[ip,j]に位置する補間対象画素に代えて、図２８
（２）の座標[i,j]や[i+1,j]に位置する補間対象サブピ
クセルに対する処理を行うことに相当する。
【０２２１】このようにして、指標HV[i,j]やHV[i+1,j]
の設定が完了すると、補間処理部１７は、以下のように
して、２つの補間対象サブピクセルの緑の補間値G[i,
j]、G[i+1,j]を算出する。 HV[i,j]=1のとき（縦方向に類似性が強い） G[i,j]=GvL HV[i+1,j]=1のとき（縦方向に類似性が強い） G[i+1,j]=GvR HV[i,j]=0のとき（縦横方向に類似性が強い、または弱い） G[i,j]=(GvL+GhL)/2 HV[i+1,j]=0のとき（縦横方向に類似性が強い、または弱い） G[i+1,j]=(GvR+GhR)/2 HV[i,j]=-1のとき（横方向に類似性が強い） G[i,j]=GhL HV[i+1,j]=-1のとき（横方向に類似性が強い） G[i+1,j]=GhR ただし、GvL,GvR,GhL,GhRは、第１の実施形態の《平均
補間》または《色差補間》のようにして算出される値で
ある。
【０２２２】以上説明したように、第４の実施形態で
は、補間対象サブピクセル毎に、類似度を算出し、その
類似度に基づく類似性の判定結果に応じて補間値を算出
することができる。
【０２２３】なお、第４の実施形態では、第１の実施形
態と同様にして、縦方向および横方向に対して主要類似
度や微細部類似度を算出し、緑の補間値を算出している
が、例えば、式150〜式153に示すようにして、斜め45度
方向の主要類似度C45[i,j]、C45[i+1,j]および斜め135
度方向の主要類似度C135[i,j]、C135[i+1,j]を算出し、
これらの類似度に基づき、第２の実施形態と同様に、補
間対象サブピクセルの斜め主要類似性を判定して緑の補
間値を算出しても良い。
【０２２４】 C45[i,j]=(|R[i+4,j-2]-R[i,j]|-|R[i-4,j+2]-R[i,j]|)/2 ・・・式150 C45[i+1,j]=(|R[i+5,j-2]-R[i+1,j]|-|R[i-3,j+2]-R[i+1,j]|)/2 ・・・式151 C135[i,j]=(|R[i-4,j-2]-R[i,j]|-|R[i+4,j+2]-R[i,j]|)/2 ・・・式152 C135[i+1,j]=(|R[i-3,j-2]-R[i+1,j]|-|R[i+5,j+2]-R[i+1,j]|)/2 ・・・式153 また、第４の実施形態では、第１の実施形態と同様にし
て、指標HV[i,j]、HV[i+1,j]の値を設定しているが、指
標HV[i,j]やHV[i+1,j]の設定は、第３の実施形態と同様
に算出しても良い。すなわち、第３の実施形態と同様
に、主要類似度を主要異色間類似度と主要同色間類似度
とに分け、微細部類似度を微細部異色間類似度と微細部
同色間類似度とに分け、異色間類似度と同色間類似度と
を切り換えて用いる処理を、図２８（１）の座標[ip,j]
に位置する補間対象画素に代えて、図２８（２）の座標
[i,j]や[i+1,j]に位置する補間対象サブピクセルに対し
て個別に当てはめた処理として行えば良い。
【０２２５】《第５の実施形態》以下、第５の実施形態
の動作を説明する。なお、第５の実施形態におけるＲＢ
補間処理は、第１の実施形態と同様にして行えるため、
ここでは、説明を省略する。図２５は、第５の実施形態
における補間処理部１７の動作フローチャートであり、
Ｇ補間処理における補間処理部１７の動作を示す。ただ
し、図２５では、ベイア配列上の画素の左側に位置する
サブピクセルを補間対象とした場合の例を示す。
【０２２６】以下、図２５に基づいて、第５の実施形態
におけるＧ補間処理について説明する。まず、補間処理
部１７は、補間対象サブピクセルにおける縦方向および
横方向の類似度を算出する（図２５Ｓ１）。ここで、座
標[i,j]に位置する補間対象サブピクセルにおける縦方
向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出
する処理の詳細を説明する。
【０２２７】補間処理部１７は、式154〜式166によって
定義される縦方向および横方向に対する複数種類の類似
度成分を算出する。なお、式154〜式166では、上述した
実施形態のような対称関係にこだわらず、近隣の画素同
士による類似度成分の算出を行う。 縦方向のGG間類似度成分： Cv1[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式154 横方向のGG間類似度成分： Gh1[i,j]=|G[i-1,j]-G[i+2,j]| ・・・式155 縦方向のBB(RR)間類似度成分： Cv2[i,j]=(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+2,j-1]-Z[i+2,j+1]|)/2 ・・・式156 横方向のBB(RR)間類似度成分： Ch2[i,j]=(|Z[i-1,j-1]-Z[i+2,j-1]|+|Z[i-1,j+1]-Z[i+2,j+1]|)/2 ・・・式157 縦方向のRR(BB)間類似度成分： Cv3[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式158 横方向のRR(BB)間類似度成分： Ch3[i,j]=(|Z[i-3,j]-Z[i,j]|+3・|Z[i+1,j]-Z[i,j]|)/4 ・・・式159 縦方向のGR(GB)間類似度成分： Cv4[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+11-Z[i,j]|)/2 ・・・式160 横方向のGR(GB)間類似度成分： Gh4[i,j]=(2・|G[i-1,j]-Z[i,j]|+|G[i+2,j]-Z[i,j]|)/3 ・・・式161 縦方向のBG(RG)間類似度成分： Cv5[i,j]=(|Z[i-1,j-1]-G[i-1,j]|+|Z[i-1,j+1]-G[i-1,j]| +|Z[i+2,j-1]-G[i+2,j]|+|Z[i+2,j+1]-G[i+2,j]|)/4 ・・・式162 横方向のBG(RG)間類似度成分： Ch5[i,j]=(2・|Z[i-1,j-1]-G[i,j-1]|+2・|Z[i-1,j+1]-G[i,j+1]| +|Z[i+2,j-1]-G[i,j-1]|+|Z[i+2,j+1]-G[i,j+1]|)/6 ・・・式163 縦方向の輝度間類似度成分： Cv6[i,j]=(|Y[i,j-1]-Y[i,j]|+|Y[i,j+1]-Y[i,j]|)/2 ・・・式164 横方向の輝度間類似度成分： Ch6[i,j]=(2・|Y[i-1,j]-Y[i,j]|+|Y[i+2,j]-Y[i,j]|)/3 ・・・式165 ただし、式164および式165において、Y[i,j]は、式166
によって算出される値であり、補間対象サブピクセルの
近傍に位置するサブピクセルの色成分の色情報をR:G:B=
1:2:1の比で平均化するフィルタリング処理で生成され
る輝度に相当する。
【０２２８】 Y[i,j]=(4・A[i,j]+2・(A[i,j-1]+A[i,j+1]+A[i-1,j]+A[i+2,j]) +A[i-1,j-1]+A[i-1.j+1]+A[i+2,j-11+A[i+2,j+1])/16 ・・・式166 ただし、式166において、A[i,j]は、サブピクセル型ベ
イア配列上の任意の色情報を表し、配置場所に応じてG
またはZの値をとる。なお、上述した各々の類似度成分
を構成する類似度の要素は、差分の絶対値を用いて算出
しているが、絶対値の２乗やべき乗等によって算出して
も良い。
【０２２９】次に、補間処理部１７は、第４の実施形態
の式126および式127と同様に（第１の実施形態の式23お
よび式24の加重係数と同様の役割を果たす加重係数を用
いて）、複数種類の類似度成分を各々の方向毎に加重加
算して、Cv0[i,j]およびCh0[i,j]を算出する。このよう
にして算出されるCv0[i,j]およびCh0[i,j]は、そのま
ま、補間対象サブピクセルの縦方向の類似度Cv[i,j]お
よび横方向の類似度Ch[i,j]とすることができるが、こ
こでは、周辺加算によって、これらの類似度を算出する
例を示す。
【０２３０】すなわち、補間処理部１７は、補間対象サ
ブピクセルと、周辺サブピクセルとにおける類似度成分
の方向別の加重加算よって得られる値（Cv0[i,j]、Cv0
[i+1,j]、Cv0[i-1,j-1]、Cv0[i-1,j+1]、Cv0[i+2,j-
1]、Cv0[i+2,j+1]など）を、以下の《周辺加算方法１》
または《周辺加算方法２》のように加重加算して、補間
対象サブピクセルの縦方向の類似度Cv[i,j]および横方
向の類似度Ch[i,j]を算出する。
【０２３１】 《周辺加算方法１》 Cv[i,j]=(2・(Cv0[i,j]+Cv0[i+1,j])+Cv0[i-1,j-1]+Cv0[i-1,j+1] +Cv0[i+2,j-1]+Cv0[i+2,j+1])/8 ・・・式167 Ch[i,j]=(2・(Ch0[i,j]+Ch0[i+1,j])+Ch0[i-1,j-1]+Ch0[i-1,j+1] +Ch0[i+2,j-1]+Ch0[i+2,j+1])/8 ・・・式168 《周辺加算方法２》 Cv[i,j]=(2・(Cv0[i,j]+Cv0[i+1,j]) +2・(Cv0[i-1,j-1]+Cv0[i-1,j+1]+Cv0[i+2,j-1]+Cv0[i+2,j+1]) +(Cv0[i,j-2]+Cv0[i+1,j-2])/2 +(Cv0[i,j+2]+Cv0[i+1,j+2])/2 +Cv0[i-3,j]+Cv0[i+4,j])/16 ・・・式169 Ch[i,j]=(2・(Ch0[i,j]+Ch0[i+1,j]) +2・(Ch0[i-1,j-1]+Ch0[i-1,j+1]+Ch0[i+2,j-1]+Ch0[i+2,j+1]) +(Ch0[i,j-2]+Ch0[i+1,j-2])/2 +(Ch0[i,j+2]+Ch0[i+1,j+2])/2 +Ch0[i-3,j]+Ch0[i+4,j])/16 ・・・式170 なお、座標[i,j]に位置するサブピクセルの類似度を算
出する際に用いる色情報の位置と、座標[i+1,j]に位置
するサブピクセル（ベイア配列上の画素の左側に位置す
るサブピクセル）の類似度を算出する際に用いる色情報
の位置とが、図２８（２）のサブピクセル型ベイア配列
のi列目のサブピクセルとi+1列目のサブピクセルとの間
を通る直線について、左右対称であるすると、座標[i+
1,j]に位置するサブピクセルの縦方向の類似度Cv[i+1,
j]および横方向の類似度Ch[i+1,j]は、式154〜式170に
記載のi-3〜i+4を、以下のように置き換えることによっ
て算出できる。
【０２３２】i-3→i+4,i-2→i+3,i-1→i+2,i→i+1,i+1
→i,i+2→i-1,i+3→i-2,i+4→i-3。補間処理部１７は、
以上説明したようにして縦方向および横方向の類似度を
算出すると、これらの類似度に基づき、補間対象サブピ
クセルにおける縦方向および横方向に対する類似性（以
下、「縦横類似性」と称する。）を判定する（図２５Ｓ
２）。そして、補間処理部１７は、第１の実施形態で縦
横主要類似性の判定結果として指標HV[ip,j]に値を設定
した処理と同様に、縦横類似性の判定結果として指標HV
[i,j]に値を設定する（図２５Ｓ３〜Ｓ５）。
【０２３３】なお、座標[i+1,j]に位置するサブピクセ
ルの縦横類似性を示す指標HV[i+1,j]の設定は、上述し
たようにして算出される縦方向の類似度Cv[i+1,j]およ
び横方向の類似度Ch[i+1,j]を用いることによって、指
標HV[i,j]と同様に設定することができる。次に、補間
処理部１７は、指標HV[i,j]が如何なる値であるかを判
定し（図２５Ｓ６）、以下のようにして座標[i,j]に位
置する補間対象サブピクセルの緑の補間値G[i,j]を算出
する。
【０２３４】 HV[i,j]=1のとき G[i,j]=GvL：図２５Ｓ７ HV[i,j]=0のとき G[i,j]=(GvL+GhL)/2：図２５Ｓ８ HV[i,j]=1のとき G[i,j]=GhL：図２５Ｓ９ ただし、GvL,GhLは、第１の実施形態の式41,式43または
式45,式47のようにして算出される値である。
【０２３５】なお、座標[i+1,j]に位置する補間対象サ
ブピクセルの緑の補間値G[i+1,j]は、上述したように設
定される指標HV[i+1,j]が如何なる値であるかを判定す
ることによって、以下のように算出することができる。 HV[i+1,j]=1のとき G[i+1,j]=GvR HV[i+1,j]=0のとき G[i+1,j]=(GvR+GhR)/2 HV[i+1,j]=1のとき G[i+1,j]=GhR ただし、GvR,GhRは、第１の実施形態の式42,式44または
式46,式48のようにして算出される値である。
【０２３６】以上説明したように、第５の実施形態で
は、補間対象サブピクセル毎に、類似度を算出し、その
類似度に基づく類似性の判定結果に応じて補間値を算出
することができる。なお、第５の実施形態では、第１の
実施形態の式23および式24の加重係数と同様の役割を果
たす加重係数によって、式154〜式166で定義される複数
種類の類似度成分を加重加算して、補間対象サブピクセ
ルの縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,
j]を算出し、このような類似度に基づいて指標HV[i,j]
に値を設定しているが、指標HV[i,j]の設定は、以下に
示す処理（請求項４５ないし請求項５２に対応する）で
実現することも可能である。
【０２３７】まず、補間処理部１７は、式154〜式163で
定義される複数種類の類似度成分を算出し、これらの類
似度成分を第３の実施形態の式89〜式92の加重係数と同
様の役割を果たす加重係数によって加重加算し、補間対
象サブピクセルにおける縦方向の同色間類似度CvD[i,j]
と、横方向の同色間類似度ChD[i,j]と、縦方向の異色間
類似度CvN[i,j]と、横方向の異色間類似度ChN[i,j]とを
算出する。なお、これらの類似度の算出の過程では、式
167〜式170と同様にして、周辺加算を行うものとする。
【０２３８】次に、補間処理部１７は、縦方向の異色間
類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]とに対
し、第３の実施形態の条件１と同様の条件が成り立つか
否かを判定することによって、補間対象サブピクセルの
近傍の画像が無彩色部であるか彩色部であるかを判定す
る。そして、補間処理部１７は、補間対象サブピクセル
の近傍の画像が無彩色部である場合、縦方向の異色間類
似度CvN[i,j]と横方向の異色間類似度ChN[i,j]とに基づ
き、縦横類似性を判定して指標HV[i,j]に値を設定し、
補間対象サブピクセルの近傍の画像が彩色部である場
合、縦方向の同色間類似度CvD[i,j]と横方向の同色間類
似度ChD[i,j]とに基づき、縦横類似性を判定して指標HV
[i,j]に値を設定する。なお、このような縦横類似性の
判定や指標HV[i,j]の設定の処理は、第１の実施形態で
縦横主要類似性の判定結果として指標HV[ip,j]に値を設
定した処理と同様に行うものとする。
【０２３９】すなわち、以上説明したようにして設定さ
れた指標HV[i,j]には、第３の実施形態の指標HV[ip,j]
と同様に、無彩色部と彩色部との各々の部分に適した類
似度に基づいて判定された縦横類似性が反映されること
になる。 《第６の実施形態》以下、第６の実施形態の動作を説明
する。なお、第６の実施形態におけるＲＢ補間処理は、
第１の実施形態と同様にして行えるため、ここでは、説
明を省略する。
【０２４０】図２６は、第６の実施形態における補間処
理部１７の動作フローチャートであり、Ｇ補間処理にお
ける補間処理部１７の動作を示す。ただし、図２６で
は、ベイア配列上の画素の左側に位置するサブピクセル
を補間対象とした場合の例を示す。以下、第６の実施形
態におけるＧ補間処理について説明するが、第５の実施
形態と同じ動作については、詳細な説明を省略する。
【０２４１】まず、補間処理部１７は、第５の実施形態
と同様に、補間対象サブピクセルにおける縦方向および
横方向の類似度を算出して（図２６Ｓ１）、縦横主要類
似性を比較し（図２６Ｓ２）、指標HV[i,j]に値を設定
する（図２６Ｓ３〜Ｓ５）。次に、補間処理部１７は、
補間対象サブピクセルにおける斜め45度方向および斜め
135度方向の類似度を算出する（図２６Ｓ６）。
【０２４２】ここで、座標[i,j]に位置する補間対象サ
ブピクセルにおける斜め45度方向の類似度C45[i,j]およ
び斜め135度方向の類似度C135[i,j]を算出する処理の詳
細を説明する。補間処理部１７は、補間処理部１７は、
式171〜式178によって定義される斜め45度方向および斜
め135度方向に対する複数種類の類似度成分を算出す
る。
【０２４３】 斜め45度方向のGG間類似度成分： C45_1[i,j]=(|G[i-2,j]-G[i,j-1]|+|G[i-1,j]-G[i+1,j-1]| +|G[i,j+11-G[i+2,j]|+|G[i+1,j+1]-G[i+3,j]|)/4 ・・・式171 斜め135度方向のGG間類似度成分： C135_1[i,j]=(|G[i-2,j]-G[i,j+1]|+|G[i-1,j]-G[i+1,j+1]| +|G[i,j-1]-G[i+2,j]|+|G[i+1,j-1]-G[i+3,j]|)/4 ・・・式172 斜め45度方向のBB(RR)間類似度成分： C45_2[i,j]=(|Z[i-2,j+1]-Z[i+2,j-1]| +|Z[i-1,j+1]-Z[i+3,j-1]|)/2 ・・・式173 斜め135度方向のBB(RR)間類似度成分： C135_2[i,j]=(|Z[i-2,j-1]-Z[i+2,j+1]| +|Z[i-1,j-1]-Z[i+3,j+1]|)/2 ・・・式174 斜め45度方向のRR(BB)間類似度成分： C45_3[i,j]=(|Z[i-4,j+2]-Z[i,j]|+|Z[i-3,j+2]-Z[i+1,j]| +|Z[i+4,j-2]-Z[i,j]|+|Z[i+5,j-2]-Z[i+1,j]|)/4 ・・・式175 斜め135度方向のRR(BB)間類似度成分： C135_3[i,j]=(|Z[i-4,j-2]-Z[i,j]|+|Z[i-3,j-2]-Z[i+1,j]| +|Z[i+4,j+2]-Z[i,j]|+|Z[i+5,j+2]-Z[i+1,j]|)/4 ・・・式176 斜め45度方向のBR(RB)間類似度成分： C45_4[i,j]=(|Z[i-2,j+1]-Z[i,j]|+|Z[i-1,j+1]-Z[i+1,j]| +|Z[i+2,j-1]-Z[i,j]|+|Z[i+3,j-1]-Z[i+1,j]|)/4 ・・・式177 斜め135度方向のBR(RB)間類似度成分： C135_4[i,j]=(|Z[i-2,j-1]-Z[i,j]|+|Z[i-1,j-1]-Z[i+1,j]| +|Z[i+2,j+1]-Z[i,j]|+|Z[i+3,j+1]-Z[i+1,j]|)/4 ・・・式178 なお、上述した各々の類似度成分を構成する類似度の要
素は、差分の絶対値を用いて算出しているが、絶対値の
２乗やべき乗等によって算出しても良い。
【０２４４】次に、補間処理部１７は、式179および式1
80に示すようにして、第２の実施形態と同様の役割を果
たす加重係数b1,b2,b3,b4によって、複数種類の類似度
成分を各々の方向毎に加重加算する。 C45_0[i,j]=(b1・C45_1[i,j]+b2・C45_2[i,j]+b3・C45_3[i,j] +b4・C45_4[i,j])/(b1+b2+b3+b4) ・・・式179 C135_0[i,j]=(b1・C135_1[i,j]+b2・C135_2[ip,j]+b3・C135_3[i,j] +b4・C135_4[i,j])/(b1+b2+b3+b4) ・・・式180 このようにして算出されるC45_0[i,j]およびC135_0[i,
j]は、そのまま、補間対象サブピクセルの斜め方向の類
似度C45[i,j]、C135[i,j]とすることができるが、ここ
では、周辺加算によって、これらの類似度を算出する例
を示す。
【０２４５】すなわち、補間処理部１７は、補間対象サ
ブピクセルと、周辺サブピクセルとにおける類似度成分
の方向別の加重加算よって得られる値（C45_0[i,j]、C4
5_0[i+1,j]、C45_0[i-1,j-1]、C45_0[i-1,j+1]、C45_0
[i+2,j-1]、C45_0[i+2,j+1]など）を、以下の《周辺加
算方法１》または《周辺加算方法２》のように加重加算
して、補間対象サブピクセルの斜め方向の類似度C45[i,
j]、C135[i,j]を算出する。
【０２４６】 《周辺加算方法１》 C45[i,j]=(2・(C45_0[i,j]+C45_0[i+1,j])+C45_0[i-1,j-1]+C45_0[i-1,j+1] +C45_0[i+2,j-1]+C45_0[i+2,j+1])/8 ・・・式181 C135[i,j]=(2・(C135_0[i,j]+C135_0[i+1,j])+C135_0[i-1,j-1] +C135_0[i-1,j+1]+C135_0[i+2,j-1]+C135_0[i+2,j+1])/8 ・・・式182 《周辺加算方法２》 C45[i,j]=(2・(C45_0[i,j]+C45_0[i+1,j]) +2・(C45_0[i-1,j-1]+C45_0[i-1,j+1]+C45_0[i+2,j-1]+C45_0[i+2,j+1]) +(C45_0[i,j-2]+C45_0[i+1,j-2])/2 +(C45_0[i,j+2]+C45_0[i+1,j+2])/2 +C45_0[i-3,j]+C45_0[i+4,j])/16 ・・・式183 C135[i,j]=(2・(C135_0[i,j]+C135_0[i+1,j]) +2・(C135_0[i-1,j-1]+C135_0[i-1,j+1]+C135_0[i+2,j-1]+C135_0[i+2,j+1] +(C135_0[i,j-2]+C135_0[i+1,j-2])/2 +(C135_0[i,j+2]+C135_0[i+1,j+2])/2 +C135_0[i-3,j]+C135_0[i+4,j])/16 ・・・式184 なお、座標[i,j]に位置するサブピクセルの類似度を算
出する際に用いる色情報の位置と、座標[i+1,j]に位置
するサブピクセル（ベイア配列上の画素の左側に位置す
るサブピクセル）の類似度を算出する際に用いる色情報
の位置とが、図２６（２）のサブピクセル型ベイア配列
のi列目のサブピクセルとi+1列目のサブピクセルとの間
を通る直線について、左右対称であるすると、座標[i+
1,j]に位置するサブピクセルの斜め45度方向の類似度C4
5[i+1,j]および斜め135度方向の類似度C135[i+1,j]は、
式171〜式184に記載のi-3〜i+4を、以下のように置き換
えることによって算出できる。
【０２４７】i-3→i+4,i-2→i+3,i-1→i+2,i→i+1,i+1
→i,i+2→i-1,i+3→i-2,i+4→i-3。補間処理部１７は、
以上説明したようにして斜め方向の類似度を算出する
と、その類似度に基づき、補間対象サブピクセルにおけ
る斜め方向に対する類似性（以下、「斜め類似性」と称
する。）を判定する（図２６Ｓ７）。そして、補間処理
部１７は、第２の実施形態で斜め主要類似性の判定結果
として指標DN[ip,j]に値を設定した処理と同様に、斜め
類似性の判定結果として指標DN[i,j]に値を設定する
（図２６Ｓ８〜Ｓ１０）。
【０２４８】なお、座標[i+1,j]に位置するサブピクセ
ルの斜め類似性を示す指標DN[i+1,j]の設定は、上述し
たようにして算出される斜め45度方向の類似度C45[i+1,
j]および斜め135度方向の類似度C135[i+1,j]を用いるこ
とによって、指標DN[i,j]と同様に設定することができ
る。次に、補間処理部１７は、指標HV[i,j]および指標D
N[i,j]が如何なる値であるかを判定し（図２６Ｓ１
１）、第２の実施形態で補間対象画素の類似性の強さを
case1〜case9に分類した処理と同様に、補間対象サブピ
クセルの類似性の強さをcase1〜case9の何れかに分類す
る。
【０２４９】そして、補間処理部１７は、このような分
類の結果に応じて、以下のようにして座標[i,j]に位置
する補間対象サブピクセルの緑の補間値G[i,j]を算出す
る。 case1のとき:G[i,j]=Gv45L:図２６Ｓ１２ case2のとき:G[i,j]=GvL:図２６Ｓ１３ case3のとき:G[i,j]=Gv135L:図２６Ｓ１４ case4のとき:G[i,j]=(Gv45L+Gh45L)/2:図２６Ｓ１５ case5のとき:G[i,j]=(GvL+GhL)/2:図２６Ｓ１６ case6のとき:G[i,j]=(Gv135L+Gh135L)/2:図２６Ｓ１７ case7のとき:G[i,j]=Gh45L:図２６Ｓ１８ case8のとき:G[i,j]=GhL:図２６Ｓ１９ case9のとき:G[i,j]=Gh135L:図２６Ｓ２０ ただし、GvL,Gv45L,Gv135L,GhL,Gh45L,Gh135Lは、第２
の実施形態の式77〜式82のようにして算出される値であ
る。
【０２５０】なお、座標[i+1,j]に位置する補間対象サ
ブピクセルの緑の補間値G[i+1,j]は、上述したように設
定される指標HV[i+1,j]および指標DN[i,j]が如何なる値
であるかを判定し、補間対象サブピクセルの類似性の強
さをcase1〜case9の何れかに分類することによって、以
下のように算出することができる。 case1のとき:G[i+1,j]=Gv45R case2のとき:G[i+1,j]=GvR case3のとき:G[i+1,j]=Gv135R case4のとき:G[i+1,j]=(Gv45R+Gh45R)/2 case5のとき:G[i+1,j]=(GvR+GhR)/2 case6のとき:G[i+1,j]=(Gv135R+Gh135R)/2 case7のとき:G[i+1,j]=Gh45R case8のとき:G[i+1,j]=GhR case9のとき:G[i+1,j]=Gh135R ただし、GvR,Gv45R,Gv135R,GhR,Gh45R,Gh135Rは、第２
の実施形態の式83〜式88のようにして算出される値であ
る。
【０２５１】以上説明したように、第６の実施形態で
は、補間対象サブピクセル毎に、類似度を算出し、その
類似度に基づく類似性の判定結果に応じて補間値を算出
することができる。なお、斜め45度方向の類似度C45[i,
j]、C45[i+1,j]および斜め135度方向の類似度C135[i,
j]、C135[i+1,j]は、式185および式186によって算出し
ても良い。
【０２５２】 C45[i,j]=C45[i+1,j]= ((|R[i+4,j-2]-R[i,j]|-|R[i-4,j+2]-R[i,j]|)/2 +(|R[i+5,j-2]-R[i+1,j]|-|R[i-3,j+2]-R[i+1,j]|)/2)/2 ・・・式185 C135[i,j]=C135[i+1,j]= ((|R[i-4,j-2]-R[i,j]|-|R[i+4,j+2]-R[i,j]|)/2 +(|R[i-3,j-2]-R[i+1,j]|-|R[i+5,j+2]-R[i+1,j]|)/2)/2 ・・・式186 ところで、上述した第１の実施形態ないし第６の実施形
態の補間処理は、３色で構成されるサブピクセル型ベイ
ア配列に限らず、サブピクセル構造を持つ３色以上のフ
ィルタ配列に適用することも可能である。
【０２５３】《第７の実施形態》以下、第７の実施形態
の動作を説明する。図２７は、第７の実施形態の機能ブ
ロック図である。なお、第７の実施形態は、請求項５９
ないし請求項６７に記載の補間処理プログラムを記録し
た記録媒体を用いて、パーソナルコンピュータによって
補間処理を実行することに相当する。
【０２５４】図２７において、機能が図１に示す機能ブ
ロック図と同じものについては、同じ符号を付与して示
し、構成の説明については省略する。なお、図２７に示
す電子カメラ２０と図１に示した電子カメラ１０との構
成の相違点は、図２７の制御部２１と画像処理部２２と
が図１の制御部１１と画像処理部１５とに代えて設けら
れ、図２７のインタフェース部２３が新たに設けられた
点である。
【０２５５】また、図２７において、パーソナルコンピ
ュータ３０は、ＣＰＵ３１、インタフェース部３２、ハ
ードディスク３３およびメモリ３４を有し、ＣＰＵ３１
は、バスを介してインタフェース部３２、ハードディス
ク３３およびメモリ３４に接続される。なお、パーソナ
ルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体
に記録された補間処理プログラム（前述した各実施形態
の補間処理部１７と同様にして補間処理を実行する補間
処理プログラム）が予めインストールされているものと
する。すなわち、ハードディスク３３には、このような
補間処理プログラムが実行可能な状態で格納されてい
る。
【０２５６】以下、図２７を参照して第７の実施形態の
動作を説明する。まず、電子カメラ２０では、図１に示
した電子カメラ１０と同様にして生成された画像データ
が画像処理部２２に供給される。画像処理部２２は、画
像データに補間処理以外の画像処理（例えば、階調変換
処理など）を施し、記録部１６では、画像処理が施され
た画像データが画像ファイルの形式で記録される。
【０２５７】このような画像ファイルは、インタフェー
ス部２３を介してパーソナルコンピュータ３０に供給さ
れる。パーソナルコンピュータ３０内のＣＰＵ３１は、
インタフェース部３２を介して画像ファイルを取得する
と、前述した補間処理プログラムを実行する。補間処理
により各色成分の解像度が高められた画像データは、必
要に応じて画像圧縮等を行ってから、ハードディスク３
３などに記録され、最終的に、ディスプレイ、プリンタ
などの各接続機器に応じた表色系データとして出力され
る。
【０２５８】すなわち、第７の実施形態では、前述した
各実施形態と同様の補間処理をパーソナルコンピュータ
３０によって行うことができる。
【０２５９】
【発明の効果】上述したように請求項１、請求項５９に
記載の発明では、画素ピッチでの大まかな類似性の強弱
の判定を正確に行うことが可能であり、請求項２、請求
項３および請求項５に記載の発明では、画素ピッチでの
大まかな類似性の強弱の判定とサブピクセルピッチでの
細かな類似性の強弱の判定とが可能である。また、請求
項４ないし請求項６、請求項６０に記載の発明では、補
間対象サブピクセルについて対象な距離に位置する色情
報だけでなく、非対称な距離に位置する色情報を用いて
類似性の強弱を判定する。さらに、請求項４１、請求項
６５に記載の発明では、類似度に基づき類似性の強弱を
判定する。そのため、これらの発明によれば、類似性の
強弱を的確に判定することができ、補間対象サブピクセ
ルの補間値を精度良く算出することができる。
【０２６０】請求項７に記載の発明では、主要類似性判
定手段による判定の結果として類似性の強い方向が不明
であると判断された場合にのみ、微細部類似性判定手段
によって類似性の強弱を判定しても、類似性の強弱の判
定の精度が低下することがなく、その上、主要類似性判
定手段と微細部類似性判定手段とによる類似性の強弱の
判定を全てのサブピクセルに対して行う場合と比べて、
類似性の強弱を速やかに判定することができ、補間対象
サブピクセルの補間値を速やかに算出することができ
る。
【０２６１】請求項８ないし請求項１０、請求項４２な
いし請求項４４に記載の発明では、複数の色成分の色情
報を用いて、類似性の強弱を判定するため、色調が変化
する画像（異なる色成分間で色情報の比率が変化する画
像）であっても、類似性を的確に判定することができ
る。また、これらの発明では、複数の色成分の色情報と
して、補間対象サブピクセルの色情報やその近傍に存在
する色情報を用い、類似性の強弱を判定することが可能
であるため、空間周波数が高い画像であっても、類似性
を的確に判定することができる。したがって、これらの
発明によれば、補間処理を行うべき画像に「色調が変化
する部分」や「空間周波数が高い部分」が混在する場合
であっても、画像全体の調和を保ちつつ、精度良く補間
処理を行うことができる。
【０２６２】請求項１１、請求項２３、請求項４５に記
載の発明は、補間対象サブピクセルが属する局所的な領
域における画像の特徴に応じて、異色間類似度と同色間
類似度とを使い分けたり、異色間類似度と同色間類似度
とを加重加算する際の加重比率を変えるため、類似性の
強弱の判定に適した類似度を算出することができると共
に、複数の色情報を用いて異色間類似度および同色間類
似度の算出することによって、類似度の算出精度を上げ
ることができる。したがって、補間量を高い精度で算出
することができる。
【０２６３】請求項１２、請求項２４、請求項４６に記
載の発明では、異色間類似度を同色間類似度よりも短い
距離間隔で存在する色情報を用いて算出するので、異色
間類似度に空間周波数が高い画像の類似性が反映され
る。すなわち、異色間類似度を用いて類似性の強弱を判
定する際や、色彩に関する情報として異色間類似度を用
いて補間対象サブピクセルが属する局所的な領域におけ
る画像の特徴を抽出する際に、高周波部分の解像能力が
効果的に引き出すことができる。そのため、類似性の強
弱の判定精度を上げることができ、補間量の精度が高め
られる。
【０２６４】請求項１３、請求項４７に記載の発明は、
異色間類似度および同色間類似度の算出に多くの色成分
を用いた類似度成分を生成することにより、類似度を高
い精度で算出することができ、補間量の精度が高められ
る。請求項１４、請求項４８に記載の発明は、色彩に関
する情報を用いることによって、補間対象サブピクセル
が属する局所的な領域における画像の特徴を抽出するの
で、異色間類似度と同色間類似度との使い分けや、異色
間類似度と同色間類似度との加重比率の設定に際し、適
切な指標に基づいて画像の特徴抽出が行える。そのた
め、類似性の強弱の判定に適した類似度を算出すること
ができ、補間量の精度が高められる。
【０２６５】請求項１５、請求項１６、請求項４９、請
求項５０に記載の発明は、補間対象サブピクセルが属す
る局所的な領域における画像の特徴を抽出する際、色彩
に関する情報として異色間類似度を用いるので、類似性
の強弱の判定のために異色間類似度を算出してしまえ
ば、色彩に関する情報を改めて求める必要がない。すな
わち、補間処理全体を効率良く行うことができる。
【０２６６】請求項１７、請求項２５、請求項５１に記
載の発明では、補間対象サブピクセルと周辺のサブピク
セルとの間で、類似性が強い方向の連続性を考慮しつ
つ、補間対象サブピクセルの類似度を算出することがで
き、請求項１８、請求項２６、請求項５２に記載の発明
では、ノイズなどによって発生する類似性の誤判定を低
減することができる。すなわち、これらの発明では、類
似性の強弱の判定精度を上げることができるので、補間
量の精度が高められる。
【０２６７】請求項１９に記載の発明では、補間対象サ
ブピクセルにおける少なくとも２つの方向に対する類似
度に、特定の１種類の色成分の色情報や複数種類の色成
分の色情報を反映させることができ、請求項２０に記載
の発明では、補間対象サブピクセルにおける少なくとも
２つの方向に対する類似度に、複数種類の色成分の色情
報を反映させることができる。また、請求項２１に記載
の発明では、補間対象サブピクセルにおける少なくとも
２つの方向に対する類似度に、複数種類の色成分の色情
報を的確に反映させることができ、請求項２２に記載の
発明では、各々の類似度成分に対する最短距離の相違に
影響されることなく、適切な類似度を算出することがで
きる。したがって、これらの発明によれば、補間対象サ
ブピクセルを含む局所領域の画像の特徴を反映しつつ、
類似性の強弱を判定することができるため、画像全体の
調和を崩すことなく補間値を算出することができる。
【０２６８】請求項２７、請求項６１に記載の発明は、
「補間対象サブピクセルに関する第１色成分の局所的な
平均情報」を、「補間対象サブピクセルに関する２種類
以上の色成分の局所的な変曲情報」で補正することによ
って補間値を算出し、請求項２８に記載の発明は、「補
間対象サブピクセルに関する第１色成分の局所的な平均
情報」を、「補間対象サブピクセルと同一の色成分によ
る局所的な変曲情報」および「補間対象サブピクセルと
は異なる色成分による局所的な変曲情報」で補正するこ
とによって補間値を算出する。そのため、これらの発明
によれば、過補正による偽色の発生を低減することがで
きる。
【０２６９】請求項２９、請求項６２に記載の発明は、
「補間対象サブピクセルに関する第１色成分の局所的な
平均情報」を、「補間対象サブピクセルとは異なる色成
分による局所的な変曲情報」で補正することによって補
間値を算出し、請求項３０、請求項６３に記載の発明
は、「補間対象サブピクセルに関する第１色成分の局所
的な平均情報」を、「補間対象サブピクセルに関する第
１色成分の局所的な変曲情報」で補正することによって
補間値を算出する。そのため、これらの発明によれば、
構造情報を確実に抽出することができる。特に、請求項
３０、請求項６３に記載の発明では、過補正による偽色
が発生することがない。
【０２７０】請求項３１ないし請求項３６、請求項６４
に記載の発明では、多数の方向に存在する色情報を補間
対象サブピクセルとの類似性に応じて用い、補間値を算
出する。特に、請求項３４ないし請求項３６に記載の発
明では、斜め方向の類似性が補間値に反映される。その
ため、請求項３１ないし請求項３６、請求項６４に記載
の発明によれば、画像の構造を損なうことなく、補間値
を算出することができる。
【０２７１】請求項３７に記載の発明では、類似性を判
定する際のノイズの影響を低減することができ、請求項
３８および請求項３９に記載の発明では、類似性を判定
する際に複数の色成分の色情報が反映され、請求項４０
に記載の発明では、類似性を判定する際に周辺のサブピ
クセルとの連続性が反映される。したがって、これらの
発明によれば、類似性の判定の精度を向上することがで
きる。
【０２７２】請求項５３ないし請求項５８、請求項６
６、請求項６７に記載の発明では、補間対象サブピクセ
ルの色相値を、補間対象サブピクセルの近傍に位置する
複数のサブピクセルの色相値の中央値によって算出され
る。したがって、これらの発明によれば、色構造を破壊
することなく、孤立点の周辺における偽色の発生を低減
しつつ、補間値を高速に算出することができる。
【図面の簡単な説明】
【図１】第１の実施形態ないし第６の実施形態に対応す
る電子カメラの機能ブロック図である。
【図２】第１の実施形態における補間処理部の動作フロ
ーチャート（１）である。
【図３】第１の実施形態における補間処理部の動作フロ
ーチャート（２）である。
【図４】周辺加算方法を説明する図である。
【図５】微細類似度成分を算出する際に用いる色情報の
位置を示す図である。
【図６】色差補間で用いる色情報の位置を示す図であ
る。
【図７】色差の線形補間を説明する図である。
【図８】色差を中央値で補間する処理を説明する図であ
る。
【図９】median処理の範囲を説明する図である。
【図１０】倍率色収差の影響を説明する図である。
【図１１】倍率色収差による過補正を説明する図であ
る。
【図１２】第２の実施形態における補間処理部の動作フ
ローチャートである。
【図１３】第２の実施形態における補間処理部の動作フ
ローチャート（続き）である。
【図１４】(HV[ip,j],DN[ip,j])の値に対応する類似性
の強い方向を示す図である。
【図１５】緑の補間値を算出する際に用いる色情報の位
置を示す図（１）である。
【図１６】緑の補間値を算出する際に用いる色情報の位
置を示す図（２）である。
【図１７】緑の補間値を算出する際に用いる色情報の位
置を示す図（３）である。
【図１８】倍率色収差の影響が解消される様子を説明す
る図である。
【図１９】第３の実施形態における補間処理部の動作フ
ローチャート（１）である。
【図２０】第３の実施形態における補間処理部の動作フ
ローチャート（２）である。
【図２１】第３の実施形態における補間処理部の動作フ
ローチャート（３）である。
【図２２】類似度と類似性の強弱の関係を示す図であ
る。
【図２３】輝度を生成するためのフィルタを示す図であ
る。
【図２４】サブピクセル型ベイア配列における周辺加算
方法を説明する図である。
【図２５】第５の実施形態における補間処理部の動作フ
ローチャートである。
【図２６】第６の実施形態における補間処理部の動作フ
ローチャートである。
【図２７】第７の実施形態における機能ブロック図であ
る。
【図２８】撮像素子における色成分の配列を示す図であ
る。
【符号の説明】
１０、２０ 電子カメラ １１、２１ 制御部 １２ 撮影光学系 １３ 撮像部 １４ Ａ／Ｄ変換部 １５、２２ 画像処理部 １６ 記録部 １７ 補間処理部 ２３、３２ インタフェース部 ３０ パーソナルコンピュータ ３１ ＣＰＵ ３３ ハードディスク ３４ メモリ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C065 BB48 CC01 EE03 GG13 GG18 5C077 MM03 MP08 PP31 PP32 PP34 PP46 PP49 PP55 PP68 PQ08 PQ12 PQ20 RR19 TT09 5C079 HB01 HB04 LA00 LA02 LA03 LA28 LA31 LB01 MA11 NA03 NA11 NA13 NA29

Claims (67)

    【特許請求の範囲】
  1. 【請求項１】 ２次元配列された複数の画素の１画素に
    つき１つの色成分が対応付けられ、各々の画素が２つの
    サブピクセルに分割されて成る撮像素子によって生成さ
    れる画像データに対し、各々のサブピクセルに欠落する
    色成分の色情報に相当する補間値を決める処理を行う補
    間処理装置において、 各々の画素を構成する２つのサブピクセルから出力され
    る色情報をひとまとめにした値を当該画素の色情報に相
    当する画素出力色情報とし、少なくとも２つの方向に対
    する補間対象サブピクセルの類似性の強弱を、該画素出
    力色情報を用いて判定する主要類似性判定手段と、 前記主要類似性判定手段によって判定された類似性の強
    弱に応じて、補間対象サブピクセルの補間値を算出する
    際に用いるサブピクセルの色情報を選択し、該色情報を
    用いて補間対象サブピクセルの補間値を算出する補間値
    算出手段とを備えたことを特徴とする補間処理装置。
  2. 【請求項２】 請求項１に記載の補間処理装置におい
    て、 サブピクセルから出力される色情報をサブピクセル出力
    色情報とし、少なくとも２つの方向に対する補間対象サ
    ブピクセルの類似性の強弱を、該サブピクセル出力色情
    報を用いて判定する微細部類似性判定手段を備え、 前記補間値算出手段は、 前記主要類似性判定手段と前記微細部類似性判定手段と
    によって判定された類似性の強弱に応じて、補間対象サ
    ブピクセルの補間値を算出する際に用いるサブピクセル
    の色情報を選択し、該色情報を用いて補間対象サブピク
    セルの補間値を算出することを特徴とする補間処理装
    置。
  3. 【請求項３】 請求項２に記載の補間処理装置におい
    て、 前記主要類似性判定手段は、 補間対象サブピクセルが属する画素について対称な距離
    に位置する画素の画素出力色情報を用い、前記類似性の
    強弱を判定し、 前記微細部類似性判定手段は、 補間対象サブピクセルについて非対称な距離に位置する
    サブピクセルサブピクセル出力色情報を用い、前記類似
    性の強弱を判定することを特徴とする補間処理装置。
  4. 【請求項４】 ２次元配列された複数の画素の１画素に
    つき１つの色成分が対応付けられ、各々の画素が２つの
    サブピクセルに分割されて成る撮像素子によって生成さ
    れる画像データに対し、各々のサブピクセルに欠落する
    色成分の色情報に相当する補間値を決める処理を行う補
    間処理装置において、 補間対象サブピクセルについて対称な距離に位置する色
    情報を用い、少なくとも２つの方向に対する補間対象サ
    ブピクセルの類似性の強弱を判定する主要類似性判定手
    段と、 補間対象サブピクセルについて非対称な距離に位置する
    色情報を用い、少なくとも２つの方向に対する補間対象
    サブピクセルの類似性の強弱を判定する微細部類似性判
    定手段と、 前記主要類似性判定手段と前記微細部類似性判定手段と
    によって判定された類似性の強弱に応じて、補間対象サ
    ブピクセルの補間値を算出する際に用いるサブピクセル
    の色情報を選択し、該色情報を用いて補間対象サブピク
    セルの補間値を算出する補間値算出手段とを備えたこと
    を特徴とする補間処理装置。
  5. 【請求項５】 請求項４に記載の補間処理装置におい
    て、 前記主要類似性判定手段は、 前記対象な距離に位置する色情報として、補間対象サブ
    ピクセルが属する画素について対象な距離に位置する画
    素を構成する２つのサブピクセルから出力される色情報
    をひとまとめにした値を用い、 前記微細部類似性判定手段は、 前記非対称な距離に位置する色情報として、補間対象サ
    ブピクセルについて非対称な距離に位置するサブピクセ
    ルから出力される色情報を用いることを特徴とする補間
    処理装置。
  6. 【請求項６】 請求項４に記載の補間処理装置におい
    て、 前記主要類似性判定手段は、 前記対象な距離に位置する色情報として、補間対象サブ
    ピクセルについて対称な距離に位置するサブピクセルか
    ら出力される色情報を用い、 前記微細部類似性判定手段は、 前記非対称な距離に位置する色情報として、補間対象サ
    ブピクセルについて非対称な距離に位置するサブピクセ
    ルから出力される色情報を用いることを特徴とする補間
    処理装置。
  7. 【請求項７】 請求項２ないし請求項６の何れか１項に
    記載の補間処理装置において、 前記微細部類似性判定手段は、 前記主要類似性判定手段による判定の結果として類似性
    の強い方向が不明であると判断された場合に、類似性の
    強弱を判定することを特徴とする補間処理装置。
  8. 【請求項８】 請求項１ないし請求項７の何れか１項に
    記載の補間処理装置において、前記画像データが複数の
    色成分から成る表色系で示される場合、前記主要類似性
    判定手段は、 補間対象サブピクセルにおける少なくとも２つの方向に
    対する類似度を、複数の色成分の色情報を用いて算出
    し、該類似度に基づき少なくとも２つの方向に対する補
    間対象サブピクセルの類似性の強弱を判定することを特
    徴とする補間処理装置。
  9. 【請求項９】 請求項８に記載の補間処理装置におい
    て、前記画像データが、第１〜第３の色成分から成る表
    色系で示され、第１色成分が第２色成分および第３色成
    分に比べて空間周波数が高く、第１色成分が欠落するサ
    ブピクセルに第１色成分の色情報に相当する補間値を決
    める場合、 前記主要類似性判定手段は、（１）前記第１色成分の色
    情報と前記第２色成分の色情報とを用いた類似度成分
    と、（２）前記第１色成分の色情報と前記第３色成分の
    色情報とを用いた類似度成分と、（３）前記第１色成分
    の色情報のみを用いた類似度成分と、（４）前記第２色
    成分の色情報のみを用いた類似度成分と、（５）前記第
    ３色成分の色情報のみを用いた類似度成分との複数の類
    似度成分のうち、第１〜第３色成分の色情報が含まれる
    組み合わせを利用して、補間対象サブピクセルにおける
    少なくとも２つの方向に対する類似度を算出することを
    特徴とする補間処理装置。
  10. 【請求項１０】 請求項９に記載の補間処理装置におい
    て、 前記主要類似性判定手段は、 前記複数の類似度成分のうち、前記組み合わせに属する
    類似度成分を方向別に加重加算して、補間対象サブピク
    セルにおける少なくとも２つの方向に対する類似度を算
    出することを特徴とする補間処理装置。
  11. 【請求項１１】 請求項１ないし請求項７の何れか１項
    に記載の補間処理装置において、前記画像データが複数
    の色成分から成る表色系で示される場合、 前記主要類似性判定手段は、 補間対象サブピクセルの色情報とその近傍に存在する色
    情報とから選ばれる複数の色情報に基づき、（１）異な
    る色成分の色情報を用いて算出される異色間類似度と、
    （２）同じ色成分の色情報を用いて算出される同色間類
    似度との２種類の類似度を算出し、補間対象サブピクセ
    ルが属する局所的な領域における画像の特徴に応じて、
    どちらか一方の類似度に切り換える、もしくは、各類似
    度を加重加算するときの加重比率を切り換えることによ
    り、補間対象サブピクセルにおける少なくとも２つの方
    向に対する類似度を算出し、該類似度に基づき少なくと
    も１方向に対する補間対象サブピクセルの類似性の強弱
    を判定することを特徴とする補間処理装置。
  12. 【請求項１２】 請求項１１に記載の補間処理装置にお
    いて、 前記主要類似性判定手段は、 前記異色間類似度を前記同色間類似度よりも短い距離間
    隔で存在する色情報を用いて算出することを特徴とする
    補間処理装置。
  13. 【請求項１３】 請求項１１または請求項１２に記載の
    補間処理装置において、前記画像データが、第１〜第３
    の色成分から成る表色系で示され、第１色成分が第２色
    成分および第３色成分に比べて空間周波数が高く、第１
    色成分が欠落するサブピクセルに第１色成分の色情報に
    相当する補間値を決める場合、 前記主要類似性判定手段は、 前記異色間類似度として、（１）前記第１色成分の色情
    報と前記第２色成分の色情報とから成る異色間類似度成
    分と、（２）前記第１色成分の色情報と前記第３色成分
    の色情報とから成る異色間類似度成分との少なくとも一
    方を含む類似度を算出し、 前記同色間類似度として、（１）前記第１色成分の色情
    報のみから成る同色間類似度成分と、（２）前記第２色
    成分の色情報のみから成る同色間類似度成分と、（３）
    前記第３色成分の色情報のみから成る同色間類似度成分
    との少なくとも１つを含む類似度を算出することを特徴
    とする補間処理装置。
  14. 【請求項１４】 請求項１１に記載の補間処理装置にお
    いて、 前記主要類似性判定手段は、 補間対象サブピクセルが属する局所的な領域における画
    像の特徴として色彩に関する情報を用い、該色彩に関す
    る情報を基準に、前記局所的な領域における画像が無彩
    色部であるか彩色部であるかを判別し、該局所的な領域
    における画像が無彩色部である場合には、補間対象サブ
    ピクセルにおける少なくとも２つの方向に対する類似度
    として前記異色間類似度を選択する、または、該異色間
    類似度と前記同色間類似度とを加重加算する際の該異色
    間類似度の加重比率を該同色間類似度の加重比率よりも
    大きくし、該局所的な領域における画像が彩色部である
    場合には、補間対象サブピクセルにおける少なくとも２
    つの方向に対する類似度として該同色間類似度を選択す
    る、または、該異色間類似度と前記同色間類似度とを加
    重加算する際の該同色間類似度の加重比率を該異色間類
    似度の加重比率よりも大きくすることを特徴とする補間
    処理装置。
  15. 【請求項１５】 請求項１４に記載の補間処置装置にお
    いて、 前記主要類似性判定手段は、 前記色彩に関する情報として前記異色間類似度を用いる
    ことを特徴とする補間処理装置。
  16. 【請求項１６】 請求項１４または請求項１５に記載の
    補間処理装置において、 前記主要類似性判定手段は、 前記異色間類似度が、少なくとも一方向に対して強い類
    似性を示す場合、前記局所的な領域における画像が無彩
    色部であると判断し、その他の場合、該局所的な領域に
    おける画像が彩色部であると判断することを特徴とする
    補間処理装置。
  17. 【請求項１７】 請求項８ないし請求項１６の何れか１
    項に記載の補間処理装置において、 前記主要類似性判定手段は、 補間対象サブピクセルにおける少なくとも２つの方向に
    対する類似度として、補間対象サブピクセルのみならず
    補間対象サブピクセルの周辺のサブピクセルに対して算
    出した少なくとも２つの方向に対する類似度を用いるこ
    とを特徴とする補間処理装置。
  18. 【請求項１８】 請求項８または請求項１１に記載の補
    間処理装置において、 前記主要類似性判定手段は、 各方向間の類似度の差異が所定の閾値よりも小さい場
    合、各方向の類似性が同程度であると判定することを特
    徴とする補間処理装置。
  19. 【請求項１９】 請求項２ないし請求項７の何れか１項
    に記載の補間処理装置において、 前記微細部類似性判定手段は、 補間対象サブピクセルにおける少なくとも２つの方向に
    対する類似度を、１種類以上の色成分の色情報を用いて
    算出して、該類似度に基づき少なくとも２つの方向に対
    する補間対象サブピクセルの類似性の強弱を判定するこ
    とを特徴とする補間処理装置。
  20. 【請求項２０】 請求項１９に記載の補間処理装置にお
    いて、１画素につき第１〜第ｎ（ｎ≧２）の色成分の何
    れか１つの色成分が対応付けられ、第１色成分よりも空
    間周波数が低い第２色成分が対応付けられた画素を構成
    するサブピクセルに第１色成分の補間値を補う場合、 前記微細部類似性判定手段は、（１）第２色成分の色情
    報を出力するサブピクセルのうち、最短距離に位置する
    サブピクセル間の第２色成分の色情報の差異を示す類似
    度成分と、（２）第１色成分の色情報を出力するサブピ
    クセルのうち、最短距離に位置するサブピクセル間の第
    １色成分の色情報の差異を示す類似度成分と、（３）第
    １色成分の色情報を出力するサブピクセルと第２色成分
    の色情報を出力するサブピクセルとのうち、最短距離に
    位置するサブピクセルの第１色成分と第２色成分との色
    情報の差異を示す類似度成分との少なくとも１つの類似
    度成分を用いて、補間対象サブピクセルにおける少なく
    とも２つの方向に対する類似度を算出することを特徴と
    する補間処理装置。
  21. 【請求項２１】 請求項２０に記載の補間処理装置にお
    いて、 前記微細部類似性判定手段は、 前記各々の類似度成分を各方向について加重加算して、
    補間対象サブピクセルにおける少なくとも２つの方向に
    対する類似度を算出することを特徴とする補間処理装
    置。
  22. 【請求項２２】 請求項２０または請求項２１に記載の
    補間処理装置において、 前記微細部類似性判定手段は、 補間対象サブピクセルにおける各方向に対する類似度を
    算出する際に、前記各々の類似度成分をサブピクセル間
    の距離に応じて規格化して用いることを特徴とする補間
    処理装置。
  23. 【請求項２３】 請求項２ないし請求項７の何れか１項
    に記載の補間処理装置において、前記画像データが複数
    の色成分から成る表色系で示される場合、 前記微細部類似性判定手段は、 補間対象サブピクセルの色情報とその近傍に存在する色
    情報とから選ばれる複数の色情報に基づき、（１）異な
    る色成分の色情報を用いて算出される異色間類似度と、
    （２）同じ色成分の色情報を用いて算出される同色間類
    似度との２種類の類似度を算出し、補間対象サブピクセ
    ルが属する局所的な領域における画像の特徴に応じて、
    どちらか一方の類似度に切り換える、もしくは、各類似
    度を加重加算するときの加重比率を切り換えることによ
    り、補間対象サブピクセルにおける少なくとも２つの方
    向に対する類似度を算出し、該類似度に基づき少なくと
    も１方向に対する補間対象サブピクセルの類似性の強弱
    を判定することを特徴とする補間処理装置。
  24. 【請求項２４】 請求項２３に記載の補間処理装置にお
    いて、 前記微細部類似性判定手段は、 前記異色間類似度を前記同色間類似度よりも短い距離間
    隔で存在する色情報を用いて算出することを特徴とする
    補間処理装置。
  25. 【請求項２５】 請求項１９ないし請求項２４の何れか
    １項に記載の補間処理装置において、 前記微細部類似性判定手段は、 補間対象サブピクセルにおける少なくとも２つの方向に
    対する類似度として、補間対象サブピクセルのみならず
    補間対象サブピクセルの周辺のサブピクセルに対して算
    出した少なくとも２つの方向に対する類似度を用いるこ
    とを特徴とする補間処理装置。
  26. 【請求項２６】 請求項１９または請求項２３に記載の
    補間処理装置において、 前記微細部類似性判定手段は、 各方向間の類似度の差異が所定の閾値よりも小さい場
    合、各方向の類似性が同程度であると判定することを特
    徴とする補間処理装置。
  27. 【請求項２７】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める処理を行う補間処理装置に
    おいて、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、（１）補間対象サブピクセ
    ルに関する第１色成分の局所的な平均情報と、（２）補
    間対象サブピクセルに関する２種類以上の色成分の局所
    的な変曲情報とで構成される補間値を算出する補間値算
    出手段を備えたことを特徴とする補間処理装置。
  28. 【請求項２８】 請求項２７に記載の補間処理装置にお
    いて、 前記補間値算出手段は、 前記２種類以上の色成分の局所的な変曲情報として、
    （１）補間対象サブピクセルと同一の色成分による局所
    的な変曲情報と、（２）補間対象サブピクセルとは異な
    る色成分による局所的な変曲情報とを含む局所的な変曲
    情報を算出することを特徴とする補間処理装置。
  29. 【請求項２９】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める処理を行う補間処理装置に
    おいて、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、（１）補間対象サブピクセ
    ルに関する第１色成分の局所的な平均情報と、（２）補
    間対象サブピクセルとは異なる色成分による局所的な変
    曲情報とで構成される補間値を算出する補間値算出手段
    を備えたことを特徴とする補間処理装置。
  30. 【請求項３０】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める処理を行う補間処理装置に
    おいて、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、（１）補間対象サブピクセ
    ルに関する第１色成分の局所的な平均情報と、（２）補
    間対象サブピクセルに関する第１色成分の局所的な変曲
    情報とで構成される補間値を算出する補間値算出手段を
    備えたことを特徴とする補間処理装置。
  31. 【請求項３１】 請求項２７ないし請求項２９の何れか
    １項に記載の補間処理装置において、 補間対象サブピクセルと第１色成分の色情報が存在する
    サブピクセルとを結ぶ少なくとも２つの方向に対し、補
    間対象サブピクセルとの類似性の強弱を判定する第１の
    類似性判定手段と、 前記第１の類似性判定手段によって類似性の強弱が判定
    される方向とは異なる少なくとも２つの方向に対し、補
    間対象サブピクセルとの類似性の強弱を判定する第２の
    類似性判定手段とを備え、 前記補間値算出手段は、 前記第１色成分の局所的な平均情報を算出する際に用い
    る色情報が存在するサブピクセルの方向を、前記第１の
    類似性判定手段による判定結果に基づいて選択し、 前記局所的な変曲情報が、（１）「単一色成分で構成さ
    れ、前記第１の類似性判定手段で類似性の強弱の判定対
    象となる方向について方向性を有する局所的な変曲情
    報」である場合、該局所的な変曲情報を算出する際に用
    いる色情報が存在するサブピクセルの方向を該第１の類
    似性判定手段による判定結果に基づいて選択し、（２）
    「単一色成分で構成され、前記第２の類似性判定手段で
    類似性の強弱の判定対象となる方向について方向性を有
    する局所的な変曲情報」である場合、該局所的な変曲情
    報を算出する際に用いる色情報が存在するサブピクセル
    の方向を該第２の類似性判定手段による判定結果に基づ
    いて選択することを特徴とする補間処理装置。
  32. 【請求項３２】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める処理を行う補間処理装置に
    おいて、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、第１項と第２項との２つの
    項で構成される補間値を算出する補間値算出手段と、 補間対象サブピクセルと第１色成分の色情報が存在する
    サブピクセルとを結ぶ少なくとも２つの方向に対し、補
    間対象サブピクセルとの類似性の強弱を判定する第１の
    類似性判定手段と、 前記第１の類似性判定手段によって類似性の強弱が判定
    される方向とは異なる少なくとも２つの方向に対し、補
    間対象サブピクセルとの類似性の強弱を判定する第２の
    類似性判定手段とを備え、 前記補間値算出手段は、 前記第１項を算出する際に用いる色情報が存在するサブ
    ピクセルの方向を、前記第１の類似性判定手段による判
    定結果に基づいて選択し、前記第２項を算出する際に用
    いる色情報が存在するサブピクセルの方向を、前記第２
    の類似性判定手段による判定結果に基づいて選択するこ
    とを特徴とする補間処理装置。
  33. 【請求項３３】 請求項３２に記載の補間処理装置にお
    いて、 前記補間値算出手段は、 前記第１項として、（ａ）補間対象サブピクセルに関す
    る第１色成分の局所的な平均情報と、（ｂ）単一色成分
    で構成され、前記第１の類似性判定手段で類似性の強弱
    の判定対象となる方向について方向性を有する局所的な
    変曲情報とを含む項を算出し、 前記第２項として、 単一色成分で構成され、前記第２の類似性判定手段で類
    似性の強弱の判定対象となる方向について方向性を有す
    る局所的な変曲情報を含む項を算出することを特徴とす
    る補間処理装置。
  34. 【請求項３４】 請求項３１または請求項３３に記載の
    補間処理装置において、前記画像データが第１〜第３の
    色成分から成る表色系で示され、第１色成分が第２色成
    分および第３色成分に比べて空間周波数が高く、第１色
    成分が市松模様状に配置されると共に、第２色成分およ
    び第３色成分がそれぞれ第１色成分の間に線順次に配置
    され、補間対象サブピクセルに第２色成分が存在する場
    合、 前記第１の類似性判定手段は、 補間対象サブピクセルと補間対象サブピクセルに最も近
    接する第１色成分が存在するサブピクセルとを結ぶ縦横
    ２方向に対する補間対象サブピクセルの類似度を算出
    し、該類似度の差異に基づいて、該縦横２方向に対する
    補間対象サブピクセルの類似性の強弱を判定し、 前記第２の類似性判定手段は、 補間対象サブピクセルと補間対象サブピクセルに最も近
    接する第３色成分が存在するサブピクセルとを結ぶ斜め
    ２方向に対する補間対象サブピクセルの類似度を算出
    し、該類似度の差異に基づいて、該斜め２方向に対する
    補間対象サブピクセルの類似性の強弱を判定し、 前記補間値算出手段は、 「単一色成分で構成され、前記第１の類似性判定手段で
    類似性の強弱の判定対象となる方向について方向性を有
    する局所的な変曲情報」を、第２色成分と第１色成分と
    の少なくとも一方に対応させ、「単一色成分で構成さ
    れ、前記第２の類似性判定手段で類似性の強弱の判定対
    象となる方向について方向性を有する局所的な変曲情
    報」を、第２色成分と第３色成分との少なくとも一方に
    対応させることを特徴とする補間処理装置。
  35. 【請求項３５】 請求項３４に記載の補間処理装置にお
    いて、 前記補間値算出手段は、 前記局所的な変曲情報が、「補間対象サブピクセルとは
    異なる色成分による局所的な変曲情報」である場合、該
    局所的な変曲情報を、第１色成分に対応させるか、第３
    色成分に対応させるかを、前記第２の類似性判定手段に
    よって判定された類似性の強弱に応じて切り替えること
    を特徴とする補間処理装置。
  36. 【請求項３６】 請求項３５に記載の補間処理装置にお
    いて、 前記補間値算出手段は、 前記第２の類似性判定手段によって、前記斜め２方向の
    類似性が同程度であると判定された場合、第１色成分に
    よる局所的な変曲情報を算出し、該斜め２方向の類似性
    のうち、一方の斜め方向の類似性が他方の斜め方向の類
    似性よりも強いと判定された場合、第３色成分による局
    所的な変曲情報を算出することを特徴とする補間処理装
    置。
  37. 【請求項３７】 請求項３４に記載の補間処理装置にお
    いて、 前記第１の類似性判定手段は、 前記縦横２方向の類似度の差異が所定の閾値よりも小さ
    い場合、該縦横２方向の類似性が同程度であると判定
    し、 前記第２の類似性判定手段は、 前記斜め２方向の類似度の差異が所定の閾値よりも小さ
    い場合、該斜め２方向の類似性が同程度であると判定す
    ることを特徴とする補間処理装置。
  38. 【請求項３８】 請求項３４に記載の補間処理装置にお
    いて、 前記第１の類似性判定手段は、 １つの補間対象サブピクセルにつき、前記縦横２方向の
    類似度を複数の色成分の色情報を用いて算出し、 前記第２の類似性判定手段は、 １つの補間対象サブピクセルにつき、前記斜め２方向の
    類似度を複数の色成分の色情報を用いて算出することを
    特徴とする補間処理装置。
  39. 【請求項３９】 請求項３８に記載の補間処理装置にお
    いて、 前記第２の類似性判定手段は、 前記斜め２方向の各々の方向毎に、（１）第１色成分の
    みの色情報から成る類似度成分と、（２）第２色成分の
    みの色情報から成る類似度成分と、（３）第３色成分の
    みの色情報から成る類似度成分と、（４）第２色成分お
    よび第３色成分の色情報から成る類似度成分とを加重加
    算して、各々の方向の類似度を算出することを特徴とす
    る補間処理装置。
  40. 【請求項４０】 請求項３４に記載の補間処理装置にお
    いて、 前記第１の類似性判定手段は、 各々のサブピクセルにおける縦横２方向に対する類似度
    を算出し、補間対象サブピクセルのみならず周辺のサブ
    ピクセルの類似度の差異に基づいて、補間対象サブピク
    セルの縦横２方向に対する類似性を判定し、 前記第２の類似性判定手段は、 各々のサブピクセルにおける斜め２方向に対する類似度
    を算出し、補間対象サブピクセルのみならず周辺のサブ
    ピクセルの類似度の差異に基づいて、補間対象サブピク
    セルの斜め２方向に対する類似性を判定することを特徴
    とする補間処理装置。
  41. 【請求項４１】 ２次元配列された複数の画素の１画素
    につき１つの色成分が対応付けられ、各々の画素が２つ
    のサブピクセルに分割されて成る撮像素子によって生成
    される画像データに対し、各々のサブピクセルに欠落す
    る色成分の色情報に相当する補間値を決める処理を行う
    補間処理装置において、 補間対象サブピクセルの少なくとも２つの方向に対する
    類似度を算出する類似度算出手段と、 前記類似度算出手段によって算出された類似度に基づ
    き、少なくとも２つの方向に対する補間対象サブピクセ
    ルの類似性の強弱を判定する類似性判定手段と、 前記類似性判定手段によって判定された類似性の強弱に
    応じて、補間対象サブピクセルの補間値を算出する際に
    用いるサブピクセルの色情報を選択し、該色情報を用い
    て補間対象サブピクセルの補間値を算出する補間値算出
    手段とを備えたことを特徴とする補間処理装置。
  42. 【請求項４２】 請求項４１に記載の補間処理装置にお
    いて、前記画像データが複数の色成分から成る表色系で
    示される場合、 前記類似度算出手段は、 複数の色成分の色情報を用いて、補間対象サブピクセル
    における少なくとも２つの方向に対する類似度を算出す
    ることを特徴とする補間処理装置。
  43. 【請求項４３】 請求項４２に記載の補間処理装置にお
    いて、前記画像データが、第１〜第３の色成分から成る
    表色系で示され、第１色成分が第２色成分および第３色
    成分に比べて空間周波数が高く、第１色成分が欠落する
    サブピクセルに第１色成分の色情報に相当する補間値を
    決める場合、 前記類似度算出手段は、（１）前記第１色成分の色情報
    と前記第２色成分の色情報とを用いた類似度成分、
    （２）前記第１色成分の色情報と前記第３色成分の色情
    報とを用いた類似度成分、（３）前記第１色成分の色情
    報のみを用いた類似度成分、（４）前記第２色成分の色
    情報のみを用いた類似度成分、（５）前記第３色成分の
    色情報のみを用いた類似度成分の複数の類似度成分のう
    ち、第１〜第３色成分の色情報が含まれる組み合わせを
    利用して、補間対象サブピクセルにおける少なくとも２
    つの方向に対する類似度を算出することを特徴とする補
    間処理装置。
  44. 【請求項４４】 請求項４３に記載の補間処理装置にお
    いて、 前記類似度算出手段は、 前記複数の類似度成分のうち、前記組み合わせに属する
    類似度成分を方向別に加重加算して、補間対象サブピク
    セルにおける少なくとも２つの方向に対する類似度を算
    出することを特徴とする補間処理装置。
  45. 【請求項４５】 請求項４１に記載の補間処理装置にお
    いて、前記画像データが複数の色成分から成る表色系で
    示される場合、 前記類似度算出手段は、 補間対象サブピクセルとその近傍のサブピクセルとから
    選ばれる複数のサブピクセルに存在する色情報に基づ
    き、（１）異なる色成分の色情報から成る異色間類似度
    成分を含む異色間類似度と、（２）同じ色成分の色情報
    のみから成る同色間類似度成分を含む同色間類似度との
    ２種類の類似度を算出し、補間対象サブピクセルが属す
    る局所的な領域における画像の特徴に応じて、どちらか
    一方の類似度に切り換える、もしくは、各類似度を加重
    加算するときの加重比率を切り換えることにより、補間
    対象サブピクセルにおける少なくとも２つの方向に対す
    る類似度を算出することを特徴とする補間処理装置。
  46. 【請求項４６】 請求項４５に記載の補間処理装置にお
    いて、 前記類似度算出手段は、 前記異色間類似度を前記同色間類似度よりも短い距離間
    隔で存在する色情報を用いて算出することを特徴とする
    補間処理装置。
  47. 【請求項４７】 請求項４５または請求項４６に記載の
    補間処理装置において、前記画像データが、第１〜第３
    の色成分から成る表色系で示され、第１色成分が第２色
    成分および第３色成分に比べて空間周波数が高く、第１
    色成分が欠落するサブピクセルに第１色成分の色情報に
    相当する補間値を決める場合、 前記類似度算出手段は、 前記異色間類似度として、（１）前記第１色成分の色情
    報と前記第２色成分の色情報とから成る異色間類似度成
    分と、（２）前記第１色成分の色情報と前記第３色成分
    の色情報とから成る異色間類似度成分との少なくとも一
    方を含む類似度を算出し、 前記同色間類似度として、（１）前記第１色成分の色情
    報のみから成る同色間類似度成分と、（２）前記第２色
    成分の色情報のみから成る同色間類似度成分と、（３）
    前記第３色成分の色情報のみから成る同色間類似度成分
    との少なくとも１つを含む類似度を算出することを特徴
    とする補間処理装置。
  48. 【請求項４８】 請求項４５に記載の補間処理装置にお
    いて、 前記類似度算出手段は、 補間対象サブピクセルが属する局所的な領域における画
    像の特徴として色彩に関する情報を用い、該色彩に関す
    る情報を基準に、前記局所的な領域における画像が無彩
    色部であるか彩色部であるかを判別し、該局所的な領域
    における画像が無彩色部である場合には、補間対象サブ
    ピクセルにおける少なくとも２つの方向に対する類似度
    として前記異色間類似度を選択する、または、該異色間
    類似度と前記同色間類似度とを加重加算する際の該異色
    間類似度の加重比率を該同色間類似度の加重比率よりも
    大きくし、該局所的な領域における画像が彩色部である
    場合には、補間対象サブピクセルにおける少なくとも２
    つの方向に対する類似度として該同色間類似度を選択す
    る、または、該異色間類似度と前記同色間類似度とを加
    重加算する際の該同色間類似度の加重比率を該異色間類
    似度の加重比率よりも大きくすることを特徴とする補間
    処理装置。
  49. 【請求項４９】 請求項４８に記載の補間処置装置にお
    いて、 前記類似度算出手段は、 前記色彩に関する情報として前記異色間類似度を用いる
    ことを特徴とする補間処理装置。
  50. 【請求項５０】 請求項４８または請求項４９に記載の
    補間処理装置において、 前記類似度算出手段は、 前記異色間類似度が、少なくとも一方向に対して強い類
    似性を示す場合、前記局所的な領域における画像が無彩
    色部であると判断し、その他の場合、該局所的な領域に
    おける画像が彩色部であると判断することを特徴とする
    補間処理装置。
  51. 【請求項５１】 請求項４１ないし請求項５０の何れか
    １項に記載の補間処理装置において、 前記類似度算出手段は、 補間対象サブピクセルにおける少なくとも２つの方向に
    対する類似度として、補間対象サブピクセルのみならず
    補間対象サブピクセルの周辺のサブピクセルに対して算
    出した少なくとも２つの方向に対する類似度を用いるこ
    とを特徴とする補間処理装置。
  52. 【請求項５２】 請求項４１に記載の補間処理装置にお
    いて、 前記類似性判定手段は、 各方向間の類似度の差異が所定の閾値よりも小さい場
    合、各方向の類似性が同程度であると判定することを特
    徴とする補間処理装置。
  53. 【請求項５３】 ２次元配列された複数の画素のうち、
    空間周波数が低い色成分が対応付けられる画素と該色成
    分が対応付けられない画素との両方に空間周波数が高い
    輝度成分が対応付けられ、各々の画素が２つのサブピク
    セルに分割されて成る撮像素子によって生成される画像
    データに対し、色成分が欠落するサブピクセルの色成分
    に相当する補間値を決める処理を行う補間処理装置にお
    いて、 補間処理の対象となる補間対象サブピクセルの近傍に位
    置して輝度成分と色成分とが存在する複数のサブピクセ
    ルの色相値を、各々のサブピクセルの輝度成分と色成分
    とを用いて算出する色相値算出手段と、 前記色相値算出手段で算出された複数のサブピクセルの
    色相値の中央値によって、補間対象サブピクセルの色相
    値を算出する色相値補間手段と、 補間対象サブピクセルに存在する輝度成分を用いて、前
    記色相値補間手段で算出された補間対象サブピクセルの
    色相値を色成分に変換して、補間対象サブピクセルの補
    間値を求める色変換手段とを備えたことを特徴とする補
    間処理装置。
  54. 【請求項５４】 ２次元配列された複数の画素の１画素
    毎に、空間周波数が高い輝度成分と空間周波数が低い色
    成分との何れか一方が対応付けられ、各々の画素が２つ
    のサブピクセルに分割されて成る撮像素子によって生成
    される画像データに対し、輝度成分が欠落するサブピク
    セルの輝度成分に相当する補間値と色成分が欠落するサ
    ブピクセルの色成分に相当する補間値とを決める処理を
    行う補間処理装置において、 「輝度成分の補間処理の対象となる輝度成分補間対象サ
    ブピクセルと輝度成分補間対象サブピクセルの近傍に位
    置するサブピクセルとの類似性」と「輝度成分補間対象
    サブピクセルを含む局所的領域内の複数の色成分」との
    少なくとも一方を利用して、輝度成分補間対象サブピク
    セルの輝度成分に相当する補間値を求める輝度成分補間
    手段と、 色成分の補間処理の対象となる補間対象サブピクセルの
    近傍に位置し、色成分が存在して前記輝度成分補間手段
    によって輝度成分が補間された複数のサブピクセルの色
    相値を、各々のサブピクセルの輝度成分と色成分とを用
    いて算出する色相値算出手段と、 前記色相値算出手段で算出された複数のサブピクセルの
    色相値の中央値によって、補間対象サブピクセルの色相
    値を算出する色相値補間手段と、 補間対象サブピクセルに存在する輝度成分を用いて、前
    記色相値補間手段で算出された補間対象サブピクセルの
    色相値を色成分に変換して、補間対象サブピクセルの色
    成分に相当する補間値を求める色変換手段とを備えたこ
    とを特徴とする補間処理装置。
  55. 【請求項５５】 請求項５３または請求項５４に記載の
    補間処理装置において、画像データの輝度成分が緑色成
    分に対応し、画像データの色成分が赤色成分と青色成分
    とに対応する場合、 前記色相値補間手段は、 補間対象サブピクセルに緑色成分が存在して赤色成分が
    欠落する場合、補間対象サブピクセルの近傍に位置する
    画素の赤色成分を含む色相値の中央値によって補間対象
    サブピクセルの色相値を算出し、補間対象サブピクセル
    に緑色成分が存在して青色成分が欠落する場合、補間対
    象サブピクセルの近傍に位置するサブピクセルの青色成
    分を含む色相値の中央値によって補間対象サブピクセル
    の色相値を算出することを特徴とする補間処理装置。
  56. 【請求項５６】 請求項５３または請求項５４に記載の
    補間処理装置において、画像データの輝度成分が緑色成
    分に対応し、画像データの色成分が赤色成分と青色成分
    とに対応する場合、 前記色相値補間手段は、 補間対象サブピクセルに青色成分が存在して赤色成分が
    欠落する場合、補間対象サブピクセルの近傍に位置する
    画素の赤色成分を含む色相値の中央値によって補間対象
    サブピクセルの色相値を算出することを特徴とする補間
    処理装置。
  57. 【請求項５７】 請求項５３または請求項５４に記載の
    補間処理装置において、画像データの輝度成分が緑色成
    分に対応し、画像データの色成分が赤色成分と青色成分
    とに対応する場合、 前記色相値補間手段は、 補間対象サブピクセルに赤色成分が存在して青色成分が
    欠落する場合、補間対象サブピクセルの近傍に位置する
    サブピクセルの青色成分を含む色相値の中央値によって
    補間対象サブピクセルの色相値を算出することを特徴と
    する補間処理装置。
  58. 【請求項５８】 請求項５３ないし請求項５７の何れか
    １項に記載の補間処理装置において、補間対象サブピク
    セルに欠落する色成分が、縦横対称に配置された４画素
    のうち１画素のみに存在する場合、 前記色相値補間手段は、 補間対象サブピクセルの斜め方向に近接する複数の斜め
    近接サブピクセルの色相値が前記色相値算出手段によっ
    て算出されている場合、該斜め近接サブピクセルの色相
    値の中央値によって補間対象サブピクセルの色相値を算
    出する第１の色相値補間部と、 補間対象サブピクセルの縦方向と横方向とに近接する複
    数の縦横近接サブピクセルの色相値が前記色相値算出手
    段または前記第１の色相値補間部によって算出されてい
    る場合、該縦横近接サブピクセルの色相値の中央値によ
    って補間対象サブピクセルの色相値を算出する第２の色
    相値補間部とを備えたことを特徴とする補間処理装置。
  59. 【請求項５９】 ２次元配列された複数の画素の１画素
    につき１つの色成分が対応付けられ、各々の画素が２つ
    のサブピクセルに分割されて成る撮像素子によって生成
    される画像データに対し、各々のサブピクセルに欠落す
    る色成分の色情報に相当する補間値を決める補間処理を
    コンピュータで実現するための補間処理プログラムを記
    録した記録媒体において、 各々の画素を構成する２つのサブピクセルから出力され
    る色情報をひとまとめにした値を当該画素の色情報に相
    当する画素出力色情報とし、少なくとも２つの方向に対
    する補間対象サブピクセルの類似性の強弱を、該画素出
    力色情報を用いて判定する主要類似性判定手順と、 前記主要類似性判定手順によって判定された類似性の強
    弱に応じて、補間対象サブピクセルの補間値を算出する
    際に用いるサブピクセルの色情報を選択し、該色情報を
    用いて補間対象サブピクセルの補間値を算出する補間値
    算出手順とをコンピュータに実行させることを特徴とす
    る補間処理プログラムを記録した記録媒体。
  60. 【請求項６０】 ２次元配列された複数の画素の１画素
    につき１つの色成分が対応付けられ、各々の画素が２つ
    のサブピクセルに分割されて成る撮像素子によって生成
    される画像データに対し、各々のサブピクセルに欠落す
    る色成分の色情報に相当する補間値を決める補間処理を
    コンピュータで実現するための補間処理プログラムを記
    録した記録媒体において、 補間対象サブピクセルについて対称な距離に位置する色
    情報を用い、少なくとも２つの方向に対する補間対象サ
    ブピクセルの類似性の強弱を判定する主要類似性判定手
    順と、 補間対象サブピクセルについて非対称な距離に位置する
    色情報を用い、少なくとも２つの方向に対する補間対象
    サブピクセルの類似性の強弱を判定する微細部類似性判
    定手順と、 前記主要類似性判定手順と前記微細部類似性判定手順と
    によって判定された類似性の強弱に応じて、補間対象サ
    ブピクセルの補間値を算出する際に用いるサブピクセル
    の色情報を選択し、該色情報を用いて補間対象サブピク
    セルの補間値を算出する補間値算出手順とをコンピュー
    タに実行させることを特徴とする補間処理プログラムを
    記録した記録媒体。
  61. 【請求項６１】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める補間処理をコンピュータで
    実現するための補間処理プログラムを記録した記録媒体
    において、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、（１）補間対象サブピクセ
    ルに関する第１色成分の局所的な平均情報と、（２）補
    間対象サブピクセルに関する２種類以上の色成分の局所
    的な変曲情報とで構成される補間値を算出する補間値算
    出手順をコンピュータに実行させることを特徴とする補
    間処理プログラムを記録した記録媒体。
  62. 【請求項６２】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める補間処理をコンピュータで
    実現するための補間処理プログラムを記録した記録媒体
    において、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、（１）補間対象サブピクセ
    ルに関する第１色成分の局所的な平均情報と、（２）補
    間対象サブピクセルとは異なる色成分による局所的な変
    曲情報とで構成される補間値を算出する補間値算出手順
    をコンピュータに実行させることを特徴とする補間処理
    プログラムを記録した記録媒体。
  63. 【請求項６３】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める補間処理をコンピュータで
    実現するための補間処理プログラムを記録した記録媒体
    において、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、（１）補間対象サブピクセ
    ルに関する第１色成分の局所的な平均情報と、（２）補
    間対象サブピクセルに関する第１色成分の局所的な変曲
    情報とで構成される補間値を算出する補間値算出手順を
    コンピュータに実行させることを特徴とする補間処理プ
    ログラムを記録した記録媒体。
  64. 【請求項６４】 第１〜第ｎ（ｎ≧２）の色成分から成
    る表色系で示され、各々の画素に１種類の色成分が対応
    付けられ、各々の画素が２つのサブピクセルに分割され
    て成る撮像素子によって生成される画像データに対し、
    第１色成分が欠落するサブピクセルに第１色成分の色情
    報に相当する補間値を決める補間処理をコンピュータで
    実現するための補間処理プログラムを記録した記録媒体
    において、 補間対象サブピクセルが属する局所的領域に存在する色
    情報を用いて、少なくとも、第１項と第２項との２つの
    項で構成される補間値を算出する補間値算出手順と、 補間対象サブピクセルと第１色成分の色情報が存在する
    サブピクセルとを結ぶ少なくとも２つの方向に対し、補
    間対象サブピクセルとの類似性の強弱を判定する第１の
    類似性判定手順と、 前記第１の類似性判定手順によって類似性の強弱が判定
    される方向とは異なる少なくとも２つの方向に対し、補
    間対象サブピクセルとの類似性の強弱を判定する第２の
    類似性判定手順とをコンピュータに実行させ、 前記補間値算出手順は、 前記第１項を算出する際に用いる色情報が存在するサブ
    ピクセルの方向を、前記第１の類似性判定手順による判
    定結果に基づいて選択し、前記第２項を算出する際に用
    いる色情報が存在するサブピクセルの方向を、前記第２
    の類似性判定手順による判定結果に基づいて選択するこ
    とを特徴とする補間処理プログラムを記録した記録媒
    体。
  65. 【請求項６５】 ２次元配列された複数の画素の１画素
    につき１つの色成分が対応付けられ、各々の画素が２つ
    のサブピクセルに分割されて成る撮像素子によって生成
    される画像データに対し、各々のサブピクセルに欠落す
    る色成分の色情報に相当する補間値を決める補間処理を
    コンピュータで実現するための補間処理プログラムを記
    録した記録媒体において、 補間対象サブピクセルの少なくとも２つの方向に対する
    類似度を算出する類似度算出手順と、 前記類似度算出手順によって算出された類似度に基づ
    き、少なくとも２つの方向に対する補間対象サブピクセ
    ルの類似性の強弱を判定する類似性判定手順と、 前記類似性判定手順によって判定された類似性の強弱に
    応じて、補間対象サブピクセルの補間値を算出する際に
    用いるサブピクセルの色情報を選択し、該色情報を用い
    て補間対象サブピクセルの補間値を算出する補間値算出
    手順とをコンピュータに実行させることを特徴とする補
    間処理プログラムを記録した記録媒体。
  66. 【請求項６６】 ２次元配列された複数の画素のうち、
    空間周波数が低い色成分が対応付けられる画素と該色成
    分が対応付けられない画素との両方に空間周波数が高い
    輝度成分が対応付けられ、各々の画素が２つのサブピク
    セルに分割されて成る撮像素子によって生成される画像
    データに対し、色成分が欠落するサブピクセルの色成分
    に相当する補間値を決める補間処理をコンピュータで実
    現するための補間処理プログラムを記録した記録媒体に
    おいて、 補間処理の対象となる補間対象サブピクセルの近傍に位
    置して輝度成分と色成分とが存在する複数のサブピクセ
    ルの色相値を、各々のサブピクセルの輝度成分と色成分
    とを用いて算出する色相値算出手順と、 前記色相値算出手順で算出された複数のサブピクセルの
    色相値の中央値によって、補間対象サブピクセルの色相
    値を算出する色相値補間手順と、 補間対象サブピクセルに存在する輝度成分を用いて、前
    記色相値補間手順で算出された補間対象サブピクセルの
    色相値を色成分に変換して、補間対象サブピクセルの補
    間値を求める色変換手順とをコンピュータに実行させる
    ことを特徴とする補間処理プログラムを記録した記録媒
    体。
  67. 【請求項６７】 ２次元配列された複数の画素の１画素
    毎に、空間周波数が高い輝度成分と空間周波数が低い色
    成分との何れか一方が対応付けられ、各々の画素が２つ
    のサブピクセルに分割されて成る撮像素子によって生成
    される画像データに対し、輝度成分が欠落するサブピク
    セルの輝度成分に相当する補間値と色成分が欠落するサ
    ブピクセルの色成分に相当する補間値とを決める補間処
    理をコンピュータで実現するための補間処理プログラム
    を記録した記録媒体において、 「輝度成分の補間処理の対象となる輝度成分補間対象サ
    ブピクセルと輝度成分補間対象サブピクセルの近傍に位
    置するサブピクセルとの類似性」と「輝度成分補間対象
    サブピクセルを含む局所的領域内の複数の色成分」との
    少なくとも一方を利用して、輝度成分補間対象サブピク
    セルの輝度成分に相当する補間値を求める輝度成分補間
    手順と、 色成分の補間処理の対象となる補間対象サブピクセルの
    近傍に位置し、色成分が存在して前記輝度成分補間手順
    によって輝度成分が補間された複数のサブピクセルの色
    相値を、各々のサブピクセルの輝度成分と色成分とを用
    いて算出する色相値算出手順と、 前記色相値算出手順で算出された複数のサブピクセルの
    色相値の中央値によって、補間対象サブピクセルの色相
    値を算出する色相値補間手順と、 補間対象サブピクセルに存在する輝度成分を用いて、前
    記色相値補間手順で算出された補間対象サブピクセルの
    色相値を色成分に変換して、補間対象サブピクセルの色
    成分に相当する補間値を求める色変換手順とをコンピュ
    ータに実行させることを特徴とする補間処理プログラム
    を記録した記録媒体。
JP2000276212A 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体 Expired - Lifetime JP4415468B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000276212A JP4415468B2 (ja) 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-11797 2000-01-20
JP2000011797 2000-01-20
JP2000276212A JP4415468B2 (ja) 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体

Publications (3)

Publication Number Publication Date
JP2001275126A true JP2001275126A (ja) 2001-10-05
JP2001275126A5 JP2001275126A5 (ja) 2007-09-13
JP4415468B2 JP4415468B2 (ja) 2010-02-17

Family

ID=26583850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000276212A Expired - Lifetime JP4415468B2 (ja) 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4415468B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
WO2003058554A1 (fr) * 2001-12-28 2003-07-17 Nikon Corporation Dispositif de traitement d'image permettant d'effectuer un jugement de similitude entre des pixels et programme de traitement d'image
WO2003101119A1 (fr) * 2002-05-24 2003-12-04 Nikon Corporation Procede de traitement d'images, programme de traitement d'images et processeur d'images
JP2010091870A (ja) * 2008-10-09 2010-04-22 Canon Inc 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
JP2012056162A (ja) * 2010-09-08 2012-03-22 Ricoh Co Ltd 画像形成装置
WO2014017153A1 (ja) * 2012-07-27 2014-01-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
US7565007B2 (en) 2001-01-25 2009-07-21 Nikon Corporation Image processing method, image processing program, and image processing apparatus
WO2003058554A1 (fr) * 2001-12-28 2003-07-17 Nikon Corporation Dispositif de traitement d'image permettant d'effectuer un jugement de similitude entre des pixels et programme de traitement d'image
US7346210B2 (en) 2001-12-28 2008-03-18 Nikon Corporation Image processing device and image processing program for determining similarity factors of pixels
WO2003101119A1 (fr) * 2002-05-24 2003-12-04 Nikon Corporation Procede de traitement d'images, programme de traitement d'images et processeur d'images
JP2010091870A (ja) * 2008-10-09 2010-04-22 Canon Inc 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
US8456485B2 (en) 2008-10-09 2013-06-04 Canon Kabushiki Kaisha Image processing apparatus and method, head mounted display, program, and recording medium
JP2012056162A (ja) * 2010-09-08 2012-03-22 Ricoh Co Ltd 画像形成装置
WO2014017153A1 (ja) * 2012-07-27 2014-01-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP4415468B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
JP4599672B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP3985679B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
CN101917629B (zh) 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
WO2005117455A1 (ja) Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
CN105993169A (zh) 用于图像去马赛克的系统及方法
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
KR100932217B1 (ko) 컬러 보간 방법 및 장치
US7801355B2 (en) Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
JP4717371B2 (ja) 画像処理装置および画像処理プログラム
JP3458080B2 (ja) カラー撮像装置
JP2001275126A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP4581191B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
CN101977328B (zh) 一种基于补色模式的颜色插值方法
KR20050051437A (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2000341701A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP4032579B2 (ja) 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体
JP2003196649A (ja) 画像処理装置および画像処理プログラム
JP4748278B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP3899144B2 (ja) 画像処理装置
JP3926019B2 (ja) 撮像装置
CN100559888C (zh) 应用于彩色数字影像的画素彩度抑制方法与装置
KR20090103669A (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4415468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151204

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term