JP2003348608A - 画像処理方法、画像処理プログラム、画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 デルタ配列等の三角格子状のカラーフィルタ
等で得られた画像データに基づき高精細な正方格子配列
した画像データを出力する画像処理方法、画像処理プロ
グラム、画像処理装置を提供すること。 【解決手段】ＲＧＢの色成分からなるデルタ配列の画像
データを取得し、デルタ配列の三角格子状の画素位置で
補間処理を行い、補間処理された三角格子状の画素位置
の画像データを１行おきに画素位置を１／２画素ピッチ
ずらす１次元変位処理を行い、１次元変位処理をしたデ
ータと１次元変位処理をしないデータとを合わせて正方
格子状に配置された画像データを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デルタ配列のカラ
ーフィルタで得られる画像データを処理する画像処理方
法、画像処理プログラム、画像処理装置に関する。

【０００２】

【従来の技術】電子カメラは、ＣＣＤなどの撮像素子に
より被写体を撮像する。この撮像素子において、ＲＧＢ
（赤緑青）の３色のカラーフィルタを図２４（ａ）に示
すように配列したベイア配列が知られている。また、図
２４（ｂ）に示すように配列したデルタ配列も知られて
いる。さらに、図２４（ｃ）に示すように配列したハニ
カム配列も知られている。ベイア配列で得られる画像デ
ータについては、例えば、米国特許5,552,827号、米国
特許5,629,734号、特開2001-245314号公報などのよう
に、各種の画像処理方法が提案されている。

【０００３】一方、デルタ配列で得られる画像データに
ついては、特開平8-340455号公報、米国特許5,805,217
号などで画像処理方法が提案されている。

【０００４】

【発明が解決しようとする課題】しかし、米国特許5,80
5,217号では、デルタ配列固有の特性に応じた画像処理
がなされていない。また、特開平8-340455号公報では、
簡単な画像復元方法しか提案されていない。また、ベイ
ア配列で提案されている各種の画像処理方法は、必ずし
も、そのままデルタ配列に適用できない。

【０００５】本発明は、デルタ配列等の三角格子状のカ
ラーフィルタ等で得られた画像データに基づき高精細な
正方格子配列した画像データを出力する画像処理方法、
画像処理プログラム、画像処理装置を提供する。

【０００６】

【課題を解決するための手段】請求項１の発明は画像処
理方法に適用され、複数の色成分からなる表色系で表さ
れ、１つの画素に少なくとも１つの色成分の色情報を有
する複数の画素からなり、複数の画素は三角格子状に配
置された第１の画像を取得する画像取得手順と、取得し
た第１の画像の色情報を用いて、少なくとも１つの新し
い色情報を、第１の画像と同じ三角格子状の画素位置に
生成する色情報生成手順と、生成された色情報を含む三
角格子状の画素位置にある複数の画素の色情報を、一方
向に並ぶ画素間において一次元変位処理を行うことによ
って、各画素間位置の色情報に変換する画素位置変換手
順と、画素位置が変換された色情報を使用して、複数の
画素が正方格子状に配置された第２の画像を出力する出
力手順を備えるものである。請求項２の発明は、請求項
１記載の画像処理方法において、新しい色情報は、第１
の画像の表色系の色成分のうち第１の画像の各画素にお
いて欠落する色成分の色情報であるとするものである。
請求項３の発明は、請求項１記載の画像処理方法におい
て、新しい色情報は、第１の画像の表色系とは異なる表
色系の色情報であるとするものである。請求項４の発明
は、請求項１〜３のいずれか１項に記載の画像処理方法
において、一次元変位処理は、正及び負の係数値からな
る一次元フィルタを用いて行うこととするものである。
請求項５の発明は、請求項１〜４のいずれか１項に記載
の画像処理方法において、一次元変位処理は、第１の画
像に対して、行単位で一行置きに行うこととするもので
ある。請求項６の発明は、請求項１〜５のいずれか１項
に記載の画像処理方法において、少なくとも３方向に対
する類似性の強弱を判定する類似性判定手順をさらに備
え、色情報生成手順では、判定された類似性の強さに応
じて新しい色情報を生成することとするものである。請
求項７の発明は、請求項６に記載の画像処理方法におい
て、類似性判定手順では、少なくとも３方向に対する類
似度を算出し、類似度の逆数に基づいて各方向の類似性
の強弱を判定することとするものである。請求項８の発
明は、請求項１〜７のいずれか１項に記載の画像処理方
法において、生成された色情報を含む三角格子状の画素
位置にある複数の画素の色情報に基づき、三角格子状の
画素位置に色差成分の色情報を生成する色差生成手順
と、色差生成手順で生成された色差成分の色情報を補正
する補正手順とをさらに備えるとするものである。請求
項９の発明は、請求項１〜７のいずれか１項に記載の画
像処理方法において、生成された色情報を含む三角格子
状の画素位置にある複数の画素の色情報に基づき、三角
格子状の画素位置に輝度成分の色情報を生成する輝度生
成手順と、輝度生成手順で生成された輝度成分の色情報
を補正する補正手順とをさらに備えるとするものであ
る。請求項１０の発明は画像処理方法に適用され、第１
〜第ｎ色成分（ｎ≧２）で表され、１つの画素に１つの
色成分の色情報を有する複数の画素が三角格子状に配置
された第１の画像を取得する画像取得手順と、取得した
第１の画像の色情報を用いて、第１色成分が欠落する画
素に第１色成分の色情報を補間する補間手順と、第１の
画像の色情報と補間された色情報とに基づき、第２の画
像を出力する出力手順とを備え、補間手順は、第１の画
像の補間対象画素に関して、１）第１色成分の平均情報
を可変な演算により求め、２）第１〜第ｎの何れか少な
くとも１つの色成分の曲率情報を固定の演算により求
め、平均情報と曲率情報に基づいて補間を行うものであ
る。請求項１１の発明は、請求項１０に記載の画像処理
方法において、少なくとも３方向に対する類似性の強弱
を判定する類似性判定手順をさらに備え、補間手順は、
類似性判定手順で判定された類似性の強さに応じて第１
色成分の平均情報の演算を可変にすることとするもので
ある。請求項１２の発明は、請求項１０または１１に記
載の画像処理方法において、曲率情報を２次微分演算に
より求めることとするものである。請求項１３の発明
は、請求項１０〜１２のいずれか１項に記載の画像処理
方法において、第１〜第３色成分で表される第１の画像
を入力するとき、第１〜第３の全ての色成分の曲率情報
に基づいて補間を行うこととするものである。請求項１
４の発明は、請求項１〜１３のいずれか１項に記載の画
像処理方法の手順をコンピュータに実行させるための画
像処理プログラムとするものである。。請求項１５の発
明は、請求項１４の画像処理プログラムを記録したコン
ピュータ読みとり可能な記録媒体とするものである。請
求項１６の発明は、請求項１４の画像処理プログラムを
搭載した画像処理装置とするものである。

【０００７】

【発明の実施の形態】−第１の実施の形態− （電子カメラの構成）図１は、第１の実施の形態におけ
る電子カメラの機能ブロック図である。電子カメラ１
は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、
メモリ１３、圧縮／伸長部１４、表示画像生成部１５を
備える。また、メモリカード（カード状のリムーバブル
メモリ）１６とのインタフェースをとるメモリカード用
インタフェース部１７および所定のケーブルや無線伝送
路を介してＰＣ（パーソナルコンピュータ）１８等の外
部装置とのインタフェースをとる外部インタフェース部
１９を備える。これらの各ブロックはバス２９を介して
相互に接続される。画像処理部１１は、例えば、画像処
理専用の１チップ・マイクロプロセッサで構成される。

【０００８】電子カメラ１は、さらに、撮影光学系２
０、撮像素子２１、アナログ信号処理部２２、タイミン
グ制御部２３を備える。撮像素子２１には撮影光学系２
０で取得された被写体の光学像が結像し、撮像素子２１
の出力はアナログ信号処理部２２に接続される。アナロ
グ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続さ
れる。タイミング制御部２３には制御部１２の出力が接
続され、タイミング制御部２３の出力は、撮像素子２
１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像
処理部１１に接続される。撮像素子２１は例えばＣＣＤ
などで構成される。

【０００９】電子カメラ１は、さらに、レリーズボタン
やモード切り換え用の選択ボタン等に相当する操作部２
４およびモニタ２５を備える。操作部２４の出力は制御
部１２に接続され、モニタ２５には表示画像生成部１５
の出力が接続される。

【００１０】なお、ＰＣ１８には、モニタ２６やプリン
タ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録さ
れたアプリケーションプログラムが予めインストールさ
れている。また、ＰＣ１８は、不図示のＣＰＵ、メモ
リ、ハードディスクの他に、メモリカード１６とのイン
タフェースをとるメモリカード用インタフェース部（不
図示）や所定のケーブルや無線伝送路を介して電子カメ
ラ１等の外部装置とのインタフェースをとる外部インタ
フェース部（不図示）を備える。

【００１１】図１のような構成の電子カメラ１におい
て、操作部２４を介し、操作者によって撮影モードが選
択されてレリーズボタンが押されると、制御部１２は、
タイミング制御部２３を介して、撮像素子２１、アナロ
グ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミン
グ制御を行う。撮像素子２１は、光学像に対応する画像
信号を生成する。その画像信号は、アナログ信号処理部
２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でデ
ィジタル化され、画像データとして、画像処理部１１に
供給される。

【００１２】本実施の形態の電子カメラ１では、撮像素
子２１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラ
ーフィルタがデルタ配列（後述）されているので、画像
処理部１１に供給される画像データはＲＧＢ表色系で示
される。画像データを構成する各々の画素には、ＲＧＢ
の何れか１つの色成分の色情報が存在する。

【００１３】画像処理部１１は、このような画像データ
に対し、後述する画像データ変換処理を行う他に、階調
変換や輪郭強調などの画像処理を行う。このような画像
処理が完了した画像データは、必要に応じて、圧縮／伸
長部１４で所定の圧縮処理が施され、メモリカード用イ
ンタフェース部１７を介してメモリカード１６に記録さ
れる。

【００１４】なお、画像処理が完了した画像データは、
圧縮処理を施さずにメモリカード１６に記録したり、Ｐ
Ｃ１８側のモニタ２６やプリンタ２７で採用されている
表色系に変換して、外部インタフェース部１９を介して
ＰＣ１８に供給しても良い。また、操作部２４を介し、
操作者によって再生モードが選択されると、メモリカー
ド１６に記録されている画像データは、メモリカード用
インタフェース部１７を介して読み出されて圧縮／伸長
部１２で伸長処理が施され、表示画像生成部１５を介し
てモニタ２５に表示される。

【００１５】なお、伸長処理が施された画像データは、
モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリ
ンタ２７で採用されている表色系に変換して、外部イン
タフェース部１９を介してＰＣ１８に供給しても良い。

【００１６】（画像処理）次に、デルタ配列で得られた
画像データについて、三角格子上で補間処理し、コンピ
ュータ上の取り扱いが容易な正方格子データに復元する
処理について説明する。図２５は、これらの処理の概念
を示す図である。三角格子とは、撮像素子の画素が１行
ごとに１／２画素ずれて配列された並びを言う。隣接す
る各画素の中心を結ぶと三角形を形成する並びである。
画素の中心点を格子点と言ってもよい。図２４（ｂ）の
デルタ配列は、三角格子状に配列されたものである。図
２４（ｂ）のような配列で得られる画像は、画素が三角
配置された画像と言ってもよい。正方格子とは、撮像素
子の画素が１行ごとにずれないで配列された並びを言
う。隣接する各画素の中心を結ぶと四角形を形成する並
びである。図２４（ａ）のベイア配列は正方格子状に配
列されたものである。図２４（ａ）のような配列で得ら
れる画像は、画素が矩形（四角）配置された画像と言っ
てもよい。

【００１７】また、後述するように、デルタ配列の画像
データを１行おきに１／２画素ずらす処理をすると、正
方格子データが生成される。三角格子上で補間処理をす
るとは、デルタ配列で得られた画像データの状態で補間
処理をすることを言う。すなわち、デルタ配列の画素位
置に欠落する色成分の色情報を補間することを言う。

【００１８】図２は、画像処理部１１が行う画像処理の
概要を示すフローチャートである。ステップＳ１では、
デルタ配列の撮像素子２１で得られた画像を入力する。
ステップＳ２において、類似度の算出を行う。ステップ
Ｓ３では、ステップＳ２で得られた類似度に基づき類似
性を判定する。ステップＳ４では、ステップＳ３で得ら
れた類似性の判定結果に基づいて、各画素において欠落
する色成分の補間値を算出する。ステップＳ５では、得
られたＲＧＢカラー画像を出力する。ステップＳ５で出
力されるＲＧＢカラー画像は三角格子上で得られた画像
データである。

【００１９】次に、ステップＳ６で、三角格子上で得ら
れた画像データに対して１次元変位処理を行う。１次元
変位処理は、後述するように、１行おきの画像データに
対して行う。ステップＳ７で、１次元変位処理を行った
画像データと行わなかった画像データを合わせて正方格
子画像データを出力する。ステップＳ１〜Ｓ５は、三角
格子上での補間処理であり、ステップＳ６、Ｓ７は正方
化処理である。以下、これらの処理の詳細について説明
する。

【００２０】−三角格子上補間処理− 以下の説明では、代表してＲ画素位置での補間処理につ
いて説明する。図３は、デルタ配列の撮像素子２１によ
り得られた画素の位置関係を示す図である。撮像素子２
１の画素は１行ごとに１／２画素ずれて配置され、カラ
ーフィルターはＲＧＢの色成分が１：１：１の割合で各
画素上に配列されている。すなわち、均等に色配分され
ている。参考に、ベイア配列のカラーフィルタはＲＧＢ
が１：２：１の割合で配列されている（図２４
（ａ））。

【００２１】Ｒ成分の色情報を有する画素をＲ画素、Ｂ
成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を
有する画素をＧ画素と言う。撮像素子２１で得られた画
像データは、各画素に１つの色成分の色情報しか有しな
い。補間処理は、各画素に欠落する他の色成分の色情報
を計算により求める処理である。以下、Ｒ画素位置に
Ｇ、Ｂ成分の色情報を補間する場合について説明する。

【００２２】図３において、Ｒ画素である処理対象画素
（補間対象画素）をRctrと呼ぶ。また、画素Rctrの周辺
に存在する各画素位置を角度を用いて表現する。例え
ば、60度方向に存在するＢ画素をB060、Ｇ画素をG060と
表現する。ただし、この角度は厳密な角度ではなく近似
的なものである。また、0度-180度を結ぶ方向を0度方
向、120度-300度を結ぶ方向を120度方向、240度-60度を
結ぶ方向を240度方向、30度-210度を結ぶ方向を30度方
向、150度-330度を結ぶ方向を150度方向、270度-90度を
結ぶ方向を270度方向と呼ぶことにする。

【００２３】１．類似度の算出 0度、120度、240度方向の類似度C000、C120、C240を算
出する。第１の実施の形態では、式(1)(2)(3)に示すよ
うに、異なる色成分間で構成される異色間類似度を求め
る。 C000 = {|G000-Rctr|+|B180-Rctr|+|(G000+B180)/2-Rctr|}/3 ...(1) C120 = {|G120-Rctr|+|B300-Rctr|+|(G120+B300)/2-Rctr|}/3 ...(2) C240 = {|G240-Rctr|+|B060-Rctr|+|(G240+B060)/2-Rctr|}/3 ...(3) このように隣接画素間で定義される異色間類似度は、デ
ルタ配列の三角格子で規定されるナイキスト周波数の画
像構造を空間的に解像させる能力を持つ。

【００２４】次に、類似度の周辺加算を行って周辺画素
との連続性を考慮することにより、類似度の精度を上げ
る。ここでは各画素について求めた上記類似度を、Ｒ位
置について図４に示す係数を使用して周辺加算を行う。
周辺加算を行った類似度を小文字で表記する。[]は、処
理対象画素から見たデルタ配列上の画素位置を表す。式
(4)は０度方向の類似度の周辺加算を示す。 c000 = {6*C000[Rctr] +C000[R030]+C000[R150]+C000[R270] +C000[R210]+C000[R300]+C000[R090]}/12 ...(4) 120度方向のc120、240度方向のc240も同様にして求め
る。

【００２５】２．類似性判定 上述した類似度は値が小さいほど大きな類似性を示すの
で、各方向の類似性の強弱を、類似度の逆数比で連続的
に変化するように判定する。すなわち(1/c000):(1/c12
0):(1/c240)で判定する。具体的には、次の加重係数を
演算する。

【００２６】各方向の類似性を1で規格化された加重係
数w000、w120、w240として表すと、 w000=(c120*c240+Th)/(c120*c240+c240*c000+c000*c120+3*Th) ...(5) w120=(c240*c000+Th)/(c120*c240+c240*c000+c000*c120+3*Th) ...(6) w240=(c000*c120+Th)/(c120*c240+c240*c000+c000*c120+3*Th) ...(7) により求まる。ただし、閾値Thは発散を防ぐための項で
正の値をとる。通常Th=1とすればよいが、高感度撮影画
像などノイズの多い画像に対してはこの閾値を上げると
よい。加重係数w000、w120、w240は、類似性の強弱に応
じた値となる。

【００２７】ベイア配列では、米国特許5,552,827号、
米国特許5,629,734号、特開2001-245314号に示されるよ
うに、Ｇ補間における方向判定法として、加重係数によ
る連続的判定法と閾値判定による離散的判定法の２通り
がある。ベイア配列では、最隣接Ｇ成分が補間対象画素
に対して４方向と密に存在するため、連続的判定法と離
散的判定法のどちらを使用してもおおよそ問題なく使え
る。しかし、最隣接Ｇ成分が0度方向、120度方向、240
度方向の３方向にしか存在しないデルタ配列においては
加重係数による連続的な方向判定が重要となる。最隣接
Ｇ成分とは、補間対象画素と辺を接する画素でＧ成分を
有するものである。図３では、G000,G120,G240である。

【００２８】３．補間値算出 Ｇ成分、Ｂ成分の補間値を上記加重係数を用いて算出す
る。補間値は、平均情報と曲率情報の２つの項からな
る。 ＜平均情報＞ Gave = w000*Gave000+w120*Gave120+w240*Gave240 ...(8) Bave = w000*Bave000+w120*Bave120+w240*Bave240 ...(9) ここで、 Gave000 = (2*G000+G180)/3 ...(10) Bave000 = (2*B180+B000)/3 ...(11) Gave120 = (2*G120+G300)/3 ...(12) Bave120 = (2*B300+B120)/3 ...(13) Gave240 = (2*G240+G060)/3 ...(14) Bave240 = (2*B060+B240)/3 ...(15) である。 ＜曲率情報＞ dR = (6*Rctr-R030-R090-R150-R210-R270-R330)/12 ...(16) ＜補間値＞ Gctr = Gave+dR ...(17) Bctr = Bave+dR ...(18)

【００２９】通常、ベイア配列のＧ補間においては、最
隣接Ｇ成分を用いて平均情報を求める。しかし、デルタ
配列の場合は同様にすると縦線や30度方向、150度方向
の境界線がブツブツになる問題が生じることが実験的に
判明した。これは、例えば縦線境界の場合、加重係数が
w000≒0、w120≒w240≒0.5になっていると想定され、２
方向間で平均処理を行う部分に相当する。しかしなが
ら、最隣接画素平均だけでは、縦線に沿ってある点では
左側の２点平均をとり、次の隣の斜め右上あるいは右下
の点では右側の２点平均をとることになってしまうため
と考えられる。

【００３０】そこで、第２隣接画素まで考慮して補間対
象画素からの距離比に応じた平均処理を行うと、例えば
縦線の場合、常に右側と左側の両方から平均をとるの
で、縦線、30度方向、150度方向の境界線のブツブツが
劇的に改善する。故に、式(10)〜(15)に示すように、第
２隣接画素まで含む平均処理を行う。これにより、30
度、150度、270度方向の空間解像力が向上する。例え
ば、式(10)において、G000が最隣接画素あるいは第１隣
接画素であり、G180が第２隣接画素である。式(12)にお
いて、G120が最隣接画素あるいは第１隣接画素であり、
G300が第２隣接画素である。他の式も同様である。第１
隣接画素は約１画素ピッチ離れた画素であり、第２隣接
画素は約２画素ピッチ離れた画素と言える。RctrとG120
は約１画素ピッチ離れており、RctrとG300は約２画素ピ
ッチ離れていると言える。図２２は、隣接画素について
定義する図である。centerは処理対象画素であり、near
estは最近接あるいは最隣接あるいは第１隣接画素であ
り、2ndは第２隣接画素である。

【００３１】また、ベイア配列補間の従来技術におい
て、曲率情報dRに相当する項は平均情報と同じ方向性を
考慮して算出するのが普通である。しかしながら、デル
タ配列においては、平均情報の方向性（0度、120度、24
0度方向）と抽出可能な曲率情報の方向性（30度、150
度、270度方向）が一致していない。このような場合、3
0度方向と150度方向の曲率情報を平均して0度方向の曲
率情報を定義し、ベイア配列と同様に曲率情報の方向性
を考慮して補間値を算出することも可能であるが、曲率
情報は方向性を考慮せずに一律に抽出するほうが効果が
大きいことが実験的に判明した。従って、本実施の形態
では、方向性のない曲率情報で方向性を考慮した平均情
報を補正する。これにより、あらゆる方向の高周波領域
まで階調鮮明性を向上させることが可能となる。

【００３２】曲率情報dRを求める式(16)は、図５に示す
係数値が使用される。式(16)は、補間対象画素Rctrと周
辺画素の差分とその反対側の周辺画素と補間対象画素Rc
trの差分とを求めさらにそれらの差分を求めている。従
って、２次微分演算により求められている。

【００３３】また、曲率情報dRとは、ある色成分の色情
報の変化する度合いを示す情報である。ある色成分の色
情報の値をプロットして曲線で表した場合、その曲線の
曲がりの変化、曲がり具合を示す情報である。すなわ
ち、色成分の色情報の変化の凹凸に関する構造情報が反
映された量である。本実施の形態では、Ｒ画素位置の曲
率情報dRは、補間対象画素のRctrと周辺のＲ画素の色情
報を使用して求める。Ｇ画素位置の場合はＧ成分、Ｂ画
素位置の場合はＢ成分の色情報を使用する。

【００３４】以上のようにして、「Ｒ画素位置における
Ｇ、Ｂ成分の補間処理」を行うことができた。「Ｇ画素
位置におけるＢ、Ｒ成分の補間処理」は、「Ｒ画素位置
におけるＧ、Ｂ成分の補間処理」の記号をＲをＧに、Ｇ
をＢに、ＢをＲに循環的に置き換えて全く同様の処理を
行えばよい。また、「Ｂ位置におけるＲ、Ｇ成分の補間
処理」は、「Ｇ位置におけるＢ、Ｒ成分の補間処理」の
記号をＧをＢに、ＢをＲに、ＲをＧに循環的に置き換え
て全く同様の処理を行えばよい。すなわち、各補間処理
において同一の演算ルーチン（サブルーチン）を使用す
ることが可能である。

【００３５】以上のようにして復元された画像は、空間
方向に関してデルタ配列が持つ限界解像性能を全て引き
出すことができる。すなわち、周波数空間（k空間）で
見ると、図６に示すように、デルタ配列が持つ六角形の
無彩色再現領域を全て解像する。また、階調方向に関し
ても鮮明な画像が得られる。特に無彩色部の多い画像に
対しては極めて有効な手法である。

【００３６】−正方化処理− 次に、上述のように三角格子上で補間処理された画像デ
ータを、コンピューター上の取り扱いが容易な正方格子
データに復元する処理について説明する。行単位で1/2
画素ずつずれた単板撮像素子のデータを、３色揃った正
方格子データに復元する従来技術として、デルタ配列に
ついては特開平8-340455号公報、ハニカム配列について
は特開平2001-103295号公報、特開平2000-194386号公報
等がある。

【００３７】特開平8-340455号公報では、三角格子と異
なる画素位置に復元データを生成したり、三角格子より
倍の画素密度を持つ仮想正方格子に復元データを生成し
たりする例を示している。また、三角格子と半分の行は
同じ画素位置に復元して、残りの半分の行は三角格子と
1/2画素ずれた画素位置に復元する例も示している。し
かし、これは直接正方格子位置で補間処理を実現し、三
角格子の隣接画素との距離が変わると別々の補間処理を
適用するものである。一方、特開平2001-103295号公報
では2次元のキュービック補間により正方化し、特開平2
000-194386号公報では仮想的な倍密正方格子データを生
成している。

【００３８】このように色々なやり方が存在するが、本
第１の実施の形態では、デルタ配列の性能を最大限に維
持する方式を示す。

【００３９】本第１の実施の形態では、上述したよう
に、まず、デルタ配列と同じ画素位置に三角格子のまま
補間データを復元している。これにより、デルタ配列が
持つ空間周波数の限界解像性能を引き出すことができ
る。また、色差補正処理やエッジ強調処理も三角配置の
ままで行うとその効果が等方的にうまく作用する。従っ
て、いったん三角格子上で画像復元し、各画素にＲＧＢ
値を生成する。

【００４０】次に、三角格子上で生成された画像データ
を正方化変換する。三角格子の解像性能を保持するに
は、できるだけ元のデータを残すことが重要であること
が実験的に判明した。したがって、一行置きに半分の行
だけ1/2画素ずらす変位処理を行い、残り半分の行は処
理せず三角配置が持つ縦線のナイキスト解像を維持させ
る。変位処理は、処理対象行の一次元内でキュービック
補間により自己推定させると、正方格子のナイキスト周
波数の影響は多少受けるものの、ほとんど問題なく三角
格子の縦線解像度が維持できることが実験により確認さ
れた。

【００４１】すなわち、偶数行について、以下の式(19)
の処理を行い、その後、式(20)の代入処理を行う。これ
により、[x,y]の画素位置のＲ成分の色情報を求める。 tmp_R[x,y]={-1*R[x-(3/2)pixel,y]+5*R[x-(1/2)pixel,y] +5*R[x+(1/2)pixel,y]-1*R[x+(3/2)pixel,y]}/8 ...(19) R[x,y] = tmp_R[x.y] ...(20) Ｇ成分、Ｂ成分についても同様にして求める。式(19)の
処理を、キュービック変位処理と言う。また、１次元方
向の位置を変位処理しているので１次元変位処理とも言
う。図７は、式(19)で使用する係数値を示す図である。
上記キュービックによる１次元変位処理は正および負の
係数値からなる１次元フィルタをかける処理と言える。

【００４２】上述したような画像復元方法は、三角配置
の限界解像度を最大限に維持できるだけでなく、三角格
子上の画像復元処理は全ての画素で同一の処理ルーチン
を使うことが可能で、最後に半分の行だけ単純な一次元
処理を施すだけで済むので、データ量の増加を伴わず、
従来技術に比べより簡略なアルゴリズムを達成すること
ができる。特にハードウェアで実現する場合にはその効
果は大きい。

【００４３】−第２の実施の形態− 第１の実施の形態では、異色間類似度を求めて類似性を
判定するものであったが、第２の実施の形態では同色間
類似度を求めて類似性を判定する。第２の実施の形態
は、彩色部を多く含む画像に対して有効である。第２の
実施の形態の電子カメラ１の構成は、第１の実施の形態
の図１と同様であるのでその説明を省略する。画像処理
について、第１の実施の形態と異なる部分を中心に説明
する。特に記載がなければ第１の実施の形態と同様とす
る。

【００４４】（画像処理） −三角格子上補間処理− １．類似度の算出 0度、120度、240度方向の類似度C000、C120、C240を算
出する。第２の実施の形態では、式(20)(21)(22)に示す
ように、同じ色成分間で構成される同色間類似度を求め
る。３画素ピッチ離れた画素間の演算が行われる。図８
は、式(20)(21)(22)で使用する画素位置を示す図であ
る。 C000 = {(|R000-Rctr|+|R180-Rctr|)/2+|G000-G180|+|B000-B180|}/3 ...(20) C120 = {(|R120-Rctr|+|R300-Rctr|)/2+|G120-G300|+|B120-B300|}/3 ...(21) C240 = {(|R240-Rctr|+|R060-Rctr|)/2+|G240-G060|+|B240-B060|}/3 ...(22) このように定義される同色間類似度は、彩色部における
0度方向の横線や120度方向、240度方向の画像構造を空
間的に解像させる能力を持ち、また色収差のある系に対
しても影響を受けることなく画像構造を判別する能力を
有する。

【００４５】次に、第１の実施の形態と同様にして、類
似度の周辺加算を行う。

【００４６】２．類似性判定 第１の実施の形態と同様である。

【００４７】３．補間値算出 Ｇ成分、Ｂ成分の補間値を算出する。補間値は、平均情
報と曲率情報の2つの項からなる。 ＜平均情報＞：第１の実施の形態と同様である。 ＜曲率情報＞ dR = (6*Rctr-R030-R090-R150-R210-R270-R330)/12 ...(23) dG = ((G000+G120+G240)-(G060+G180+G300))/6 ...(24) dB = ((B060+B180+B300)-(B000+B120+B240))/6 ...(25) ＜補間値＞ Gctr = Gave+(dR+dG+dB)/3 ...(26) Bctr = Bave+(dR+dG+dB)/3 ...(27)

【００４８】第２の実施の形態では、第１の実施の形態
と異なり３色の曲率情報で平均情報を補正している。こ
れは、従来技術の特開2001-245314号公報に開示されて
いるように、彩色部や色収差を含む画像においてdRのみ
による過補正を防ぎつつ、階調方向の鮮明性を保つため
である。ただし、特開2001-245314号公報はベイア配列
に関するものである。このように３色の曲率情報を使用
する場合でも、ベイア配列の場合と違って、第１の実施
の形態と同様に、ＲＧＢ３成分とも方向性のない曲率情
報による補正が、最もあらゆる方向に対して階調鮮明性
を上げる効果が高いことが実験により判明した。また、
デルタ配列がR:G:B=1:1:1からなるので、3成分の曲率情
報を1:1:1で用いるのがよいことも分かった。図９は、
式(23)(24)(25)で使用する係数値を図示したものであ
る。

【００４９】以上のようにして、「Ｒ画素位置における
Ｇ、Ｂ成分の補間処理」を行うことができた。「Ｇ画素
位置におけるＢ、Ｒ成分の補間処理」、「Ｂ位置におけ
るＲ、Ｇ成分の補間処理」も、第１の実施の形態と同様
に、ＲＧＢをそれぞれ循環的に置きかえることによって
求める。正方化処理も、第１の実施の形態と同様に行う
ことができる。

【００５０】以上のように、第２の実施の形態の復元処
理は、彩色部を含む画像に対しても色境界を判別して解
像させることができ、かつ階調方向の過補正を引き起こ
すことなく鮮明な画像を得ることができる。また、色収
差を含むような系に対しても強い。

【００５１】−第３の実施の形態− ベイア配列で得られる画像データの画像処理においては
通常、補間処理後に画像に残っている偽色を低減するた
めにＲＧＢ信号を、輝度と色差からなるYCbCrに変換
し、Cb、Cr面で色差ローパスフィルタを掛けたり、色差
メディアンフィルタを掛けたりして偽色を除去し、ＲＧ
Ｂ表色系に戻す事後処理が行われる。また、光学ローパ
スフィルタ等による鮮明度の低下を補うために、輝度成
分Y面にエッジ強調処理を施したりする。デルタ配列の
場合も、全く同様の事後処理を適応してもよい。

【００５２】しかし、第３の実施の形態では、デルタ配
列に適した事後処理の方法を示す。第３の実施の形態の
電子カメラ１の構成は、第１の実施の形態の図１と同様
であるのでその説明を省略する。

【００５３】図１０は、第３の実施の形態において、画
像処理部１１が行う画像処理の概要を示すフローチャー
トである。第１の実施の形態と同様に三角格子上で補間
処理が行われるものとする。図１０は、補間処理後のＲ
ＧＢカラー画像を入力するところがスタートする。すな
わち、第１の実施の形態の図２のステップＳ１〜Ｓ５が
終了し、その後、図１０のフローチャートが開始する。

【００５４】ステップＳ１１では、補間処理後のＲＧＢ
カラー画像データを入力する。ステップＳ１２におい
て、ＲＧＢ表色系から本第３の実施の形態特有のYCrCgC
b表色系に変換する。ステップＳ１３では、色差面（CrC
gCb面）に対してローパスフィルタ処理を行う。ステッ
プＳ１４では、輝度面（Y面）に対してエッジ強調処理
を行う。ステップＳ１５では、色差面の偽色が除去され
た段階で、YCrCgCb表色系を元のＲＧＢ表色系に戻す変
換をする。ステップＳ１６において、得られたＲＧＢカ
ラー画像データを出力する。ステップＳ１６で出力され
るＲＧＢカラー画像データは三角格子上で得られた画像
データである。

【００５５】三角格子上で得られた画像データに対して
正方化処理をする場合は、第１の実施の形態と同様に、
図２のステップＳ６、Ｓ７の処理を行う。以下、上述の
ステップＳ１２〜１５の処理の詳細について説明する。

【００５６】１．表色系変換 ＲＧＢ表色系からYCrCgCb表色系に変換する。ただし、Y
CrCgCb表色系は、式(28)〜(31)で表されるものとして定
義する。 Y[i,j] = (R[i,j]+G[i,j]+B[i,j])/3 ...(28) Cr[i,j] = R[i,j]-Y[i,j] ...(29) Cg[i,j] = G[i,j]-Y[i,j] ...(30) Cb[i,j] = B[i,j]-Y[i,j] ...(31)

【００５７】サーキュラーゾーンプレートを撮像して三
角格子上で補間処理した後、式(28)のように、Y面生成
においてＲＧＢを均等に扱う変換を行うと、図６の六角
形の角の部分を中心に発生するような色モアレが、完全
に輝度面Yからは消え去るようになる。その結果、全て
の偽色要素を色差成分Cr,Cg,Cbに含ませることができ
る。そして、従来扱われている２種類の色差成分ではな
く、第３の実施の形態では３種類の色差成分を用意して
扱っているので、デルタ配列固有の全ての偽色要素を取
り出すことができる。

【００５８】２．色差補正 ここでは、色差補正の処理として色差面に対して式(32)
によりローパス処理を行う例を示す。三角格子（三角配
置）上で色差ローパスフィルタを掛けるとその偽色低減
効果は全方向に対して相性よく得られる。また、三角格
子上のメディアンフィルタ処理でもよい。ここで[]は、
図２２に示すように、処理対象画素から見た三角格子上
の画素位置を表すものとする。図１１は、式(32)に使用
する係数値を図示するものである。なお、ローパスフィ
ルタはここに示すものに留まらず、他のものを用いても
よい。図１２、図１３に他のローパスフィルタの例を示
す。 ＜ローパス処理＞ tmp_Cr[center] = {9*Cr[center] +2*(Cr[nearest000]+Cr[nearest120]+Cr[nearest240] +Cr[nearest180]+Cr[nearest300]+Cr[nearest060]) +Cr[2nd000]+Cr[2nd120]+Cr[2nd240] +Cr[2nd180]+Cr[2nd300]+Cr[2nd060]}/27 ...(32) tmp_Cg, tmp_Cbについても同様に処理する。 ＜代入処理＞ Cr[i,j] = tmp_Cr[i,j] ...(33) Cg[i,j] = tmp_Cg[i,j] ...(34) Cb[i,j] = tmp_Cb[i,j] ...(35)

【００５９】３．エッジ強調処理 次に、輝度面Yに対するエッジ強調処理が必要であれ
ば、三角格子上で以下の処理を行う。 ＜バンドパス処理＞三角格子上のラプラシアン処理によ
りエッジ抽出する。図１４は、式(36)のラプラシアン処
理に使用する係数値を図示するものである。なお、ラプ
ラシアンはここに示すものに留まらず、他のものを用い
てもよい。図１５、図１６に他のラプラシアンの例を示
す。 YH[center]={6*Y[center] -(Y[nearest000]+Y[nearest120]+Y[nearest240] +Y[nearest180]+Y[nearest300]+Y[nearest060])}/12 ...(36) ＜エッジ強調処理＞ Y[center]=Y[center]+K*YH[center] ...(37) ここで、Kは零以上の値で、エッジ強調の加減を調整す
るパラメータである。

【００６０】４．表色系変換 前述した通り色差補正処理がなされ、色差面の偽色が除
去された段階で、元のＲＧＢ表色系に戻す。 R[i,j]=Cr[i,j]+Y[i,j] ...(38) G[i,j]=Cg[i,j]+Y[i,j] ...(39) B[i,j]=Cb[i,j]+Y[i,j] ...(40)

【００６１】このように、輝度解像をR:G:B=1:1:1の比
で生成したY成分に待避させ、３種類の均等に扱った色
差成分Cr,Cg,Cbを導入することにより、極めて偽色抑制
能力の高い色差補正が可能となる。また、色差補正処理
や輝度補正処理を三角格子上で行うことにより、デルタ
配列の方向性に適した補正処理が可能となる。

【００６２】−第４の実施の形態− 第１の実施の形態では、三角格子上において、各画素に
欠落する色成分の色情報を補間する処理について説明し
た。第４の実施の形態では、第１の実施の形態のＲＧＢ
面内における補間処理とは異なる系統の画像復元処理の
例を示す。これは、デルタ配列から、ＲＧＢ面内の補間
処理を介さずに直接輝度成分と色差成分を作る方式であ
る。思想的に第３の実施の形態で示した１つの輝度面と
３つの色差面に分離することの有用性を引き継ぎ、輝度
面には無彩色の輝度解像力を最大限に引き出す役割を担
当させ、３つの色差面には３原色の色解像力を最大限に
引き出す役割を担当させている。

【００６３】第４の実施の形態の電子カメラ１の構成
は、第１の実施の形態の図１と同様であるのでその説明
を省略する。

【００６４】（画像処理）図１７は、デルタ配列のデル
タ面から、直接、輝度面(Y)と３つの色差面(Cgb,Cbr,Cr
g)を生成し、その後、元のＲＧＢの表色系に変換する概
念を示す図である。図１８は、第４の実施の形態におい
て、画像処理部１１が行う画像処理の概要を示すフロー
チャートである。

【００６５】ステップＳ２１では、デルタ配列の撮像素
子２１で得られた画像を入力する。ステップＳ２２にお
いて、類似度の算出を行う。ステップＳ２３では、ステ
ップＳ２２で得られた類似度に基づき類似性を判定す
る。ステップＳ２４では、ステップＳ２３で得られた類
似性の判定結果とステップＳ２１で得られたデルタ配列
の画像データに基づき輝度面（Y0面）を生成する。ステ
ップＳ２５では、ステップＳ２４で得られた輝度面（Y0
面）に対して補正処理を行う。

【００６６】一方、ステップＳ２６では、ステップＳ２
３で得られた類似性の判定結果とステップＳ２１で得ら
れたデルタ配列の画像データに基づき、色差成分Cgb,Cb
r,Crgを生成する。ステップＳ２６では、まだ、すべて
の画素においてすべての色差成分Cgb,Cbr,Crgが生成さ
れてはいない。ステップＳ２７で、生成されていない色
差成分を周辺の色差成分に基づき補間処理をする。その
結果、Cgb,Cbr,Crgの色差面が完成する。

【００６７】ステップＳ２８では、生成されたY,Cgb,Cb
r,Crgの表色系からＲＧＢ表色系に変換する。ステップ
Ｓ２９で、変換されたＲＧＢカラー画像データを出力す
る。ステップＳ２１〜ステップＳ２９は、すべて三角格
子上での処理である。従って、ステップＳ２９で出力さ
れるＲＧＢカラー画像データは、三角格子の画像データ
である。以下、これらの処理の詳細について説明する。
なお、正方化処理が必要な場合は、第１の実施の形態の
図２のステップＳ６、Ｓ７と同様の処理を行う。

【００６８】１．類似度の算出 まず、類似度の算出を行う。ここでは、任意の方式で求
められる類似度でよい。ただし、できるだけ正確なもの
を利用するものとする。例えば、第１の実施の形態で示
した異色間類似度や、第２の実施の形態で示した同色間
類似度や、それらを組み合わせて用いたもの、あるいは
色指標等によって異色間類似度と同色間類似度を切り替
えて用いたものでもよい。

【００６９】２．類似性判定 第１の実施の形態と同様にして判定する。

【００７０】３．復元値算出 １）輝度成分生成 まず、デルタ面を方向類似性に応じて変化する正の係数
で常にR:G:B=1:1:1となるように加重加算して輝度面を
生成する。その加重加算の範囲は第１の実施の形態と同
様の理由によって、Ｇ成分とＢ成分は第２隣接画素まで
とる。すなわち、第１の実施の形態の式(10)〜式(15)の
定義式を用いてもう一度、式(8)(9)を書き直すと式(41)
(42)のようになる。 <G>_２ｎｄ = Gave = w000*Gave000+w120*Gave120+w240*Gave240 ...(41) <B>_２ｎｄ = Bave = w000*Bave000+w120*Bave120+w240*Bave240 ...(42) これらと中心のR成分を用いて、式(43)により輝度成分Y
0を生成する。 Y0=Rctr+<G>_２ｎｄ+<B>_２ｎｄ ...(43)

【００７１】このようにして生成される輝度成分は、正
の方向加重係数を用いて常に一定の色成分比で中心画素
を含みながら生成されるので、極めて階調鮮明性の潜在
能力が高く、空間解像力の高い画像が得られ、かつ色収
差に影響されずに極めて滑らかに周辺画素と連結する画
像が得られる。例えば、無彩色のサーキュラーゾーンプ
レートに対して、異色間類似度を類似度として採用した
場合、第１の実施の形態と同様に空間解像度は図６の限
界解像まで達する。

【００７２】２）輝度成分補正 上述した輝度面は正の係数のみを用いて生成されている
ので、そこに含まれている階調鮮明性の潜在能力を引き
出すために、ラプラシアンによる補正処理を行う。輝度
面Y0は、方向性を考慮して周辺画素と極めて滑らかに連
結するように作られているので、補正処理は新たに方向
性に応じて計算しなければならないような補正項の算出
は不要で、固定バンドパスフィルタによる単一処理でよ
い。三角配置におけるラプラシアンの取り方は、第３の
実施の形態の図１４〜図１６に示すようにいくつかの方
法が可能である。しかし、若干なりとも最適度を上げる
ならば、輝度面Y0が0度、120度、240度方向のG,B成分を
集めてしか生成しえないので、その間隙の方向を埋め合
わせるために、ここではそれとは独立な30度、150度、2
70度方向の図１５のラプラシアンで補正する場合を示す
(式(44))。補正された輝度成分をYとする。

【００７３】 ＜バンドパス処理＞ YH[center]={6*Y0[center] -(Y0[2nd030]+Y0[2nd150]+Y0[2nd270] +Y0[2nd210]+Y0[2nd330]+Y0[2nd090])}/12 ...(44) ＜補正処理＞ Y[center]=Y[center]+k*YH[center] ...(45) ここで、kは正の値で通常1とする。ただし、1より大き
い値に設定することで、第３の実施の形態に示したよう
なエッジ強調処理をここで兼ね備えることもできる。

【００７４】３）色差成分生成 ３つの色差面は第３の実施の形態の定義と異なり、輝度
面Yとは独立にデルタ面から直接生成する。3つの色差成
分Cgb,Cbr,Crgを求める。ただし、Cgb=G-B、Cbr=B-R、C
rg=R-Gと定義する。

【００７５】まず、R位置においてCrgとCbrを求める。
中心画素のR成分と周辺画素のG成分もしくはB成分との
差分値を方向性を考慮しながら算出する。 Crg=Rctr-{<G>_２ｎｄ+dG} ...(46) Cbr={<B>_２ｎｄ+dB}-Rctr ...(47) ここに、dG,dBは、第２の実施の形態の式(24)(25)で定
義されたものと同じで、<G>_２ｎｄ,<B>_２ｎｄは式(41)
(42)と同じである。色差成分の生成においても第１の実
施の形態と同様に、第２隣接画素までを含む平均情報を
算出し、輝度成分との整合性をとることにより、30度、
150度、270度方向の解像力を上げている。また、dGとdB
は必ずしも必要な訳ではないが、色解像力と色鮮やかさ
を上げる効果があるので付加している。

【００７６】G位置における色差成分Cgb,Crg、およびB
位置における色差成分Cbr,Cgbも同様にして求める。こ
の時点でR位置にはCrg,Cbr成分が、その最隣接画素には
Cgb成分が求まっている。図１９は、その様子を示す図
である。

【００７７】次に、R位置周辺画素のCgb成分を用いて式
(48)よりR位置にCgb成分を求める（補間処理）。このと
き、R位置で求まっている方向判定結果を用いて算出す
る。 Cgb[center]=w000*(Cgb[nearest000]+Cgb[nearest180])/2 +w120*(Cgb[nearest120]+Cgb[nearest300])/2 +w240*(Cgb[nearest240]+Cgb[nearest060])/2 ...(48)

【００７８】以上のようにして、全ての画素にYCgbCbrC
rgの４成分が求まる。必要に応じて、色差面Cgb,Cbr,Cr
gに対しては第３の実施の形態と同様の色差ローパスフ
ィルタ等の補正処理を行って、偽色抑制を図ってもよ
い。

【００７９】４）表色系変換 各画素に生成されたYCgbCbrCrgをＲＧＢ表色系に変換す
る。Y=(R+G+B)/3, Cgb=G-B, Cbr=B-R, Crg=R-Gは独立な
4式ではなく、Cgb+Cbr+Crg=0の関係を満たす。すなわ
ち、4対3変換なので変換方法は一意的ではないが、色モ
アレを抑制し、輝度解像度と色解像度を最高にするた
め、R,G,Bそれぞれの変換式に全てのY,Cgb,Cbr,Crg成分
が含まれるようにし、相互のモアレ相殺効果を利用す
る。こうしてY,Cgb,Cbr,Crg各面がそれぞれに役割分担
して生成されてきた最高性能の全てを、R,G,Bの各々に
反映させることができる。 R[i,j]=(9*Y[i,j]+Cgb[i,j]-2*Cbr[i,j]+4*Crg[i,j])/9 ...(49) G[i,j]=(9*Y[i,j]+4*Cgb[i,j]+Cbr[i,j]-2*Crg[i,j])/9 ...(50) B[i,j]=(9*Y[i,j]-2*Cgb[i,j]+4*Cbr[i,j]+Crg[i,j])/9 ...(51)

【００８０】以上説明したように、第４の実施の形態の
画像復元方法は、極めて階調鮮明性が高く、空間方向に
も優れた輝度解像性能と色解像性能を同時に達成しつ
つ、色収差に対しても強いという効果を発揮する。正方
化処理が必要な場合は、第１の実施の形態と同様に行う
ことができる。

【００８１】−第５の実施の形態− 第２の実施の形態では、同色間類似度を求めて類似性を
判定した。このとき、0度、120度、240度方向の類似度
のみを求めるものであった。しかし、第５の実施の形態
では、30度、150度、270度方向の類似度も求めるように
したものである。第５の実施の形態の電子カメラ１の構
成は、第１の実施の形態の図１と同様であるのでその説
明を省略する。

【００８２】Ｒ画素位置にＧ、Ｂ成分を補間する場合を
中心に述べる。また、第２の実施の形態の図８を参照す
る。Ｒ画素位置においてＧ成分の最隣接画素は隣接して
0度、120度、240度を指す位置に３つあり、第２隣接画
素は２画素分離れた60度、180度、300度を指す位置に３
つある。Ｂ成分も同様に、最隣接画素は隣接して60度、
180度、300度を指す位置に３つあり、第２隣接画素は２
画素分離れた0度、120度、240度を指す位置に3つある。
また、Ｒ成分の最隣接画素は２画素分離れた30度、90
度、150度、210度、270度、330度を指す位置に６つあ
り、第２隣接画素は３画素分離れた0度、60度、120度、
180度、240度、300度を指す位置に６つある。

【００８３】１．類似度の算出 １）３画素間隔同色間類似度の算出 0度、120度、240度方向の類似度C000、C120、C240を算
出する。これらの方向の同じ色成分間で構成される同色
間類似度は、３画素間隔より短く定義することができな
い。 C000 = {(|R000-Rctr|+|R180-Rctr|)/2+|G000-G180|+|B000-B180|}/3 ...(52) C120 = {(|R120-Rctr|+|R300-Rctr|)/2+|G120-G300|+|B120-B300|}/3 ...(53) C240 = {(|R240-Rctr|+|R060-Rctr|)/2+|G240-G060|+|B240-B060|}/3 ...(54)

【００８４】このように定義される同色間類似度は、Ｒ
画素位置に欠落するＧ成分とＢ成分が存在する方向と一
致する方向性を調べているので、彩色部における0度方
向の横線や120度方向、240度方向の画像構造を空間的に
解像させる能力を持つと考えられる。しかし、ベイア配
列における２画素間隔の同色間類似度と違って、３画素
間隔と極めて離れた画素間の情報であることに注意を要
する。

【００８５】２）２画素間隔同色間類似度の算出 次に、30度、150度、270度方向の類似度C030、C150、C2
70を算出する。これらの方向の同色間類似度は、0度、1
20度、240度方向と異なりより短い２画素間隔で定義す
ることができる。 C030 = {(|R030-Rctr|+|R210-Rctr|)/2+|G240-G000|+|B060-B180|}/3 ...(55) C150 = {(|R150-Rctr|+|R330-Rctr|)/2+|G000-G120|+|B180-B300|}/3 ...(56) C270 = {(|R270-Rctr|+|R090-Rctr|)/2+|G120-G240|+|B300-B060|}/3 ...(57) ただし、Ｒ画素位置に欠落するＧ成分とＢ成分が存在す
る方向と一致しない方向の類似性を調べているので、こ
れらを有効に活用するにはテクニックを要する。

【００８６】３）類似度の周辺加算 更に、上述した類似度の各々について周辺加算を行って
周辺画素との連続性を考慮することにより、類似度の精
度を上げる。ここでは各画素について求めた上記６つの
類似度それぞれに対し、Ｒ画素位置について周辺加算を
行う。周辺加算を行った類似度を小文字で表記する。た
だし、[]は、処理対象画素から見たデルタ配列上の画素
位置を表すものとする。式(58)は第１の実施の形態の式
(4)と同様である。 c000 = {6*C000[Rctr] +C000[R030]+C000[R150]+C000[R270] +C000[R210]+C000[R300]+C000[R090]}/12 ...(58) c120, c240, c030, c150, c270も同様にして求める。こ
こに、上述した類似度の方位関係を図２６に示す。

【００８７】２．類似性判定 上述した類似度は値が小さいほどその方向に対して大き
な類似性を示す。ただし、類似性を判定して意味がある
のは、処理対象画素に存在しないＧ成分とＢ成分が存在
する方向、すなわち0度、120度、240度方向であり、30
度、150度、270度方向の類似性が判定できてもあまり意
味がない。そこで、まず考えられるのは、0度、120度、
240度方向の類似性の強弱を、0度、120度、240度方向の
類似度を用いて、その逆数比で連続的に判定することで
ある。すなわち(1/c000):(1/c120):(1/c240)で判定す
る。

【００８８】例えば、類似度c000は有彩色の横線を解像
する能力を有するので、図２０のデルタ配列のRGB各色
成分の周波数再現域のky軸方向を限界解像まで伸ばすこ
とができる。すなわち、このような判定方法は、有彩色
の画像に対して、図２０の６角形の頂点の限界解像まで
色解像度を引き伸ばすことができる。しかしながら、３
画素間隔という長距離間の類似度であるため、その間の
角度となると折り返し周波数成分の影響を受けて方向性
を判別することができず、特に30度、150度、270度方向
に対しては最もその悪影響が生じ、図２０の６角形の各
辺の中点付近がえぐれるような色解像力しか発揮するこ
とができない。

【００８９】そこで、このような長距離相関の悪影響を
防ぐため、短距離相関の類似度c030,c150,c270を有効活
用する。ただし、逆数をとるだけでは30度、150度、270
度方向の類似性が判別できるようになるだけなので、そ
れを0度、120度、240度方向の類似性に変換するため
に、逆数ではなく類似度の値自体が30度、150度、270度
方向に直交する方向、すなわち120度、240度、0度方向
の類似性を表しているものと解釈する。故に0度、120
度、240度方向の類似性を以下の比率で判定する。(c270
/c000):(c030/c120):(c150/c240)

【００９０】0度、120度、240度方向の類似性を１で規
格化された加重係数w000,w120,w240として表すと、 w000=(c120*c240*c270+Th) /(c120*c240*c270+c240*c000*c030+c000*c120*c150+3*Th) ...(59) w120=(c240*c000*c030+Th) /(c120*c240*c270+c240*c000*c030+c000*c120*c150+3*Th) ...(60) w240=(c000*c120*c150+Th) /(c120*c240*c270+c240*c000*c030+c000*c120*c150+3*Th) ...(61) により求まる。ただし、定数Thは発散を防ぐための項で
正の値をとる。通常Th=1とすればよいが、高感度撮影画
像などノイズの多い画像に対してはこの閾値を上げると
よい。

【００９１】なお、0度方向と270度方向、120度方向と3
0度方向、240度方向と150度方向は直交した関係であ
る。この直交した関係を0度方向⊥270度方向、120度方
向⊥30度方向、240度方向⊥150度方向と表す。

【００９２】こうして６方向の類似度を用いて連続的に
判定された類似性は、有彩色画像に対して図２０の六角
形の全てを正確に再現する空間解像力を有する。また、
この同色間類似度による空間解像力は、同じ色成分間で
類似性を見ているため、光学系に含まれる色収差の影響
を受けずに常に達成することができる。

【００９３】３．補間値算出 補間値は、第２の実施の形態と同様にして求める。

【００９４】以上のようにして、第５の実施の形態では
如何なる画像に対してもデルタ配列が元来有する各RGB
単色の空間色解像力を全て引き出すことができる。ま
た、階調方向に鮮明な画像復元が可能で、色収差を含む
系に対しても強い性能を発揮する。

【００９５】なお、第５の実施の形態の類似度の算出お
よび類似性の判定を第４の実施の形態の類似度の算出お
よび類似性の判定にも適用できる。このような画像復元
方法は、極めて階調鮮明性が高く、空間方向にも優れた
輝度解像性能と色解像性能を同時に達成しつつ、色収差
に対しても強いという効果を発揮する。特に、鮮明な階
調を達成しつつデルタ配列の最高の色解像性能を導き出
すことができる。通常の画像処理では、階調鮮明性を上
げようとエッジ強調処理を行ったりして、その分色解像
力が落ちて色褪せたり、立体感が損なわれたりしてしま
うトレードオフが生じるが、この場合、４成分の復元値
を導入することによりこの相反する課題を同時に解決す
ることができるようになる。

【００９６】−第６の実施の形態− ベイア配列においては通常、補間処理後に画像に残って
いる偽色を低減するためにRGB信号を、輝度と色差から
なるYCbCrに変換し、Cb、Cr面で色差ローパスフィルタ
を掛けたり、色差メディアンフィルタを掛けたりして偽
色を除去し、RGB表色系に戻す事後処理が行われる。デ
ルタ配列の場合も、完全に光学ローパスフィルタでナイ
キスト周波数を落とせなければ、見栄えを良くするため
適度な偽色低減処理を必要とする。第６の実施の形態で
は、デルタ配列の優れた特徴である色解像性能をできる
だけ損なわないような事後処理の方法を示す。第６の実
施の形態の電子カメラ１の構成は、第１の実施の形態の
図１と同様であるのでその説明を省略する。

【００９７】図２１は、第６の実施の形態において、画
像処理部１１が行う画像処理の概要を示すフローチャー
トである。第１、２、４、５の実施の形態と同様に三角
格子上で補間処理が行われるものとする。図２１は、補
間処理後のＲＧＢカラー画像を入力するところからスタ
ートする。例えば、第１の実施の形態の図２のステップ
Ｓ１〜Ｓ５が終了し、その後、図２１のフローチャート
が開始する。

【００９８】ステップＳ３１では、補間処理後のＲＧＢ
カラー画像データを入力する。ステップＳ３２におい
て、ＲＧＢ表色系から本第６の実施の形態特有のYCgbCb
rCrg表色系に変換する。ステップＳ３３では、色判定用
画像を生成する。ステップＳ３４では、ステップＳ３３
で生成した色判定用画像を使用して色指標を算出する。
ステップＳ３５では、ステップＳ３４の色指標に基づき
低彩度か高彩度かの色判定を行う。

【００９９】ステップＳ３６において、ステップＳ３５
の色判定結果に基づき、使用するローパスフィルタを切
り換えて色差補正を行う。補正の対象となる色差データ
はステップＳ３２で生成されたものである。ステップＳ
３７では、色差面の偽色が除去された段階で、YCgbCbrC
rg表色系を元のＲＧＢ表色系に戻す変換をする。ステッ
プＳ３８において、得られたＲＧＢカラー画像データを
出力する。ステップＳ３８で出力されるＲＧＢカラー画
像データは三角格子上で得られた画像データである。

【０１００】三角格子上で得られた画像データに対して
正方化処理をする場合は、第１の実施の形態と同様に、
図２のステップＳ６、Ｓ７の処理を行う。以下、上述の
ステップＳ３２〜３７の処理の詳細について説明する。

【０１０１】１．表色系変換 RGB表色系からYCgbCbrCrg表色系に変換する。ただし、Y
CgbCbrCrg表色系は次の式(62)〜(65)で定義される。 Y[i,j] = (R[i,j]+G[i,j]+B[i,j])/3 ...(62) Cgb[i,j] = G[i,j]-B[i,j] ...(63) Cbr[i,j] = B[i,j]-R[i,j] ...(64) Crg[i,j] = R[i,j]-G[i,j] ...(65) このようにRGBを均等に扱う変換を行うと、例えばサー
キュラーゾーンプレートで、図６の六角形の角の部分を
中心に発生するような色モアレが、完全に輝度面Yから
は消え去り、全ての偽色要素を色差成分Cgb,Cbr,Crgに
含ませることができる。

【０１０２】２．色評価 １）色判定用画像の生成 無彩色部に於ける偽色をできるだけ彩色部と区別して色
評価するために、全面に強力な色差ローパスフィルタを
かけて偽色を一旦低減する。ただし、これは一時的な色
判定用画像なので、実際の画像には影響を与えない。 TCgb[center] = {9*Cgb[center] +2*(Cgb[nearest000]+Cgb[nearest120]+Cgb[nearest240] +Cgb[nearest180]+Cgb[nearest300]+Cgb[nearest060]) +Cgb[2nd000]+Cgb[2nd120]+Cgb[2nd240] +Cgb[2nd180]+Cgb[2nd300]+Cgb[2nd060]}/27 ...(66) TCbr, TCrgについても同様に求める。

【０１０３】２）色指標の算出 次に、偽色の低減された色判定用画像を用いて色指標Cd
iffを算出し、画素単位の色評価を行う。 Cdiff[i,j]=(|Cgb[i,j]|+|Cbr[i,j]|+|Crg[i,j]|)/3 ...(67)

【０１０４】３）色判定 上記連続的色指標Cdiffを閾値判定し、離散的な色指標B
Wに変換する。 if Cdiff[i,j]≦Th then BW[i,j]='a'（低彩度部） else then BW[i,j]='c'（高彩度部） ここで閾値Thは256階調の場合30程度に設定するのがよ
い。

【０１０５】３．適応的色差補正 色判定により画像を２つの領域に分割することができた
ので、無彩色部の偽色は強力に消す一方、彩色部の色解
像はできるだけ温存する色差補正処理を加える。ここで
は式(68)および式(69)のローパス処理を行うが、メディ
アンフィルタ処理を用いてもよい。[]は、処理対象画素
から見た三角格子上の画素位置を表すものとする。式(6
8)のローパスフィルタは、第３の実施の形態の図１１に
示す係数値を使用し、式(69)のローパスフィルタは図１
３に示す係数値を使用する。

【０１０６】 ＜ローパス処理＞ if BW[center]='a' tmp_Cgb[center] = {9*Cgb[center] +2*(Cgb[nearest000]+Cgb[nearest120]+Cgb[nearest240] +Cgb[nearest180]+Cgb[nearest300]+Cgb[nearest060]) +Cgb[2nd000]+Cgb[2nd120]+Cgb[2nd240] +Cgb[2nd180]+Cgb[2nd300]+Cgb[2nd060]}/27 ...(68) tmp_Cbr, tmp_Crgについても同様に求める。 if BW[center]='c' tmp_Cgb[center] = {6*Cgb[center] +Cgb[nearest000]+Cgb[nearest120]+Cgb[nearest240] +Cgb[nearest180]+Cgb[nearest300]+Cgb[nearest060]}/12 ...(69) tmp_Cbr, tmp_Crgについても同様に求める。

【０１０７】＜代入処理＞ Cgb[i,j] = tmp_Cgb[i,j] Cbr[i,j] = tmp_Cbr[i,j] Crg[i,j] = tmp_Crg[i,j]

【０１０８】４．表色系変換処理 色差面の偽色が除去された段階で、第４の実施の形態と
同様の式(70)〜(72)を用いて元のRGB表色系に戻す。 R[i,j]=(9*Y[i,j]+Cgb[i,j]-2*Cbr[i,j]+4*Crg[i,j])/9 ...(70) G[i,j]=(9*Y[i,j]+4*Cgb[i,j]+Cbr[i,j]-2*Crg[i,j])/9 ...(71) B[i,j]=(9*Y[i,j]-2*Cgb[i,j]+4*Cbr[i,j]+Crg[i,j])/9 ...(72)

【０１０９】このようにして第６の実施の形態では、デ
ルタ配列が持つ色解像性能をできるだけ保持した形で、
画像全体としての偽色低減が可能となる。尚、第４の実
施の形態で生成された画像データにこの事後処理を取り
入れる場合は、既にYCgbCbrCrg表色系の状態になってい
るので、初めの表色系変換は不要で、最後の表色系変換
を行う前に上記２．３．の処理を付け加えればよいだけ
である。

【０１１０】なお、第１〜第６の実施の形態に記載した
画像復元方法は、デルタ配列の入力画像が撮像素子出力
の線形階調のままでも、ガンマ補正された階調のもので
も、どのような階調特性のものでも適用できる。8ビッ
トでガンマ補正が既にかかってしまっている入力画像に
対しては対処のしようがないが、今日のデジタルスチル
カメラの撮像信号は、12ビットの線形階調出力といった
ものが一般的になっており、このような場合に適した画
像復元処理（第１や第２の実施の形態のようなRGB方式
も第４の実施の形態のようなYCCC方式も含む）と階調処
理の関係をここに示す。図２７は、その処理を示すフロ
ーチャートである。 １）線形階調デルタ配列データ入力（ステップＳ４１） ２）ガンマ補正処理（ステップＳ４２） ３）画像復元処理（ステップＳ４３） ４）逆ガンマ補正処理（ステップＳ４４） ５）ユーザーガンマ補正処理（ステップＳ４５）

【０１１１】ユーザーガンマ補正処理は、線形階調から
ディスプレイ出力に適した8ビット階調に変換する処
理、すなわち、画像のダイナミックレンジを出力表示機
器の範囲内に圧縮する処理である。これとは独立に、一
旦あるガンマ空間に階調を変換して、第１の実施の形態
〜第６の実施の形態に相当する画像復元処理を行うと、
より優れた復元結果が得られる。この階調変換方法とし
て以下のようなものがある。 ＜ガンマ補正処理＞入力信号x(0≦x≦xmax)、出力信号y
(0≦x≦ymax)、入力画像はデルタ面 y=ymax√(x/xmax) 入力信号が12ビットの場合はxmax=4095で、出力信号は
例えば16ビットのymax=65535に設定するとよい。 ＜逆ガンマ補正処理＞入力信号y(0≦x≦ymax)、出力信
号x(0≦x≦xmax)、入力画像はRGB面 x=xmax(y/ymax)^２

【０１１２】このように平方根型のガンマ空間で画像復
元処理を行うと、画像復元処理のテクニックとは別の観
点から次のような利点が同時に得られる。 １）色境界部の鮮明化が可能（例えば、赤白境界の色に
じみ抑制や、黒縁発生の抑制等） ２）輝点（極めて明るい部分）周辺の偽色抑制が可能 ３）方向判定精度が向上

【０１１３】１）と２）は画像復元処理のRGB方式では
「補間値算出部」、Y方式では「復元値算出部」が関与
して生み出される効果である。また、３）は画像復元処
理の「類似度算出部」と「類似性判定部」が関与して生
み出される効果である。つまり、入力信号xには量子論
的揺らぎの誤差dx=k√x（kはISO感度で決まる定数）が
含まれており、平方根のガンマ空間に変換すると誤差伝
搬則によりこの誤差が全階調0≦y≦ymaxに渡って均一の
誤差dy=constantで扱えるようになるため、方向判定精
度が向上する。この技術はデルタ配列に限らずベイア配
列やその他諸々のフィルタ配列の補間処理にも応用する
ことができる。上記実施の形態においては、デルタ配列
は元々ベイア配列よりも単色の色解像性能が高いため、
この階調変換処理を画像復元処理の前後に入れること
で、更に優れた色鮮明性を生み出すことが可能となる。

【０１１４】上記第１の実施の形態では、三角格子上で
補間処理された画像データを正方化処理をする例を示し
た。また、他の実施の形態でも、正方化処理が必要な場
合はその処理を行う旨示した。しかし、三角格子上で補
間処理や表色系変換された画像データそのものをそのま
ま使用するようにしてもよい。

【０１１５】上記第３の実施の形態では、第１の実施の
形態と同様に生成されたＲＧＢカラー画像データに補正
処理を行う例を示したが、必ずしもこの内容に限定する
必要はない。他の実施の形態で生成されたＲＧＢカラー
画像データに対しても同様に適用できる。このように、
上記第１〜第６の実施の形態では、それぞれ適宜組み合
わせることが可能である。すなわち、上記第１〜第６の
実施の形態では、類似の方向性判定処理、補間処理ある
いは色差面直接生成処理、補正等の後処理、正方化処理
などを記載しているが、各実施の形態の各処理を適宜組
み合わせて最適な画像処理方法、処理装置を実現するこ
とができる。

【０１１６】上記実施の形態では、単板式の撮像素子を
前提にした説明を行ったが、この内容に限定する必要は
ない。本発明は、２板式の撮像素子においても適用でき
る。２板式であれば、例えば、各画素において欠落する
色成分は１つとなるが、この欠落する１つの色成分の補
間処理に上記実施の形態の内容を適用することができ、
必要であれば正方化処理も同様にできる。また、第４の
実施の形態の、デルタ配列から補間処理を介さずに直接
輝度成分と色差成分を作る方式においても、同様に２板
式の撮像素子にも適用できる。

【０１１７】上記実施の形態では、類似性の判定に各種
の計算式を示したが、必ずしも実施の形態に示した内容
に限定する必要はない。他の、適切な計算式により類似
性を判定するようにしてもよい。また、輝度情報の計算
においても各種の計算式を示したが、必ずしも実施の形
態に示した内容に限定する必要はない。他の、適切な計
算式により輝度情報を生成するようにしてもよい。

【０１１８】上記実施の形態では、色差補正等でローパ
スフィルタ、エッジ強調でバンドパスフィルタの例を示
したが、必ずしも実施の形態で示した内容に限定する必
要はない。他の構成のローパスフィルタやバンドパスフ
ィルタであってもよい。

【０１１９】上記実施の形態では、電子カメラの例で示
したが、必ずしもこの内容に限定する必要はない。動画
を撮像するビデオカメラや、撮像素子つきパーソナルコ
ンピュータや携帯電話などであってもよい。すなわち、
撮像素子によりカラー画像データを生成するあらゆる装
置に適用できる。

【０１２０】パーソナルコンピュータなどに適用する場
合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭ
などの記録媒体やインターネットなどのデータ信号を通
じて提供することができる。図２３はその様子を示す図
である。パーソナルコンピュータ１００は、ＣＤ−ＲＯ
Ｍ１０４を介してプログラムの提供を受ける。また、パ
ーソナルコンピュータ１００は通信回線１０１との接続
機能を有する。コンピュータ１０２は上記プログラムを
提供するサーバーコンピュータであり、ハードディスク
１０３などの記録媒体にプログラムを格納する。通信回
線１０１は、インターネット、パソコン通信などの通信
回線、あるいは専用通信回線などである。コンピュータ
１０２はハードディスク１０３を使用してプログラムを
読み出し、通信回線１０１を介してプログラムをパーソ
ナルコンピュータ１００に送信する。すなわち、プログ
ラムをデータ信号として搬送波にのせて、通信回線１０
１を介して送信する。このように、プログラムは、記録
媒体や搬送波などの種々の形態のコンピュータ読み込み
可能なコンピュータプログラム製品として供給できる。

【０１２１】

【発明の効果】本発明は、以上説明したように構成して
いるので、次のような効果を奏する。請求項１の発明
は、取得した画像の三角格子状の画素位置で補間処理等
を行った後、正方格子状の画素位置に変換しているの
で、三角配置の限界解像度を最大限に維持しながら、正
方格子状に配置された画像データを出力することができ
る。請求項１０の発明は、三角格子状に配置された第１
の画像の欠落する色成分の色情報を補間するとき、色成
分の曲率情報を固定の演算により求めて使用しているの
で、あらゆる方向の高周波領域まで階調鮮明性を向上さ
せることが可能となる。すなわち、三角格子状に画素が
配置された画像データの有効性を最大限発揮させながら
高精細な補間が可能となる。

【図面の簡単な説明】

【図１】第１の実施の形態における電子カメラの機能ブ
ロック図である。

【図２】第１の実施の形態において、画像処理部が行う
画像処理の概要を示すフローチャートである。

【図３】デルタ配列の撮像素子により得られた画素の位
置関係を示す図である。

【図４】周辺加算に使用する係数を示す図である。

【図５】曲率情報dRを求めるときに使用する係数値を示
す図である。

【図６】デルタ配列の無彩色の空間周波数再現領域を示
す図である。

【図７】１次元変位処理に使用する係数値を示す図であ
る。

【図８】第２の実施の形態の演算で使用する画素位置を
示す図である。

【図９】曲率情報dR、dG、dBを求めるときに使用する係
数値を示す図である。

【図１０】第３の実施の形態において、画像処理部が行
う画像処理の概要を示すフローチャートである。

【図１１】ローパスフィルタの係数値を示す図である。

【図１２】他のローパスフィルタの係数値を示す図であ
る。

【図１３】他のローパスフィルタの係数値を示す図であ
る。

【図１４】ラプラシアンの係数値を示す図である。

【図１５】他のラプラシアンの係数値を示す図である。

【図１６】他のラプラシアンの係数値を示す図である。

【図１７】デルタ配列のデルタ面から、直接、輝度面
(Y)と３つの色差面(Cgb,Cbr,Crg)を生成し、その後、元
のＲＧＢの表色系に変換する概念を示す図である。

【図１８】第４の実施の形態において、画像処理部が行
う画像処理の概要を示すフローチャートである。

【図１９】R位置にはCrg,Cbr成分がその最隣接画素には
Cgb成分が求まっている様子を示す図である。

【図２０】デルタ配列のＲＧＢ各色成分の空間周波数再
現領域を示す図である。

【図２１】第６の実施の形態において、画像処理部が行
う画像処理の概要を示すフローチャートである。

【図２２】隣接画素について定義する図である。

【図２３】プログラムを、ＣＤ−ＲＯＭなどの記録媒体
やインターネットなどのデータ信号を通じて提供する様
子を示す図である。

【図２４】ＲＧＢカラーフィルタのベイア配列、デルタ
配列、ハニカム配列を示す図である。

【図２５】デルタ配列で得られた画像データについて、
三角格子上で補間処理し、正方格子データに復元する処
理の概念を示す図である。

【図２６】第５の実施の形態において、類似度の方位関
係を示す図である。

【図２７】画像復元処理と階調処理を示すフローチャー
トである。

【符号の説明】

１ 電子カメラ １０ Ａ／Ｄ変換部 １１ 画像処理部 １２ 制御部 １３ メモリ １４ 圧縮／伸長部 １５ 表示画像生成部 １６ メモリカード １７ メモリカード用インタフェース部 １８ ＰＣ（パーソナルコンピュータ） １９ 外部インタフェース部 ２０ 撮影光学系 ２１ 撮像素子 ２２ アナログ信号処理部 ２３ タイミング制御部 ２４ 操作部 ２５、２６ モニタ ２７ プリンタ ２８ ＣＤ−ＲＯＭ

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 1/46 Ｚ Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 CE18 CH08 5C065 AA03 BB30 CC01 CC08 DD02 EE03 GG02 GG13 GG27 5C077 LL19 MP08 PP32 PP34 PP37 PP68 PQ12 PQ25 RR19 TT09 5C079 HB01 HB04 HB11 LA28 LB02 MA11 NA03

Claims (16)

【特許請求の範囲】
1. 【請求項１】複数の色成分からなる表色系で表され、１
   つの画素に少なくとも１つの色成分の色情報を有する複
   数の画素からなり、前記複数の画素は三角格子状に配置
   された第１の画像を取得する画像取得手順と、 前記取得した第１の画像の色情報を用いて、少なくとも
   １つの新しい色情報を、前記第１の画像と同じ三角格子
   状の画素位置に生成する色情報生成手順と、 前記生成された色情報を含む前記三角格子状の画素位置
   にある複数の画素の色情報を、一方向に並ぶ画素間にお
   いて一次元変位処理を行うことによって、各画素間位置
   の色情報に変換する画素位置変換手順と、 前記画素位置が変換された色情報を使用して、複数の画
   素が正方格子状に配置された第２の画像を出力する出力
   手順を備えることを特徴とする画像処理方法。
2. 【請求項２】請求項１記載の画像処理方法において、 前記新しい色情報は、前記第１の画像の表色系の色成分
   のうち前記第１の画像の各画素において欠落する色成分
   の色情報であることを特徴とする画像処理方法。
3. 【請求項３】請求項１記載の画像処理方法において、 前記新しい色情報は、前記第１の画像の表色系とは異な
   る表色系の色情報であることを特徴とする画像処理方
   法。
4. 【請求項４】請求項１〜３のいずれか１項に記載の画像
   処理方法において、 前記一次元変位処理は、正及び負の係数値からなる一次
   元フィルタを用いて行うことを特徴とする画像処理方
   法。
5. 【請求項５】請求項１〜４のいずれか１項に記載の画像
   処理方法において、 前記一次元変位処理は、前記第１の画像に対して、行単
   位で一行置きに行うことを特徴とする画像処理方法。
6. 【請求項６】請求項１〜５のいずれか１項に記載の画像
   処理方法において、 少なくとも３方向に対する類似性の強弱を判定する類似
   性判定手順をさらに備え、 色情報生成手順では、判定された類似性の強さに応じて
   前記新しい色情報を生成することを特徴とする画像処理
   方法。
7. 【請求項７】請求項６に記載の画像処理方法において、 前記類似性判定手順では、少なくとも３方向に対する類
   似度を算出し、前記類似度の逆数に基づいて各方向の類
   似性の強弱を判定することを特徴とする画像処理方法。
8. 【請求項８】請求項１〜７のいずれか１項に記載の画像
   処理方法において、 前記生成された色情報を含む前記三角格子状の画素位置
   にある複数の画素の色情報に基づき、前記三角格子状の
   画素位置に色差成分の色情報を生成する色差生成手順
   と、 前記色差生成手順で生成された色差成分の色情報を補正
   する補正手順とをさらに備えることを特徴とする画像処
   理方法。
9. 【請求項９】請求項１〜７のいずれか１項に記載の画像
   処理方法において、 前記生成された色情報を含む前記三角格子状の画素位置
   にある複数の画素の色情報に基づき、前記三角格子状の
   画素位置に輝度成分の色情報を生成する輝度生成手順
   と、 前記輝度生成手順で生成された輝度成分の色情報を補正
   する補正手順とをさらに備えることを特徴とする画像処
   理方法。
10. 【請求項１０】第１〜第ｎ色成分（ｎ≧２）で表され、
    １つの画素に１つの色成分の色情報を有する複数の画素
    が三角格子状に配置された第１の画像を取得する画像取
    得手順と、 前記取得した第１の画像の色情報を用いて、第１色成分
    が欠落する画素に第１色成分の色情報を補間する補間手
    順と、 前記第１の画像の色情報と前記補間された色情報とに基
    づき、第２の画像を出力する出力手順とを備える画像処
    理方法であって、 前記補間手順は、前記第１の画像の補間対象画素に関し
    て、 １）第１色成分の平均情報を可変な演算により求め、 ２）第１〜第ｎの何れか少なくとも１つの色成分の曲率
    情報を固定の演算により求め、 前記平均情報と前記曲率情報に基づいて前記補間を行う
    ことを特徴とする画像処理方法。
11. 【請求項１１】請求項１０に記載の画像処理方法におい
    て、 少なくとも３方向に対する類似性の強弱を判定する類似
    性判定手順をさらに備え、 前記補間手順は、前記類似性判定手順で判定された類似
    性の強さに応じて前記第１色成分の平均情報の演算を可
    変にすることを特徴とする画像処理方法。
12. 【請求項１２】請求項１０または１１に記載の画像処理
    方法において、 前記曲率情報を２次微分演算により求めることを特徴と
    する画像処理方法。
13. 【請求項１３】請求項１０〜１２のいずれか１項に記載
    の画像処理方法において、 第１〜第３色成分で表される第１の画像を入力すると
    き、第１〜第３の全ての色成分の曲率情報に基づいて前
    記補間を行うことを特徴とする画像処理方法。
14. 【請求項１４】請求項１〜１３のいずれか１項に記載の
    画像処理方法の手順をコンピュータに実行させるための
    画像処理プログラム。
15. 【請求項１５】請求項１４の画像処理プログラムを記録
    したコンピュータ読みとり可能な記録媒体。
16. 【請求項１６】請求項１４の画像処理プログラムを搭載
    した画像処理装置。