JP2010016883A

JP2010016883A - 画像信号処理方法

Info

Publication number: JP2010016883A
Application number: JP2009236043A
Authority: JP
Inventors: Masaru Osada; 勝長田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-10-13
Filing date: 2009-10-13
Publication date: 2010-01-21
Anticipated expiration: 2020-12-22
Also published as: JP4934183B2

Abstract

【課題】仮想画素の補間処理により生じる画質劣化を回避することのできる画像信号処理方法を提供。
【解決手段】この信号処理は、静止画補間信号処理（SUB1）で各RGBの透過光を実在画素から各色の画素データを求め、RB実在画素の一方を対象の画素とし、対象の画素に対する相関判別領域の頂点を、少なくとも対象の画素と同色の画素で表わす領域にまで広げて相関判別して相関精度を向上させ、相関方向にある対象の画素と異色の周囲の他方の複数の画素データからGの補色画素データで輝度データを生成し、さらに仮想画素での輝度データの補間生成、実在および仮想画素それぞれの色属性を基に実在および仮想画素すべてで得られた色属性と異なるRBGすべてを補間生成し、静止画用広帯域化処理（SUB2）で各色の画素データを広帯域化する。
【選択図】図５

Description

本発明は、画像信号処理方法に関し、特にディジタルカメラや画像入力装置等における実在しない仮想画素に対して実在する画素からの画素データを用いて補間を施す信号処理に適用して良好な結果を得るものである。

ディジタルカメラでは、固体撮像デバイスに２次元配列された撮像素子、いわゆる画素数によって得られる画像の解像度が左右されてきた。固体撮像デバイスの一定の面積に形成する画素数が多いほど解像度の向上が期待されている。また、撮像素子が同数の場合撮像素子のサイズが大きいほどノイズの影響等が少なく、高感度な画質が得られる。

上述した解像度と高感度を同時に考慮する。このとき、一定の面積に形成する画素数の増加にともない撮像素子のサイズが小さくなる関係は二律背反的にたとえば、画素数の向上による解像度向上効果とサイズ減少の感度低下効果とが同時に作用することになる。これによって固体撮像デバイスで得られる画像には画質に限界が生じる。

特許文献１に記載の固体撮像装置および信号処理方法で固体撮像デバイスは、この問題を考慮して、撮像素子が隣接する素子に対して行列（縦横）方向に画素ピッチの半分ずつ画素ずらして撮像素子を配設形成させている。この画素配列、いわゆるハニカム配列によって所定の空間において最も多くの画素数が形成される。この際に、撮像素子の感度も十分得られるようにサイズを画素数の割りに大きな撮像素子にして画質の低下を防止している。そして、得られた画素データをさらに有効に利用するため、撮像素子が存在する実在画素に対して撮像素子の存在しない位置に仮想画素を補間生成する信号処理を行う。実在画素および仮想画素を合わせて画素とみなすことで、得られる画像は解像度を向上させている。また、信号処理では、得られる輝度データおよび色データの信号成分を高域化することによっても画像の画質を高めている。

特開2000-184386 号公報

ところで、前述した仮想画素の補間処理では、まず各画素の相関検出を斜め方向、縦横方向について行い、相関の高い方向を検出する。次に検出した相関の高い方向に位置する画素を用いて仮想画素に対する補間処理が行われている。この補間処理により、画像を高画質化させている（適応型補間処理）。

しかしながら、この仮想画素の補間処理によって得られる画像に画質劣化が生じてしまう場合がある。この画質劣化が生じる状況は、被写体が特定幅の中に有色と無彩色のライン形状を含む際に被写体のこの形状にともなう長手方向に輝度レベルの差が発生する。また、解像度チャートを撮影した際の画像には、解像力の指標となるくさび型のチャート部分に十字に交差するような偽信号の発生や直線が切断して見えるような現象が現れる。

本発明はこのような課題に鑑み、仮想画素の補間処理により生じる画質劣化を回避することのできる画像信号処理方法を提供することを提供することを目的とする。

本発明は上述の課題を解決するために、被写界からの入射光を三原色に分解し、得られた三原色の入射光を光電変換する複数の撮像素子が隣接する撮像素子の幾何学的な中心に対して行および／または列方向に半ピッチずらして配設され、この撮像素子を実在画素とし、この撮像素子から得られる撮像信号のそれぞれをディジタルの画素データにして、この画素データを用いて画素間に新たな画素を仮想画素として生成する補間処理を施し、輝度および色差データを生成する画像信号処理方法において、この方法は、画素データを２次元に表示した際に、画素データの緑色が正方格子状に得られ、緑色を挟む一方の対角位置の実在画素からの赤色の画素データと、他方の対角位置の実在画素からの青色の画素データとをそれぞれ得る第１の工程と、赤色および青色の実在画素のいずれか一方を対象の画素とした際に、この対象の画素に対する相関判別の領域の頂点を、少なくともこの対象の画素と同色の画素で表わす領域にまで広げて相関判別することにより相関精度を向上させて判定しながら、この相関方向に位置するこの対象の画素と異色の周囲の他方の複数の画素データを用いて緑色の補色の画素データを、輝度データとして生成する第２の工程と、この補色の画素データと緑色の画素データを用いて水平および／または垂直方向に位置する同一色の画素データから仮想画素における輝度データを補間生成し、得られた実在画素および仮想画素それぞれの色属性を基にこの実在画素および仮想画素すべてに対して得られた色属性と異なる赤色、青色および緑色すべてを補間生成する第３の工程と、補間生成した輝度データが有する所定の高周波帯域より高い周波数を通過させて得た高周波成分の信号を各画素の三原色の画素データそれぞれに加算して、各色の画素データの広帯域化処理を行う第４の工程とを含むことを特徴とする。

また、本発明は上述の課題を解決するために、被写界からの入射光を三原色に分解し、得られた三原色の入射光を光電変換する複数の撮像素子が隣接する撮像素子の幾何学的な中心に対して行および／または列方向に半ピッチずらして配設され、この撮像素子を実在画素とし、この撮像素子から得られる撮像信号のそれぞれをディジタルの画素データにして、この画素データを用いて画素間に新たな画素を仮想画素として生成する補間処理を施し、輝度および色差データを生成する画像信号処理方法において、この方法は、画素データを２次元に表示した際に、画素データの緑色が正方格子状に得られ、緑色を挟む一方の対角位置の実在画素からの赤色の画素データと、他方の対角位置の実在画素からの青色の画素データとをそれぞれ得る第１の工程と、読み出した緑色の画素データを用いて仮想画素も補間処理しながら、輝度データとして緑色の画面を作成する第２の工程と、読み出した画素データのうち、赤色および青色の実在画素のいずれか一方を対象の画素とした際に、この対象の画素に対する相関判別の領域の頂点を、少なくともこの対象の画素と同色の画素で表わす領域にまで広げて相関判別することにより相関精度を向上させて判定しながら、この相関方向に位置するこの対象の画素と異色の周囲の他方の複数の画素データを用いて緑色の補色の画素データを生成するとともに、この補色の画素データを用いて仮想画素も補間処理し、この補色の画面を作成して、輝度データを生成する第３の工程と、得られた緑色の画面と補色の画面とを加算して、実在および仮想画素すべてに対する輝度データを生成し、さらに、得られた実在画素および仮想画素それぞれの色属性を基にこの実在画素および仮想画素すべてに対して得られた色属性と異なる前記赤色、青色および緑色すべてを補間生成する第４の工程と、補間生成した輝度データが有する所定の高周波帯域より高い周波数を通過させて得た高周波成分の信号を各画素の三原色の画素データそれぞれに加算して、各色の画素データの広帯域化する第５の工程とを含むことを特徴とする。

本発明に係る画像信号処理方法によれば、緑色を挟む一方の対角位置の実在画素からの赤色の画素データと、他方の対角位置の実在画素からの青色の画素データとをそれぞれ求め、赤色および青色の実在画素のいずれか一方を対象の画素とした際に、この対象の画素に対する相関判別の領域の頂点を、少なくともこの対象の画素と同色の画素で表わす領域にまで広げて相関判別することにより相関精度を向上させて判定しながら、この相関方向に位置するこの対象の画素と異色の周囲の他方の複数の画素データを用いて緑色の補色の画素データを、輝度データとして生成し、この補色の画素データと緑色の画素データを用いて水平および／または垂直方向に位置する同一色の画素データから仮想画素における輝度データを補間生成し、得られた実在画素および仮想画素それぞれの色属性を基にこの実在画素および仮想画素すべてに対して得られた色属性と異なる赤色、青色および緑色すべてを補間生成し、補間生成した輝度データが有する所定の高周波帯域より高い周波数を通過させて得た高周波成分の信号を各画素の三原色の画素データそれぞれに加算して、各色の画素データを広帯域化処理することにより、画質低下の発生を抑えて解像度チャートのくさび型形状と十字に交差する偽信号や直線のラインの切断等の現象の発生を抑えることができることから、被写体を撮影した際に生じた現象を、従来よりも大幅に改善することができる。

また、本発明に係る画像信号処理方法によれば、緑色を挟む一方の対角位置の実在画素からの赤色の画素データと、他方の対角位置の実在画素からの青色の画素データとをそれぞれ求め、読み出した緑色の画素データを用いて仮想画素も補間処理しながら、輝度データとして緑色の画面を作成し、読み出した画素データのうち、赤色および青色の実在画素のいずれか一方を対象の画素とした際に、この対象の画素に対する相関判別の領域の頂点を、少なくともこの対象の画素と同色の画素で表わす領域にまで広げて相関判別することにより相関精度を向上させて判定しながら、この相関方向に位置するこの対象の画素と異色の周囲の他方の複数の画素データを用いて緑色の補色の画素データを生成するとともに、この補色の画素データを用いて仮想画素も補間処理し、この補色の画面を作成して、輝度データを生成し、得られた緑色の画面と補色の画面とを加算して、実在および仮想画素すべてに対する輝度データを生成し、さらに、得られた実在画素および仮想画素それぞれの色属性を基にこの実在画素および仮想画素すべてに対して得られた色属性と異なる前記赤色、青色および緑色すべてを補間生成し、補間生成した輝度データが有する所定の高周波帯域より高い周波数を通過させて得た高周波成分の信号を各画素の三原色の画素データそれぞれに加算して、各色の画素データの広帯域化することにより、画質低下の発生を抑えて解像度チャートのくさび型形状と十字に交差する偽信号や直線のラインの切断等の現象の発生を抑えることができることから、被写体を撮影した際に生じた現象を、従来よりも大幅に改善することができる。

本発明に係る画像信号処理方法を適用したディジタルカメラの概略的なブロック図である。図１のディジタルカメラにて用いた撮像部を入射光側から見た模式図である。図１のディジタルカメラの補間処理部の概略的な構成を示すブロック図である。図１のディジタルカメラの広帯域化処理部の概略的な構成を示すブロック図である。図１のディジタルカメラの動作を説明するメインフローチャートである。図５の本撮像時に得られる実在画素の位置および色の関係を説明する模式図である。図５に示した静止画補間信号処理の手順を説明するフローチャートである。図７に示した高周波輝度データY_Hを市松状に生成する手順を説明するフローチャートである。図８に示した適応処理の手順を説明するフローチャートである。図９に示した斜め相関処理の手順を説明するフローチャートである。図９に示した垂直／水平相関処理の手順を説明するフローチャートである。図８に示した手順により生成された画素データMgおよび撮像時に得られた画素データG の位置関係を説明する模式図である。図12の画素データG, Mg を高周波輝度データY_Hとして扱った際のパターンを示す模式図である。撮像により画素から得られる色および信号レベルならびに従来のアルゴリズムで生成する高周波輝度データY_Hの方向を示すフラグで表した模式図である。図11の処理手順のうち、新たに追加した垂直／水平相関判定処理による訂正箇所を示す模式図である。図８のフラグパターンの比較補正処理に用いる画素の位置関係を示す模式図である。図８のフラグパターンの比較補正処理の結果を示す模式図である。図７の輝度補間処理の手順を説明するフローチャートである。図18の輝度補間処理に用いるLPF 処理の原理を説明する模式図である。図19のLPF 処理のうち、水平方向に補間処理して得られる補間パターンである。図19のLPF 処理のうち、垂直方向に補間処理して得られる補間パターンである。図７の色補間処理の手順を説明するフローチャートである。図５の静止画用広帯域化処理の手順を説明するフローチャートである。被写界の細線間隔が比較的大きい場合の細線と各画素データの色、信号レベル、およびフラグの関係を示す模式図である。図11の処理手順のうち、新たに追加した垂直／水平相関判定処理による訂正箇所を示す模式図である。被写界の細線間隔が比較的小さい場合の細線と各画素データの色、信号レベル、およびフラグの関係を示す模式図である。図11の処理手順のうち、新たに追加した垂直／水平相関判定処理による訂正箇所を示す模式図である。図８のフラグパターンの比較補正処理の結果を示す模式図である。色G に着目した画素パターンを示す模式図である。色Mgに着目した画素パターンを示す模式図である。色G での補間を施して得られるプレーンな画面を示す模式図である。色G での補間を施して得られるプレーンな画面を示す模式図である。

次に添付図面を参照して本発明による画像信号処理方法の実施例を詳細に説明する。図１を参照すると、本発明による画像信号処理方法の実施例は、ディジタルカメラ10に適用した場合について記述し、適用する画像信号処理方法の動作手順は、図５に示すメインフローチャートの静止画補間信号処理（SUB1）および静止画用広帯域化処理（SUB2）に従って動作させる。静止画における信号処理手順は、図５の静止画補間信号処理（SUB1）で緑色を挟む一方の対角位置の実在画素からの赤色の画素データと、他方の対角位置の実在画素からの青色の画素データとをそれぞれ求め、赤色および青色の実在画素のいずれか一方を対象の画素とした際に、この対象の画素に対する相関判別の領域の頂点を、少なくともこの対象の画素と同色の画素で表わす領域にまで広げて相関判別することにより相関精度を向上させて判定しながら、この相関方向に位置するこの対象の画素と異色の周囲の他方の複数の画素データを用いて緑色の補色の画素データを、輝度データとして生成し、この補色の画素データと緑色の画素データを用いて水平および／または垂直方向に位置する同一色の画素データから仮想画素における輝度データを補間生成し、得られた実在画素および仮想画素それぞれの色属性を基にこの実在画素および仮想画素すべてに対して得られた色属性と異なる赤色、青色および緑色すべてを補間生成し、静止画用広帯域化処理（SUB2）で補間生成した輝度データが有する所定の高周波帯域より高い周波数を通過させて得た高周波成分の信号を各画素の三原色の画素データそれぞれに加算して、各色の画素データを広帯域化処理することにより、画質低下の発生を抑えて解像度チャートのくさび型形状と十字に交差する偽信号や直線のラインの切断等の現象の発生を抑えることができることから、被写体を撮影した際に生じた現象を、従来よりも大幅に改善することができる。

本実施例は、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。

ディジタルカメラ10には、図１に示すように、光学レンズ系12、操作部14、システム制御部18、タイミング信号発生部20、ドライバ部22、メカニカルシャッタ24、撮像部26、前処理部28、信号処理部30、圧縮／伸長処理部32、ストレージ部34、およびモニタ36が備えられている。これら各部を順次説明する。

光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。後述するように操作信号14a は、システムバス16、データバス18a を介してシステム制御部18に供給される。システム制御部18は制御信号18b をシステムバス16に供給する。制御信号18c は、システムバス16から制御信号18c としてタイミング信号発生部20およびドライバ部22に供給される。タイミング信号発生部20およびドライバ部22は供給される制御信号18c に応じて動作して光学レンズ系12に駆動信号22a を出力する。

操作部14には、図示しないがレリーズシャッタボタンやたとえばモニタ画面に各種の項目を表示させ、表示項目のなかからカーソルを用いて選択する選択機能等がある。操作部14には、これら各種の機能選択のうち、静止画・動画設定部が含まれている。静止画・動画設定部は、設定した結果が別な操作信号として出力している（図示せず）。操作部14で選択された操作は操作信号14a がシステムバス16を介してシステム制御部18に報知される。

システム制御部18は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部18には、ディジタルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、信号線18a を介してたとえば、ユーザの操作に伴って操作部14から供給される情報、すなわち操作信号14a とこの ROMが有する情報とを用いて各部の動作を制御する制御信号18b を生成する。システム制御部18は、生成した制御信号18b をシステムバス16を介して上述した光学レンズ系12の駆動だけでなく、タイミング信号発生部20、ドライバ部22に供給するとともに、図示していないが前処理部28、信号処理部30、圧縮／伸長処理部32、ストレージ部34およびモニタ36にも供給している。

タイミング信号発生部20は、ディジタルカメラ10を動作させる基本クロック（システムクロック）を発生する発振器（図示せず）を有する。発振器にはたとえば、VCO (Voltage Controlled Oscillator）方式等が用いられている。また、タイミング信号発生部20はこの基本クロックをシステム制御部18や信号処理部30等必要とするほとんどすべてのブロックに供給するとともに、基本クロックを分周して様々な信号も生成している。

特にタイミング信号発生部20は、この基本クロックを用い、制御信号18b に基づいて各部の動作をタイミング調節するタイミング信号20a, 20bを生成する回路を含む。タイミング信号発生部20は、ドライバ部22に生成したタイミング信号20a を供給する。また、タイミング信号発生部20は、前処理部28等の動作タイミングとして供給するようにタイミング信号20b も生成し、供給している。この他、図１に示すように各部にも図示していないが各種のタイミング信号が供給されている。

ドライバ部22は、供給されるタイミング信号20a を用いて、所望の駆動信号22a, 22b,および 22c をそれぞれ、生成し、光学レンズ系12、メカニカルシャッタ24、および撮像部26に供給する。駆動信号22c は、静止画用と動画用のモードにも対応して供給している。

メカニカルシャッタ24は、操作部14のレリーズシャッタボタンの押圧操作に応じて動作する。動作順序は、レリーズシャッタボタンの押圧操作により、たとえば、システムバス16を介して操作信号14a がシステム制御部18に供給され、システム制御部18からの制御信号18b がシステムバス16、および信号線18c を介してドライバ部22に供給される。メカニカルシャッタ24はドライバ部22から供給される駆動信号22b に応じて動作する。メカニカルシャッタ24は、このような順序で動作して制御される。

撮像部26は光学ローパスフィルタ26a および色フィルタ26b が固体撮像素子 (Charge Coupled Device：CCD ）26c の入射光側に一体的に設けられた単板カラーCCD センサである。これは、光学レンズ系12で結像された光学像が固体撮像素子26c の受光部の各撮像素子に到達した光量に応じた出力信号27を出力する。

撮像部26は、入射光の側から順次に光学ローパスフィルタ26a 、色フィルタ26b 、および固体撮像素子26c が配設され、一体的に形成されている。色フィルタ26b は単板である。色フィルタ26b の色フィルタセグメント260 と撮像素子262 とは、一対一の対応関係にある。色フィルタ26b は、たとえば、図２に示すような三原色RGB の色フィルタセグメント260 が配置されている。この色フィルタセグメント260 の配置パターンは、色G が正方格子状に配され、さらに色G を挟んで対角位置に同色R,または Bが配される完全市松に配するパターンである。

この色パターンは、以後、この色フィルタ配置はハニカム型G 正方格子RB完全市松パターンという。図２に示した画素数は、14個のうち、本来の色G が６個、色R, Bがそれぞれ４個ずつである。上述した色G の正方格子状とは、画素の形状を示すものでなく、画素の配置形状を示している。画素の形状は多角形データとえば四角形、六角形、八角形等がある。

撮像素子には、CCD や後段で示すMOS（Metal Oxide Semiconductor: 金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部26では、供給される駆動信号22c に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、垂直ブランキング期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給される。この水平転送路を経た信号電荷は図示しない出力回路による電荷／電圧変換によってアナログ電圧信号27にされて前処理部28に出力される。固体撮像素子26c は、CCD タイプでは信号電荷の読出しモードに応じて間引き読出しや全画素読出しを用いる。

前処理部28は、図示しないが相関二重サンプリング部（Correlated Double Sampling :以下、CDS という）およびA/D 変換部を有している。CDS 部は、アナログ電圧信号に含まれる1/f 雑音やリセット雑音の低減に寄与して、ノイズ除去を行う。また、前処理部28はここでガンマ補正を行うようにしてもよい。ノイズ成分が除去された出力信号がA/D 変換部に送られる。A/D 変換部は、供給されるアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号29に変換するA/D 変換器を有する。A/D 変換部は、タイミング信号発生部20から供給される変換クロック等のタイミング信号20b により変換したディジタル信号29を信号処理部30に出力する。

信号処理部30には、フレームメモリ機能を有するデータ補正部30a 、補間処理部30b 、および広帯域化処理部30c が含まれる。さらに、データ補正部30a には、図示しないがバッファ機能としてフレームメモリおよび補正処理部が含まれている。補間処理部30b は、あらわに示していないがガンマ補正やホワイトバランス等の調整を行う機能を有する。ここでのガンマ補正は、消費電力や回路規模を小さくして信号処理のビット数を低減すること等も可能にしている。このガンマ補正処理をたとえば、前処理部28ですでに行っている場合、省略する。A/D 変換によりディジタル化された画像データ29がデータ補正部30a のフレームメモリに供給され、そこに記憶される。フレームメモリは、読み出す領域をずらしながら繰り返して画素データを読み出すことから、非破壊型のメモリを用いると有利である。また、フレームメモリには、システム制御部18からの制御信号18b に含まれる書込み／読出しイネーブル信号、クロック信号等の制御に関わる信号をシステムバス16を介した制御信号18d として供給されている。データ補正部30a は、処理として、たとえば、各色フィルタに対応した画像データのレベルを後段の信号処理に適したレベルに合わせるため各色フィルタごとにゲイン調整も行っている。また、データ補正部30a は、記憶した画像データを所定の順序で画像データ38を補間処理部30b に出力する。

補間処理部30b は、本実施例では静止画補間および動画補間を行う機能を有し、供給される画像データ38の供給先をユーザの要望に応じて切り換えて各部に供給している。このうち、静止画補間を行う構成について説明する。補間処理部30b は、図３に示すように、輝度補間展開部40および色補間展開部42を備えている。補間処理部30b は、実在画素および実在画素の中間に位置する仮想画素において高域成分を含む高周波輝度データY_Hおよび三原色データを補間生成する機能を有する。輝度補間展開部40および色補間展開部42には、データ補正部30a から画像データ38がそれぞれ供給されている。画像データ38は、撮像素子の実在する実在画素からの画素データである。

輝度補間展開部40には、高周波輝度データ作成部400 および輝度データ補間処理部402 が含まれる。高周波輝度データ作成部400 は、供給される画素データを用いて実在画素または仮想画素の位置における高域成分を含む高周波輝度データY_H（404)を生成する。本実施例の高周波輝度データ作成部400 は、実在画素の位置での高周波輝度データY_Hの算出を行う。この算出は、供給される画素データ38を用いてたとえば、供給される色に対する相関関係がどの方向にあるか検出し、検出結果に応じた高周波輝度データY_H（404)を生成している。より詳細な算出については後段で説明する。輝度データ補間展開部402 は、供給される高周波輝度データY_H（404)を用いて仮想画素の位置における高周波輝度データY_Hを生成する。輝度補間展開部40は、このように高周波輝度データY_Hの生成および補間により実在画素および仮想画素すべての位置での高周波輝度データY_H (44) を広帯域化処理部30c に出力する。

なお、輝度補間展開部40は、仮想画素の位置に対応する高周波輝度データY_Hを作成し、この仮想画素の高周波輝度データY_Hを用いて実在画素の位置に対応する高周波輝度データY_Hを作成するようにしてもよい。

色補間展開部42は、仮想画素および実在画素の対応していない色に対して実在画素の色配置を考慮して補間処理を行い、画面全体の三原色データを生成する機能を有する。このため、色補間展開部42には、各色ごとの補間展開部がある。これがR 補間展開部420 、G 補間展開部422 、およびB 補間展開部424 である。各補間展開部420, 422, 424 は供給される画像データ38のうち、色ごとにそれぞれ色データ38a, 38b, 38c を入力し、入力したそれぞれの色データで補間展開処理を行うことにより実在画素および仮想画素すべての位置で色データを生成する。これにより三原色RGB をすべてそろえる、RGB 同時化処理を行って三原色データ46, 48, 50を広帯域化処理部30c に出力する。これらの三原色データRGB の補間処理についても後段で詳述する。

広帯域化処理部30c には、ハイパスフィルタ回路52、加算部54、色差マトリクス部56、歪み防止処理部58、アパーチャ調整部60および色差ゲイン調整部62, 64が備えられている（図４を参照）。ハイパスフィルタ回路（以下、HPF という）52は、供給される高周波輝度データ44から高周波成分を抽出するフィルタである。HPF 52は、抽出した高周波成分Y_hの信号52a を加算部54に出力する。また、色G に関してHPF 52と加算器540 の間に新たな切換スイッチ（図示せず）を配設して、色G には直接的に高周波成分が供給されないようにしてもよい。この場合、切換スイッチには、システム制御部18から切換制御信号が供給される。

加算部54には、三原色に対応して３つの加算器540, 542, 544 がある。加算器540, 542, 544 の一端540a, 542a, 544aにはそれぞれ、三原色データRGB が供給されている。また、加算器540, 542, 544 の他端540b, 542b, 544bには高周波成分が供給されている。加算部54は、三原色RGB のそれぞれにHPF 52からの高周波成分Y_hを加算することにより三原色データの周波数帯域を広帯域化する。ところで色G の画素データ自体には高周波成分が含まれているので広帯域化されているとみなすこともできる。

色差マトリクス部56は、広帯域化した三原色データ54a, 54b, 54c を用いて輝度データY 、色差データC_r, C_bを生成している。色差マトリクス部56は、ここで行うマトリクス演算にはこれまで用いてきた従来の算出式を用いている。色差マトリクス部56は、生成した輝度データY (56a）および色差データC_r(56b）, C_b(56c）を歪み防止処理部58に供給する。

歪み防止処理部58には、供給される３つの信号の帯域を損なうことなく、折返し歪みを発生させないように高域にまで帯域のあるローパスフィルタ（以下、LPF という）580, 582, 584 がある。その中でもLPF 580 は輝度データY に応じて最も高い周波数まで通す特性を有している。また、歪み防止処理部58では、水平および垂直方向の周波数帯域の重複している領域に対して一方の方向の重複する周波数帯域を制限している。これにより、周波数の重複による画質劣化を回避している。このように処理された輝度データY (58a）および色差データC_r(58b）, C_b(58c）がそれぞれ、アパーチャ調整部60、色差ゲイン調整部62, 64に供給される。

アパーチャ調整部60は、たとえば、LPF 処理によって高域成分の低下をなくすように処理して出力する。この結果、画像には輪郭（エッジ）強調処理が施されたと同様の効果がもたらされる。また、色差ゲイン調整部62, 64は、供給される色差データC_r(58b）, C_b(58c）に対してゲイン調整を行い、所定のレベルに揃えている。このようにして信号処理部30は、生成した輝度データY (66a）、色差データC_r(66b）, C_b(66c）を圧縮／伸長処理部32に供給する。

図１に戻って圧縮／伸長処理部32は、信号処理部30から供給された１フレーム分の輝度データY と色差データC_r, C_bを一時的に記憶するフレームメモリと、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸長する回路とを有する。ここで、フレームメモリは、信号処理部30のフレームメモリと兼用してもよい。ここで、複数のフレームメモリを所有すると、動画の記録、すなわち連写等の処理において有利である。また、圧縮はJPEGに限定されるものでなく、MPEG（Moving Picture coding Experts Group ）や動画像の１枚いちまいのフレームにJPEGを適用するモーションJPEG等の圧縮方法がある。

圧縮／伸長処理部32は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介してストレージ部34に供給する。圧縮／伸長処理部32は、供給される輝度データY (66a）、色差データC_r (66b）, C_b (66c）をシステム制御部18の制御によりスルーさせてシステムバス16に供給したり、または信号処理部30からの信号をシステムバス16を介してモニタ36に供給することもできる。圧縮／伸長処理部32が伸長処理を行う場合、逆にストレージ部34から読み出したデータをシステムバス16を介して圧縮／伸長処理部32に取り込んで処理する。ここで処理されたデータはフレームメモリに記憶された後、システム制御部18の制御により圧縮／伸長処理部32は、所要の順序でフレームメモリのデータを読み出し、モニタ36に供給して表示させる。

ストレージ部34は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディア（登録商標）のような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。

モニタ36は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データY および色差データC_r, C_bまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。

このようにディジタルカメラ10は構成して撮像した画像に対して信号処理を施し、記録している。また、記録した画像データを再生してモニタ36に表示させることも行っている。

次に、ディジタルカメラ10の動作について説明する。必要に応じて前述の構成で用いた図面も参照する。ディジタルカメラ10は、たとえば、図５に示す撮影におけるメインフローチャートに従って動作する。この動作手順は前述したように静止画撮影に着目して説明している。ディジタルカメラ10は図示していないが、電源投入後、カメラ10が有する複数のモードのうち、どのようなモードで動作させるか選択する。撮影モードが選択されている場合、光学レンズ系12を介して採り込む被写界の像をディジタル処理して連続的にモニタ36に表示する（ステップS10 ）。特に、操作部14のレリーズシャッタボタン(図示せず）を１段階押すと、カメラ10は、撮像した被写界の画像をモニタ36に表示させるだけでなく、本撮像を前に露光条件の設定処理および露光対象との焦点距離の調節等をシステム制御部18で行い、本撮像に備えている。露光条件の設定に関わるパラメータ設定処理は、信号処理部30で行ってもよい。

ユーザが所望のタイミングでレリーズシャッタボタンを２段階まで押し切って本撮像を行う（ステップS12 ）。本撮像が行われると、システム制御部18には、操作信号14a から供給される。システム制御部18はこのタイミングであらかじめ設定した制御信号18b をシステムバス16、信号線18c を介してタイミング信号発生部20およびドライバ部22に送る。カメラ10は、タイミング信号発生部20およびドライバ部22からのタイミング信号および駆動信号に応じて動作する。図２に示すように、固体撮像素子26c は、ハニカム型G 正方格子RB完全市松パターンの色フィルタ26b を介して色フィルタセグメントRGB に対応した画素から読み出した信号電荷をアナログ信号27にしている。読み出したアナログ信号27が前処理部28に供給される。

前処理部28では、タイミング信号20b に応じて供給されたアナログ信号27に含まれる雑音を除去し、雑音除去された信号にA/D 変換処理を施してディジタル信号29に変換する（ステップS14 ）。ディジタル信号29が撮像された画像データとして信号処理部30に供給される。

信号処理部30では供給される画像データに対して静止画補間信号処理（サブルーチンSUB1）および静止画用広帯域化処理（サブルーチンSUB2）を順に行う。供給される画像データ29は、たとえば図６に示す画素配置関係の画素データにあるとする。八角形の実線は実在画素、八角形の破線は仮想画素を表す。また、八角形の内部に記した記号R, G, B は各画素が生成する色を示す。記号R, G, B に付される添字は画素の位置を行列表示で示している。

画像データ29には静止画補間信号処理を行う前にデータ補正部30a で各画素に対応する画素データにガンマ補正、ホワイトバランス補正等の各種補正が施される。データ補正部30a にはフレームメモリ（図示せず）を備えてもよい。この場合画像データは供給された際に一時的に記憶し、その後各画素ごとに読み出して上述した補正が施される。この補正された画像データ38は、フレームメモリにふたたび格納してもよいし、補間処理部30b に供給してもよい。

補間処理部30b では供給される画像データ38に基づいて静止画用の補間信号処理が施される。後段で詳述するが、この補間信号処理で、ハニカム型G 正方格子RB完全市松パターンにおいて効果的な解像度を高める処理が施される。生成した高周波輝度データY_H(44) およびプレーンな色データ46, 48, 50がそれぞれ広帯域化処理部30c に出力される。

広帯域化処理部30c では、それぞれ供給された高周波輝度データY_H(44) およびプレーンな色データ46, 48, 50に対して広帯域化処理を施して広帯域な輝度データY (66a) 、および色差データ（B-Y) (66b), (R-Y）(66c) を生成する。

次に信号処理により得られた画像データ66a, 66b, 66c に対して圧縮処理を施す（ステップS16 ）。圧縮処理もあらわに図示していないが、動画モードでは、１フレームごとに圧縮処理を施すモーションJPEG（Joint Photographic coding Experts Group ）あるいはMPEG（Moving Picture coding Experts Group ）などで処理される。また、静止画モードではJPEG等が圧縮信号処理として適用される。そして、この圧縮処理が施された画像データは、ストレージ部34の記録再生装置に装着された記録媒体に記録保存される（ステップS18 ）。

最後に、ディジタルカメラ10の動作を終了させるかどうかを判定する（ステップS20 ）。まだ動作を継続するとき（NO）、ステップS10 に戻って一連の処理を継続する。また、動作を終了するとき（YES ）、ディジタルカメラ10の電源をオフにする。このように動作させている。

次に補間処理について概略的に説明する（サブルーチンSUB1：図７を参照）。補間処理はサブルーチンSUB3, SUB4, SUB5が含まれ、図３の高周波輝度データ作成部400 、輝度データ補間処理部402 、および色補間展開部42での処理にそれぞれ対応している。本実施例で高周波輝度データ作成処理は高周波輝度データ作成部400 で市松状に実在画素の位置に対して高周波輝度データY_Hを作成する。この処理後、作成した高周波輝度データY_Hを用いて輝度データの補間処理を行う。ここでの補間は、仮想画素に対して行う処理である。また、高周波輝度データ作成処理が仮想画素に対して行われた場合、輝度の補間処理は実在画素に対して行うことになる。

この高周波輝度データY_H (44) の作成を行うとともに、色補間処理が行われる（サブルーチンSUB5: RGB 同時化処理）。この処理により、実在画素だけでなく、仮想画素も含めた画素全面において原色R, G, B の画素データ46, 48, 50を生成している。

さらに高周波輝度データ作成処理（サブルーチンSUB3）の手順について説明する（図８〜図11を参照）。まず、本実施例において、図８に示すように各画素から得られた画素データを用いて画素データ間の相関性の有無を考慮しながら、高周波輝度データY_Hを生成する、適応型処理を行うかどうか判断する（サブステップSS30）。適応型処理の実行の可否はあらかじめ操作部14で設定しておくとよい。たとえば、この設定のデフォルトは適応型処理を行うように設定されている。適応型処理を行う場合（YES ）、サブルーチンSUB6に進む。適応型処理については後段でさらに詳述する。適応型処理を行わない場合（NO）、正方格子状に配されている周囲４画素の画素データを平均して高周波輝度データY_Hを生成する（サブステップSS32）。算出式は後段で示す。

たとえば、ある画素における高周波輝度データY_Hの生成が終了したとき、この時点で１フレーム分の実在画素に対する補間処理が終了したかどうかの判断を行う（サブステップSS34）。１フレーム分の補間処理がまだ完了していない場合（NO）、サブルーチンSUB3の先頭に戻る。また、この補間処理が完了した場合（YES ）、得られた１フレームの画像データ内の各画素データに対する比較補正を行う（サブステップSS36）。比較補正後、リターンに移行してサブルーチンSUB3を終了する。この比較補正については後段でふたたび説明する。

次に適応型処理につい説明する。適応型処理はユーザの設定に応じて斜め方向、水平方向、および／または垂直方向の相関判定処理に基づいて高周波輝度データY_Hを算出する。まず、図９に示すように、斜め相関判定処理を行うかどうかの判断を行う（サブステップSS60）この場合も処理の可否をカメラ10に設定されているフラグのオン／オフを用いて判断するとよい。斜め相関処理を行う場合（YES ）、実際に相関判定処理に応じた高周波輝度データY_Hの算出を行う（サブルーチンSUB7）。斜め相関判定処理を行わない場合（NO）、垂直／水平相関に基づく高周波輝度データY_Hの算出処理に進む（サブルーチンSUB8）。

斜め相関判定処理後、対象の画素から得られた画素データに対して他の相関判定処理をしないかどうかを判断する。他の相関判定処理を行う場合（NO）、サブルーチンSUB8に進む。また、他の相関判定処理を行わない場合（YES ）、リターンに移行してサブルーチンSUB6を終了する。

次に斜め相関判定処理について説明する（図10を参照）。斜め相関判定処理における比較データの算出を行う（サブステップSS70）。比較データは、たとえば適応処理を施す対象の画素データを中心にしてその周囲の画素データがどの方向に相関しているかの判別に用いる。たとえば、その対象の画素データが図６に示す色B₄₆ の場合、比較データAGは、周囲の画素データG₃₅, G₅₅, G₃₇, G₅₇を用いて、
AG＝｜G₃₅ ＋G₅₇ −(G₃₇ ＋G₅₅) ｜・・・(1)
から得られる。画素データが色R の場合も周囲の画素データG から算出する。この算出により、左右のいずれか一方に傾きを有する大きい方の値が比較データAGとして得られることになる。

この演算の後、対象の画素データを挟んで斜めに位置する画素データに相関（すなわち、斜め相関）があるかどうか判定を行う（サブステップSS70）。この判定には、判定基準値としてJ1が設定されている。比較データAGが判定基準値J1以上に大きいとき（YES ）、斜め相関があると判定して高周波輝度データY_Hの生成を行う（サブステップSS74）。高周波輝度データY_Hの生成は、比較データAGの算出に用いた４つの画素データG を平均して行う。また、比較データAGが判定基準値J1よりも小さいとき（NO）、他の相関判定処理用フラグをオンにする（サブステップSS76）。

ところで、この場合でも、偽色を発生させてしまうおそれがある。そこで、このおそれのある画素の境界近傍に位置する画素データR における画質は高周波輝度データY_Hを上述した演算により算出すると、画像全体として見た際に色境界での偽色の発生を良好に抑圧することができる。具体的な説明を省略するが画素データB ＝B₂₄ に対しても同様に比較データを算出し斜め相関の有無に基づいた適応的な高周波輝度データY_Hを作成することができる。この処理の後、リターンに移行してサブルーチンSUB7を終了する。

次に垂直／水平相関判定処理について説明する（図11を参照）。垂直／水平相関判定処理も図６に示した配置パターンを利用するとともに、処理の対象画素を色B₄₆ にして説明する。垂直／水平相関判定には対象画素B₄₆ を中心としこの周辺に位置する８つの実在画素（R₂₆, G₃₅, G₃₇, R₄₄, R₄₈, G₅₅, G₅₇, R₆₆）を含む領域68が用いられている。

本実施例では、垂直／水平相関判定の精度をさらに向上させるため領域68を囲む領域70も考慮する。実際に相関判定に用いる画素は領域70のうち、対象画素B₄₆ と同色、かつ領域70の四隅に位置する４つの実在画素（B₀₆, B₄₂, B₄₁₀, B₈₆ ）である。すなわち、対象画素B₄₆ に対して水平・垂直な十字方向に位置する同色画素のデータを用いる。

本実施例において比較データは、領域68、領域70に対して算出する（サブステップSS800 ）。領域68における比較データがARB_H, ARB_V, ACB_H, ACB_V, AGB_Hおよび／またはAGB_Vで、領域70における比較データがACBB_H, ACBB_Vである。比較データを表す第１の文字“A ”は算術演算、第２の文字“R ”や“G ”は算術演算に用いる画素の色、または“C ”は対象画素との比較演算、第３の文字“B ”は算術演算に用いる画素の色、または対象画素の色、第４の文字は対象画素の色、そして第３または第４の文字に対する添字H, Vは、それぞれ水平、垂直を表している。

たとえば、対象画素B₄₆ に対する比較データは次のような演算
ARB_H＝｜R₄₄ −R₄₈ ｜・・・(2a)
ARB_V＝｜R₂₆ −R₆₆ ｜・・・(2b)
ACB_H＝｜R₄₄ −B₄₆ ｜＋｜R₄₈ −B₄₆ ｜・・・(2c)
ACB_V＝｜R₂₆ −B₄₆ ｜＋｜R₆₆ −B₄₆ ｜・・・(2d)
AGB_H＝｜G₃₅ −G₃₇ ｜＋｜G₅₅ −G₅₇ ｜・・・(2e)
AGB_V＝｜G₃₅ −G₅₅ ｜＋｜G₃₇ −G₅₇ ｜・・・(2f)
ACBB_H ＝｜B₄₂ −B₄₆ ｜＋｜B₄₁₀−B₄₆ ｜・・・(2g)
ACBB_V ＝｜B₀₆ −B₄₆ ｜＋｜B₈₆−B₄₆ ｜・・・(2h)
を行って得られる。また、比較データは各垂直／水平方向の相関判定前にそれぞれ行うようにしてもよい。垂直／水平方向の相関判定には、あらかじめ垂直・水平の一組に一つずつ判定基準値J2, J3, J4が設定されている。これらの値J2, J3, J4は、経験的に設定される。

次に対象の画素データB ＝B₄₆ を挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う（サブステップSS802 ）。この判定は、垂直方向の比較データARB_Vと水平方向の比較データARB_Hの値を用いてさらに相関値（ARB_H−ARB_V）が算出された際に、新たに設けられた所定の判定基準値J2よりも小さいとき（NO）、垂直相関がないものとみなし水平相関判定に進む。また、相関値（ARB_H−ARB_V）が判定基準値J2以上のとき（YES ）、垂直相関があるとみなして高周波輝度データY_Hの生成に進む。相関のあるとは画素データ同士の値が近いことを意味するからである。

垂直相関があると判定された際に、対象の画素B₄₆ および画素R₂₆, R₆₆を用いて高周波輝度データY_Hを算出する（サブステップSS804 ）。高周波輝度データY_Hは、基本的に画素データG と色G の補色、すなわちマゼンタMgのいずれか一方で表すことができる。マゼンタMgは、画素データR と画素データB の加算平均（0.5*R ＋0.5*B ）で算出できることが知られている。この場合、高周波輝度データY_H46は、
Y_H46＝B₄₆/2 ＋(R₂₆ ＋R₆₆)/4 ・・・(3)
により得られる。高周波輝度データY_Hには垂直相関を示すフラグv が付されている。この後、この画素B₄₆ における高周波輝度データY_Hの算出を終了したものとみなしてリターンに進む。

次に対象の画素データB ＝B₄₆ を挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうか判定を行う（サブステップSS806 ）。相関値（ARB_V−ARB_H）が算出された際に、判定基準値J2よりも小さいとき（NO）、水平相関がないものとみなし次の垂直相関判定に進む。また、相関値（ARB_V−ARB_H）が判定基準値J2以上のとき（YES ）、水平相関があるとみなして高周波輝度データY_Hの生成に進む。

水平相関があると判定された際に、対象の画素B₄₆ および画素R₄₄, R₄₈を用いて高周波輝度データY_Hを算出する（サブステップSS808 ）。この場合、高周波輝度データY_H46は、
Y_H46＝B₄₆/2 ＋(R₄₄ ＋R₄₈)/4 ・・・(4)
により得られる。高周波輝度データY_Hには水平相関を示すフラグh が付されている。この後、この画素B₄₆ における高周波輝度データY_Hの算出を終了したものとみなしてリターンに進む。

次に高周波輝度データY_Hを算出する対象画素B₄₆ の周囲に位置する実在画素を用いて垂直相関判定を行う（サブステップSS810 ）。対象画素B₄₆ と周囲の画素との距離を近づけて垂直相関判定する場合、比較データACB_H, ACB_Vおよび所定の判定基準値J3を用いて行う。すなわち、相関値（ACB_H−ACB_V）が判定基準値J3より小さいとき（NO）、垂直相関がないと判定して、次の水平相関判定に進む。また、相関値（ACB_H−ACB_V）が判定基準値J3以上のとき（YES ）、垂直相関有りと判定して、高周波輝度データY_Hの算出に進む。

なお、領域68内で対象画素B₄₆ と最も距離の近い画素、すなわち色G の画素を用いて垂直相関判定してもよい。この場合、比較データAGB_H, AGB_Vを用いる。相関値（AGB_H−AGB_V）と判定基準値J3とを比較判定するとよい。比較判定の大小基準は前述と同じである。

垂直相関があると判定された際に、対象の画素B₄₆ および画素R₂₆, R₆₆を用いて高周波輝度データY_Hを算出する（サブステップSS812 ）。この場合、高周波輝度データY_H46は、式(3) により得られる。高周波輝度データY_Hには垂直相関を示すフラグv が付されている。この後、この画素B₄₆ における高周波輝度データY_Hの算出を終了したものとみなしてリターンに進む。

次に高周波輝度データY_Hを算出する対象画素B₄₆ の周囲に位置する実在画素を用いて水平相関判定を行う（サブステップSS814 ）。対象画素B₄₆ と周囲の画素との距離を近づけて水平相関判定する場合、この場合も比較データACB_H, ACB_Vおよび所定の判定基準値J3を用いて行う。相関値は（ACB_V−ACB_H）である。相関値（ACB_V−ACB_H）が判定基準値J3より小さいとき（NO）、水平相関がないと判定して、次の垂直相関判定に進む。また、相関値（ACB_V−ACB_H）が判定基準値J3以上のとき（YES ）、水平相関有りと判定して、高周波輝度データY_Hの算出に進む。

ここでも、前述したように領域68内で対象画素B₄₆ と最も距離の近い画素、すなわち色G の画素を用いてより狭い領域で水平相関判定してもよい。この場合、比較データAGB_H, AGB_Vを用いる。相関値（AGB_V−AGB_H）と判定基準値J3とを比較判定するとよい。比較判定の大小基準は前述の通りである。

水平相関があると判定された際に、対象の画素B₄₆ および画素R₄₄, R₄₈を用いて高周波輝度データY_Hを算出する（サブステップSS816 ）。この場合、高周波輝度データY_H46は、式(4) により得られる。高周波輝度データY_Hには水平相関を示すフラグh が付されている。この後、この画素B₄₆ における高周波輝度データY_Hの算出を終了したものとみなしてリターンに進む。

垂直／水平相関の検出を高めるため、前述したように、垂直・水平相関の検出判定を２段階ずつ行っている。この２段階の相関判定は、相関検出の範囲を対象画素に対して狭める方向で行われている。しかしながら、たとえば特定の幅で長手線状の被写体を撮像したとき、適切な高周波輝度データY_Hが得られないことから画質を損なう場合があった。このような特定の幅での画質低下を防止するように相関検出の範囲を領域68よりも広い領域70で行う。

次に領域70において高周波輝度データY_Hを算出する対象画素B₄₆ の周囲に位置する実在画素を用いて垂直相関判定を行う（サブステップSS818 ）。この場合、対象画素B₄₆ と４つの周囲の画素B₀₆, B₄₂, B₄₁₀, B₈₆を用いる。用いる周囲の画素は対象の画素と同色である。比較データACBB_H, ACBB_V から算出した相関値（ACBB_H −ACBB_V ）が判定基準値J4より小さいとき（NO）、次の水平相関判定に進む。また、相関値（ACBB_H −ACBB_V ）が判定基準値J4以上のとき（YES ）、垂直相関があると判定して、高周波輝度データY_Hの算出に進む。

垂直相関があると判定された際に、対象の画素B₄₆ および画素R₂₆, R₆₆を用いて高周波輝度データY_Hを算出する（サブステップSS820 ）。この場合、高周波輝度データY_H46は、式(3) により得られる。高周波輝度データY_Hには垂直相関を示すフラグv が付されている。この後、この画素B₄₆ における高周波輝度データY_Hの算出を終了したものとみなしてリターンに進む。

次に前述と同様に領域70において高周波輝度データY_Hを算出する対象画素B₄₆ の周囲に位置する実在画素を用いて垂直相関判定を行う（サブステップSS822 ）。この場合も、対象画素B₄₆ と同色の４つの周囲の画素B₀₆, B₄₂, B₄₁₀, B₈₆を用いる。比較データACBB_H, ACBB_Vから相関値（ACBB_V −ACBB_H ）を算出する。相関値（ACBB_V −ACBB_H ）が判定基準値J4より小さいとき（NO）、相関なしと判定して、周囲の４画素平均処理に進む。また、相関値（ACBB_V −ACBB_H ）が判定基準値J4以上のとき（YES ）、水平相関があると判定して、高周波輝度データY_Hの算出に進む。

水平相関があると判定された際に、対象の画素B₄₆ および画素R₂₆, R₆₆を用いて高周波輝度データY_Hを算出する（サブステップSS824 ）。この場合、高周波輝度データY_H46は、式(4) により得られる。高周波輝度データY_Hには水平相関を示すフラグh が付されている。この後、この画素B₄₆ における高周波輝度データY_Hの算出を終了したものとみなしてリターンに進む。

相関なしと判定された際に周囲の４画素平均処理を行う（サブステップSS826 ）。対象画素B₄₆ の高周波輝度データY_Hは、領域68内に実在画素すべてから得られる画素データを用いて算出する。高周波輝度データY_Hは、
Y_H46＝B₄₆/2 ＋(R₂₆＋R₄₄ ＋R₄₁₀＋R₆₆)/8 ・・・(5)
により得られる。高周波輝度データY_Hには、相関なしで算出されたことを示すフラグ+ が付されている。フラグ+ は対象画素の色と対象画素の色に対して異なる色を加算してマゼンタMgを生成することを意味している。すなわち、フラグ+ は周囲の画素すべての加算である。この後、この画素B₄₆ における高周波輝度データY_Hの算出を終了したものとみなしてリターンに進む。リターンを介してサブルーチンSUB8を終了する。この結果、撮像により得られた色G の実在画素とともに、新たに色R, Bの位置に色Mgの画素データが算出される（図12を参照）。これら色G, Mg の画素データは高周波輝度データY_Hとして扱えることから、図13に示す実在画素の位置すべてに対応して高周波輝度データY_Hが生成される。

ところで、前述したように被写体に特定幅で長手線状に輝度が得られる場合がある。このとき、長手方向に輝度レベル差が発生する。具体例として、図14に示すように被写体の中の、白色W の間に黄色yeが挟まれる部分で輝度レベル差が生じる。ただし、色G は省略している。白色W の領域は、たとえば三原色RGB の画素データが同じ程度のレベルで得られる。また、黄色yeの領域72（b+, R+, b+, R+, b+）は、たとえば色R と色G の画素データが同程度のレベルにし、色B を小さいレベルb の画素データで黄色を表している。黄色領域72における高周波輝度データY_Hの生成はフラグ+ が示すように周囲の４画素の加算平均により得られる。画素R+, b+に対する高周波輝度データY_Hを、それぞれY_H(R+), Y_H(b+)とすると、式(6a), (6b)
Y_H(R+)＝R/2 ＋(B+b+B+b)/8 ＝R/2 ＋(B+b)/4 ・・・(6a)
Y_H(b+)＝b/2 ＋(R+R+R+R)/8 ＝R/2 ＋R/2 ・・・(6b)
により得られる。長手方向の輝度データのレベル差とは、高周波輝度データY_H(R+), Y_H(b+)のレベル差をΔY_Hとすると、
ΔY_H＝Y_H(R+)−Y_H(b+)＝（B−b)/4 ・・・(7)
が得られる。輝度レベル差ΔY_Hが凸凹を発生させる原因である。

この対策として図６に示した領域70での垂直／水平相関判定処理を設ける。新たに加えられる垂直／水平相関判定処理は、対象の画素を含めた同色の画素を用いて行う。図14に示した用いる画素データは矢印74の指し示した先の画素データである。図11に示したサブステップSS818 以降の手順により、図15の太線で描かれた色B の画素はフラグ+ からフラグh で相関判定処理されたことを示している。このようにして１フレーム分の高周波輝度データY_Hの算出処理が行われる。１フレーム分の高周波輝度データY_Hに対してフラグパターンの比較補正を施す（図８のサブステップSS36を参照）。

比較補正は、対象画素の色B を含む13個の実在画素を用いる（図16を参照）。13個の実在画素を含む領域76は、最上位の行の画素をu1, u2, u3、中段の行の２画素をm1, m2、そして最下位の行の画素をd1, d2, d3とする。このように比較補正の対象画素に対して周辺の８画素を用いて色R, Bの位置のフラグの訂正を行うかどうか判定する。

判定条件は、最上位および最下位の行の画素のフラグが同じとき、または比較補正の対象画素に対して左右の列の画素のフラグが同じとき比較補正の対象画素のフラグを周辺画素のフラグに訂正する。たとえば、各画素がu1=u2=u3=d1=d2=d3 またはu1=m1=d1=u3=m2=d3 のフラグが水平相関h を示しているとき比較補正の対象画素b のフラグを水平相関h にセットする。より具体例としては図17の色Bhを参照されたい。このフラグ訂正と同時に、水平相関に基づく高周波輝度データY_Hの算出を行う。

また、各画素がu1=u2=u3=d1=d2=d3 またはu1=m1=d1=u3=m2=d3 のフラグが垂直相関v を示しているとき比較補正の対象画素b のフラグを垂直相関v にセットするとともに、垂直相関に基づく高周波輝度データY_Hの算出を行う。そして、比較補正に基づいて算出した高周波輝度データY_Hを用いることにする。これにより、輝度レベル差ΔY_Hをなくしている。

次に輝度データ補間処理について説明する（サブルーチンSUB4: 図18を参照）。図13に示した配置で得られた高周波輝度データY_Hに基づいて仮想画素の位置での高周波輝度データY_Hの生成を行う（サブステップSS40）。このとき、仮想画素のそれぞれに対して垂直および水平方向に補間処理を行う。この補間処理は、たとえば図19に示すLPF (Low Pass Filter）で行う。

このLPF について簡単に説明する。実在画素d_(-3), d_(-1), d₍₁₎, d₍₃₎は実線で示し、仮想画素は破線で示し、仮想画素が４つの実在画素の間に配した関係になっている。仮想画素d_n(-4), d_n(-2), d_n(0), d_n(2), d_n(4) には、実在画素との対応を考慮して、何もデータが入っていない状態と同じ関係として扱うとよい。すなわち、これらの画素には、たとえばゼロが予め設定されている（ゼロ埋込み）。たとえば図19(a) に示すように画素d_n(0) を水平方向に補間するとき、ディジタルフィルタのタップ係数をk₀, k₁, k₂, k₃, k₄,・・・,k_n として整理すると、高周波輝度データY_H(0) が式(8)
Y_H(0)＝k₀*d_n(0)+k₁*(d₍₁₎+d_(-1))+k₂*(d_n(-2)+d_n(2))+k₃*(d_(-3)+d₍₃₎)
+k₄*(d_n(-4)+d_n(4))+・・・k_n*(d_n(-n)+d_n(n)) ・・・(8)
で表されるように得られる。ただし、この場合、図19(a) から明らかなように、ゼロのデータが交互に入るので、係数が２倍になる。この関係は、図19(a) におけるこの他の補間対象の画素d_n(-4), d_n(-2), d_n(2), d_n(4)に対しても当てはめる。これらの補間処理が施されることにより、高周波輝度データY_H(-4), Y_H(-2), Y_H(2), Y_H(4)が得られる（図19(b) を参照）。

そして、１フレーム分に対する上述した仮想画素の補間処理が完了したかどうかの判定を行う（サブステップSS42）。この補間処理が未完のとき（NO）、補間処理のされていない仮想画素に対して補間処理を施す(サブステップSS40に戻る）。また、１フレーム内の仮想画素すべての補間処理が完了したとき（YES ）、補間処理完了としてリターンに移行する。この結果、実在画素および仮想画素の高周波輝度データY_Hは図20に示すように色G, Mg で表す関係に得られる。LPF 処理は、垂直方向に対しても行われる。この処理では図21に示すように各列方向に列ごとに色G, Mg が生成される。

なお、仮想画素の補間処理は、LPF 処理を用いる方法だけでなく、各対象の画素の周囲の実在画素との相関関係を考慮して垂直・水平方向の補間処理を施すようにしてもよい。生成した高周波輝度データY_Hには水平方向と垂直方向の共通する帯域の一方をなくす重複防止処理を施してもよい。

次に色補間処理について説明する（図22を参照: サブルーチンSUB5）。色補間処理は図３に示す色補間展開部42で行われる。色補間展開部42には、データ補正部30a から読み出した画素データ38、すなわち三原色データがR 補間展開部420, G補間展開部422,およびB 補間展開部424 にそれぞれ、供給されている。これらの供給される画素データを用いて色毎に実在画素および仮想画素の画素データの補間生成をフローチャートに従って説明する（図22を参照）。この場合、画素データG の補間処理をサブステップSS500 で最初に行う。このとき、図６に示すようにハニカム型G 正方格子RB完全市松のパターンを用いていることから、既存の画素データG を有する実在画素は、実線の八角形で表す。また、画素データG を持たない画素、すなわち仮想画素および既存の画素データを有していながら、色G と異なる色の画素は、破線の八角形で表す。ここでは、この画素データG を持たない画素も仮想画素と呼ぶ。補間処理には、４つずつ既存の画素データを用いる。

この関係を具体的に図20に示す。図20のパターンが示すように、一行の半分が色G の実在画素データとえば残りの半分のG₁₂, G₁₄, G₁₆, G₁₈, G₁₁₀, G₁₁₂が仮想画素, 色G をまったく含まない行が交互には, G₃₂, G₃₄, G₃₆ を補間する場合、補間処理は隣接する４つずつの画素データG₁₁, G₁₃, G₃₁, G₃₃や画素データG₁₃, G₁₅, G₃₃, G₃₅等を用いる。たとえば、補間対象である仮想画素の画素データG₂₁ の補間は、同一の列方向の２つの画素に対応する実在画素のデータを用いて
G₂₁ ＝(G₁₁+G₃₁)/2 ・・・(9)
から得られる。式(9) の計算式に画素データG₁₃, G₃₃を適用すると、仮想画素G₂₃ を補間することができる。また、仮想画素G₁₂ の補間は、同一の行方向の２つの画素に対応する実在画素のデータを用いて
G₁₂ ＝(G₁₁+G₁₃)/2 ・・・(10)
から得られる。式(10)の計算式に画素データG₃₁, G₃₃を適用すると、仮想画素G₃₂ を補間することができる。そして、４つずつの画素データG₁₁, G₁₃, G₃₁, G₃₃の中心に位置する画素データG₂₂ は、これら４つの位置の画素データを用いて
G₂₂＝(G₁₁+G₁₃+G₃₁+G₃₃)/4 ・・・(11)
から得られる。式(11)の計算式に周囲の画素データG₁₃, G₁₅, G₃₃, G₃₅を用いると、仮想画素G₂₄ を補間することができる。実在画素の４つ画素データG₁₃, G₁₅, G₃₃, G₃₅を一組のデータとみなして補間し、すでに画素データG₂₃ は算出されているので、残る画素データG₁₄, G₃₄, G₂₅ を上述した演算により算出すればよい。この実在画素を用いた補間処理を繰り返し行うことにより、画素データG のプレーン画像を作成する。ただし、プレーン画像の最外縁は、このような関係にならないので、厳密に補間を行う場合、境界値として設定しておくとよい。また、有効画面を考慮すると、この周辺部のデータは有効画面の範囲外にあるので算出しなくても構わない。

次に画素データR の算出を行う（サブステップSS502 ）。画素データR における実在画素のデータは、図６に示すように１ラインおきにR₀₀, R₀₄, R₀₈, R₀₁₂, R₂₂, R₂₆, R₂₁₀, R₄₀, R₄₄, R₄₆,・・・しかない。この場合、補間対象の仮想画素に対して斜めに隣接している画素データを用いる。たとえば、仮想画素R₁₁ の画素データは、画素R₀₀, R₂₂の画素データを用いて、
R₁₁ ＝(R₀₀+R₂₂)/2 ・・・(12)
によって算出される。同様に、仮想画素R₃₁, R₃₃ は、式(12)と同じ関係にそれぞれ画素データR₄₀, R₂₂および画素データR₄₄, R₂₂を適用して算出する。既存の画素データR₂₆ も考慮して算出すると、隣接斜め補間処理により仮想画素R₁₅, R₃₅も作成することができる。

次に一つ前の処理で算出された画素によって囲まれた画素を補間対象の画素とし、補間に際して算出されたこれら４つの画素データを用いて補間処理を行う（サブステップSS504 ）。たとえば、算出対象とする仮想画素R₂₄ を中心に図６から判るように、その周囲の画素データR₁₃, R₁₅, R₃₃, R₃₅の位置のデータを用いて、
R₂₄ ＝(R₁₃+R₁₅+R₃₃+R₃₅)/4 ・・・(13)
によって算出される。式(13)と同等の関係が周辺の画素から得られるとき、補間を施すことによって、画素データR₀₂, R₂₀, R₄₂ が得られる。換言すると、補間対象の画素にから見れば、補間に使用する画素データはすべて斜めに位置している。

次にこれまでに得られた画素データを用いるとともに、これらの画素の内、補間対象の画素に対して上下左右に位置する画素データから補間を行う（サブステップSS506 ）。たとえば、画素データR₁₂ を中心に上下左右の４つの画素データを用いて
R₁₂ ＝(R₀₂+R₁₁+R₁₃+R₂₂)/4 ・・・(14)
によって算出される。同様の位置関係にある画素データR₁₄, R₃₂, R₁₄, R₃₄等は、式(14)に対応する周辺の画素データR を代入すると算出できる。

なお、周辺部には未補間の仮想画素が残ってしまうので、この仮想画素に対して周囲を囲む、たとえば３つの画素から補間するようにしてもよい。この補間の場合も前述した補間の手法を用いると、仮想画素の画素データR₀₁ は、
R₀₁ ＝(R₀₀+R₀₂+R₁₁)/3 ・・・(15)
によって算出される。このようにしてこの他、画素データR₀₃, R₀₅, R₁₀, R₃₀, R₄₁, R₄₃, R₄₅ が補間される。最終的に画素データR に関するプレーン画面全体が補間される。

次に画素データB に対する補間処理が行われる（サブステップSS508, SS510, SS512 で行われる。これらの処理は、それぞれ、画素データB における隣接斜め補間処理、４つの補間データによる中央補間処理および上下左右の４画素による中央補間処理である。これらの補間処理は、前述した画素データR の補間処理（すなわち、サブステップSS502, SS504, SS506 ）に準拠している。これは、画素データR と画素データB の画素配置の関係から明らかである。すなわち、画素データB の画素配置は、各色の添字に表される行列表示から、画素データR を水平（すなわち、行）方向に２列ずつ全体にシフトした配置になっている。このことから、これまで挙げた算出式を適用して仮想画素を補間する場合、行列表示で列の数字が２以上の右側で各画素データの添字の列の数字に+2だけ加算した関係で算出を行うとよい。この関係に注意して補間処理を行うと、画素データB に関するプレーン補間展開を行うことができる。この処理の後、プレーン補間の終了かどうかの判定に進む。

プレーン補間展開が各色毎にすべて終了したかどうかの判定を行う（サブステップSS514 ）。一連の処理がまだ終了していないとき（NO）、サブステップSS500に戻って処理を繰り返す。なお、各色毎にこの確認処理を行ってもよい。また、一連の処理が終了したとき（YES ）、リターンに移行する。この移行後、サブルーチンSUB5の処理を終了する。

次に広帯域化処理を説明する（図23を参照）。供給される高周波輝度データY_H (44)にハイパスフィルタ（HPF ）処理を施す（サブステップSS200 ）。すなわち、所定の高周波帯域より高い周波数を通過させる処理を高周波輝度データY_H (44) に施す。この処理により高周波輝度データの高周波成分が信号として抽出される。この高周波成分をY_hとする。高周波成分Y_hは図４の加算部54に出力される。加算器540, 542, 544の一端側540a, 542a, 544aには、それぞれプレーンな画素データR (46), G (48), B (50)が供給され、他端側540b, 542b, 544bには供給される画素データに対応する高周波成分の信号Y_hが供給される。

加算部54では、供給される高周波成分Y_hと画素データR, G, B とを各画素ごとに加算が施される（サブステップSS202 ）。一般的に、各画素の位置（i, j）として、行列表示し、三原色RGB の各画素データが広帯域化する。この広帯域化を添字H で表す。このとき、広帯域化した画素データR_Hij, G_Hij, B_Hijは、
R_Hij＝R_ij ＋Y_hij ・・・(16a)
G_Hij＝G_ij ＋Y_hij ・・・(16b)
B_Hij＝B_ij ＋Y_hij ・・・(16c)
となる。ここで算出された画素データR_Hij, G_Hij, B_Hijが色差マトリクス部56に供給される。

次に供給された画素データR_Hij, G_Hij, B_Hijを用いて各実在画素および仮想画素のそれぞれの位置に対して色差マトリクス演算処理をすることにより広帯域化した輝度データY 、色差データC_r, C_bを生成する（サブステップSS204 ）。

次に得られた輝度データY 、色差データC_r, C_bに対して歪み防止処理を施す（サブステップSS206 ）。広帯域化して延ばした輝度データY 、色差データC_r, C_bそれぞれの周波数帯域を通すとともに、これら３つのデータに折返し歪みが生じないようにローパスフィルタ処理を施す。また、歪み防止処理としては、水平および垂直方向の周波数帯域の重複している領域に対して一方の方向の重複する周波数帯域を制限している。これにより、周波数の重複に伴って生じる画質劣化を回避している。

次に歪み防止処理を受けた輝度データY に対してアパーチャ調整を施す（サブステップSS208 ）。アパーチャ調整は、輪郭強調処理に相当する処理である。そして、歪み防止処理を受けた色差データC_r, C_bに対してゲイン調整を施す（サブステップSS210 ）。このように処理して１フレーム分の処理が終了したかどうか判定を行う（サブステップSS212 ）。１フレーム分の処理が終了していない場合（NO）、最初（サブステップSS200 ）に戻って一連の処理を繰り返す。また、１フレーム分の処理が終了している場合（YES ）、リターンに進んでこのサブルーチンSUB2を終了し、リターンを介してメインルーチンに移行する。

このように動作させ、相関処理の精度を高めることができることから、たとえば黄色の細線が白に挟まれるような状況を含む被写体を撮像しても撮像した画像の黄色の細線部分に段差が現れ、画質を低下させてしまうようなことを避けることができ、高画質な画像を得ることができる。

このような段差を有する細線が得られる状況は、上述した被写界を撮像した場合だけに限られるものではない。たとえば明るい領域に挟まれた暗い領域の細線間隔が大きい場合や細線間隔が小さい場合でも段差が生じる。暗い領域の細線に生じる段差のうち、前者の場合についてサブルーチンSUB8のサブステップSS816 までの処理で得られるフラグを図24に示す。

図24では信号レベルの大きい画素データを大文字で表し、信号レベルの小さい画素データを小文字で表している。明るい領域の三原色RGB は大きく、色G に挟まれた画素R, B の画素データは周辺４画素平均から算出される。明暗の境界の画素R, Bの画素データは水平相関があることを示している。さらに、色g に挟まれた暗い領域内の画素r, bは、４画素平均から算出されている。これらの高周波輝度データY_H(r+), Y_H(b+)は、それぞれ
Y_H(r+)＝r/2 ＋(B+b+B+b)/8 ＝r/2 ＋(B+b)/4 ・・・(17a)
Y_H(b+)＝b/2 ＋(R+r+R+r)/8 ＝b/2 ＋(R+r)/4 ・・・(17b)
により得られる。長手方向の輝度データのレベル差とは高周波輝度データY_H(R+), Y_H(b+)のレベル差をΔY_Hとすると、
ΔY_H＝Y_H(r+)−Y_H(b+)＝（r−R＋B−b)/4 ・・・(18)
が得られる。

この現状を踏まえてサブステップSS818 〜SS824 の処理を施すと、色G や色g に挟まれている周辺４画素平均を行うことを示していたフラグ（+)が水平方向に相関があると判定され、これによりフラグ（h)になる（図25の太線の枠を参照）。このフラグ（h)に基づく画素データを用いて高周波輝度データY_Hを算出すると、式(18) のレベル差はゼロになっている。画素R, B, r, bに対するフラグの関係も同一になっていることから、この場合フラグパターンの比較補正は行わなくてもよい。

また、後者の細線間隔が狭い場合、明るい領域に挟まれた暗い領域の画素r, bはフラグ（+)が示すように４画素平均と判定されている（図26を参照）。このとき、高周波輝度データY_H(r+), Y_H(b+)は、それぞれ式(17a), (17b)で得られる。したがって、レベル差ΔY_Hは式(18)となる。このレベル差を解消するように前述したサブステップSS818 〜824 の処理を施す。しかしながら、この場合暗い領域の画素r, bのフラグには相関精度の向上を目指して処理しても図26と同じ状況で何等改善されない（図27を参照）。

この状況を踏まえて、適応処理後フラグパターンの比較補正を行う（サブステップSS36）。対象の画素に対して上下のラインに位置する画素データB, Rを比較すると、上下のラインに位置する画素データB, Rの画素データはフラグ（h)になっていることから対象の画素のフラグを水平方向（h)に補正する。この補正に対応して高周波輝度データY_Hを生成すると、太線の枠で囲まれた画素位置の高周波輝度データY_Hにレベル差を生じさせない（図28を参照）。

このような明暗領域が特定の幅で長手方向にある被写体において発生していたレベル差を解消して高周波輝度データY_Hを生成することにより出力画像を高画質にすることができる。

ところで、前述した輝度補間処理では、混在した色G, Mg を水平・垂直方向にLPF 補間を施して全面の高周波輝度データY_Hを生成したが、色G, Mg のそれぞれに着目して補間してもよい。色G に着目すると、図29に示すパターンが得られ、色Mgに着目すると、図30に示すパターンが得られる。各パターンを補間すると、図31および図32のプレーンな画素データG, Mg が得られる。さらに、輝度補間処理ではたとえば、プレーンな画素データG, Mg を対応する画素ごとに加算処理して得られるデータを高周波輝度データY_Hとして用いるようにしてもよい。

以上のように構成することにより、たとえば有彩色・無彩色の長手方向に長いライン状の被写体に対して対象の画素と同色の画素を幅広い領域にわたって相関検出を行うことにより、長手方向の輝度レベル差の発生を防ぎ、さらにどのような相関かを示すフラグのパターンを考慮して補正することにより相関精度を向上させることから、解像度チャートのくさび型形状と十字に交差する偽信号や直線のラインの切断等の現象の発生を抑えることができる。これにより、このような被写体を撮影した際に生じた現象を従来よりも大幅に改善することができる。

10 ディジタルカメラ
12 光学レンズ系
14 操作部
16 システムバス
18 システム制御部
26 撮像部
30 信号処理部
30a データ補正部
30b 補間処理部
30c 広帯域化処理部
32 圧縮／伸長処理部

Claims

被写界からの入射光を三原色に分解し、得られた三原色の入射光を光電変換する複数の撮像素子が隣接する撮像素子の幾何学的な中心に対して行および／または列方向に半ピッチずらして配設され、該撮像素子を実在画素とし、該撮像素子から得られる撮像信号のそれぞれをディジタルの画素データにして、該画素データを用いて画素間に新たな画素を仮想画素として生成する補間処理を施し、輝度および色差データを生成する画像信号処理方法において、該方法は、
前記画素データを２次元に表示した際に、前記画素データの緑色が正方格子状に得られ、前記緑色を挟む一方の対角位置の実在画素からの赤色の画素データと、他方の対角位置の実在画素からの青色の画素データとをそれぞれ得る第１の工程と、
前記赤色および前記青色の実在画素のいずれか一方を対象の画素とした際に、該対象の画素に対する相関判別の領域の頂点を、少なくとも該対象の画素と同色の画素で表わす領域にまで広げて相関判別することにより相関精度を向上させて判定しながら、該相関方向に位置する該対象の画素と異色の周囲の他方の複数の画素データを用いて緑色の補色の画素データを、輝度データとして生成する第２の工程と、
該補色の画素データと前記緑色の画素データを用いて水平および／または垂直方向に位置する同一色の画素データから前記仮想画素における輝度データを補間生成し、得られた実在画素および仮想画素それぞれの色属性を基に該実在画素および仮想画素すべてに対して得られた色属性と異なる前記赤色、青色および緑色すべてを補間生成する第３の工程と、
補間生成した輝度データが有する所定の高周波帯域より高い周波数を通過させて得た高周波成分の信号を各画素の三原色の画素データそれぞれに加算して、各色の画素データの広帯域化処理を行う第４の工程とを含むことを特徴とする画像信号処理方法。
請求項１に記載の方法において、第２の工程は、前記対象の画素と同色で水平および垂直方向に位置する画素データを用いて水平／垂直方向の相関判別を行う第５の工程とを含むことを特徴とする画像信号処理方法。
請求項２に記載の方法において、第５の工程は、前記相関判別を行う前に、前記対象の画素データの左水平方向に位置する前記対象の画素と同色の画素データと前記対象の画素データとの差分絶対値を第１水平差分絶対値とし、前記対象の画素データと前記対象の画素データの右水平方向に位置する前記対象の画素と同色の画素データとの差分絶対値を第２水平差分絶対値とし、前記第１および第２水平差分絶対値の加算値を水平比較データとし、前記対象の画素データの上垂直方向に位置する前記対象の画素データと同色の画素データと前記対象の画素データとの差分絶対値を第１垂直差分絶対値とし、前記対象の画素データと前記対象の画素データの下垂直方向に位置する前記対象の画素と同色の画素データとの差分絶対値を第２垂直差分絶対値とし、前記第１および第２垂直差分絶対値の加算値を垂直比較データとしてそれぞれあらかじめ算出し、前記水平比較データから前記垂直比較データを減算した結果が所定の値以上の大きさのとき、垂直相関があると判定する第１の判定工程と、
前記垂直比較データから前記水平比較データを減算した結果が所定の値以上の大きさのとき、水平相関があると判定する第２の判定工程と、
第１および第２の判定のいずれとも異なるとき無相関と判定する第３の判定工程とを含むことを特徴とする画像信号処理方法。
請求項３に記載の方法において、該方法は、第１または第２の判定工程の結果、前記相関判別で相関が有る場合、前記対象の画素データを挟んで該対象の画素データと異色で、かつ前記相関方向の近傍に位置する一対の画素データの加算平均と前記対象の画素の画素データとにそれぞれ半分の重み係数を乗算した和をとる第６の工程と、
前記相関判別で無相関の場合、前記対象の画素データと前記対象の画素データ対して周辺に位置する異色の画素データの加算平均とにそれぞれ半分の重み係数を乗算した和をとる第７の工程とを含むことを特徴とする画像信号処理方法。
請求項３に記載の方法において、第２の工程は、前記実在画素に対する相関判別を行った後に、前記対象の画素に対して該対象の画素と異なる周囲の赤色および青色の一方の画素データのうち、前記対象の画素を挟む上下の画素データまたは左右の画素データがいずれの方向に相関があるかフラグを用いて比較する第８の工程と、
前記領域を広げて相関判別した結果、比較した画素データがすべて同方向に相関している場合、該対象の画素の相関も周囲の画素と同じ方向に相関があると判定して補正し、該補正した結果に応じて前記対象の画素データと前記対象の画素データを挟んで該対象の画素データと異色で、かつ前記相関方向の近傍に位置する一対の画素データの加算平均と前記対象の画素の画素データとにそれぞれ半分の重み係数を乗算した和をとって輝度データを生成する第９の工程と、
前記領域を広げて相関判別した結果、前記判定した画素データの一つでも異なる方向の相関が得られた場合、前記対象の画素に対して割り当てられた相関をそのまま輝度データの生成に用いて輝度データを生成する第10の工程とを含むことを特徴とする画像信号処理方法。
請求項５に記載の方法において、第９の工程は、前記対象の画素に対する前記周辺の画素の相関において、相関判別する領域それぞれで得られた比較補正の対象のフラグを周辺画素のフラグに訂正して、周囲の相関方向と同方向に相関があると判定し、該判断結果に応じて前記対象の画素データと前記対象の画素データを挟んで該対象の画素データと異色で、かつ前記相関方向の近傍に位置する一対の画素データの加算平均と前記対象の画素の画素データとにそれぞれ半分の重み係数を乗算した和をとって輝度データを生成することを特徴とする画像信号処理方法。
請求項１ないし６のいずれか一項に記載の方法において、第３の工程は、前記仮想画素にあらかじめ所定のデータを挿入後、垂直方向および／または水平方向にローパスフィルタ処理を施すことを特徴とする画像信号処理方法。
被写界からの入射光を三原色に分解し、得られた三原色の入射光を光電変換する複数の撮像素子が隣接する撮像素子の幾何学的な中心に対して行および／または列方向に半ピッチずらして配設され、該撮像素子を実在画素とし、該撮像素子から得られる撮像信号のそれぞれをディジタルの画素データにして、該画素データを用いて画素間に新たな画素を仮想画素として生成する補間処理を施し、輝度および色差データを生成する画像信号処理方法において、該方法は、
前記画素データを２次元に表示した際に、前記画素データの緑色が正方格子状に得られ、前記緑色を挟む一方の対角位置の実在画素からの赤色の画素データと、他方の対角位置の実在画素からの青色の画素データとをそれぞれ得る第１の工程と、
読み出した緑色の画素データを用いて前記仮想画素も補間処理しながら、輝度データとして緑色の画面を作成する第２の工程と、
読み出した画素データのうち、前記赤色および前記青色の実在画素のいずれか一方を対象の画素とした際に、該対象の画素に対する相関判別の領域の頂点を、少なくとも該対象の画素と同色の画素で表わす領域にまで広げて相関判別することにより相関精度を向上させて判定しながら、該相関方向に位置する該対象の画素と異色の周囲の他方の複数の画素データを用いて緑色の補色の画素データを生成するとともに、該補色の画素データを用いて前記仮想画素も補間処理し、該補色の画面を作成して、輝度データを生成する第３の工程と、
得られた緑色の画面と前記補色の画面とを加算して、実在および仮想画素すべてに対する輝度データを生成し、さらに、得られた実在画素および仮想画素それぞれの色属性を基に該実在画素および仮想画素すべてに対して得られた色属性と異なる前記赤色、青色および緑色すべてを補間生成する第４の工程と、
補間生成した輝度データが有する所定の高周波帯域より高い周波数を通過させて得た高周波成分の信号を各画素の三原色の画素データそれぞれに加算して、各色の画素データを広帯域化する第５の工程とを含むことを特徴とする画像信号処理方法。
請求項８に記載の方法において、第３の工程は、前記対象の画素と同色で水平および垂直方向に位置する画素データを用いて水平／垂直方向の相関判別を行う第６の工程とを含むことを特徴とする画像信号処理方法。
請求項９に記載の方法において、第６の工程は、前記相関判別を行う前に、前記対象の画素データの左水平方向に位置する前記対象の画素と同色の画素データと前記対象の画素データとの差分絶対値を第１水平差分絶対値とし、前記対象の画素データと前記対象の画素データの右水平方向に位置する前記対象の画素と同色の画素データとの差分絶対値を第２水平差分絶対値とし、前記第１および第２水平差分絶対値の加算値を水平比較データとし、前記対象の画素データの上垂直方向に位置する前記対象の画素データと同色の画素データと前記対象の画素データとの差分絶対値を第１垂直差分絶対値とし、前記対象の画素データと前記対象の画素データの下垂直方向に位置する前記対象の画素と同色の画素データとの差分絶対値を第２垂直差分絶対値とし、前記第１および第２垂直差分絶対値の加算値を垂直比較データとしてそれぞれあらかじめ算出し、前記水平比較データから前記垂直比較データを減算した結果が所定の値以上の大きさのとき、垂直相関があると判定する第１の判定工程と、
前記垂直比較データから前記水平比較データを減算した結果が所定の値以上の大きさのとき、水平相関があると判定する第２の判定工程と、
第１および第２の判定のいずれとも異なるとき無相関と判定する第３の判定工程とを含むことを特徴とする画像信号処理方法。
請求項10に記載の方法において、第１または第２の判定工程の結果、前記相関判別で相関が有る場合、前記対象の画素データを挟んで該対象の画素データと異色で、かつ前記相関方向の近傍に位置する一対の画素データの加算平均と前記対象の画素の画素データとにそれぞれ半分の重み係数を乗算した和をとる第７の工程と、
前記相関判別で無相関の場合、前記対象の画素データと前記対象の画素データ対して周辺に位置する異色の画素データの加算平均とにそれぞれ半分の重み係数を乗算した和をとる第８の工程とを含むことを特徴とする画像信号処理方法。
請求項10に記載の方法において、第３の工程は、前記実在画素に対する相関判別を行った後に、前記対象の画素に対して該対象の画素と異なる周囲の赤色および青色の一方の画素データのうち、前記対象の画素を挟む上下の画素データまたは左右の画素データがいずれの方向に相関があるかフラグを用いて比較する第９の工程と、
前記領域を広げて相関判別した結果、比較した画素データがすべて同方向に相関している場合、該対象の画素の相関も周囲の画素と同じ方向に相関があると判定して補正し、該補正した結果に応じて前記対象の画素データと前記対象の画素データを挟んで該対象の画素データと異色で、かつ前記相関方向の近傍に位置する一対の画素データの加算平均と前記対象の画素の画素データとにそれぞれ半分の重み係数を乗算した和をとって輝度データを生成する第10の工程と、
前記領域を広げて相関判別した結果、前記判定した画素データの一つでも異なる方向の相関が得られた場合、前記対象の画素に対して割り当てられた相関をそのまま輝度データの生成に用いて輝度データを生成する第11の工程とを含むことを特徴とする画像信号処理方法。
請求項12に記載の方法において、第11の工程は、前記対象の画素に対する前記周辺の画素の相関において、相関判別する領域それぞれで得られた比較補正の対象のフラグを周辺画素のフラグに訂正して、周囲の相関方向と同方向に相関があると判定し、該判断結果に応じて前記対象の画素データと前記対象の画素データを挟んで該対象の画素データと異色で、かつ前記相関方向の近傍に位置する一対の画素データの加算平均と前記対象の画素の画素データとにそれぞれ半分の重み係数を乗算した和をとって輝度データを生成することを特徴とする画像信号処理方法。
請求項８に記載の方法において、第２および第３の工程で行う前記仮想画素の補間処理は、それぞれの工程で前記仮想画素にあらかじめ所定のデータを挿入後、垂直方向および／または水平方向にローパスフィルタ処理または前記仮想画素の周辺に位置する画素データの相関判断に応じた前記緑色および前記緑色の補色の生成を行うことを特徴とする画像信号処理方法。