JP2005094120A

JP2005094120A - 画像処理装置

Info

Publication number: JP2005094120A
Application number: JP2003321422A
Authority: JP
Inventors: Ko Tajima; 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-09-12
Filing date: 2003-09-12
Publication date: 2005-04-07
Anticipated expiration: 2023-09-12
Also published as: JP4298446B2

Abstract

【課題】ナイキスト周波数近傍における相関の誤判定を防ぐ。
【解決手段】画像信号において補間すべき画素の水平方向及び垂直方向の相関の度合いをそれぞれ検出し、前記相関の度合いを示す相関値を得る相関検出手段と、前記相関検出手段により得られた水平方向の相関値と垂直方向の相関値とに基づいて相関係数を生成する相関係数生成手段と、前記相関係数生成手段により得られた係数に基づいて補間信号を生成する補間信号生成手段とを備え、前記相関係数生成手段は、前記補間すべき画素が水平または垂直方向のナイキスト周波数近傍の周波数成分を含む場合に前記相関係数の値を特定の値に設定する。
【選択図】図２

Description

本発明は画像処理装置に関し、特には、サブサンプルされた画像信号の補間処理に関する。

民生用のデジタルスチルカメラおよびデジタルビデオカメラでは、原色ベイヤー配列の撮像素子を用いた単板撮像方式のカメラシステムが主流となっている。

原色ベイヤー配列の撮像素子では、図１５に示すように、ＲＧＢの色フィルタが１画素単位で規則的に配置されており、その画素に配置されている色フィルタ以外の色情報を得るためには、近傍の画素を用いた補間処理が必要となる。この補間処理は、一般に同時化補間処理と呼ばれている。

ところで、原色ベイヤー配列の撮像素子を用いた単板カメラシステムでＧ信号の同時化補間処理を行う場合に、Ｇ信号は図１６のように、オフセットサンプリングとなり、垂直方向と水平方向の座標軸で定義される周波数平面では、図１７のような周波数スペクトルを持つ。

ここで、オフセットサンプリングされたＧ信号では、●で示されるサンプリング周波数の位置を中心に、エイリアシングが生じるため、再現可能な周波数領域は、○で示されるナイキスト周波数の位置を結んだ菱形の内部となる。

従って、垂直方向と水平方向の低域通過フィルタを縦続接続した一般的な同時化補間処理を行うと、この様な菱形の周波数領域に最適な補間ができないため、画質が劣化するという問題があった。

そこで、画像全体を単一の特性の補間フィルタで一様に補間することにより生じる画質への悪影響を改善するために、画素ごとに近傍画素との相関を検出し、相関に応じて最適な補間方式を切り替える適応同時化補間処理が特許文献１で提案されている。

特許文献１では、入力される画像信号から水平方向及び垂直方向の高周波成分をそれぞれ検出し、水平方向の高周波成分を多く含む場合には垂直方向に相関が強い縦縞の信号であると判定して縦縞の信号に好適な補間処理を行い、垂直方向の高周波成分を多く含む場合には水平方向に相関が強い横縞の信号であると判定して横縞の信号に好適な補間処理を行い、これら二通りの条件に当てはまらない場合は周辺画素の平均値で補間処理を行っている。
米国特許第５３８２９７６号

特許文献１の適応補間処理では、好適な補間処理を行う方向を判定するために、まず、２次ラプラシアンと勾配を組み合わせた演算により画像信号に含まれる垂直方向および水平方向の高周波成分の検出を行っている。この相関値の検出処理は、画像のサンプリング周波数ｆｓに対して１／４の周波数成分を含む信号が検波のピークとなり、それよりも高域および低域の信号は、ｆｓ／４を境に、左右対称に減衰するというバンドパス特性を持つ。

この相関値抽出処理を垂直方向および水平方向のナイキスト周波数近傍領域の信号に対して行った場合、この領域の信号は、垂直方向、水平方向のどちらか一方がナイキスト周波数に近い高域成分を含み、他方は直流成分に近い低域成分を含むので、理想的には水平方向、垂直方向の相関値は等しい値を出力するはずである。

しかし、実際には光学ＬＰＦやノイズの影響を受けて水平方向相関値および垂直方向相関値の値に差が生じ、かつ、画素ごとに両者の大小関係が変化するため、垂直方向相関値および水平方向相関値を用いた相関方向の判定に誤りが生じる場合がある。その結果、相関方向の判定結果に追従して補間結果が画素ごとに不自然に切り替わり、画質が劣化するという問題があった。

本発明は、この様な問題を解決し、垂直、水平方向のナイキスト周波数近傍の周波数成分を含む画素を補間する際に、相関方向判定の誤りによる補間結果の悪影響を低減させ、かつ、相関の方向を考慮した補間処理を、画像全体で違和感がないように行うことを目的とする。

この様な目的を達成するために、本発明においては、オフセットサンプリングされた画像信号を補間処理する装置であって、前記画像信号において補間すべき画素の水平方向及び垂直方向の相関の度合いをそれぞれ検出し、前記相関の度合いを示す相関値を得る相関検出手段と、前記相関検出手段により得られた水平方向の相関値と垂直方向の相関値とに基づいて相関係数を生成する相関係数生成手段と、前記相関係数生成手段により得られた係数に基づいて補間信号を生成する補間信号生成手段とを備え、前記相関係数生成手段は、前記補間すべき画素が水平または垂直方向のナイキスト周波数近傍の周波数成分を含む場合に前記相関係数の値を特定の値に設定する構成とした。

本発明によれば、補間画素がナイキスト周波数近傍の周波数成分を含む場合でも、相関の誤判定を防止し、画質劣化を低減することができる。

以下、本発明の実施形態について説明する。

図１は本発明を適用したビデオカメラの構成を示す図である。

図１において、撮像素子１０１は図２４に示した原色ベイヤー配列の色フィルタが配置された撮像素子であり、各画素の色フィルタに応じたＲＧＢの各画像信号を出力する。撮像素子１０１〜出力された画像信号はＡ／Ｄ１０２はによりデジタル信号に変換され、ホワイトバランス回路１０３によりホワイトバランス調整処理されて補間処理回路１０４に出力される。補間処理回路１０４は本発明の特徴的な構成であり、後述の様にＲＧＢのカラー値からＧ信号の同時化補間処理結果を出力する。補間処理回路１０４から出力された画像信号はエンコーダ１０５により周知の符号化処理を施され、記録回路１０６により記録媒体１０７に記録される。

次に、補間処理回路１０４について説明する。

図２は、補間処理回路１０４の構成を示すブロック図である。

図２において、ＷＢ１０３から入力された画像信号は、補間部１０４ａと相関判定部１０４ｂにおいて処理された後、それぞれの出力信号が合成部１０４ｃに入力され、最終的なＧ信号の同時化補間処理結果が出力される。

ここで、入力画像信号は、画素ごとに、配置される色フィルタに対応してＲＧＢいずれかのカラー値を有し、ＷＢ１０３で予めホワイトバランスが補正された画像信号である。

以下、図２の各部の動作について順次説明する。

まず、補間部１０４ａについて説明する。

補間部１０４ａでは、色分離処理手部２０１において、入力された画像信号から補間対象となるＧ信号の画素を抽出した後、並列に接続された垂直方向補間部２０２、水平方向補間部２０３及び、二次元補間部２０４に対して出力する。そして、これら三つの補間部おいて補間処理を行い、それぞれ補間データを出力する。

ここで、色分離処理部２０１では、例えば、Ｇのフィルタが配置された画素はそのまま画素値を出力し、ＲまたはＢのフィルタが配置された画素は画素値を０で置き換えて出力する。

また、図２では、補間部１０４ａが色分離処理部２０１を内包する構成となっているが、補間部１０４ａに色分離処理部を含まない構成であっても構わない。この場合は、例えば、外部にＲＧＢのいずれの信号も分離できる色分離処理部を持ち、この色分離処理部によって生成された色分離後のＧ信号を補間部１０４ａに入力する。

次に、垂直方向補間部２０２、水平方向補間部２０３、及び二次元補間部２０４について説明する。

垂直方向補間部２０２では、図３に示すような、垂直方向のナイキスト周波数で周波数振幅応答が０になる遮断特性の１次元低域通過フィルタを用い、垂直方向に隣接する複数画素の画像信号による補間処理を行う。

垂直方向補間部２０３では、図４に示すような、水平方向のナイキスト周波数で周波数振幅応答が０になる遮断特性の１次元低域通過フィルタを用い、水平方向に隣接する複数画素の画像信号による補間処理を行う。

また、二次元補間部２０４は、図５に示すように、垂直方向周波数Ｖ、または、水平方向周波数Ｈがナイキスト周波数Ｖｎｑ、Ｈｎｑであるときに、周波数振幅応答が０になる遮断特性を持つ２次元低域通過フィルタを用い、水平及び垂直方向に隣接する複数画素の画像信号による補間処理を行う。

次に、相関判定部１０４ｂの処理について説明する。

相関判定ユニット１０４ｂは、垂直方向相関値検出手段部２０５、水平方向相関値検出部２０６、相関算出切り替え部２０７、相関係数算出部２０８、２０９から構成され相関係数Ｋを生成する。

まず、並列に接続された垂直方向相関値検出部２０５と水平方向相関値検出部２０６は、入力された画像信号から垂直方向または水平方向における特定の周波数成分を抽出し、それぞれ、垂直方向相関値Ｖｄｉｆｆと水平方向相関値Ｈｄｉｆｆを出力する。

図６（ａ）、図６（ｂ）は、それぞれ、垂直方向相関値検出部２０５と水平方向相関値検出部２０６のブロック図であり、これらの回路では、図７に示すように着目画素Ｐ_０を中心とした垂直方向または水平方向の５画素および３画素を用いて処理を行う。

垂直方向相関値検出部２０５は、着目画素Ｐ_０を中心とした垂直方向の５画素［Ｐ_−２Ｖ，Ｐ_−１Ｖ，Ｐ_０，Ｐ_１Ｖ，Ｐ_２Ｖ］に対して［−１，０，２，０，−１］というフィルタ係数のバンドパスフィルタＶＢＰＦ６０１の処理を施した後、絶対値回路６０２により絶対値を取った信号と、着目画素Ｐ_０を中心とした垂直方向の３画素［Ｐ_−１Ｖ，Ｐ_０，Ｐ_１Ｖ］に対して、［１，０，−１］というフィルタ係数のバンドパスフィルタＶＢＰＦ６０３の処理を施した後、絶対値回路６０４を通して絶対値を取った信号を加算器６０５により加算して垂直方向相関値Ｖｄｉｆｆを出力する。

水平方向相関値検出部２０６では、着目画素Ｐ_０を中心とした水平方向の５画素［Ｐ_−２Ｖ，Ｐ_−１Ｖ，Ｐ_０，Ｐ_１Ｖ，Ｐ_２Ｖ］に対して［−１，０，２，０，−１］というフィルタ係数のバンドパスフィルタＨＢＰＦ６０６による処理を施した後、絶対値回路６０７を通して絶対値を取った信号と、着目画素Ｐ０を中心とした垂直方向の３画素［Ｐ_−１Ｖ，Ｐ_０，Ｐ_１Ｖ］に対して［１，０，−１］というフィルタ係数のバンドパスフィルタＨＢＰＦ６０８による処理を施した後、絶対値回路６０９を通して絶対値を取った信号を加算器６１０により加算して、水平方向相関値Ｈｄｉｆｆを出力する。

図８は、垂直方向相関値検出部２０５または水平方向相関値検出部２０６によって抽出される信号を二次元周波数平面に示した図である。

図８では、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分を示し、二次元周波数平面の第一象現のみ示してある。

図８において、８０１、８０２はそれぞれ、図６を用いて説明した垂直方向相関値検出部２０５及び水平方向相関値検出部２０６の周波数特性を示し、いずれも、画像のサンプリング周波数ｆｓに対して１／４となる周波数の信号が入力されたとき、出力であるＶｄｉｆｆまたはＨｄｉｆｆが最大となる。

ここで、Ｖｄｉｆｆの値が大きいということは、周波数領域において垂直方向の高周波成分を多く含むことを示し、画像として見たときには細かい横縞状のパターンが観測される。

また、Ｈｄｉｆｆの値が大きいということは、周波数領域において水平方向の高周波成分を多く含むことを示し、画像として見たときには細かい縦縞状のパターンが観測される。

また、前述のように、水平方向相関値検出部２０５及び垂直方向相関値検出部２０６では、それぞれ絶対値回路の出力を加算して、ＨｄｉｆｆおよびＶｄｉｆｆを生成しているので、ＨｄｉｆｆおよびＶｄｉｆｆの値は常に正の値をとる。

次に、相関算出切り替え部２０７は、この様に算出された垂直方向相関値Ｖｄｉｆｆと水平方向相関値Ｈｄｉｆｆとを用いて、図９に示したフローに従い、相関係数Ｋを算出するための制御信号ｆｇを生成する。

まず、垂直方向相関値Ｖｄｉｆｆと水平方向相関値Ｈｄｉｆｆの大きさが等しいか否かを判別し（Ｓ９０１）、等しい場合には相関係数ＫをＫ＝０としてスイッチ２１０ｃに出力する（Ｓ９０２）。

次に、ＨｄｉｆｆとＶｄｉｆｆとを比較し（Ｓ９０３）、ＨｄｉｆｆがＶｄｉｆｆよりも大きく、かつ、Ｈｄｉｆｆが所定の閾値Ｔｈ１よりも小さい場合（Ｓ９０４）、制御信号ｆｇを００に設定し、第一の相関係数算出部２０８に出力する（Ｓ９０５）。また、ＨｄｉｆｆがＶｄｉｆｆよりも大きく、かつ、Ｈｄｉｆｆが閾値Ｔｈ１以上のとき、ｆｇを０１に設定し、第二の相関係数算出部２０９に出力する（Ｓ９０６）。また、ＶｄｉｆｆがＨｄｉｆｆよりも大きく、かつ、Ｖｄｉｆｆが閾値Ｔｈ１よりも小さいとき（Ｓ９０７）、ｆｇを１０に設定して第一の相関係数算出部２０８に出力し（Ｓ９０８）、ＶｄｉｆｆがＨｄｉｆｆよりも大きく、かつ、Ｖｄｉｆｆが閾値Ｔｈ１以上のとき、ｆｇを１１に設定して第二の相関係数算出部２０９に出力する（Ｓ９０９）。

次に、これらの第一の相関係数算出部２０８と第二の相関係数算出部２０９は、相関算出切り替え部２０７から出力された制御信号ｆｇの値に従い、係数Ｋを生成する。

ここで、本形態では、相関方向の判定結果に揺らぎが生じやすい垂直方向または水平方向のナイキスト周波数近傍の周波数成分を含む信号に対して、相関係数Ｋの値を０に固定し、相関方向の誤判定を防ぐよう、第一の相関係数算出部２０８を設けた。

即ち、第一の相関係数算出部２０８は、ＨｄｉｆｆとＶｄｉｆｆの大きさに若干の差があり、かつ、両者の大小関係が、画素位置によって異なる、局所領域の信号に対して図１０のフローチャートに示す処理を行い、相関係数Ｋを生成する。

また、本形態において、相関係数Ｋは、ＨｄｉｆｆとＶｄｉｆｆを比較したとき、Ｈｄｉｆｆが大きいときに正の値をとり、Ｖｄｉｆｆが大きいときに負の値をとると定義するため、相関係数算出の処理も、制御信号ｆｇを用いて、相関係数Ｋが正の値となる場合と、負の値となる場合とで、場合わけして行う。

図１０において、相関算出切り替え部２０７から出力された制御信号ｆｇが００と１０のいずれであるかを判別し（Ｓ１００１）、００のとき、即ち、ＨｄｉｆｆがＶｄｉｆｆよりも大きいときには、ＨｄｉｆｆからＶｄｉｆｆを減算してＶＨｄｉｆｆを求める（Ｓ１００２）。そして、ＶＨｄｉｆｆの値が０より大きく、閾値Ｔｈ２より小さい場合（Ｓ１００３）、相関方向の誤判定を防ぐため、強制的に相関係数Ｋを０に設定する（Ｓ１００４）。また、Ｓ１００３でＶＨｄｉｆｆの値がＴｈ２以上の場合、更に、閾値Ｔｈ３（＞Ｔｈ２）よりもよりも小さいか否かを判別し（Ｓ１００５）、Ｔｈ３以上の場合には水平方向の相関が著しく高いとみなして、相関係数Ｋを１に固定する（Ｓ１００６）。また、ＶＨｄｉｆｆの値が閾値Ｔｈ２以上で、かつ、閾値Ｔｈ３より小さい場合には、ＨｄｉｆｆとＶｄｉｆｆの差分値に比例して、相関係数Ｋが０から１まで線形に変化するように、式（１）によって、相関係数Ｋを算出する（Ｓ１００７）。
Ｋ＝（ＶＨｄｉｆｆ−Ｔｈ２）／（Ｔｈ３−Ｔｈ２）・・・（１）
一方、制御信号ｆｇが１０のとき、即ち、ＶｄｉｆｆがＨｄｉｆｆよりも大きいときには、ＶｄｉｆｆからＨｄｉｆｆを減算して差分値ＶＨｄｉｆｆを求める（Ｓ１００８）そして、ＶＨｄｉｆｆの値が０より大きく、閾値Ｔｈ２より小さい場合（Ｓ１００９）、相関方向の誤判定を防ぐため、強制的に相関係数Ｋを０に設定する（Ｓ１０１０）。また、Ｓ１００９でＶＨｄｉｆｆの値がＴｈ２以上の場合、更に、閾値Ｔｈ３よりも小さいか否かを判別し（Ｓ１０１１）、Ｔｈ３以上の場合には垂直方向の相関が著しく高いとみなして、相関係数Ｋを１に固定する（Ｓ１０１２）。また、ＶＨｄｉｆｆの値が閾値Ｔｈ２以上で、かつ、閾値Ｔｈ３より小さい場合には、ＨｄｉｆｆとＶｄｉｆｆの差分値に比例して、相関係数Ｋが０から１まで線形に変化するように、式（２）によって、相関係数Ｋを算出する（Ｓ１０１３）。
Ｋ＝（ＶＨｄｉｆｆ−Ｔｈ２）／（Ｔｈ２−Ｔｈ３）・・・（２）
この様に生成された相関係数Ｋはスイッチ２１０に出力される。

この様に、ｆｇが００または１０となる場合、垂直方向または水平方向のナイキスト周波数近傍の周波数成分を含む信号だけでなく、直流成分に近い周波数成分を含む信号にも適用されるが、直流近傍の領域において、この方法で算出された相関係数を用いても、補間結果に悪影響はない。

一方、これ以外の領域については、相関係数は、その画素位置において着目画素と周辺画素との相関の方向を示し、この相関係数を用いることにより、後段の合成部１０４ｃにおいて相関の方向を考慮した補間結果の合成が可能となる。

ここで、図１１を用いて、“相関の方向”について説明する。

図１１において、横軸Ｈは水平方向の周波数成分を示し、縦軸Ｖは垂直方向の周波数成分を示す。この周波数平面上で、水平方向の周波数成分がＰｈ、垂直方向の周波数成分がＰｖである点Ｐの信号における相関の方向は、直流成分を示す原点Ｏと点Ｐとを結ぶ直線の傾きａで示される。水平方向を基準として角度θ傾いた直線の場合、その傾きａは
ａ＝ｔａｎθ＝Ｐｖ／Ｐｈ
となる。

従って、水平方向の周波数成分と垂直方向の周波数成分が抽出できれば、両者の比から相関の方向が求められる。

本形態における相関判定部１０４ｂでは、画像信号の時間領域から周波数領域への変換は行わず、水平方向相関値検出手段、および垂直方向相関値検出手段で行われる画素の値を用いた時間領域での演算結果から、画像に含まれる水平方向および垂直方向の周波数成分を推定している。

次に、図１２のフローチャートを用いて、第二の相関係数算出部２０９の処理を説明する。第二の相関係数算出部２０９においても、制御信号ｆｇを用いて、相関係数Ｋが正の値となる場合と負の値となる場合とで、相関係数算出の処理を場合わけする。

まず、ｆｇの値が０１あるいは１１のいずれであるかを判別し（Ｓ１２０１）、ｆｇが０１のとき、即ち、ＨｄｉｆｆがＶｄｉｆｆよりも大きいときには、ＶｄｉｆｆをＨｄｉｆｆで除してＶＨｒａｔｉｏを求める（Ｓ１２０２）そして、このＶＨｒａｔｉｏの値が閾値Ｔｈ４よりも大きく、かつ１より小さいか否かを判別し（Ｓ１２０３）、Ｔｈ４と１の間である場合、式（３）で示される演算を行って相関係数Ｋを算出し（Ｓ１２０４）、それ以外の場合には相関係数Ｋを１とする（Ｓ１２０５）。
Ｋ＝（１−Ｖｄｉｆｆ／Ｈｄｉｆｆ）／（１−Ｔｈ１）・・・（３）
また、ｆｇが１１である場合、即ち、ＶｄｉｆｆがＨｄｉｆｆよりも大きいときには、ＨｄｉｆｆをＶｄｉｆｆで除してＶＨｒａｔｉｏを求める（Ｓ１２０６）。そして、このＶＨｒａｔｉｏの値が閾値Ｔｈ４よりも大きく、かつ１より小さいか否かを判別し（Ｓ１２０７）、Ｔｈ４と１の間である場合、式（４）で示される演算を行って相関係数Ｋを算出し（Ｓ１２０８）、それ以外の場合には相関係数Ｋを１とする（Ｓ１２０９）。
Ｋ＝（Ｈｄｉｆｆ／Ｖｄｉｆｆ−１）／（１−Ｔｈ４）・・・（４）
この様に、−１から１までの値をもつ相関係数Ｋをスイッチ２１０に出力する。

相関算出切り替え部２０７は、制御信号ｆｇの値によってスイッチ２１０を切り替えて相関係数Ｋを出力する。即ち、ｆｇが００または１０の場合、第一の相関係数算出部２０８の出力を選択し、ｆｇが１０または１１の場合、第二の相関係数算出部２０９の出力を選択するようスイッチ２１０を制御する。また、図９のＳ９０１で垂直方向の相関値と水平方向の相関値とが等しく、Ｋの値を０とした場合には、相関算出切り替え部２０７自身の出力を選択するよう制御する。

また、閾値Ｔｈ１は、例えばＴｈ１＝ｔａｎθ（０°≦θ＜４５°）を用いて算出され、θによって決まる定数である。Ｔｈ１の値を大きくすると、垂直方向および水平方向の解像感が優先し、Ｔｈ１の値を小さくすると、斜め方向の解像感を優先するよう、後段の合成部１０４ｃでの処理を制御することできる。従って、垂直方向、水平方向、斜め方向の解像感のバランスを考慮して、閾値Ｔｈ１の値を調整することにより、どの方向に相関がある画素に対しても良好な補間処理を行うことが可能となる。

図１３は、図１４に示すＣＺＰチャートを入力画像としたとき、各画素が持つ周波数成分と、相関判定ユニット２から出力される相関係数Ｋとの関係示す模式図である。この図において、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分であることを示す。また、ＣＺＰチャートの対象性を考慮して、周波数平面の第一象現のみ示している。

図１３において、白色の領域（ａ）では相関係数Ｋ＝１、黒色の領域（ｂ）では相関係数Ｋ＝−１が一律に設定される。

水平方向の相関値または垂直方向の相関値が著しく高いときには、合成部１０４ｃにおいて水平方向の補間処理、または、垂直方向の補間処理を確実に適用することができ、垂直方向及び水平方向の解像感が向上する。

また、垂直方向ナイキスト周波数Ｖｎｑ、水平方向ナイキスト周波数Ｈｎｑ、及び、直流成分の近傍のＸ型の領域（ｃ）と、ＶｎｑとＨｎｑを結ぶ直線Ｌ１３５上、及び、Ｌ１３５に直交する直線Ｌ４５上では、相関係数Ｋ＝０が一律に設定される。

ここで、垂直、水平方向のナイキスト周波数近傍のＸ型の領域は、画素位置ごとに信号に含まれる垂直、水平方向の相関値が変動した場合に、その変動を検知して相関の方向を逐一切り替えることがないように設けられた不感帯であり、この領域では二次元低域通過フィルタによって垂直、水平のいずれの方向の高周波成分も落とすように補間処理が行われる。

また、不感帯（ｃ）に対して、垂直方向および水平方向に近接する白色の領域（ａ）、黒色の領域（ｂ）では、前述のように、それぞれ水平方向の補間処理、または、垂直方向の補間処理が適用されるが、介在する領域（ｄ）及び領域（ｅ）において、それぞれ相関係数Ｋが０から１、相関係数が０から−１に線形に変化するので、不感帯（ｃ）との補間処理の切り替わりは不連続にならない。

また、垂直方向の周波数ｆｓ／４と水平方向の周波数ｆｓ／４との交点の近傍の領域（ｆ）では、ｆｇが０１又は１１のときに生成された相関の方向を示す相関係数Ｋが、斜め線Ｌ４５、Ｌ１３５上から白色の領域まで、Ｋ＝０からＫ＝１までの値を持ち、矢印で示す方向に沿って分布する。

同様に、交点近傍の領域（ｇ）では、斜め線Ｌ４５、Ｌ１３５上から黒色の領域まで、Ｋ＝０からＫ＝−１までの値を持ち、矢印で示す方向に沿って分布する。

従って、合成部１０４ｃにおいて、斜め方向の補間処理と水平方向または垂直方向の補間処理の出力結果がなだらかに切り替わり、画質に違和感が生じない。

最後に、補間値合成ユニット３での信号処理について説明する。

合成部１０４ｃでは、相関判定部１０４ｂから出力される相関係数Ｋに基づいて、補間部１０４ａから出力される３種類の補間値のうち２種類を選択し、相関係数Ｋを混合比としてそれら二つの補間値を加重平均して、最終的なＧ信号の同時化補間処理結果を出力する。

また、本形態では、制御信号ｆｇが００または１０の場合に生成された相関係数と、ｆｇが０１または１１の場合に生成された相関係数を区別せず、−１から１までの値をもつ１変数として扱うことで、相関係数の切り替わりを意識せずに補間値合成処理を行うことができる。また、補間部１０４ａにおいて、補間部２０２から２０４で用いられる補間フィルタの特性を調整することにより、二通りの方法で算出された相関係数を同一とみなして補間値の合成を行っても、最終的な画質には問題はない。

補間値合成の具体的な手順は以下のような手順になる。

まず、最上位ビットにより、相関係数Ｋの符号Ｋｓを判別する。

相関係数Ｋが正の値である場合、即ちＫｓ＝０のとき、垂直方向補間部２０２の出力信号と二次元補間部２０４の出力信号とを相関係数Ｋの絶対値Ｋａを用いて式（５）に示すように加重平均し、最終的なＧ信号の同時化補間処理結果として出力する。
合成補間値２０＝補間値１０＊Ｋａ＋補間値１２＊（１−Ｋａ）・・・（５）
従って、相関係数ＫがＫ＝１のとき、即ち、垂直方向相関値Ｖｄｉｆｆが水平方向相関値Ｈｄｉｆｆよりも著しく大きいときには、垂直方向の補間部２０２の出力のみが最終的なＧ信号の同時化補間処理結果として出力される。

一方、相関係数Ｋが負の値である場合、即ちＫｓ＝１のとき、水平方向補間部２０３の出力信号と二次元補間部２０４の出力信号とを相関係数の絶対値Ｋａを用いて式（６）に示すように加重平均し、最終的なＧ信号の同時化補間処理結果として出力する。
合成補間値２１＝補間値１１＊Ｋａ＋補間値１２＊（１−Ｋａ）・・・（６）
従って、相関係数ＫがＫ＝−１のとき、即ち、水平方向相関値Ｈｄｉｆｆが垂直方向相関値Ｖｄｉｆｆよりも著しく大きいときには、水平方向の補間部２０３の出力のみが最終的なＧ信号の同時化補間処理結果として出力される。

また、式（５）、（６）では、Ｋａが０に近いほど、合成補間値に占める二次元補間部２０４の出力の割合が大きくなる。ここで、Ｋａが０に近い値をとるということは、垂直方向相関値Ｖｄｉｆｆと水平方向相関値Ｈｄｉｆｆの値が等しい斜め方向の相関が高い領域であるか、または、垂直方向、水平方向のナイキスト周波数の近傍の不感帯であることを示すので、二次元補間部２０４では斜め方向に相関が高い信号と不感帯に対して、ともに好適な補間処理を行う必要がある。

例えば図５で示すような周波数特性を持つ二次元低域通過フィルタによって補間処理を行うことが望ましい。この二次元低域通過フィルタは、水平方向のナイキスト周波数Ｈｎｑおよび垂直方向のナイキスト周波数Ｖｎｑを結んでできる四辺形の内部の領域の信号をなるべく減衰させずに、この四辺形の外部の領域の信号を遮断する特徴をもつため、斜め方向の解像感を良好に保ち、かつ、垂直方向、水平方向のナイキスト周波数近傍の不感帯において、出力信号を抑圧することができる。

また、例えば、相関の方向が斜め方向から水平方向に変化する時には、斜め方向に相関の高い画素に好適な補間処理によって生成された補間値をベースとし、相関方向の変化に応じて、水平方向に好適な補間処理によって生成された補間値の割合が増加するように、重み付け加算の係数を変化させながら、２種類の補間処理手段の結果を重み付加算することができる。従って、斜め方向に好適な補間処理と水平方向に好適な補間処理の出力結果がなだらかに切り替わり、画質に違和感が生じない。

これは、相関の方向が斜め方向から垂直方向に切り替わる場合も同様である。

本発明が適用される撮像装置の構成を示す図である。補間処理回路の構成を示す図である。垂直方向補間部で用いられる補間フィルタの特性を示す図である。水平方向補間部で用いられる補間フィルタの特性を示す図である。二次元方向補間部で用いられる補間フィルタの特性を示す図である。垂直方向相関値検出部及び水平方向相関値検出部の構成を示す図である。垂直値の算出に用いる画素の様子を示す図である。垂直方向相関値検出部及び水平方向相関値検出部によって抽出される信号を示す図である。相関係数算切り替え部の処理を示すフローチャートである。第一の相関係数算出部の処理を示すフローチャートである。相関の方向を説明する図である。第二の相関係数算出部の処理を示すフローチャートである。ＣＺＰチャートを入力画像としたときの相関係数Ｋと各画素が持つ周波数成分との対応を示す図である。ＣＺＰチャートを示す図である。原色ベイヤー配列の撮像素子のフィルタ配置を示す図である。オフセットサンプリングされたＧ信号を示す図である。オフセットサンプリングされたＧ信号のスペクトル分布を示す図である。

Claims

オフセットサンプリングされた画像信号を補間処理する装置であって、
前記画像信号において補間すべき画素の水平方向及び垂直方向の相関の度合いをそれぞれ検出し、前記相関の度合いを示す相関値を得る相関検出手段と、
前記相関検出手段により得られた水平方向の相関値と垂直方向の相関値とに基づいて相関係数を生成する相関係数生成手段と、
前記相関係数生成手段により得られた係数に基づいて補間信号を生成する補間信号生成手段とを備え、
前記相関係数生成手段は、前記補間すべき画素が水平または垂直方向のナイキスト周波数近傍の周波数成分を含む場合に前記相関係数の値を特定の値に設定することを特徴とする画像処理装置。
前記相関係数生成手段は、前記補間すべき画素がナイキスト周波数近傍の周波数成分を含まない場合は、前記水平方向の相関値と垂直方向の相関値と用いて演算を行い、前記相関係数を算出することを特徴とする請求項１記載の画像処理装置。
前記相関係数生成手段は、前記垂直方向の相関値と水平方向の相関値のうちの大きい方の値に基づき、前記補間すべき画素がナイキスト周波数近傍の周波数成分を含むか否かを判別することを特徴とする請求項１記載の画像処理装置。
前記相関係数生成手段は、前記補間すべき画素が前記ナイキスト周波数成分を含まない場合、前記水平方向及び垂直方向の相関値に基づいて前記補間すべき画素の相関が高い任意の方向に応じた相関係数を生成することを特徴とする請求項１記載の画像処理装置。
前記補間信号生成手段は、水平方向の画素に対してフィルタ処理を行って第１の補間データを生成する水平方向補間手段と、垂直方向の画素に対してフィルタ処理を行って第２の補間データを生成する垂直方向補間手段と、垂直及び水平方向の画素に対してフィルタ処理を行って第３の補間データを生成する二次元補間手段とを有し、前記係数に従い前記第３の補間データと前記第１あるいは第２の補間データとを合成することにより前記補間信号を生成することを特徴とする請求項１記載の画像処理装置。
前記二次元補間手段は、垂直方向と水平方向の座標軸を持つ周波数平面で、垂直方向におけるナイキスト周波数の位置と、水平方向におけるナイキスト周波数の位置を結んでできる四辺形の内側の領域を通過させ、前記四辺形の外側の領域を遮断する周波数特性を有することを特徴とする請求項５記載の画像処理装置。
前記画像信号はＲ、Ｇ、Ｂの色成分を有し、前記Ｇ成分の画像信号がオフセットサンプリングされていることを特徴とする請求項１から６記載の画像処理装置。
Ｒ、Ｇ、Ｂの三種類のカラーフィルタを具備し、Ｇフィルタが市松状に配置された原色ベイヤー配列の撮像素子から前記画像信号を取得する入力手段を備えたことを特徴とする請求項７記載の画像処理装置。
オフセットサンプリングされた画像信号を補間処理する装置であって、
前記画像信号において補間すべき画素の水平方向及び垂直方向の相関の度合いをそれぞれ検出し、前記相関の度合いを示す相関値を得る相関検出手段と、
前記相関検出手段により得られた水平方向の相関値と垂直方向の相関値とに基づいて相関係数を生成する相関係数生成手段と、
前記相関係数生成手段により得られた係数に基づいて補間信号を生成する補間信号生成手段とを備え、
前記相関係数生成手段は、前記水平方向の相関値と垂直方向の相関値がいずれも第一の閾値よりも小さく、且つ、第二の閾値と第三の閾値との間に無い場合に、前記相関係数の値を特定の値に設定することを特徴とする画像処理装置。
前記相関係数生成手段は更に、前記水平方向の相関値と垂直方向の相関値がいずれも前記第一の閾値よりも小さく、且つ、第二の閾値と第三の閾値との間にある場合に、前記水平方向の相関値と垂直方向の相関値との差分に基づいて演算を行うことにより前記相関係数を生成することを特徴とする請求項９記載の画像処理装置。
前記相関係数生成手段は更に、前記水平方向の相関値と垂直方向の相関値のうちの少なくとも一方の値が前記第一の閾値よりも大きく、且つ、第四の閾値と固定値の間にある場合、前記水平方向の相関値と垂直方向の相関値との比に基づいて演算を行うことにより前記相関係数を生成することを特徴とする請求項９記載の画像処理装置。
オフセットサンプリングされた画像信号を補間処理する方法であって、
前記画像信号において補間すべき画素の水平方向及び垂直方向の相関の度合いをそれぞれ検出し、前記相関の度合いを示す相関値を得る相関検出工程と、
前記相関検出工程により得られた水平方向の相関値と垂直方向の相関値とに基づいて相関係数を生成する相関係数生成工程と、
前記相関係数生成工程により得られた係数に基づいて補間信号を生成する補間信号生成工程とを有し、
前記相関係数生成工程は、前記補間すべき画素が水平または垂直方向のナイキスト周波数近傍の周波数成分を含む場合に前記相関係数の値を特定の値に設定することを特徴とする画像処理方法。
オフセットサンプリングされた画像信号を補間処理する方法であって、
前記画像信号において補間すべき画素の水平方向及び垂直方向の相関の度合いをそれぞれ検出し、前記相関の度合いを示す相関値を得る相関検出工程と、
前記相関検出工程により得られた水平方向の相関値と垂直方向の相関値とに基づいて相関係数を生成する相関係数生成工程と、
前記相関係数生成工程により得られた係数に基づいて補間信号を生成する補間信号生成工程とを有し、
前記相関係数生成工程は、前記水平方向の相関値と垂直方向の相関値がいずれも第一の閾値よりも小さく、且つ、第二の閾値と第三の閾値との間に無い場合に、前記相関係数の値を特定の値に設定することを特徴とする画像処理方法。