一般に、ビデオカメラやビデオテープレコーダなどで取り扱う映像信号には、ガンマ補正、ニー補正、ホワイトブラッククリップ、輪郭補正、ホワイトバランス調整、色相調整、ディテールクリスプニング、レベルディペンドなどの各種信号処理が施される。
例えば通常のカラービデオカメラの場合には、当該カメラに内蔵される、CCDイメージセンサなどを用いた撮像部により得られる撮像信号から輝度信号やクロマ信号を形成して出力する撮像信号処理回路において、上記ガンマ補正、輪郭補正、ホワイトバランス調整、色相調整などの各種信号処理が施されるようになっている。
そして、撮像信号をディジタル化し、このディジタル撮像信号に対してディジタル処理を施して出力するディジタル信号処理カメラでは、予めいわゆるEEPROM(electrically erasable and programmable read only memory)などの不揮発性メモリに書き込まれている制御パラメータに基づいて、上記ガンマ補正、輪郭補正、ホワイトバランス調整、色相調整などを施すようになされており、これら各種信号処理を行うための信号処理部を有している。
ここで、図29を用いて、一般的なディジタル信号処理カメラの構成について説明する。
この図29において、被写体からの光は、光学系100を通じて入射されCCDイメージセンサ110により撮像される。このCCDイメージセンサ110からの撮像信号は、例えば3原色のR(赤),G(緑),B(青)の3つの撮像信号からなるものであり、この撮像信号がプリアンプ111に送られる。当該プリアンプ111にて増幅された撮像信号は、ビデオアンプ回路112に送られる。当該ビデオアンプ回路112では、上記R,G,Bの撮像信号に対して、黒/白バランス調整、黒/白シェーディング歪補正、フレア補正等の処理を行うと共に、信号増幅を行う。このビデオアンプ回路112の出力信号は、アナログ/ディジタル(A/D)コンバータ113にてディジタルビデオデータに変換され、欠陥補正回路114に送られる。当該欠陥補正回路114では、上記CCDイメージセンサ110の欠陥部に対応する補正を行う。
上記欠陥補正回路114にて欠陥補正がなされた後のディジタルビデオデータは、水平及び垂直方向の輪郭強調処理を行うための輪郭強調信号を生成する輪郭強調信号生成回路に送られる。当該輪郭強調信号生成回路は、1H遅延回路115,116,117からリミッタ129までの各構成要素よりなるものである。
当該輪郭強調信号生成回路において、先ず、直列接続された1H遅延回路115,116,117では、上記欠陥補正回路114を介して供給されたディジタルビデオデータを、順次1H(Hは水平周期)分だけ遅延させると共に、それぞれ遅延したビデオデータを出力する。これにより、これら1H遅延回路115,116,117からは、垂直方向に3ライン分ずれたディジタルビデオデータが出力される。なお、当該1H遅延回路115,116,117は垂直方向の輪郭強調信号を生成するために設けられているものである。
次に、各1H遅延回路115,116,117からの上記3ライン分ずれたディジタルビデオデータは、垂直方向のディジタルハイパスフィルタ(HPF)121を通過し、さらに水平方向のディジタルローパスフィルタ(LPF)122を通過する。これにより、上記ディジタルビデオデータからは、垂直方向の輪郭成分が取り出されることになる。同時に、各1H遅延回路115,116,117からの上記3ライン分ずれたディジタルビデオデータは、垂直方向のディジタルローパスフィルタ(LPF)124を通過し、さらに水平方向のディジタルハイパスフィルタ(HPF)125も通過する。これにより、上記ディジタルビデオデータからは、水平方向の輪郭成分が取り出されることになる。
上記HPF121及びLPF122により取り出された上記垂直方向の輪郭成分は、乗算器123に送られ、ここで端子144を介して供給される垂直方向の輪郭強調の度合いを調整するためのゲイン調整係数が乗算される。同時に上記LPF124及びHPF125により取り出された上記水平方向の輪郭成分は、乗算器127に送られ、ここで端子145を介して供給される水平方向の輪郭強調の度合いを調整するためのゲイン調整係数が乗算される。
これら乗算器123,127の出力データは、加算器128にて加算され、リミッタ129にて所定のレベルに制限された後、水平及び垂直方向の輪郭強調処理を行うための輪郭強調信号として加算器130に送られ、当該加算器130にて本線のディジタルビデオデータと加算される。なお、上記リミッタ129は、加算器130への入力レベルを制限するために設けられている。
ここで、この図29の構成例において、上記輪郭強調信号が加算される本線のディジタルビデオデータは、上記1H遅延回路116からの出力をリニアマトリクス回路132によって補正した後のディジタルビデオデータとなされている。なお、上記リニアマトリクス回路132は、CCDイメージセンサ110の撮像特性が理想撮像特性と異なることから生ずる色再現誤差を補正するために設けられている。
上記加算器130から出力された水平及び垂直方向の輪郭強調がなされたディジタルビデオデータは、ニー補正回路133にて所定のニー特性によるニー補正が施された後、ガンマ補正回路134にて所定のガンマ補正が施され、さらにB/Wクリップ回路135にて黒/白のクリップ処理が施される。
次に、これらニー補正回路133、ガンマ補正回路134、B/Wクリップ回路135による非線形処理が施されたディジタルビデオデータは、マトリクス回路138に送られる。このマトリクス回路138では、前記R,G,Bのディジタルビデオデータから、輝度(Y)と色差(R−Y),(B−Y)のディジタルビデオ信号を形成する。
当該マトリクス回路138からのディジタルビデオ信号は、パラレル/シリアル(P/S)コンバータ141にてシリアルのディジタルビデオデータに変換された後、端子143から出力される。また、当該マトリクス回路138からのディジタルビデオ信号は、エンコーダ139により、ディジタルのコンポジットビデオデータに変換され、さらにディジタル/アナログ(D/A)コンバータ140によりアナログのコンポジット映像信号に変換され、端子142から出力される。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図1には、本発明の撮像装置の一例として、ディジタル信号処理カメラの構成例を示し、先ず、当該図1の構成の基本的な動作を説明する。
この図1において、被写体からの光は、光学系1を通じて入射されCCDイメージセンサ10により撮像される。当該CCDイメージセンサ10は、光3原色のR(赤),G(緑),B(青)の3つのチャンネルに対応した3つのCCDイメージセンサからなり、さらにこれら3つのCCDイメージセンサは、3原色の画素を構成する一つの画素(この場合、例えばGの画素)が残りの2つの画素(Rの画素とBの画素)に対して空間的(光学的)に1/2画素ピッチずらして配置されている。また、これら3チャンネルのCCDイメージセンサはそれぞれが50万画素を有し、かつ水平駆動周波数が18MHzで動作されるものである。
このCCDイメージセンサ10からのR,G,Bの3チャンネルの撮像信号は、プリアンプ11に送られる。当該プリアンプ11にて増幅された撮像信号は、ビデオアンプ回路12に送られる。当該ビデオアンプ回路12では、上記R,G,Bの撮像信号に対して、黒/白バランス調整、黒/白シェーディング歪補正、フレア補正等の処理を行うと共に、信号増幅を行う。このビデオアンプ回路12の出力信号は、アナログ/ディジタル(A/D)コンバータ13にてディジタルビデオデータに変換され、欠陥補正回路14に送られる。当該欠陥補正回路14では、上記CCDイメージセンサ10の欠陥画素に対応する補正を行う。
上記欠陥補正回路14にて欠陥補正がなされた後のディジタルビデオデータは、水平及び垂直方向の輪郭強調処理すなわち画像の輪郭部を映像信号上で補正して解像度を上げるための高周波信号である輪郭強調信号を生成する輪郭強調信号生成回路に送られる。当該輪郭強調信号生成回路は、1H遅延回路15,16,17と、垂直方向のディジタルハイパスフィルタ21(以下HPF21と呼ぶ)と、水平方向のディジタルローパスフィルタ22(以下LPF22と呼ぶ)と、垂直方向のディジタルローパスフィルタ24(以下LPF24と呼ぶ)と、水平方向のディジタルハイパスフィルタ25(以下HPF25と呼ぶ)と、乗算器23及び27と、加算器28と、リミッタ29とからなるものである。
当該輪郭強調信号生成回路において、先ず、直列接続された1H遅延回路15,16,17では、上記欠陥補正回路14を介して供給されたディジタルビデオデータを、順次1H(Hは水平周期)分だけ遅延させると共に、それぞれ遅延したディジタルビデオデータを出力する。これにより、これら1H遅延回路15,16,17からは、垂直方向に3ライン分ずれたディジタルビデオデータが出力される。なお、当該1H遅延回路15,16,17は垂直方向の輪郭強調信号を生成するために設けられているものである。
次に、各1H遅延回路15,16,17からの上記3ライン分ずれたディジタルビデオデータは、後述する零挿入回路18,19,20を介して、上記HPF21を通過し、さらにLPF22を通過する。これらHPF21とLPF22を通過することにより、上記ディジタルビデオデータからは、垂直方向の輪郭成分が取り出されることになる。同時に、各1H遅延回路15,16,17からの上記3ライン分ずれたディジタルビデオデータは、後述する零挿入回路18,19,20を介して、上記LPF24を通過し、さらにHPF25も通過する。これらLPF24とHPF25を通過することにより、上記ディジタルビデオデータからは、水平方向の輪郭成分が取り出されることになる。
上記HPF21及びLPF22により取り出された上記垂直方向の輪郭成分は、乗算器23に送られ、ここで端子44を介して供給される垂直方向の輪郭強調の度合いを調整するためのゲイン調整係数が乗算される。同時に上記LPF24及びHPF25により取り出された上記水平方向の輪郭成分は、後述するディジタルローパスフィルタ26(以下LPF26と呼ぶ)を介して、乗算器27に送られ、ここで端子45を介して供給される水平方向の輪郭強調の度合いを調整するためのゲイン調整係数が乗算される。
これら乗算器23,27の出力データは、加算器28にて加算され、リミッタ29にて所定のレベルに制限された後、水平及び垂直方向の輪郭強調処理を行うための輪郭強調信号として、後述する乗算器30を介して加算器52に送られ、当該加算器52にて本線のディジタルビデオデータと加算される。なお、上記リミッタ29は、乗算器30への入力レベルを制限するために設けられている。
ここで、この図1の構成例において、上記乗算器30を介した輪郭強調信号が加算器52にて加算される本線のディジタルビデオデータは、上記1H遅延回路16からの出力データが、後述する零挿入回路19及びディジタルローパスフィルタ31(以下LPF31と呼ぶ)を介し、さらにリニアマトリクス回路32によって補正がなされ、ニー補正回路33とガンマ補正回路34による非線形処理を受けた後のディジタルビデオデータとなされている。
なお、上記リニアマトリクス回路32は、CCDイメージセンサ10の撮像特性が理想撮像特性と異なることから生ずる色再現誤差を補正するために設けられている。また、上記ニー補正回路33では所定のニー特性によるニー補正が施された、ガンマ補正回路34では図2に示すようなガンマカーブを用いたガンマ補正が施される。ここで、上記ニー補正回路33及びガンマ補正回路34は、例えば、レベル圧縮・伸長処理手段として機能するものである。すなわち、上記ニー補正回路33では、ニー特性として所定のニースロープ及びニーポイントを示す係数を用いたニー補正処理を上記本線のディジタルビデオデータに施す。なお、このニー補正処理の一具体例としては、例えば、ニースロープ及びニーポイントを示す係数を複数種類(例えば2種類)用意しておき、この複数種類の係数を適宜選択して用いるようにすることができる。また、上記ガンマ補正回路34でも、図2に示すガンマカーブに基づく補正係数を用いたガンマ補正処理を上記本線のディジタルビデオデータに施す。このガンマ補正処理においても、その一具体例として例えば、ガンマ補正係数を複数種類(例えば2種類)用意しておき、この複数種類の係数を適宜選択して用いるようにすることができる。
次に、これらニー補正回路33とそれに続くガンマ補正回路34を介した出力データに対して、加算器52により上記水平及び垂直方向の輪郭強調信号が加算されて得られたディジタルビデオデータは、さらにB/Wクリップ回路35にて非線形処理である黒/白のクリップ処理が施される。このB/Wクリップ回路35による非線形処理が施されたディジタルビデオデータは、後述するディジタルローパスフィルタ36(以下LPF36と呼ぶ)及びデシメーション回路37を介して、マトリクス回路38に送られる。このマトリクス回路38では、前記R,G,Bのディジタルビデオデータから、輝度(Y)と色差(R−Y),(B−Y)のディジタルビデオ信号を形成する。
当該マトリクス回路38からのディジタルビデオ信号は、パラレル/シリアル(P/S)コンバータ41にてシリアルのディジタルビデオデータに変換された後、端子43から出力される。また、当該マトリクス回路38からのディジタルビデオ信号は、エンコーダ39により、ディジタルのコンポジットビデオデータに変換され、さらにディジタル/アナログ(D/A)コンバータ40によりアナログのコンポジット映像信号に変換され、端子42から出力される。なお、本発明の構成例では、信号帯域をいわゆるCCIR(国際無線通信諮問委員会)のRec601規格に対応してDC(直流)〜6MHzとしている。
ところで、本発明の図1に示すディジタル信号処理カメラにおいては、前述したような非線形処理のうち、特にガンマ補正処理に起因する折り返し成分がもたらす画質劣化を抑圧するために、前記1H遅延回路16と零挿入回路19を介した本線のディジタルビデオデータが供給されるディジタルローパスフィルタ50(以下LPF50と呼ぶ)と、当該LPF50の出力データと前記ガンマ補正回路34にて使用するものと同様の図2に示すガンマカーブとに基づいてガンマカーブ上のポイントの微分値、すなわち接線の傾きに対応する係数データを発生するガンマ傾き係数発生回路51と、当該係数データを上記リミッタ回路29を介した輪郭強調信号に乗算する乗算器30とを設け、さらに、上記乗算器30を介した輪郭強調信号を本線のディジタルビデオデータに加算するための加算器52を、前記ガンマ補正回路34の直後に配置するようにしている。
以下に、上記ガンマ補正に起因する折り返し成分の発生防止について説明する。
図3には、図1の構成うちガンマ補正に起因する折り返し成分の発生防止について説明するための要部構成を抜き出し簡略化して示している。
この図3において、端子60にはアナログ信号が供給され、このアナログ信号は図1のA/Dコンバータ13に対応するA/Dコンバータ61に送られ、当該A/Dコンバータ61にて例えばサンプリング周波数fs=18MHzでサンプリングされてディジタル信号Aに変換される。このA/Dコンバータ61からのディジタル信号Aは前記輪郭強調信号生成回路を簡略化して示すHPF62と、図1の本線信号経路に挿入されるLPF31からニー補正回路33までの構成を簡略化して示すLPF63と、図1のLPF50に対応するLPF63とに送られる。
上記HPF62の出力信号Dは、図1の乗算器30に対応する乗算器66に送られる。また、上記LPF64の出力信号Bは図1のガンマ補正回路34に対応するガンマ補正回路67に送られ、上記LPF63の出力信号Eは図1のガンマ傾き係数発生回路51に対応する係数発生回路65に送られる。当該ガンマ傾き係数発生回路65の出力信号Fは、上記HPF62の出力信号Dへの乗算係数として、上記乗算器66に送られる。
上記乗算器66の出力信号Gは、加算器68に送られ、当該加算器68によって、輪郭強調信号(すなわち高域信号)として本線の信号である上記ガンマ補正回路67の出力信号Cに加算される。この加算器68の出力信号Hが端子69を介して図1のB/Wクリップ回路35に送られることになる。
ここで、図3の各部の信号について、便宜上アナログ波形的に表して説明すると、上記サンプリング周波数fs=18MHzのA/Dコンバータ61からのディジタル信号Aが、例えば図4に示すような0〜9MHzのスイープ信号ASであるとしたとき、上記LPF64から出力される本線信号Bは図5に示すような信号BSとなる。また、当該信号BSはガンマ補正回路67にてガンマ補正処理されることで、図6に示すような信号CSとなる。
また、上記HPF62からは図7に示すような信号DSが出力され、上記LPF63からは図8に示すような信号ESが出力される。すなわち、上記信号ESは、LPF63により低域通過がなされた信号であるため、高周波の信号ほど振幅が小さくなる。当該信号ESが送られるガンマ傾き係数発生回路65では、上記信号ESのレベル(振幅)に対応したガンマカーブ上のポイントの接線の傾きに応じた図9に示すような信号FSを生成する。言い換えれば、上記ガンマ傾き係数発生回路65では、前記図2において、横軸の入力を信号ESのレベル(振幅)としたとき、当該入力信号ESのレベルに対応する横軸上の長さに応じたガンマカーブ上の範囲内の各ポイントについて、それぞれ接線の傾きを求め、この各ポイントの接線の傾きに応じた信号FSを生成して出力する。当該信号FSが乗算係数として乗算器66に送られ、当該乗算器66にて上記HPF62からの信号DSに乗算される。
ここで、例えば、上記信号ESの低周波側のレベルは大きい(振幅が広い)ため、これに対応するガンマカーブ上の範囲も広いものとなり、この場合は当該信号ESのレベルに対応した当該ガンマカーブ上の各ポイントでの接線の傾きの値も大きく変わることになる。すなわち当該接線の傾きの値が大きく変わるということは、上記乗算器66にて上記信号DSの低周波側に乗ずる数(信号FSに対応する係数値)が大きく変化するということであり、これは非線形性が強くなる(大きく歪む)ことを表している。一方、例えば上記信号ESの高周波側のレベルは小さい(振幅が狭い)ため、これに対応するガンマカーブ上の範囲も狭いものとなりこの場合は当該信号ESのレベルに対応した当該ガンマカーブ上の各ポイントでの接線の傾きの値はあまり変わらないことになる。すなわち当該接線の傾きの値があまり変わらないということは、上記信号DSの高周波側に乗ずる数(信号FSに対応する係数)も変化が少ないということであり、これは線形性が強くなることを表している。
このように、本発明の構成では、例え歪ませたとしても偽信号(エリアシング)を発生し難い低周波の信号については、ガンマカーブに従った非線形処理を行い、逆に、歪ませると偽信号を発生しやすい高周波の信号については、より線形に近い処理を行って偽信号の発生を抑制するようにしている。また、このように本線信号のレベルに基づき、レベルが小さいほど線形処理に近づけるようにすると、黒の輪郭強調がつかなくなるという問題もなくなる。
なお、仮にLPF63による高域通過制限を強くかけて、信号ESの高周波側の振幅(レベル)を0にしたとしても、そのときの当該信号ESのレベル(すなわち振幅0)に対応するガンマカーブ上のポイントの接線の傾きに対応する信号FSが、信号DS(すなわち輪郭強調信号)に乗じられるので、ガンマ補正処理の圧縮特性は保たれる。すなわち、信号ESの振幅が0のときのガンマカーブ上のポイントの接線の傾きは、その値が変動しないので完全な線形処理となる。
上述したようにして乗算器66から出力された信号は図10に示すような信号GSとなり、この信号GSが加算器68に送られ、当該加算器68にて本線のガンマ補正処理が施された信号CSと加算される。この加算器68の出力信号は、図11に示すような信号HSとなる。
なお、上述の例では、信号ASに全く周波数特性の劣化がないように描かれているが、実際は信号ESの信号のように高周波の振幅が落ちているため、図3中のLPF63を設けないようにすることも可能である。しかし、本発明では、信号ASに対して、LPF63による高域通過制限を積極的に施すことにより、より高周波のエリアシングの発生を抑圧するようにしている。
また、前記図3の構成において、上記A/Dコンバータ61からのディジタル信号Aが、例えば図12に示すようなバースト信号ABであるとしたとき、上記LPF64から出力される本線信号Bは図13に示すような信号BBとなる。当該信号BBはガンマ補正回路67にてガンマ補正処理されることで、図14に示すような信号CBとなる。
一方、上記HPF62からは図15に示すような信号DBが出力され、上記LPF63からは図16に示すような信号EBが出力される。すなわち、当該バースト信号ABの例においても、上記信号EBは、LPF63により低域通過がなされた信号であるため、高周波の信号ほど振幅が小さくなる。当該信号EBが送られるガンマ傾き係数発生回路65では、前述同様に上記信号EBのレベル(振幅)に対応したガンマカーブ上のポイントの接線の傾きに応じた図17に示すような信号FBを生成する。当該信号FBが乗算係数として乗算器66に送られ、当該乗算器66にて上記HPF62からの信号DBに乗算される。
このバースト信号ABの例においても、例えば、上記信号EBの低周波側のレベルは大きい(振幅が広い)ため、これに対応するガンマカーブ上の範囲も広いものとなり、この場合は当該信号EBのレベルに対応した当該ガンマカーブ上の各ポイントでの接線の傾きの値も大きく変わることになり、結果として上記乗算器66にて上記信号DBの低周波側に乗ずる数(信号FBに対応する係数値)が大きく変化するということであり、これは非線形性が強くなる(大きく歪む)ことを表している。また、例えば上記信号EBの高周波側のレベルは小さい(振幅が狭い)ため、これに対応するガンマカーブ上の範囲も狭いものとなりこの場合は当該信号EBのレベルに対応した当該ガンマカーブ上の各ポイントでの接線の傾きの値はあまり変わらないことになり、結果として上記信号DBの高周波側に乗ずる数(信号FBに対応する係数)も変化が少ないということであり、これは線形性が強くなることを表している。
さらに、仮にLPF63による高域通過制限を強くかけて、信号EBの高周波側の振幅(レベル)を0にしたとしても、そのときの当該信号EBのレベル(すなわち振幅0)に対応するガンマカーブ上のポイントの接線の傾きに対応する信号FBが、信号DB(すなわち輪郭強調信号)に乗じられるので、ガンマ補正処理の圧縮特性は保たれる。すなわち、信号EBの振幅が0のときのガンマカーブ上のポイントの接線の傾きは、その値が変動しないので完全な線形処理となる。
上述したようにして乗算器66から出力された信号は図18に示すような信号GBとなり、この信号GBが加算器68に送られ、当該加算器68にて本線のガンマ補正処理が施された信号CBと加算される。この加算器68の出力信号は、図19に示すような信号HBとなる。
このように、上記バースト信号ABの例においても、低周波の信号については例え歪ませたとしても偽信号(エリアシング)が発生し難いのでガンマカーブに従った非線形処理を行い、逆に、高周波の信号については歪ませると偽信号を発生し易いので、より線形に近い処理を行うようにして偽信号の発生を抑制するようなことができる。また、この例の場合も、本線信号のレベルが小さいほど線形処理に近づけるようにすることで、黒の輪郭強調がつかなくなるという問題もなくなる。
なお、上述したような偽信号の発生防止のための手法は、輪郭強調信号発生回路部分に適用するだけでなく、ガンマ補正回路自身にも応用することができる。すなわち、前記図2において、入力をx軸とし、出力をy軸としたとき、ガンマカーブは狭い区間で見るとy=ax+bの一次式で近似できる。なお、この式におけるaはガンマカーブ上の接線の傾きを、bはy軸切片を示す。したがって、前述と同様にローパスフィルタによって高周波の振幅を小さくすると、高域ほどレベル変化が小さくなって、傾きaと切片bの変動幅が小さくなり、このため線形(リニア)な処理になり、結果として歪が小さくなるため、エリアシングが抑圧される。
この場合のガンマ補正回路の具体的構成は、図20に示すようになる。この図20において、端子70には図1のニー補正回路33からの出力データが供給され、当該データがローパスフィルタ(LPF)71にて高域通過制限される。また、上記端子70を介して入力されたデータは、乗算器73を介し、さらに加算器74を介して出力端子75に送られるようになっている。上記LPF71の出力は、係数生成回路72に送られ、当該係数生成回路72では、入力レベルに応じて、上記傾きaと切片bとを求めて出力する。上記傾きaのデータが上記乗算器73の乗算係数として送られ、上記切片bのデータが上記加算器74にて上記乗算器73の出力データに加算される。
また、上記係数生成回路72は、具体的には、図21に示すように構成される。この図21において、端子80にはLPF71の出力が供給され、当該出力はレベルコンパレータ81に送られ、ここで当該LPF71の出力レベルが測定される。当該レベルコンパレータ81の出力は、係数aテーブル82と切片bテーブル83とに送られ、係数aテーブル82からは上記測定レベルに応じた係数aのデータが読み出され、切片bテーブル83からは上記測定レベルに応じた切片bのデータが読み出される。
次に、本発明の図1に示すディジタル信号処理カメラにおいては、上記ガンマ補正の他のニー補正や黒/白クリップ等の非線形処理に起因する折り返し成分がもたらす画質劣化をも抑圧するために、当該非線形処理部分での標本化周波数を上げて、上記折り返し成分が信号帯域内に発生しないようにしている。すなわち、図1の構成では、非線形処理部分の前段の零挿入回路18,19,20及びLPF22,26,31にてアップコンバータを構成し、これらアップコンバータの構成により、非線形処理部分での標本化周波数を上げるようにしている。
以下に、上記アップコンバータを設けたことによる非線形処理に起因する折り返し成分の発生防止について説明する。
ここで、元の標本化周波数をfsとし、アップコンバート後の標本化周波数をfs′としたとき、通常は回路構成を簡単にするために上記周波数fs′は周波数fsの2倍や4倍などの整数倍にとることが多い。しかし、いわゆるCMOS(Complementary Metal Oxide Semiconductor)により構成されるディジタル回路では、消費電力が動作周波数に比例するので、余り高い周波数に持ち上げることは好ましいことではない。
このようなことから、本構成例では、本線信号に対するニー補正回路33からB/Wクリップ回路35までの非線形処理部分で周波数fs′=2fsとしている。なお、上記リミッタ29部分については周波数fs′=4fsとすることもできる。上述のように、非線形処理部分での周波数fs′を上記fs′=2fsとすると、図22に示すように、3次高調波までは元の信号帯域に折り返さないようにすることが可能となる。
図1に戻って、上記アップコンバータの構成について説明する。
アップコンバータは、前記1H遅延回路15,16,17からの出力データ(すなわち標本化データ列)に対して図23のAに示すように零データを挿入し、標本化周波数を持ち上げるための零挿入回路18,19,20と、この零データが挿入されたデータ列に対して帯域制限を施すことにより図23のBに示すようなデータ列を得るためのLPF22,26,31とからなる。すなわち、当該アップコンバータにおいて、1H遅延回路15,16,17からの図24のAに示すような出力データ(すなわち標本化データ列)に図23のAのように零を挿入すると、図24のBに示すように周波数fs/2以上の帯域には周波数fsからの折り返し成分が発生するが、このとき上記LPFにより図24のCに示すように周波数fs/2以下に帯域制限を施すと、その折り返し成分が除去された図23のBに示すような出力データが得られることになる。なお、図23及び図24には、周波数fs′=2fsの場合を例に挙げている。
ここで、もしも上記アップコンバート後のLPFによる帯域制限が甘く、例えば図24のCの図中点線で示すように周波数fs/2以上の帯域に上記折り返し成分が残っていると、図25に示すような折り返し歪が生ずる。なお、アナログ信号処理カメラでは、信号帯域以上は例えばローパスフィルタで減衰されており、また回路にも利得がそれほど無いので問題にならない。
すなわち、図25において、アップコンバータのLPFの特性が甘く、帯域制限部で折り返し成分が漏れてしまうと、図25のAのように、元の周波数fの信号成分と周波数fs−fの折り返し成分とが、非線形処理部に入力される結果となる。その結果、当該非線形処理部において相互に変調を受けたような形になり、図25のBに示すように、周波数f及び周波数fs−fの整数倍と、周波数fs−fと周波数fの差分すなわち周波数fs−2fの整数倍の項が生ずる。このため、例えば標本化周波数を周波数fs′に上げて、折り返しが発生しないように工夫をしたとしても、周波数fs−2fのような低周波成分が生じてしまい、それほど効果がでないことになる。なお、図25のBにおいて、fの高調波成分は2f,3fであり、fの高調波成分のfs′からの折り返し成分はfs′−2f,fs′−3fであり、fs−fの高調波成分は2(fs−f),3(fs−f)であり、fs−fの高調波成分のfs′からの折り返し成分はfs′−2(fs−f),3(fs−f)−fs′,2fs′−3(fs−f)であり、fと(fs−f)の差分とその高調波成分はfs−2f,2(fs−2f)であり、fと(fs−f)の差分とその高調波成分のfs′からの折り返し成分はfs′−(fs−2f),fs′−2(fs−2f)である。
このように、非線形処理によって、上記図25のような折り返し成分等が生ずると、その後に、fs/2までに帯域制限を施したとしても、fsからの折り返し成分(fs−f)の3次高調波の折り返し成分3(fs−f)−fs′と、fとfsからの折り返し成分(fs−f)の差分fs−2fの2つが、帯域内に折り返しとして残ることになる。
したがって、上記零挿入後の帯域制限は、fs/2以上を十分に(通常は−40dB以下、特に目立つ周波数は−60dB以下に)阻止しなくてはならない。
ここで、fs′=2fsのときは、特に以下の周波数が目立つ。
例えば、f=2fs/2+α(α<<fs/2)とすると、fとfsからの折り返し成分(fs−f)の差分=fs−2f=−2αとなり、αが非常に小さいと、直流に近い低周波の折り返し歪が目立つ。
また、例えばf=fs/3+α(α<<fs/2)とすると、fsからの折り返し成分(fs−f)の3次高調波の折り返し成分=3(fs−f)−fs′=3αとなって、低周波の折り返し歪が目立つ。さらに、fとfsからの折り返し成分(fs=f)の差分=fs−2f=fs/3−2αとなって、元の信号の周波数f(=fs/3+α)との間に、周波数3αの低周波数のうなりを生ずる。
また、例えばf=fs/4+α(α<<fs/2)とすると、fとfsからの折り返し成分(fs−f)の差分=fs−2f=fs/2−αとなって、2倍の高調波成分2f(=fs/2+2α)との間に、周波数2αの低周波のうなりを生ずる。
このようなことから、上述したfsから折り返す周波数fs/2、2fs/3、3fs/4付近の減衰率は、なるべく大きく取らなくてはならない。しかし、通過域はfs/2までとなっているので、一番初めの周波数fs/2付近は、通常のローパスフィルタの遷移域になってしまい、十分な減衰を得ることができない。この場合、予め必要な帯域よりも高い周波数fsで標本化し、fs/2付近の減衰率を大きく取るか、若しくはfs/2付近に出る折り返し歪は諦めて、折り返し成分を洩らしてしまうことが考えられる。
ここで、後者のように周波数fs/2付近に出る折り返し歪は諦めて、図26のAに示すように通過域を延ばし、折り返し成分を洩らしてしまうようにした場合において、周波数fsからの折り返し歪成分fs−fは、前記CCDイメージセンサ10の空間画素ずらしによって高域成分をR+Gに置き換えれば打ち消されてしまうことになるので、前記帯域制限のためのLPFの特性は甘くてよいと考えられる。しかし、実際には、画面の周辺部では倍率色収差の影響により、上記CCDイメージセンサ10の空間画素ずらしの効果は全くなく、このため画面の周辺部での折り返し歪が非常に目立つ(ただし、前記アップコンバートを行わない場合よりは1桁程少ない)結果となる。
これに対して、本発明の構成例では、信号帯域を必要最小限に絞って、その代わりに、折り返し成分として発生する高域での減衰率を大きくすることにより、折り返し歪を減らすようにしている。なお、本発明の構成例では、実際には、3チャンネル分のCCDイメージセンサ10がそれぞれ同じ50万画素を有しているので、図26のBに示すように、上記周波数fsとfs′は同じ周波数であるが、信号帯域を前記CCIR Rec601におけるDC(直流)〜6MHzに絞り、その代わりに9MHz以上の減衰率を大きくして、折り返し歪を減らすようにしている。
このように、周波数fs/2以上での減衰を十分にとるようにすれば、図27のAに示すような信号を非線形処理部に入力したとしても、図27のBに示すような信号帯域の高調波成分と、それらのfs′からの折り返し成分しか現れないことになる。
次に、当該非線形処理後も上述したようにアップコンバートしたままそのままで処理を続けるようにしてもよいが、回路の消費電力は標本化周波数に比例するので、本発明の構成例では標本化周波数を低い標本化周波数に落とす、すなわちダウンコンバート(或いはデシメーション)するようにしている。
ただし、そのままデシメーションすると、高調波成分が折り返すことになるので、非線形処理部のB/Wクリップ回路35の後段にディジタルローパスフィルタ(LPF)36を設け、当該LPF36にて、図27のBと同様に示す図28のAの信号に対して帯域制限を施すことで、図28のBに示すようにする。
なお、このLPF36は、ダウンコンバート後の周波数fs″が、fs″>fsである場合は0〜fs/2の帯域制限を行い、また、fs″がfs″<fsである場合には0〜fs″/2の帯域制限を行う。
上記LPF36の後は、デシメーション回路37にて、ダウンコンバートを行うことで、図28のCに示すようにする。
なお、ダウンコンバートの際には、必ずしも元の標本課周波数fsに戻す必要はない。例えば、50万画素のCCDイメージセンサ10の水平駆動周波数に合わせてfs=18MHzで標本化し、非線形処理をfs′=36MHzで処理した後、fs″=13.5MHzにダウンコンバートしてシリアルディジタル通信規格に則って出力するなどといったことが考えられる。
上述のように、本発明の構成例においては、非線形処理の前段にアップコンバータを挿入し、さらに帯域制限を施して折り返し成分を除去し、高調波の折り返しが基本波(信号周波数)と干渉しないような高い標本化周波数で非線形処理を行い、その後、帯域制限を施して高調波成分を除去し、ダウンコンバータによって標本化周波数を下げるようにすることで、非線形処理に起因する折り返し成分がもたらす画質劣化を抑圧できるようにしている。また、本発明の構成例によれば、全体を高い標本化周波数で処理するのに比べて、消費電力が少なく、しかも必要な部分だけ標本化周波数を上げることにより、折り返し歪の少ない信号処理が可能となっている。
なお、図1の例では、帯域制限を施すためのディジタルローパスフィルタを、水平方向の輪郭強調信号を生成する経路内のLPF22と、水平方向の輪郭強調信号を生成する経路内に設けたLPF26と、本線経路に設けたLPF31との3つに分けているが、これは各々の経路において必要とされる帯域が違うためである。したがって、これら3つのLPF22,26,31に代えて、これらと同じ動作を行うLPFを、各零挿入回路18,19,20の直後に入れるようにすることも可能である。