JP2006340006A - 撮像装置と映像信号処理装置と映像信号処理方法およびプログラム - Google Patents

Abstract

【課題】折り返し歪みによる影響を抑圧しつつ、エッジ部分やインパルス部分については非線形処理を行う。
【解決手段】エッジ強度係数生成部２１は、映像信号ＤＶcを用いてエッジ強度を示すエッジ強度係数Ｋedを生成する。フィルタ処理部３１は、エッジ強度係数Ｋedに基づき、エッジ強度が大きいときには映像信号ＤＶcにおける高域成分の減衰量を大きく、エッジ強度が小さいときには減衰量を少なくして低域通過フィルタ処理を行い、フィルタ処理後の映像信号ＤＶdを用いて非線形処理を行う。折り返し歪みの影響が小さいエッジ部分やインパルス部分では、輪郭強調信号や高域補正信号等の減衰が少なくガンマ補正を行える。折り返し歪みの影響が大きい連続高周波信号等では、高域成分の減衰量が大きいので折り返し成分のレベルが小さくなり、画質の劣化を防止できる。
【選択図】 図４

Description

この発明は、撮像装置と映像信号処理装置と映像信号処理方法およびプログラムに関する。詳しくは、撮像素子で得られた撮像信号を、ディジタルの映像信号に変換して、この映像信号に基づきエッジ強度を示すエッジ強度係数を生成して、このエッジ強度係数に応じて映像信号における高域成分の減衰量を調整して低域通過フィルタ処理を行い、低域通過フィルタ処理された映像信号を用いて非線形処理を行うものである。

従来の撮像装置、例えばビデオカメラやディジタルスチルカメラなどでは、撮像素子で得られた撮像信号に対して、ガンマ補正、ニー補正、ホワイトブラッククリップ、輪郭強調、ホワイトバランス調整、色相調整などの各種信号処理が施される。

図１９は、従来の撮像装置（例えばビデオカメラ）７０の概略構成を示している。撮像素子７１で得られた撮像信号Ｓa、例えば３原色のＲ（赤），Ｇ（緑），Ｂ（青）の３つの撮像信号は、増幅処理部７２で増幅されたのち、黒／白バランス調整、黒／白シェーディング補正、フレア補正等の処理が行われて、Ａ／Ｄ変換部７３に供給される。Ａ／Ｄ変換部７３は、増幅処理部７２から供給されたアナログの撮像信号Ｓbをディジタルの映像信号ＤＵaに変換して、ニー補正部７４と高域補正部７５および輪郭強調信号生成部７６に供給する。

ニー補正部７４は、映像信号ＤＵaが所定のニー特性となるように補正を行い、補正後の映像信号である映像信号ＤＵbを加算器７７に供給する。高域補正部７５は、映像信号ＤＵaから高域成分を抽出して高域補正信号Ｄhcとして加算器７７に供給する。輪郭強調信号生成部７６は、映像信号から水平および垂直方向の輪郭強調処理を行うための輪郭強調信号Ｄedを生成して加算器７７，８０に供給する。

加算器７７は、ニー補正後の映像信号ＤＵbに高域補正信号Ｄhcと輪郭強調信号Ｄedを加算して映像信号ＤＵcを生成する。ここで、映像信号ＤＵcについてガンマ補正を行ったとき、高域信号に対して非線形処理がなされると高域信号の高調波成分が発生し、標本化周波数ｆｓの１／２のナイキスト周波数（ｆｓ／２）を越える高調波成分が全て０〜ｆｓ／２の帯域内に偽信号（エリアシング）として折り返ってしまう。図２０は、高調波成分と折り返し成分を示している。周波数ｆの信号について、例えば非線形処理により２次高調波2ｆや３次高調波3ｆが発生すると、０〜ｆｓ／２の帯域内に２次高調波の折り返し成分2ｆ'と３次高調波の折り返し成分3ｆ'が生じる。これにより本来の信号にはなかった低周波のビートが発生するなど画質を著しく損なってしまう。

このため、加算器７７で生成した映像信号ＤＵcを低域通過フィルタ（ＬＰＦ:Low Pass Filter）７８に供給して、折り返し歪みの発生し難い低域成分のみを通過させてガンマ補正部７９に供給することで、画質の劣化を防止する。

ガンマ補正部７９は、低域通過フィルタ７８から供給された映像信号ＤＵdに対して非線形処理を行い、ガンマ補正がなされた映像信号ＤＵeを生成して加算器８０に供給する。加算器８０は、映像信号ＤＵeが低域通過フィルタ処理された信号であることから、輪郭強調を行うために、映像信号ＤＵeに輪郭強調信号Ｄedを加算して映像信号ＤＵfを生成する。このように処理することで、ガンマ処理を行っても高調波成分の折り返しによる画質の劣化を防止でき、輪郭の強調も行うことができる。

また、ガンマ補正では、特許文献１に示されているように、ガンマカーブのポイント上の微分値（係数データ）を生成して、この係数データと輪郭強調信号との乗算結果をガンマ補正後の映像信号に加算することも行われている。

特開平９−４６５５４号公報

ところで、ガンマ補正後の映像信号ＤＵeに輪郭強調信号Ｄedを加算する場合、加算される輪郭強調信号Ｄedにはガンマ補正が行われていない。このため、非線形処理後の映像信号ＤＵfを用いて画像表示装置に撮像画像を表示すると、画像表示装置は逆ガンマ特性を有していることから、黒色側では輪郭不足、白色側では輪郭過多となってしまう。

また、ガンマカーブのポイント上の微分値を生成して、この微分値と輪郭強調信号との乗算結果を加算する場合、映像信号のレベルに応じてレベルが調整された輪郭強調信号が加算されることになる。

本来、ガンマ補正後の輪郭強調信号は、信号レベルの高い部分は圧縮され、信号レベルの低い部分は伸長された信号となる。例えば、輪郭強調信号をサイン波とした場合、ガンマ補正後の輪郭強調信号は、上側の波形のピーク値が下側の波形のピーク値よりも小さくなる。しかし、上記ガンマカーブのポイント上の微分値（係数データ）を生成して、この係数データと輪郭強調信号との乗算結果をガンマ補正後の映像信号に加算する方法では、サイン波の上下に同じゲインが掛かる為、上側と下側のピーク値が同じになる。つまり、この方法では、正しくガンマ補正した輪郭強調信号を加算したことにはならない。

さらに、入力信号に対して水平方向や垂直方向に高域通過フィルタ処理を行って輪郭強調信号を生成するとき、入力信号が連続高周波成分を有していると、この連続高周波成分の部分でも輪郭強調信号が生成されることとなる。このため、画像のエッジ部分やインパルス部分についてのみに輪郭強調を行うことはできない。

そこで、この発明では、折り返し歪みによる影響を抑圧しつつ、エッジ部分やインパルス部分に対して所望の非線形処理を行うことができる撮像装置と映像信号処理装置と映像信号処理方法およびプログラムを提供するものである。

この発明においては、映像信号例えば撮像部で生成された撮像信号をディジタル信号に変換して得られた映像信号に基づき、エッジ強度を示すエッジ強度係数が生成される。エッジ強度計数は、映像信号をアップサンプリングした信号における高域成分のピーク値と、該ピーク値となったタイミングにおける低域成分の変動とを用いた演算によって生成される。このエッジ強度係数が大きいときには映像信号における高域成分の減衰量を大きくし、エッジ強度が小さいときには減衰量を少なくするようにフィルタ特性を調整して低域通過フィルタ処理が行われる。さらに、低域通過フィルタ処理された映像信号を用いて非線形処理例えばガンマ補正処理が行われる。

この発明によれば、映像信号に基づきエッジ強度を示すエッジ強度係数が生成されて、エッジ強度係数に応じて映像信号における高域成分の減衰量を調整して低域通過フィルタ処理が行われて、低域通過フィルタ処理された映像信号を用いて非線形処理が行われる。

このため、映像信号に例えば輪郭強調信号や高域補正信号を加えたとき、エッジ部分やインパルス部分では、輪郭強調信号や高域補正信号に対して非線形処理を行うことができる。また、エッジ部分やインパルス部分でない部分では、高域成分が減衰されるので、非線形処理を行っても偽信号の発生を抑えることができる。その結果、例えば非線形処理としてガンマ補正を行ったとき、輪郭強調信号や高域補正信号と低域信号の振幅特性がバランスされて、ガンマ補正後の映像信号に基づいてモニタで画像表示を行った場合に、折り返しを抑圧しつつ撮像から表示までリニアに輪郭を再現できる。

以下、図を参照しながら、この発明の実施の形態について説明する。図１は、撮像装置例えばビデオカメラの概略構成を示している。撮像装置１０の撮像素子１１で得られた撮像信号Ｓa、例えば３原色のＲ（赤），Ｇ（緑），Ｂ（青）の３つの撮像信号は、増幅処理部１２で増幅されたのち、黒／白バランス調整、黒／白シェーディング補正、フレア補正等の処理が行われて、Ａ／Ｄ変換部１３に供給される。Ａ／Ｄ変換部１３は、増幅処理部１２から供給されたアナログの撮像信号Ｓbをディジタルの映像信号ＤＶaに変換して、１Ｈ遅延部１４と輪郭強調信号生成部１８に供給する。

１Ｈ遅延部１４は、供給された映像信号ＤＶaを１水平周期分遅延させて、ニー補正部１５と高域補正部１６、遅延部１７および輪郭強調信号生成部１８に供給する。なお、１水平周期分遅延された映像信号ＤＶaを、映像信号ＤＶa'と示す。

ニー補正部１５は、映像信号ＤＶa'が所定のニー特性となるように補正を行い、補正後の映像信号である映像信号ＤＶbを加算器１９に供給する。高域補正部１６は、高域通過フィルタを用いて構成されており、映像信号ＤＶa'から高域成分を抽出して高域補正信号Ｄhcとして加算器１９に供給する。

１Ｈ遅延部１７は、供給された映像信号ＤＶa'を１水平周期分遅延させて、輪郭強調信号生成部１８に供給する。なお、１水平周期分遅延された映像信号ＤＶa'を、映像信号ＤＶa''と示す。

輪郭強調信号生成部１８は、供給された３ライン分の映像信号ＤＶa，ＤＶa'，ＤＶa''を用いて輪郭強調信号Ｄedを生成する。図２は輪郭強調信号生成部１８の構成を示している。

垂直方向高域通過フィルタ（垂直方向ＨＰＦ(High Pass Filter））１８１は、３ライン分の映像信号ＤＶa，ＤＶa'，ＤＶa''を用いて、垂直方向に高域通過フィルタ処理を行い、フィルタ処理後の信号を水平方向低域通過フィルタ（水平方向ＬＰＦ）１８２に供給する。水平方向低域通過フィルタ１８２は、各ラインの映像信号を用いて、水平方向に低域通過フィルタ処理を行う。これにより、水平方向低域通過フィルタ１８２からは、垂直方向の輪郭成分を示す輪郭信号Ｅvが取り出されることになる。この輪郭信号Ｅvは、乗算器１８３に供給される。乗算器１８３には、垂直方向の輪郭強調の度合いを調整するための垂直方向輪郭ゲインＧvが供給されており、この垂直方向輪郭ゲインＧvと輪郭信号Ｅvを乗算することにより、垂直方向の輪郭強調処理を行うための輪郭強調信号Ｄevを生成して加算器１８７に供給する。

垂直方向低域通過フィルタ（垂直方向ＬＰＦ）１８４は、３ライン分の映像信号ＤＶa，ＤＶa'，ＤＶa''を用いて、垂直方向に低域通過フィルタ処理を行い、フィルタ処理後の信号を水平方向高域通過フィルタ（水平方向ＨＰＦ）１８５に供給する。水平方向高域通過フィルタ１８５は、各ラインの映像信号を用いて、水平方向に高域通過フィルタ処理を行う。これにより、水平方向高域通過フィルタ１８５からは、水平方向の輪郭成分を示す輪郭信号Ｅhが取り出されることになる。この輪郭信号Ｅhは、乗算器１８６に供給される。乗算器１８６には、水平方向の輪郭強調の度合いを調整するための水平方向輪郭ゲインＧhが供給されており、この水平方向輪郭ゲインＧhと輪郭信号Ｅhを乗算することにより、水平方向の輪郭強調処理を行うための輪郭強調信号Ｄehを生成して加算器１８７に供給する。

加算器１８７は、乗算器１８３と乗算器１８６から供給された輪郭強調信号Ｄev，Ｄehを加算してリミッタ１８８に供給して、信号レベルを加算器１９の入力レベルに応じて制限して、輪郭強調信号Ｄedとして加算器１９に供給する。

図１の加算器１９は、ニー補正部１５から供給された映像信号ＤＶbに高域補正信号Ｄhcと輪郭強調信号Ｄedを加算して、可変低域通過フィルタ（可変ＬＰＦ）２０に供給する。可変低域通過フィルタ２０は、加算器１９から供給された映像信号ＤＶcに対して、エッジ強度に応じたフィルタ特性で低域通過フィルタ処理を行ってガンマ補正部４０に供給する。ガンマ補正部４０は、可変低域通過フィルタ２０から供給された映像信号ＤＶdに対して、図３に示すガンマカーブとなるようにガンマ補正を行う。

図４は、可変低域通過フィルタの構成を示している。可変低域通過フィルタ２０は、エッジ強度係数生成部２１とフィルタ処理部３１を有している。エッジ強度係数生成部２１は、映像信号に基づきエッジ強度に応じた係数（以下「エッジ強度係数」という）を生成する。フィルタ処理部３１は、エッジ強度係数生成部２１で生成されたエッジ強度係数Ｋedに応じてフィルタ特性を可変して低域通過フィルタ処理を行う。すなわち、周波数が高く且つレベルが大きくてエッジ強度が小さい連続高周波信号のような信号成分は、折り返し歪みの影響が大きい。このため、連続高周波信号のような信号成分は減衰させるようにフィルタ処理を行う。また、周波数が高く且つレベルが大きくてもエッジ強度が大きいエッジ部分やインパルス部分のような信号成分は、連続していないため折り返し歪みの影響が小さい。このため、エッジ部分やインパルス部分のような信号成分は、減衰させることなく、あるいは減衰量が少なくなるようにフィルタ処理を行う。

図５は、エッジ強度係数生成部２１の構成を示している。ここで、エッジ強度が大きいエッジ部分やインパルス部分の信号では、高域に大きなエネルギーを持つと同時に低域にレベル変動がある。また、エッジ強度が小さい連続高周波信号では、高域に大きなエネルギーを持っていても低域には大きなレベル変動を生じない。したがって、エッジ強度係数生成部２１は、映像信号ＤＶcの高域エネルギー検出と低域の変動検出(微分検出)を同時に行い、２つの検出結果を用いて演算を行いエッジ強度係数Ｋedを生成する。

加算器１９から供給された映像信号ＤＶcは、補間フィルタ２２に供給される。補間フィルタ２２は、映像信号ＤＶcの１クロック以下の演算によって、エッジ部分やインパルス部分の位相を１クロック以下の精度で検出できるようにアップサンプリングを行い、得られた映像信号ＤＶcuを低域通過フィルタ（ＬＰＦ）２３と高域通過フィルタ（ＨＰＦ）２５に供給する。

低域通過フィルタ２３は、映像信号ＤＶcuから低域成分を抽出して低域信号Ｄclとして微分処理部２４に供給する。微分処理部２４は、低域通過フィルタ２３から供給された低域信号Ｄclを微分して、低域の変動を示す低域変動信号Ｄcldを生成してサンプリング部２７に供給する。

高域通過フィルタ２５では、映像信号ＤＶcuから高域成分を抽出して高域信号Ｄchとしてピーク検出部２６に供給する。ピーク検出部２６は、高域信号Ｄchのピーク位置を検出してこのときの信号レベルＰhを乗算処理部２８に供給する。また、高域信号Ｄchがピーク位置となったときの位相を示すタイミング信号ＴＭpを生成してサンプリング部２７に供給する。

図６は、ピーク検出部２６の構成の一部を示しており、タイミング信号ＴＭpを生成する部分である。高域通過フィルタ２５から供給された高域信号Ｄchは、微分処理部２６１に供給される。微分処理部２６１は、高域信号Ｄchの微分信号Ｄchdを生成してゼロクロス検出部２６２に供給する。ゼロクロス検出部２６２は、微分処理部２６１から供給された微分信号Ｄchdのゼロクロス位置を検出して、このゼロクロス位置を示す信号を、ピーク位置の位相を示すタイミング信号ＴＭpとして生成する。ここで、高域信号Ｄchを微分すると、高域信号Ｄchのピーク位置で微分信号Ｄchdがゼロとなる。このため、ゼロクロス検出部２６２で微分信号Ｄchdのゼロクロス位置を検出することで、高域信号Ｄchがピーク位置となったときの位相を検出できる。

サンプリング部２７は、ピーク検出部２６から供給されたタイミング信号ＴＭpに基づき、高域信号Ｄchがピーク位置となったときに低域変動信号Ｄcldのサンプリングを行い、サンプリングされた低域変動信号Ｄcld-sを乗算処理部２８に供給する。

乗算処理部２８は、高域信号Ｄchがピーク位置となったときの信号レベルＰhとサンプリングされた低域変動信号Ｄcld-sを乗算する。さらに、乗算結果の絶対値を正規化してエッジ強度係数Ｋedを生成する。このエッジ強度係数Ｋedは、例えば乗算結果の絶対値が最大値となるとき「１」となるように正規化する。

図７は、フィルタ処理部３１の構成を示している。映像信号ＤＶcは、高域通過フィルタ（ＨＰＦ）３２と減算器３６に供給される。高域通過フィルタ３２は、映像信号ＤＶcから高域成分を抽出して高域信号Ｄfhを生成して乗算器３５に供給する。

スロープ波形生成部３３は、エッジ強度係数生成部２１で生成されたエッジ強度係数Ｋedに基づいて、高域成分の減衰量を設定するためのスロープ波形Ｑを生成する。このスロープ波形Ｑを用いて後述するように減衰量設定信号を生成することで、フィルタ処理部３１のフィルタ特性を図８に示すように可変させる。すなわち、エッジ強度が大きいときには高域成分の減衰量が小さく、エッジ強度が小さいときには高域成分の減衰量が大きくなるようにスロープ波形Ｑを生成する。

ここで、エッジ強度係数が大きいときに値が大きくなるようにスロープ波形Ｑをスロープ波形生成部３３で生成すると、スロープ波形と減衰量の関係が一致しない。すなわち、スロープ波形Ｑの値が大きいときに減衰量を少なくし、スロープ波形Ｑの値が小さいときに減衰量を大きくしなければならない。このため、インバータ３４を設けてスロープ波形Ｑを反転することにより、反転後のスロープ波形ＱＩと減衰量の関係を一致させることができる。このスロープ波形ＱＩは、乗算器３５に供給される。なお、スロープ波形生成部３３では、スロープ波形ＱＩを生成して乗算器３５に供給するものとしても良い。

乗算器３５は、高域通過フィルタ３２から供給された高域信号Ｄfhとスロープ波形ＱＩを乗算して減衰量設定信号Ｄhdを生成して減算器３６に供給する。減算器３６は映像信号ＤＶcから減衰量設定信号Ｄhdを減算することにより、エッジ強度の大きさに応じて高域成分の減衰量が調整された映像信号ＤＶdを生成してガンマ補正部４０に供給する。

図９のガンマ補正部４０では、フィルタ処理部３１から供給された映像信号ＤＶdに対してガンマ補正を行う。ここで、図３に示すガンマカーブでは、入力をｘ軸、出力をｙ軸としたとき、狭い区間で見るとｙ＝ａｘ＋ｂの一次式で近似できる。この式における「ａ」はガンマカーブ上の接線の傾きを、「ｂ」はｙ軸切片を示すものである。このため、傾き「ａ」や切片「ｂ」の値を予めメモリに格納しておき、供給された映像信号ＤＶdに応じてメモリから傾き「ａ」や切片「ｂ」を読み出して、この読み出した傾き「ａ」や切片「ｂ」を用いて映像信号ＤＶdのガンマ補正を行う。

フィルタ処理部３１から供給された映像信号ＤＶdは、低域通過フィルタ（ＬＰＦ）４１と乗算器４３に供給される。低域通過フィルタ４１は、映像信号ＤＶdから低域成分を抽出して低域信号Ｄdlを生成し、メモリテーブル４２に供給する。メモリテーブル４２は、傾き「ａ」や切片「ｂ」の値を記憶しており、低域通過フィルタ４１から供給された低域信号Ｄdlの信号レベルに応じて傾き「ａ」を読み出して乗算器４３に供給する。また、切片「ｂ」を読み出して加算器４４に供給する。乗算器４３は、映像信号ＤＶdに傾き「ａ」を乗算して、乗算結果を加算器４４に供給する。加算器４４は供給された乗算結果に切片「ｂ」を加算して、ガンマ補正後の信号である映像信号ＤＶeを生成する。

その後、図示せずも、映像信号ＤＶeに対して黒／白のクリップ処理や３原色信号を輝度信号や色差信号に変換するマトリックス処理等が必要に応じて行われて、所望のフォーマットの映像信号ＤＶoutとして出力される。

次に、高域補正信号Ｄhcと輪郭強調信号Ｄedが加算されている映像信号ＤＶcについての低域通過フィルタ処理について説明する。図１０は、映像信号ＤＶcがエッジ部分の信号である場合のエッジ強度係数生成動作を示している。図１０Ａに示すようにエッジ部分の信号が入力された場合、低域通過フィルタ２３からは、図１０Ｂに示すようにフィルタ処理後の信号である低域信号Ｄclが出力されて微分処理部２４に供給される。微分処理部２４は、低域信号Ｄclを微分して図１０Ｃに示すように低域変動信号Ｄcldを生成して、サンプリング部２７に供給する。

高域通過フィルタ２５からは、図１０Ｄに示すようにフィルタ処理後の信号である高域信号Ｄchが出力されてピーク検出部２６に供給される。ピーク検出部２６は、高域信号Ｄchのピーク位置を検出して図１０Ｅに示すタイミング信号ＴＭpを生成してサンプリング部２７に供給する。

サンプリング部２７は、タイミング信号ＴＭpに基づいて低域変動信号Ｄcldのサンプリングを行い、乗算処理部２８に供給する。乗算処理部２８は、サンプリング部２７でサンプリングされた低域変動信号Ｄcld-sと、高域信号Ｄchにおけるピーク位置の信号レベルＰhを掛け合わせたのち、乗算結果の絶対値を求めて正規化して図１０Ｆに示すエッジ強度係数Ｋedを生成する。ここで、エッジ部分の信号が供給されたときのエッジ強度係数Ｋedは、遷移域の中心を基準として略対象となる。

図１１は、映像信号ＤＶcがインパルス部分の信号である場合のエッジ強度係数生成動作を示している。なお、図１１において、図１１Ａは映像信号ＤＶc、図１１Ｂは低域信号Ｄcl、図１１Ｃは低域変動信号Ｄcld、図１１Ｄは高域信号Ｄch、図１１Ｅはタイミング信号ＴＭp、図１１Ｆはエッジ強度係数Ｋedを示している。ここで、インパルス部分の信号が供給されたときのエッジ強度係数Ｋedは、インパルス信号の中心を基準として略対象となる。

図１２は、連続高周波信号である場合のエッジ強度係数生成動作を示している。なお、図１２において、図１２Ａは映像信号ＤＶc、図１２Ｂは低域信号Ｄcl、図１２Ｃは低域変動信号Ｄcld、図１２Ｄは高域信号Ｄch、図１２Ｅはタイミング信号ＴＭp、図１２Ｆはエッジ強度係数Ｋedを示している。ここで、高域通過フィルタ２５の通過域と同じ帯域の連続高周波信号が入力された場合は、低域にエネルギーを持たないため、低域通過フィルタ２３の出力がゼロになる。なお、実際には低域通過フィルタ２３と高域通過フィルタ２５の帯域が全く交差しない様にフィルタを構成するのは困難である上に、単一周波数の信号が入ることはないので、図１２Ｂに示す様に低域通過フィルタ２３の出力にも信号が漏れこんできてしまう。しかし、低域通過フィルタ２３から出力される低域信号Ｄclを微分して得られる低域変動信号Ｄcldは低域信号（映像信号）に比べ位相が９０度ずれるため、高域信号Ｄchのピーク位置では、低域変動信号Ｄcldの信号レベルが理想的にはゼロになる。このため、連続高周波信号が供給されたときのエッジ強度係数Ｋedは、略ゼロとなる。

このように、高域信号Ｄchのピーク位相で低域変動信号Ｄcldをサンプリングしたときの信号レベルがゼロ以外ならば、映像信号ＤＶcは、エッジ部分またはインパルス部分の信号と判別できる。

ここで、高域通過フィルタ２５からの高域信号Ｄchに対して閾値を設定して、高域信号Ｄchの信号レベルが閾値以上のときにピーク位相の検出を行う。また、低域変動信号Ｄcldに対して閾値を設定して、低域変動信号Ｄcldの信号レベルが閾値以上のときに、ピーク位相でサンプリングを行うものとすれば、エッジ部分やインパルス部分の信号に対してのみエッジ強度係数Ｋedを生成することもできる。

さらに、隣接するピーク位相に対して低域変動信号Ｄcldの信号レベルの履歴をとり、信号レベルの変化から映像信号ＤＶcがエッジ部分の信号であるかインパルス部分の信号であるかを区別することもできる。例えば、低域変動信号Ｄcldの信号レベルが増加したのち０レベルとなり、その後信号レベルが０レベルとなる前の値に戻ってから減少するときにはインパルス部分の信号と判別できる。

スロープ波形生成部３３は、エッジ強度係数Ｋedに基づいてスロープ波形Ｑを生成する。ここで、スロープ波形Ｑは、高域通過フィルタ３２のタップ数分の期間を平坦とする。例えばフィルタ処理部３１の特性が、１，２，１型の低域通過フィルタ（高域通過フィルタ３２は逆特性の−１，２，−１型）である場合、スロープ波形は図１３に示すように、エッジ強度係数Ｋedを算出したときのピーク位相を中心として３タップ分を平坦として、この平坦部の両サイドをスロープさせる。

このように、高域通過フィルタ３２のタップ数分の期間を平坦とすると、高域通過フィルタ３２のタップ数分の影響を除くことができる。また、平坦部の両サイドがスロープとされているので、フィルタの特性変化が急に起こらない。

また、図１０〜図１２に示すように、ピーク位相が連続して検出されると、エッジ強度係数Ｋedも連続して生成される。このため、スロープ波形生成部３３は、エッジ強度係数Ｋed毎に生成されるスロープ波形を、位相を合わせて重ね合わせて出力する。

図１４は、ピーク位相の検出とスロープ波形の関係を示している。ここで、高域信号Ｄchのピーク位相が１クロック離れて検出されるときは、１クロック離れた２つのスロープ波形が重ね合わされて図１４Ａに示すようなスロープ波形が出力されることとなる。また、図１４Ｂは２クロック離れて検出されたときのスロープ波形、図１４Ｃは３クロック離れて検出されたときのスロープ波形、図１４Ｄは４クロック離れて検出されたときのスロープ波形をそれぞれ示している。

ここで、スロープ波形生成部３３は、図１５Ａに示すように、エッジ強度が大きいときにはスロープ波形の最大値が大きく、エッジ強度が小さいときにはスロープ波形の最大値が小さくなるように、スロープ波形Ｑを生成するとき、乗算器３５には、インバータ３４で反転された図１５Ｂに示すスロープ波形ＱＩを供給する。例えば、エッジ強度係数Ｋedが「１」であるとき（エッジ強度大）、平坦部分が「０」となるスロープ波形ＱＩを乗算器３５に供給する。また、エッジ強度係数Ｋedが「１」よりも小さいとき（エッジ強度小）、平坦部分が「０」よりも大きい値であるスロープ波形ＱＩを乗算器３５に供給する。

乗算器３５は、高域通過フィルタ３２からの高域信号Ｄfhとスロープ波形ＱＩを乗算して減衰量設定信号Ｄhdを生成して減算器３６に供給する。この減衰量設定信号Ｄhdは、エッジ強度係数Ｋedが大きいときスロープ波形ＱＩの値が小さいことから、減衰量設定信号Ｄhdの信号レベルは小さくなる。エッジ強度係数Ｋedが小さいときスロープ波形ＱＩの値が大きいことから、減衰量設定信号Ｄhdの信号レベルは大きくなる。

したがって、折り返し歪みの影響が小さいエッジ部分やインパルス部分では、輪郭強調信号Ｄedや高域補正信号Ｄhc等の高域成分の減衰量が小さいものとなり、高域成分の減衰量が小さいものとされている図１６Ａに示すような映像信号ＤＶdがガンマ補正部４０に供給される。この信号に対してガンマ補正が行われると、図１６Ｂに示すように、輪郭強調信号Ｄedや高域補正信号Ｄhcに対してもガンマ補正がなされる。したがって、ガンマ補正後の映像信号ＤＶeは、黒色側で輪郭不足、白色側で輪郭過多となってしまうことがない。なお、図１６Ｃは、ガンマ補正後の映像信号に輪郭強調信号を加算する従来の映像信号ＤＵfを示している。

折り返し歪みの影響が大きい連続高周波信号部分等では、図示せずも、輪郭強調信号Ｄedや高域補正信号Ｄhc等の高域成分の減衰量が大きいものとされている映像信号ＤＶdがガンマ補正部４０に供給される。このため、ガンマ補正を行ったことにより発生する高調波成分の折り返しは、レベルが小さいものとなるため画質の劣化を防止できる。

また、スロープ波形生成部３３で生成するスロープ波形の幅を切り換え可能とすれば、フィルタ処理部３１のフィルタ特性を調整することが可能となる。したがって、例えば図１７に示した幅の広いスロープ波形Ｑ-wを用いれば、エッジ部分やインパルス部分のフィルタ特性と、エッジ部分やインパルス部分でない部分でのフィルタ特性との切り換えを滑らかに行うことができる。また、エッジ部分と連続高周波信号部分が近接している場合、スロープ波形の幅が広いと、連続高周波信号部分で高域成分の減衰量が小さくなって偽信号が生じてしまうおそれがある。このような場合、幅の狭いスロープ波形Ｑ-nを用いれば、偽信号の発生を防止できる。

なお、ガンマ補正部４０のメモリテーブル４２には、低域通過フィルタ４１を介して映像信号が供給されるため、高域ほど映像信号のレベル変化が小さくなる。したがって、高域ほど傾きａと切片ｂの変動幅も小さくなることから、線形（リニア）な処理に近づくこととなり、結果として折り返し歪みが小さくなる。このため、ガンマ補正部４０でもエリアシングを抑圧できる。

ところで、折り返し歪みによる影響を抑圧しつつ、エッジ部分やインパルス部分に対して所望の非線形処理を行う映像信号処理は、ソフトウェアで行うこともできる。この場合、ソフトウェアは、メモリに予め記憶しておくものとしたり、記録媒体に記録しておく、あるいは通信回線を介したソフトウェアの供給を行い、メモリや記録媒体から読み出したあるいは通信回線を介して供給されたプログラムを実行して図１８に示す映像信号処理を行う。なお、プログラムはコンピュータやディジタル信号処理装置等において、マイクロプロセッサを用いて構成された制御部で実行する。

ステップＳＴ１で制御部は、エッジ強度係数Ｋedの生成を行う。エッジ強度係数Ｋedの生成では、映像信号ＤＶcのアップサンプリングを行ったのち低域通過フィルタ処理を行い、得られた信号を微分して低域変動信号Ｄcldを生成する。また、映像信号ＤＶcのアップサンプリングを行って得られた信号の高域通フィルタ処理を行い。フィルタ処理後の信号のピーク位置を示すタイミング信号ＴＭpを生成する。このタイミング信号ＴＭpに基づき、ピーク位置での低域変動信号Ｄcldの信号レベルと、このタイミングでの高域信号Ｄchの信号レベルとを乗算して、乗算結果の絶対値を正規化してエッジ強度係数Ｋedを生成する。

ステップＳＴ２で制御部は、可変低域通過フィルタ処理を行う。この可変低域通過フィルタ処理では、ステップＳＴ１で求めたエッジ強度係数Ｋedに基づいて、減衰量を設定するスロープ波形ＱＩを生成する。このスロープ波形ＱＩと、高域通過フィルタで映像信号ＤＶcから抽出した高域成分を示す高域信号Ｄfhとの演算を行い、減衰量設定信号Ｄhdを生成する。さらに、映像信号ＤＶcから減衰量設定信号Ｄhdを減算することで、フィルタ処理後の映像信号ＤＶdを生成する。

ステップＳＴ３で制御部は、非線形処理を行う。この非線形処理では、ステップＳＴ２において、エッジ強度係数に応じて減衰量が調整された低域通過フィルタ処理後の映像信号ＤＶdを用いて、例えばガンマ補正処理を行う。

このように、ソフトウェアによっても、折り返し歪みによる影響を抑圧しつつ、エッジ部分やインパルス部分に対して所望の非線形処理を行うことができる。

また、上述の形態では、非線形処理としてガンマ補正を行う場合の動作について説明したが、他の非線形処理を行う場合にも、エッジ強度に応じてフィルタ特性を可変して、このフィルタ処理後の映像信号を用いるものとすれば、非線形処理に伴う折り返し歪みの悪影響を軽減できる。

撮像装置の概略構成を示す図である。 輪郭強調信号生成部の構成を示す図である。 ガンマカーブを示す図である。 可変低域通過フィルタの構成を示す図である。 エッジ強度係数生成部の構成を示す図である。 ピーク検出部の構成を示す図である。 フィルタ処理部の構成を示す図である。 エッジ強度係数とフィルタ特性の関係を示す図である。 ガンマ補正部の構成を示す図である。 映像信号がエッジ部分の信号である場合のエッジ強調係数生成動作を説明するための図である。 映像信号がインパルス部分の信号である場合のエッジ強度係数生成動作を説明するための図である。 映像信号が連続高周波信号である場合のエッジ強度係数生成動作を説明するための図である。 スロープ波形を示す図である。 ピーク位相の検出とスロープ波形を示す図である。 エッジ強度係数とスロープ波形の関係を示す図である。 ガンマ補正動作を説明するための図である。 他のスロープ波形を示す図である。 映像信号処理を示すフローチャートである。 従来の撮像装置の概略構成を示す図である。 非線形処理における折り返し歪みを説明するための図である。

符号の説明

１０，７０・・・撮像装置、１１，７１・・・撮像素子、１２，７２・・・増幅処理部、１３，７３・・・Ａ／Ｄ変換部、１４，１７・・・１Ｈ遅延部、１５，７４・・・ニー補正部、１６，７５・・・高域補正部、１８，７６・・・輪郭強調信号生成部、１９，４４，７７，８０，１８７・・・加算器、２０・・・可変低域通過フィルタ、２１・・・エッジ強度係数生成部、２２・・・補間フィルタ、２３，４１，７８・・・低域通過フィルタ、２４，２６１・・・微分処理部、２５，３２・・・高域通過フィルタ、２６・・・ピーク検出部、２７・・・サンプリング部、２８・・・乗算処理部、３１・・・フィルタ処理部、３３・・・スロープ波形生成部、３４・・・インバータ、３５，４３，１８３、１８６・・・乗算器、３６・・・減算器、４０，７９・・・ガンマ補正部、４２・・・メモリテーブル、１８１・・・垂直方向高域通過フィルタ、１８２・・・水平方向低域通過フィルタ、１８４・・・垂直方向低域通過フィルタ、１８５・・・水平方向高域通過フィルタ、１８８・・・リミッタ、２６２・・・ゼロクロス検出部

Claims (10)

1. 撮像信号を生成する撮像部と、
   前記撮像信号をディジタルの映像信号に変換する変換部と、
   前記映像信号からエッジ強度を示すエッジ強度係数を生成するエッジ強度係数生成部と、
   前記エッジ強度係数に応じて前記映像信号における高域成分の減衰量を調整して低域通過フィルタ処理を行うフィルタ処理部と、
   前記低域通過フィルタ処理された映像信号を用いて非線形処理を行う非線形処理部とを有する
   ことを特徴とする撮像装置。
2. 前記エッジ強度係数生成部は、前記映像信号における高域成分のピーク値と、該ピーク値となったタイミングにおける前記映像信号の低域成分の変動とを用いた演算によって、前記エッジ強度係数を生成する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記エッジ強度係数生成部では、前記映像信号のアップサンプリング後の信号における高域成分と低域成分を用いる
   ことを特徴とする請求項２記載の撮像装置。
4. 前記フィルタ処理部は、
   前記映像信号から高域成分を抽出する高域通過フィルタと、
   前記エッジ強度係数に基づいて、前記減衰量を設定するスロープ波形を生成する波形生成部と、
   前記高域通過フィルタで抽出した高域成分と前記スロープ波形の演算を行い減衰量設定信号を生成する演算部と、
   前記映像信号から前記減衰量設定信号を減算することで、前記映像信号における高域成分を減衰させる減算部とを有する
   ことを特徴とする請求項１記載の撮像装置。
5. 前記波形生成部は、前記エッジ強度係数に基づき、エッジ強度が大きいときには前記減衰量が大きく、エッジ強度が小さいときには前記減衰量が小さくなるように前記スロープ波形を生成する
   ことを特徴とする請求項４記載の撮像装置。
6. 前記波形生成部は、前記高域通過フィルタのタップ数分の期間の前記スロープ波形を平坦とする
   ことを特徴とする請求項４記載の撮像装置。
7. 前記非線形処理部では、前記映像信号に対してガンマ補正処理を行う
   ことを特徴とする請求項１記載の撮像装置。
8. 映像信号からエッジ強度を示すエッジ強度係数を生成するエッジ強度係数生成部と、
   前記エッジ強度係数に応じて前記映像信号における高域成分の減衰量を調整して低域通過フィルタ処理を行うフィルタ処理部と、
   前記低域通過フィルタ処理された映像信号を用いて非線形処理を行う非線形処理部とを有する
   ことを特徴とする映像信号処理装置。
9. 映像信号を用いてエッジ強度を示すエッジ強度係数を生成するエッジ強度係数生成工程と、
   前記エッジ強度係数に応じて前記映像信号における高域成分の減衰量を調整して低域通過フィルタ処理を行うフィルタ処理工程と、
   前記低域通過フィルタ処理された映像信号を用いて非線形処理を行う非線形処理工程とを有する
   ことを特徴とする映像信号処理方法。
10. コンピュータに、
    映像信号を用いてエッジ強度を示すエッジ強度係数を生成するエッジ強度係数生成手順と、
    前記エッジ強度係数に応じて前記映像信号における高域成分の減衰量を調整して低域通過フィルタ処理を行うフィルタ処理手順と、
    前記低域通過フィルタ処理された映像信号を用いて非線形処理を行う非線形処理手順とを実行させるプログラム。
    

Images