JP2005109991A - 信号処理方法及び装置、撮像装置 - Google Patents

Abstract

【課題】被写体の色にかかわらず良好なエッジ強調を可能とする。
【解決手段】映像信号中の緑色成分と赤色成分の輝度信号（Ｙｇ、Ｙｒ）を用いて２つの高周波信号（エッジ信号）Ｙgapc、Ｙrapcが生成される。加重平均回路１３２は、これら２つの高周波信号の大きさの関係に基づいて決定された混合比率によりこれら２つの高周波信号を加重平均し、エッジ信号Ｙapcを生成する。そして、このエッジ信号Ｙapcと、映像信号から得られる輝度信号Ｙsigを加算器１３３で加算することにより、輝度信号のエッジ強調処理が行なわれる。
【選択図】 図１

Description

本発明は、撮像素子を用いたデジタルカメラやビデオカメラに好適な信号処理方法及び装置に関するものである。

図９は図８のような原色フィルタを備えた単板式撮像装置の一般的な信号処理回路構成を示すブロック図である。なお、本明細書において、緑、赤、青の各信号をそれぞれＧ、Ｒ、Ｂ信号というように略して表記する。撮像素子９０１からの出力信号はＯＢ回路９０２、ＷＢ回路９０３にて、それぞれ黒バランス、白バランス調整が実施される。そして、適応補間回路９０４にて各色信号毎に全ての画素位置に信号が存在するよう適応的な補間処理が実施される。一般に図８に示すような原色市松フィルタを備えたカメラの場合は、補間対象画素の上下左右の信号相関を検出することにより縦縞か横縞かを判別し、縦縞と判別された場合は上下の信号から補間を行ない、横縞と判別された場合は左右の信号から補間する構成をとる。なお、このような適応補間は公知であり、その詳細な説明は省略する。

適応補間回路９０４の出力は色変換回路９０５にて色差信号（Ｒ−Ｙ、Ｂ−Ｙ）信号に変換され、ＣＳＵＰ回路９０６（ChromaSuppress）にて飽和領域の偽色除去が実施される。一方、適応補間回路９０４の出力は輝度信号作成回路９０７にて輝度信号に変換され、エッジ強調回路９０８（ＡＰＣ）にてエッジが強調される。ＣＳＵＰ回路９０６からの色差信号とエッジ強調回路９０８からの出力信号Ｙｈは色変換回路９０９にてＲＧＢ信号に変換される。そして、ガンマ回路９１０にて出力装置に合わせた階調補正が実施される。ガンマ回路９１０の出力信号は色変換回路９１１にてＹＵＶ信号に変換される。

図１０は、図９におけるエッジ強調回路９０８の詳細構成を示すブロック図である。図８のような単板原色市松フィルタを搭載する撮像装置の場合、ＲＢ信号の周波数帯域はＧ信号の帯域に比べ半分しかない。そこで、エッジ強調に用いる高周波信号検出にはＧ信号のみが使用されるのが一般的である（例えば、特許文献文献１（段落０００４等）参照）。

図１０を用いてエッジ強調回路９０８の動作を説明する。適応補間回路９０４においてＧ信号を用いて適応補間されたＹｇは輝度信号作成回路９０７よりバンドバスフィルタ回路１００２〜１００４に供給される。水平方向（ＨＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路１００２は、Ｙｇより水平方向のエッジを検出し、エッジ信号として出力する。エッジ信号はPPGain（Peak To Peak Correct Gain Circuit）回路１００５にて振幅調整が施され、ＢＣ（Base Clip）回路１００８によってノイズ成分が除去される。同様に垂直方向（ＶＢＰＦ）、斜め方向（ＤＢＰＦ）のエッジ信号も検出される。それぞれのエッジ信号回路は加算器１０１１，１０１２にて加算され、ゲイン回路１０１３にてゲイン調整されてＹapcとなる。

一方、輝度信号作成回路９０７では、適応補間回路で適応補間されたＹｒ（Ｒ信号）、Ｙｇ（Ｇ信号）、Ｙｂ（Ｂ信号）を用いて、メイン輝度信号Ｙsigを生成する。なお、メイン輝度信号Ｙsigは、
Ｙsig＝０．３×Ｙｒ＋０．５９×Ｙｇ＋０．１１×Ｙｂ …（１）
により算出される。

最後に、メイン輝度信号（Ｙsig）とゲイン回路からの出力信号（Ｙapc）が加算器１０１４にて加算され、Ｙｈとして出力される。

図１１は、図９におけるエッジ強調回路９０８のもうひとつの従来技術を示す。この例では、エッジ検出信号としてＧ信号だけでなくＲ信号、Ｂ信号を使用する。適応補間回路９０４で適応補間されたＹｇ（Ｇ信号）は、輝度信号作成回路９０７を経てバンドパスフィルタ１１０１〜１１０３へ入力される。水平方向（ＨＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路１１０４は、Ｙｇの水平方向のエッジ信号を検出する。エッジ信号はPPGain回路１１１３にて振幅調整が施され、ＢＣ回路１１２２にてノイズ成分が除去される。同様に、Ｙｇの垂直方向（ＶＢＰＦ）、斜め方向（ＤＢＰＦ）のエッジ信号も検出される。そして、それぞれのエッジ信号は加算器１１３０，１１３１にて加算され、ゲイン回路１１３４にてゲイン調整され、エッジ信号Ｙgapcとなる。

また、適応補間回路９０４から出力されるＹｒ（Ｒ信号）、Ｙｂ（Ｂ信号）も同様な処理により、それぞれエッジ信号Ｙrapc、Ｙbapcとなる。Ｙgapc、Ｙrapc、Ｙbapc信号は加算器１１３７にて加算されエッジ信号Ｙapcとなる。加算器１１４１はエッジ信号Ｙapcと、輝度信号作成回路９０７で生成されたメイン輝度信号Ｙsig（上記の（１）式参照）とを加算し、出力する。
特開平０９−２００７８５

しかしながら、図１０に示した従来例では、エッジ検出にＧ信号のみを使用するため、Ｇの分光に感度を持たない色の被写体（特に赤黒エッジ）が大きくぼけてしまうという課題があった。また、図１１に示した従来例では、被写体の色に関わらずＲＧＢ信号から検出したエッジ信号を加えている。このため、図１１に示したエッジ強調処理では、例えば緑色の被写体においてはＧ信号のみからのエッジ強調（図１０のエッジ強調処理）に比べてぼけてしまうという課題がある。更に、図１２に示すように、現在用いられている一般的に原色撮像素子のＲ、Ｂ分光感度はＧ信号のそれに比べかなり低い。そのためホワイトバランスゲインによってＲ、Ｂ信号はゲインアップされておりノイズ成分も大きくなっている。この結果、Ｒ、Ｂ信号から得られるエッジ強調信号はノイズを多く含み、図１０の従来例に比べ赤黒エッジのぼけは改善されるものの、ノイズが増加して画質が劣化してしまうという課題がある。

本発明は上記の課題に鑑みてなされたものであり、被写体の色にかかわらず良好なエッジ強調を可能とすることを目的とする。

上記の目的を達成するための本発明による信号処理装置は、
映像信号中の少なくとも２つの色成分の輝度信号を用いて少なくとも２つの高周波信号を生成する第１生成手段と、
前記第１生成手段で生成された少なくとも２つの高周波信号の大きさの関係に基づいて、該少なくとも２つの高周波信号からエッジ強調処理用の高周波信号を生成する第２生成手段と、
前記エッジ強調処理用の高周波信号を用いて前記映像信号より得られる輝度信号のエッジ強調処理を施すエッジ強調手段とを備える。

また、上記の目的を達成するための本発明の他の態様による信号処理装置は、
映像信号中の複数の色成分の輝度信号に基づいて、該複数の色成分に対応した複数の輝度信号の混合比率を画素単位で決定する決定手段と、
前記混合比率に従って前記複数の輝度信号を画素単位で加重平均し、合成輝度信号を生成する第１生成手段と、
前記合成輝度信号を用いてエッジ強調用の高周波信号を生成する第２生成手段とを備える。

また、本発明によれば、上記信号処理装置に対応した信号処理方法が提供される。更に、本発明によれば、上記信号処理装置を用いた撮像装置が提供される。

上記の構成により、被写体の色にかかわらず良好なエッジ強調が可能となる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

[第１実施形態]
第１実施形態では、撮像信号中のＧ信号を適応補間したＹｇ信号から算出されたエッジ信号Ｙgapcと、Ｒ信号を適応補間したYr信号から算出されたエッジ信号Ｙrapcを比較し、互いの絶対値の差分信号DiffApcを用いてＹgapcとＹrapcを加重平均する構成となっている。この構成により、Ｇ信号から検出したエッジ信号をＲ信号から検出したエッジ信号で補い、例えば、従来のＧ信号のみを用いたエッジ強調回路の問題点である赤黒エッジのボケを回避する。以下、第１実施形態について詳細に説明する。

第１実施形態の撮像装置の信号処理回路の構成及び処理の流れは、図９により上述したとおりであり、説明を省略する。

図１は第１実施形態によるエッジ強調回路９０８の処理構成を示すブロック図である。図１に従って動作を説明する。輝度信号作成回路９０７から、Ｙｇ信号（Ｇ信号の適応補間信号）とＹｒ信号（Ｒの適応補間信号）が出力される。Ｙｇ信号は水平方向（ＨＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路１０２にて水平方向の高周波エッジ信号が検出される。高周波エッジ信号はPPGain回路１０５にて振幅調整が施され、ＢＣ回路１０８にてノイズ成分が除去された後、出力される。同様に、垂直方向（ＶＢＰＦ）のバンドパスフィルタ回路１０３、PPGain回路１０６、ＢＣ回路１０９により垂直方向の高周波エッジ信号が出力され、斜め方向（ＤＢＰＦ）のバンドパスフィルタ回路１０４、PPGain回路１０７、ＢＣ回路１１０により斜め方向（ＤＢＰＦ）のエッジ信号が出力される。それぞれのエッジ信号は加算器１１１，１１２にて加算され、ゲイン回路１１３にてゲイン調整され第１の高周波エッジ信号Ｙgapcとして出力される。

一方、Ｙｒ信号（Ｒ信号の適応補間信号）からもエッジ信号が検出される。まずＹｒ信号はＬＰＦ回路１１４にて帯域制限される。これは、Ｒ信号はサンプリングナイキスト周波数がＧ信号の半分となっているためである。その後、水平方向（ＨＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路１１５にて水平方向のエッジ信号が検出される。検出されたエッジ信号はPPGain回路１１８にて振幅調整が施され、ＢＣ回路１２１にてノイズ成分が除去された後、出力される。同様に、垂直方向（ＶＢＰＦ）のバンドパスフィルタ回路１１６、PPGain回路１１９、ＢＣ回路１２２により垂直方向のエッジ信号が出力され、斜め方向（ＤＢＰＦ）のバンドパスフィルタ回路１１７、PPGain回路１２０、ＢＣ回路１２３により斜め方向（ＤＢＰＦ）のエッジ信号も検出される。それぞれのエッジ信号は加算器１２４，１２５にて加算され、ゲイン回路１２６にてゲイン調整された後、第２の高周波エッジ信号Ｙrapcとして出力される。

次にＹｇ信号から得られた高周波エッジ信号Ｙgapcと、Ｙｒ信号から得られた高周波エッジ信号Ｙrapc信号を合成する処理をApcMix回路１２７にて実施する。このApcMix回路１２７はＹgapcとＹrapcをその信号の絶対値の差分信号で加重平均することを特徴としている。以下にApcMix回路１２７の動作を説明する。

Ｙgapc信号は最大値フィルタ１２８によって、着目画素を中心としたｎ×ｎ画素エリア内の最大画素値に順次置換される。例えば、５×５の画素エリアを対象とするフィルタの場合は、図１３に示すように、注目画素Ｙ_3,3の値として、Ｙ_1,1〜Ｙ_5,5の最大値が出力されることになる。最大値フィルタ１２８から出力されたエッジ信号Ｙrapcとゲイン回路１２６から出力されたエッジ信号Ｙgapcはそれぞれ絶対値回路１２９，１３０へ供給され、更にその出力が減算器１３１に供給される。この結果、減算器１３１からは、|Ｙrapc|と|Ｙgapc|の差分信号（DiffApc）、
DiffApc＝|Ｙrapc|−|Ｙgapc| …（２）
が出力される。

得られた差分信号DiffApcと、予め設定したDiffApc-Mix特性（図４参照）を用いて、Ｙrapcの使用率ｋ（０≦ｋ≦１）を算出する。この使用率ｋに従ってゲイン回路１１３及び１２６から出力されたエッジ信号ＹgapcとＹrapcが合成される。

ここで、使用率ｋの設定例について図４を参照して説明する。入力としてDiffApc信号を与えると、出力としてDiffApcに対するＹrapc信号の使用率（Mix比率）が得られる。図４に示した設定例では、DiffApc信号が予め設定した閾値Th1よりも小さい時にはＹgapc信号の振幅が大きいため、Ｇ信号から作成したエッジ強調信号Ｙgapcのみを使用する。このため、Mix比率は０（ｋ＝０）となる。一方、DiffApc信号が予め設定した閾値Th2よりも大きい場合には、Ｒ信号から作成したエッジ強調信号Ｙrapcのみを用いるためMix比率は１（ｋ＝１）となる。DiffApcがTh1以上Th2未満のときには、DiffApcが大きくなるにつれ徐々にＹrapc使用率を大きくする。なお、図４の特性をルックアップテーブルのような形態で保持してＭｉｘ比率を取得してもよいし、差分値（DiffApc）を演算式に代入してＭｉｘ比率を取得するようにしてもよい。また、図４の特性では、差分値DiffApcがTh1以下となった場合（負の値を含む）は、そのまま０が出力される。

加重平均回路１３２では、Ｙrapc信号の使用率ｋを用いてＹgapcとＹrapcを加重平均することで最終エッジ信号（Yapc）を算出する。すなわち、
Ｙapc＝Ｙrapc×ｋ＋Ｙgapc×（１−ｋ） …（３）
により最終エッジ信号Ｙapcを得る。そして、輝度信号作成回路９０７により上述の（１）式を用いて得られたメイン輝度信号Ｙsigに最終エッジ信号Ｙapcを加算回路１３３にて加算し、エッジ強調された出力輝度信号Ｙｈとする。

以上のように、第１実施形態のエッジ強調回路９０８は、Ｇ信号を適応補間したＹg信号より算出したエッジ信号Ｙgapcの所定領域内の最大値と、Ｒ信号を適応補間したＹｒ信号より算出したエッジ信号Ｙrapcを比較し、それらの絶対値の差分信号DiffApcを用いてＹgapcとＹrapcを加重平均する構成となっている。このような構成によれば、例えば、従来のＧ信号のみを用いたエッジ強調回路の問題点である赤黒エッジのボケを、Ｒ信号から検出したエッジ信号で補うことができ、そのようなボケの問題を回避できる。また、被写体の色エッジに応じて適応的にＧ信号からのエッジ信号とＲ信号からのエッジ信号を切り替えるために、従来の全ＲＧＢ信号を用いてエッジを検出したものに比べてノイズ面で非常に有利となる。

以上説明したように、第１実施形態によれば、Ｇ信号を適応補間したＹｇ信号より算出したエッジ信号Ｙgapcと、Ｒ信号を適応補間したＹｒ信号より算出したエッジ信号Ｙrapcを比較し、互いの絶対値の差分信号DiffApcを用いてＹgapcとＹrapcを加重平均する構成となっている。このため、従来のＧ信号のみを用いたエッジ強調回路の問題点である赤黒エッジのボケを、Ｒ信号から検出したエッジ信号で補うことによって回避できるようになった。更に、被写体の色エッジに応じて適応的にＧ信号からのエッジ信号とＲ信号からのエッジ信号を切り替えるために、従来のＲＧＢ信号からエッジを検出したものに比べノイズ面に非常に有利となる。また、上記実施形態ではＹｒを用いたが、Ｂ信号を適応補間したＹｂ信号を用いれば、青黒のエッジのボケを解消できることになる。

なお、図２のように、Ｙgapc信号とＹrbapc信号を互いの絶対値信号の大きさを比較して、振幅の大きいエッジ信号を最終エッジ信号ＹApcとして出力しても構わない。以下、図２に基づいて説明する。

Ｇ信号を適応補間したＹｇ信号より算出したエッジ信号Ｙgapcは最大値フィルタ１２８を通過後、絶対値回路１２９で絶対値がとられる。また、Ｒ信号を適応補間したＹｒ信号より算出されたエッジ信号Ｙrapcは絶対値回路１３０にて絶対値が取られる。各絶対値回路１２９、１３０の出力信号|Ｙrapc|と|Ｙgapc|を減算器１３１にて減算る。一方、エッジ信号ＹgapcとＹrapcは切り替え器２０５に入力される。切り替え器２０５は、減算器１３１の出力（|Ｙrapc|−|Ｙgapc|）が正ならＹrapcを、０又は負ならＹgapcを最終エッジ信号Ｙapcとして出力する。

図２のような構成の場合、図１のような加重平均による振幅の微小設定はできなくなるが、回路規模の削減、及び演算時間の短縮が期待できる。

[第２実施形態]
第２実施形態では、Ｇ信号を適応補間したＹｇ信号より算出されたエッジ信号Ｙgapcと、Ｒ信号を適応補間したＹｒ信号より算出されたエッジ信号Ｙrapcと、Ｂ信号を適応補間したＹｂ信号より算出されたエッジ信号Ｙbapcを比較し、互いの絶対値の差分信号を用いてＹgapcとＹrapcとＹbapcを加重平均する構成を有する。このような構成によれば、例えば、従来のＧ信号のみを用いたエッジ強調回路の問題点である赤黒エッジもしくは青黒エッジのボケをＲ信号もしくはＢ信号から検出したエッジ信号で補うことができる。

上述のように、第２実施形態では、エッジ検出に、Ｒ、Ｇ、Ｂ信号の３色を用いることが第１の実施形態と異なる。図３は第２実施形態のエッジ検出回路の概略ブロック図である。図１と同様の構成には同一の参照番号を付してある。輝度信号作成回路９０７からは、Ｙｇ信号（Ｇ信号の適応補間信号）、Ｙｒ信号（Ｒの適応補間信号）及びＹｂ信号（Ｂの適応補間信号）が出力される。図１で説明したように、第１の高調波エッジ信号Ｙｇ信号からはＹgapc信号がゲイン回路１１３から得られ、Ｙｒ信号からは第２の高調波エッジ信号Ｙrapcがゲイン回路１２６から得られる。

同様に、Ｙｂ信号よりエッジ信号を検出する。まずＹｂ信号はＬＰＦ回路３０９にて帯域制限される。これは、Ｂ信号はサンプリングナイキスト周波数がＧ信号の半分となっているためである。その後、水平方向（ＨＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路３１６にて水平方向のエッジ信号が検出される。検出されたエッジ信号はPPGain回路３１９にて振幅調整が施され、ＢＣ回路３２８にてノイズ成分が除去された後、出力される。同様に、垂直方向（ＶＢＰＦ）のバンドパスフィルタ回路３１７、PPGain回路３２０、ＢＣ回路３２９により垂直方向のエッジ信号が出力され、斜め方向（ＤＢＰＦ）のバンドパスフィルタ回路３１８、PPGain回路３２１、ＢＣ回路３３０により斜め方向（ＤＢＰＦ）のエッジ信号も検出される。それぞれのエッジ信号は加算器３３３，３３６にて加算され、ゲイン回路３３９にてゲイン調整された後、第３の高調波エッジ信号Ｙbapcとして出力される。

次に、Ｙgapc信号とＹrapc信号とＹbapc信号の合成（ＭＩＸ）について説明する。

まず、加重平均回路３４８によってＹrapc信号とＹbapc信号が合成される。絶対値回路１３０から出力されるＹrapc信号の絶対値信号と、絶対値回路３４６から出力されるＹbapc信号の絶対値信号を減算器３４７にて減算し、差分信号DiffApc_rb、
DiffApc_rb＝|Ｙrapc|−|Ｙbapc| …（４）
を算出する。そして、予め設定してあるDiffApc_rb-ＭＩＸ比率特性（図５参照）によってＹrapcとＹbapcを加重平均回路３４８にて以下の式、
Ｙrbapc = α×Ｙrapc + (1-α)×Ｙbapc …（５）
を用いて加重平均する。

図５の説明をすると、DiffApc_rb信号を入力すると、出力としてDiffApc_rbに対するＹrapc信号Mix比率（α）が得られる。DiffApc_rb信号が予め設定した閾値Th1よりも小さい時にはＹbapc信号の振幅が大きいため、Ｂ信号から作成したエッジ強調信号Ｙbapcのみを使用する。このため、Mix比率は０（α＝０）となる。一方、DiffApc_rb信号が予め設定した閾値Th2よりも大きい場合には、Ｒ信号から作成したエッジ強調信号Ｙrapcのみを用いるためMix比率は１（α＝１）となる。DiffApc_rbがTh1以上Th2未満のときには、DiffApc_rbが大きくなるにつれ徐々にＹrapc使用率（α）を大きくする。なお、図５の特性をルックアップテーブルのような形態で保持してＭｉｘ比率を取得してもよいし、差分値（DiffApc_rb）を演算式に代入してＭｉｘ比率を取得するようにしてもよい。また、図５の特性では、差分値DiffApc_rbがTh1以下となった場合（負の値を含む）は、そのまま０が出力される。

次に、Ｙgapc信号とＹrbapc信号の合成（ＭＩＸ）について説明する。

第１実施形態と同様にＹgapc信号を最大値フィルタ１２８によって、着目画素を中心としたｎ×ｎ画素エリア内の最大画素値に順次置換する。最大値フィルタ１２８からの信号を絶対値回路１２９に提供して得られる絶対値信号と、Ｙrbapc信号を絶対値回路３４９に提供して得られる絶対値信号とを減算器３４２に提供することにより、差分信号DiffApc（|Ｙrapc|−|Ｙgapc|）を得る。この差分信号と予め設定してあるDiffApc-ＭＩＸ比率特性（図４参照）を用いて加重平均回路１３２にて加重平均、すなわち、
Ｙapc ＝ ｋ×Ｙrbapc＋（１−ｋ）×Ｙgapc …（６）
によりＹapcを得る。

その後、第１実施形態と同様に、適応補間回路からのメイン輝度信号Ｙsigと最終エッジ信号Ｙapcを加算する。すなわち、以下の式、
Ｙｈ ＝ Ｙsig ＋ Ｙapc …（７）
により、エッジ強調された輝度信号Ｙｈが得られる。

以上のように、第２実施形態のエッジ強調回路は、Ｇ信号を適応補間したＹｇ信号より算出したエッジ信号Ｙgapcと、Ｒ信号を適応補間したＹｒ信号より算出したエッジ信号Ｙrapcと、Ｂ信号を適応補間したＹｂ信号より算出したエッジ信号Ｙbapcを比較し、互いの絶対値の差分信号を用いてＹgapcとＹrapcとＹbapcを加重平均する構成となっている。このような構成によれば、例えば、赤黒エッジもしくは青黒エッジのボケを、Ｒ信号もしくはＢ信号から検出したエッジ信号で補うことができ、従来のＧ信号のみを用いたエッジ強調回路の問題点を回避できる。

また、第１実施形態の図２で説明したように、Ｙgapc信号とＹrapc信号とＹbapc信号の絶対値信号の大きさを比較し、振幅の大きいエッジ信号を最終エッジ信号Ｙapcとして出力するようにしてもよい。この場合、加重平均による振幅の微小設定ができなくなるが、回路規模の削減、及び演算時間の短縮が期待できる。なお、回路構成は、例えば、図３の加重平均回路１３２、３４８を図２に示した回路構成に置き換えることで実現できる。

[第３実施形態]
第３実施形態では、エッジ検出に用いる輝度信号Ｙを、適応補間回路の出力Ｒ信号及びＧ信号から加重平均して作成し、またその時の色構成比を被写体の色で適応的に切り替える処理を行う。この構成により、従来のＧ信号のみを用いたエッジ強調回路の問題点である赤黒エッジのボケの回避を図る。なお、第３実施形態では、第１及び第２実施形態のＹｒ信号とＹｇ信号を、それぞれ適応補間回路の出力Ｒ信号及びＧ信号と表現する。

第３実施形態では、エッジ検出に用いるＹ信号の作成時に、被写体の色に応じて適応的にＲＧＢ構成比を変化させる。図６は第３実施形態によるエッジ検出回路９０８の概略ブロック図である。図６を用いて以下に動作を説明する。

適応補間からのＲ信号、Ｇ信号は除算回路６０２にて、
Ｈｕｅ＝Ｒ／Ｇ …（８）
が算出される。その後、予め設定した、Hue-MIX比率算出特性（図７参照）を用いて、Ｒ信号の使用率ｋが算出される。

図７に示されるように、Hue-MIX比率算出特性は、Ｈｕｅ信号を入力すると、出力としてＨｕｅに対するＲ信号Mix比率ｋを出力するための特性カーブである。Ｈｕｅ信号が予め設定した閾値Th1よりも小さい時には被写体におけるＲ信号とＧ信号のうちＧ信号の振幅が大きいため、エッジ成分を検出するための輝度信号としてＧ信号の適応補間信号のみを用いるべく、ｋ＝０とする。一方、Ｈｕｅ信号が予め設定した閾値Th2よりも大きい場合には、Ｒ信号の適応補間信号のみを用いるためｋ＝１となる。Ｈｕｅ信号がTh1以上Th2未満のときには、Ｈｕｅが大きくなるにつれ徐々にＲ信号の適応補間信号の使用率を大きくする。なお、図７の特性をルックアップテーブルのような形態で保持してＭｉｘ比率を取得してもよいし、Ｈｕｅ信号値を演算式に代入してＭｉｘ比率を取得するようにしてもよい。

加重平均回路６０３は、以上のようなＭＩＸ比率ｋを用いて、以下の式、
Ｙ ＝ ｋ×Ｒ＋（１−ｋ）×Ｇ …（９）
により、エッジ信号検出に用いる輝度信号Ｙを算出する。その後のエッジ信号検出処理は図９により説明した一般的なエッジ信号検出処理と同様である。

以上のように、第３実施形態によれば、エッジ検出に用いる輝度信号Ｙを、適応補間回路の出力Ｒ信号及びＧ信号から加重平均して作成し、またそのときの色構成比を被写体の色で適応的に切り替える処理を行なっている。これにより、赤被写体の場合にはＲ適応信号の成分が入るため、従来のＧ信号のみを用いたエッジ強調回路の問題点である赤黒エッジのボケを回避できる。

なお、第３実施形態では、説明を簡単にするために最も効果のあるＲ信号、Ｇ信号のＭＩＸによるエッジ検出用輝度信号作成方法について記述したが、Ｒ、Ｇ、Ｂの３信号のＭＩＸ比率を被写体の色に応じて変化させてもよい。また、Ｂ信号とＧ信号のＭＩＸによってエッジ検出用輝度信号を生成してもよい。

以上のように第３実施形態によれば、エッジ検出に用いる輝度信号Ｙを、適応補間回路の出力Ｒ信号及びＧ信号を加重平均して作成し、またその時の加重比率を被写体の色に応じて切り替える処理を行なっている。このため、赤被写体の場合にはＲ信号の成分が入り、Ｇ信号のみを用いたエッジ強調回路の問題点である赤黒エッジのボケを回避できる。

第１実施形態によるエッジ強調回路の構成を示すブロック図である。 第１実施形態によるエッジ強調回路の変形例を示すブロック図である。 第２実施形態によるエッジ強調回路の構成を示すブロック図である。 第１実施形態の加重平均演算に使用する混合比率の設定を示す図である。 第２実施形態の加重平均演算に使用する混合比率の設定を示す図である。 第３実施形態によるエッジ強調回路の構成を示すブロック図である。 第３実施形態の加重平均演算に使用する混合比率の設定を示す図である。 原色フィルタ配列の一例を示す図である。 撮像装置の信号処理構成を示すブロック図である。 一般的なエッジ強調回路の構成を示すブロック図である。 一般的なエッジ強調回路の構成を示すブロック図である。 原色フィルタの分光感度分布を説明する図である。 最大値フィルタの動作を説明するための図である。

Claims (15)

1. 映像信号中の少なくとも２つの色成分の輝度信号を用いて少なくとも２つの高周波信号を生成する第１生成手段と、
   前記第１生成手段で生成された少なくとも２つの高周波信号の大きさの関係に基づいて、該少なくとも２つの高周波信号からエッジ強調処理用の高周波信号を生成する第２生成手段と、
   前記エッジ強調処理用の高周波信号を用いて前記映像信号より得られる輝度信号のエッジ強調処理を施すエッジ強調手段とを備えることを特徴とする信号処理装置。
2. 前記第１生成手段は、
   映像信号中の緑色成分の輝度信号を用いて第１の高周波信号を生成する手段と、
   緑色以外の色成分の輝度信号を用いて第２の高周波信号を生成する手段とを有し、
   前記第２生成手段は、
   前記第１及び第２の高周波信号を、該第１及び第２の高周波信号の大きさの関係に対応した比率で合成して前記エッジ強調処理用の高周波信号を生成することを特徴とする請求項１に記載の信号処理装置。
3. 前記第２生成手段は、前記第１の高周波信号の絶対値と前記第２の高周波信号の絶対値信号の差に基づいて両信号の混合比率を決定し、前記第１の高周波信号と前記第２の高周波信号を該混合比率で加重平均することにより前記エッジ強調処理用の高周波信号を得ることを特徴とする請求項２に記載の信号処理装置。
4. 前記第２生成手段は、前記第１の高周波信号の絶対値と前記第２の高周波信号の絶対値を比較し、絶対値が大きい方の高周波信号を前記エッジ強調処理用の高周波信号とすることを特徴とする請求項２に記載の信号処理装置。
5. 前記第２生成手段は、前記映像信号中の赤色成分または青色成分の輝度信号に基づいて第２の高周波信号を生成することを特徴とする請求項２乃至４のいずれかに記載の信号処理装置。
6. 前記第１生成手段は、前記映像信号中の緑、赤、青の各々の色成分の輝度信号を用いて緑高周波信号、赤高周波信号及び青高周波信号を生成し、
   前記第２生成手段は、前記緑高周波信号、赤高周波信号及び青高周波信号の大きさの関係に基づいて前記エッジ強調処理用の高周波信号を生成することを特徴とする請求項１に記載の信号処理装置。
7. 前記第２生成手段は、
   前記赤高周波信号の絶対値と前記青高周波信号の絶対値信号の差に基づいて両信号の混合比率を決定し、該赤及び青高周波信号を該混合比率で加重平均することにより第１高周波信号を生成し、
   前記第１高周波信号の絶対値と前記緑高周波信号の絶対値信号の差に基づいて両信号の混合比率を決定し、該第１高周波信号及び緑高周波信号を該混合比率で加重平均することにより前記エッジ強調処理用の高周波信号を生成することを特徴とする請求項６に記載の信号処理装置。
8. 前記第２生成手段は、前記緑、赤、青高周波信号のうち、絶対値が最も大きい高周波信号を前記エッジ強調処理用の高周波信号とすることを特徴とする請求項６に記載の信号処理装置。
9. 映像信号中の複数の色成分の輝度信号に基づいて、該複数の色成分に対応した複数の輝度信号の混合比率を画素単位で決定する決定手段と、
   前記混合比率に従って前記複数の輝度信号を画素単位で加重平均し、合成輝度信号を生成する第１生成手段と、
   前記合成輝度信号を用いてエッジ強調用の高周波信号を生成する第２生成手段とを備えることを特徴とする信号処理装置。
10. 前記決定手段は、前記映像信号中の緑色成分の輝度信号に基づく第１輝度信号と、該映像信号中の緑色以外の色成分の輝度信号に基づく第２輝度信号とに基づいて該第１輝度信号と第２輝度信号の混合比率を決定し、
    前記第１生成手段は、前記混合比率に従って前記第１輝度信号と第２輝度信号を画素単位で加重平均し、前記合成輝度信号を生成することを特徴とする請求項９に記載の信号処理装置。
11. 前記決定手段は、
    前記第１輝度信号と第２輝度信号の比率演算を行なう除算回路を有し、
    前記除算回路の出力信号に基づいて前記混合比率を決定することを特徴とする請求項１０に記載の信号処理装置。
12. 前記決定手段は、緑、赤、青の各色成分の３つの輝度信号の混合比率を決定することを特徴とする請求項９に記載の信号処理装置。
13. 映像信号中の少なくとも２つの色成分の輝度信号を用いて少なくとも２つの高周波信号を生成する第１生成工程と、
    前記第１生成工程で生成された少なくとも２つの高周波信号の大きさの関係に基づいて、該少なくとも２つの高周波信号からエッジ強調処理用の高周波信号を生成する第２生成工程と、
    前記エッジ強調処理用の高周波信号を用いて前記映像信号より得られる輝度信号のエッジ強調処理を施すエッジ強調工程とを備えることを特徴とする信号処理方法。
14. 映像信号中の複数の色成分の輝度信号に基づいて、該複数の色成分に対応した複数の輝度信号の混合比率を画素単位で決定する決定工程と、
    前記混合比率に従って前記複数の輝度信号を画素単位で加重平均し、合成輝度信号を生成する第１生成工程と、
    前記合成輝度信号を用いてエッジ強調用の高周波信号を生成する第２生成工程とを備えることを特徴とする信号処理方法。
15. 映像信号より色差信号を生成する色差信号生成手段と、
    前記映像信号より、請求項１乃至１２のいずれかに記載の信号処理装置を用いてエッジ強調された輝度信号を得る輝度信号生成手段と、
    前記色差信号及び輝度信号を用いて映像信号を生成し、出力する出力手段とを備えることを特徴とする撮像装置。

Images