JP2012249079A

JP2012249079A - 輪郭補正装置

Info

Publication number: JP2012249079A
Application number: JP2011119197A
Authority: JP
Inventors: Hirotoshi Mori; 裕俊森
Original assignee: Semiconductor Components Industries LLC
Current assignee: Semiconductor Components Industries LLC
Priority date: 2011-05-27
Filing date: 2011-05-27
Publication date: 2012-12-13
Also published as: KR101311613B1; KR20120132416A; US8958656B2; US20120301049A1

Abstract

【課題】映像のエッジ部分、テクスチャ部分に応じて適切な輪郭補正を行うことを可能とする輪郭補正装置を提供する。
【解決手段】映像において信号の変化をエッジ部分として検出するエッジ検出処理と、映像においてエッジ部分よりも小さな信号の変化が繰り返し現れるテクスチャ部分を検出するテクスチャ検出処理と、を行う映像判定部２４と、エッジ部分とテクスチャ部分とに対してそれぞれ異なる輪郭の補正処理を施す輪郭成分利得調整部２８と、を備える輪郭補正装置２００とする。
【選択図】図１

Description

本発明は、輪郭補正装置に関する。

映像信号の高調波成分を強調することにより、映像の輪郭を補正し、映像のぼけを改善する輪郭補正装置が用いられている。

従来の輪郭補正装置１００は、図７に示すように、高周波透過フィルタ（ＨＰＦ）１０、乗算器１２、リミッタ及びコアリング処理部１４及び加算器１６を含んで構成される。入力された映像信号は、ＨＰＦ１０へ入力され、所定の遮断周波数以上の周波数帯の信号のみが抽出され、乗算器１２により補正量を調整した後、リミッタ及びコアリング処理部１４へ入力される。リミッタ処理は、図８に示すように、抽出した輪郭成分の絶対値が所定のリミット値を超えないようにする処理である。コアリング処理は、図８に示すように、抽出した輪郭成分の絶対値が所定の範囲内にある場合に出力信号の絶対値を抑圧する処理である。このような処理が施された信号を加算器１６により入力信号に加算して出力する。なお、図８において、リミッタ及びコアリング処理部１４への入力信号は破線で示し、出力信号を実線で示している。

このような処理により、映像信号の高周波成分が強調され、映像の輪郭が補正され、映像の鮮明性が改善される。

ところで、従来の輪郭補正装置では、映像信号に依らず一律に輪郭補正処理を行っている。そのため、図９に示すように、変化の大きいエッジ（輪郭）成分は強調されるが、細かい変化であるテクスチャ成分はあまり強調されず、輪郭補正として十分な効果が得られていなかった。一方で、細かいテクスチャ成分を強調するためにゲインを上げると、エッジ（輪郭）成分が強調され過ぎてしまう問題があった。

また、映像としては変化が小さい平坦部分にノイズが重畳すると、ノイズ成分がコアリングにより除去できなかった場合に強調されてしまう問題があった。

さらに、エッジ部分を強調することによって、エッジの周辺部分の輝度が過度に高くなり白く表示されてしまうリンギングを招くことがあった。

本発明によれば、上記課題の少なくとも１つを解決することができる輪郭補正装置を提供することを目的とする。

本発明の１つの態様は、映像において信号の変化をエッジ部分として検出するエッジ検出処理と、前記映像において前記エッジ部分よりも小さな信号の変化が繰り返し現れるテクスチャ部分を検出するテクスチャ検出処理と、を行う映像判定部と、前記エッジ部分と前記テクスチャ部分とに対してそれぞれ異なる輪郭の補正処理を施す輪郭補正部と、を備えることを特徴とする輪郭補正装置である。

ここで、前記映像判定部は、前記映像において前記エッジ部の周辺部をエッジ周辺部分としてエッジ周辺検出処理を行い、前記輪郭補正部は、前記エッジ周辺部分に対して前記エッジ部分及び前記テクスチャ部分と異なる輪郭の補正処理を施すことが好適である。

また、前記映像判定部は、前記映像において前記エッジ部分、前記テクスチャ部分及び前記エッジ周辺部分のいずれでもない領域を平坦部分として検出する平坦部検出処理を行い、前記輪郭補正部は、前記平坦部分に対して前記エッジ部分及び前記テクスチャ部分と異なる輪郭の補正処理を施すことが好適である。

また、前記映像においてリンギングが発生する位置を検出するリンギング判定部を備え、前記輪郭補正部は、前記映像の信号に対するゲインを前記リンギングが発生する位置において他の位置より低く設定することが好適である。

また、前記エッジ検出処理は、前記映像内の処理対象画素から所定のエッジ検出範囲内の映像領域における着目画素の信号と、前記着目画素の隣接画素の信号と、の差分がエッジ検出閾値以上である着目画素が存在する場合に前記処理対象画素を前記エッジ部分として検出し、前記テクスチャ検出処理は、前記処理対象画素から所定のテクスチャ検出範囲内における着目画素の信号と、前記着目画素の隣接画素の信号と、の差分が前記エッジ検出閾値より小さいテクスチャ検出閾値以上である着目画素と隣接画素との境界を検出し、前記テクスチャ検出範囲内において検出された境界の数が所定数以上である場合に前記処理対象画素を前記テクスチャ部分として検出し、前記輪郭補正部は、前記処理対象画素に対するコアリング処理の範囲を前記エッジ部分より前記テクスチャ部分において小さく設定し、前記処理対象画素に対するリミッタ処理のレンジを前記エッジ部分より前記テクスチャ部分において小さく設定し、前記映像の信号に対するゲインを前記エッジ部分より前記テクスチャ部分において大きく設定することが好適である。

また、前記輪郭補正部は、前記映像の信号に対するゲインを前記エッジ周辺部分において前記エッジ部分及び前記テクスチャ部分より低く設定することが好適である。

また、前記輪郭補正部は、前記映像の信号に対するゲインを前記平坦部において前記エッジ部分及び前記テクスチャ部分より低く設定することが好適である。

本発明によれば、映像のエッジ部分、テクスチャ部分に応じて適切な輪郭補正を行うことを可能とする輪郭補正装置を提供することができる。

本発明の実施の形態における輪郭補正層の構成を示す図である。本発明の実施の形態における処理対象画素、エッジ検出範囲、テクスチャ検出範囲等を説明する図である。本発明の実施の形態における映像判定処理を示すフローチャートである。本発明の実施の形態におけるリミッタ処理を説明する図である。本発明の実施の形態におけるコアリング処理を説明する図である。本発明の実施の形態におけるリンギング抑圧処理を説明する図である。従来の輪郭補正層の構成を示す図である。リミッタ処理及びコアリング処理を説明する図である。輪郭補正処理における課題を説明する図である。

本発明の実施の形態における適応的輪郭補正装置２００は、図１に示すように、遅延部２０ａ〜２０ｄ、高周波透過フィルタ（ＨＰＦ）２２、映像判定部２４、リンギング判定部２６、輪郭成分利得（ゲイン）調整部２８及び加算器３０を含んで構成される。

遅延部２０ａ〜２０ｄは、入力される映像信号を所定の時間だけ遅延させて出力する。本実施の形態では、遅延部２０ａ〜２０ｄは、それぞれ映像信号を１水平ライン分だけ遅延させて出力する。遅延部２０ａ〜２０ｄからの出力信号は、ＨＰＦ２２、映像判定部２４及びリンギング判定部２６へ入力される。

ＨＰＦ２２は、遅延部２０ａ〜２０ｄからの出力信号を受けて、所定の遮断特性で映像信号の高周波成分を抽出して出力する。ＨＰＦ２２の透過特性は、後段の輪郭成分利得調整部において映像内の輪郭部分及びテクスチャ部分が強調されるような周波数帯の信号が透過するような特性に設定することが好適である。ＨＰＦ２２の出力は、輪郭成分利得調整部２８へ入力される。

ここで、ＨＰＦ２２において処理対象となっている映像の画素を以下において処理対象画素という。例えば、図２に示すように、５つの水平ラインにおいて垂直方向に連続する５画素ずつを処理対象範囲として、その処理対象範囲の中心となる画素Ｓ（３，３）を処理対象画素とする。すなわち、ＨＰＦ２２では、画素Ｓ（３，３）の高周波成分が抽出されて出力される。そして、１つの処理対象画素に対する輪郭補正処理が終わると、次の画素（画素Ｓ（３，４））へ処理が移行され、映像中の総ての画素について処理が続けられる。

映像判定部２４は、遅延部２０ａ〜２０ｄからの出力信号を受けて、処理対象画素が輪郭部分（エッジ部分）、エッジ周辺部分、テクスチャ部分及び平坦部分のいずれであるかを判定する。映像判定部２４における判定処理は、図３のフローチャートに沿って行われる。

まず、エッジ検出処理が行われる。エッジ検出処理は、映像内の処理対象範囲（エッジ検出範囲）を対象に行われる。エッジ検出範囲は、処理対象画素から所定の範囲に設定される。本実施の形態では、例えば、図２において画素Ｓ（３，３）が処理対象画素である場合、画素Ｓ（２，２），Ｓ（２，３），Ｓ（２，４），Ｓ（３，２），Ｓ（３，３），Ｓ（３，４），Ｓ（４，２），Ｓ（４，３），Ｓ（４，４）の９画素をエッジ検出範囲とする。このエッジ検出範囲における各画素を着目画素として、着目画素に対して水平方向又は垂直方向に隣接する画素との差分を求め、その差分が所定のエッジ検出閾値以上となる着目画素が存在する場合、処理対象画素である画素Ｓ（３，３）はエッジ部分であると判定する。

処理対象画素がエッジ部分でなかった場合、続いてエッジ周辺検出処理が行われる。エッジ周辺検出処理は、エッジ検出範囲及びその周辺画素を対象に行われる。本実施の形態では、例えば、図２において画素Ｓ（３，３）が処理対象画素である場合、エッジ検出範囲を取り囲む画素Ｓ（１，１）〜Ｓ（１，５），Ｓ（２，１），Ｓ（２，５），Ｓ（３，１），Ｓ（３，５），Ｓ（４，１），Ｓ（４，５），Ｓ（５，１）〜Ｓ（５，５）の各画素を着目画素として、着目画素に対して水平方向又は垂直方向に隣接する画素との差分を求め、その差分が所定のエッジ検出閾値以上であれば、処理対象画素である画素Ｓ（３，３）をエッジ周辺部分と判定する。

処理対象画素がエッジ周辺部分でなかった場合、さらにテクスチャ検出処理が行われる。テクスチャ検出処理は、映像内の処理対象範囲（テクスチャ検出範囲）を対象に行われる。テクスチャ検出範囲は、処理対象画素から所定の範囲に設定される。本実施の形態では、図２において画素Ｓ（３，３）が処理対象画素である場合、画素Ｓ（１，１）〜Ｓ（５，５）の２５画素をテクスチャ検出範囲とする。テクスチャ検出処理では、テクスチャ検出範囲内の画素の１つを着目画素とし、着目画素に対して水平又は垂直の隣接画素との差分がテクスチャ検出閾値以上となる着目画素と隣接画素との境界の数を算出する。例えば、画素Ｓ（１，１）と画素（１，２）の境界や画素Ｓ（１，１）と画素（２，１）との境界等が挙げられる。本実施の形態では、隣接画素の境界の数は水平方向に２０箇所及び垂直方向に２０箇所の合計４０箇所である。テクスチャ検出閾値以上となる隣接画素の境界の数が所定数（テクスチャ判定閾値）以上である場合に処理対象画素である画素Ｓ（３，３）をテクスチャ部分と判定する。

なお、テクスチャ検出閾値は、エッジ検出閾値よりも小さな値に設定される。すなわち、テクスチャ部分は、映像に含まれるエッジ（輪郭）部分よりも変化は小さいが、小さい変化が数多く発生している場所として判定される。

以上の処理おいてエッジ部分、エッジ周辺部分及びテクスチャ部分のいずれにも判定されなかった処理対象画素は平坦部分であると判定する。

映像判定部２４での判定結果は輪郭成分利得調整部２８へ入力される。輪郭成分利得調整部２８では、映像判定部２４の判定結果を受けて、その判定結果に応じてＨＰＦ２２からの信号のゲイン（増幅率）、リミッタ処理のレンジ（リミット値）及びコアリング処理の対象範囲を設定してＨＰＦ２２により抽出した輪郭成分の利得を調整する。輪郭成分利得調整処理については後述する。

リンギング判定部２６は、遅延部２０ａ〜２０ｄからの出力信号を受けて、処理対象画素とその周辺の画素から映像の輪郭（エッジ）、平坦性及び傾きを考慮して、処理対象画素でのリンギングの発生し易さの度合いを算出する。

リンギング判定部２６は、処理対象画素から所定の範囲をリンギング判定範囲と設定してリンギング判定処理を行う。リンギング判定処理は、処理対象画素の周辺に大きな変化がある輪郭が存在し、その周辺が平坦部分であるほどリンギングが発生する可能性が高くなると判定する。

リンギング判定処理は、例えば、以下のように行うことができる。ここでは、処理対象画素に対して左側においてリンギングの発生の可能性の度合いを求める処理を例に説明する。まず、図２において、処理対象画素を画素Ｓ（３，３）とした場合、第１差分値Ｄ１＝（画素Ｓ（３，３）の画素値−画素Ｓ（３，２）の画素値）、第２差分値Ｄ２＝（画素Ｓ（３，２）の画素値−画素Ｓ（３，１）の画素値）、第３差分値Ｄ３＝（画素Ｓ（３，４）の画素値−画素Ｓ（３，３）の画素値）及び第４差分値Ｄ４＝（画素Ｓ（３，５）の画素値−画素Ｓ（３，４）の画素値）を算出する。そして、これらの値が以下の条件に当てはまるか否かを調べ、その結果に応じてリンギングの発生し易さの度合いを決定する。

条件（１）：処理対象画素の左側に大きなエッジが存在する。具体的な条件は、第１差分値Ｄ１と第２差分値Ｄ２との和が第１リンギング閾値の２倍よりも大きい。

条件（２）：処理対象画素の右側が平坦である。具体的な条件は、第３差分値Ｄ３の絶対値が第２リンギング閾値の２倍より小さく、第３差分値Ｄ３の絶対値が第４差分値Ｄ４の絶対値以上である、または第４差分値Ｄ４の絶対値が第２リンギング閾値より小さい。

条件（３）：処理対象画素の右側が平坦である。第３閾値Ｄ３の絶対値及び第４閾値Ｄ４の絶対値がいずれも第２リンギング閾値の２倍より小さい。

条件（４）：処理対象画素の左側に小さなエッジが存在する。具体的な条件は、第１差分値Ｄ１と第２差分値Ｄ２との和が第１リンギング閾値よりも大きい。

条件（５）：処理対象画素の左側の変化が同じ傾向である。具体的な条件は、第１差分値Ｄ１と第２差分値Ｄ２の符号（正・負）が同符号である。

条件（６）：処理対象画素の右側は平坦である。具体的な条件は、第３差分値Ｄ３の絶対値及び第４差分値Ｄ４の絶対値がいずれも第２リンギング閾値よりも小さい。

ここで、第１リンギング閾値はエッジ（輪郭）の存在を検出するための閾値であり、第２リンギング閾値は平坦部分の存在を検出するための閾値であり、第１リンギング閾値は第２リンギング閾値よりも大きな値に設定する。

条件（１）及び条件（２）が成立する場合、処理対象画素にはリンギングが最も発生し易いと判定される。このとき、リンギング発生の度合いはレベル２に設定する。条件（１）及び条件（３）が成立する場合、処理対象画素にリンギングが発生する可能性は中程度であると判定される。このとき、リンギング発生の度合いはレベル１に設定する。条件（１）が成立し、条件（２）及び条件（３）のいずれもが成立しない場合、処理対象画素にリンギングが発生する可能性は低いと判定される。このとき、リンギング発生の度合いはレベル０に設定する。

なお、処理対象画素を含む隣接する画素の変化傾向が等しい場合、リンギングは発生し難くなる。そこで、追加の条件として、第１差分値Ｄ１、第２差分値Ｄ２及び第３差分値Ｄ３の符合（正・負）が同符号である場合、リンギング発生の度合いのレベルを１ずつ下げるようにしてもよい。

また、条件（４）〜（６）のいずれもが成立する場合、処理対象画素にリンギングが発生する可能性は中程度であると判定される。このとき、リンギング発生の度合いはレベル１に設定する。

処理対象画素に対して左側においてリンギングの発生の可能性の度合いを求める処理を例に説明したが、同様に、処理対象画素に対して右側、上側及び下側におけるリンギングの発生の可能性の度合いを求める。このとき、画素Ｓ（３，３）に対して上記処理を対称的に行えばよい。そして、処理対象画素に対して左側、右側、上側及び下側について求められたレベルのうち最も大きい値を処理対象画素のレベルとして設定する。リンギング判定部２６の判定結果は、輪郭成分利得調整部２８へ入力される。

このように、リンギング判定部２６は、リンギングの発生の可能性の度合いをレベルとして判定する。ただし、リンギング発生の度合いを示すレベルは上記設定に限定されるものではない、それぞれの条件に応じてさらに細かいレベルを設定してもよい。例えば、上記例では、条件（１）及び条件（３）が成立した場合と条件（４）〜（６）のいずれもが成立した場合とを同じレベル１としたが、異なるレベルに設定してもよい。

輪郭成分利得調整部２８は、ＨＰＦ２２からの出力信号並びに映像判定部２４及びリンギング判定部２６からの判定結果を受けて、ＨＰＦ２２の出力信号に対して増幅処理、リミッタ処理及びコアリング処理を施して出力する。

ここで、リミッタ処理は、輪郭成分利得調整部２８の出力信号の絶対値が所定のリミット値を超えないようにする処理である。コアリング処理は、輪郭成分利得調整部２８の入力信号の絶対値が０から所定の範囲内にある場合に出力信号の絶対値を抑圧する処理である。

本実施の形態では、輪郭成分利得調整部２８は、処理対象画素がエッジ部分、エッジ周辺部分、テクスチャ部分、平坦部であるかによって増幅率（ゲイン）を変更する。具体的には、処理対象画素がエッジ部分及びテクスチャ部分である場合にはＨＰＦ２２からの出力信号を増幅するが、この場合の増幅率（ゲイン）はエッジ部分である場合に比べてテクスチャ部分である場合に大きく設定する。また、処理対象画素がエッジ周辺部分及び平坦部分である場合には増幅率（ゲイン）を０に設定して増幅を行わないことによって、エッジ周辺部分及び平坦部分のノイズが強調されることがないように処理する。

また、輪郭成分利得調整部２８は、処理対象画素がエッジ部分又はテクスチャ部分であるかによってリミッタ処理及びコアリング処理の閾値を変更する。具体的には、処理対象画素がエッジ部分である場合、テクスチャ部分である場合に比べてリミッタ処理のレンジを大きく設定する。すなわち、図４に示すように、処理対象画素がエッジ部分である場合にはテクスチャ部分である場合に比べて、ＨＰＦ２２からの出力信号がより大きくなってからリミッタが働くようにレンジを設定する。また、処理対象画素がエッジ部分である場合、テクスチャ部分である場合に比べてコアリング処理の範囲を大きく設定する。すなわち、図５に示すように、処理対象画素がエッジ部分である場合にはテクスチャ部分である場合に比べて、ＨＰＦ２２からの出力信号のより広い範囲で出力が抑制されるようにコアリングの範囲を設定する。なお、図４及び図５において、入力信号を破線で示し、エッジ部分に対するリミッタ処理及びコアリング処理を施した出力信号を実線で示している。

なお、処理対象画素がエッジ周辺部分及び平坦部分である場合にはリミッタ処理及びコアリング処理は施さないことが好適である。

このように、処理対象画素がエッジ部分、エッジ周辺部分、テクスチャ部分、平坦部のいずれであるかに応じて増幅処理、リミッタ処理及びコアリング処理を調整することによって、変化の大きいエッジ（輪郭）成分及び細かい変化であるテクスチャ成分が適切に強調でき、平坦部分のノイズが不要に強調されることを防ぐことができる。

また、輪郭成分利得調整部２８は、リンギング発生の可能性の度合いを示すレベルに応じて増幅率（ゲイン）を変更して増幅処理を行う。すなわち、リンギング発生の可能性が高いほど処理対象画素に対する増幅率を下げる（減衰率を上げる）ように増幅率（ゲイン）を設定する。例えば、レベル０の場合には減衰無し、レベル１の場合には現状の増幅率を１／２、レベル２の場合には現状の増幅率を１／４にする。

このように、リンギング発生の可能性の度合いを示すレベルに応じて増幅率（ゲイン）を変更して増幅処理を行うことによって、図６に示すように、細い実線で示される従来の輪郭補正処理に対して、太い実線で示される本実施の形態における輪郭補正処理ではエッジ周辺部での輝度の極端な増加が抑えられる。すなわち、エッジの周辺部における極端な輪郭補正が抑制され、リンギングの発生を抑制することができる。

加算器３０は、入力信号と輪郭成分利得調整部２８の出力信号を加算して出力する。このとき、加算器３０には、遅延部２０ａ〜２０ｄ、ＨＰＦ２２、映像判定部２４、リンギング判定部２６及び輪郭成分利得調整部２８における信号の遅延を考慮して、入力信号における処理対象画素の信号と輪郭成分利得調整部２８までの処理を施された処理対象画素の信号とが加算されるように遅延回路（図示しない）を設けることが好適である。

１０高周波透過フィルタ、１２乗算器、１４リミッタ及びコアリング処理部、１６加算器、２０（２０ａ-２０ｄ）遅延部、２２高周波透過フィルタ、２４映像判定部、２６リンギング判定部、２８輪郭成分利得調整部、３０加算器、１００，２００適応的輪郭補正装置。

Claims

映像において信号の変化をエッジ部分として検出するエッジ検出処理と、前記映像において前記エッジ部分よりも小さな信号の変化が繰り返し現れるテクスチャ部分を検出するテクスチャ検出処理と、を行う映像判定部と、
前記エッジ部分と前記テクスチャ部分とに対してそれぞれ異なる輪郭の補正処理を施す輪郭補正部と、
を備えることを特徴とする輪郭補正装置。
請求項１に記載の輪郭補正装置であって、
前記映像判定部は、前記映像において前記エッジ部の周辺部をエッジ周辺部分としてエッジ周辺検出処理を行い、
前記輪郭補正部は、前記エッジ周辺部分に対して前記エッジ部分及び前記テクスチャ部分と異なる輪郭の補正処理を施すことを特徴とする輪郭補正装置。
請求項２に記載の輪郭補正装置であって、
前記映像判定部は、前記映像において前記エッジ部分、前記テクスチャ部分及び前記エッジ周辺部分のいずれでもない領域を平坦部分として検出する平坦部検出処理を行い、
前記輪郭補正部は、前記平坦部分に対して前記エッジ部分及び前記テクスチャ部分と異なる輪郭の補正処理を施すことを特徴とする輪郭補正装置。
請求項１〜３に記載の輪郭補正装置であって、
前記映像においてリンギングが発生する位置を検出するリンギング判定部を備え、
前記輪郭補正部は、前記映像の信号に対するゲインを前記リンギングが発生する位置において他の位置より低く設定することを特徴とする輪郭補正装置。
請求項１〜４のいずれか１項に記載の輪郭補正装置であって、
前記エッジ検出処理は、前記映像内の処理対象画素から所定のエッジ検出範囲内の映像領域における着目画素の信号と、前記着目画素の隣接画素の信号と、の差分がエッジ検出閾値以上である着目画素が存在する場合に前記処理対象画素を前記エッジ部分として検出し、
前記テクスチャ検出処理は、前記処理対象画素から所定のテクスチャ検出範囲内における着目画素の信号と、前記着目画素の隣接画素の信号と、の差分が前記エッジ検出閾値より小さいテクスチャ検出閾値以上である着目画素と隣接画素との境界を検出し、前記テクスチャ検出範囲内において検出された境界の数が所定数以上である場合に前記処理対象画素を前記テクスチャ部分として検出し、
前記輪郭補正部は、
前記処理対象画素に対するコアリング処理の範囲を前記エッジ部分より前記テクスチャ部分において小さく設定し、
前記処理対象画素に対するリミッタ処理のレンジを前記エッジ部分より前記テクスチャ部分において小さく設定し、
前記映像の信号に対するゲインを前記エッジ部分より前記テクスチャ部分において大きく設定することを特徴とする輪郭補正装置。
請求項２又は３に記載の輪郭補正装置であって、
前記輪郭補正部は、前記映像の信号に対するゲインを前記エッジ周辺部分において前記エッジ部分及び前記テクスチャ部分より低く設定することを特徴とする輪郭補正装置。
請求項３に記載の輪郭補正装置であって、
前記輪郭補正部は、前記映像の信号に対するゲインを前記平坦部において前記エッジ部分及び前記テクスチャ部分より低く設定することを特徴とする輪郭補正装置。