JP2009077293A - 映像信号斜め補間装置および映像信号斜め補間方法 - Google Patents

Abstract

【課題】斜めエッジを有する映像信号でも、斜め和と上下間和とがばたばたと切り替わらないようにし、映像の品位が低下しないようにする。
【解決手段】映像信号斜め補間装置１００は、高相関斜め方向の補間位置に配置される補間画素について、その上側に位置する上側画素の高相関斜め方向に沿った上側斜め相関と、補間画素の下側に位置する下側画素の下側斜め相関とをそれぞれ検出する上下斜め相関検出手段を有する。また、映像信号斜め補間装置１００は、映像信号と遅延信号とにおける高相関斜め方向の斜め和および上下間和を、上下斜め相関検出手段の検出結果に応じて混合した補間信号を出力する。さらに、補間信号出力手段は、補間画素が高相関斜め方向の斜め和を生成する２つの斜め画素のみを用いて生成されるときは、２つの斜め画素のいずれか１つを用いて生成される上下間和を混合せずに補間信号を出力する。
【選択図】図１

Description

本発明は、映像信号に対して水平または垂直方向に画素数の圧縮または伸張処理を行う映像信号スケーリング装置に適用される映像信号斜め補間装置および映像信号斜め補間方法に関する。

現在実用化されている映像信号には、例えば、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternation by Line color television）、ハイビジョン及びパーソナルコンピュータ用等、多種多様なフォーマットが存在している。

このような多種多様なフォーマットの映像信号を用いて、液晶ディスプレイやプラズマディスプレイといった表示装置に映像を表示させるときは、表示装置の表示画素数に合わせるようにして、映像信号の水平または垂直方向の画素数を圧縮または伸張する必要があった。

このような映像信号に対する圧縮または伸張処理を施す装置は、映像信号スケーリング装置とよばれている。

また、映像信号スケーリング装置により、映像信号に対して伸張処理を施す場合、水平または垂直方向の差分をみて画素を増やすだけでは、斜め方向の端部（斜めエッジともいう）を有する映像信号を表示したときに、斜めエッジに段差があるようなぎざぎざの表示がされてしまう。

そのため、映像信号スケーリング装置では、このような斜めエッジにおけるぎざぎざの表示を解消するため、斜め方向の画素の相関をみた上で適切な画素を補間する斜め補間装置が設けられていた。

そして、斜め補間を行う装置に関して、従来例えば、特許文献１に開示されている走査線補間装置があった。この走査線補間装置では、次のようにして斜め補間が行なわれている。すなわち、この走査線補間装置では、映像信号およびその映像信号を１水平期間遅延させた遅延信号を入力して、上下方向に配置される画素間の差分絶対値と、斜め方向に配置される画素間の絶対差分値とが算出され、各絶対値から、斜め方向判定回路によって相関の最も強い画素が判定される。そして、判定された画素を用いて斜め和回路によって補間画素が生成され、その生成された補間画素によって、斜め補間が行なわれていた。なお、この特許文献１の他、特許文献２、特許文献３、特許文献４などにも斜め補間について開示されている。
特開平４−３６４６８５号公報 ＷＯ２００４−１７６３４号公報 特開２００２−１８５９３４６号公報 特開２００１−９４９５１号公報

上記した特許文献１に開示されている走査線補間装置では、斜め方向判定回路と斜め和回路との間に強制上下間和回路を設け、斜め補間を行なう両方のラインの画素にエッジが検出されないときは、斜め方向判定信号を強制的に上下間和に切り替えて補間画素が生成されている。

しかし、特許文献１に開示されている走査線補間装置では、斜めエッジを有する映像信号についての斜めエッジの有無が二値的に判定され、その判定結果に基づいて、斜め和が強制的に上下間和に切り替えられるようになっている。そのため、この走査線補間装置では、映像信号が判定の閾値ぎりぎりであるときに、斜め和と上下間和とが続けざまにばたばたと切り替わってしまい、表示される映像の品位が落ちてしまうことがあった。

そこで、本発明は上記課題を解決するためになされたもので、映像信号スケーリング装置に適用される映像信号斜め補間装置および映像信号斜め補間方法において、斜めエッジを有する映像信号でも、斜め和と上下間和とがばたばたと切り替わらないようにし、映像の品位が低下しないようにすることを目的とする。

上記課題を解決するため、本発明は、映像信号と、映像信号を遅延させた遅延信号とにおける最も相関の高い高相関斜め方向への斜め補間を行う映像信号斜め補間装置であって、高相関斜め方向の補間位置に配置される補間画素について、補間画素の上側に位置する上側画素の高相関斜め方向に沿った上側斜め相関と、補間画素の下側に位置する下側画素の高相関斜め方向に沿った下側斜め相関とをそれぞれ検出する上下斜め相関検出手段と、映像信号と遅延信号とにおける高相関斜め方向の斜め和および上下間和を、上下斜め相関検出手段の検出結果に応じて混合した補間信号を出力する補間信号出力手段とを有し、補間信号出力手段は、補間画素が高相関斜め方向の斜め和を生成する２つの斜め画素のみを用いて生成されるときは、２つの斜め画素のいずれか１つを用いて生成される上下間和を混合せずに補間信号を出力する映像信号斜め補間装置を特徴とする。

また、本発明は、映像信号と、映像信号を遅延させた遅延信号とにおける最も相関の高い高相関斜め方向への斜め補間を行う映像信号斜め補間方法であって、高相関斜め方向の補間位置に配置される補間画素について、補間画素の上側に位置する上側画素の高相関斜め方向に沿った上側斜め相関と、補間画素の下側に位置する下側画素の高相関斜め方向に沿った下側斜め相関とをそれぞれ検出する上下斜め相関検出を行い、映像信号と遅延信号とにおける高相関斜め方向の斜め和および上下間和を、上下斜め相関検出手段の検出結果に応じて混合した補間信号を出力し、補間画素が高相関斜め方向の斜め和を生成する２つの斜め画素のみを用いて生成されるときは、２つの斜め画素のいずれか１つを用いて生成される上下間和を混合せずに補間信号を出力する映像信号斜め補間方法を提供する。

以上詳述したように、本発明によれば、映像信号スケーリング装置に適用される映像信号斜め補間装置および映像信号斜め補間方法において、斜めエッジを有する映像信号でも、斜め和と上下間和とがばたばたと切り替わらないようにし、映像の品位が低下しないようにすることができる。

以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

（映像信号斜め補間装置の構成）
図１は、本発明の実施の形態に係る映像信号斜め補間装置１００の構成を示すブロック図である。映像信号斜め補間装置１００は図示しない映像信号スケーリング装置に組み込まれていて、その映像信号スケーリング装置に入力される映像信号Ｓ１０１と、映像信号Ｓ１０１を１Ｈ遅延させた１Ｈ遅延信号Ｓ１０３とが入力される。また映像信号斜め補間装置１００は映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３とを用いて補間信号Ｓ１２１を生成して出力するようになっている。

また、映像信号斜め補間装置１００は表示パネル１３０が接続されている。映像信号斜め補間装置１００は補間信号Ｓ１２１を表示パネル１３０に出力する。映像信号斜め補間装置１００は、表示制御手段としての機能を有し、表示パネル１３０による補間信号Ｓ１２１を用いた映像の表示を制御する。表示パネル１３０は補間信号Ｓ１２１を用いて映像を表示する。

そして、映像信号斜め補間装置１００は、第１の遅延信号列生成回路１０２と、第２の遅延信号列生成回路１０４と、斜め差分回路１０６と、斜め方向判定回路１０８とを有している。また、映像信号斜め補間装置１００は、斜め和回路１１０と、上下間和回路１１２と、上下画素斜め相関検出回路１１４と、上下相関検出回路１１６および混合回路１１８とを有している。

第１、第２の遅延信号列生成回路１０２，１０４は、それぞれ映像信号Ｓ１０１、１Ｈ遅延信号Ｓ１０３が入力される。また、第１、第２の遅延信号列生成回路１０２，１０４は、それぞれ複数の遅延タップを有し、その各遅延タップを用いて、それぞれ第１の遅延信号列Ｓ１０５、第２の遅延信号列Ｓ１０７を出力する。第１の遅延信号列Ｓ１０５、第２の遅延信号列Ｓ１０７は、双方ともに斜め差分回路１０６、斜め和回路１１０、上下間和回路１１２、上下画素斜め相関検出回路１１４および上下相関検出回路１１６に入力される。

斜め差分回路１０６は第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７とを入力して、その双方についての斜め方向の相関（斜め相関）を検出するため、複数の斜め方向の差分絶対値を算出する。そして、斜め差分回路１０６はその算出した差分絶対値を示すデータを斜め差分絶対値データＳ１０９として、斜め方向判定回路１０８に出力する。

斜め方向判定回路１０８は、斜め差分絶対値データＳ１０９を入力し、その斜め差分絶対値データＳ１０９に基づき、第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７との斜め相関を求める。また、斜め方向判定回路１０８は、求めた斜め相関に基づいて、最も相関の高い方向を高相関斜め方向として検出する斜め方向検出手段としての機能を有し、その検出結果を示す斜め方向判定信号Ｓ１１１を出力する。この斜め方向判定信号Ｓ１１１は、斜め和回路１１０と、上下画素斜め相関検出回路１１４とに入力される。

斜め和回路１１０は、第１の遅延信号列Ｓ１０５と第２の遅延信号列Ｓ１０７とから、斜め方向判定信号Ｓ１１１に従い、最も相関が高いと判定された高相関斜め方向に沿った各画素の斜め和を算出し、その算出した斜め和を斜め和信号Ｓ１１３として出力する。

上下間和回路１１２は、第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７とを用いて、各画素の上下間和を算出し、その算出した上下間和を上下間和信号Ｓ１１５として出力する。

上下画素斜め相関検出回路１１４は、上下斜め相関検出手段であって、斜め方向判定回路１０８の検出結果（すなわち、斜め方向判定信号Ｓ１１１）に基づき、高相関斜め方向に沿った後述する上側斜め相関および下側斜め相関を検出して、その検出結果に応じた上下画素斜め相関信号Ｓ１１７を出力する。なお、上下画素斜め相関検出回路１１４によって行われる上側斜め相関と下側斜め相関の検出を「上下斜め相関検出」といい、詳しくは後述する。

上下相関検出回路１１６は、第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７とを用いて、各画素の上下方向の差分を算出する一方、算出した差分から上下相関を検出し、その検出した上下相関を示す上下相関検出信号Ｓ１１９を出力する。

混合回路１１８は、補間信号出力手段であって、斜め和信号Ｓ１１３、上下間和信号Ｓ１１５、上下画素斜め相関信号Ｓ１１７および上下相関検出信号Ｓ１１９を入力して補間信号Ｓ１２１を出力する。この補間信号Ｓ１２１は、斜め和信号Ｓ１１３と上下間和信号Ｓ１１５とが、上下画素斜め相関信号Ｓ１１７および上下相関検出信号Ｓ１１９に応じて混合されたものである。

（映像信号斜め補間装置の動作内容）
次に、映像信号斜め補間装置１００の動作内容について説明する。ここでは、斜めエッジを有する図３に示すような映像信号Ｓ１０１と、１Ｈ遅延信号Ｓ１０３とが映像信号斜め補間装置１００に入力された場合を例にとって説明する。このとき、映像信号斜め補間装置１００は次のように作動することによって、補間信号Ｓ１２１を生成する。

ここで、映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３とは図３に示すような画素で構成されている。映像信号Ｓ１０１は、Ｓ１１ａからＳ１１ｋまでの間で１１個の画素を有している。これらのうち、Ｓ１１ａ，Ｓ１１ｂ，Ｓ１１ｃ，Ｓ１１ｄ，Ｓ１１ｅの５つの画素は同じ明るさの例えば白色、Ｓ１１ｆは薄い灰色、Ｓ１１ｇは灰色、Ｓ１１ｈは濃い灰色、Ｓ１１ｉ，Ｓ１１ｊ，Ｓ１１ｋの３つは同じ明るさの黒色となっている。

また、１Ｈ遅延信号Ｓ１０３は、Ｓ１３ａからＳ１３ｋまでの間で画素の明るさが変化し、Ｓ１３ａは白色、Ｓ１３ｂは薄い灰色、Ｓ１３ｃは灰色、Ｓ１３ｄは濃い灰色、Ｓ１３ｅ，Ｓ１３ｆ，Ｓ１３ｇ，Ｓ１３ｈ，Ｓ１３ｉ，Ｓ１３ｊ，Ｓ１３ｋの７つは同じ明るさの黒色となっている。このような映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３とを用いて映像が表示されると、画素Ｓ１１ｆと画素Ｓ１３ｂとが境目になった斜めエッジを有する映像が表示される。

そして、映像信号Ｓ１０１と、１Ｈ遅延信号Ｓ１０３とがそれぞれ第１、第２の遅延信号列生成回路１０２，１０４に入力されると、第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７が生成されて斜め差分回路１０６に入力される。

斜め差分回路１０６は、入力される第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７から複数の斜め方向に配置される画素についての差分絶対値を算出して斜め差分絶対値データＳ１０９を出力する。

ここで、斜め差分回路１０６は、図２に示すように、映像信号Ｓ１０１を構成する複数の画素Ｓ１１ａ〜Ｓ１１ｋと、１Ｈ遅延信号Ｓ１０３を構成する複数の画素Ｓ１３ａ〜Ｓ１３ｋとについて、Ｓ１１ａとＳ１３ｋ、Ｓ１１ｂとＳ１３ｊ、Ｓ１１ｃとＳ１３ｉ・・・のように位置関係が互いに斜め方向（または上下方向）となるように配置される画素同士の差分絶対値を算出する。

したがって、斜め差分回路１０６は、図２に示すように、“−５”から“＋５”までの１１通りの方向に配置される画素同士の差分絶対値を算出している。

斜め方向判定回路１０８は、斜め差分絶対値データＳ１０９を入力して、斜め差分回路１０６が算出した差分絶対値に基づき、図２に示した１１通りの斜め方向から最も相関の高い方向を高相関斜め方向として検出して、斜め方向判定信号Ｓ１１１を出力する。

ここでは、映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３とが図３に示すような画素で構成されているので、画素Ｓ１１ｈと画素Ｓ１３ｄとの相関が高い。そのため、斜め方向判定回路１０８は、斜め方向ｄ２を高相関斜め方向と判定して斜め方向判定信号Ｓ１１１を出力する。

斜め和回路１１０は、斜め方向判定信号Ｓ１１１にしたがい斜め和を算出するから、斜め方向ｄ２の各画素、すなわち、画素Ｓ１１ｈと画素Ｓ１３ｄの斜め和を含む各画素の斜め方向ｄ２に沿った斜め和を算出して斜め和信号Ｓ１１３を出力する。

また、上下間和回路１１２は、第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７を用いて、各画素の上下間和を算出するから、画素Ｓ１１ａとＳ１３ａ，Ｓ１１ｂとＳ１３ｂ、Ｓ１１ｃとＳ１３ｃ・・・といったように、映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３との上下間和を算出して上下間和信号Ｓ１１５を出力する。

上下画素斜め相関検出回路１１４は、次のようにして上下斜め相関検出を行なう。この場合、斜め方向判定回路１０８で高相関斜め方向と判定された方向は斜め方向ｄ２なので、画素Ｓ１１ｈとＳ１３ｄとの補間位置に配置される画素を補間画素とすると、画素Ｓ１９ｆが補間画素となる。

そして、上下画素斜め相関検出回路１１４は、補間画素Ｓ１９ｆの上側に位置する画素Ｓ１１ｆと、下側に位置する画素Ｓ１３ｆのそれぞれからみた斜め方向ｄ２と同じ斜め方向の相関を検出する（補間画素の上側に位置する画素を「上側画素」、下側に位置する画素を「下側画素」という）。

この場合、斜め方向ｄ２の補間画素は画素Ｓ１９ｆなので、上側画素はＳ１１ｆ、下側画素はＳ１３ｆである。したがって、上側画素Ｓ１１ｆからみた斜め方向ｄ２と同じ斜め方向は斜め方向ｄ３、下側画素Ｓ１３ｆからみた斜め方向ｄ２と同じ斜め方向は斜め方向ｄ４となる。なお、以下の説明では、上側画素からみた高相関斜め方向（以上の説明では斜め方向ｄ２）と同じ斜め方向を上側斜め方向、下側画素からみた斜め方向ｄ２と同じ斜め方向を下側斜め方向とする。また、上側斜め方向の相関を上側斜め相関、下側斜め方向の相関を下側斜め相関という。

すると、図３から、上側斜め相関は斜め方向ｄ３に配置される上側画素Ｓ１１ｆと下側画素Ｓ１３ｂの相関となり、下側斜め相関は斜め方向ｄ４に配置される上側画素Ｓ１１ｊと下側画素Ｓ１３ｆの相関となるが、いずれの相関も高いと判定される。

上下画素斜め相関検出回路１１４は、このような斜め方向ｄ３、ｄ４についての上側斜め相関および下側斜め相関を検出して、その検出結果に応じた上下画素斜め相関信号Ｓ１１７を出力する。ただし、映像信号Ｓ１０１の画素と１Ｈ遅延信号Ｓ１０３の画素とによって、上側斜め相関および下側斜め相関が変動するため、上下画素斜め相関信号Ｓ１１７は、上側斜め相関および下側斜め相関（双方をまとめて、以下「上下斜め相関」という）を示すデータとなっている。

そして、混合回路１１８は、上下画素斜め相関信号Ｓ１１７と上下相関検出信号Ｓ１１９とに応じ、斜め和信号Ｓ１１３と上下間和信号Ｓ１１５との混合する割合を変更して補間信号Ｓ１２１を生成する。この場合、混合回路１１８は、上下画素斜め相関信号Ｓ１１７が示す上下斜め相関と、上下相関検出信号Ｓ１１９が示す上下相関とを比較する比較手段としての動作を行い、その比較結果に応じて、斜め和信号Ｓ１１３と上下間和信号Ｓ１１５とが混合される割合を変更している。

すなわち、混合回路１１８は、上下斜め相関が上下相関よりも高くなるにしたがい、斜め和が出力されやすくなるようにしている。具体的には、混合回路１１８は、上下斜め相関が上下相関よりも高いときは斜め和信号Ｓ１１３が上下間和信号Ｓ１１５よりも優先して出力されるようにしている。また、混合回路１１８は、上下斜め相関が低くなるにしたがい斜め和信号Ｓ１１３のほかに徐々に上下間和信号Ｓ１１５が出力されるようにし、上下斜め相関が上下相関以下になると、上下間和信号Ｓ１１５が斜め和信号Ｓ１１３よりも優先して出力されるようにしている。

上記実施の形態では、上下斜め相関と上下相関とを比較すると、斜め方向ｄ２のほか、斜め方向ｄ３、ｄ４についても相関が高い。これに対し、上側画素Ｓ１１ｆと下側画素Ｓ１３ｆとの相関は無いから、上下相関は低い。したがって、斜め和信号Ｓ１１３が上下間和信号Ｓ１１５よりも優先され、斜め和信号Ｓ１１３が補間信号Ｓ１２１として出力されることになる（画素Ｓ１９ｆは、画素Ｓ１１ｈと画素Ｓ１３ｄの斜め和から生成されている）。

図４は、四角い物体の角などの切れ目にラインの境目が来た場合を想定した映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３とを示す図である。この場合、斜め方向判定回路１０８によって判定される高相関斜め方向は斜め方向ｄ１２を示している。

しかし、図４に示すように、１Ｈ遅延信号Ｓ１０３は物体が表示されない画素となっているため、映像信号Ｓ１０１と、１Ｈ遅延信号Ｓ１０３とはどの斜め方向にも相関がないはずである。ところが、高相関斜め方向が斜め方向ｄ１２であるからといって、補間信号Ｓ１２１として斜め和を出力してしまうと、切れ目付近に不適切な補間画素が生成されるため、角が欠けてしまったような映像になってしまう。

また、一方、斜めエッジが緩やかな場合は、その斜めエッジが検出されない場合があるが、特許文献１に開示されている従来の走査線補間装置では、エッジが検出されるか否かによって、斜め和と上下間和とが続けざまにばたばた切り替わることがあった。

しかし、本発明における映像信号斜め補間装置１００では、図４に示した映像信号Ｓ１０１と、１Ｈ遅延信号Ｓ１０３についても次のようになる。

図４において、高相関斜め方向が斜め方向ｄ１２であるから、補間画素はＳ１９ｆ、上側画素はＳ１１ｆ、下側画素はＳ１３ｆである。したがって、上側画素Ｓ１１ｆからみた斜め方向ｄ１２と同じ斜め方向は斜め方向ｄ１３、下側画素Ｓ１３ｆからみた斜め方向ｄ１２と同じ斜め方向は斜め方向ｄ１４となる。

また、斜め方向ｄ１４の相関は高く下側斜め相関があるといえるが、斜め方向ｄ１３は相関が低く上側斜め相関があるとはいえない。その一方、上側画素Ｓ１１ｆと下側画素Ｓ１３ｆとについても相関が低いので、この上側画素Ｓ１１ｆと下側画素Ｓ１３ｆとの上下相関は上側斜め相関と同等であり、差がないと考えられる。

つまり、上側斜め相関と上下相関とは、いずれも低く、双方の間に優劣は認められないから、混合回路１１８は、斜め相関はないとして上下間和を優先し、上下間和信号Ｓ１１５を補間信号Ｓ１２１として出力する。

以上のように、映像信号斜め補間装置１００では、混合回路１１８により、斜め和信号Ｓ１１３と上下間和信号Ｓ１１５とが混合された補間信号Ｓ１２１が生成され、その補間信号Ｓ１２１が出力されている。そのため、映像信号斜め補間装置１００では、斜め和信号Ｓ１１３と上下間和信号Ｓ１１５とが続けざまにばたばたと切り替わって出力されるようなことはなく、表示される映像の品位が低下しないようになっている。

また、混合回路１１８では、上下画素斜め相関信号Ｓ１１７と上下相関検出信号Ｓ１１９とに応じ、斜め和信号Ｓ１１３と上下間和信号Ｓ１１５との混合する割合を変更して補間信号Ｓ１２１を生成している。そのため、補間信号Ｓ１２１が斜め相関と上下相関のうちの強い方に即したものとなり、この点でも、映像の品位が高められるようになっている。

さらに、混合回路１１８は、上下斜め相関が上下相関よりも高くなるにしたがい、斜め和が出力されやすくなるようにしているから、斜め相関が高いときは斜め和によって補間画素が生成されるようになっており、この点でも映像の品位が高められるようになっている。

次に、傾斜の緩やかな斜めエッジを備えた映像を表示する映像信号が入力される場合の映像信号斜め補間装置１００の動作内容について説明する。

ここでは、図５に示すような映像信号Ｓ１０１と、１Ｈ遅延信号Ｓ１０３とが映像信号斜め補間装置１００に入力された場合を例にとって説明する。このとき、映像信号斜め補間装置１００は次のように作動することによって、補間信号Ｓ１２１を生成する。

この場合、図５に示した映像信号Ｓ１０１は、Ｓ２１ａからＳ２１ｓまでの間で１９個の画素を有している。これらのうち、Ｓ２１ａ，Ｓ２１ｂ，Ｓ２１ｃ，Ｓ２１ｄ，Ｓ２１ｅ，Ｓ２１ｆ，Ｓ２１ｇ，Ｓ２１ｈ，Ｓ２１ｉ，Ｓ２１ｊ，Ｓ２１ｋ，Ｓ２１ｌ，Ｓ２１ｍの１３個の画素は同じ明るさの例えば白色、Ｓ２１ｎは薄い灰色、Ｓ２１ｏは灰色、Ｓ２１ｐは濃い灰色、Ｓ２１ｑ，Ｓ２１ｒ，Ｓ２１ｓの３つは同じ明るさの黒色となっている。

また、１Ｈ遅延信号Ｓ１０３は、Ｓ２３ａからＳ２３ｓまでの間で画素の明るさが変化し、Ｓ２３ａ，２３ｂ，Ｓ２３ｃ，Ｓ２３ｄ，Ｓ２３ｅは白色、Ｓ２３ｆは薄い灰色、Ｓ２３ｇは灰色、Ｓ２３ｈは濃い灰色、Ｓ２３ｉ，Ｓ２３ｊ，Ｓ２３ｋ，Ｓ２３ｌ，Ｓ２１ｍ，Ｓ２３ｎ，Ｓ２３ｏ，Ｓ２３ｐ，Ｓ２３ｑ，Ｓ２３ｒ，Ｓ２３ｓの１１個は同じ明るさの黒色となっている。

このような映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３とを用いて映像が表示されると、画素Ｓ２１ｎと画素Ｓ２３ｆとが境目になった傾斜の緩やかな斜めエッジを備えた映像が表示される。

映像信号斜め補間装置１００は、図５に示すような映像信号Ｓ１０１が入力される場合も上述のとおり作動するので、次のようにして混合回路１１８から補間信号Ｓ１２１が出力される。

このとき、斜め差分回路１０６は映像信号Ｓ１０１を構成する複数の画素Ｓ２１ａ〜Ｓ２１ｓと、１Ｈ遅延信号Ｓ１０３を構成する複数の画素Ｓ２３ａ〜Ｓ２３ｓとについて、位置関係が互いに斜め方向（または上下方向）となるように配置される画素同士の差分絶対値を算出し、斜め差分絶対値データＳ１０９を出力する。

斜め方向判定回路１０８は、斜め差分絶対値データＳ１０９を入力して、１９通りの斜め方向から最も相関の高い方向を高相関斜め方向として検出して、斜め方向判定信号Ｓ１１１を出力する。この場合、画素Ｓ２１ｏと画素Ｓ２３ｇとの相関が高いため、斜め方向判定回路１０８は、図５に示す斜め方向ｄ２２を高相関斜め方向と判定して斜め方向判定信号Ｓ１１１を出力する。

また、斜め和回路１１０は、斜め方向ｄ２２の各画素、すなわち、画素Ｓ２１ｏと画素Ｓ２３ｇの斜め和を含む各画素の斜め方向ｄ２２に沿った斜め和を算出して斜め和信号Ｓ１１３を出力する。

さらに、上下間和回路１１２は、画素Ｓ２１ａとＳ２３ａ，Ｓ２１ｂとＳ２３ｂ、Ｓ２１ｃとＳ２３ｃ・・・といったように、映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３との上下間和を算出して上下間和信号Ｓ１１５を出力する。

そして、図５における映像信号Ｓ１０１と１Ｈ遅延信号Ｓ１０３との場合、補間画素はＳ２２ｋなので、上側画素はＳ２１ｋ、下側画素はＳ２３ｋになる。したがって、上側画素Ｓ２１ｋからみた斜め方向ｄ２２と同じ斜め方向は上側斜め方向ｄ２３、下側画素Ｓ２３ｋからみた斜め方向ｄ２２と同じ斜め方向は下側斜め方向ｄ２４となる。

すると、図５から、上側斜め相関は斜め方向ｄ２３に配置される上側画素Ｓ２１ｋと下側画素Ｓ２３ｃの相関となり、下側斜め相関は斜め方向ｄ２４に配置される上側画素Ｓ２１ｓと下側画素Ｓ２３ｋの相関となるが、いずれの相関も高いと判定される。

上下画素斜め相関検出回路１１４は、斜め方向ｄ２３、ｄ２４についての上側斜め相関および下側斜め相関を検出して、その検出結果に応じた上下画素斜め相関信号Ｓ１１７を出力する。

また、上下相関検出回路１１６は、第１の遅延信号列Ｓ１０５と、第２の遅延信号列Ｓ１０７とを用いて、各画素の上下方向の差分を算出する一方、算出した差分から上下相関を検出し、その検出した上下相関を示す上下相関検出信号Ｓ１１９を出力する。

さらに、混合回路１１８は、上下画素斜め相関信号Ｓ１１７と上下相関検出信号Ｓ１１９とに応じ、斜め和信号Ｓ１１３と上下間和信号Ｓ１１５との混合する割合を上述のように変更して補間信号Ｓ１２１を出力する。

この場合も、混合回路１１８は比較手段としての動作を行い、上下画素斜め相関信号Ｓ１１７が示す上下斜め相関と、上下相関検出信号Ｓ１１９が示す上下相関とを比較する。すると、図５の場合、斜め方向ｄ２２のほか、上側斜め方向ｄ２３、下側斜め方向ｄ２４についても相関が高い。これに対し、上側画素Ｓ２１ｋと下側画素Ｓ２３ｋとの相関は無いから上下相関は低い。

したがって、斜め和信号Ｓ１１３が上下間和信号Ｓ１１５よりも優先され、斜め和信号Ｓ１１３が補間信号Ｓ１２１として出力されることになる。

そうすると、例えば、補間画素Ｓ２２ｋは画素Ｓ２１ｏと画素Ｓ２３ｇの斜め和から生成されることとなる。同様に補間画素Ｓ２２ｊは画素Ｓ２１ｎと画素Ｓ２３ｆの斜め和から生成されることとなる。そして、この補間画素Ｓ２２ｊが斜めエッジとなった補間信号Ｓ１２１が出力されることになる。この場合、画素Ｓ２１ｎ、Ｓ２２ｊ、Ｓ２３ｆを結ぶラインが図３の場合よりも緩やかになるため、傾斜の緩やかな斜めエッジを備えた映像が表示される。

ところで、補間信号Ｓ１２１は斜め和信号Ｓ１１３と上下間和信号Ｓ１１５とを混合したものであるから、補間画素は斜め和または上下間和のいずれか一方または双方から生成されている。

また、映像信号Ｓ１０１、１Ｈ遅延信号Ｓ１０３を構成する各画素は、斜め和の生成とともに上下間和の生成にも用いられる。したがって、例えば、補間画素Ｓ２２ｋが画素Ｓ２１ｏと画素Ｓ２３ｇの２つの斜め和だけから生成されている場合、すなわち、補間画素Ｓ２２ｋを生成するのに上下間和が用いられていない場合でも、画素Ｓ２３ｇは、斜め方向ｄ２２に沿った画素Ｓ２１ｏとの斜め和のほか、画素Ｓ２１ｇとの上下間和の生成にも用いられることになる。

しかしながら、補間画素Ｓ２２ｋがＳ２１ｏとＳ２３ｇの斜め和のみから生成されている場合において、その同じ画素Ｓ２３ｇを用いた上下間和を混合して補間信号Ｓ１２１を出力したとする。

すると、この場合、補間画素２２ｇはＳ２１ｋとＳ２３ｃの斜め和から生成され、図５に示すように白色となるべきところ、画素Ｓ２３ｇを用いた上下間和（画素Ｓ２１ｇと、画素Ｓ２３ｇとの上下間和）を混合したことにより、補間画素２２ｇは図６に示すように薄い灰色になってしまう。

つまり、高相関斜め方向ｄ２２の斜め和を生成する２つの画素Ｓ２３ｇ、Ｓ２１ｏ（斜め画素）のみを用いて補間画素２２ｋが生成されているときは、その画素Ｓ２３ｇ、Ｓ２１ｏのいずれか一方を用いた上下間和を混合して補間信号Ｓ１２１を出力してしまうと、図６に示すように、本来は白色で表示される映像の一部に画素Ｓ２２ｇによる薄い灰色の表示がされてしまい、画質が劣化してしまう。

そこで、混合回路１１８が斜め画素検出手段としての動作を行い、上記２つの斜め画素のみを用いて補間画素２２ｋが生成されていることを検出したときは、その検出結果に対応する２つの斜め画素のいずれか１つを用いた上下間和を混合せずに補間信号Ｓ１２１を出力するようにしている（斜め画素を用いた上下間和の混合をキャンセルしている）。

こうすることにより、図６に示したように、補間画素２２ｇが薄い灰色で表示されることがなくなり、画質の劣化を防止することができる。

以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。

本発明の実施の形態に係る映像信号斜め補間装置の構成を示すブロック図である。 映像信号斜め補間装置による斜め相関の検出方向を示す図である。 映像信号、１Ｈ遅延信号および補間信号の一例を示す図である。 映像信号、１Ｈ遅延信号および補間信号の他例を示す図である。 傾斜の緩やかな斜めエッジを備えた映像を表示する映像信号、１Ｈ遅延信号および補間信号の一例を示す図である。 傾斜の緩やかな斜めエッジを備えた映像を表示する映像信号、１Ｈ遅延信号および補間信号の他例を示す図である。

符号の説明

１００…映像信号斜め補間装置、１０２…第１の遅延信号生成回路、１０４…第１の遅延信号生成回路、１０６…斜め差分回路、１０８…斜め方向判定回路、１１０…斜め和回路、１１２…上下間和回路、１１４…上下画素斜め相関検出回路、１１６…上下相関検出回路、１１８…混合回路。

Claims (9)

1. 映像信号と、前記映像信号を遅延させた遅延信号とにおける最も相関の高い高相関斜め方向への斜め補間を行う映像信号斜め補間装置であって、
   前記高相関斜め方向の補間位置に配置される補間画素について、前記補間画素の上側に位置する上側画素の前記高相関斜め方向に沿った上側斜め相関と、前記補間画素の下側に位置する下側画素の前記高相関斜め方向に沿った下側斜め相関とをそれぞれ検出する上下斜め相関検出手段と、
   前記映像信号と前記遅延信号とにおける前記高相関斜め方向の斜め和および上下間和を、前記上下斜め相関検出手段の検出結果に応じて混合した補間信号を出力する補間信号出力手段とを有し、
   前記補間信号出力手段は、前記補間画素が前記高相関斜め方向の斜め和を生成する２つの斜め画素のみを用いて生成されるときは、前記２つの斜め画素のいずれか１つを用いて生成される上下間和を混合せずに前記補間信号を出力することを特徴とする映像信号斜め補間装置。
2. 前記２つの斜め画素のみを用いて前記補間画素が生成されていることを検出する斜め画素検出手段を更に有し、
   前記補間信号出力手段は、前記斜め画素検出手段の検出結果に対応する前記２つの斜め画素のいずれか１つを用いて生成される上下間和を混合せずに前記補間信号を出力することを特徴とする請求項１記載の映像信号斜め補間装置。
3. 前記映像信号と前記遅延信号との上下相関を検出する上下相関検出手段を更に有し、
   前記補間信号出力手段は、前記上下斜め相関検出手段により検出された前記上側斜め相関および前記下側斜め相関と、前記上下相関検出手段により検出された前記上下相関との比較結果に応じて、前記斜め和と前記上下間和との混合比率を変更することを特徴とする請求項１または２記載の映像信号斜め補間装置。
4. 前記補間信号出力手段は、前記上側斜め相関および前記下側斜め相関が前記上下相関よりも高くなるにしたがい、前記斜め和が前記上下間和よりも優先されるようにして、前記補間信号を出力することを特徴とする請求項１〜３のいずれか一項記載の映像信号斜め補間装置。
5. 前記高相関斜め方向を検出する斜め方向検出手段を更に有し、
   前記上下斜め相関検出手段は、前記斜め方向検出手段の検出結果に基づいて、前記上側斜め相関と前記下側斜め相関とをそれぞれ検出することを特徴とする請求項１〜４のいずれか一項記載の映像信号斜め補間装置。
6. 前記映像信号および遅延信号に基づいて遅延信号列を生成する遅延信号列生成手段を更に有し、
   前記上下斜め相関検出手段は、前記遅延信号列生成手段により生成された前記遅延信号列に基づいて、前記上側斜め相関と、前記下側斜め相関とをそれぞれ検出することを特徴とする請求項１〜５のいずれか一項記載の映像信号斜め補間装置。
7. 前記上下相関検出手段は、前記遅延信号列生成手段により生成された前記遅延信号列に基づいて、前記上下相関を検出することを特徴とする請求項３〜６のいずれか一項記載の映像信号斜め補間装置。
8. 前記補間信号を用いた映像の表示を制御する表示制御手段を更に有する請求項１〜７のいずれか一項記載の映像信号斜め補間装置。
9. 映像信号と、前記映像信号を遅延させた遅延信号とにおける最も相関の高い高相関斜め方向への斜め補間を行う映像信号斜め補間方法であって、
   前記高相関斜め方向の補間位置に配置される補間画素について、前記補間画素の上側に位置する上側画素の前記高相関斜め方向に沿った上側斜め相関と、前記補間画素の下側に位置する下側画素の前記高相関斜め方向に沿った下側斜め相関とをそれぞれ検出する上下斜め相関検出を行い、
   前記映像信号と前記遅延信号とにおける前記高相関斜め方向の斜め和および上下間和を、前記上下斜め相関検出手段の検出結果に応じて混合した補間信号を出力し、
   前記補間画素が前記高相関斜め方向の斜め和を生成する２つの斜め画素のみを用いて生成されるときは、前記２つの斜め画素のいずれか１つを用いて生成される上下間和を混合せずに前記補間信号を出力することを特徴とする映像信号斜め補間方法。