JP2005354161A - 補間装置 - Google Patents

Abstract

【課題】補間位置の両側の複数の画素間の相関をそれぞれ検出し、その結果に従い適応的に多タップの補間を行い、隣接する２原画素間の１／４、３／４の位置の補間値を出力することで、高域成分を忠実に再現しステップ波形における立ち上がりを急峻にすると共に、画像の輪郭における不自然な波形の発生を抑制し、良好な画質の補間装置を実現する。
【解決手段】原画素の値と隣接する２原画素間の中央の補間値とを切り替え出力する補間回路１０と、前記補間回路の出力画素の内、補間位置に対して一方の側の複数の出力画素間の相関を検出する第１の相関検出回路１４と、他方の側の複数の出力画素間の相関を検出する第２の相関検出回路１５と、第１および第２の相関検出回路により制御され、前記補間回路の４画素以上の出力画素に係数を乗算し、中央位置の補間値を算出する適応補間回路１６から構成される。
【選択図】図１

Description

本発明は、テレビジョン受像機をはじめ、ＣＲＴ、液晶、ＰＤＰ、ＤＬＰなどを用いたディスプレイ装置において、走査線変換等のフォーマット変換に伴い、画像信号を拡大する際の補間装置に関する。

従来の補間装置の基本的な概念は、サンプリング定理に基づいている。サンプリング定理は、入力信号データがサンプリング周波数の１／２の帯域に制限されている場合、この１／２の帯域までは、サンプリングデータにより再現できるという定理である。１／２の帯域までの平坦な周波数特性を再現するためには、理論的には、ｓｉｎ（ｘ）／ｘに対応した係数を持つＦＩＲフィルタ（非巡回型フィルタ）によって原波形データを再現し、画像の拡大の程度に応じた、オーバーサンプリングを行うことによって、出力の画素データが得られる。実際には遅延回路等の規模の制約に伴いＦＩＲフィルタのタップ数が有限となり、係数も近似的なものとなる。その際、高域成分を忠実に再現しようとすれば多くのタップ数が必要となる。

以下、具体的な例として、ＮＴＳＣのインターレース信号をプログレッシブ走査（順次走査）に変換する倍率２の走査線変換に関して述べることとする。特に、フィールド内のおよそ２４０本の走査線から４８０本の走査線に倍密度に変換するいわゆるフィールド内補間について述べる。走査線変換において従来フィールド内の補間をする方式として簡単なもとしては、１つ上のラインと同一データを利用するとか、２ラインの平均をとるものがあげられるが、帯域を向上させるためには、より多くのラインを利用することが求められる。

図１４は従来の補間装置の構成図であり、走査線変換において、フィールド内の４ラインでの補間を行う回路の例を示している。図１４において、１１、１２、１３は遅延回路であり、ここではラインメモリとして動作する。１０１、１０２、１０３、１０４は固定の係数を乗算する係数回路である。以下、係数回路における係数の設定例としては入力の画素に対応した配列で示すこととし、この場合例えば（−１／８， ５／８， ５／８， −１／８）である。１０５は加算器である。

原信号および図１４の補間装置における波形例を図１５に示す。原信号波形が正弦波の場合の原信号波形、入力波形、補間装置での出力波形の例を図１５（１―ａ）、（１―ｂ）、（１―ｃ）に示す。図１５（１―ｃ）において黒丸が原画素、白丸が補間画素を示し、他の図でも同様とする。２ラインによる直線補間の場合、出力の波形例は省略するが、単純に隣接２画素を直線で結んだ中間の位置となり、原信号が図１５（１―ａ）のような正弦波波形の場合、補間後は台形のように上下の部分がつぶれた波形となる。４ラインでの補間では、図１５（１―ｃ）のように正弦波の上下の部分も概ね正しく再現され、２ラインによる直線補間による少ないタップ数での補間に比べると高域成分を忠実に再現でき、良好な波形再現がなされる。

また、隣接する２原画素間の１／４、３／４の位置の補間値を出力する方式は、例えば、特許文献１に示されている。これでは、補間は２タップの直線補間での例が示されている。ここで１／４、３／４の位置の補間値を４タップのＦＩＲ構成とすることは、従来の技術より類推される。参考として、図１２に回路構成例を示す。ここで、補間回路９６においては係数（−１／１６， ５／１６， １４／１６， −２／１６）が乗算された後、加算され、補間回路９６においては係数（−２／１６， １４／１６， ５／１６， −１／１６）が乗算された後、加算されるものとする。４ラインでの補間では、正弦波の上下の部分も概ね正しく再現され、２ラインによる直線補間による少ないタップ数での補間方式に比べると高域成分を忠実に再現でき、ステップ波形における立ち上がりを急峻にすることは可能となる。
特開２００１−１０３４３３号公報

以上のように、上記の構成の補間装置では、帯域制限された入力波形においては、高域成分を概ね忠実に再現でき、良好な波形再現がなされるものの、本来高域成分を多く含む信号やＣＧ等の人工的な信号など帯域制限されていない信号が入力された場合においては必ずしも良好な波形再現がなされない。例えば輝度差のある画像の境界に対応したステップ波形では、リンギング、オーバーシュート、アンダーシュート等の元の信号に存在しない不自然な波形が発生する。２原画素間の中央の位置の補間による走査線変換ではタップ数を増やしたとしても、ステップ波形の立ち上がりを急峻にすることはできない。また、２原画素間の１／４、３／４の位置の補間による走査線変換ではタップ数を増やしたとしても、オーバーシュート、アンダーシュートの増加なしにステップ波形の立ち上がりを改善することはできない。

図１４の補間装置において、ステップ波形の場合の原信号波形、入力波形、補間装置の出力波形例を図１５（２―ａ）、（２―ｂ）、（２―ｃ）に示す。原信号波形がステップ波形の場合には、４ラインで補間を行うことにより、図１５（２―ｃ）に示すように立ち上がりの前後でオーバーシュート、アンダーシュートが発生し、良好な波形再現がなされていない。４ラインより多くのラインを用い、ｓｉｎ（ｘ）／ｘにより近づけたとしても、帯域内信号における高域信号の再現は良好となるものの、ステップの場合等では波形波打つようなリンギング波形がより広範囲に現れ不自然な波形となる。

また図１５（２―ｃ）に示すように立ち上がりの部分（図の左から３画素目と４画素目の黒丸の間の部分に相当）の傾きは、左から３画素目と４画素目の原画素を示す黒丸を結んだ直線の傾きに制限されてしまい、使用するライン数を増加してもこの部分の傾きを急峻にすることはできない。非線形な処理により例えば左から３画素と４画素目の黒丸の間の白丸のレベルを、図ではちょうど中間のレベルであるがこれを下方または上方に移動させることにより見かけ上その部分の傾きを増加させるような方式は存在する。しかし、このような方式では、例えば斜めエッジにおいて、本来、なだらかに画像の重心が移動するところが、重心がいずれかに偏るような動作をもたらすため、ギザギザしたジャギーが顕著となり、不自然な画像となる。

また、１／４、３／４の位置の補間値を出力する方式において、多タップの補間フィルタを使用することにより、ステップ波形における立ち上がりを急峻にすることは可能である。しかし、中間位置での補間において多タップの補間フィルタを使用した場合と同様に、立ち上がりの前後でオーバーシュート、アンダーシュートが発生し、良好な波形再現がなされていない。このような回路を図１２に示す。またその場合の波形図を図１３に示す。

上記課題を解決するために、本発明の補間装置は、多画素を用いた多タップの適応補間回路により隣接する２原画素間の１／４、３／４の位置の補間値を出力し、その際、相関検出回路により補間位置に対して一方の側、他方の側の相関を検出する相関を検出し、この相関検出結果により、適応補間回路を制御することを特徴とするものである。ここで、補間位置に対して一方の側、他方の側という表現は、一般には、左側、右側とか上側、下側を示し、走査線変換の説明においては上側、下側を示す。

このように適応補間回路において、多画素を使用した多タップの補間を行うとともに、上側、下側で相関に従い制御を行うことにより、良好な高域信号を再現するとともに、従来多タップの補間フィルタを使用した場合発生していたリンギング、オーバーシュート、アンダーシュート等の元の信号に存在しない不自然な波形の発生を抑制できる。

以上のように、第１〜第１１の発明の補間装置によれば、補間位置に対して両側の複数の画素間の相関をそれぞれ検出し、その結果に従い、適応的に多タップの補間により隣接する２原画素間の１／４、３／４の位置の補間値を出力することで、通常の信号における高域成分を忠実に再現し、ステップ波形における立ち上がりを急峻にすることができ、斜め線においてもジャギーが改善されより自然な画像を得ると共に、画像の輪郭におけるリンギング、オーバーシュート、アンダーシュート等の元の信号に存在しない不自然な波形の発生をなくし、画質劣化の少ない補間装置を実現できる。

（実施の形態１）
図１は、第１の実施の形態における補間装置の構成図である。以下、図１の補間装置の動作について、走査線補間装置とした場合を例に取り、図２から図６と合わせ説明する。図１において、１０は隣接する上下の２原画素間の中央の補間値と原画素の値とを切り替えプログレッシブ信号を出力する補間回路、１１、１２、１３は画像信号を一定期間遅延する遅延回路、１４、１５は相関検出回路、１６は適応補間回路である。

まずサンプリングされたインターレースの画像信号が補間回路１０の入力端子に入力される。補間回路１０は隣接する２原画素間の中央の補間値と原画素の値とを切り替えプログレッシブ信号を出力する。遅延回路１１、１２、１３はここではラインメモリに相当する。補間回路１０の出力は、遅延回路１１、１２、１３によりそれぞれ１ラインずつ順次遅延される。入力信号および遅延回路１１、１２の出力は相関検出回路１４に入力される。遅延回路１１、１２、１３の出力は相関検出回路１５に入力される。入力信号、遅延回路１１、１２、１３の出力、相関検出回路１４、１５の出力は適応補間回路に入力される。

補間回路１０の構成例を図２に示す。以下図２の内容について説明する。図２において、２１、２２、２３は画像信号を一定期間遅延する遅延回路、２４、２５は相関検出回路、２６は適応補間回路、２７は出力回路である。

まず入力延回路２１に入力された信号は遅延回路２１、２２、２３によりそれぞれ１ラインずつ順次遅延さ端子にサンプリングされた画像信号が遅延回路２１に入力される。遅延回路２１、２２、２３はラインメモリに相当する。入力信号および遅延回路２１、２２の出力は相関検出回路２４に入力される。遅延回路２１、２２、２３の出力は相関検出回路２５に入力される。入力信号、遅延回路２１、２２、２３の出力、相関検出回路２４、２５の出力は適応補間回路に入力される。適応補間回路１６は、相関検出回路１４，１５の出力により制御される。原信号および適応補間回路の出力は出力回路２７で１／２に時間圧縮され、交互に切替えられ、プログレッシブ出力される。

上記の説明からわかるように、第１の実施の形態における補間装置は、図２に示す補間回路１０と図１における補間回路１０以外の回路とからなり、それぞれが似たような回路構成となっている。前者は隣接する上下の２原画素間の中央の補間値と原画素の値とを切り替えプログレッシブ信号を出力し、後者はプログレッシブ信号においてさらに隣接する上下の２画素間の中央の補間値とを出力する。この例では２画素間の中央の補間値を出力する回路を同様な構成としている。このため、図２における適応補間回路２６は、以下に述べる図１における適応補間回路１６と同様な構成であり、また、相関検出回路２４，２５は、以下に述べる相関検出回路１４，１５と同様な構成となっている。

相関検出回路は、上側、下側の相関の検出を行う。相関検出回路１４，１５の構成例を図３に示す。以下、図３について説明する。相関検出回路１４では上側３個の画素値が、最大値検出回路および最小値検出回路に入力され、それらの最大値および最小値を求め、差分回路により最大値と最小値の差が求められ出力される。相関検出回路１５は、下側３個の画素値が、最大値検出回路および最小値検出回路に入力され、それらの最大値および最小値を求め、差分回路により最大値と最小値の差が求められ出力される。出力は規格化され、０から１の値をとるものとする。

適応補間回路は、３画素以上の画素を使用した補間を行うことにより、高域成分の再現を可能とするとともに、相関検出回路の出力により適応的に制御される。上側、下側の相関が概ね同等な場合は従来の補間処理を行い、ステップ波形のように上側、下側で相関が異なる場合、相関の小さい側の画素値を使用度合いを少なくするような制御を行う。上側、下側で相関が異なる場合、例えば上下の２画素を用いた直線補間を行う。

適応補間回路１６の構成例を図５に示す。以下、図５について説明する。５１、５２は補間回路、５３は最小値検出回路、５４は制御回路、５５は加算器である。遅延回路１１、１２の出力は、補間回路５１に入力される。入力信号および遅延回路１１、１２、１３の出力は、補間回路５２に入力される。補間回路５２の出力は制御回路５２に入力され、制御回路５２の出力と補間回路５１の出力は加算器５３で加算され出力される。相関検出回路１４、１５の出力は、最小値検出回路５２に入力される。最小値検出回路５３の出力により制御回路５２においてレベルが制御され出力される。

補間回路５２は、前記複数の原画素に係数を乗算および加算を行うことにより補間値を算出する。係数の設定例をについては、４個の原画素に対応した入力信号、遅延回路１１、１２、１３の出力の値に乗算する４個の係数の配列として示す。補間回路５１は低域成分の処理に相当し、中央２画素の平均をとる補間回路であり、係数（０，１／２， １／２，０）が乗算された後、加算される。補間回路５２は高域成分の処理に相当し、例えば、係数（−１／８， １／８， １／８， −１／８）が乗算された後、加算される。最小値検出回路５２は、前記相関検出回路１４、１５の出力の内、小さい方を出力する。

制御回路５４を可変クリップ回路として構成した例を図６（ａ）に示す。以下図６に示す可変クリップ回について説明する。入力は絶対値回路６１に入力され、入力の絶対値を出力する。この絶対値出力と制御値は比較回路６２に入力され、比較回路の出力に応じ、選択回路６３のおいて絶対値回路の出力と制御値を切り替え出力する。選択回路６３の出力は符号回路６４に入力され、ここで符号が入力の符号に戻される。以上により、入力の絶対値が制御入力の値を超える場合、制御入力の値にクリップされ出力される。上記可変クリップ回路の特性例を図６（ｂ）に示す。

原信号波形が、正弦波波形、ステップ波形の場合について、原信号波形および第１の実施の形態における主要部分の波形を図７に示し、この図を参照しつつ説明を行う。

入力波形が図７（１―ｂ）のような正弦波波形の場合において、補間回路１０により中央の画素を補間する処理に注目し説明する。便宜上、正弦波波形での下側の値を０、上側の値を１とし、０以下、１以上の値も取りえるものとする。その補間位置に関わる４個の原画素は、（０， １， １， ０）である。ここで上側の３画素は（０， １， １）であり、相関が弱く、相関検出回路１４の出力は１が出力される。

下側の３画素は（１， １， ０）であり、同様に相関が弱く、相関検出回路１５の出力は１が出力される。このため、最小値検出回路５２の出力は１となり、乗算器である制御回路５２に制御値が１として乗算される。１は制御値として最大値であるため、この場合、補間回路５１の出力はそのままとなり、係数（−１／８， １／８， １／８， −１／８）が乗算された後加算され、さらに補間回路４１出力と加算される。これは、結果的に、４個の原画素に対し係数（−１／８， ５／８， ５／８， −１／８）が乗算されたのと同様になり、図７（１―ｃ）示すように、原画素の中間位置に補間画素が挿入された形となり、従来と同等な走査線補間がなされる。

さらに補間回路１０以後の回路により、上記の補間回路１０と同様な補間処理が行われ、補間回路１０の出力画素の中間位置の画素が補間され出力される。この波形においては、上下いずれの側も相関は少ないと見なされ、結果として、従来と同等な４タップの補間処理がなされ、図７（１―ｄ）示すようになる。隣接する２原画素間を基準にすると１／４、３／４の位置の補間値が出力される。

入力波形が図７（２―ｂ）のようなステップ波形の場合において、立ち上がり直後の補間位置に注目し説明する。便宜上、ステップ波形での下側の値を０、上側の値を１とし、０以下、１以上の値も取りえるものとする。その補間位置に関わる４個の原画素は、（０， １， １， １）である。ここで上側の３画素は（０， １， １）であり、相関が弱く、相関検出回路１４の出力は１が出力される。下側の３画素は（１， １， １）であり、相関が強く、相関検出回路１５の出力は０が出力される。このため、最小値検出回路５２の出力は０となり、乗算器である制御回路５２では０が乗算された後加算され、さらに補間回路４１出力と加算される。

これは、結果的に、４個の原画素に対し係数（０， １／２， １／２， ０）が乗算されたのと同様になり、図７（２―ｃ）示すように、補間値は１となり、原画素の中間位置に補間画素が挿入された形となり、オーバーシュートは発生せず走査線補間がなされる。

さらに補間回路１０以後の回路により、上記の補間回路１０と同様な補間処理が行われ、補間回路１０の出力画素の中間位置の画素が補間され出力される。立ち上がりの部分の画素においては、上下いずれの側も相関は少ないと見なされ、結果として、従来と同等な４タップの補間処理がなされる。

平坦な部分の画素においては、上下いずれの側も相関は少ないと見なされ、オーバーシュート等が発生しない補間がなされる。この結果、図７（２―ｄ）示すような波形となる。

以上により、通常の信号において高域成分を忠実に再現し、ステップ波形における立ち上がりを急峻にすると共に、画像の輪郭におけるリンギング、オーバーシュート、アンダーシュート等の元の信号に存在しない不自然な波形の発生をなくし、画質劣化の少ない補間装置を実現できる。

また、上下の２つの原画素間の１／４、３／４の位置の補間値を出力するようにしたことにより、多タップの補間フィルタを使用したことと合わせ、ステップ波形における立ち上がりを急峻にすることができる。また、２つの原画素間の１／４、３／４の位置の補間値は両方とも均等な性質を持ち、帯域も等しくなる。このため、例えば、斜め線においてもジャギーが軽減し、より自然な画像が得られる。

また、隣接する２原画素間の中央の値を補間し、さらにその出力の隣接する２原画素間の中央の値を補間する構成であるため、従来からある隣接する２原画素間の中央の補間値と原画素の値とを切り替え出力する様々な方式に適用できる。例えば、後述のようにフィールド内補間とフィールド間補間を切替える動き適応方式にも適用可能である。

以上、第１の実施の形態における補間装置の構成例として図１について説明を行ったが、図１の個々の回路としては、以下のような構成でも良い。

補間回路１０は、動き適応補間回路としてもよい。動き適応補間回路は、例えば、上下のラインの画素より補間値を算出するフィールド内補間回路と、前後のフィールドの画素より補間値を算出するフレーム間補間回路と、画像の動きを検出する動き検出回路と、出力前記フィールド内補間回路および前記フレーム間補間回路の出力を混合する混合回路からなる。前記混合回路は、前記動き検出回路に制御され、比率を変え混合を行う。

相関検出回路１４，１５の他の構成例を図４に示す。以下、図４について説明する。図４は３タップのＨＰＦ構成としている。４１、４２、４３は係数を乗算する係数回路、４４は加算器、４５絶対値回路である。上下方向に連続した３個の原画素の値がそれぞれの端子に入力に対し、それぞれ係数回路４１，４２，４３によりの固定の係数が乗算される。係数は、例えば−１／２、１、−１／２の値とする。これらの係数が乗算された後、加算器６４により加算され、出力される。これにより、相関が強い場合、つまり３個の入力の値が近い場合は小さな値を出力する。例えば３画素の値が同一の場合は０を出力する。また、相関が弱い場合、つまり３画素の値が大きく変化する場合は大きな値を出力する。出力は規格化され、０から１の値をとるものとする。

また、適応補間回路の他の例としては、相関の強い側があれば、そちらの画素を優先的に使用するよう制御する方法もある。適応補間回路における制御回路としては乗算器としてもよい。

（実施の形態２）
図８は、第２の実施の形態における補間装置の構成図である。以下、図８の補間装置の動作について走査線補間装置とした場合を例に取り説明する。図８において、１１、１２、１３は画像信号を一定期間遅延する遅延回路、７４、７５は相関検出回路、７６、７７は適応補間回路、７８は出力回路である。

まず、サンプリングされたインターレースの画像信号が入力端子に入力され、ラインメモリに相当する遅延回路１１、１２、１３によりそれぞれ１ラインずつ順次遅延される。入力信号および遅延回路１１、１２の出力は相関検出回路１４に入力され、遅延回路１１、１２、１３の出力は相関検出回路１５に入力される。入力信号、遅延回路１１、１２、１３の出力、相関検出回路１４、１５の出力は適応補間回路７６，７７に入力される。適応補間回路７６，７７の出力は、上下の２つの原画素間の１／４、３／４の位置の補間値であり、これらは、出力回路７８で１／２に時間圧縮され、交互に切替えられ、プログレッシブ信号として出力される。

相関検出回路７４、７５は、第１の実施の形態において説明を行ったように、例えば図３に示すように３入力の最大値および最小値を求め、それらの差分を求めるような構成からなる。

適応補間回路７６，７７は、例えば第１の実施の形態で説明した図５のような構成からなる。但し、第１の実施の形態における適応補間回路１６、２６はいずれも上下の２画素間の１／２の位置の補間値を出力するものとして説明を行ったが、第２の実施の形態における適応補間回路７６，７７は上下の２つの原画素間の１／４、３／４の位置の補間値を出力するものとする。このため、具体内容は、第１の実施の形態における適応補間回路の例とは多少異なるため以下それについて説明を行う。

適応補間回路７６において、補間回路５１は、低域成分の処理に相当し、係数（０， ３／４， １／４， ０）が乗算された後加算され、上下の２つの原画素間の上から１／４の位置の補間値を出力する。補間回路５２は、高域成分の処理に相当し、４入力に対し入力係数（−２／１６， ２／１６， １／１６， −１／１６）が乗算された後、加算される。通常は、制御回路５４は補間回路５２の出力をそのまま出力し、結果として、補間回路５１の出力と補間回路５２の出力が加算される。このため適応補間回路７６全体としては、４入力に対し係数（−２／１６， １４／１６， ５／１６， −１／１６）が乗算された後、加算されたのと同等になる。

適応補間回路７７において、補間回路５１は、低域成分の処理に相当し、係数（０， １／４， ３／４， ０）が乗算された後加算され、上下の２つの原画素間の上から３／４の位置の補間値を出力する。補間回路５２は、高域成分の処理に相当し、４入力に対し係数（−１／１６， １／１６， ２／１６， −２／１６）が乗算された後、加算される。通常は、制御回路５４は補間回路５２の出力をそのまま出力し、結果として、補間回路５１の出力と補間回路５２の出力が加算される。このため適応補間回路７７全体としては、４入力に対し係数（−１／１６， ５／１６， １４／１６， −２／１６）が乗算された後、加算されたのと同等になる。

適応補間回路７６，７７のいずれにおいても最小値検出回路５２は、前記相関検出回路７４、７５の出力の内、小さい方を出力する。制御回路５２は例えば乗算器が用いられる。

図９に、正弦波波形、ステップ波形の場合について、原信号波形および第２の実施の形態における注目部分の波形を示す。以下この図を参照しつつ説明を行う。

入力波形が図９（１―ｂ）のような正弦波波形の場合において、図での頂点付近の補間位置に注目し説明する。この補間位置に関わる４個の原画素は、（０， １， １， ０）である。ここで上側の３画素は（０， １， １）であり、相関が弱く、相関検出回路７４の出力は１が出力される。下側の３画素は（１， １， ０）であり、同様に相関が弱く、相関検出回路７５の出力は１が出力される。

このため、適応補間回路７６における最小値検出回路の出力は１となり、乗算器である制御回路５４に制御値として１が入力され、この値が乗算される。このため、制御回路５４は特別な処理を行わないことと同等となり、補間回路５１の出力はそのまま制御回路５２の出力となる。このため、適応補間回路７６での補間回路５２においては係数（−２／１６， ２／１６， １／１６， −１／１６）が乗算された後加算され、補間回路５１においては係数（０， １／４， ３／４， ０）が乗算された後加算され、さらに補間回路５１と補間回路５２出力が加算される。これは、結果的に、４入力に対し、係数（−２／１６， １４／１６， ５／１６， −１／１６）が乗算された後加算されたのと同等になる。

適応補間回路７７においても適応補間回路７６の場合とほぼ同様な動作を行う。最小値検出回路５３の出力は１となり、乗算器である制御回路５２に制御値として１が乗算される。このため、補間回路５１の出力はそのまま制御回路５２の出力となり、補間回路５２においては係数（−２／１６， ２／１６， １／１６， −１／１６）が乗算された後加算され、補間回路４１においては係数（０， １／４， ３／４， ０）が乗算された後加算され、さらに補間回路４１と補間回路５２出力が加算される。これは、結果的に、４入力に対し、係数（−２／１６， １４／１６， ５／１６， −１／１６）が乗算された後加算されたのと同等になる。

以上の結果、図９（１―ｃ）示すように、従来考え方延長で、上下の２つの原画素間の１／４、３／４の位置の補間を行い、それらを４タップで構成した場合の補間がなされる。

次に入力波形が図９（２―ｂ）のように原信号波形がステップ波形の場合において、立ち上がり直後の補間位置に注目し説明する。その補間位置に関わる４個の原画素は、（０， １， １， １）である。

ここで上側の３画素は（０， １， １）であり、相関が弱く、相関検出回路７４の出力は１が出力される。下側の３画素は（１， １， １）であり、同様に相関が強く、相関検出回路７５の出力は０が出力される。このため、適応補間回路７４、７５における最小値検出回路５２の出力は０となり、乗算器である制御回路５２に制御値が０として乗算されるため補間回路５１の出力は０となる。このため、加算回路５５の出力は補間回路５１出力となる。

これは、結果的に、適応補間回路７４において、４入力に対し係数（０， ３／４， １／４， ０）が乗算された後加算されたのと同等になる。同様に、適応補間回路７５において、４入力に対し係数（０， １／４， ３／４， ０）が乗算された後加算されたのと同様になる。図９（２―ｃ）示すように、補間値である適応補間回路７４、７５の出力は１となり、オーバーシュートは発生しない。立ち下がり直後の補間位置に対しても同様に動作し、アンダーシュートは発生しない。

以上により、通常の信号において高域成分を忠実に再現し、ステップ波形における立ち上がりを急峻にすると共に、画像の輪郭におけるリンギング、オーバーシュート、アンダーシュート等の元の信号に存在しない不自然な波形の発生をなくし、画質劣化の少ない補間装置を実現できる。

（実施の形態３）
図１０は、第３の実施の形態における補間装置の構成図である。以下、この補間装置について、走査線補間装置とした場合を例に取り説明する。図１０において、８０は上下の２原画素間の上から１／４、３／４の位置の補間値を算出し、これらを時間的に圧縮し切り替えを行いプログレッシブ信号を出力する補間回路、８１、８２は画像信号を一定期間遅延する遅延回路、８３、８４、８５は係数回路、８６，８７は加算回路、８８は最大値検出回路、８９は最小値検出回路、９０は制御回路である。

まずサンプリングされたインターレースの画像信号が補間回路８０の入力端子に入力される。補間回路８０は上下の２原画素間の上から１／４、３／４の位置の補間値を算出し、これらを時間的に圧縮し切り替えを行うことによりプログレッシブ信号を出力する。補間回路８０は、例えば、第２の実施の形態における補間装置と同等の構成とすることができ、以下、そのような例について説明を行う。第２の実施の形態における補間装置については、前述の通りである。

補間回路８０の出力は、ラインメモリに相当する遅延回路８１、８２によりそれぞれ１ラインずつ順次遅延される。ここで、遅延回路８１の出力を補間回路８０の出力における注目画素の値に相当するとするば、遅延回路８１の入力および遅延回路８２の出力は、注目画素の上下の画素値に相当する。遅延回路８１の入力および出力、遅延回路８２の出力は係数回路８３、８４、８５により係数として例えば、−１／４、１／２、−１／４が乗算され、加算器８６で加算される。これら遅延回路、係数回路、加算器によりＨＰＦが構成されている。注目画素値に相当する遅延回路８１の出力とＨＰＦ出力は、加算器８７で加算される。ここまでの処理は、注目画素値に高域成分であるＨＰＦ出力を加算する輪郭強調回路に相当する。

最大値検出回路８８、最小値検出回路８９は、遅延回路８１の入力および出力、遅延回路８２の出力、つまり注目画素およびその前後の３画素の値の最大値、最小値を検出する。加算器８７の出力は、制御回路９０を経由し出力される。制御回路９０は最大値検出回路８８、最小値検出回路８９の出力により制御される。制御回路９０は、例えば、入力の上限が最大値検出回路８８によりクリップされ、入力の下限が最小値検出回路８９によりクリップされるクリップからなる。

原信号波形が、正弦波波形、ステップ波形の場合において、原信号波形および第３の実施の形態の補間装置における主な部分の波形を図１１に示す。以下、この図を参照しつつ説明を行う。

まず、入力波形が図１１（１―ｂ）のような正弦波波形の場合において、図１１での中央の頂点付近の補間位置に注目し説明する。前記補間位置に関わる４個の原画素は、（０， １， １， ０）である。ここで補間回路８０は、第２の実施の形態における補間装置と同等の構成であるため、中央の１の値を取る２画素間の上から１／４、３／４の位置の補間値は、結果的に、４入力に対し、係数（−２／１６， １４／１６， ５／１６， −１／１６）、係数（−２／１６， １４／１６， ５／１６， −１／１６）が乗算された後加算されのと同様になり、補間回路８０の出力波形は図１１（１―ｃ）のようになる。この波形に対し、もとの値とＨＰＦ出力の値を加算した加算器８７の出力は、ＨＰＦ出力の値の分増加するが、最大値検出回路８８、最小値検出回路８９、制御回路９０により、もとの注目画素値とその前後の３画素の最大値以上または最小値以下とならないようなクリップ処理が行われるため、第３の実施の形態の補間装置の出力は加算器８７の出力と同じ値となる。正弦波波形の傾斜の部分については、制御回路９０でクリップ処理を行れないものの高域成分が少ない。このため、最終出力波形である図１１（１―ｄ）は補間回路８０の出力波形はである図１１（１―ｃ）とほぼ等しくなる。

次に、入力波形が図１１（２―ｂ）のようなステップ波形の場合において、中央の立ち上がり部分の補間位置に注目し説明する。前記補間位置に関わる４個の原画素は、（０， ０， １， １）である。ここで補間回路８０は、第２の実施の形態における補間装置と同等の構成であるため、中央の１の値を取る２画素間の上から１／４、３／４の位置の補間値は、結果的に、４個の原画素に対し、係数（−２／１６， １４／１６， ５／１６， −１／１６）、係数（−１／１６， ５／１６， １４／１６， −２／１６）が乗算された後加算されたのと同様になり、補間回路８０の出力波形は図１１（２―ｃ）のようになる。

この波形に対し、もとの値とＨＰＦ出力の値を加算した加算器８７の出力は、ＨＰＦ出力の値の分を増加する。この場合は、最大値検出回路８８、最小値検出回路８９、制御回路９０により、もとの注目画素値とその前後の３画素の最大値以上または最小値以下とならないような処理が行われるものの、加算器８７の出力がもともと最大値以上または最小値以下であるため、結果的に制御回路９０では処理が行われないこととなり、ＨＰＦによる輪郭補正成分が加算されたことになる。

その他の部分は、一旦、ＨＰＦ出力が加算される分増加するが、最大値検出回路８８、最小値検出回路８９、制御回路９０により、もとの注目画素値とその前後の３画素の最大値以上または最小値以下とならないような処理が行われるため、ＨＰＦによる輪郭補正処理は行われない。

以上のように、高域強調効果が、ステップ波形の立ち上がりの部分にのみ作用しやすい構成となっており、オーバーシュート、アンダーシュートを付加、もしくは増加することなく、立ち上がりの急峻さのみを増加させることができる。

ここで、補間回路８０は、第２の実施の形態における補間装置と同等の構成とした場合の例について説明を行ったが、第１の実施の形態における補間装置と同等の構成としてもよく、同等な効果が得られる。また、図１２のような構成としてもよく、この場合は、ステップ波形において補間回路８０の出力が多少のオーバーシュート、アンダーシュートが発生するものの、オーバーシュート、アンダーシュートを増加することなく、立ち上がりの急峻さを増加させることができる。

本発明にかかる補間装置は、高域成分を忠実に再現しステップ波形における立ち上がりを急峻にすると共に、不自然な波形の発生を抑制し、良好な画質の良好で画質劣化の少ない波形応答を実現できる効果を有し、テレビジョン受像機をはじめ、ＣＲＴ、液晶、ＰＤＰ、ＤＬＰなどを用いたディスプレイ装置において、走査線変換等のフォーマット変換に伴い、画像信号を拡大する際の補間装置として有用である。

本発明の実施の形態１における補間装置の構成図 図１における補間回路の構成図 図１における相関検出回路の構成図 図１における相関検出回路の他の構成図 図１における適応補間回路の構成図 図５における制御回路の構成図 本発明の実施の形態１の補間装置における波形図 本発明の実施の形態２における補間装置の構成図 本発明の実施の形態２の補間装置における波形図 本発明の実施の形態３における補間装置の構成図 図１０の補間装置における波形図 図１０における補間回路の構成図 図１２の補間回路における波形図 従来の補間装置の構成図 従来の補間装置における波形図

符号の説明

１０、８０ 補間回路
１１、１２、１３、２１、２２、２３ 遅延回路
１４、１５、２４、２５ 相関検出回路
１６、２６ 適応補間回路
２７、７８ 出力回路
３１ 最大値検出回路
３２、５３ 最小値検出回路
３３ 差分回路
４１、４２、４３、１０１、１０２、１０３、１０４ 係数回路
４４、５５、８６、１０５ 加算器
５１、５２、７６、７７ 補間回路
５４、９０ 制御回路
４５、６１ 絶対値回路
６２ 比較回路
６３ 選択回路
６４ 符号回路

Claims (6)

1. 隣接する２原画素間の中央の補間値と原画素の値とを切り替え出力する第１の補間回路と、前記第１の補間回路の出力画素の内、補間位置に対して一方の側の出力画素間の相関を検出する第１の相関検出回路と、他方の側の出力画素間の相関を検出する第２の相関検出回路と、前記第１の補間回路の出力画素に係数を乗算し補間値を算出する第１の適応補間回路からなり、前記第１の適応補間回路が前記第１および第２の相関検出回路の出力により制御され、隣接する２原画素間の１／４、３／４の位置の補間値を出力することを特徴とする補間装置。
2. 第１の補間回路が、補間位置に対して一方の側の画素間の相関を検出する第３の相関検出回路と、他方の側の画素間の相関を検出する第４の相関検出回路と、複数の前記原画素に係数を乗算し補間値を算出する第２の適応補間回路からなり、前記第２の適応補間回路が前記第３および第４の相関検出回路の出力により制御されることを特徴とする請求項１記載の補間装置
3. 第１の補間回路が、補間位置に対し上下のラインより補間値を算出するフィールド内補間回路と、前後のフィールドの画素より補間値を算出するフレーム間補間回路と、画像の動きを検出する動き検出回路と、出力前記フィールド内補間回路および前記フレーム間補間回路の出力を混合する混合回路からなり、前記動き検出回路により前記混合回路が制御されることを特徴とする請求項１記載の補間装置
4. 第１の適応補間回路が、補間位置の両側に直線に並んだ複数の原画素に係数を乗算し低域の補間成分を出力する第２の補間回路と、前記複数の原画素に係数を乗算し高域の補間成分を出力する第３の補間回路と、前記第３の補間回路の出力を制御する第１の制御回路と、前記第２の補間回路の出力と前記制御回路の出力とを加算することを特徴とする請求項１記載の補間装置
5. 直線に並んだ原画素の内、補間位置に対して一方の側の複数画素間の相関を検出する第５の相関検出回路と、他方の側の複数画素間の相関を検出する第６の相関検出回路と、前記原画素に係数を乗算し、隣接する２原画素間の１／４、３／４の位置の補間値を算出する第３および第４の適応補間回路とからなり、前記第３および第４の適応補間回路が前記第５および第６の相関検出回路の出力により制御されることを特徴とする補間装置
6. 隣接する２画素間の１／４、３／４の位置の補間値を算出する第４の補間回路と、前記第４の補間回路の出力の複数画素より高域成分を抽出するＨＰＦと、前記第４の補間回路およびＨＰＦのそれぞれの出力を加算する加算器と、前記加算器の出力を制御する第２の制御回路と、前記第２の制御回路が、前記第４の補間回路の補間位置周辺の複数の出力画素値の最小値および最大値により制御されることを特徴とする補間装置

Images