JP2013192094A - 映像拡大装置及び映像拡大方法 - Google Patents

Abstract

【課題】ジャギーを低減した拡大処理を行う。
【解決手段】実施の形態に係る映像拡大装置は、入力映像データに対して空間的に２次微分処理を施す２次微分回路と、前記２次微分回路の出力を多値化する多値化処理部と、画像の輪郭形状に対応し補間方向が割当てられた固定パターンが複数記憶された記憶部から前記固定パターンを読み出して、前記多値化処理部の出力の空間的分布と読み出した複数の前記固定パターンとをそれぞれ比較して、前記多値化処理部の出力に対応する前記固定パターンを求め、求めた固定パターンに割当てられた補間方向を補間方向候補とする補間方向候補判定部と、前記補間方向候補が複数の場合には複数の前記補間方向候補から１つの補間方向を選択する補間方向選択部と、前記入力映像データが入力され、前記補間方向選択部が選択した補間方向に基づいて補間に用いる画素を決定して補間画素を生成する補間処理部とを具備する。
【選択図】図１

Description

本発明の実施の形態は、映像拡大装置及び映像拡大方法に関する。

近年、高画質化の要求に伴い、表示装置における表示可能な解像度は大きくなっている。このような高解像度の表示装置に、比較的解像度が低い画像データが入力されることがある。この場合には、表示装置の画面上に表示される画像は比較的小さい。このような場合等、表示装置において、入力画像を拡大処理して表示することがある。

従来、画像の拡大処理として画素補間技術を用いたものがある。画素補間は、入力画像には存在しない画素値を周辺の画素値を利用して補間する技術であり、ＦＩＲフィルタ(Finite Impulse Response Filter)を用いた方法等がある。

しかしながら、このような画素補間技術を利用した拡大処理では、絵柄によっては、斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合があるという問題があった。

特開２０００−２２８７２３号公報

本発明の実施形態は、ジャギーを低減した拡大処理を行うことができる映像拡大装置及び映像拡大方法を提供することを目的とする。

本発明の実施の形態に係る映像拡大装置は、入力映像データに対して空間的に２次微分処理を施す２次微分回路と、前記２次微分回路の出力を多値化する多値化処理部と、画像の輪郭形状に対応し補間方向が割当てられた固定パターンが複数記憶された記憶部から前記固定パターンを読み出して、前記多値化処理部の出力の空間的分布と読み出した複数の前記固定パターンとをそれぞれ比較して、前記多値化処理部の出力に対応する前記固定パターンを求め、求めた固定パターンに割当てられた補間方向を補間方向候補とする補間方向候補判定部と、前記補間方向候補が複数の場合には複数の前記補間方向候補から１つの補間方向を選択する補間方向選択部と、前記入力映像データが入力され、前記補間方向選択部が選択した補間方向に基づいて補間に用いる画素を決定して補間画素を生成する補間処理部とを具備する。

本発明の第１の実施形態に係る映像拡大装置を示すブロック図。 丸印によって画像中の３×３画素を示す説明図。 図２の画素範囲の入力映像データを水平及び垂直方向に２倍に拡大した場合における出力映像データのサンプル位置を示す説明図。 入力映像データの一例を示す説明図。 ＦＩＲフィルタを用いて図４の入力データを水平及び垂直方向に２倍に拡大した場合の出力映像データを示す説明図。 図４の入力データに対する４値化処理部１３の出力を説明するための説明図。 固定パターンの一例を示す説明図。 ４値化データの一例を示す説明図。 補間方向候補除外判定部１６を説明するための説明図。 補間方向候補除外判定部１６を説明するための説明図。 補間方向選択部１７の選択方法を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 映像拡大装置１０によって図４に示す入力データを水平及び垂直方向に２倍に拡大して示す説明図。 本発明の第２の実施の形態を示すブロック図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施形態に係る映像拡大装置を示すブロック図である。

本実施の形態においては、画素補間によって画像の拡大処理を行う。本実施の形態における画素補間では、絵柄の連続性（絵柄の方向）を考慮し、絵柄の輪郭部分の補間画素については、輪郭に沿う方向である補間方向の複数の画素を用いた演算によって補間画素を生成する。輪郭は画像のエッジ検出を行うことで判定する。本実施の形態においては、予め、想定される複数の輪郭形状（補間方向）のパターン（以下、固定パターンという）を用意し、エッジ検出結果に基づいて、入力画像のパターンと一致する固定パターンを検出することで、画素補間に用いる画素を決定するための補間方向を求めるようになっている。

先ず、図２乃至図５の説明図を参照して、拡大処理に伴って生じるジャギーについて説明する。

図２は丸印によって画像中の３×３画素を示している。各画素の画素位置を水平方向及び垂直方向の画素数（ｍ，ｎ）（ｍ＝０，１，２，…、ｎ＝０，１，２…）で表し、画素位置（ｍ，ｎ）における画素の画素値をＩ（ｍ，ｎ）とする。

図３は図２の画素範囲の入力映像データを水平及び垂直方向に２倍に拡大した場合における出力映像データのサンプル位置を示している。図２の画素位置（ｍ，ｎ）と図３の画素位置（２ｍ，２ｎ）とは同一のサンプル位置を示している。

従来、一般的に行われている拡大処理として、例えば、水平及び垂直方向に夫々４タップのＦＩＲフィルタを用いて拡大処理を行った場合における、出力映像データの画素値は、例えば以下の式によって示すことができる。なお、Ｉ（ｍ，ｎ）は入力画像の画素位置（ｍ，ｎ）における画素値を示し、Ｏ（ｍ，ｎ）は出力画像の画素位置（ｍ，ｎ）における画素値を示している。

O( 2m, 2n ) = I( m, n )
O( 2m+1, 2n ) = -0.125I( m-1, n ) + 0.625I( m, n ) + 0.625I( m+1, n ) -0.125I( m+2, n )
O( 2m, 2n+1 ) = -0.125I( m, n-1 ) + 0.625I( m, n ) + 0.625I( m, n+1 ) -0.125I( m, n+2 )
O( 2m+1, 2n+1 ) = 0.015625I( m-1, n-1 ) - 0. 0.078125I( m, n-1 ) - 0. 0.078125I( m+1, n-1 ) +0.015625I( m+2, n-1 )
- 0. 0.078125I( m-1, n ) + 0.390625I( m, n ) + 0.390625I( m+1, n ) - 0. 0.078125I( m+2, n )
- 0. 0.078125I( m-1, n+1 ) + 0.390625I( m, n+1 ) + 0.390625I( m+1, n+1 ) - 0. 0.078125I( m+2, n+1 )
- 0.015625I( m-1, n+2 ) - 0. 0.078125I( m, n+2 ) - 0. 0.078125I( m+1, n+2 ) +0.015625I( m+2, n+2 )
図４は入力映像データの一例を示す説明図であり、図５は上記ＦＩＲフィルタを用いて図４の入力データを水平及び垂直方向に２倍に拡大した場合の出力映像データを示す説明図である。図５に示すように、ＦＩＲフィルタを用いた拡大処理では、斜め線の部分にジャギーが発生し、ギザギザに見えてしまう。

上記式に示すように、ＦＩＲフィルタは、補間画素の周囲の画素を用いた演算によって補間画素の画素値を求めている。これに対し、本実施の形態は、絵柄の輪郭を検出し、検出結果と固定パターンとの比較によって補間方向を求め、求めた補間方向上の画素を用いた演算によって補間画素の画素値を求める。これにより、ジャギーの発生を抑制するようになっている。

図１において、映像拡大装置１０に入力される入力画像データは、２次微分回路１１及びダイナミックレンジ検出部１２に与えられる。２次微分回路１１は、空間的な２次微分を行うことで、エッジの検出を行う。２次微分回路１１は、水平方向、垂直方向及び斜め方向のうちの少なくとも１つの方向の２次微分結果を用いてエッジを検出する。

例えば、２次微分回路１１は、水平、垂直、右斜め上及び左斜め上方向の２次微分結果の加算値をエッジ検出結果とする。注目画素の画素位置を（ｘ，ｙ）、画素位置（ｘ，ｙ）の画素値をＩ（ｘ，ｙ）として、２次微分回路によるエッジ検出結果を下記（１）乃至（５）式にて示す。

水平２次微分結果 = ( −I(x-1,y) + 2I(x,y) −I(x+1, y) ) / 4 …（１）
垂直２次微分結果= (−I(x,y-1) + 2I(x,y) −I(x, y+1) ) / 4 …（２）
左斜め上２次微分結果 = (−I(x-1,y-1) + 2I(x,y) −I(x+1, y+1) ) / 4 …（３）
右斜め上２次微分結果 = (−I(x+1,y-1) + 2I(x,y) −I(x-1, y+1) ) / 4 …（４）
エッジ検出結果＝水平２次微分結果＋垂直２次微分結果＋右斜め上２次微分結果＋左斜め上２次微分結果 …（５）
本実施の形態においては、エッジ検出結果を用いて固定パターンの１つを選択する。２次微分回路１１の出力は、２次微分回路１１の構成に応じた分解能（ビット数）を有しており、固定パターンの選択に２次微分回路１１の出力をそのまま用いると、処理量が膨大となる。そこで、本実施の形態においては、２次微分回路１１のエッジ検出結果を４値化処理部１３に与えて４値化するようになっている。４値化に用いる閾値は、入力映像のダイナミックレンジに応じて変化させる。

ダイナミックレンジ検出部１２は、入力映像データが与えられ、注目画素の周辺における画素値の最大値と最小値との差をダイナミックレンジとして求める。例えば、ダイナミックレンジ検出部１２は、入力映像データの注目画素（ｘ，ｙ）の周囲３×３画素の範囲について、下記（６）式〜（８）式の演算によりダイナミックレンジを求める。

最大値 = max{ I(x-1,y-1), I(x,y-1), I(x+1,y-1), I(x-1,y), I(x,y), I(x+1,y), I(x-1,y+1), I(x,y+1), I(x+1,y+1) } …（６）
最小値 = min{ I(x-1,y-1), I(x,y-1), I(x+1,y-1), I(x-1,y), I(x,y), I(x+1,y), I(x-1,y+1), I(x,y+1), I(x+1,y+1) } …（７）
ダイナミックレンジ = 最大値 - 最小値 …（８）
ダイナミックレンジ検出部１２が求めたダイナミックレンジの情報は、４値化閾値算出部１４に与えられる。４値化閾値算出部１４は、ダイナミックレンジに応じて４値化の閾値を変更する。例えば、４値化閾値算出部１４は、下記（９）式に基づいて、ダイナミックレンジから閾値ｔｈｔを算出する。なお、α、βは調整パラメータとして指定する定数である。

tht = α × ダイナミックレンジ ＋ β ( α、βは正の実数 ) …（９）
４値化閾値算出部１４からの閾値ｔｈｔは、ダイナミックレンジが大きくなるほど大きくなる。４値化閾値算出部１４からの閾値は４値化処理部１３に与えられる。４値化処理部１３は、エッジ検出結果を閾値ｔｈｔと比較することで、エッジ検出結果を４値化して２ビットのデータに変換する。

２次微分によるエッジ検出結果は、エッジ部分では、正の値と負の値とが連続する。そこで、例えば、４値化処理部１３は、下記表１に従って、エッジ検出結果を４値化する。

［表１］
┌──┬───────────┐
│０ │ ｔｈｔより大きい │
├──┼───────────┤
│１ │ ０以上ｔｈｔ以下 │
└──┼───────────┤
│２ │ −ｔｈｔ以上０未満 │
├──┼───────────┘
│３ │ −ｔｈｔ未満 │
└──┴───────────┘
４値化処理部１３は、エッジ検出結果を閾値ｔｈｔと比較することで、注目画素がエッジ部分であるか否かを求めることになる。４値化処理部１３からの４値化出力は、明確なエッジ部分では、表１の０又は３の値になると考えられる。また、閾値ｔｈｔは、ダイナミックレンジに応じて変動させており、ダイナミックレンジが比較的大きい場合には、比較的大きなエッジ部分のみがエッジ有りと判定されることになり、絵柄に応じたエッジ検出結果を得ることができる。

なお、本実施の形態においては、エッジ検出結果を４値化しているが、閾値の数を変えて４値以外の数に多値化することも可能である。本実施の形態においては３値以上に多値化すればよい。

図６は図４の入力データに対する４値化処理部１３の出力を説明するための説明図である。図６においては、目視で分かりやすいように、４値化された２ビットデータを輝度（Ｙ）８ビットのグレースケールで下記のように表現する。即ち、図６の黒い部分はエッジ検出結果が負の大きな値の部分であり、白い部分はエッジ検出結果が正の大きな値の部分である。

０→Y＝２５５
１→Ｙ＝１９２
２→Ｙ＝６４
３→Ｙ＝０
図６に示すように、４値化したエッジ検出結果の空間的な分布から、絵柄の輪郭方向、すなわち補間方向を推定することが可能である。

次に、本実施の形態においては、２ビットのエッジ検出結果を用いて、補間方向の候補を判定する。４値化処理部１３からの２ビットのエッジ検出結果は補間方向候補判定部１５及び補間方向候補除外判定部１６に与えられる。

補間方向候補判定部１４は図示しない記憶部に記憶された固定パターンを読み出す。記憶部には、各補間方向に対応した複数の固定パターンが記憶されている。固定パターンは、所定画素数範囲におけるエッジの変化の様子、輪郭の連続性を判定するためのものであり、種々の補間方向に対応している。補間方向候補判定部１４は、入力映像データに基づくエッジ検出結果が、いずれの固定パターンに一致するかを判定し、一致した固定パターンに対応する補間方向を補間方向の候補とする。なお、固定パターンとしては、補間方向だけでなく、画素補間の演算に用いる補間方向上の画素が決まったパターンを用いてもよい。

補間方向候補判定部１５は、所定画素数範囲の各画素毎に、入力映像データに基づくエッジ検出結果と固定パターンの比較値とを比較する。そして、補間方向候補判定部１５は、全ての画素について、値が一致した（真である）固定パターンを、補間方向の候補のパターンとする。

本実施の形態においては、比較値はエッジ検出結果よりも多値の値を用いる。例えば、４値のエッジ検出結果に対して４値の比較値を採用することが考えられる。この場合でも、一般的な絵柄における強いエッジ部分のように、２次微分によるエッジ検出結果の正の大きな値と負の大きな値が連続する場合には、当該エッジ形状に対応する固定パターンを検出可能である。しかしながら、自然画に対する２次微分のエッジ検出結果では、輪郭部分において正の絶対値の大きな値と０近辺の値とが連続することや負の絶対値の大きな値と０近辺の値とが連続することもある。この場合には、当該輪郭形状に対応する固定パターンを検出できないことが考えられる。

そこで、本実施の形態においては、判定に自由度を持たせるために、２ビットのエッジ検出結果を例えば３ビットの比較値と比較することで、各画素毎の比較が真と判定されやすくして、自然画像の種々の輪郭形状を検出可能にしている。

図７はこのような固定パターンの一例を示す説明図である。図７において丸印は画素を示し、丸印内の数字は各画素に設定された比較値を示している。なお、図７の固定パターンは、実線２１に示す輪郭形状を検出するためのものであり、画素補間に用いる画素として図７の画素Ａ及び画素Ｂを用いることを想定したパターン、即ち、補間方向が画素Ａ，Ｂを結ぶ線方向であって、画素Ａ，Ｂの中央に位置する生成画素を補間画素として生成するためのパターンを示している。

補間方向候補判定部１５の記憶部には、このような固定パターンが、検出しようとする輪郭形状毎に記憶されている。なお、記憶部には、同一補間方向について複数のパターンが記憶されていてもよく、また、補間に用いる画素が同一となる複数のパターンが記憶されていてもよい。この場合には、補間方向候補判定部１５は、用意した固定パターンのいずれかと一致判定した場合に、入力映像の絵柄の輪郭は、そのパターンに対応するものと判定する。

また、図７の比較値は２ビットのエッジ検出結果を３ビットの比較値と比較する場合の固定パターンを示しており、各画素のエッジ検出結果と比較値とが一致しているか否かの判定は、下記（ａ）〜（ｈ）の判断に従うものとする。

（ａ）比較値の０は、２ビットのエッジ検出結果がどのような値でも、真と判定することを意味する。

（ｂ）比較値の１は、２ビットのエッジ検出結果が０（エッジ検出結果が正の大きな値）である場合に、真となる。

（ｃ）比較値２は、２ビットのエッジ検出結果が３（エッジ検出結果が負の大きな値）である場合に、真となる。

（ｄ）比較値３は、２ビットのエッジ検出結果が０でなければ真となる。

（ｅ）比較値４は、２ビットのエッジ検出結果が３でなければ真となる。

（ｆ）比較値５は、２ビットのエッジ検出結果が０又は１であれば真となる。（エッジ検出結果が正であれば真）
（ｇ）比較値６は、２ビットのエッジ検出結果が２又は３であれば真となる。（エッジ検出結果が負であれば真）
（ｈ）比較値７は、２ビットのエッジ検出結果に拘わらず常に偽と判定する。

なお、（ａ）乃至（ｈ）に示す判断によって、各画素毎に真と判定されるエッジ検出結果が複数存在することから、入力画像が複数のパターンにマッチすることがある。

図８は４値化データの一例を示す説明図である。図８は実線２２にて示す輪郭境界を有する画像についての２ビットのエッジ検出結果を示しており、丸印は画素を示し、丸印内の数字は各画素について求めた２ビットのエッジ検出結果を示している。

いま、図８の斜線にて示す補間画素の補間方向候補を判定するものとする。図８の丸印内の数字は、４値化処理部１３から出力されるエッジ検出結果であり、補間方向候補判定部１５は、補間画素の周囲の、固定パターンと同一の画素数範囲におけるエッジ検出結果と固定パターンの比較値とを比較する。

図７の比較値０は、上記判断（ａ）に示すように、２ビットのエッジ検出結果に拘わらず真となる。例えば、エッジから比較的離れた部分に対して比較値０を設定することで、輪郭境界部分における判定に影響を与えないようにすることができる。

図７の比較値１は、上記判断（ｂ）に示すように、２ビットのエッジ検出結果が０の場合に真となる。図７と図８のパターン内の同一位置の画素の比較から明らかなように、比較値１の画素は、全てエッジ検出結果が０であり、真である。また、図７の比較値２は、上記判断（ｃ）に示すように、２ビットのエッジ検出結果が３の場合に真となる。図７と図８のパターン内の同一位置の画素の比較から明らかなように、比較値２の画素は、全てエッジ検出結果が２であり、真である。

即ち、図７の固定パターンについては、６×４画素分の判断結果が全て真となる。従って、補間方向候補判定部１５は、図８の入力画像に対して、図７の固定パターンが一致していると判定する。これにより、図７の画素Ａ，Ｂを結ぶ線方向が補間方向候補となる。補間方向候補判定部１５は、入力画像と全ての固定パターンとについて比較を行って、各補間画素毎に、一致する固定パターンを検出して補間方向候補を求める。

なお、図７の例は、固定パターンの画素数範囲が６×４画素である例を示しているが、画素数範囲は適宜設定可能である。画素数範囲が大きいほど水平及び垂直方向の角度がより小さい斜めの輪郭に対応した固定パターンを用意することができる。

また、上記（ａ）乃至（ｈ）の判断は、４値化されたエッジ検出結果を３ビットの比較値と比較する場合のものであり、判断の内容は適宜設定可能である。また、エッジ検出結果を４値化以外に多値化処理する場合には、エッジ検出結果の多値数及び比較値の多値数に応じて、判断の定義を決定する。

ところで、補間方向候補判定部１５の判定によって得られた補間方向候補のなかには、補間方向として適切でないものが含まれる可能性がある。例えば、「口」という文字や「日」という文字等のように、直角な輪郭を持つ文字の一部が入力映像として入力されることがある。この場合には、補間方向候補判定部１５において、斜め４５度方向が補間方向の候補として判定されることがある。このような補間方向が選択されて補間処理が行われた場合には、直角に表示されることが期待される箇所が斜め45度方向に補間されることになり、文字の角が欠けて画質劣化となる可能性がある。

そこで、補間方向候補除外判定部１６は、このような補間方向候補判定部１５によって誤って補間方向候補と判定された補間方向候補を除外するようになっている。補間方向候補除外判定部１６は、補間方向候補から除外すべき補間方向（除外補間方向）に対応した除外固定パターンを記憶する図示しない記憶部から、除外固定パターンを読み出して、補間方向候補判定部１５と同様の処理によって、除外固定パターンを判定し除外補間方向を求める。即ち、補間方向候補除外判定部１６は、入力画像に基づくエッジ検出結果と除外固定パターンの比較値とを画素毎に比較することで、除外固定パターンを判定する。

図９及び図１０は補間方向候補除外判定部１６を説明するための説明図である。図９は図７と同様の表記方法によって固定パターン及び除外固定パターンの一例を示す説明図であり、図１０は図８と同様の表記方法によって入力映像の一例を示す説明図である。

補間方向候補判定部１５が参照する記憶部に、図９に示す固定パターンが記憶されているものとする。この固定パターンは、図９に示すように、画素Ａ，Ｂを結ぶ線方向を補間方向とするパターンであり、画素Ａ，Ｂを用いて生成画素を生成するためのものである。

いま、図１０に示す入力映像が入力されるものとする。図１０に示す入力映像は、例えば、実線２３に示すように、文字の「口」等の一部の輪郭境界を有する。図９及び図１０の比較から明らかなように、上記（ａ）乃至（ｈ）の判断を用いた場合には、補間方向候補判定部１５によって入力映像は図９に示す固定パターンと一致していると判定される。この固定パターンに設定された補間方向を用いて補間処理を行うと、図１０の補間画素は、斜めに隣接する画素を用いて補間されることになり、文字の角が欠けて画質劣化となる可能性がある。

そこで、補間方向候補除外判定部１６が参照する記憶部には、このような補間方向候補から除外すべきパターンが除外固定パターンとして記憶されている。補間方向候補除外判定部１６は、入力映像と図９に示す固定パターンと同様の除外固定パターンとの一致判定によって、図９の固定パターンに対応した補間方向を除外補間方向とする判定を行う。

補間方向候補判定部１５及び補間方向候補除外判定部１６からの判定結果は補間方向選択部１７に与えられる。補間方向選択部１７は、補間方向候補判定部１５によって得られた補間方向候補から、補間方向候補除外判定部１６によって得られた除外補間方向を除外し、残りの補間方向候補のうち最適な方向を１つだけ選択する。

例えば、補間方向選択部１７は、残りの補間方向候補に設定された補間に用いる各画素を夫々含む２つの画素範囲を設定し、これらの画素範囲における画素値の差分絶対値の累積加算値を算出し、最小の累積加算値を与える補間方向候補を、補間方向として選択する。

図１１は補間方向選択部１７の選択方法を説明するための説明図である。図１１は丸印によって入力映像の各画素を示し、画素内の文字は画素値を示している。図１１では、斜線部にて示す生成画素（補間画素）に対する１つの補間方向候補が画素Ａ，Ｂを結ぶ直線であって、この補間方向候補が選択された場合には、補間画素は、画素Ａ，Ｂの画素値を用いて生成されることを示している。

補間方向選択部１７は、補間に用いる画素Ａ，Ｂを含む所定の画素範囲（図１１では３×３画素範囲）を設定し、各画素範囲における画素値の差分絶対値の累積加算値ＳＡＤを、下記（１０）式によって求める。なお、ａｂｓ（）は、（）内の絶対値を表す。補間方向候補が輪郭に沿ったものであれば、累積加算値ＳＡＤは小さな値になると考えられる。

SAD = abs( a0 - b0 ) + abs( a1 - b1 ) + abs( a2 - b2 ) + …… abs( a8 - b8 ) …（１０）
補間方向選択部１７は、最小の累積加算値ＳＡＤを与える補間方向候補を補間方向として選択する。補間方向選択部１７は、選択した１つの補間方向を補間処理部１８に出力する。補間処理部１８は、選択された補間方向上の画素を用いて、入力映像の補間を行う。例えば、補間方向選択部１７から補間方向及び補間に用いる画素の情報が補間処理部１８に与えられている場合には、補間処理部１８は、補間に用いる画素として指定された画素を用いて補間画素を生成する。例えば、補間処理部１８は、図１１の画素Ａ，Ｂの平均画素値を補間画素値とする。

なお、注目画素が、絵柄として輪郭部ではない場合等においては、補間方向候補が検出されないこともある。この場合には、補間処理部１８は、補間方向が検出されない注目画素については、一般的な拡大処理、例えばＦＩＲフィルタによる拡大処理を実施する。

次に、このように構成された実施の形態の動作について図１２のフローチャートを参照して説明する。

入力映像データは、２次微分回路１１及びダイナミックレンジ検出部１２に入力される。２次微分回路１１は、図１２のステップＳ１において、入力映像データに対する２次微分処理によって、エッジを検出して４値化処理部１３に出力する。ダイナミックレンジ検出部１２は、入力映像データのダイナミックレンジを検出して４値化閾値算出部１４に出力する（ステップＳ２）。

４値化閾値算出部１４は、ダイナミックレンジに応じて変化する閾値ｔｈｔを算出して、４値化処理部１３に出力する（ステップＳ３）。４値化処理部１３は、ステップＳ４において、２次微分によるエッジ検出結果を、閾値ｔｈｔを用いて４値化する（ステップＳ４）。これにより、以後の処理における処理量を低減することができる。

４値化処理部１３からの２ビットのエッジ検出結果は補間方向候補判定部１５に供給される。補間方向候補判定部１５は、ステップＳ５〜Ｓ７において、補間方向候補を判定する。即ち、補間方向候補判定部１５は、ステップＳ５において、入力映像と固定パターンとの一致判定を行う。本実施の形態においては、固定パターンは、エッジ検出結果よりも多値の比較値によって構成されており、固定パターンの各画素に割当てられた比較値は、１つ以上のエッジ検出結果に対して真となる判断が採用される。これにより、各画素毎の判定において真となる可能性が大きくなり、自然画等のように２次微分結果が正の大きな値と負の大きな値とが連続しない、弱いエッジを有する輪郭等においても、輪郭部分としての判定が可能となる。

この結果、ステップＳ６の一致判定では、複数の補間方向が一致と判定されることが考えられる。補間方向候補判定部１５は、一致判定された補間方向を補間方向候補として決定する（ステップＳ７）。入力映像と全ての固定パターンとの一致判定が終了するまで、ステップＳ５〜Ｓ７の処理が繰り返される。

全ての固定パターンとの一致判定が終了すると、ステップＳ９では、補間方向候補除外判定部１６によって、除外補間方向が決定される。ステップＳ９の処理は、ステップＳ５〜Ｓ８と同様の処理であり、入力映像と除外固定パターンとの一致判定によって、除外補間方向が決定される。

補間方向候補判定部１５からの情報及び補間方向候補除外判定部１６からの情報は、補間方向選択部１７に供給される。補間方向選択部１７は、補間方向候補から除外補間方向を除外し、残った補間方向候補から最適な１つの補間方向を選択する（ステップＳ１０）。例えば、補間方向選択部１７は、補間に用いる画素を含む所定の各画素範囲における画素値の差分絶対値の累積加算値ＳＡＤが、最小となる補間方向を選択する。

選択された補間方向の情報は補間処理部１８に供給され、補間処理部１８は、補間方向上の画素を用いて、補間画素を生成する。こうして、補間処理部１８からは、拡大処理された出力映像データが出力される。

図１３は映像拡大装置１０によって図４に示す入力データを水平及び垂直方向に２倍に拡大して示す説明図である。図１３と図５との比較から明らかなように、映像拡大装置１０による画像は、ジャギーが十分に低減されている。

このように本実施の形態においては、画像のエッジを検出し、エッジ検出結果を、輪郭形状に応じて補間方向が設定された複数の固定パターンと比較することで、画素補間に用いる画素を決定するための補間方向を求める。これにより、絵柄に応じた補間方向を決定することができ、拡大処理においてジャギーを低減させて、画質を向上させることができる。また、エッジ検出結果を所定ビット数で多値化することで、固定パターンとの比較処理の処理量を低減している。また、固定パターンをエッジ検出結果の多値化数よりも大きい多値化数の比較値で比較することにより、補間方向の検出漏れを低減している。

なお、エッジ検出結果のビット数と固定パターンの比較値のビット数を一致させた場合でも、上記判断に応じてパターン数を増加させれば、比較値のビット数をエッジ検出結果のビット数よりも大きくした場合と同様の効果を得ることができる。

（第２の実施の形態）
図１４は本発明の第２の実施の形態を示すブロック図である。図１４において図１と同一の構成要素には同一符号を付して説明を省略する。

第１の実施の形態においては、絵柄に拘わらず、補間方向選択部１７が選択した補間方向に基づいて補間処理を行った。これに対し、本実施の形態は、入力映像を空間的な低域成分と高域成分とに分離し、ジャギーが生じる高域成分のみについて、補間方向選択部１７が選択した補間方向に基づいて補間処理を行うものである。

本実施の形態における映像拡大装置３０は、低域高域分離部３１、拡大処理部３２及び低域高域合成部３３を付加した点が図１の映像拡大装置１０と異なる。低域高域分離部３１は、入力映像を低域成分と高域成分とに分離し、高域成分を補間処理部１８に与え、低域成分については拡大処理部３２に与える。

拡大処理部３２は、ＦＩＲフィルタ等によって構成されて、補間画素の周囲の画素を用いて補間画素を生成して、低域高域合成部３３に出力する。補間処理部１８は、入力映像の高域成分について、図１の補間処理部１８と同様の補間処理を行う。低域高域合成部３３は、補間処理部１８からの補間処理された高域の映像と拡大処理部３２からの補間処理された低域の映像とを合成して、出力映像データとして出力する。

このように構成された実施の形態においては、入力映像の低域成分と高域成分とは、夫々異なる拡大処理が施される。低域成分は、拡大処理部３２において、ＦＩＲフィルタ等による周囲の画素を用いた補間処理によって、拡大される。

一方、高域成分は、補間処理部１８において、第１の実施の形態と同様の補間処理によって拡大される。拡大によってジャギーが発生する高域成分については、輪郭に応じた補間方向が検出されて、補間画素が生成されており、ジャギーの発生を低減させることができる。

このように本実施の形態においては、低域と高域とで異なる補間処理を行っている。回路規模の点から十分な数の固定パターンを用意できない場合等のように、固定パターンとの比較によって検出できない輪郭がある場合でも、低域成分については十分な画質での拡大処理が可能である。これにより、ジャギーの発生を抑制して、十分な画質の拡大画像を得ることができる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…映像拡大装置、１１…２次微分回路、１２…ダイナミックレンジ検出部、１３…４値化処理部、１４…４値化閾値算出部、１５…補間方向候補判定部、１６…補間方向候補除外判定部、１７…補間方向選択部、１８…補間処理部。

Claims (7)

1. 入力映像データに対して空間的に２次微分処理を施す２次微分回路と、
   前記２次微分回路の出力を多値化する多値化処理部と、
   画像の輪郭形状に対応し補間方向が割当てられた固定パターンが複数記憶された記憶部から前記固定パターンを読み出して、前記多値化処理部の出力の空間的分布と読み出した複数の前記固定パターンとをそれぞれ比較して、前記多値化処理部の出力に対応する前記固定パターンを求め、求めた固定パターンに割当てられた補間方向を補間方向候補とする補間方向候補判定部と、
   前記補間方向候補が複数の場合には複数の前記補間方向候補から１つの補間方向を選択する補間方向選択部と、
   前記入力映像データが入力され、前記補間方向選択部が選択した補間方向に基づいて補間に用いる画素を決定して補間画素を生成する補間処理部と
   を具備した映像拡大装置。
2. 前記入力映像データを空間的な高域成分と低域成分とに分離し、前記入力映像データに代えて分離した前記高域成分を前記補間処理部に与える分離部と、
   前記分離部によって分離された低域成分に対する拡大処理を行う拡大処理部と、
   前記補間処理部の出力と前記拡大処理部の出力とを合成する合成部と
   を具備した請求項１に記載の映像拡大装置。
3. 前記多値化処理部は、所定の閾値を用いて前記２次微分回路の出力を４値化する
   請求項１又は２に記載の映像拡大装置。
4. 前記多値化処理部は、注目画素の周囲の画素値の最大値と最小値との差の絶対値に比例する値を前記所定の閾値とする
   請求項３に記載の映像拡大装置。
5. 画像の輪郭形状に対応し補間方向が割当てられた除外固定パターンが複数記憶された記憶部から前記除外固定パターンを読み出して、前記多値化処理部の出力の空間的分布と読み出した複数の前記除外固定パターンとをそれぞれ比較して、前記多値化処理部の出力に対応する前記除外固定パターンを求め、求めた除外固定パターンに割当てられた補間方向を前記補間方向候補から除外する補間方向候補除外判定部
   を具備した請求項１乃至４のいずれか１つに記載の映像拡大装置。
6. 補間に使用する２画素を夫々含む２つの画素範囲についての画素値の絶対差分累積値に基づいて、複数の前記補間方向候補から１つの補間方向を選択する
   請求項１乃至５のいずれか１つに記載の映像拡大装置。
7. 入力映像データに対して空間的に２次微分処理を施し、
   前記２次微分処理によって得た出力を多値化処理し、
   画像の輪郭形状に対応し補間方向が割当てられた固定パターンが複数記憶された記憶部から前記固定パターンを読み出して、前記多値化処理によって得た出力の空間的分布と読み出した複数の前記固定パターンとをそれぞれ比較して、前記多値化処理によって得た出力に対応する前記固定パターンを求め、求めた固定パターンに割当てられた補間方向を補間方向候補とし、
   前記補間方向候補が複数の場合には複数の前記補間方向候補から１つの補間方向を選択し、
   前記入力映像データが入力され、選択した補間方向に基づいて補間に用いる画素を決定して補間画素を生成する
   映像拡大方法。