JP2007142669A - 走査線補間装置 - Google Patents

Abstract

【課題】斜め方向の補間処理を行う際に、垂直線や絵柄の輪郭をまたいで補間するなどの不適切動作を無くすことが可能な走査線補間装置を提供する。
【解決手段】走査線補間装置は、輪郭情報算出手段131〜134と、３値化手段141〜144と、補間方向決定手段151，152，161，171と、補間ライン生成手段181と、を備える。輪郭情報算出手段131〜134は、画像データを入力として絵柄の輪郭を推測するための情報を、画素ごとにその周囲の画素に対して正負の方向を持った連続量として算出する。３値化手段141〜144は、輪郭情報算出出力を正側の閾値と負側の閾値と比較して３値化する。補間方向決定手段151，152，161，171は、３値化データを用いて、補間ライン生成のための補間方向を決定する。補間ライン生成手段181は、入力画像データから、決定された補間方向の画素を用いた補間処理で補間ラインを生成する。
【選択図】 図１

Description

本発明は、飛び越し走査画像を順次走査画像に変換する場合などに、フィールド内の垂直方向スケーリング処理を行い補間ラインを生成する走査線補間装置に関するものである。

一般に、飛び越し走査（以下、インターレース）方式の画像を順次走査（以下、ノンインターレース）方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込み補間走査線を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間走査線を生成するフィールド内補間が行われる。

フィールド内の補間処理でインターレースｎラインとインターレースｎ＋１ライン間に補間ラインを生成するにあたっては、図２７のように、補間ライン上の画素Ａとして、その上下の走査線ｎ，ｎ＋１の画素Ｕ，Ｄを加算して平均値（＝（Ｕ＋Ｄ）/２）を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。

一方、この問題を解決する方法として、斜め補間という方法が知られている。斜め補間の方法を図２８で説明する。図２８は走査線上に順次並んだ５画素（水平５タップ）の構成例である。

図２８の斜めの補間処理は、補間画素Ａを生成するにあたり、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ａを中心として点対称となる画素のペアを一組選択し、その平均値を補間画素値として用いる方法である。

補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。特許文献１には、補間しようとしている画素を中心とする上下及び斜め間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成することが記載されている。

例えば、画素U0 ，D4間の差分値| U0−D4 |が、他のペアの画素間の差分値 | U1−D3 |, | U2−D2 |, | U3−D1 |, | U4−D0 | のいずれよりも小さい場合には、図２８のように( U0＋D4 ) / 2が補間画素Ａとして採用される。

しかしながら、この方法は、誤判定の可能性が常にあり、例えば、図２９のように、中央に垂直線（画素Ｕ2，Ｄ2を通る線）が存在する絵柄の場合には、この垂直線が黒色で若干でも垂直方向に階調を有する一方、画素Ｕ0，Ｄ4は中間調（グレー）で画素Ｕ2 ，Ｄ2間に階調差が無かった場合、| U0−D4 |が| U2−D2 |より小さい値となり、斜め方向が補間方向であると判定され、前記垂直線をまたいで斜めに補間してしまう。この場合、補間画素ＡはＵ0，Ｄ4の平均値（グレー）となるため、絵柄として存在する垂直線が、途切れて見えてしまい、違和感を感じさせる絵になってしまう。図２９の例の場合は上下方向に補間する（即ちＵ2，Ｄ2の平均値をとる）ことが好ましい。

上記のように、好ましくない斜めの補間方向が選択されたとしても、画素ペアの絶対差分値だけでは垂直線が存在することが検出できないため、誤判定を除去する仕組みを追加する必要がある。しかし、その仕組みからもれた場合には、その補間値はノイズとして見えてしまうことになる。従って、このような誤判定除去の仕組みを追加する際には、その仕組みからもれることのない補間方法が必要となる。
特開平４−３６４６８５号公報

そこで、本発明は、上記の問題に鑑み、斜め方向の補間処理を行う際に、垂直線や絵柄の輪郭をまたいで補間するなどの誤動作を低く抑えることができる走査線補間装置を提供することを目的とするものである。

本発明の一態様によれば、入力する画像データの絵柄の輪郭を推測するための情報を、画素ごとにその周囲の画素に対して正負の方向を持った連続量として算出する輪郭情報算出手段と、前記輪郭情報算出手段の出力を正側の閾値と負側の閾値と比較して３値化する３値化手段と、前記３値化手段によって得られた３値データを用いて、補間ライン生成のための補間方向を決定する補間方向決定手段と、入力される前記画像データに対して、前記補間方向決定手段で決定された補間方向の画素を用いた補間処理を行い、補間ラインを生成する補間ライン生成手段と、を備えることを特徴とする走査線補間装置が提供される。

本発明によれば、斜め方向の補間処理を行う際に、垂直線や絵柄の輪郭をまたいで補間するなどの誤動作を低く抑えることができる走査線補間装置を実現することができる。

発明の実施の形態について図面を参照して説明する。
［第１の実施形態］
図１は本発明の第１の実施形態の走査線補間装置の構成を概念的に示すブロック図である。
図１において、走査線補間装置１００は、インターレース映像信号の第ｎ〜第（ｎ−５）ラインがそれぞれ入力する入力端子１０１〜１０６と、輪郭検出部１３１〜１３４を有する輪郭情報算出手段と、３値化部１４１〜１４４を有する３値化手段と、第１，第２のパターン比較部１５１，１５２を有する補間方向候補選択手段と、ライン間差分絶対値算出部１６１と最終補間方向選択部１７１を有する最終補間方向選択手段と、補間画素値生成部１８１で構成される補間ライン生成手段と、補間ラインを出力する出力端子１９１と、を備えている。補間方向候補選択手段と最終補間方向選択手段とは、補間ライン生成のための補間方向を決定する補間方向決定手段を構成している。

以下に、さらに具体的な構成について説明する。
図１に示す走査線補間装置１００は、入力端子１０１〜１０６からそれぞれ入力する第ｎ〜第（ｎ−５）ラインの映像信号に混入しているノイズ成分を除去するためのローパスフィルタ（以下、ＬＰＦ）１１１〜１１６と、ＬＰＦ１１１〜１１６それぞれを通過した各ラインの映像信号とＬＰＦ１１１〜１１６を通過しない各ラインの映像信号のどちらか一方を選択するセレクタ１１７〜１２２と、セレクタ１１７〜１２２から出力される映像信号を入力し、隣接する３×３画素を用いて絵柄の輪郭を推測するための第(ｎ−１)〜第(ｎ−４)ライン分の輪郭情報を、画素ごとにその周囲の画素に対して正負の方向(具体的には＋，−の符号)を持った連続量として算出する輪郭情報算出手段としての輪郭検出部１３１〜１３４と、この輪郭検出部１３１〜１３４から出力される連続量を正側の閾値と負側の閾値と比較して３値化する３値化手段としての３値化部１４１〜１４４と、前記３値化部１４１〜１４４で得られた３値データの分布を予め準備した複数の参照パターンと合致するか否かを比較することによって、補間ライン生成のための補間方向の候補を選択する補間方向候補選択手段としての第１，第２のパターン比較部１５１，１５２と、各補間方向における上下ライン間の差分の絶対値ｓｕｂ0〜ｓｕｂ4を算出するライン間差分絶対値算出部１６１と、第１，第２のパターン比較部１５１，１５２で選択された補間方向候補の内から、前記差分絶対値ｓｕｂ0〜ｓｕｂ4の最小値を選択することによって、最終補間方向を決定する最終補間方向選択部１７１と、入力映像信号から、前記最終補間方向選択部１７１で決定された最終補間方向の画素を用いた補間処理を行い、補間ライン信号を生成する補間ライン生成手段としての補間画素値生成部１８１と、生成された補間ライン信号を図示しない画像表示のための後段回路へ出力する出力端子１９１と、を備えている。

なお、補間方向候補選択手段は、第１のパターン比較部１５１のみで構成されていてもよい。また、前記第１，第２のパターン比較部１５１，１５２と、ライン間差分絶対値算出部１６１と、最終補間方向選択部１７１とは、前記３値化部１４１〜１４４によって得られた３値データを入力し、ライン間差分絶対値を用いて、補間ライン生成のための補間方向を決定する補間方向決定手段を構成している。

輪郭情報算出手段としての輪郭検出部１３１〜１３４は、例えば、注目画素Ａ(図４参照)を中心として上下と左右と２つ（右上り及び右下り）の両斜め方向との全４方向の二次微分値をそれぞれ算出しその４つの値の和を出力するものである。

３値化手段としての３値化部１４１〜１４４は、例えば、注目画素Ａ(図４参照)の周囲の画素の最大値と最小値の差に比例する正の閾値と負の閾値を使用して３値化するものである。
第１のパターン比較部１５１は、３値化部１４１〜１４４の出力である３値データの、補間画素Ａ(例えば図８)の周囲における分布を、予め準備した複数の参照パターン(例えば図７，図９)と比較して、合致するパターンがある場合に補間方向候補として選択するものである。

第２のパターン比較部１５２は、３値化部１４１〜１４４の出力である３値データの、補間画素の周囲における分布(例えば図１２)を、別に準備した複数の参照パターン(例えば図１１)と比較して、合致するパターンがある場合に補間方向候補から外すものである。但し、図７〜図９，図１１，図１２では、４ライン７ドットの２８画素を使用している。

従って、補間方向選択手段は、３値化部１４１〜１４４の出力である３値データの、補間画素の周囲における分布を、あらかじめ準備した複数の参照パターンと比較して、合致するパターンがある場合に補間方向の候補として選択し、さらに前記３値データの、補間画素の周囲における分布を、別に準備した複数の参照パターンと比較して、合致するパターンがある場合に補間方向の候補から外すものである。
或いは、補間方向選択手段は、３値化部１４１〜１４４の出力である３値データの、補間画素の周囲における分布を、あらかじめ準備した複数の参照パターンと比較して、合致するパターンがある場合に補間方向の候補として選択するものである。

最終補間方向選択手段である最終補間方向選択部１７１は、例えば、補間方向候補選択手段から出力される補間方向候補のうち補間に使用する２画素の差分の絶対値が最小のものを最終補間方向として選択するものである。

以上のように、本発明の第１の実施形態は、走査線の補間処理を行うに際に、輪郭情報をもとに補間画素を生成する。その際、輪郭情報を正負の方向を持った連続量（例えば、正負符号付き連続量）として定義し、これを算出する手段、算出された輪郭情報を３値化する手段、３値化された値のパターンをあらかじめ準備した参照パターンと比較して補間方向候補を選択する手段、補間方向候補から最終補間方向を選択する手段、最終補間方向を使用して補間ラインを生成する手段、を備えており、その結果、垂直解像度の高い走査線補間結果を得ることができる。

以下、図２〜図２４を参照して、本実施形態の作用効果を説明する。
まず、図２を参照して、本発明の実施形態における、輪郭情報を用いて補間画素を生成する方法について説明する。

図２に示すようにインターレース画像に画素の値が小さい部分と画素の値が大きい部分（例えば、黒い部分と白い部分）が存在していて、その２つの部分の境界が輪郭であった場合に、インターレースｎラインとインターレースｎ＋１ライン間に生成する補間ラインにおける前記輪郭付近に補間画素Ａを生成するには、まず、インターレース画像の輪郭を検出し、その検出した輪郭に沿う斜め方向を補間方向として選び、その方向に該当するｎ，ｎ＋１ライン上の２つの画素Ｕ，Ｄ、即ちｎライン上の画素Ｕとｎ＋１ライン上の画素Ｄについて、両画素の和の平均値を算出し、その算出値を補間画素Ａの画素値として出力(生成)するものである。つまり、まずインターレース画像の輪郭検出を行うことによって、補間画素Ａを生成するのに輪郭線をまたいでその上下の画素(黒，白)の平均値を算出する誤りを防ぎ、輪郭線に沿った適切な画素Ｕ，Ｄを用いて補間画素Ａを生成することができる。

本実施形態では、図３に示すように斜め補間の水平タップ数は５タップとして説明する。このとき補間方向は図３に示すように方向０〜方向４の５通りである。なお、本発明においては特にタップ数の制約はなく、タップ数が増えると後に説明するパターン比較のために準備する参照パターンも増加することになる。

次に図１を参照しながら各部の動作を説明する。
６ライン分のインターレース入力に対してＬＰＦ１１１〜１１６によってノイズ除去のための低域通過フィルタリング処理をするかどうかを、セレクタ１１７〜１２２で選択できる。セレクタ１１７〜１２２の出力は、輪郭検出部１３１〜１３４へ入力する。

この輪郭検出部１３１〜１３４では、図４に示すような水平３画素、垂直３画素の合計９画素を使用して、注目画素Ａを中心に、上下、左右、両斜め方向の全４方向で２次の微分を行った和 det を算出する。算出する式を式（１）で示す。

det = α× (−L＋2A−R)＋(−U＋2A−D)＋(−UL＋2A−RD)＋(−UR＋2A− DL) ・・・（１）
式（１）において、A, L, R, U, D, LU, RU, LD, RDはそれぞれ図４で示す９画素それぞれの画素値である。式（１）は中心の画素Ａが周りの画素よりどれだけ凸であるか或いは凹んでいるかを表す式である。

例えば、式（１）の第１項(−L＋2A−R)は、注目画素Ａを中心とする左右方向での２次微分を示しており、中心画素Ａの２倍の画素値２Aに対して左右の画素Ｌ，Ｒの画素値Ｌ，Ｒを減算した式となっており、３つの画素値Ｌ，Ａ，Ｒがすべて同じであれば第１項は０であり、水平方向にフラット（flat）であることを表し、２Ａ＞Ｌ＋Ｒ であれば、第１項の算出値は＋となり、中心画素Ａが凸即ち画素値Aが左右の画素値Ｌ，Ｒより高いことを表し、また２Ａ＜Ｌ＋Ｒ であれば、第１項の算出値は−となり、中心画素Ａが凹即ち画素値Aが左右の画素値Ｌ，Ｒより低いことを表している。同様に、第２項(−U＋2A−D)は中心画素Ａの上下方向での凹凸を表し、 第３項(−UL＋2A−RD)は中心画素Ａの右下がりの斜め方向での凹凸を表し、第４項(−UR＋2A−DL)は中心画素Ａの右上がりの斜め方向での凹凸を表している。

なお、αは重み付けのための定数で、入力映像信号がＬＰＦ１１１〜１１６を通過するようにセレクタ１１７〜１２２を切り替えた場合は、ノイズ除去効果が得られる一方、画素値を水平方向に鈍らせる結果、輪郭検出効果が弱まるので、これを補正するために左右方向即ち水平方向の２次微分項のみに１より大きい定数αを乗算したものである。従って、ＬＰＦ１１１〜１１６を映像信号が通らないようにセレクタ１１７〜１２２が選択されている場合にはαの値は１である。ＬＰＦ１１１〜１１６を通るようにセレクタ１１７〜１２２が選択されている場合には左右方向の２次微分値の絶対値がその他の３方向に比べて小さくなるためにα＞１として重み付けする。

式（１）で算出される値detは、周囲の画素に対して正負（凸凹）の方向を表す符号付きの連続量である。つまり、値detは、注目画素の、周囲の画素に比べての相対的な凹凸量を表している。

次に輪郭検出部１３１〜１３４で得られた値detを３値化部１４１〜１４４で正側，負側の閾値を用いて３値化する。この３値化は、輪郭検出部で得られる画素毎の連続量(各方向の２次微分値の和)では、そのまま用いると演算量が多くなるので、演算量を減少させるため２値又は３値に落とし込むことが必要となる。本実施形態では、前段の輪郭検出部の出力が“符号”と“絶対値”の情報を持つので、２値化ではなく３値化で説明する。また、２値化では周囲の画素との凹凸即ち絵柄の輪郭の境界を適切に抽出することができないが、３値化を行うことによって輪郭の境界を比較的小さな回路規模で細やかに抽出することが可能である。

３値化の方法は、
det ＞│閾値│ ならば、注目画素が周囲に比べて凸
det ＜−│閾値│ならば、注目画素が周囲に比べて凹
それ以外ならば注目画素が周囲と比べてflatである。

とする。
３値化部１４１〜１４４で用いる閾値は、固定値もしくは、輪郭検出部１３１〜１３４で２次微分の演算に使用した９画素のダイナミックレンジに比例した可変値とする。以下に式を示す。

閾値 = β× { max( A,U,D,L,R,UL,UR,DL,DR )−min( A,U,D,L,R,UL,UR,DL,DR ) }＋γ・・・(２)
式（２）においてβ、γは調整用パラメータであり、max( a, b, c,…)はa,b,c,…の最大値、min( a,b,c,…)はa,b,c,…の最小値を示している。max( A,U,D,L,R,UL,UR,DL,DR )−min( A,U,D,L,R,UL,UR,DL,DR )が９画素のダイナミックレンジに相当し、それに定数βを掛けたものに対して、γを加えた式となっている。γは、式（２）の第１項が余り小さい値であると閾値が小さくなり過ぎて小さなノイズまで拾ってしまうので、これを回避するための定数値として加えてある。
３値化部１４１〜１４４の出力として、凸もしくは凹もしくはflatとして３値化された値が入力画像の各画素について得られる。

図６は３値化された輪郭情報（輪郭検出結果）の例である。図５はその入力画像である。

図６の例では、式（１）においてα=2とし、式（２）においてβ=28 / 64, γ=32として演算している。
図６の例では凸、凹、flatの３値をグレースケールで表現しており、8bitの階調表現で凸を輝度235、凹を輝度16、flatを輝度128としている。
図６から分かるように入力画像の輪郭の近辺には凸で連なる輪郭と凹で連なる輪郭がペアで現れる。従って、仮に凸の画素と凹の画素の間で補間すると輪郭をまたいで補間することになり、補間画素の品質が悪くなってしまう。

本実施形態において輪郭情報を符号付きで定義し３値化をしているのは凸のみで連なる輪郭もしくは凹のみで連なる輪郭の方向として補間方向を選択するためである。これにより、輪郭の境界が細やかに抽出できる。

次に、３値化部１４１〜１４４の出力である３値データから、第１のパターン比較部１５１が補間方向の候補を選択する。この第１のパターン比較部１５１ではあらかじめ準備した複数の参照パターンと入力３値パターンを比較し、合致する場合に補間方向の候補とする。
本実施形態では、補間画素を囲む水平７画素、垂直４画素分の入力３値パターンを参照パターンと比較するものとする。
図３で定義した５つの方向(方向０〜方向４)それぞれに対して複数の参照パターンを準備し、合致した場合はその方向を補間方向の候補とする。

準備する参照パターンは、以下のように７値を取り得るものとする。
０：flat
１：凸
２：凹
３：凸 or 凹 (≠flat：flatでない)
４：凹 or flat (≠凸：凸でない)
５：凸 or flat (≠凹：凹でない)
６：凸 or 凹 or flat (don’t care：凸，凹，flatのいずれでもかまわない)
ここで、参照パターンを３値ではなく上記のように７値で準備する理由は、７×４＝２８画素で起こり得るすべてのパターン（３の２８乗）分の参照パターンを準備することが演算量の関係で困難な場合が多く、上記７値の参照パターンのうち値３〜６を使用することによって参照パターンの数を減らすことができるからである。

従って、言い換えると、３値化手段によって得られた３値データが値１、値２、値３のいずれかの値をとるとしたときに、あらかじめ準備する複数の参照パターンを、
(1)値１と一致、(2)値２と一致、(3)値３と一致、(4)値１と不一致、(5)値２と不一致、(6)値３と不一致、(7)値１か値２か値３のいずれでもかまわない、のいずれか表す７値で表現する。

図７は方向０(図３参照)を候補に加えるための参照パターンの一例を示す。図７で矢印付きの太い実線が補間方向を示している。
図７は３値のうち凸値の連なりを検出して補間方向の候補に加えるための参照パターンの一例である。
図８は図７の参照パターンによって方向０の補間方向が検出される３値パターンの例を示している。値２の連なりと値１の連なり（即ち凹値の連なりと凸値の連なり）の境界が輪郭（一点鎖線）を示している。矢印付きの太い実線が、図７の参照パターンによって検出される“方向０”の補間方向を示している。Ａが補間ライン上に作成される補間画素である。凸同士のペアで補間される。
図９は凹値の連なりを検出して方向０(図３参照)を補間方向の候補に加えるための参照パターンの一例を示す。図９で矢印付の太い実線が補間方向を示している。

図７，図９と同様に、方向０〜方向４についてそれぞれ複数の参照パターンを準備し、合致する参照パターンが１つでもある場合には補間方向の候補とする。

本実施形態では補間に使用する２ラインのさらに上下１ラインずつの３値パターンも比較するので、例えば文字形状のように輪郭の方向が急角度で変化する場合に、斜め方向に補間し難くなるように制御できる。

図１０は方向０，方向１，方向３及び方向４（図３参照）の参照パターン（例えば図７，図９）で検出されない例、言い換えれば、斜め方向に補間したくない入力画像の３値パターンの例を示している。具体的には、文字‘Ｄ’の例で、文字‘Ｄ’の輪郭の角度が変わる左下端及びその近辺を拡大して示してある。なお、図１０では、図８の場合の表現（０，１，２）とは異なり、flat，凸，凹で表現してある。

図１０のように輪郭が直角に変化しているケースは斜めに補間することを極力避けたいのだが、図１０の絵柄のパターンは図７，図９に挙げた参照パターンとは完全には一致しない。即ち、図１０の絵柄のパターンは図７，図９に挙げた参照パターンでは方向０を補間候補として選択されることがない。何故なら、図９の参照パターンで説明すると、入力（ｎ−４）ラインの左から２画素目を凹（値２）パターンではなく≠凹（値５）パターンにしているからである。言い換えると、図１０のインターレース（ｎ−４）ラインで左から２画素目Ｐが（ｎ−３）ラインの左から２画素目Ｑと同様に凹（値２）となっているために、図９の参照パターンでは検出されない訳である。従って、図１０の検出された３値パターンでは、輪郭の角度が斜め方向（方向０，方向１，方向３及び方向４）ではなく、これらとは異なった角度（例えば水平）であると推測される。

以上のようにして、第１のパターン比較部１５１の出力として、補間方向の候補が出力される。これは複数の方向が同時に選択されても良い。

第１のパターン比較部１５１の出力として得られる補間方向の候補は、第２のパターン比較部１５２へ入力する。
第２のパターン比較部１５２では、第１のパターン比較部１５１と同様に方向０〜方向４についてそれぞれ複数の参照パターンを準備し、今度は合致する参照パターンが１つでもある場合に補間方向の候補から外す。

図１１は第２のパターン比較部１５２における参照パターンの例である。図１１のこの参照パターンは方向０を補間候補から外す参照パターンである(図２０参照)と共に、方向１を補間候補から外す参照パターンであり(図２１参照)、また方向３を補間候補から外す参照パターンであり(図２３参照)、さらに方向４を補間候補から外す参照パターンでもある(図２４参照)。

本実施形態では、図１１のパターンと合致した場合には、垂直線の絵柄が検出されたと判断し、斜めに補間することがあってはならないので、方向０、方向１、方向３、方向４を補間方向の候補から外す。方向０、方向１、方向３、方向４が補間候補から外される結果、方向２の補間候補があれば第２のパターン比較部１５２から出力される。

同様に方向０〜方向４それぞれについて、補間方向から外す参照パターンを複数準備して、入力の３値のパターンと合致した場合に、その補間方向を補間方向の候補から外す。

第２のパターン比較部１５２からは、そこで除外された補間方向候補を除いて、第１のパターン比較部１５１と同様に補間方向の候補が出力される。これは複数の方向が同時に選択されても良い。

図１２は、図１１の参照パターンによって検出される３値パターンの例を示している。第２のパターン比較部１５２において図１１の参照パターンと合致するパターンが検出されることによって方向０、方向１、方向３、方向４の補間候補か除外され、方向２の補間候補が検出されるか若しくは該当する補間候補が無ければ何も検出されない。
第２のパターン比較部１５２の出力である補間方向の候補は、最終補間方向選択手段としての最終補間方向選択部１７１へ入力される。

最終補間方向選択部１７１は、第２のパターン比較部１５２から入力する補間方向の候補のうち、ライン間差分絶対値算出部１６１から出力される各補間方向候補の上下ライン間の差分値の絶対値が最小となる方向を最終補間方向として補間ライン生成手段である補間画素値生成部１８１へ出力する。

ここで使用する差分絶対値は、ライン間差分絶対値算出部１６１で以下のように算出する。ここでsub0〜sub4はそれぞれ方向０〜方向４におけるライン間差分絶対値である。
sub0 = | U0−D4 |・・・・・・・式(3)
sub1 = | U1−D3 |・・・・・・・式(4)
sub2 = | U2−D2 |・・・・・・・式(5)
sub3 = | U3−D1 |・・・・・・・式(6)
sub4 = | U4−D0 |・・・・・・・式(7)
式(3)〜式(7)においてU0〜U4およびD0〜D4は図３で定義した画素の画素値である。補間画素値生成部１８１は、最終補間方向選択部１７１から出力されるライン間差分絶対値が最小となる最終補間方向で補間画素outを生成する。

最終補間方向としていずれの方向も選択されない場合には、上下方向 (本実施形態では図３で定義した方向２)で補間画素を生成する。

補間画素outは、
方向0ならば
out = ( U0＋D4 ) / 2・・・・・・・式(8)
方向1ならば
out = ( U1＋D3 ) / 2・・・・・・・式(9)
方向2ならば
out = ( U2＋D2 ) / 2・・・・・・・式(10)
方向3ならば
out = ( U3＋D1 ) / 2・・・・・・・式(11)
方向4ならば
out = ( U4＋D0 ) / 2・・・・・・・式(12)
となる。

図１３に、以上の方法で補間ラインを生成して、図５の入力画像をフィールド内垂直２倍伸張した例を示す。図１３と比較するために、図１４に、上下方向(本実施形態では図３で定義した方向２)の補間のみでフィールド内垂直２倍伸張した結果を示している。
本実施形態の走査線補間装置による図１３の補間結果は、図１４に示した上下方向の補間のみで伸張した例と比較して斜め線のジャギーが抑えられているのを見て取ることができる。

輪郭検出結果を３値化した結果は、図６に示すように画像全体のうちほとんどの画素がflatと判定されている。従って、凸凹のペアによる輪郭部分のみ斜め方向の補間を行い（図２参照）、flatな部分は不必要に斜め方向の補間処理を行わず上下の補間を行うことが可能となる。これにより、flatな箇所が不必要な斜め方向の補間によってモヤモヤ動いて見えるといった不具合は生じ難くなる。

図１５〜図２４は、図１３において本実施形態の方法で補間ラインを生成する際に、第１のパターン比較部１５１及び第２のパターン比較部１５２で演算に使用した各補間方向の参照パターンを列挙したものである。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向０が補間方向の候補として加えられることになる。

図１５は、第１のパターン比較部１５１で演算に使用した方向０の参照パターンを示している。参照パターンとして１６個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向０が補間方向の候補として加えられることになる。

図１６は、第１のパターン比較部１５１で演算に使用した方向１の参照パターンを示している。参照パターンとして８個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向１が補間方向の候補として加えられることになる。

図１７は、第１のパターン比較部１５１で演算に使用した方向２の参照パターンを示している。参照パターンとして１個のみ準備される。この参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向２が補間方向の候補として加えられることになる。

図１８は、第１のパターン比較部１５１で演算に使用した方向３の参照パターンを示している。参照パターンとして８個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向３が補間方向の候補として加えられることになる。

図１９は、第１のパターン比較部１５１で演算に使用した方向４の参照パターンを示している。参照パターンとして１６個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向４が補間方向の候補として加えられることになる。

図２０は、第２のパターン比較部１５２で演算に使用した方向０の参照パターンを示している。参照パターンとして１０個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向０が補間方向の候補から外されることになる。

図２１は、第２のパターン比較部１５２で演算に使用した方向１の参照パターンを示している。参照パターンとして６個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向１が補間方向の候補から外されることになる。

図２２は、第２のパターン比較部１５２で演算に使用した方向２の参照パターンを示している。参照パターンとして２個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向２が補間方向の候補から外されることになる。

図２３は、第２のパターン比較部１５２で演算に使用した方向３の参照パターンを示している。参照パターンとして６個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向３が補間方向の候補から外されることになる。

図２４は、第２のパターン比較部１５２で演算に使用した方向４の参照パターンを示している。参照パターンとして１０個準備される。これらの参照パターンのいずれかが輪郭情報の３値パターンに合致すると、方向４が補間方向の候補から外されることになる。

以上のように、本実施形態によれば、走査線の補間処理を行うにあたり、輪郭情報をもとに補間画素を生成するという手法を用いる。その際、輪郭情報を正負の方向を持った符号付き連続量として定義し、これを算出する手段、算出された輪郭情報を３値化する手段、３値化された値のパターンをあらかじめ準備した参照パターンと比較して補間方向候補を選択する手段、補間方向候補から最終補間方向を選択する手段、最終補間方向を使用して補間ラインを生成する手段を用いることによって、輪郭の境界を適切に抽出することができ、斜め方向の補間処理を行う際に垂直線や絵柄の輪郭をまたいで補間するなどの誤動作を低く抑えることが可能となり、その結果、ジャギーのほか垂直線の途切れを起こりにくくして、垂直解像度の高い走査線補間画像を得ることができる。

以上述べた図１の第１の実施形態は、例えば図示しない記憶手段に蓄積(記憶)したインターレースのフィールド画像から６ライン分のデータを取り込んでフィールド内の補間処理で補間ラインを生成するものであり、ソフトウェアで実装できる構成となっている。前段はラインメモリを実装すればハードウェアでの実現も可能である。

次に、第１の実施形態と同一の補間処理を、テレビジョン放送信号のようにリアルタイムに入力されているインターレース信号を取り込んでフィールド内の補間処理で補間ラインを生成する構成を、ハードウェアで実現可能とする第２，第３の実施形態について説明する。

［第２の実施形態］
図２５は本発明の第２の実施形態の走査線補間装置を示すブロック図である。
図２５に示す走査線補間装置１００Ａは、入力端子２０１にインターレースの映像信号が入力し、入力端子２０１に直列接続したラインメモリ２１１〜２１３に順次１ラインずつ記憶していくことによってラインメモリ２１１〜２１３には現ラインの第ｎラインに対して１水平期間ずつ遅延した第(ｎ−１)〜第(ｎ−３)ラインの映像信号が保持されることになる。ラインメモリ２１１〜２１３はそれぞれ、例えば８bit×水平画素数 の容量を有している。これによって入力端子２０１及びラインメモリ２１１〜２１３からは第ｎ〜第(ｎ−３)ラインのインターレース映像信号がセレクタ２２５〜２２８の一方の入力端、又はノイズ除去用のＬＰＦ２２１〜２２４を介してセレクタ２２５〜２２８の他方の入力端に入力する。セレクタ２２５〜２２８は、図示しない制御手段にて制御手段され、ノイズ除去用ＬＰＦを経由するか、或いは、スルーするかの選択を、ユーザーが図示しない操作手段にて選択することが可能となっている。

セレクタ２２５〜２２７からの第ｎ〜第(ｎ−２)ラインのインターレース映像信号は、輪郭情報算出手段としての輪郭検出部２３１に供給され、例えば３×３画素を用いた輪郭検出が行われ、正負の方向を持った連続量として検出される。輪郭検出部２３１の動作は、図１の輪郭検出部１３１〜１３４と同様である。
輪郭検出部２３１で検出された輪郭検出信号は、３値化手段としての３値化部２４１で正側の閾値と負側の閾値と比較されて、３値化される。３値化部２４１の動作は、図１の３値化部１４１〜１４４と同様である。

３値化部２４１からの３値データは、直列接続したラインメモリ２１５〜２１７に順次１ラインずつ記憶していくことによってラインメモリ２１５〜２１７には第(ｎ−１)ラインから順次１水平期間ずつ遅延した第(ｎ−２)〜第(ｎ−４)ラインの映像信号が保持されることになる。ラインメモリ２１５〜２１７はそれぞれ、１画素につき３値データを記憶するに必要な容量、例えば２bit×水平画素数 の容量を有している。これによって３値化部２４１及びラインメモリ２１５〜２１７からは第(ｎ−１)〜第(ｎ−４)ラインの輪郭情報が出力され、補間方向候補選択手段としての第１，第２のパターン比較部２５１，２５２に供給される。第１，第２のパターン比較部２５１，２５２の動作は、図１の第１，第２のパターン比較部１５１，１５２と同様である。

第２のパターン比較部２５２の出力である補間方向の候補は、最終補間方向先手段としての最終補間方向選択部２７１へ入力される。最終補間方向選択部２７１は、第２のパターン比較部２５２から入力する補間方向の候補のうち、ライン間差分絶対値算出部２６１から出力される各補間方向候補の上下ライン間の差分値の絶対値が最小となる方向を最終補間方向として補間ライン生成手段である補間画素値生成部２８１へ出力する。

ライン間差分絶対値算出部２６１，最終補間方向選択部２７１及び補間画素値生成部２８１についても、それらの動作は図１のライン間差分絶対値算出部１６１，最終補間方向選択部１７１及び補間画素値生成部１８１と同様である。
図２５の走査線補間装置１００Ａでは、ラインメモリ２１１〜２１３で入力画像データを保持し、ラインメモリ２１５〜２１７で３値化データを保持することによって、必要なライン数分の輪郭情報を得ているだけで、処理内容は第１の実施形態と同様である。

本発明の第２の実施形態によれば、放送信号のようにリアルタイムに入力されるインターレース信号を取り込んでフィールド内の補間処理で補間ラインを生成する構成を、ハードウェアで実現することができる。

［第３の実施形態］
図２６は本発明の第３の実施形態の走査線補間装置を示すブロック図である。
図２６に示す走査線補間装置１００Ｂは、図１の構成を図２５のようにハードウェアで実装する場合に、ラインメモリの量を少なく抑えるようにして、回路規模を少なく構成したものである。すなわち、図２５の構成から、３値化データを保持することが可能なラインメモリ２１５を削除し、その代わりに輪郭検出部２３２及び３値化部２４２をもう１ライン分、セレクタ２２６〜２２８と第１のパターン比較部２５１間に設けた構成としてある。このように構成すれば、輪郭検出部２３２及び３値化部２４２は、例えば２bit×水平画素数の容量を持った上記ラインメモリ２１５の回路規模より小さくて済み、装置全体として回路規模を小さくできるためである。

図２６の走査線補間装置１００Ｂでは、ラインメモリ２１１〜２１３で入力画像データを保持し、ラインメモリ２１６，２１７で３値化データを保持しかつ輪郭検出部２３２及び３値化部２４２をもう１ライン分設けることによって、必要なライン数分の輪郭情報を得ており、処理内容は第１，第２の実施形態と同様である。但し、第２の実施形態に比べ、ラインメモリの量を抑え、回路規模を小さくできる利点を有している。

本発明の第１の実施形態の走査線補間装置の構成を概念的に示すブロック図。 本発明の実施形態における、輪郭情報を用いて補間画素を生成する方法についての説明図。 斜め補間処理における補間方向を定義する説明図。 輪郭情報検出処理を行う３×３画素を示す図。 入力画像の例を示す図。 ３値化された輪郭検出結果の例を示す図。 第１のパターン比較部における、図３で定義した方向０を補間方向の候補に加えるための参照パターンの一例を示す図。 図７の参照パターンによって方向０の補間方向が検出される３値パターンの例を示す図。 第１のパターン比較部における、図３で定義した方向０を補間方向の候補に加えるための参照パターンの他の例を示す図。 図３で定義した方向０，方向１，方向３及び方向４の参照パターン（例えば図７，図９のパターン）で検出されない入力画像の例を示す図。 第２のパターン比較部における、方向０，方向１，方向３，方向４の各方向を補間方向の候補から外す参照パターンの例を示す図。 図１１の参照パターンによって検出される３値パターンの例を示す図。 第１の実施形態の装置で、図５の入力画像に補間ラインを生成し、フィールド内垂直２倍伸張した例を示す図。 上下方向(図３で定義した方向２)の補間のみでフィールド内垂直２倍伸張した結果を示す図。 第１のパターン比較部で演算に使用した方向０の参照パターンを示す図。 第１のパターン比較部で演算に使用した方向１の参照パターンを示す図。 第１のパターン比較部で演算に使用した方向２の参照パターンを示す図。 第１のパターン比較部で演算に使用した方向３の参照パターンを示す図。 第１のパターン比較部で演算に使用した方向４の参照パターンを示す図。 第２のパターン比較部で演算に使用した方向０の参照パターンを示す図。 第２のパターン比較部で演算に使用した方向１の参照パターンを示す図。 第２のパターン比較部で演算に使用した方向２の参照パターンを示す図。 第２のパターン比較部で演算に使用した方向３の参照パターンを示す図。 第２のパターン比較部で演算に使用した方向４の参照パターンを示す図。 本発明の第２の実施形態の走査線補間装置を示すブロック図。 本発明の第３の実施形態の走査線補間装置を示すブロック図。 上下方向の補間処理を示す図。 斜め補間処理の方法を説明する図。 斜め補間処理における問題点を説明する図。

符号の説明

１３１〜１３４…輪郭検出部
１４１〜１４４…３値化部
１５１…第１のパターン比較部
１５２…第２のパターン比較部
１６１…ライン間差分絶対値算出部
１７１…最終補間方向選択部
１８１…補間画素値生成部

Claims (5)

1. 入力する画像データの絵柄の輪郭を推測するための情報を、画素ごとにその周囲の画素に対して正負の方向を持った連続量として算出する輪郭情報算出手段と、
   前記輪郭情報算出手段の出力を正側の閾値と負側の閾値と比較して３値化する３値化手段と、
   前記３値化手段によって得られた３値データを用いて、補間ライン生成のための補間方向を決定する補間方向決定手段と、
   入力される前記画像データに対して、前記補間方向決定手段で決定された補間方向の画素を用いた補間処理を行い、補間ラインを生成する補間ライン生成手段と、
   を備えることを特徴とする走査線補間装置。
2. 前記輪郭情報算出手段は、注目画素を中心として上下方向，左右方向，右上がり斜め方向，右下がり斜め方向の全４方向の二次微分値をそれぞれ算出し、その算出された４つの二次微分値の和を出力することを特徴とする請求項１に記載の走査線補間装置。
3. 前記３値化手段は、注目画素の周囲の画素の最大値と最小値の差に比例する閾値を用いて３値化することを特徴とする請求項１又は２に記載の走査線補間装置。
4. 前記補間方向決定手段は、
   補間ライン生成のための補間方向の候補を前記３値化手段によって得られた３値データを用いて選択する補間方向候補選択手段と、
   前記補間方向候補選択手段で選択された補間方向候補から最終補間方向を決定する最終補間方向選択手段と、
   を備えたことを特徴とする請求項１乃至３のいずれか１つに記載の走査線補間装置。
5. 前記補間方向候補選択手段は、補間画素の周囲における前記３値化手段の出力である３値データの分布を、予め準備した複数の参照パターンと比較して、合致するパターンがある場合に前記補間方向の候補として選択することを特徴とする請求項４に記載の走査線補間装置。