JP2008182362A - 走査線補間装置 - Google Patents

Abstract

【課題】インターレース方式のフィールド画像をプログレッシブ方式の画像に変換するとき、特に斜め線や直角の境界が動く画像に対する画質の低下を抑える。
【解決手段】補間画素の上下に位置するライン上の画素による相関およびアクティビティを計算し、前記相関およびアクティビティより計算された評価値が最も大きいときの方向を補間方向とする。また、全ての方向の評価値が閾値以下のときは垂直方向を補間方向とする。前記補間方向が指し示す画素より補間画素を生成する。
【選択図】図１０

Description

本発明は、インターレース方式のフィールド画像をプログレッシブ方式の画像に変換する走査線補間装置に関し、特に斜め線や直角の境界をもつ画像に対して画質の低下を抑える走査線補間装置に関わる。

液晶ディスプレイやプラズマディスプレイでは、一般的にプログレッシブ方式の画像がパネルに表示される。そのため、インターレース方式のフィールド画像を画面に表示するためには、走査線補間処理によりインターレース方式のフィールド画像をプログレッシブ方式の画像に変換する必要がある。走査線補間処理においては、インターレース方式の各フィールド画像に対し上下に隣接する走査線の中間に位置する画素列を補間してプログレッシブ画像を生成する。

一般に知られている走査線補間処理の手法である画像の動きに適応した走査線補間処理による補間画素の生成処理について図１を参照しながら説明を行う。図１（ａ） は、静止画像と判定されたときに行われるフィールド間補間の動作を示す図であり、１フィールド前（過去）の画像の同じ位置の画素をコピーして補間画素を生成する（ＡＲ１）。図１（ｂ）は、動画像と判定されたときに行われるフィールド内補間処理の内容を示しており、補間画素の上下に位置する入力ラインＩ１、Ｉ２の画素の平均値を補間画素とする（ＡＲ２、ＡＲ３）。上記の処理により、静止画像ではちらつきが抑えられ、かつ、垂直方向の解像度が増し、動画像では時刻の異なるフィールド画像の組み合わせによるコーミング現象（特に動きの激しい部分に起こる現象で、表示が追いつかずクシ状に表示されてしまう現象）を防止することができる。

上記のようなフィールド内補間に関する問題点として、斜め方向の境界をもつ画像を処理したときに画質が低下するという問題がある。例えば、図２に示すように、補間画素の上に位置する画素（白丸：ＡＲ４の基に位置する）と下に位置する画素（黒丸：ＡＲ５の基に位置する）の平均値を補間画素とすると斜め方向の境界（例えばＬ１）がなめらかに表現されないという問題がある。

これに対して、斜め方向の境界での画質低下を防ぐフィールド内補間処理が知られている。図３に示すように、補間画素の位置を通過する斜め線を複数設定し（Ｌ２）、この斜め線Ｌ２が指示する補間画素の上下の走査線上に位置する２画素の組の中で最も画素のレベルが近いものを最適な組み合わせと判定し、最適な組み合わせの２画素の平均値を補間画素とするものである（例えば、画素ｈと画素ｋなど）。

上記の手法による処理結果の例を図４に示す。図４では、斜め方向の境界線Ｌ３上に配置される画素ｇと画素ｌとの値が最も近いと判定され、斜め方向の境界Ｌ３と同じ方向が補間方向（ＡＲ６、ＡＲ７）として検出される。補間画素は、画素ｇと画素ｌとの平均値になり、斜め方向の境界がなめらかになる。

上記のフィールド内補間の別の問題点として、斜め線を処理したときに画質が低下する点が挙げられる。例えば、図５に示すように、横方向に５画素の幅をもつ斜め線Ｌ４、Ｌ５が入力されたとき、斜め線の方向とは逆方向となる画素ｂと画素ｑを結ぶ直線Ｌ６が最適な補間方向と判定され、補間画素が画素ｂと画素ｑの平均値となるため画質が低下することがある。ここで、図５では、画素bと画素qによる補間が示されたが、それに近い画素aと画素ｒによる補間が選択される可能性もある。

これに対して、補間方向の各候補に対しその方向が指し示す画素だけではなく、その周囲の画素も含めて相関値を計算することにより補間方向を判定する方法が知られている。例えば、図６に示すように、斜め線の境界線をＬ７、Ｌ８とすると、補間方向の各候補が指示する画素に加え隣接する画素の合計３画素（楕円で囲まれている）の相関を検出する。画素ｂと画素ｑとを結ぶ方向（Ｌ９）は、画素aｂｃと画素ｐｑｒとの相関が計算される。図６の例では、画素aと画素ｑの値が異なるために画素ａｂｃと画素ｐｑｒの相関は低くなり、画素ｆｇｈと画素ｋｌｍの相関が最も大きいと判定され、斜め線Ｌ７の境界と同じ方向である画素ｇと画素ｌとを結ぶ方向が補間方向となる。結果、補間画素は画素ｇと画素ｌとの平均値となり、斜め線がなめらかになる。

特開２００４−２５４２７３号公報

しかしながら、従来のフィールド内補間の手法では、細い斜め線を処理したときに画質が低下するという問題がある。

例えば、図７に示すように細い斜め線Ｌ９、Ｌ１０を処理したとき、画素ａｂｃと画素ｐｑｒの相関が最も大きいと判定されることがある（Ｌ１１）。このとき、補間方向は画素ｂと画素ｑを結ぶ方向となり斜め線Ｌ９、Ｌ１０とは逆方向となる。その結果として、補間画素は、画素ｂと画素ｑとの平均値となり、斜め線がなめらかにならないという問題がある。

また、従来のフィールド内補間の手法の別の問題点として、２本以上の直線をもつフィールド画像を補間処理するときに誤った補間方向を選択してしまいドットノイズを発生することがある。例えば、図８に示すように、画素ｂ−ｌを通過する直線Ｌ１２と画素ｇ−ｑを通過する直線Ｌ１３とを含むフィールド画像を処理するとき、画素ｆｇｈと画素ｋｌｍの相関が最も大きいとすると、画素ｇと画素ｌを結ぶ方向を補間方向と判定してしまい（ＡＲ１３、ＡＲ１４）、補間画素は画素ｇと画素ｌとの平均値となりドットノイズとなる。同様に、画素ａｂｃと画素ｐｑｒとの相関が最も大きいとすると、画素ｂと画素ｑとを結ぶ方向を補間方向と判断してしまい、補間画素は画素ｂと画素ｑとの平均値となりドットノイズとなる。

また、従来のフィールド内補間の手法の更に別の問題として、直角の境界をもつ画像を補間処理するときに角が欠けるという問題点がある。例えば、図９に示すように、直角の境界をもつ物体が左方向に移動するとき（ＡＲ１４）、画素Eの補間処理において、画素ｇｈｉと画素ｊｋｌとの相関が最も大きいと判定されると、補間方向は、画素ｈと画素ｋとを結ぶ方向と判定され、補間画素は画素ｈと画素ｋとの平均値となる。同様に、画素Dの補間処理では、補間方向は画素ｇと画素ｊとを結ぶ方向と判定されたとすると、補間画素は画素ｇと画素ｊの平均値となる。画素ＦＧＨＩの補間処理において、走査線補間装置内の動き判定処理が画素ＦＧＨＩの領域を静止画像と判定したとすると、フィールド間補間処理が選択され補間画素は１フィールド過去の入力ライン上の同じ位置の画素のコピーとなる。結果として、補間された画像の直角部は補間方向が斜め方向と判定されたために領域外の画素により補間画素が生成され、直角が欠けてしまうという問題がある。

本発明は、インターレース方式のフィールド画像をプログレッシブ方式の画像に変換するとき、特に斜め線や直角の境界をもつ画像に対して画質の低下を抑えることを目的とする。

かかる課題を解決するため、本発明は、インターレース方式のフィールド画像をプログレッシブ画像に変換する走査線補間装置において、前記走査線補間装置内のフィールド内補間処理を行う補間方向検出部と補間画素生成部とからなり、補間方向検出部は補間画素を通過する複数の斜め方向が指し示す、補間画素の上下に位置するライン上の画素を含む周囲画素の相関、および前記相関に用いた画素のアクティビティを計算し、前記相関およびアクティビティより計算された評価値が最も大きいときの方向を補間方向とし、また全ての方向の評価値が第１の閾値以下のときは垂直方向を補間方向とし、補間画素生成部は前記検出された補間方向が指し示す画素より補間画素を生成する工程を有することを特徴とする走査線補間装置を提供する。

また、本発明は、２つ以上の評価値が第２の閾値より大きく、かつ、斜め方向の向きが大きく異なるとき、検出された補間方向をキャンセルし垂直方向を補間方向とすることを特徴とする走査線補間装置を提供する。

また、本発明は、隣接する補間画素の補間方向が大きく異なるとき、検出された補間方向をキャンセルし垂直方向を補間方向とすることを特徴とする走査線補間装置を提供する。

また、本発明は、補間画素の上下に位置するライン上の画素の間に補間処理により新たな画素を生成し、前記補間生成された画素を指し示す方向を新たな補間方向の候補とすることを特徴とする走査線補間装置を提供する。

以上に説明したように、本発明によれば、インターレース方式のフィールド画像をプログレッシブ方式の画像に変換するとき、特に斜め線や直角の境界をもつ画像に対して画質の低下を抑えることができる。

本明細書において、アクティビティとは、画素が変動しているかどうかを示す値として定義される。また、第１の閾値は、適切ではない補間方向を選択したときに、画質が低下しないために設けられる。例えば、画像にはっきりした斜め線、斜め境界が無いとき、各斜め方向の評価値は大きくない。このような状態で、その中から最も大きい評価値の斜め方向を選択しても意味はなく、逆に画質が低下するという弊害が生じる可能性がある。そのため、はっきりした斜め線、斜め境界のみ斜め方向による補間を行うようにした。すなわち、第１の閾値は、「画像より視覚的に認識可能な斜め方向の線、斜め方向の境界、を抽出する判定に用いる閾値」として定義される。

次に、第２の閾値について説明する。複数の斜め線方向が選択の候補として選ばれるとき、画像は複数の斜め線が交差するなど複雑な状態となっている。このとき、補間方向を斜めにすると画質が劣化することがある。そこで、複雑な画像については斜め線方向の候補を選択しないようにした。すなわち、第２の閾値は、「複数の斜め線が存在するなど複雑な画像を抽出する判定に用いる閾値」として定義される。

第３の閾値について説明する。第３の閾値は、評価値＞第２の閾値を満たす補間方向の範囲が第３の閾値よりも大きい場合に垂直方向を補間方向の最終候補とし、第３の閾値よりも小さい場合に最も評価値の大きい方向を補間方向の最終候補とする判断基準となる閾値である。

第４の閾値について説明する。第４の閾値は、左右のいずれかの補間が画素の補間方向の最終候補との差分が第４の閾値よりも大きい場合に垂直方向を補間方向の最終候補とし、第４の閾値よりも小さい場合に最も評価値の大きい方向を補間方向の最終候補とする判断基準となる閾値である。

以下、本発明の実施の形態による走査線補間装置について図面を参照しながら説明を行う。まず、本発明の第１の実施の形態による走査線補間装置について説明する。図１０は、本実施の形態による走査線補間装置の一構成例を示す機能ブロック図である。図１０に示すように、本実施の形態による走査線補間装置は、メモリ９００、相関計算部９０１、アクティビティ計算部９０２、評価値計算部９０３、補間方向判定部９０５、補間画素生成部９０４を含んで構成されている。相関計算部９０１、アクティビティ計算部９０２は、補間方向の候補の数だけ設けられている。

メモリ９００は、入力画素を蓄積し、相関計算部９０１、アクティビティ計算部９０２、補間画素生成部９０４のそれぞれに対し、処理に必要な画素を供給する。

相関計算部９０１は、補間方向の候補毎に相関を計算する。例えば、図３に示すように補間方向の候補数を９とし、相関の計算には各補間方向の候補が指し示す画素と隣接する左右の画素と用いたとしたとき、画素ｂと画素ｑを結ぶ方向の相関は式(１)となる。
（相関）＝１／（｜a−ｐ｜＋｜ｂ−ｑ｜＋｜ｃ−ｒ｜） （１）

本実施の形態では、相関の計算式は式(１)に限定されない。例えば、式(２)のように画素毎に重み付けを変えることができる。
（相関）＝１／（｜a−ｐ｜＋２・｜ｂ−ｑ｜＋｜ｃ−ｒ｜） （２）

また、相関の計算に用いる画素数を３以外の数にしてもよい。アクティビティ計算部９０２は、相関の計算に用いた画素の変動量を計算する。図３において画素ｂと画素ｑとを結ぶ方向のアクティビティは式(３)で表すことができる。
（アクティビティ）＝｜a−ｂ｜＋｜ｂ−ｃ｜＋｜ｐ−ｑ｜＋｜ｑ−ｒ｜ （３）

但し、アクティビティの計算式を式(３)に限定されない。例えば、式(４)、(５)のように、平均値からの偏差の絶対値和をアクティビティとすることもできる。
ave＝（a＋ｂ＋ｃ＋ｐ＋ｑ＋ｒ）／６ （４）
（アクティビティ）＝｜ave−a｜＋｜ave−ｂ｜＋｜ave−ｃ｜＋｜ave−ｐ｜
＋｜ave−ｑ｜＋｜ave−ｒ｜ （５）

評価値計算部９０３は、相関値、アクティビティ値より評価値を計算する。評価値の導出は、例えば、相関値とアクティビティ値の相乗で表される。本明細書では、相関値、アクティビティ値ともに大きくなると評価値が大きくなるような関数を相乗とする。評価値の計算式の例を式(６)に示す。
（評価値）＝（相関）×（アクティビティ） （６）

補間方向判定部９０５は、補間方向の候補毎に得られた評価値に基づいて、以下のような基準により補間方向を決定する。
１）最も大きい評価値が第２の閾値以上のときはその評価値を求めた方向を補間方向とし、全ての方向の評価値が閾値より小さいときは補間方向を垂直とする。
上記第２の閾値は、画像より視覚的に認識できる斜め方向の線、斜め方向の境界、を抽出するために設けられた値である。

２）また、上記の処理に加えて、２つ以上の評価値が第２の閾値より大きく、かつ、斜め方向の向きが大きく異なる場合には、補間方向を垂直にしてもよい。上記の第２の閾値は、複数の斜め線が存在するなど複雑な画像を抽出するためのものである。これにより、複雑な画像に対して誤った補間方向を選択することを防ぐことができる。
例えば、図１１に示すように、画素ｂ−ｌを通過する直線Ｌ１４と画素ｇ−ｑを通過する直線Ｌ１５とを含むフィールド画像を処理するとき、画素ｆｇｈと画素ｋｌｍの評価値が最も大きいとすると、画素ｇと画素ｌを結ぶ方向を補間方向と判定してしまい、補間画素は画素ｇと画素ｌとの平均値となりドットノイズとなる。同様に、画素ａｂｃと画素ｐｑｒとの評価値が最も大きいとすると、画素ｂと画素ｑとを結ぶ方向を補間方向と判断してしまい、補間画素は画素ｂと画素ｑとの平均値となりドットノイズとなる。このような場合、垂直方向が最適な補間方向となる。

３）さらに、隣接する補間画素の補間方向が大きく異なるとき、検出された補間方向を用いずに垂直方向を補間方向としてもよい。例えば、図１２に示された画像をフィールド内補間処理し、画素Ａ、Ｂを生成するとき（斜め線がＬ１７、Ｌ１８）、図１３に示すように画素Ａに対し画素ａｂｃと画素ｐｑｒの相関が最も大きく、画素Ｂに対し画素ｈｉｊと画素ｋｌｍの相関が最も大きくなるが、画素ｂｑを結ぶ方向Ｌ２１と画素ｉｌを結ぶ方向Ｌ２４が大きく異なるため、画像Ａ、Ｂの補間方向を垂直とすることにより誤った補間方向が選択されないようにすることができる。
補間画素生成部９０４は、上記のようにして判定された補間方向が指し示す上下ラインの画素の平均値を計算し補間画素として出力する。

以上の示した処理の流れについて図１６のフローチャート図を参照しながら説明を行う。まず、ステップＳ１において、複数の補間方向の候補に対する相関値を計算する。ステップＳ２において、複数の補間方向の候補に対するアクティビティを計算する。ステップＳ３において、複数の補間方向の候補に対する評価値を計算する。ステップＳ４において、全ての補間方向の評価値と第１の閾値とを比較する。前者が大きい場合には（Ｙ）ステップＳ１０に進み垂直方向を補間方向の最終候補とする。前者が小さい場合には（Ｎ）ステップＳ５に進み、評価値＞第２の閾値を満たす補間方向の範囲が第３の閾値より大きいか否かを判定する。Ｙであれば、ステップＳ１０に進む。Ｎであれば、ステップＳ６に進み、最も評価値の大きい方向を補間方向の最終候補とし、ステップＳ７に進む。ステップＳ７においては、左隣の補間画素の補間方向の最終候補との差分が第４の閾値より大きいか否かを判定する。

Ｙの場合には、ステップＳ１１に進み垂直方向を補間方向とする。Ｎの場合には、ステップＳ８に進み、右隣の補間画素の補間方向の最終候補との差分が第４の閾値より大きいか否かを判定する。大きければ（Ｙ）、ステップＳ１１に進む。そうでなければ（Ｎ）、ステップＳ９に進み、最も評価値の大きい方向を補間方向とする。

本実施の形態によれば、特に斜め線や直角の境界をもつ画像に対して画質の低下を抑えることができるという利点がある。

次に、本発明の第２の実施の形態による走査線補間装置について説明する。図１４は、本実施の形態による走査線補間装置の一構成例を示す機能ブロック図である。図１４は、画素補間部１４００、メモリ１４０１、相関計算部１４０２、アクティビティ計算部１４０３、評価値計算部１４０４、補間方向判定部１４０６、補間画素生成部１４０５より構成される。ここで、図１４では省略されているが、相関計算部１４０２、アクティビティ計算部１４０３は、補間方向の候補の数だけ存在する。

本実施の形態は、第１の実施の形態と比較して、入力画素をメモリ１４０１に格納する前に画素補間部１４００により画素数を２倍に増加させる処理が追加されている。但し、補間部１４００の位置は限定的なものではない。例えば、メモリ１４０１の容量を削減するために、メモリ１４０１の後段に補間部１４００を配置し、メモリ１４００より読み出された画素に対して画素数を増やしてもよい。また、本実施の形態は、画素補間部１４００の補間アルゴリズム、補間倍率を限定するものではない。

図１５に示すように、画素補間部１４００により画素を補間することで、補間画素間の方向（例えば符号Ｌ１０２）を補間方向とすることが可能となる。これにより、補間方向の候補数を増やすことができるため、補間方向の角度を細かく設定することができるという利点がある。

本発明は、走査線補間装置に利用可能である。

動き適応型の走査線補間処理による補間画素の生成を示した平面図である。 斜め方向の境界をもつフィールド画像に対するフィールド内補間処理を示した平面図である。 各補間方向に対する画素の組を示した平面図である。 斜め方向の境界をもつフィールド画像に対するフィールド内補間を示した平面図である。 横幅5画素の斜め線をもつフィールド画像に対するフィールド内補間を示した平面図である。 補間方向の判定に用いる画素数を増やした例を示した平面図である。 横幅2画素の斜め線をもつフィールド画像に対するフィールド内補間を示した平面図である。 ２本の斜め線をもつフィールド画像に対するフィールド内補間を示した平面図である。 直角の境界をもつ物体が移動したときの走査線補間処理を示した平面図である。 本発明の第１の実施の形態による走査線補間装置の一構成例を示す昨日ブロック図である。 ２本の斜め線をもつフィールド画像に対するフィールド内補間を示した平面図である。 ２本の斜め線をもつフィールド画像を示した平面図である。 ２本の斜め線をもつフィールド画像に対するフィールド内補間を示した平面図である。 本発明の第２の実施の形態による走査線補間装置の一構成例を示す機能ブロック図である。 補間により入力ラインの画素数を増やしたときの各補間方向に対する画素の組を示した平面図である。 本実施の形態による処理の流れを示すフローチャート図である。

符号の説明

１４００ 画素補間部
９００、１４０１ メモリ
９０１、１４０２ 相関計算部
９０２、１４０３ アクティビティ計算部
９０３、１４０４ 評価値計算部
９０４、１４０５ 補間画素生成部
９０５、１４０６ 補間方向判定部

Claims (7)

1. フィールド内補間処理を行う補間方向検出部と補間画素生成部とからなり、インターレース方式のフィールド画像をプログレッシブ画像に変換する走査線補間装置において、
   前記補間方向検出部は、補間画素を通過する複数の斜め方向が指示し、補間画素を挟んで隣接する画素であってライン上に位置する画素を含む周囲画素の相関および該相関に用いた画素の変動値に関するアクティビティを計算し、前記相関と前記アクティビティとがともに大きくなると評価値が大きくなる関数により計算された評価値の大きい方向を補間方向とし、
   前記補間画素生成部は、検出された前記補間方向が指示する画素により補間画素を生成することを特徴とする走査線補間装置。
2. 前記補間方向検出部は、全ての方向の評価値が第１の閾値以下のときは垂直方向を補間方向とすることを特徴とする請求項１に記載の走査線補間装置。
3. ２つ以上の評価値が第２の閾値より大きく、かつ、斜め方向の向きの範囲が第３の閾値よりも大きいとき、検出された補間方向を用いずに垂直方向を補間方向とすることを特徴とする請求項１に記載の走査線補間装置。
4. ２つ以上の評価値が第２の閾値より大きく、かつ、斜め方向の向きが垂直方向を基準として成す角度がプラスマイナスに異なるとき、検出された補間方向を用いずに垂直方向を補間方向とすることを特徴とする請求項１に記載の走査線補間装置。
5. 隣接する補間画素の補間方向が第４の閾値よりも大きいとき、検出された補間方向を用いずに垂直方向を補間方向とすることを特徴とする請求項１に記載の走査線補間装置。
6. 隣接する補間画素の補間方向について、斜め方向の向きが垂直方向を基準として成す角度がプラスマイナスに異なるとき、検出された補間方向を用いずに垂直方向を補間方向とすることを特徴とする請求項１に記載の走査線補間装置。
7. 補間画素の上下に位置するライン上の画素の間に補間処理により新たな画素を生成し、前記補間生成された画素を指し示す方向を新たな補間方向の候補とすることを特徴とする請求項１に記載の走査線補間装置。

Images