JP2006067541A - 映像変換装置及び映像変換方法並びに記録媒体 - Google Patents

Abstract

【課題】 飛越走査映像を順次映像に変換する装置及び方法を提供する。
【解決手段】 入力フィールド映像の補間される画素に対して、先行フィールド映像と後行フィールド映像とを利用して動きを検出する動き検出部と、他の走査線上の画素値を利用して動きが検出された前記補間される画素の補間方向を決定する補間方向決定部と、前記補間方向に従って前記補間される画素を空間的に補間する第１補間部と、前記補間される画素に垂直方向の高周波数成分が存在する場合に、先行フィールド及び後行フィールドの対応画素値、及び前記空間的に補間された画素値を利用して前記補間される画素値を再設定する第２補間部と、よりなる映像変換装置。これにより、順次走査映像で斜線部分のジグザグ現象を緩和させうるだけでなく高周波数部分の鮮明度を向上させることによって順次走査映像の品質を向上させうる。
【選択図】 図２

Description

本発明は飛越走査映像を順次走査映像に変換する装置及び方法に係り、具体的には、補間される画素が属する領域及びエッジ方向を考慮しつつ飛越走査された映像を補間して順次走査された映像に変換する映像変換装置及び映像変換方法並びに記録媒体に関する。

飛越走査映像を順次走査映像に変換させる方法として、多様な技術が公示されている。そのうち代表的な２つの方式としてブレンド方式とエッジ従属補間方式とがあるが、これについて簡略に紹介すれば次の通りである。

ブレンド方式は、補間対象画素に対応する先行及び後行の飛越走査線上の画素値と補間対象画素の垂直方向の上下画素値とを利用して補間処理した後、補間処理された値を補間対象画素値として設定する方式である。この方式は特に映像のエッジ部分を軟らかくて自然に表現できる長所がある。しかし、動きの多い飛越走査映像を前述した方式を利用して変換させる場合にぶれ現象及び残像が生じる欠点があり、また斜線エッジ部分の表現時に階段現象が発生する短所がある。

エッジ従属補間方式は、補間対象画素値を求めるために補間対象画素の上下画素値及び上下画素値の左右画素値を使用する方式であって、図１に図示されたように補間対象画素Ｘの順次走査された画素値を求めるために、この画素の左上側の対角線方向画素値Ｄ_lu、左下側の対角線方向画素値Ｄ_ld、右上側の対角線方向画素値Ｄ_ru、右下側の対角線方向画素値Ｄ_rd、上下画素値Ｖ_u，Ｖ_dを使用する。

この方式は、上下画素値の差（Ｖ_u−Ｖ_d）、対角線方向画素値の差（Ｄ_lu−Ｄ_ld−Ｄ_ru−Ｄ_rd）を求めてその差の最も小さな方向に位置した画素値で補間対象画素Ｘを補間して順次走査された画素値を求める。この方式は前述したように対角線方向の画素を考慮するために、自然な斜線エッジ表現が可能で階段現象を防止できる長所がある。

しかし、この方式は、境界、すなわちエッジの方向を判断するに当ってエラーが発生する怖れがあり、補間時に飛越走査映像の１フィールドのみ使用するために飛越走査映像の色度値と順次走査映像の色度値間に顕著な差が出ることがあり、被写体の動きの速い映像を順次走査映像に変換する時に色ぶれ現象が発生する問題点がある。このような方法を使用するためには、各画素の斜線方向への補間と垂直方向への補間のうちいずれが有利であるかを判断することが重要である。

既存の方法は大部分、エッジ方向を判断するために上位走査線上の画素値と下位走査線上の画素値間の差の絶対値｜ｘ（ｋ）−ｙ（−ｋ）｜，ｋ＝−Ｎ，…，０，…，Ｎを求め、これら差の絶対値のうち最も小さな値を持つ方向に斜線があると判断する。このような方法の例は、例えば特許文献１及び２に開示されている。しかし、このような方式は、あらゆる可能な斜線方向にある上下画素の組合わせの絶対値をいちいち比較せねばならないが、あらゆる可能な斜線を調べるために複雑度が高まる短所がある。一方、いくつかの場合の斜線のみチェックすれば、チェックしていない方向の斜線を考慮できずに間違った判断によるノイズが生じる問題がある。また、正確な変換のために動き予測が必要であるが、この方法は多くの計算能力及びメモリ帯域幅を必要とするのでリアルタイムで飛越走査された映像を変換し難い短所がある。
米国特許第５５３２７５１号明細書 米国特許第６４２１０９０号明細書

本発明が解決しようとする技術的課題は、補間される画素が属する領域及びエッジ方向を考慮しつつ飛越走査された映像を補間して斜線部分のジグザグ現象を緩和し、垂直方向の高周波数部分の鮮明度を向上させうる映像変換装置及び映像変換方法並びに記録媒体を提供することである。

前述した技術的課題を解決するための本発明の映像変換装置は、飛越走査されたフィールド映像を補間して順次走査されたフレーム映像に変換する映像変換装置であって、入力フィールド映像の補間される画素に対して、先行フィールド映像と後行フィールド映像とを利用して動きを検出する動き検出部と、他の走査線上の画素値を利用して動きが検出された補間される画素の補間方向を決定する補間方向決定部と、補間方向に従って前記補間される画素を空間的に補間する第１補間部と、補間される画素に垂直方向の高周波数成分が存在する場合に、先行フィールド及び後行フィールドの対応画素値、及び空間的に補間された画素値を利用して補間される画素値を再設定する第２補間部と、を含む。

前記動き検出部は、補間される画素の隣接画素に対応する、先行フィールド映像及び後行フィールド映像の画素間の差を利用して動きを検出することが望ましい。

前記動き検出部は、前記補間される画素に対応する先行及び後行フィールド映像の第１画素間の差、前記補間される画素に隣接する画素に対応する先行及び後行フィールド映像の第２画素間の差、前記補間される画素に隣接する上位及び下位走査線上の第３画素と前記第３画素に対応する先行フィールド映像の画素間の差、及び前記第３画素と前記第３画素に対応する後行フィールド映像の画素間の差を利用して動きを検出することが望ましい。

前記映像変換装置は、動きのない前記補間される画素に対して、補間される画素に対応する先行フィールド映像の画素値を前記補間される画素の画素値として設定して補間される画素を補間する第３補間部をさらに含むことが望ましい。

前記補間方向決定部は、補間される画素に対応する上位走査線上の画素値と下位走査線上の画素値間の差が所定の臨界値より小さければ、補間される画素の補間方向を垂直方向に決定し、所定の臨界値と同じか、または大きければ、補間される画素の補間方向を斜線方向に決定することが望ましい。

前記補間方向決定部は、補間される画素に隣接した上位走査線上の所定数の画素値と下位走査線上の所定数の画素値間の差が所定の臨界値より大きければ、その差が最小になる方向に補間方向を決定することが望ましい。

前記補間方向決定部は、補間される画素を中心に、入力フィールド映像で第１斜線方向の上位走査線と下位走査線に位置した画素間の第１差分値を計算する第１差分値計算部と、補間される画素を中心に、入力フィールド映像で第２斜線方向の上位走査線と下位走査線に位置した画素間の第２差分値を計算する第２差分値計算部と、第１差分値と第２差分値間の第３差分値を求めて第３差分値が所定の臨界値より大きい場合に、第１差分値と第２差分値のうち小さな差分値に対応する方向に補間方向を決定する方向決定部と、を含むことが望ましい。

前記第２補間部は、空間的に補間された画素値に第１加重値を乗算し、先行フィールド映像の対応画素値及び後行フィールド映像の対応画素値に第２加重値を乗算して加算した結果を所定の定数で割って画素値を再設定することが望ましい。

一方、前述した技術的課題を解決するための本発明の映像変換方法は、飛越走査されたフィールド映像を補間して順次走査されたフレーム映像に変換する映像変換方法であって、（ａ）入力フィールド映像の補間される画素に対して、先行フィールド映像と後行フィールド映像とを利用して動きを検出する段階と、（ｂ）動きが検出された場合に、他の走査線上の画素値を利用して補間される画素の補間方向を決定する段階と、（ｃ）補間方向に沿う所定のフィルタを利用して補間される画素を空間的に補間する段階と、（ｄ）補間される画素に垂直高周波数成分が存在する場合に、先行フィールド及び後行フィールドの対応画素値、及び空間的に補間された画素値を利用して補間される画素値を再設定する段階と、を含む。

また、本発明の記録媒体は、前記（ａ）段階、前記（ｂ）段階、前記（ｃ）段階及び前記（ｄ）段階を含む映像変換方法をコンピュータで判読でき、かつ実行可能なプログラムコードで記録することが望ましい。

本発明は動きのある部分に対しては垂直方向あるいは斜線方向に補間を行い、動きのない部分に対しては以前フィールドの画素値をそのまま使用して、動きに適応的に元映像の損傷を減らしつつ飛越走査された映像を順次走査された映像に変換できる効果がある。
特に、画素の補間方向判断時に間違った方向判断の可能性を最大限減らしてノイズを減少させる効果がある。また、簡単なアルゴリズムを使用して斜線部分に属する補間される画素を検出できる効果がある。

以下、添付された図面を参照して本発明の望ましい実施例による映像変換装置及び映像変換方法並びに記録媒体を説明する。
図２は、本発明の望ましい実施例による飛越走査の映像変換装置の構成を示すブロック図である。
図２に示すように、本発明の映像変換装置は、飛越走査されたフィールド映像を補間して順次走査されたフレーム映像に変換する装置であり、動き検出部２００、補間方向決定部２１０、第１補間部２２０、第２補間部２３０、第３補間部２４０及び出力部２５０を含む。

動き検出部２００は、入力フィールド映像の補間される画素に対して、先行フィールド映像と後行フィールド映像とを利用して画素の動きを検出する。
また、動き検出部２００は、後記のように、補間される画素の隣接画素に対応する先行フィールド映像及び後行フィールド映像の画素間の差を利用して、画素の動きを検出する。
さらに、動き検出部２００は、後記のように、補間される画素に対応する先行及び後行フィールド映像の第１画素間の差、補間される画素に隣接する画素に対応する先行及び後行フィールド映像の第２画素間の差、補間される画素に隣接する上位及び下位走査線上の第３画素と前記第３画素に対応する先行フィールド映像の画素間の差、及び第３画素と前記第３画素に対応する後行フィールド映像の画素間の差を利用して、画素の動きを検出する。
なお、画素間の差は、画素値の差の絶対値であり、絶対値の和が所定の臨界値と同じか、または、大きければ画素に動きがあると判断する。

補間方向決定部２１０は、他の走査線上の画素値を利用して、画素の動きが検出された補間される画素の補間方向を決定する。
補間方向決定部２１０は、後記のように、補間される画素に対応する上位走査線上の画素値と下位走査線上の画素値間の差が所定の臨界値より小さければ、補間される画素の補間方向を垂直方向に決定する。
なお、補間方向決定部２１０は、後記のように、補間される画素に対応する上位走査線上の画素値と下位走査線上の画素値間の差が所定の臨界値と同じか、または、大きければ、補間される画素の補間方向を斜線方向に決定する。
また、補間方向決定部２１０は、後記のように、補間される画素に隣接した上位走査線上の所定数の画素値と下位走査線上の所定数の画素値間の差が最小になる方向に補間方向を決定する。

第１補間部２２０は、補間方向に従って補間される画素を空間的に補間する。
なお、第１補間部２２０は、後記のように、補間方向が垂直方向である場合に、６タップフィルタを利用して画素を補間する。
また、第１補間部２２０は、後記のように、補間方向が斜線方向である場合に、斜線方向に沿う２タップフィルタを利用して前記画素を補間する。

第２補間部２３０は、補間される画素に垂直方向の高周波数成分が存在する場合に、先行フィールド及び後行フィールドの対応画素値、及び空間的に補間された画素値を利用して補間される画素値を再設定する。
なお、第２補間部２３０は、後記のように、空間的に補間された画素値に第１加重値を乗算し、先行フィールド映像の対応画素値及び後行フィールド映像の対応画素値に第２加重値を乗算して加算した結果を所定の定数で割って前記画素値を再設定する。

第３補間部２４０は、動きのない補間される画素に対して、補間される画素に対応する先行フィールド映像の画素値を補間される画素の画素値として設定して補間される画素を補間する。

先行フィールド映像は、入力フィールド映像に時間的に先行する２つのフィールド映像であり、後行フィールド映像は前記入力フィールド映像に時間的に後行する２つのフィールド映像である。

図３は、図２に図示された補間方向決定部２１０の構成を示す詳細ブロック図である。
さらに、図３に示すように、前記補間方向決定部２１０は、垂直差分値計算部３１０、第１差分値計算部３２０、第２差分値計算部３３０、及び方向決定部３４０を含む。
第１差分値計算部３２０は、補間される画素を中心に、入力フィールド映像で第１斜線方向の上位走査線と下位走査線に位置した画素間の第１差分値を計算する。
第２差分値計算部３３０は、補間される画素を中心に、入力フィールド映像で第２斜線方向の上位走査線と下位走査線に位置した画素間の第２差分値を計算する。
方向決定部３４０は、第１差分値と第２差分値間の第３差分値を求めて、第３差分値が所定の臨界値より大きい場合に、第１差分値と第２差分値のうち小さな差分値に対応する方向に補間方向を決定する。

次に、飛越走査されたフィールド映像を補間して、順次走査されたフレーム映像に変換する映像変換方法を説明する。
図４は、本発明の望ましい実施例による飛越走査映像変換方法を説明するフローチャートである。
図２ないし図４を参照すれば、まず飛越走査された映像は、フィールド映像として動き検出部２００に入力され（Ｓ４００）、動き検出部２００は、先行フィールド映像と後行フィールド映像とを利用して、入力フィールド映像で補間される各画素から画素の動きの検出有無を判断する（Ｓ４１０）。 なお、Ｓ４００段階及びＳ４１０段階は、特許請求の範囲に記載の（ａ）段階に相当する。

本発明の動き検出方法を説明するための画素配置図である図６をさらに参照して動き検出部２００の動作を説明する。
図６に図示されたように、動きのない場合には、現在フィールド映像の先行フィールド映像と後行フィールド映像間に画素値の変化がほとんどないということが分かるので、先行フィールド映像及び後行フィールド映像の画素値を利用して現在フィールド映像の画素に動きがあるかどうかを判断する。動き検出部２００は、先行フィールド映像２つと後行フィールド映像２つとを利用して次の数式１によって、画素値の変化度を示す値Ｍを求め、Ｍ値が第１臨界値Ｔ１より小さければ動きがないと判断し、Ｍ値が第１臨界値Ｔ１と同じか、または大きければ動きがあると判断する。
ここで、先行フィールド映像は、入力フィールド映像に時間的に先行する２つのフィールド映像であり、後行フィールド映像は、入力フィールド映像に時間的に後行する２つのフィールド映像である。

Ｍ＝｜ｇ−ｊ｜＋｜ｈ−ｋ｜＋｜ｉ−ｌ｜＋｜ａ−ｍ｜＋｜ｂ−ｎ｜＋｜ｃ−ｏ｜＋｜ｄ−ｐ｜＋｜ｅ−ｑ｜＋｜ｆ−ｒ｜＋｜ａ−ｓ｜＋｜ｂ−ｔ｜＋｜ｃ−ｕ｜＋｜ｄ−ｖ｜＋｜ｅ−ｗ｜＋｜ｆ−ｘ｜・・・・・・・数式１

数式１及び図６でＸは現在フィールド映像（ｎ番目）で補間される画素を示し、ａないしｘは図６に図示された各フィールド映像（ｎ−２番目ないしｎ＋２番目）の画素値を意味する。

すなわち、画素間の差は、画素値の差の絶対値であり、絶対値の和が所定の臨界値と同じか、または、大きければ動きがあると判断する。

前記４１０段階は、補間される画素の隣接画素に対応する、先行フィールド映像及び後行フィールド映像の画素間の差を利用して動きを検出する。

前記４１０段階は、補間される画素に対応する先行及び後行フィールド映像の第１画素間の差、補間される画素に隣接する画素に対応する先行及び後行フィールド映像の第２画素間の差、補間される画素に隣接する上位及び下位走査線上の第３画素と前記第３画素に対応する先行フィールド映像の画素間の差、及び前記第３画素と第３画素に対応する後行フィールド映像の画素間の差を利用して前記動きを検出する。

前記４１０段階は、補間される画素の動きがないと判断した場合に、補間される画素に対応する先行フィールド映像の画素値を補間される画素の画素値として設定して補間される画素を補間する段階をさらに含む。

動き検出部２００が現在フィールド映像の画素に動きがないと判断すれば、第３補間部２４０は現在フィールド映像の補間される画素を先行フィールド映像の対応する画素で補間するが、具体的には現在フィールド映像の補間される画素値として先行フィールド映像の画素値を設定する（Ｓ４１５）。

一方、動き検出部２００が現在フィールド映像の画素に動きがあると判断すれば、他の走査線上の画素値を利用して、補間方向決定部２１０で補間される画素の補間方向を決定する（Ｓ４２０）。
なお、Ｓ４２０段階と、後記するＳ５２１段階、Ｓ５２３段階、Ｓ５２５段階、Ｓ５２７段階及びＳ５２９段階は、特許請求の範囲に記載の（ｂ）段階に相当する。

これについて、本発明の望ましい実施例による補間方向決定方法を説明するための画素配置図である図７、及びＳ４２０段階の詳細フローチャートである図５をさらに参照して説明する。

動き検出部２００が補間される画素に動きがあると判断すれば、まず補間方向決定部２１０の垂直差分値計算部３１０が、補間方向が垂直方向であるかどうかを決定するために次の数式２により垂直差分値ｖｅｒｔを計算し、計算された値を方向決定部３４０に出力すれば、方向決定部３４０は入力された垂直差分値ｖｅｒｔを第２臨界値Ｔ２と比較する（Ｓ５２１）。

ｖｅｒｔ＝｜Ｅ−Ｂ｜・・・・・・・・・・・・・数式２

数式２でＢ及びＥは図７に図示されたように、補間される画素に対応する上位走査線上の画素値及び下位走査線上の画素値を意味する。
方向決定部３４０は、垂直差分値ｖｅｒｔが第２臨界値Ｔ２より小さければ、垂直方向に補間方向を決定して第１補間部２２０に出力する（Ｓ５２３）。
なお、第２臨界値Ｔ２は、特許請求の範囲に記載の「所定の臨界値」に相当する。

一方、垂直差分値ｖｅｒｔが第２臨界値Ｔ２より同じか、または大きければ、方向決定部３４０は第１差分値計算部３２０から図７に図示された第１斜線方向の差分値（第１差分値）を入力され、第２差分値計算部３３０から図７に図示された第２斜線方向の差分値（第２差分値）を入力されて次の数式３によりバイアス値Ｂｉａｓを計算する（Ｓ５２５）。

Bias＝｜｜−Ｂ−Ｃ＋Ｄ＋Ｅ｜−｜−Ａ−Ｂ＋Ｅ＋Ｆ｜｜・・・・数式３

数式３で｜−Ｂ−Ｃ＋Ｄ＋Ｅ｜は、第１差分値計算部３２０から入力された第１斜線方向の差分値であり、補間される画素を中心に、入力フィールド映像で第１斜線方向の上位走査線及び下位走査線に位置した画素間の第１差分値を表す。
｜−Ａ−Ｂ＋Ｅ＋Ｆ｜は、第２差分値計算部３３０から入力された第２斜線方向の差分値であり、補間される画素を中心に、入力フィールド映像で第２斜線方向の上位走査線及び下位走査線に位置した画素間の第２差分値を表す。バイアス値Ｂｉａｓは、補間される画素に隣接した上位走査線上の所定数の画素値と下位走査線上の前記所定数の画素値間の差を表す。
なお、Ｓ５２５段階は、特許請求の範囲に記載の（ｂ１）段階及び（ｂ２）段階に相当する。

その後、方向決定部３４０はバイアス値Ｂｉａｓ（第３差分値）が第３臨界値Ｔ３より大きいかどうかを調べ（Ｓ５２７）、バイアス値Ｂｉａｓ（第３差分値）が第３臨界値Ｔ３より小さいか、または同一であれば補間方向を垂直方向に決定し（Ｓ５２３）、バイアス値Ｂｉａｓ（第３差分値）が第３臨界値Ｔ３より大きければ斜線方向に補間方向を決定する（Ｓ５２９）。
なお、Ｓ５２７段階は、特許請求の範囲に記載の（ｂ３）段階に相当し、Ｓ５２３段階及びＳ５２９段階は、（ｂ４）段階に相当する。

Ｓ５２７段階及びＳ５２９段階を具体的に説明する。一旦、高周波数成分が補間される画素の垂直方向に存在すると決定されれば、すなわち、補間される画素がエッジに属するために補間される画素の上位画素値と下位画素値間の差が大きいと判断されれば、次には補間される画素が斜線領域に含まれているかどうかを決定せねばならない。

図７に図示されたように、現在画素Ｘの斜線方向を判断するために、Ｘの上位３個の画素及び下位３個の画素値を使用し、上位画素Ａ、Ｂ、Ｃの加重値と下位画素Ｄ、Ｅ、Ｆの値の加重値との符号を逆にして各画素値に加重値を乗算して加算した値、すなわち、加重和で斜線方向を判断する。上位及び下位走査線に属する画素の符号を異にして加算することの効果は、上位走査線のいずれか一画素と下位走査線のいずれか一画素とが類似した値である時、符号を異にして加算すれば０に近い数字になって加重和が小さな値になるために、類似した値でない場合の加重和と差が出て斜線を検出できるからである。結局、これは画素値間の差を求めることと同一であり、前述したように計算することによって、いろいろな画素グループで斜線が出るあらゆる場合の数を考慮しなくても上位走査線と下位走査線との符号を異にして加算することにより、補間される画素が属する斜線方向を検出できる。

方向決定部３４０は前述した数式３のバイアス値Ｂｉａｓを、補間される画素が属する斜線方向を判断するのに使用し、バイアス値Ｂｉａｓが第３臨界値Ｔ３より大きければ絶対値の小さな差分値の方向に斜線方向を決定する。言い換えると、方向決定部３４０は、補間される画素に隣接した上位走査線上の所定数の画素値と下位走査線上の所定数の画素値間の差が最小になる方向に補間方向を決定する。
すなわち、Ｂｉａｓ＞Ｔ３であり、｜−Ｂ−Ｃ＋Ｄ＋Ｅ｜＜｜−Ａ−Ｂ＋Ｅ＋Ｆ｜であれば第１斜線方向（図７参照）に斜線が存在すると判断し、Ｂｉａｓ＞Ｔ３であり、｜−Ｂ−Ｃ＋Ｄ＋Ｅ｜＞｜−Ａ−Ｂ＋Ｅ＋Ｆ｜であれば第２斜線方向（図７参照）に斜線が存在すると判断する。

補間される画素が垂直方向に属しているか、または斜線方向に属しているかを判断するために、既存方法は一般的に上下画素値の差の絶対値を使用して最小絶対値が得られる方向にエッジがあるかどうかを判断するに対し、本発明では複数の画素を使用して一度に比較して多様な角度のエッジを探しつつ斜線方向を判断するというところに長所がある。図７の例ではＡ、Ｂ、Ｅ、Ｆにかける色々な角度のエッジを一度に判断する。このような本発明の方法によれば、斜線検出のエラーによって発生するノイズを減らすことができ、既存の方法に比べて複雑もを大きく減少させうる。

補間方向決定部２１０から補間方向を入力された第１補間部２２０は、補間方向に沿う所定の空間フィルタを利用して入力画素を空間的に補間する（Ｓ４３０）。
なお、Ｓ４３０段階は、特許請求の範囲に記載の（ｃ）段階に相当する。

図８は、決定された補間方向に従って現在入力フィールドの情報のみ利用して空間フィルタリングを行う方法を説明するための画素配置図である。第１補間部２２０は補間される画素Ｘの補間値Ｘ’を求める時、斜線方向は低域通過フィルタの２タップフィルタを使用し、垂直方向は高域通過フィルタである６タップフィルタを使用する。空間フィルタを利用して補間する具体的な補間方法は次の数式４ないし６に示した通りである。

Ｘ'＝（Ｃ＋Ｄ）＞＞１・・・・・・・・・・・数式４
Ｘ'＝（Ａ＋Ｆ）＞＞１・・・・・・・・・・・数式５
Ｘ'＝（２０×（Ｂ＋Ｅ）−５×（Ｈ＋Ｉ）＋Ｇ＋Ｊ）＞＞５・・数式６

数式４ないし６でＡないしＪ値は図８に図示された画素値であり、演算子＞＞はシフト演算子であり、ｘ＞＞ｙ関数はｘ値を２^yで割る関数である。
第１補間部２２０は、補間方向決定部２１０から入力された補間方向が第１斜線方向（図７参照）である場合（補間方向が垂直方向でない場合）に２タップでフィルタリングする数式４により補間値Ｘ’を計算し、補間方向が第２斜線方向（図７参照）である場合に２タップでフィルタリングする数式５により補間値Ｘ’を計算する。
また、補間方向が垂直方向である場合には６タップでフィルタリングする数式６により補間される画素Ｘの補間値Ｘ’を計算する。

本発明では、斜線方向エッジがある時に斜線方向を生かす高域通過フィルタを使用する一般的な方法と違って、ジグザグ現象をなくすために低域通過フィルタである２タップフィルタを使用して滑らかにする効果を与え、残りの領域では高域通過フィルタである６タップフィルタを使用して高周波数成分を生かした。

一方、第１補間部２２０から空間的に補間された入力画素値を入力された第２補間部２３０は、前述した数式２によって計算されたｖｅｒｔ値を第４臨界値Ｔ４と比較して空間的に補間された入力画素に垂直方向高周波数成分が存在しているかどうかを判断する（Ｓ４４０）。第２補間部２３０はｖｅｒｔ値が第４臨界値Ｔ４と同じか、または大きければ垂直方向高周波数成分が存在すると判断し、小さければ垂直方向高周波数成分が存在していないと判断する。

補間される画素Ｘに垂直方向高周波数成分がある場合は、水平方向にエッジがある場合に該当し、以前フィールドの値と現在フィールドの値とが明確に相異なって点滅が生じる問題を補完するために、時間的の情報（先行フィールド及び後行フィールドの対応画素値、及び前記空間的に補間された画素値Ｘ'）を利用して空間補間された画素値Ｘ’を再設定する。このために第２補間部２３０は次の数式７を利用して画素値Ｘ’を新たな画素値Ｘ"に再設定する（Ｓ４５０）。
なお、Ｓ４５０段階は、特許請求の範囲に記載の（ｄ）段階に相当する。

Ｘ"＝（１０×Ｘ'＋３×ｈ＋３×ｋ）＞＞４・・・・・・数式７

ここで、ｈ及びｋは図６に図示された先行及び後行フィールド映像の対応画素値である。１０は第１加重値、３は第２加重値、４は所定の定数である。すなわち、画素値Ｘ'を再設定するときは、空間的に補間された画素値Ｘ'に第１加重値を乗算し、先行フィールドの対応画素値及び後行フィールドの対応画素値に第２加重値を乗算して加算した結果を所定の定数で割る。
本発明は前述したＳ４１０段階ないしＳ４５０段階を現在フィールド映像の補間されるあらゆる画素に対して行って現在フィールド映像を順次走査映像に変換し、出力部２５０は変換された順次映像を出力する（Ｓ４６０）。

７２０×２４０サイズの飛越走査映像を７２０×４８０の順次走査映像に変換した例を図９Ａないし図９Ｃ、及び図１０Ａないし図１０Ｃにそれぞれ図示した。

図９Ａは飛越走査された入力映像、図９Ｂは本発明により変換された順次走査映像であり、図９Ｃは従来技術によって変換された順次走査映像である。図９Ｃの場合には人の右腕部分、左肩部分にジグザグ現象が現れるが、本発明による図９Ｂではその現象が緩和されたことが分かる。そして、図９Ｃの場合には、卓球台の線部分が明らかになっていないが、本発明による図９Ｂではその現象が緩和されたことが分かる。

同じく、図１０Ａは飛越走査された入力映像を、図１０Ｂは本発明により変換された順次走査映像を、図１０Ｃは従来技術によって変換された順次走査映像をそれぞれ示した図面である。図１０Ｃに図示された文字の斜線部分にジグザグ現象が現れているが、図１０Ｂではジグザグ現象が緩和されたことが分かる。

本発明の映像変換方法は、またコンピュータ可読記録媒体にコンピュータ可読コードとして具現できる。コンピュータ可読記録媒体はコンピュータシステムによって読取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータ可読記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態に具現されるものも含む。またコンピュータ可読記録媒体はネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータ可読コードが保存されかつ実行されうる。
なお、コンピュータ可読記録媒体は、特許請求の範囲に記載の「記憶媒体」に相当する。

今まで本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野の当業者は本発明が本発明の本質的な特性を逸脱しない範囲で変形された形態に具現されうることを理解できる。したがって、開示された実施例は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。

本発明による映像変換装置及び映像変換方法並びに記録媒体は、デジタルテレビやＤＶＤプレーヤなどの映像処理装置に適用できる。

従来のエッジ従属補間方式を説明するための画素配置図である。 本発明の望ましい実施例による映像変換装置の構成を示すブロック図である。 図２に図示された補間方向決定部の構成を示す詳細ブロック図である。 本発明の望ましい実施例による映像変換方法を説明するフローチャートである。 図４のＳ４２０段階の詳細フローチャートである。 本発明の動き検出方法を説明するための画素配置図である。 本発明の望ましい実施例による補間方向決定方法を説明するための画素配置図である。 決定された補間方向に従って現在フィールド映像の情報のみを利用して空間フィルタリングを行う方法を説明するための画素配置図である。 本発明と従来技術とを比較するための第１例であって、入力された飛越走査映像を示す図面である。 本発明と従来技術とを比較するための第１例であって、本発明によって変換された順次走査映像を示す図面である。 本発明と従来技術とを比較するための第１例であって、従来技術によって変換された順次走査映像を示す図面である。 本発明と従来技術とを比較するための第２例であって、入力された飛越走査映像を示す図面である。 本発明と従来技術とを比較するための第２例であって、本発明によって変換された順次走査映像を示す図面である。 本発明と従来技術とを比較するための第２例であって、従来技術によって変換された順次走査映像を示す図面である。

符号の説明

２００ 動き検出部
２１０ 補間方向決定部
２２０ 第１補間部
２３０ 第２補間部
２４０ 第３補間部
２５０ 出力部

Claims (27)

1. 飛越走査されたフィールド映像を補間して順次走査されたフレーム映像に変換する映像変換装置であって、
   入力フィールド映像の補間される画素に対して、先行フィールド映像と後行フィールド映像とを利用して動きを検出する動き検出部と、
   他の走査線上の画素値を利用して動きが検出された前記補間される画素の補間方向を決定する補間方向決定部と、
   前記補間方向に従って前記補間される画素を空間的に補間する第１補間部と、
   前記補間される画素に垂直方向の高周波数成分が存在する場合に、先行フィールド及び後行フィールドの対応画素値、及び前記空間的に補間された画素値を利用して前記補間される画素値を再設定する第２補間部と、を含むことを特徴とする映像変換装置。
2. 前記動き検出部は、
   前記補間される画素の隣接画素に対応する、前記先行フィールド映像及び後行フィールド映像の画素間の差を利用して動きを検出することを特徴とする請求項１に記載の映像変換装置。
3. 前記動き検出部は、
   前記補間される画素に対応する先行及び後行フィールド映像の第１画素間の差、前記補間される画素に隣接する画素に対応する先行及び後行フィールド映像の第２画素間の差、前記補間される画素に隣接する上位及び下位走査線上の第３画素と前記第３画素に対応する先行フィールド映像の画素間の差、及び前記第３画素と前記第３画素に対応する後行フィールド映像の画素間の差を利用して前記動きを検出することを特徴とする請求項１に記載の映像変換装置。
4. 前記画素間の差は、
   前記画素値の差の絶対値であり、前記絶対値の和が所定の臨界値と同じか、または大きければ動きがあると判断することを特徴とする請求項３に記載の映像変換装置。
5. 動きのない前記補間される画素に対して、前記補間される画素に対応する前記先行フィールド映像の画素値を前記補間される画素の画素値として設定して前記補間される画素を補間する第３補間部をさらに含むことを特徴とする請求項１に記載の映像変換装置。
6. 前記補間方向決定部は、
   前記補間される画素に対応する上位走査線上の画素値と下位走査線上の画素値間の差が所定の臨界値より小さければ、前記補間される画素の補間方向を垂直方向に決定することを特徴とする請求項１に記載の映像変換装置。
7. 前記補間方向決定部は、
   前記補間される画素に対応する上位走査線上の画素値と下位走査線上の画素値間の差が所定の臨界値と同じか、または大きければ、前記補間される画素の補間方向を斜線方向に決定することを特徴とする請求項１に記載の映像変換装置。
8. 前記補間方向決定部は、
   前記補間される画素に隣接した上位走査線上の所定数の画素値と下位走査線上の前記所定数の画素値間の差が最小になる方向に前記補間方向を決定することを特徴とする請求項７に記載の映像変換装置。
9. 前記補間方向決定部は、
   前記補間される画素を中心に、前記入力フィールド映像で第１斜線方向の上位走査線と下位走査線に位置した画素間の第１差分値を計算する第１差分値計算部と、
   前記補間される画素を中心に、前記入力フィールド映像で第２斜線方向の上位走査線と下位走査線に位置した画素間の第２差分値を計算する第２差分値計算部と、
   前記第１差分値と前記第２差分値間の第３差分値を求めて前記第３差分値が所定の臨界値より大きい場合に、前記第１差分値と第２差分値のうち小さな差分値に対応する方向に前記補間方向を決定する方向決定部と、を含むことを特徴とする請求項１に記載の映像変換装置。
10. 前記第１補間部は、
    前記補間方向が垂直方向である場合に、６タップフィルタを利用して前記画素を補間することを特徴とする請求項１に記載の映像変換装置。
11. 前記第１補間部は、
    前記補間方向が斜線方向である場合に、前記斜線方向に沿う２タップフィルタを利用して前記画素を補間することを特徴とする請求項１に記載の映像変換装置。
12. 前記第２補間部は、
    空間的に補間された画素値に第１加重値を乗算し、先行フィールド映像の対応画素値及び後行フィールド映像の対応画素値に第２加重値を乗算して加算した結果を所定の定数で割って前記画素値を再設定することを特徴とする請求項１に記載の映像変換装置。
13. 前記先行フィールド映像は前記入力フィールド映像に時間的に先行する２つのフィールド映像であり、前記後行フィールド映像は前記入力フィールド映像に時間的に後行する２つのフィールド映像であることを特徴とする請求項１に記載の映像変換装置。
14. 飛越走査されたフィールド映像を補間して順次走査されたフレーム映像に変換する映像変換方法であって、
    （ａ）入力フィールド映像の補間される画素に対して、先行フィールド映像と後行フィールド映像とを利用して動きを検出する段階と、
    （ｂ）動きが検出された場合に、他の走査線上の画素値を利用して前記補間される画素の補間方向を決定する段階と、
    （ｃ）前記補間方向に沿う所定のフィルタを利用して前記補間される画素を空間的に補間する段階と、
    （ｄ）前記補間される画素に垂直高周波数成分が存在する場合に、先行フィールド及び後行フィールドの対応画素値、及び前記空間的に補間された画素値を利用して前記補間される画素値を再設定する段階と、を含むことを特徴とする映像変換方法。
15. 前記（ａ）段階は、
    前記補間される画素の隣接画素に対応する、前記先行フィールド映像及び後行フィールド映像の画素間の差を利用して動きを検出することを特徴とする請求項１４に記載の映像変換方法。
16. 前記（ａ）段階は、
    前記補間される画素に対応する先行及び後行フィールド映像の第１画素間の差、前記補間される画素に隣接する画素に対応する先行及び後行フィールド映像の第２画素間の差、前記補間される画素に隣接する上位及び下位走査線上の第３画素と前記第３画素に対応する先行フィールド映像の画素間の差、及び前記第３画素と前記第３画素に対応する後行フィールド映像の画素間の差を利用して前記動きを検出することを特徴とする請求項１４に記載の映像変換方法。
17. 前記画素間の差は、
    前記画素値の差の絶対値であり、前記絶対値の和が所定の臨界値と同じか、または大きければ動きがあると判断することを特徴とする請求項１６に記載の映像変換方法。
18. 前記（ａ）段階は、
    前記補間される画素の動きがないと判断した場合に、前記補間される画素に対応する前記先行フィールド映像の画素値を前記補間される画素の画素値として設定して前記補間される画素を補間する段階をさらに含むことを特徴とする請求項１４に記載の映像変換方法。
19. 前記（ｂ）段階は、
    前記補間される画素に対応する上位走査線上の画素値と下位走査線上の画素値間の差が所定の臨界値より小さければ、前記補間される画素の補間方向を垂直方向に決定することを特徴とする請求項１４に記載の映像変換方法。
20. 前記（ｂ）段階は、
    前記補間される画素に対応する上位走査線上の画素値と下位走査線上の画素値間の差が所定の臨界値と同じか、または大きければ、前記補間される画素の補間方向を斜線方向に決定することを特徴とする請求項１４に記載の映像変換方法。
21. 前記（ｂ）段階は、
    前記補間される画素に隣接した上位走査線上の所定数の画素値と下位走査線上の前記所定数の画素値間の差が最小になる方向に前記補間方向を決定することを特徴とする請求項２０に記載の映像変換方法。
22. 前記（ｂ）段階は、
    （ｂ１）前記補間される画素を中心に、前記入力フィールド映像で第１斜線方向の上位走査線及び下位走査線に位置した画素間の第１差分値を求める段階と、
    （ｂ２）前記補間される画素を中心に、前記入力フィールド映像で第２斜線方向の上位走査線及び下位走査線に位置した画素間の第２差分値を求める段階と、
    （ｂ３）前記第１差分値と前記第２差分値間の第３差分値を求めて所定の臨界値と比較する段階と、
    （ｂ４）前記第３差分値が前記臨界値と同じか、または大きい場合に、前記第１差分値と第２差分値のうち小さな差分値に対応する方向に前記補間方向を決定する段階と、を含むことを特徴とする請求項１４に記載の映像変換方法。
23. 前記（ｃ）段階は、
    前記補間方向が垂直方向である場合に、６タップフィルタを利用して前記画素を補間することを特徴とする請求項１４に記載の映像変換方法。
24. 前記（ｃ）段階は、
    前記補間方向が垂直方向でない場合に、前記斜線方向に沿う２タップフィルタを利用して前記画素を補間することを特徴とする請求項１４に記載の映像変換方法。
25. 前記（ｄ）段階は、
    空間的に補間された画素値に第１加重値を乗算し、先行フィールドの対応画素値及び後行フィールドの対応画素値に第２加重値を乗算して加算した結果を所定の定数で割って前記画素値を再設定することを特徴とする請求項１４に記載の映像変換方法。
26. 前記先行フィールド映像は前記入力フィールド映像に時間的に先行する２つのフィールド映像であり、前記後行フィールド映像は前記入力フィールド映像に時間的に後行する２つのフィールド映像であることを特徴とする請求項１４に記載の映像変換方法。
27. （ａ）入力フィールド映像の補間される画素に対して、先行フィールド映像と後行フィールド映像とを利用して動きを検出する段階と、
    （ｂ）動きが検出された場合に、他の走査線上の画素値を利用して前記補間される画素の補間方向を決定する段階と、
    （ｃ）前記補間方向に沿う所定のフィルタを利用して前記補間される画素を空間的に補間する段階と、
    （ｄ）前記補間される画素に垂直高周波数成分が存在する場合に、先行フィールド及び後行フィールドの対応画素値、及び前記空間的に補間された画素値を利用して前記補間される画素値を再設定する段階と、を含む映像変換方法をコンピュータで判読でき、かつ実行可能なプログラムコードで記録した記録媒体。