JP2008098896A - 画像処理装置 - Google Patents

Abstract

【課題】特に水平線の多い画像が低速で縦スクロールしたときに発生するインターレース妨害を軽減又は除去する画像処理装置を提供すること。
【解決手段】ＩＰ変換部２０は、入力画像であるインターレース画像をプログレッシブ（ノンインターレース）画像に変換して出力する。シーン検出部３０は、動きベクトル（Ｍｘ、Ｍｙ）から画面全が低速で縦スクロールしているか否かを検出する（縦スクロール係数ｔｃｏｅｆを出力する）。インターレース妨害除去部４０の３Ｄフィルタ４１では、縦スクロールしていることが検出されると、動きベクトル（Ｍｘ、Ｍｙ）に応じて過去複数枚の出力画像に対して平均移動量に従った平行移動を行わせて累積した画素値を計算し、その画素値を縦スクロール時の出力画像（補間画像）とする。また、３Ｄフィルタ４１は、直前の出力画像に対して平均移動量に従った平行移動を行わせて累積した画素値を計算して出力画像（補間画像）としてもよい。
【選択図】図１

Description

本発明は、インターレース画像をプログレッシブ画像に変換（ＩＰ変換）する画像処理装置に関する。詳しくは、ＩＰ変換において、特に低速の縦スクロール時に発生するインターレース妨害を軽減又は除去するようにした画像処理装置に関する。

従来、動画像を液晶ディスプレイやプラズマディスプレイ等に表示させる際に、インターレース画像をプログレッシブ（ノンインターレース）画像に変換（ＩＰ変換）している。

しかし、プログレッシブ画像を生成する際に、低速の縦スクロール時に所謂インターレース妨害（チラチラ感）が発生するという問題点があった。例えば元画像内の一本の水平線（エッジ）に対して、プログレッシブ画像ではぼやけた二本のエッジと一本のエッジとが周期的に発生し、このために出力画像では局所的なゆらぎであるインターレース妨害が発生する。

このようなインターレース妨害を緩和するため、従来では、フレーム／フィールド処理判定手段により、可変長復号部において復号処理したデータがマクロブロック毎にフレーム処理されているかフィールド処理されているかを判定し、フィールド処理されている場合には補間手段によりフレームデータを作成する映像信号復号装置が開示されている（例えば、以下の特許文献１）。
特開２０００−３５０２１２号公報

しかしながら、上記特許文献は、単一のフィールド内の画像からインターレース妨害を緩和するものである。従って、例えば、画像を低速の縦スクロールする場合に水平に近いエッジ部分で発生する大きなインターレース妨害については殆んど効果が見られない。

なぜならば、縦スクロール時に水平線が縦方向に移動するものの、動きベクトルが横方向に検出される場合があり、補間によりプログレッシブ画像を生成しても、本来のスクロール方向ではない方向に基づいている（本来ならば縦方向に補間すべきところ、動きベクトルとして検出される横方向に補間される）ためインターレース妨害を除去できないからである。

そこで、本発明は上記問題点に鑑みてなされたもので、その目的は、特に水平線の多い画像が低速で縦スクロールしたときに発生するインターレース妨害を軽減又は除去する画像処理装置を提供することにある。

上記目的を達成するために、本発明の一実施態様によれば、画像処理装置において、入力されたインターレース画像をプログレッシブ画像に変換する変換部と、前記インターレース画像が低速の縦スクロール画像であるか否かを検出するシーン検出部と、前記検出部により前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、過去複数フレームの出力画像の各々に対して前記平均移動量に従った平行移動を行わせ、平行移動後の前記過去複数フレームの出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力するフィルタ処理部とを備えることを特徴とする。

また、上記目的を達成するために、本発明の他の実施態様によれば、画像処理装置において、入力されたインターレース画像をプログレッシブ画像に変換する変換部と、前記インターレース画像が低速の縦スクロール画像であるか否かを検出するシーン検出部と、 前記検出部により前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、直前の出力画像に対して前記平均移動量に従った平行移動を行わせ、時間方向への再帰フィルタとして平行移動後の前記直前の出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力するフィルタ処理部とを備えることを特徴とする。

本発明によれば、特に水平線の多い画像が低速で縦スクロールしたときに発生するインターレース妨害を軽減又は除去する画像処理装置を提供することができる。

以下、図面を参照して本発明を実施するための最良の形態を説明する。

図１は本発明が適用される画像処理装置の構成例を示す図である。画像処理装置１０は、ＩＰ変換部２０と、シーン検出処理部３０と、インターレース妨害除去部４０を備える。

ＩＰ変換部２０は、インターレース画像である入力画像をプログレッシブ（ノンインターレース）画像に変換する。図１に示すように、ＩＰ変換部２０は第１〜第３のフィールドメモリ２１〜２３と、動きベクトル検出部（詳細動きベクトル探索部）２４と、フィールド間補間画像作成部２５と、フィールド内補間画像作成部２６と、重み付け加算部２７とを備える。

第１〜第３のフィールドメモリ２１〜２３は、入力画像を順次フィールド単位で記憶する。

動きベクトル検出部２４は、第１及び第３のフィールドメモリから入力画像Ｆ０、Ｆ２（現在の入力画像Ｆ０と過去２フィールド前の入力画像Ｆ２）を読み出して、動きベクトル（Ｍｘ、Ｍｙ）を検出する。例えば、２つの入力画像Ｆ０、Ｆ２の差分から動きベクトル（Ｍｘ、Ｍｙ）を検出する。

フィールド間補間画像作成部２５は、第２のフィールドメモリ２２から入力画像Ｆ１を読み出して、動きベクトル（Ｍｘ、Ｍｙ）に基づき入力画像Ｆ１の水平ラインを補間し、フィールド間補間画像（プログレッシブ画像）を作成する。

また、フィールド内補間画像作成部２６は、第１のフィールドメモリ２１から入力画像Ｆ０を読み出し、水平ライン間の各画素値を加算して１／２倍することで水平ラインを補間し、フィールド内補間画像（プログレッシブ画像）を作成する。

重み付け加算部２７は、動きベクトル（Ｍｘ、Ｍｙ）の信頼度に応じ、その動きベクトル（Ｍｘ、Ｍｙ）が予想範囲内にあれば、フィールド間補間画像を出力する。動きベクトル（Ｍｘ、Ｍｙ）が予想範囲外で、かつ、対応する過去の入力画像がないと、フィールド内補間画像を出力する。

このようにＩＰ変換部２０からは、フィールド間又はフィールド内補間されたプログレッシブ画像が出力される。

シーン検出処理部３０は、シーンベクトル検出部３１を備える。シーンベクトル検出部３１は、動きベクトル（Ｍｘ、Ｍｙ）から入力画像の縦スクロールの信頼度（確度）を示す係数ｔｃｏｅｆを出力する。シーン検出処理部３０（シーンベクトル検出部３１）は、画面全体がインターレース妨害を起こしやすい低速の安定した縦スクロールシーンであることを検出している。処理の詳細は後述する。

インターレース妨害除去部４０は、３Ｄ（３次元）フィルタ４１とフィールドメモリ４２を備える。

３Ｄフィルタ４１は、補間されたプログレッシブ画像に対してインターレース妨害を防止するために、時間フィルタ処理を動きベクトル方向に向けて行う。３Ｄフィルタ４１から、フィルタ処理後の補間画像が出力される。処理の詳細は後述する。

フィールドメモリ４２は、３Ｄフィルタ処理された演算結果（出力画像）が記憶され、次フレームのフィルタ処理のために保存される。尚、フィールドメモリ４２は複数から構成されてもよく、その場合、各フィールドメモリ４２に過去に処理された出力画像が保存される。

次に具体的な処理について説明する。まず、シーン検出処理部３０での縦スクロールの検出処理について説明し、次いで、３Ｄフィルタ４１でのフィルタ処理について説明する。
（１）シーン検出処理部３０での縦スクロール検出処理
図２を参照してシーン検出処理部３０（シーンベクトル検出部３１）での処理の詳細を説明する。

図２（Ａ）及び同図（Ｂ）は入力画像に対する分割領域の例を示し、同図（Ｃ）はシーン検出処理部３０での処理の流れを示す図である。

まず、シーンベクトル検出部３１は入力画像を所定領域に分割し、分割領域に対して、動きベクトル（Ｍｘ、Ｍｙ）の各成分Ｍｘ、Ｍｙの平均値を計算し、その統計量を求める（Ｓ１０）。

分割領域は、縦方向に分割数ＸＳＮＵＭで分割し（図２（Ａ））、横方向に分割数ＹＳＮＵＭで分割する（同図（Ｂ））。例えば、ＸＳＮＵＭ＝ＹＳＮＵＭ＝１５である。縦方向に分割された領域の幅（縦ストライプ領域の幅）をＷｗ、横方向に分割された領域の幅（横ストライプ領域の幅）をＷｈとする。

そして、縦方向に分割された分割領域（図２（Ａ））において、動きベクトル（Ｍｘ、Ｍｙ）のｘ方向の成分Ｍｘに対する平均値と統計量を求める。また、横方向に分割された分割領域（図２（Ｂ））において、動きベクトル（Ｍｘ、Ｍｙ）のｙ方向の成分Ｍｙに対する平均値と統計量を求める。

まず、ｙ方向の成分Ｍｙに対する平均値と統計量について説明する。ｎ番目の分割領域内の動きベクトルＭｙの累積値Ｙｓｕｍ（ｎ）は、

により得る。（数１）に示すように、領域内のすべての動きベクトルＭｙを用いて計算するのではなく、計算量を少なくするため、８画素おきにその動きベクトルＭｙを用いて計算している。勿論、４画素おきでも１６画素おき等でもよい。

そして、１フィールド全体のｙ方向の平均移動量Ｙａｖｅは、（数１）を用いて、

により得る。

また、ｙ方向の移動量の分散値Ｙｖａｒは、分割領域の上下方向に隣り合う累積値Ｙｓｕｍの差分から、求めることができる。以下の式となる。

同様にして、ｘ方向の各分割領域内の平均値Ｘｓｕｍ（ｎ）を、

により求め、ｘ方向の平均移動量Ｘａｖｅを、

により求め、ｘ方向の移動量の分散値Ｘｖａｒを、

により求める。

シーン検出処理部３０は、このように求めた統計量Ｙｖａｒ、Ｙａｖｅ、Ｘｖａｒ、Ｘａｖｅから判定パラメータを算出する（Ｓ１１）。判定パラメータは、ＡＡ、ＢＢ、ＤＤの３つである。

ＡＡは、入力画像がどれだけｙ方向に移動したかの係数（縦スクロールのｙ方向判定停止係数）を示す。ｙ方向判定停止係数ＡＡは、ｙ方向の平均移動量Ｙａｖｅ（数２）から求める。以下の式を用いる。

（数７）において、「ａａ＿ｏｆｆ」や「ａａ＿ｃｏｅｆ」は、ｙ方向移動量判定計数ＡＡの値が滑らかに変化させるようにするための係数である。ｙ方向判定停止係数ＡＡの値が大きいほど、入力画像のｙ方向の移動量が多いことを示す。

ＢＢは、ｙ方向に入力画像の各分割領域が揃って移動しているかどうかを判定するための係数（ｙ方向分散係数）である。ｙ方向分散係数ＢＢは、ｙ方向の移動量の分散値Ｙｖａｒ（数３）を用いて以下の式を用いる。

この場合も、「ｂｂ＿ｏｆｆ」や「ｂｂ＿ｃｏｅｆ」はｙ方向分散係数ＢＢが滑らかに変化させるようにするための係数である。ｙ方向分散係数ＢＢは、全体的に揃って縦スクロールしていると低い値を取り得る。

ＤＤは、入力画像がｘ方向へどれだけ移動したかの係数（ｘ方向停止係数）を示す。ｘ方向停止係数ＤＤは、ｘ方向への移動量が少ないと小さな値を取り得る。ｘ方向平均移動量Ｘａｖｅを用いて、以下の式により得る。

そして、シーン検出処理部３０は、このように求めた係数ＡＡ、ＢＢ、ＤＤを用いて、縦スクロールの信頼度を示す係数ｔｃｏｅｆを計算する（Ｓ１２）。以下の式を用いる（係数ＡＡ等は小文字で示される）。

入力画像に対してｙ方向の移動量が多く（ａａの値が大きい）、ｙ方向の分散が小さく（ｂｂの値が小さく）、ｘ方向への移動量が少ない（ｄｄの値が小さい）とき、入力画像全体が滑らかに縦スクロールしていることを示し、それに応じて係数ｔｃｏｅｆの値は大きくなる。

（数１０）に示す式である、
ｔｃｏｅｆ＝ＡＡ＊ＢＢ／２５６＊ＤＤ／２５６
においては、ＡＡ，ＢＢ，ＤＤはそれぞれ前述の通り、ＡＡ：ｙ方向移動量判定計数、ＢＢ：ｙ方向分散係数計算値、ＤＤ：ｘ方向停止係数計算値である。ＡＡは画面内の縦方向（Ｙ方向）の平均移動量が一定値以上であるかどうかにより０〜２５６までの値を取る。すなわち、縦方向の平均移動量が０であった場合には、ＡＡの値も０になり、縦方向の平均移動量が所定の値以上になると、ＡＡの値は急激に２５６に近くなる。

ＢＢは画面内の縦方向移動ベクトルの分散が一定値以下であることを示す値であり、分散が小さい場合に２５６になり分散が大きくなると０になる値である。

ＤＤは横方向（Ｘ方向）の移動量の絶対値の大きさが一定値以下であるかどうかを判定するための定数である。横方向への移動量の大きさが０であれば、ＤＤの値は２５６になり、横方向の移動量が所定の値以上になると、ＤＤの値は急激に０に近くなる。なお、ＤＤの値を０〜２５６に設定しているのは固定小数点演算による計算を行うためであり、０〜１．０として浮動小数点演算を行ってもよい。

以上のようにして、シーン検出処理部３０は、縦スクロール係数ｔｃｏｅｆを出力し、ｔｃｏｅｆの値に基づいてインターレース妨害を起こしやすい低速の縦スクロールシーンであることを検出する。

尚、ｔｃｏｅｆの値は０のとき縦スクロールなし、２５６のとき縦スクロールあり、と判定する。０〜２５６の中間の値に対しては、上記のＡＡ，ＢＢ，ＤＤの値により滑らかに変化する。従って、ｔｃｏｅｆを使い縦スクロール時の３Ｄフィルタを構成することで、縦スクロール時のインターレース妨害除去処理が滑らかに動作し、違和感の少ない処理を実現している。
（２）３Ｄフィルタ４１でのフィルタ処理
次に、図３乃至図５を参照して、インターレース妨害除去部４０の３Ｄフィルタ４１における３Ｄフィルタ処理について説明する。３Ｄフィルタ処理は、補間後のプログレッシブ画像に対して、フィルタ処理を動きベクトル方向に行うものである。処理パラメータとして、平均ベクトルと縦スクロール係数ｔｃｏｅｆを使用する。

平均ベクトルについて説明する。３Ｄフィルタ４１は、ＩＰ変換部２０の動きベクトル検出部２４から動きベクトル（Ｍｘ、Ｍｙ）が入力される。まず、この動きベクトル（Ｍｘ、Ｍｙ）のｘ、ｙ成分のライン内の平均ベクトルＶｘ＿ａｖｅ（ｔ、ｙ）、Ｖｙ＿ａｖｅ（ｔ、ｙ）を計算する。それぞれ、以下の式を用いる。

ここで、「ｔ」は時間を示し、「ｗｉｄｔｈ」はプログレッシブ画像１フレームの横方向（ｘ方向）の幅を示す。

そして、ライン内平均ベクトルＶｘ＿ａｖｅ（ｔ、ｙ）、Ｖｙ＿ａｖｅ（ｔ、ｙ）から平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）を計算する。以下の式を夫々用いる。

図３（Ａ）及び同図（Ｂ）は、平均ベクトルの求め方を示す概念図である。同図（Ｂ）に示すように、時間（ｔ）の画像の処理対象ラインのライン内平均ベクトルＶｘ＿ａｖｅ（ｔ、ｙ）、Ｖｙ＿ａｖｅ（ｔ、ｙ）をまず計算し、直前ＶＹＬＥＮライン数分の各ライン内平均ベクトルの平均を求めることで、平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）を計算している。例えば、ＶＹＬＥＮ＝４８である。この平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）は、ＶＹＬＥＮライン数分の領域内における画素の平均移動量を示す。

本来なら、動きベクトル（Ｍｘ、Ｍｙ）をそのまま使用して、移動量としてフィルタ処理を行えばよいが、縦スクロール時にエッジ領域において横方向のベクトルが検出される場合があり、そのままフィルタ処理してもエッジ領域のインターレース妨害を防止することができないため、このような平均ベクトル（平均移動量）Ｖ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）を計算している。

この平均ベクトルを求める際に、図３（Ｂ）に示すように準備エリアを設けている。この準備エリアには、時間（ｔ−１）のプログレッシブ画像における画像エリアの「０〜ＶＹＬＥＮ」行の平均ベクトルが挿入される。時間（ｔ）の画像において、平均エリアが画像エリアの「０」行目のラインを超える場合に、この準備エリアの平均ベクトル値を使用して、平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）を計算する。準備エリアの値を利用することで、平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）が滑らかに変化し、画像全体に亘り正しくフィルタ処理を行わせることができる。

そして、この平均ベクトル（平均移動量）Ｖ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）と、縦スクロール係数ｔｃｏｅｆを用いて３Ｄフィルタ処理を行う。

３Ｄフィルタ４１におけるフィルタ処理の詳細について説明する。本実施例では、フィルタ処理に関し、ＩＩＲ（Infinite Impulse Response）型フィルタと、ＦＩＲ（Finite Impulse Response）型フィルタにより処理を行わせることができる。これら２つの処理について夫々説明する。

（２−１）ＩＩＲ型フィルタ
図４は、３Ｄフィルタ４１のブロック構成図である。第１の乗算器４１１と、α演算部４１２と、平均移動量演算部４１３と、第１の加算器４１４と、第２の乗算器４１５と、読み出し制御部４１６と、フレームバッファ４１７（図１のフィールドメモリ４２に対応）を備える。

α演算部４１２は、縦スクロール係数ｔｃｏｅｆからフィルタ処理に使用される時定数αを演算する。以下の式を用いる。

ここで、「ｔｆｌｔ＿ｍａｘ」は最大フィルタ係数であり、αを「０〜１」の範囲内に抑えるためである。α演算部４１２は、演算したαを第２の乗算器４１５に、（１−α）を第１の乗算器４１１に出力する。

平均移動量演算部４１３は、動きベクトル（Ｍｘ、Ｍｙ）から平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）を計算し、読み出し制御部４１６に出力する。

読み出し制御部４１６は、フレームバッファ４１７の直前の出力フレーム画像Ｆｒｍを読み出すが、平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）分、オフセットした画素の座標位置を読み出す。つまり、読み出す出力フレーム画像Ｆｒｍは、以下のように示すことができる。

尚、（数１６）において、オフセット量を平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ）の夫々１／２倍としているのは、３０フレーム／秒であるプログレッシブ画像（読み出されるフレーム画像Ｆｒｍ）と６０フィールド／秒であるノンインターレース画像（平均ベクトル計算の際に利用した入力画像Ｆ０、Ｆ２）とを合わせるためである。

第２の乗算器４１５は、読み出した出力フレーム画像Ｆｒｍと、αとを乗算し出力する。一方、第１の乗算器４１１は、補間後の現在のフレーム画像Ｙｏｕｔ（ｔ、ｘ、ｙ）と、（１−α）とを乗算し出力する。

第１の加算器４１４は、第１及び第２の乗算器４１１、４１５からの画像を加算し、出力画像ＹＦｒｍ（ｔ、ｘ、ｙ）を得る。ここで、出力画像ＹＦｒｍ（ｔ、ｘ、ｙ）は、

で示される。出力画像Ｙｏｕｔ（ｔ、ｘ、ｙ）との比率αによるブレンド演算によりαを時定数とする３Ｄフィルタ処理が行われる。

（数１７）に示すように、縦スクロール係数ｔｃｏｅｆが「０」、即ち、縦スクロールが検出されないと、フレームバッファ４１７に記憶された直前フレームがそのまま出力画像ＹＦｒｍ（ｔ、ｘ、ｙ）として出力される。尚、（数１７）において、ｍｉｎ（）、ｍａｘ（）とあるのは、出力画像（の画素値）ＹＦｒｍ（ｔ、ｘ、ｙ）を「０〜２５５」の範囲に抑えるためである。

このように、ＩＩＲ型のフィルタ処理では、シーン検出処理部３０で安定した縦スクロールシーンを検出すると、縦スクロールの速度を示す動きベクトル（Ｍｘ、Ｍｙ）に応じて、過去のフレーム画像Ｆｒｍ（ｔ−１、ｘ、ｙ）を動き量（平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ））に従った平行移動を行わせ、その画素値と補間画像（の画素値）Ｙｏｕｔ（ｔ、ｘ、ｙ）とで累積した画素値を計算し、その画素値ＹＦｒｍ（ｔ、ｘ、ｙ）を出力画像としている。

ただし、累積した画素値を計算するときに、フィルタを時間方向への再帰フィルタとして構成し、それにより出力画像（の画素値）ＹＦｒｍ（ｔ、ｘ、ｙ）を得ている。

ＩＰ変換部２０から出力された補間画像（の画素値）Ｙｏｕｔ（ｔ、ｘ、ｙ）に着目すると、縦スクロール時にはその画素値は時間の経過とともに大きく変化する。しかし、時間方向に向けてフィルタ処理を行わせることで、出力画像ＹＦｒｍ（ｔ、ｘ、ｙ）はその変化に追従するものの滑らかに変化する。

従って、インターレース妨害が多く発生する画像に対して、図４に示すような３Ｄフィルタを用いることで、低速の縦スクロール時にインターレース妨害が多く発生するような画像に対しても画像自体をぼかすことなく鮮明で安定した縦スクロール画像を得る。

図６（Ａ）は従来のＩＰ変換後の縦スクロール時の出力画像の例を示し、同図（Ｂ）は本実施例における縦スクロール時の出力画像の例を示す。同図（Ｂ）に示すように、本実施例による出力画像は、エッジ部分でのゆらぎは少なく、インターレース妨害を除去又は軽減した鮮明な画像となっている。

（２−２）ＦＩＲ型フィルタ
次に、３Ｄフィルタ４１をＦＩＲ型で構成したときの例について説明する。図５は、３Ｄフィルタ４１のブロック構成図である。図４と同一部分には同一の番号を付している。

３Ｄフィルタ４１は、過去７フレーム分の画像を記憶する７つのフレームバッファ４２１〜４２７と、平均移動量（平均ベクトル）に基づいて各フレームバッファ４２１〜４２７からフレームの読み出し制御を行う７つの読み出し制御部４３１〜４３７と、時定数αと各読み出し制御部４３１〜４３７から読み出した出力画像との乗算等を行う８つの乗算器４４０〜４４７と、各乗算器４４０〜４４７からの出力画像を加算する７つの加算器４５０〜４５６を備える。

フィルタ処理の時定数αは、図４の例と同様、α演算部４１２で計算されて、各乗算器４４０〜４４７に出力される。平均移動量も平均移動量演算部４１３で計算される。尚、α演算部４１２は、（１−α）と、α／Ｎ（Ｎはフレームバッファの数）とを演算して出力する。

図５の例における、出力画像ＹＦｒｍ（ｔ、ｘ、ｙ）は以下の式により表わされる。

ここで、Ｖ^ｔｘ，Ｖ^ｔｙは画面内移動量から計算される平均移動ベクトル量を示し、Ｆｒｍ（ｔ，ｘ，ｙ）は、ＩＰ変換された時刻ｔにおける入力画像データを示す。

各フレームバッファ４２１〜４２７から、平均移動量に基づいて、各々過去に処理されたフレーム画像を読み出す。この場合も、平均ベクトルにより平行移動を行わせたフレーム画像が読み出される。そして、各乗算器４４０〜４４７において、読み出されたフレーム画像等と時定数αとが乗算され、それらを各加算器４５０〜４５６で加算し、累積した画素値を得る。その累積値を出力画像（の画素値）ＹＦｒｍ（ｔ、ｘ、ｙ）として、縦スクロール時の出力画像としている。

このＦＩＲ型においても、シーン検出処理部３０で安定した縦スクロールシーンであることが検出されると、縦スクロールの速度を示す動きベクトル（Ｍｘ、Ｍｙ）に応じて、過去の複数枚の各フレーム画像Ｆｒｍ（ｔ−ｉ、ｘ、ｙ）を動き量（平均ベクトルＶ^ｔｘ（ｔ、ｙ）、Ｖ^ｔｙ（ｔ、ｙ））に従って平行移動を行わせ、累積した画素値を計算し、その画素値ＹＦｒｍ（ｔ、ｘ、ｙ）を縦スクロールのときの出力画像としている。

この場合でも、補間画像（の画素値）Ｙｏｕｔ（ｔ、ｘ、ｙ）は、縦スクロール時に画素値は時間方向に向けて大きく変化するものの、時間移動平均によりフィルタ処理を行うことで、出力画像ＹＦｒｍ（ｔ、ｘ、ｙ）はその変化に追従するものの滑らかに変化する。

従って、低速の縦スクロール時に発生するインターレース妨害を除去し、画像自体をぼかすことなく鮮明で安定した縦スクロール画像を得る。例えば、図６（Ｂ）に示す縦スクロール画像を得ることができる。

尚、ＦＩＲ型のフィルタにおいて、フレームバッファ４２１〜４２７等の数は「７」として説明した。勿論、これは一例であり、インターレース妨害を除去等した出力画像ＹＦｒｍ（ｔ、ｘ、ｙ）が得られるのであれば、「２」や「３」等、複数個あればよい。

このＦＩＲ型と上述したＩＩＲ型とを比較すると、ＦＩＲ型（図５）では平行移動後に累積画素値をそのまま過去複数フレームに亘り計算しているが、ＩＩＲ型（図４）では再帰フィルタにより直前のフレームを用いて計算している。従って、ＩＩＲ型により構成されたフィルタ４１はフレームバッファ４２１〜４２７の数を削減させることができる。

本実施例で説明した画像処理装置１は、例えば、液晶テレビやプラズマテレビ、液晶ディスプレイを有する情報機器（例えば、パーソナルコンピュータや携帯電話、ＰＤＡ（Personal Digital Assistance）等）に使用されて好適である。

以上まとめると付記のようになる。

（付記１）
入力されたインターレース画像をプログレッシブ画像に変換する変換部と、
前記インターレース画像が低速の縦スクロール画像であるか否かを検出するシーン検出部と、
前記検出部により前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、過去複数フレームの出力画像の各々に対して前記平均移動量に従った平行移動を行わせ、平行移動後の前記過去複数フレームの出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力するフィルタ処理部と
を備えることを特徴とする画像処理装置。

（付記２）
前記ＩＰ変換部には前記インターレース画像の動きベクトルを検出する動きベクトル検出部を備え、
前記シーン検出部は、前記動きベクトルに基づいて、前記縦スクロール画像のスクロールする縦方向の移動量が多く、前記縦スクロール画像全体が揃って縦方向に移動し、前記縦スクロール画像の横方向への移動量が少ないことを検出したとき、前記インターレース画像が低速の縦スクロール画像であることを検出することを特徴とする付記１または７記載の画像処理装置。

（付記３）
前記フィルタ処理部は、前記ＩＰ変換部により検出された動きベクトルに対し当該動きベクトルの平均から前記平均移動量を計算することを特徴とする付記１または７記載の画像処理装置。

（付記４）
前記フィルタ処理部は、前記インターレース画像の複数ライン分の前記動きベクトルから前記平均移動量を計算し、直前の前記インターレース画像の画像エリアの最も上のラインから前記複数ライン分の前記平均移動量を準備エリアに挿入し、現在の前記プログレッシブ画像の前記平均移動量を計算するときに前記複数ラインが前記インターレース画像の画像エリアの最も上のラインを超えたときに前記準備エリアに挿入された前記平均移動量を用いて計算を行うことを特徴とする付記３記載の画像処理装置。

（付記５）
前記フィルタ処理部は、前記過去複数フレームの出力画像の各々に対して、前記平均移動量分オフセットすることで前記平行移動を行わせ、前記オフセット位置にある画素の画素値を読み出して前記累積した画素値を計算することを特徴とする付記１記載の画像処理装置。

（付記６）
前記フィルタ処理部は、前記シーン検出部で検出された検出結果に基づく比率を前記平行移動後の過去複数フレームの出力画像と、前記プログレッシブ画像とに乗算して、乗算された各画像の画素値により、前記累積した画素値を計算することを特徴とする付記１記載の画像処理装置。

（付記７）
入力されたインターレース画像をプログレッシブ画像に変換する変換部と、
前記インターレース画像が低速の縦スクロール画像であるか否かを検出するシーン検出部と、
前記検出部により前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、直前の出力画像に対して前記平均移動量に従った平行移動を行わせ、時間方向への再帰フィルタとして平行移動後の前記直前の出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力するフィルタ処理部と
を備えることを特徴とする画像処理装置。

（付記８）
前記フィルタ処理部は、前記直前の出力画像に対して、前記平均移動量分オフセットすることで前記平行移動を行わせ、前記オフセット位置にある画素の画素値を読み出して前記累積した画素値を計算することを特徴とする付記７記載の画像処理装置。

（付記９）
前記フィルタ処理部は、前記シーン検出部で検出された検出結果に基づく比率を前記平行移動後の直前の出力画像と、前記プログレッシブ画像とにブレンド演算により乗算し、乗算された各画像の画素値により、前記累積した画素値を計算することを特徴とする付記７記載の画像処理装置。

（付記１０）
画像処理装置における画像処理方法において、
入力されたインターレース画像を変換部によりプログレッシブ画像に変換し、
前記インターレース画像が低速の縦スクロール画像であるか否かを検出し、
前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、過去複数フレームの出力画像の各々に対して前記平均移動量に従った平行移動を行わせ、平行移動後の前記過去複数フレームの出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力する
ことを特徴とする画像処理方法。

（付記１１）
画像処理装置における画像処理方法において、
入力されたインターレース画像を変換部によりプログレッシブ画像に変換し、
前記インターレース画像が低速の縦スクロール画像であるか否かを検出し、
前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、直前の出力画像に対して前記平均移動量に従った平行移動を行わせ、時間方向への再帰フィルタとして平行移動後の前記直前の出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力する
ことを特徴とする画像処理方法。

（付記１２）
画像処理装置における画像処理プログラムであって、
入力されたインターレース画像をプログレッシブ画像に変換する処理と、
前記インターレース画像が低速の縦スクロール画像であるか否かを検出する処理と、
前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、複数のメモリに夫々記憶された過去複数フレームの出力画像を読み出す際に、前記過去複数フレームの出力画像の各々に対して前記平均移動量に従った平行移動を行わせて読み出し、平行移動後の前記過去複数フレームの出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力する処理と
をコンピュータに実行させることを特徴とする画像処理プログラム。

（付記１３）
画像処理装置における画像処理プログラムであって、
入力されたインターレース画像を変換部によりプログレッシブ画像に変換する処理と、
前記インターレース画像が低速の縦スクロール画像であるか否かを検出する処理と、
前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、画像処理装置のメモリに記憶された直前の出力画像を読み出す際に、前記平均移動量に従った平行移動を行わせて読み出し、時間方向への再帰フィルタとして平行移動後の前記直前の出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力する処理と
をコンピュータに実行させることを特徴とする画像処理プログラム。

図１は、本発明が適用される画像処理装置の構成例を示す図である。 図２（Ａ）及び同図（Ｂ）は分割領域の例を示し、同図（Ｃ）はシーン件ｓｙ通処理部での処理の流れを示す図である。 図３（Ａ）及び同図（Ｂ）は処理対象ラインと平均エリアを説明するための図である。 図４は、３Ｄフィルタの構成例を示す図である。 図５は、３Ｄフィルタの構成例を示す図である。 図６（Ａ）は従来のＩＰ変換後の縦スクロール時の出力画像、同図（Ｂ）は本実施例によるＩＰ変換後の出力画像の、夫々の例を示す図である。

符号の説明

１０ 画像処理装置、 ２０ ＩＰ変換部、 ２１〜２３ 第１〜第３のフィールドメモリ、 ２４ 動きベクトル検出部（詳細動きベクトル探索部）、 ２５ フィールド間補間画像作成部、 ２６ フィールド内補間画像作成部、 ２７ 重み付け加算部、 ３０ シーン検出処理部、 ３１ シーンベクトル検出部、 ４０ インターレース妨害除去部、 ４１ ３Ｄフィルタ、 ４２ フィールドメモリ、 ４１１ 第１の乗算器、 ４１２ α演算部、 ４１３ 平均移動量演算部、 ４１４ 第１の加算器、 ４１５ 第２の乗算器、 ４１６，４３１〜４３７ 読み出し制御部、 ４１７，４２１〜４２７ フレームバッファ、 ４４０〜４４７ 乗算器、 ４５０〜４５６ 加算器、 （Ｍｘ、Ｍｙ） 動きベクトル、 ｔｃｏｅｆ 縦スクロール係数、 Ｖ^ｔｘ（ｔ、ｙ），Ｖ^ｔｙ（ｔ、ｙ） 平均ベクトル（平均移動量）、 Ｙｏｕｔ（ｔ、ｘ、ｙ） 補間画像、 ＹＦｒｍ（ｔ、ｘ、ｙ） 出力画像

Claims (8)

1. 入力されたインターレース画像をプログレッシブ画像に変換する変換部と、
   前記インターレース画像が低速の縦スクロール画像であるか否かを検出するシーン検出部と、
   前記検出部により前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、過去複数フレームの出力画像の各々に対して前記平均移動量に従った平行移動を行わせ、平行移動後の前記過去複数フレームの出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力するフィルタ処理部と
   を備えることを特徴とする画像処理装置。
2. 入力されたインターレース画像をプログレッシブ画像に変換する変換部と、
   前記インターレース画像が低速の縦スクロール画像であるか否かを検出するシーン検出部と、
   前記検出部により前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、直前の出力画像に対して前記平均移動量に従った平行移動を行わせ、時間方向への再帰フィルタとして平行移動後の前記直前の出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力するフィルタ処理部と
   を備えることを特徴とする画像処理装置。
3. 前記ＩＰ変換部には前記インターレース画像の動きベクトルを検出する動きベクトル検出部を備え、
   前記シーン検出部は、前記動きベクトルに基づいて、前記縦スクロール画像のスクロールする縦方向の移動量が多く、前記縦スクロール画像全体が揃って縦方向に移動し、前記縦スクロール画像の横方向への移動量が少ないことを検出したとき、前記インターレース画像が低速の縦スクロール画像であることを検出することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記フィルタ処理部は、前記ＩＰ変換部により検出された動きベクトルに対し当該動きベクトルの平均から前記平均移動量を計算することを特徴とする請求項１又は２記載の画像処理装置。
5. 前記フィルタ処理部は、前記インターレース画像の複数ライン分の前記動きベクトルから前記平均移動量を計算し、直前の前記インターレース画像の画像エリアの最も上のラインから前記複数ライン分の前記平均移動量を準備エリアに挿入し、現在の前記プログレッシブ画像の前記平均移動量を計算するときに前記複数ラインが前記インターレース画像の画像エリアの最も上のラインを超えたときに前記準備エリアに挿入された前記平均移動量を用いて計算を行うことを特徴とする請求項４記載の画像処理装置。
6. 画像処理装置における画像処理方法において、
   入力されたインターレース画像を変換部によりプログレッシブ画像に変換し、
   前記インターレース画像が低速の縦スクロール画像であるか否かを検出し、
   前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、過去複数フレームの出力画像の各々に対して前記平均移動量に従った平行移動を行わせ、平行移動後の前記過去複数フレームの出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力する
   ことを特徴とする画像処理方法。
7. 画像処理装置における画像処理方法において、
   入力されたインターレース画像を変換部によりプログレッシブ画像に変換し、
   前記インターレース画像が低速の縦スクロール画像であるか否かを検出し、
   前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、直前の出力画像に対して前記平均移動量に従った平行移動を行わせ、時間方向への再帰フィルタとして平行移動後の前記直前の出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力する
   ことを特徴とする画像処理方法。
8. 画像処理装置における画像処理プログラムであって、
   入力されたインターレース画像をプログレッシブ画像に変換する処理と、
   前記インターレース画像が低速の縦スクロール画像であるか否かを検出する処理と、
   前記低速の縦スクロール画像であることが検出されると、前記インターレース画像の縦スクロールする速度に応じた平均移動量を計算し、複数のメモリに夫々記憶された過去複数フレームの出力画像を読み出す際に、前記過去複数フレームの出力画像の各々に対して前記平均移動量に従った平行移動を行わせて読み出し、平行移動後の前記過去複数フレームの出力画像と前記プログレッシブ画像とで累積した画素値を計算し、当該画素値を現在の出力画像として出力する処理と
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images