JP2005348369A - 映像信号変換装置及び映像信号変換方法 - Google Patents

Abstract

【課題】 装置規模を縮小しつつ、空間解像度を高く保ちながら画像に輪郭ひずみを生じさせないようにインターレース方式の映像信号をプログレッシブ方式の映像信号に変換する映像信号変換装置を提供する。
【解決手段】 変換対象の画素を含まないフィールドの画素のデータを利用して、変換対象の画素が静止領域に存在するか否かを判定する静止判定部１０３と、変換対象の画素以外の画素のデータを利用して、変換対象の画素が高周波領域に存在するか否かを判定する高域判定部１０５と、静止判定部１０３によって得られた判定結果と、高域判定部１０５によって得られた判定結果とを利用して、変換対象の画素の位置のデータを生成するＩＰ変換部１０７とを備える。
【選択図】 図１

Description

本発明は、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する映像信号変換装置及び映像信号変換方法に関する。

コンピュータの性能向上や液晶ディスプレイの普及に伴い、コンピュータディスプレイや液晶ディスプレイによってテレビジョンやビデオ等の画像を表示する機会が高まっている。一般的なテレビジョン信号やビデオ信号はインターレース方式の映像信号であるのに対して、コンピュータディスプレイや液晶ディスプレイによって表示される画像の映像信号は、プログレッシブ方式の映像信号である。そのため、テレビジョン信号やビデオ信号に基づく画像をコンピュータディスプレイや液晶ディスプレイにより表示させるための画像再生アプリケーションでは、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換するＩＰ変換と呼ばれる手法が用いられる。

インターレース方式の映像信号とプログレッシブ方式の映像信号とは、次のような点で異なる。まず、インターレース方式の映像信号は、垂直方向に互いに異なるオフセットを持つ１ラインおきの画素データをそれぞれ有する２つのフィールド、すなわち奇数番目のラインの画素データからなるトップフィールドと、偶数番目のラインの画素データからなるボトムフィールドとによって１フレームが構成され、トップフィールド、ボトムフィールドの順で画素データが順次入力される。これに対して、プログレッシブ方式の映像信号は、１フレームの全ライン・全画素の画素データが順次入力される。

また、インターレース方式の映像信号ではそれぞれのフィールドが表す画像のタイムスタンプがずれているのに対して、プログレッシブ方式の映像信号では１フレームを構成する画像のタイムスタンプは一意である。このため、同一解像度且つ同一フレームレートのインターレース方式の映像信号とプログレッシブ方式の映像信号とでは、インターレース方式の映像信号の方が時間解像度が高く、プログレッシブ方式の映像信号の方が空間解像度が高いという性質の違いがある。

ＩＰ変換を実施する場合、インターレース方式の映像信号の一方のフィールドにしか存在しないラインの画素データを特定の処理により補間することが必要となる。従来から行われているこの補間処理の一般的な方法について図７及び図８を参照しながら説明する。

図７は、従来の映像信号変換装置の構成を示すブロック図である。従来の映像信号変換装置は、図７に示すように、第１のフィールドメモリ７０１と、第２のフィールドメモリ７０２と、モード判定部７０３と、ＩＰ変換部７０４とで構成される。第１のフィールドメモリ７０１は、入力されたインターレース方式の映像信号を１フィールド分遅延させる為のメモリであり、第２のフィールドメモリ７０２は、入力されたインターレース方式の映像信号をさらに１フィールド分遅延させる為のメモリである。モード判定部７０３は、画像走査変換対象となる画素（以下、「対象画素」という。）Ｘが静止領域に存在するのか動領域に存在するのかを判定する構成部である。ＩＰ変換部７０４は、モード判定部７０３によって得られた判定結果に応じて補間処理を実行する構成部である。

図８は、モード判定部７０３の内部構成及びその動作を説明する為の模式図である。モード判定部７０３は、図８に示すように、減算部８０１と、判定閾値記憶部８０２と、比較部８０３と、領域判定部８０４とで構成される。減算部８０１は、２つの画素データの差分を求める構成部である。判定閾値記憶部８０２は、対象画素Ｘが静止領域に存在するのか動領域に存在するのかを判定するための予め定められた閾値である判定閾値を記憶する構成部である。比較部８０３は、減算部８０１によって求められた差分と、判定閾値記憶部８０２に記憶されている判定閾値とを比較する構成部である。領域判定部８０４は、比較部８０３によって得られた比較結果に基づいて、対象画素Ｘが静止領域に存在するのか動領域に存在するのかを判定する構成部である。

以上のように構成された従来の映像信号変換装置の動作を説明する。
インターレース方式の映像信号の対象画素Ｘを含むフィールドと、第２のフィールドメモリ７０２によって２フィールド遅延させたフィールドとの位相が同一の画素のデータ同士がモード判定部７０３に入力される。

モード判定部７０３では、まず、減算部８０１が、対象画素Ｘのデータと、２フィールド遅延させた同一位相の画素Ｙ（図８参照）のデータとの差分を算出する。次に、比較部８０３は、減算部８０１によって算出された差分の絶対値と、判定閾値記憶部８０２に記憶されている判定閾値との大小を比較する。最後に、領域判定部８０４は、比較部８０３によって得られた比較結果に基づいて、対象画素Ｘが静止領域に存在するのか動領域に存在するのかを判定する。具体的には、領域判定部８０４は、差分の絶対値が判定閾値以上である場合、フィールド間での相関が低いと判断し、対象画素Ｘは動領域に存在すると判定する。逆に、差分の絶対値が判定閾値よりも小さい場合、領域判定部８０４は、フィールド間での相関が高いと判断し、対象画素Ｘは静止領域に存在すると判定する。

対象画素Ｘが動領域に存在する場合、対象画素Ｘを含むフィールド（現フィールドに相当）の画像と、第２のフィールドメモリ７０２によって２フィールド遅延させた画像との間には動きによる変化が生じている。その為、ＩＰ変換部７０４は、対象画素Ｘが動領域に存在するとモード判定部７０３によって判定された場合、対象画素Ｘの位置のデータを、第１のフィールドメモリ７０１によって１フィールド遅延させた画像からフィールド内挿により作成する。

他方、対象画素Ｘが静止領域に存在する場合、対象画素Ｘを含むフィールド（現フィールドに相当）の画像と、第２のフィールドメモリ７０２によって２フィールド遅延させた画像との間には動きによる変化が生じていないか、変化が小さい。その為、ＩＰ変換部７０４は、対象画素Ｘが静止領域に存在するとモード判定部７０３によって判定された場合、対象画素Ｘの位置のデータを、対象画素Ｘを含むフィールドの画像と、第１のフィールドメモリ７０１によって１フィールド遅延させた画像との両方を用いてフレーム内挿により作成する。この場合、ＩＰ変換部７０４は、空間解像度を保つ為に、対象画素Ｘのデータをそのまま用いることも可能である。このような方法により、従来の映像信号変換装置は、静止領域の空間解像度を損なわずに画素を補間し、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する。

以上のようなＩＰ変換は、テレビジョン受像機や画像再生機などの民生用ＡＶ機器などにおいては、ＮＴＳＣ信号のような６０フィールド／秒のインターレース方式の映像信号から６０フレーム／秒のプログレッシブ方式の映像信号を作成することにより、空間解像度を向上させる目的で使用される。また、コンピュータディスプレイや液晶ディスプレイによりインターレース方式の映像信号を表示させる場合、６０フィールド／秒のインターレース方式の映像信号から３０フレーム／秒のプログレッシブ方式の映像信号を作成し、インターレース妨害による画面のちらつきを抑える目的で使用される。また、最近ではＭＰＥＧ方式による映像信号の符号化の際に、符号化効率を向上させる目的のために、６０フィールド／秒のインターレース方式の映像信号から３０フレーム／秒のプログレッシブ方式の映像信号を作成して符号化を実施する場合もある。
特開２００２−１８５９３３号公報 特開２００３−２８９５１１号公報

上述した従来の映像信号変換装置は、対象画素が静止領域に存在するのか動領域に存在するのかを判定する為に、対象画素と１フレーム（２フィールド）遅延させた同一位相の画素とを比較する。このため図７に示すように２個のフィールドメモリを保有することが必須となり、装置規模が大きくなるという課題がある。

それに対し、フィールドメモリを１個だけ使用して対象画素が静止領域に存在するのか動領域に存在するのかを判定する方法（以下、「第２の方法」という。）が考えられる。第２の方法は、対象画素を含むフィールドの画像を１フィールド遅延させた画像から、対象画素と同一位相の画素のデータをフィールド内挿により予測し、予測したデータと対象画素のデータとを比較することにより、対象画素が静止領域に存在するのか動領域に存在するのかを判定する方法である。しかし、先に説明したようにインターレース方式の映像信号は時間解像度を高くするために空間解像度を犠牲にしている為、この方法では対象画素が動領域に存在しているのか静止領域の高周波領域に存在しているのかを区別することができないという課題がある。

その課題の一例を図９を用いて具体的に説明する。図９は、フィールドメモリを１個だけ使用して対象画素Ｘが静止領域に存在するのか動領域に存在するのかを判定する第２の方法における課題を説明するための図である。図９は、対象画素Ｘが静止領域の高周波領域に存在している場合の対象画素Ｘの周囲の一部の画素を示している。具体的には、図９は、対象画素Ｘを含むフィールドの対象画素Ｘを含む垂直方向の連続する三つの画素（Ｘ＋，Ｘ，Ｘ−）のデータを四角（□）で表示し、そのフィールドを１フィールド遅延させた画像の対象画素Ｘの位相に最も近い垂直方向の二つの画素（Ｚ＋，Ｚ−）のデータを丸（○）で表示している。ここで、画素Ｘ＋のデータと画素Ｘ−のデータとは等しく、かつ画素Ｘ＋のデータ及び画素Ｘ−のデータは対象画素Ｘのデータよりも小さいと仮定する。また、画素Ｚ＋のデータと画素Ｚ−のデータとは等しく、かつ画素Ｚ＋のデータ及び画素Ｚ−のデータは、対象画素Ｘのデータよりも小さいが、画素Ｘ＋のデータ及び画素Ｘ−のデータよりも大きいと仮定する。

第２の方法では、上述したように、対象画素Ｘを含むフィールドの画像を１フィールド遅延させた画像から、対象画素Ｘと同一位相の画素のデータをフィールド内挿により予測する。例えば、対象画素Ｘと同一位相の画素のデータを、画素Ｚ＋のデータと画素Ｚ−のデータとの平均値であると予測する。この場合、対象画素Ｘと同一位相の画素のデータを、画素Ｚ＋のデータであると予測する。上述したように、画像Ｚ＋のデータは対象画素Ｘのデータよりも小さい。画素Ｚ＋のデータと対象画素Ｘのデータとの差分の絶対値が判定閾値よりも大きい場合、第２の方法では、対象画素Ｘは動領域に存在すると判定される。しかしながら、図９は、上述したように、対象画素Ｘが静止領域の高周波領域に存在している場合の対象画素Ｘの周囲の画素を示しており、動領域に存在している場合を示しているのではない。したがって、第２の方法では、対象画素Ｘが動領域に存在しているのか静止領域の高周波領域に存在しているのかを区別することができない。

このように静止領域の高周波領域に存在する画素を動領域に存在すると誤って判断して画像変換処理が行なわれると、タイムスタンプを統一する為に対象画素を含むフィールドの情報が利用されず、対象画素を含まないフィールドの情報のみが利用されて画素データが作成されるので空間解像度が半分に低下してしまう。逆に、動領域に存在する画素を静止領域の高周波領域に存在すると誤って判断して画像変換処理が行なわれると、空間解像度を高く保つために対象画素を含むフィールドの情報が利用される為に、奇数番目のラインと偶数番目のラインとでタイムスタンプの異なる動きのある画像が同一のタイムスタンプの画像として生成されてしまい輪郭部分がギザギザになる輪郭ひずみが生じてしまう。

本発明は、上記課題を考慮し、装置規模を縮小しつつ、空間解像度を高く保ちながら画像に輪郭ひずみを生じさせないようにインターレース方式の映像信号をプログレッシブ方式の映像信号に変換する映像信号変換装置及び映像信号変換方法を提供することを目的とする。

上記課題を解決し上記目的を達成するために、本発明の映像信号変換装置は、奇数ラインの画素によって形成される奇数フィールド及び偶数ラインの画素によって形成される偶数フィールドにより構成されるインターレース方式の映像信号を、奇数ラインの画素及び偶数ラインの画素によって形成されるフレームにより構成されるプログレッシブ方式の映像信号に変換する映像信号変換装置であって、変換対象の画素を含まないフィールドの画素のデータを利用して、前記変換対象の画素が静止領域に存在するか否かを判定する静止判定手段と、前記変換対象の画素以外の画素のデータを利用して、前記変換対象の画素が高周波領域に存在するか否かを判定する高域判定手段と、前記静止判定手段によって得られた判定結果と、前記高域判定手段によって得られた判定結果とを利用して、前記変換対象の画素の位置のデータを生成するデータ生成手段とを備える。

このように、本発明の映像信号変換装置は、変換対象の画素を含まないフィールドの画素のデータを利用して、変換対象の画素が静止領域に存在するか否かを判定するとともに、変換対象の画素以外の画素のデータを利用して、変換対象の画素が高周波領域に存在するか否かを判定する。これにより、２フィールド分のデータを記憶するためのメモリを備える必要がなくなり、本発明の映像信号変換装置は、装置規模を縮小しつつ、空間解像度を高く保ちながら画像に輪郭ひずみを生じさせないようにインターレース方式の映像信号をプログレッシブ方式の映像信号に変換することができる。

また、本発明は、本発明の映像信号変換装置の特徴的な構成手段をステップとする映像信号変換方法として実現したり、それらのステップを含むプログラムとして実現することもできる。そのプログラムは、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることもできる。

本発明は、装置規模を縮小しつつ、空間解像度を高く保ちながら画像に輪郭ひずみを生じさせないようにインターレース方式の映像信号をプログレッシブ方式の映像信号に変換する映像信号変換装置及び映像信号変換方法を提供することができる。

以下に、本発明を実施するための最良の形態について、図面を用いて説明する。
先ず、本実施の形態の映像信号変換装置の構成を図１及び図２を用いて説明する。
図１は本実施の形態の映像信号変換装置の構成を示したブロック図である。図１に示すように、本実施の形態の映像信号変換装置は、フィールドメモリ１０１と、第１の補間部１０２と、静止判定部１０３と、第２の補間部１０４と、高域判定部１０５と、モード判定部１０６と、ＩＰ変換部１０７とで構成される。

フィールドメモリ１０１は、入力されたインターレース方式の映像信号を１フィールド分遅延させる為のメモリである。第１の補間部１０２は、画像走査変換対象となる画素（以下、「対象画素」という。）を含まないフィールドの画素のデータから対象画素と同一位相の画素のデータを補間処理により作成する構成部である。静止判定部１０３は、第１の補間部１０２によって作成されたデータに基づいて、対象画素が静止領域に存在するかどうかを判定する構成部である。第２の補間部１０４は、対象画素を含むフィールドの対象画素以外の画素のデータから、対象画素と同一位相の画素のデータを補間処理により作成する構成部である。

高域判定部１０５は、対象画素が静止領域の高周波領域に存在するかどうかを判定する構成部である。モード判定部１０６は、静止判定部１０３によって得られた判定結果と、高域判定部１０５によって得られた判定結果とに基づいて、対象画素が静止領域に存在するのか動領域に存在するのかを最終的に判定する構成部である。ＩＰ変換部１０７は、モード判定部１０６によって得られた判定結果に応じて補間処理を実行する構成部である。

図２は、第１の補間部１０２、静止判定部１０３、第２の補間部１０４、高域判定部１０５の内部構成及びその動作を説明する為の模式図である。
第１の補間部１０２は、第１の加算部１０２ａと、第１の乗算部１０２ｂとで構成されている。第１の加算部１０２ａは、２つの画素のデータの和を求める構成部であり、第１の乗算部１０２ｂは、第１の加算部１０２ａによって得られた２つの画素のデータの和を２分の１倍する構成部である。

静止判定部１０３は、第１の減算部１０３ａと、静止判定閾値記憶部１０３ｂと、第１の比較部１０３ｃと、第１の判定部１０３ｄとで構成されている。第１の減算部１０３ａは、第１の乗算部１０２ｂによって得られた２つの画素のデータの平均値と、対象画素Ｘのデータとの差分を求める構成部である。静止判定閾値記憶部１０３ｂは、対象画素Ｘが静止領域に存在するかどうかを判定するための予め定められた閾値である静止判定閾値を記憶する構成部である。第１の比較部１０３ｃは、第１の減算部１０３ａによって求められた差分と、静止判定閾値記憶部１０３ｂに記憶されている静止判定閾値とを比較する構成部である。第１の判定部１０３ｄは、第１の比較部１０３ｃによって得られた比較結果に基づいて、対象画素Ｘが静止領域に存在するかどうかを判定する構成部である。

第２の補間部１０４は、第２の加算部１０４ａと、第２の乗算部１０４ｂとで構成されている。第２の加算部１０４ａは、２つの画素のデータの和を求める構成部であり、第２の乗算部１０４ｂは、第２の加算部１０４ａによって得られた２つの画素のデータの和を２分の１倍する構成部である。

高域判定部１０５は、第２の減算部１０５ａと、高域判定閾値記憶部１０５ｂと、第２の比較部１０５ｃと、第２の判定部１０５ｄとで構成されている。第２の減算部１０５ａは、第２の乗算部１０４ｂによって得られた２つの画素のデータの平均値と、対象画素Ｘのデータとの差分を求める構成部である。高域判定閾値記憶部１０５ｂは、対象画素Ｘが静止領域の高周波領域に存在するかどうかを判定するための予め定められた閾値である高域判定閾値を記憶する構成部である。第２の比較部１０５ｃは、第２の減算部１０５ａによって求められた差分と、高域判定閾値記憶部１０５ｂに記憶されている高域判定閾値とを比較する構成部である。第２の判定部１０５ｄは、第２の比較部１０５ｃによって得られた比較結果に基づいて、対象画素Ｘが静止領域の高周波領域に存在するかどうかを判定する構成部である。

次に、以上のように構成された本実施の形態の映像信号変換装置の動作を、図３をも用いて説明する。
図３は、本実施の形態の映像信号変換装置の動作の各手順を説明するフローチャートである。説明の便宜上、以下の説明では、インターレース方式の映像信号の対象画素Ｘを含むフィールドの画像から１フィールド遅延させた画像のデータ（画素ａ及び画素ｂのデータを含む）がフィールドメモリ１０１に記憶されている状態を想定する。また、対象画素Ｘを含むフィールドの対象画素Ｘの位相に最も近い垂直上方向の画素が画素ｃであり、そのフィールドの対象画素Ｘの位相に最も近い垂直下方向の画素が画素ｄであると仮定する。

フィールドメモリ１０１は、インターレース方式の映像信号の対象画素Ｘを含むフィールドの画像から１フィールド遅延させた画像のデータを用意して第１の補間部１０２に出力する（Ｓ１）。

第１の補間部１０２は、フィールドメモリ１０１によって出力された対象画素Ｘを含まないフィールドの画素のデータから、対象画素Ｘと同一位相の画素のデータ（以下、「第１の補間画素データ」という。）を補間処理により作成する（Ｓ２）。ここでは簡単な方法として、図２に示すように、対象画素Ｘの位相に最も近い垂直上方向の画素ａのデータと、対象画素Ｘの位相に最も近い垂直下方向の画素ｂのデータとの平均値を計算することで第１の補間画素データを作成する方法を例として説明する。

第１の補間部１０２において、第１の加算部１０２ａは、対象画素Ｘの位相に最も近い垂直上方向の画素（図２の中の画素ａ）のデータと、対象画素Ｘの位相に最も近い垂直下方向の画素（図２の中の画素ｂ）のデータとを加算する。次に、第１の乗算部１０２ｂは、第１の加算部１０２ａによって求められた加算結果を２分の１倍して、画素ａのデータと画素ｂのデータとの平均値を計算することで第１の補間画素データを作成する（Ｓ２）。

次に、静止判定部１０３は、第１の補間部１０２によって作成された第１の補間画素データと対象画素Ｘのデータとを比較して、対象画素Ｘが静止領域に存在するかどうかを判定する（Ｓ３）。具体的には、静止判定部１０３において、第１の減算部１０３ａは、第１の補間画素データと対象画素Ｘのデータとの差分（以下、「第１の差分」という。）を求め、第１の比較部１０３ｃは、第１の減算部１０３ａによって求められた第１の差分の絶対値を計算し、第１の差分の絶対値と、静止判定閾値記憶部１０３ｂに記憶されている静止判定閾値との大小を比較する。第１の判定部１０３ｄは、第１の差分の絶対値が静止判定閾値よりも小さい場合、フィールド間での相関が高いと判断し、対象画素Ｘは静止領域に存在すると判定する（Ｓ３でＹｅｓ）。他方、第１の差分の絶対値が静止判定閾値以上である場合、第１の判定部１０３ｄは、フィールド間での相関が低い可能性があると判断し、対象画素Ｘは静止領域に存在するとは判定しない（Ｓ３でＮｏ）。つまり、動領域に存在する可能性があると判定する（Ｓ３でＮｏ）。

第２の補間部１０４は、対象画素Ｘを含むフィールドの対象画素Ｘ以外の画素のデータから、対象画素Ｘと同一位相の画素のデータ（以下、「第２の補間画素データ」という。）を補間処理により作成する（Ｓ４）。ここでは簡単な方法として、図２に示すように、対象画素Ｘを含むフィールドの対象画素Ｘの位相に最も近い垂直上方向の画素ｃのデータと、対象画素Ｘの位相に最も近い垂直下方向の画素ｄのデータとの平均値を計算することで第２の補間画素データを作成する方法を例として説明する。

第２の補間部１０４において、第２の加算部１０４ａは、対象画素Ｘの位相に最も近い垂直上方向の画素（図２の中の画素ｃ）のデータと、対象画素Ｘの位相に最も近い垂直下方向の画素（図２の中の画素ｄ）のデータとを加算する。次に、第２の乗算部１０４ｂは、第２の加算部１０４ａによって求められた加算結果を２分の１倍して、画素ｃのデータと画素ｄのデータとの平均値を計算することで第２の補間画素データを作成する（Ｓ４）。

次に、高域判定部１０５は、第２の補間部１０４によって作成された第２の補間画素データと対象画素Ｘのデータとを比較して、対象画素Ｘが静止領域の高周波領域に存在するかどうかを判定する（Ｓ５）。具体的には、高域判定部１０５において、第２の比較部１０５ｃは、第２の補間画素データと対象画素Ｘのデータとの差分（以下、「第２の差分」という。）を求め、第２の比較部１０５ｃは、第２の減算部１０５ａによって求められた第２の差分の絶対値を計算し、計算した第２の差分の絶対値と、高域判定閾値記憶部１０５ｂに記憶されている高域判定閾値との大小を比較する。第２の判定部１０５ｄは、第２の差分の絶対値が高域判定閾値よりも大きい場合、フィールド内での相関が低いと判断し、対象画素Ｘは静止領域の高周波領域に存在すると判定する（Ｓ５でＹｅｓ）。他方、第２の差分の絶対値が高域判定閾値以下である場合、第２の判定部１０５ｄは、フィールド内での相関が高いと判断し、対象画素Ｘは動領域に存在すると判定する（Ｓ５でＮｏ）。

モード判定部１０６は、静止判定部１０３によって得られた判定結果と、高域判定部１０５によって得られた判定結果とを用いて、対象画素Ｘが静止領域に存在するのか動領域に存在するのかを最終的に判定する（Ｓ６，Ｓ７）。具体的には、静止判定部１０３によって対象画素Ｘが静止領域に存在するとは判定されず（Ｓ３でＮｏ）、なお且つ高域判定部１０５によって対象画素Ｘが高周波領域に存在するとも判定されなかった場合（Ｓ５でＮｏ）、モード判定部１０６は、対象画素Ｘが動領域に存在すると判定する（Ｓ６）。それ以外の場合、すなわち、静止判定部１０３によって対象画素Ｘが静止領域に存在すると判定された場合（Ｓ３でＹｅｓ）及び、高域判定部１０５によって対象画素Ｘが高周波領域に存在すると判定された場合（Ｓ５でＹｅｓ）、モード判定部１０６は、対象画素Ｘが静止領域に存在すると判定する（Ｓ７）。

モード判定部１０６によって対象画素Ｘが動領域に存在すると判定された場合（Ｓ６）、対象画素Ｘを含むフィールド（現フィールドに相当）の画像とフィールドメモリ１０１によって１フィールド遅延させた画像との間には動きによる変化が生じている。その為、ＩＰ変換部１０７は、対象画素Ｘの位置のデータを、１フィールド遅延させた画像からフィールド内挿により作成する（Ｓ８）。他方、モード判定部１０６によって対象画素Ｘが静止領域に存在すると判定された場合（Ｓ７）、ＩＰ変換部１０７は、対象画素Ｘの位置のデータを、対象画素Ｘを含むフィールドの画像と、１フィールド遅延させた画像との両方を用いてフレーム内挿により作成する（Ｓ９）。この場合、空間解像度を保つ為に、ＩＰ変換部１０７は、対象画素Ｘのデータをそのまま使用することも可能である。

上述したように、本実施の形態の映像信号変換装置は、対象画素Ｘを含まないフィールドの画素のデータから得られた第１の補間画素データに基づいて対象画素Ｘが静止領域に存在すると判定されず（Ｓ３でＮｏ）、なお且つ対象画素Ｘを含むフィールドの画素のデータから得られた第２の補間画素データに基づいて対象画素Ｘが高周波領域に存在すると判定されなかった場合（Ｓ５でＮｏ）、対象画素Ｘは動領域に存在すると判定してフィールド内挿により対象画素Ｘの位置のデータを作成する。他方、第１の補間画素データに基づいて対象画素Ｘが静止領域に存在すると判定された場合（Ｓ３でＹｅｓ）、及び、対象画素Ｘが高周波領域に存在すると判定された場合（Ｓ５でＹｅｓ）、本実施の形態の映像信号変換装置は、対象画素Ｘが静止領域に存在すると判定してフレーム内挿により対象画素Ｘの位置のデータを作成する。本実施の形態の映像信号変換装置は、このような方法により、従来よりもフィールドメモリを削減することにより装置規模を縮小しつつ、静止領域の空間解像度を損なわずに画素を補間し、動領域と高周波領域とを区別して画像に輪郭ひずみを生じさせないようにインターレース方式の映像信号をプログレッシブ方式の映像信号に変換することが可能となる。

なお、上述した実施の形態では、第１の補間部１０２、静止判定部１０３、第２の補間部１０４、高域判定部１０５の順に上記各構成部は動作するが、第１の補間部１０２及び静止判定部１０３の動作と、第２の補間部１０４及び高域判定部１０５の動作とは、平行して行なわれてもよい。

また、モード判定部１０６は、図４に示すような、対象画素Ｘが静止領域に存在するのか動領域に存在するのかを最終的に判定するための判定テーブルを有していて、判定テーブルを用いて対象画素Ｘが静止領域に存在するのか動領域に存在するのかを最終的に判定してもよい。また、ＩＰ変換部１０７は、判定テーブルを利用して、対象画素Ｘの位置のデータを作成してもよい。

また、第１の補間部１０２は、図５に示すように、対象画素Ｘを含まないフィールドの画素ａ，ｂ，ｅ，ｆの４個の画素のデータの平均値を計算することで、第１の補間画素データを作成してもよい。要するに、第１の補間部１０２は、対象画素Ｘを含まないフィールドの画素のデータから、第１の補間画素データを作成しさえすればよい。

同様に、第２の補間部１０４は、図６に示すように、対象画素Ｘを含むフィールドの画素ｃ，ｄ，ｇ，ｈの４個の画素のデータの平均値を計算することで、第２の補間画素データを作成してもよい。要するに、第２の補間部１０４は、対象画素Ｘ以外の画素のデータを用いることにより、第２の補間画素データを作成しさえすればよい。従って、第２の補間部１０４は、対象画素Ｘを含むフィールドの対象画素Ｘ以外の画素のデータから、第２の補間画素データを作成してもよい。

また、上述した実施の形態では、静止判定部１０３は、第１の補間部１０２によって作成された第１の補間画素データと対象画素Ｘのデータとの第１の差分の絶対値と、静止判定閾値との大小を比較することにより、対象画素Ｘが静止領域に存在するか否かを判定する。しかしながら、静止判定部１０３は、第１の差分そのものが静止判定閾値に含まれているか否かを判定することにより、対象画素Ｘが静止領域に存在するか否かを判定してもよい。

同様に、高域判定部１０５は、第２の補間部１０４によって作成された第２の補間画素データと対象画素Ｘのデータとの第２の差分そのものが高域判定閾値に含まれているか否かを判定することにより、対象画素Ｘが静止領域の高周波領域に存在するかどうかを判定してもよい。

また、本実施の形態の映像信号変換装置を構成するフィールドメモリ１０１、第１の補間部１０２、静止判定部１０３、第２の補間部１０４、高域判定部１０５、モード判定部１０６、及びＩＰ変換部１０７の各構成部の一部又は全部は一つの集積回路（集積チップ）で実現されてもよい。

本発明にかかる映像信号変換装置及び映像信号変換方法は、装置規模を縮小しつつ、空間解像度を高く保ちながら画像に輪郭ひずみを生じさせないようにインターレース方式の映像信号をプログレッシブ方式の映像信号に変換することができるという効果を有し、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する映像信号変換装置及び映像信号変換方法として有用である。

実施の形態の映像信号変換装置の構成を示すブロック図である。 実施の形態の映像信号変換装置の第１の補間部１０２、静止判定部１０３、第２の補間部１０４、高域判定部１０５の内部構成及びその動作を説明する為の模式図である。 実施の形態の映像信号変換装置の動作の各手順を説明するフローチャートである。 対象画素Ｘが静止領域に存在するのか動領域に存在するのかを最終的に判定するための判定テーブルを示す図である。 第１の補間画素データの作成方法の一例を説明するための図である。 第２の補間画素データの作成方法の一例を説明するための図である。 従来の映像信号変換装置の構成を示すブロック図である。 従来の映像信号変換装置におけるモード判定部７０３の内部構成及びその動作を説明する為の模式図である。 課題を説明するための図である。

符号の説明

１０１ フィールドメモリ
１０２ 第１の補間部
１０２ａ 第１の加算部
１０２ｂ 第１の乗算部
１０３ 静止判定部
１０３ａ 第１の減算部
１０３ｂ 静止判定閾値記憶部
１０３ｃ 第１の比較部
１０３ｄ 第１の判定部
１０４ 第２の補間部
１０４ａ 第２の加算部
１０４ｂ 第２の乗算部
１０５ 高域判定部
１０５ａ 第２の減算部
１０５ｂ 高域判定閾値記憶部
１０５ｃ 第２の比較部
１０５ｄ 第２の判定部
１０６ モード判定部
１０７ ＩＰ変換部

Claims (22)

1. 奇数ラインの画素によって形成される奇数フィールド及び偶数ラインの画素によって形成される偶数フィールドにより構成されるインターレース方式の映像信号を、奇数ラインの画素及び偶数ラインの画素によって形成されるフレームにより構成されるプログレッシブ方式の映像信号に変換する映像信号変換装置であって、
   変換対象の画素を含まないフィールドの画素のデータを利用して、前記変換対象の画素が静止領域に存在するか否かを判定する静止判定手段と、
   前記変換対象の画素以外の画素のデータを利用して、前記変換対象の画素が高周波領域に存在するか否かを判定する高域判定手段と、
   前記静止判定手段によって得られた判定結果と、前記高域判定手段によって得られた判定結果とを利用して、前記変換対象の画素の位置のデータを生成するデータ生成手段と
   を備える映像信号変換装置。
2. インターレース方式の映像信号の１フィールドを記憶するためのフィールドメモリを備え、
   前記静止判定手段は、前記フィールドメモリが記憶する、前記変換対象の画素を含むフィールドから１フィールド遅延したフィールドの画素のデータを利用して、前記変換対象の画素が静止領域に存在するか否かを判定する
   請求項１記載の映像信号変換装置。
3. 更に、前記変換対象の画素を含まないフィールドの画素のデータを利用して、前記変換対象の画素と同一位相の画素のデータである第１の補間画素データを補間処理により生成する第１の補間手段と、
   前記変換対象の画素を含むフィールドの前記変換対象の画素以外の画素のデータを利用して、前記変換対象の画素と同一位相の画素のデータである第２の補間画素データを補間処理により生成する第２の補間手段とを備え、
   前記静止判定手段は、前記第１の補間画素データと前記変換対象の画素のデータとを比較して、前記変換対象の画素が静止領域に存在するか否かを判定し、
   前記高域判定手段は、前記第２の補間画素データと前記変換対象の画素のデータとを比較して、前記変換対象の画素が高周波領域に存在するか否かを判定する
   請求項１記載の映像信号変換装置。
4. 前記静止判定手段は、前記第１の補間画素データと前記変換対象の画素のデータとの差の絶対値が第１の閾値よりも小さい場合、前記変換対象の画素が静止領域に存在すると判定する
   請求項３記載の映像信号変換装置。
5. 前記高域判定手段は、前記第２の補間画素データと前記変換対象の画素のデータとの差の絶対値が第２の閾値よりも大きい場合、前記変換対象の画素が高周波領域に存在すると判定する
   請求項３記載の映像信号変換装置。
6. 前記第１の補間手段は、前記変換対象の画素を含むフィールドから１フィールド遅延したフィールドの、前記変換対象の画素の位相に最も近い垂直上方向の画素のデータと、前記変換対象の画素の位相に最も近い垂直下方向の画素のデータとの平均値を計算することにより、前記第１の補間画素データを生成する
   請求項３記載の映像信号変換装置。
7. 前記第２の補間手段は、前記変換対象の画素を含むフィールドの、前記変換対象の画素の直上の位相に位置する画素のデータと、前記変換対象の画素の直下の位相に位置する画素のデータとの平均値を計算することにより、前記第２の補間画素データを生成する
   請求項３記載の映像信号変換装置。
8. 更に、前記静止判定手段によって得られた判定結果と、前記高域判定手段によって得られた判定結果とを利用して、前記変換対象の画素が静止領域に存在するのか動領域に存在するのかを判定するモード判定手段を備え、
   前記データ生成手段は、
   （１）前記モード判定手段によって前記変換対象の画素が静止領域に存在すると判定された場合、前記変換対象の画素を含むフィールドと前記変換対象の画素を含まないフィールドとの双方の画素のデータを利用するフレーム内補間処理により、前記変換対象の画素の位置のデータを生成し、
   （２）前記モード判定手段によって前記変換対象の画素が動領域に存在すると判定された場合、前記変換対象の画素を含まないフィールドの画素のデータのみを利用するフィールド内補間処理により、前記変換対象の画素の位置のデータを生成する
   請求項１記載の映像信号変換装置。
9. 前記データ生成手段は、前記モード判定手段によって前記変換対象の画素が静止領域に存在すると判定された場合、前記変換対象の画素の位置のデータとして、前記変換対象の画素のデータをそのまま使用する
   請求項８記載の映像信号変換装置。
10. 前記モード判定手段は、（Ａ）前記静止判定手段によって前記変換対象の画素が静止領域に存在すると判定されず、且つ前記高域判定手段によって前記変換対象の画素が高周波領域に存在すると判定されなかった場合、前記変換対象の画素が動領域に存在すると判定し、（Ｂ）前記静止判定手段によって前記変換対象の画素が静止領域に存在すると判定された場合、及び、前記高域判定手段によって前記変換対象の画素が高周波領域に存在すると判定された場合、前記変換対象の画素が静止領域に存在すると判定する
    請求項８記載の映像信号変換装置。
11. 奇数ラインの画素によって形成される奇数フィールド及び偶数ラインの画素によって形成される偶数フィールドにより構成されるインターレース方式の映像信号を、奇数ラインの画素及び偶数ラインの画素によって形成されるフレームにより構成されるプログレッシブ方式の映像信号に変換する集積回路であって、
    変換対象の画素を含まないフィールドの画素のデータを利用して、前記変換対象の画素が静止領域に存在するか否かを判定する静止判定手段と、
    前記変換対象の画素以外の画素のデータを利用して、前記変換対象の画素が高周波領域に存在するか否かを判定する高域判定手段と、
    前記静止判定手段によって得られた判定結果と、前記高域判定手段によって得られた判定結果とを利用して、前記変換対象の画素の位置のデータを生成するデータ生成手段と
    を備える集積回路。
12. 奇数ラインの画素によって形成される奇数フィールド及び偶数ラインの画素によって形成される偶数フィールドにより構成されるインターレース方式の映像信号を、奇数ラインの画素及び偶数ラインの画素によって形成されるフレームにより構成されるプログレッシブ方式の映像信号に変換する映像信号変換方法であって、
    変換対象の画素を含まないフィールドの画素のデータを利用して、前記変換対象の画素が静止領域に存在するか否かを判定する静止判定ステップと、
    前記変換対象の画素以外の画素のデータを利用して、前記変換対象の画素が高周波領域に存在するか否かを判定する高域判定ステップと、
    前記静止判定ステップにおいて得た判定結果と、前記高域判定ステップにおいて得た判定結果とを利用して、前記変換対象の画素の位置のデータを生成するデータ生成ステップと
    を含む映像信号変換方法。
13. 前記静止判定ステップでは、前記変換対象の画素を含むフィールドから１フィールド遅延したフィールドの画素のデータを利用して、前記変換対象の画素が静止領域に存在するか否かを判定する
    請求項１２記載の映像信号変換方法。
14. 更に、前記変換対象の画素を含まないフィールドの画素のデータを利用して、前記変換対象の画素と同一位相の画素のデータである第１の補間画素データを補間処理により生成する第１の補間ステップと、
    前記変換対象の画素を含むフィールドの前記変換対象の画素以外の画素のデータを利用して、前記変換対象の画素と同一位相の画素のデータである第２の補間画素データを補間処理により生成する第２の補間ステップとを含み、
    前記静止判定ステップでは、前記第１の補間画素データと前記変換対象の画素のデータとを比較して、前記変換対象の画素が静止領域に存在するか否かを判定し、
    前記高域判定ステップでは、前記第２の補間画素データと前記変換対象の画素のデータとを比較して、前記変換対象の画素が高周波領域に存在するか否かを判定する
    請求項１２記載の映像信号変換方法。
15. 前記静止判定ステップでは、前記第１の補間画素データと前記変換対象の画素のデータとの差の絶対値が第１の閾値よりも小さい場合、前記変換対象の画素が静止領域に存在すると判定する
    請求項１４記載の映像信号変換方法。
16. 前記高域判定ステップでは、前記第２の補間画素データと前記変換対象の画素のデータとの差の絶対値が第２の閾値よりも大きい場合、前記変換対象の画素が高周波領域に存在すると判定する
    請求項１４記載の映像信号変換方法。
17. 前記第１の補間ステップでは、前記変換対象の画素を含むフィールドから１フィールド遅延したフィールドの、前記変換対象の画素の位相に最も近い垂直上方向の画素のデータと、前記変換対象の画素の位相に最も近い垂直下方向の画素のデータとの平均値を計算することにより、前記第１の補間画素データを生成する
    請求項１４記載の映像信号変換方法。
18. 前記第２の補間ステップでは、前記変換対象の画素を含むフィールドの、前記変換対象の画素の直上の位相に位置する画素のデータと、前記変換対象の画素の直下の位相に位置する画素のデータとの平均値を計算することにより、前記第２の補間画素データを生成する
    請求項１４記載の映像信号変換方法。
19. 更に、前記静止判定ステップにおいて得た判定結果と、前記高域判定ステップにおいて得た判定結果とを利用して、前記変換対象の画素が静止領域に存在するのか動領域に存在するのかを判定するモード判定ステップを含み、
    前記データ生成ステップでは、
    （１）前記モード判定ステップにおいて前記変換対象の画素が静止領域に存在すると判定した場合、前記変換対象の画素を含むフィールドと前記変換対象の画素を含まないフィールドとの双方の画素のデータを利用するフレーム内補間処理により、前記変換対象の画素の位置のデータを生成し、
    （２）前記モード判定ステップにおいて前記変換対象の画素が動領域に存在すると判定した場合、前記変換対象の画素を含まないフィールドの画素のデータのみを利用するフィールド内補間処理により、前記変換対象の画素の位置のデータを生成する
    請求項１２記載の映像信号変換方法。
20. 前記データ生成ステップでは、前記モード判定ステップにおいて前記変換対象の画素が静止領域に存在すると判定した場合、前記変換対象の画素の位置のデータとして、前記変換対象の画素のデータをそのまま使用する
    請求項１９記載の映像信号変換方法。
21. 前記モード判定ステップでは、（Ａ）前記静止判定ステップにおいて前記変換対象の画素が静止領域に存在すると判定せず、且つ前記高域判定ステップにおいて前記変換対象の画素が高周波領域に存在すると判定しなかった場合、前記変換対象の画素が動領域に存在すると判定し、（Ｂ）前記静止判定ステップにおいて前記変換対象の画素が静止領域に存在すると判定した場合、及び、前記高域判定ステップによって前記変換対象の画素が高周波領域に存在すると判定した場合、前記変換対象の画素が静止領域に存在すると判定する
    請求項１９記載の映像信号変換方法。
22. 奇数ラインの画素によって形成される奇数フィールド及び偶数ラインの画素によって形成される偶数フィールドにより構成されるインターレース方式の映像信号を、奇数ラインの画素及び偶数ラインの画素によって形成されるフレームにより構成されるプログレッシブ方式の映像信号に変換するためのプログラムであって、
    変換対象の画素を含まないフィールドの画素のデータを利用して、前記変換対象の画素が静止領域に存在するか否かを判定する静止判定ステップと、
    前記変換対象の画素以外の画素のデータを利用して、前記変換対象の画素が高周波領域に存在するか否かを判定する高域判定ステップと、
    前記静止判定ステップにおいて得た判定結果と、前記高域判定ステップにおいて得た判定結果とを利用して、前記変換対象の画素の位置のデータを生成するデータ生成ステップと
    をコンピュータに実行させるためのプログラム。

Images