JP2004015700A - プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 - Google Patents
プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 Download PDFInfo
- Publication number
- JP2004015700A JP2004015700A JP2002169860A JP2002169860A JP2004015700A JP 2004015700 A JP2004015700 A JP 2004015700A JP 2002169860 A JP2002169860 A JP 2002169860A JP 2002169860 A JP2002169860 A JP 2002169860A JP 2004015700 A JP2004015700 A JP 2004015700A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- image
- frame
- field
- fields
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Systems (AREA)
Abstract
【課題】フィルムソースのフレーム周波数が24Hzの原プログレッシブ映像データが変換されて得られたフィールド周波数が60Hzのインターレース映像データをフレーム周波数が60Hzの出力プログレッシブ映像データに変換する場合に、動画の動きが滑らかに見えるようにする。
【解決手段】フレーム周波数が24Hzの原プログレッシブ映像データを2−3プルダウンによってフィールド周波数が60Hzのインターレース映像データに変換し、そのインターレース映像データをフレーム周波数が60Hzのプログレッシブ映像データに変換する。さらに、このプログレッシブ映像データを補間処理して、出力プログレッシブ映像データを得る。2−3プルダウン後のインターレース映像データから直接、補間処理されたプログレッシブ映像データに変換することもできる。
【選択図】 図1
【解決手段】フレーム周波数が24Hzの原プログレッシブ映像データを2−3プルダウンによってフィールド周波数が60Hzのインターレース映像データに変換し、そのインターレース映像データをフレーム周波数が60Hzのプログレッシブ映像データに変換する。さらに、このプログレッシブ映像データを補間処理して、出力プログレッシブ映像データを得る。2−3プルダウン後のインターレース映像データから直接、補間処理されたプログレッシブ映像データに変換することもできる。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
この発明は、フィルムソースなどの原プログレッシブ映像データが変換されて得られたインターレース映像データを、原プログレッシブ映像データのフレーム周波数より高いフレーム周波数の出力プログレッシブ映像データに変換する方法および装置、および、そのプログレッシブ変換などに用いられる、インターレース映像データのシーケンスを検出する方法および装置に関する。
【0002】
【従来の技術】
フィルムに記録された映画の画像を、DVD(Digital Versatile Disc)などの記録媒体に記録し、またはデジタル放送などによって伝送する場合、毎秒24コマの映画の画像を、フレーム周波数が24Hz、1フレームのライン(走査線)数が、例えば525本の、プログレッシブ映像データとして、記録媒体に記録し、または伝送する。
【0003】
図8(A)の「フィルムソースの原プログレッシブ映像データ」は、これを模式的に示したもので、画像A,B,C,Dは、それぞれ1フレーム(ひとコマ)の画像を示す。
【0004】
DVDプレーヤなどの再生装置や、デジタル放送受信機などの受信装置では、テレシネ変換装置や、MPEGデコーダなどにおいて、いわゆる2−3プルダウンによって、このフレーム周波数が24Hzの原プログレッシブ映像データを、フィールド周波数が60Hzのインターレース映像データに変換する。
【0005】
具体的に、図8(A)に示すように、原プログレッシブ映像データのフレーム画像Aの、奇数ラインを奇数フィールド画像Aoとして、偶数ラインを偶数フィールド画像Aeとして、順次抽出し、原プログレッシブ映像データのフレーム画像Bの、奇数ラインを奇数フィールド画像Boとして、偶数ラインを偶数フィールド画像Beとして、さらに再度、奇数ラインを奇数フィールド画像Boとして、順次抽出し、原プログレッシブ映像データのフレーム画像Cの、偶数ラインを偶数フィールド画像Ceとして、奇数ラインを奇数フィールド画像Coとして、順次抽出し、原プログレッシブ映像データのフレーム画像Dの、偶数ラインを偶数フィールド画像Deとして、奇数ラインを奇数フィールド画像Doとして、さらに再度、偶数ラインを偶数フィールド画像Deとして、順次抽出する。
【0006】
さらに、この映像をプログレッシブ表示する場合には、上記のように得られたフィールド周波数が60Hzのインターレース映像データを、フレーム周波数が60Hzのプログレッシブ映像データに変換するが、その逆変換の方法としては、2つの方法が考えられている。
【0007】
第1の方法では、図8(B)に示すように、インターレース映像データの同一のフィールド画像を2度に渡って読み取り、インターレース映像データの隣接する奇数フィールド画像と偶数フィールド画像を単純に合成して、出力プログレッシブ映像データのフレーム画像を生成する。
【0008】
しかし、この方法では、出力プログレッシブ映像データ中に、フレーム画像AB,BC,CDとして示すように、原プログレッシブ映像データの異なる(隣接する)フレーム画像を合成したフレーム画像が一定周期で出現し、シーンチェンジ時や、動きの激しいシーンでは、絵柄の全く異なるフレーム画像が同一フレームに合成されるため、出力プログレッシブ映像データは視聴感の劣る映像となってしまう。そのため、この方法は現在、ほとんど用いられていない。
【0009】
逆変換の第2の方法では、図8(C)に示すように、インターレース映像データの奇数フィールド画像Aoと偶数フィールド画像Aeを合成して、出力プログレッシブ映像データのフレーム画像Aを2フレームに渡って生成し、インターレース映像データの奇数フィールド画像Boと偶数フィールド画像Beを合成して、出力プログレッシブ映像データのフレーム画像Bを3フレームに渡って生成する、という操作を繰り返す。
【0010】
現在市販されているDVDプレーヤなどの再生装置、またはプロジェクタやプラズマディスプレイパネルなどのプログレッシブ変換装置では、この方法が用いられている。
【0011】
この方法のプログレッシブ変換(逆変換)を行うには、2−3プルダウン後のインターレース映像データのシーケンスを検出する必要がある。
【0012】
図9(A)に示すように、2−3プルダウン後のインターレース映像データは、ある連続する5フィールドの期間To内では、1,3,5番目のフィールドf1,f3,f5が奇数フィールド、2,4番目のフィールドf2,f4が偶数フィールドとなり、これに続く連続する5フィールドの期間Te内では、1,3,5番目のフィールドf1,f3,f5が偶数フィールド、2,4番目のフィールドf2,f4が奇数フィールドとなるが、期間To,Teのいずれにおいても、フィールドf3とフィールドf5が同一内容および同一フィールド種別となり、期間ToおよびTeを一巡周期とする。
【0013】
また、2−3プルダウン後のインターレース映像データには、奇数フィールドと偶数フィールドを区別するフィールド識別情報が挿入される。
【0014】
この場合のシーケンス検出は、この2−3プルダウン後のインターレース映像データの、その時々のフィールドが、一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかを、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかを、判別するものである。
【0015】
そして、従来のシーケンス検出方法では、インターレース映像データの各フィールドにつき、画素値のヒストグラムを生成して、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者のヒストグラムが近似するか否かを判別し、両者のヒストグラムが近似するとき、その2つのフィールドは、上記のフィールドf3およびf5であると判断する。
【0016】
画素値としては、図9(B)に示すような輝度データYを用いる。ただし、図9(B)は、輝度データYを、水平同期信号HSとともに、便宜的にアナログ波形で示したものである。輝度データYが8ビット長の場合、画素値(輝度データ値)のヒストグラムを生成するに当たっては、検出レベルとして、例えば、10h(10進では16)からEBh(10進では235)までの220レベルを用いる。
【0017】
図10は、従来のシーケンス検出装置を示し、インターレース映像データ中の輝度データYが、220レベル分の一致検出回路61で、10h〜EBhの基準値と比較されて、輝度データYが対応する値であるとき、対応する一致検出回路61から対応するカウンタ62に、カウントイネーブル信号が供給される。
【0018】
カウンタ62は、カウントイネーブル信号が供給されることによって、画素クロックをカウントアップする。カウンタ62の出力値は、垂直同期ラッチ信号によって、対応するラッチ回路63にラッチされ、カウンタ62は、垂直同期ラッチ信号の直後の垂直同期リセット信号によってリセットされる。
【0019】
したがって、ラッチ回路63全体として、1フィールド分の画素値(輝度データ値)のヒストグラムが生成される。
【0020】
ラッチ回路63の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路64にラッチされ、さらに、ラッチ回路64の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路65にラッチされる。
【0021】
そして、それぞれの減算回路66で、対応する1段目のラッチ回路63の出力値から、対応する3段目のラッチ回路65の出力値が減算され、それぞれの減算回路66の出力値が、加算回路67で加算され、加算回路67の出力値Daが、比較回路68で、閾値Dthと比較されて、比較回路68の出力として、Da≦Dthのときには高レベルとなり、Da>Dthのときには低レベルとなる検出信号Sdtが得られる。
【0022】
Da≦Dthとなり、検出信号Sdtが高レベルとなるのは、ラッチ回路63全体に展開されている、あるフィールドfnの画素値のヒストグラムと、ラッチ回路65全体に展開されている、そのフィールドfnに対して2フィールド前のフィールドf(n−2)の画素値のヒストグラムとが近似している場合であり、フィールドfnが上記のフィールドf5、フィールドf(n−2)が上記のフィールドf3である場合である。
【0023】
したがって、検出信号Sdtが高レベルとなった時からの時間差(フィールド数)、および上記のフィールド識別情報によって、2−3プルダウン後のインターレース映像データの、その時々のフィールドが、上記の一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかを、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかを、判別することができる。
【0024】
【発明が解決しようとする課題】
しかしながら、図8(C)に示した方法による、インターレース映像データからプログレッシブ映像データへの逆変換では、逆変換後の出力プログレッシブ映像データにおいて、同一のフレーム画像A(C,…)が2フレーム連続する場合と、同一のフレーム画像B(D,…)が3フレーム連続する場合とが、交互に続くため、フィルムソースではないビデオソースのプログレッシブ映像データと比較すると、動画の動きが滑らかに見えずに、ガタガタした動きに見えてしまう。この現象(ガタガタ感)は、特に、画像中の対象物が比較的ゆっくり動くとき、その対象物につき顕著に現れる。
【0025】
そこで、この発明は、一つに、動画の動きが滑らかに見えるようにプログレッシブ変換することを目的とする。
【0026】
また、上述した従来のシーケンス検出方法では、2−3プルダウン後のインターレース映像データの各フィールドにつき、画素値のヒストグラムを生成して、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者のヒストグラムが近似するか否かを判別するので、シーケンス検出装置として、図10に示したように、それぞれ220レベル分というような多数の、一致検出回路61、カウンタ62、1段目のラッチ回路63、2段目のラッチ回路64および3段目のラッチ回路65を必要とし、回路規模が著しく大きくなる。
【0027】
そのため、一部の検出レベルを省略して、検出レベル数を削減し、または検出レベルをゾーン化して、画素値をゾーンごとに検出することも考えられるが、そうすると、有効画面領域全体が黒、白、グレーなどで輝度変化のない場合などには、シーケンスの検出が難しくなる。
【0028】
そこで、この発明は、一つに、小規模の回路によって確実に、原プログレッシブ映像データが変換されて得られたインターレース映像データのシーケンスを検出できるようにすることを目的とする。
【0029】
【課題を解決するための手段】
この発明のプログレッシブ変換方法は、
原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データを、そのフィールド周波数と等しいフレーム周波数の出力プログレッシブ映像データに変換する方法において、
出力プログレッシブ映像データの連続する5フレームを一巡周期として、その1番目のフレームでは、前記原プログレッシブ映像データの第1フレーム画像を当該フレームの画像とし、2番目および3番目のフレームの少なくとも一方では、前記原プログレッシブ映像データの第1フレーム画像と第2フレーム画像を合成した画像を当該フレームの画像とし、4番目のフレームでは、前記原プログレッシブ映像データの第2フレーム画像を当該フレームの画像とし、5番目のフレームでは、前記原プログレッシブ映像データの第2フレーム画像とその直後の第1フレーム画像を合成した画像を当該フレームの画像とする。
【0030】
この発明のシーケンス検出方法は、
原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データの各フィールドの、前記一巡周期内における順位を検出する方法において、
前記インターレース映像データの時系列上で隣接する画素の間の画素値の差分を各画素ごとに検出する工程と、
その検出した差分が所定値に等しい画素の数を1フィールドに渡って積算する工程と、
その積算した画素数が、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で近似するか否かを判別する工程と、
を備えるものとする。
【0031】
上記のプログレッシブ変換方法では、変換後の出力プログレッシブ映像データは、動画の動きが滑らかに見えるものとなる。
【0032】
上記のシーケンス検出方法では、小規模の回路によって確実に、原プログレッシブ映像データが変換されて得られたインターレース映像データのシーケンスを検出することができる。
【0033】
【発明の実施の形態】
〔プログレッシブ変換方法の実施形態:図1および図2〕
図1は、この発明のプログレッシブ変換方法の一実施形態を示す。
【0034】
同図の「フィルムソースの原プログレッシブ映像データ」は、フィルムに記録された映画の画像の、DVDなどの記録媒体に記録された、またはデジタル放送などによって伝送された、フレーム周波数が24Hz、1フレームのライン(走査線)数が、例えば525本の、プログレッシブ映像データを模式的に示したもので、画像A,B,C,D,Eは、それぞれ1フレーム(ひとコマ)の画像を示す。
【0035】
このフレーム周波数が24Hzの原プログレッシブ映像データを、2−3プルダウンによって、フィールド周波数が60Hzのインターレース映像データに変換する。その方法は、図8(A)に示して上述したとおりで、インターレース映像データ中の画像Ao,Bo,Co,Do,Eoは、それぞれ原プログレッシブ映像データのフレーム画像A,B,C,D,Eから抽出された奇数フィールド画像を示し、インターレース映像データ中の画像Ae,Be,Ce,Deは、それぞれ原プログレッシブ映像データのフレーム画像A,B,C,Dから抽出された偶数フィールド画像を示す。
【0036】
2−3プルダウン後のインターレース映像データには、奇数フィールドと偶数フィールドを区別するフィールド識別情報が挿入される。
【0037】
このフィールド周波数が60Hzのインターレース映像データを、図8(C)に示した方法によって、フレーム周波数が60Hzのプログレッシブ映像データに変換する。具体的に、インターレース映像データの奇数フィールド画像Aoと偶数フィールド画像Aeを合成して、逆変換後のプログレッシブ映像データのフレーム画像Aを2フレームに渡って生成し、インターレース映像データの奇数フィールド画像Boと偶数フィールド画像Beを合成して、逆変換後のプログレッシブ映像データのフレーム画像Bを3フレームに渡って生成する、という操作を繰り返す。
【0038】
さらに、この発明では、この逆変換後のフレーム周波数が60Hzのプログレッシブ映像データを、補間処理することによって、フレーム周波数が60Hzの出力プログレッシブ映像データを得る。補間方法としては、以下の第1〜第5の方法などを用いる。
【0039】
第1の方法では、映像データSaとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームおよび第3フレームでは、それぞれ、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0040】
第2の方法では、映像データSbとして示すように、出力プログレッシブ映像データの第1フレームおよび第2フレームでは、それぞれ、逆変換後のプログレッシブ映像データの第1フレームおよび第2フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第3フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0041】
第3の方法では、映像データScとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第3フレームおよび第4フレームでは、それぞれ、逆変換後のプログレッシブ映像データの第3フレームおよび第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0042】
第4の方法では、映像データSdとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第3フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/4):(3/4)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0043】
第5の方法では、映像データSeとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(2/3):(1/3)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第3フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/3):(2/3)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0044】
図2に、第1および第5の方法につき、補間処理後の出力プログレッシブ映像データのフレーム順位に対する画像変化の様子を示す。(A+B)/2で表される画像は、画像Aと画像Bのちょうど中間の画像であり、(2A+B)/3で表される画像は、(A+B)/2で表される画像より画像Aに近く、(A+2B)/3で表される画像は、(A+B)/2で表される画像より画像Bに近く、(A+3B)/4で表される画像は、(A+2B)/3で表される画像より画像Bに近い。
【0045】
破線の折れ線Laは、第1の方法による出力プログレッシブ映像データSaの画像変化の様子を示し、実線の折れ線Leは、第5の方法による出力プログレッシブ映像データSeの画像変化の様子を示す。
【0046】
基本的には、いずれの補間方法でもよい。ただし、5フレームの一巡周期内において、第1の方法では2,3番目のフレームで、第2の方法では1,2番目のフレームで、第3の方法では3,4番目のフレームで、それぞれ同一内容のフレーム画像が2フレーム連続するが、第1、第2、第3の方法の間では、第3の方法が、逆変換後のプログレッシブ映像データの同一画像が連続する3フレーム中の2フレームのフレーム画像がそのまま残る点で、望ましい。
【0047】
さらに、第4および第5の方法では、5フレームの一巡周期中の、前半の2フレームおよび後半の3フレームで、それぞれ1フレームずつ、逆変換後のプログレッシブ映像データのフレーム画像がそのまま抽出され、2番目のフレームでは、逆変換後のプログレッシブ映像データの2フレームセットのフレーム画像と3フレームセットのフレーム画像とが合成されたフレーム画像が得られ、3番目のフレームでは、逆変換後のプログレッシブ映像データの2フレームセットのフレーム画像と3フレームセットのフレーム画像とが、2番目のフレームより3フレームセットのフレーム画像の比重が高い比率で合成されたフレーム画像が得られるので、第4および第5の方法は、第3の方法より望ましい。
【0048】
第4および第5の方法の間では、動画の動きが、より滑らかに見えるようになる点では、第5の方法の方が第4の方法より望ましい。
【0049】
ただし、補間方法および補間係数(合成比率)は、あらかじめ一律に定めず、適応化プログレッシブ変換方法(適応化補間方法)として後述するように、画像の動きに応じて選択されるようにしてもよい。
【0050】
なお、上述したように、2−3プルダウン後のインターレース映像データをプログレッシブ映像データに逆変換した上で、その逆変換後のプログレッシブ映像データを補間処理して出力プログレッシブ映像データを得る代わりに、後述のように、2−3プルダウン後のインターレース映像データをプログレッシブ映像データに逆変換する過程で、補間処理を行って、プログレッシブ変換され、かつ補間処理された出力プログレッシブ映像データを得るように構成することもできる。
【0051】
〔システムの実施形態:図3〕
図3は、上述したような、この発明のプログレッシブ変換方法を実行するシステムの一例を示す。
【0052】
この例は、DVD再生装置の場合で、ディスク(DVD)1には、上述したフィルムソースのフレーム周波数が24Hzの原プログレッシブ映像データが記録されている。具体的には、MPEG2方式で圧縮符号化された映像データおよび音声データが多重化され、変調されて、ディスク1に記録されている。
【0053】
ディスク1は、駆動モータ2によって回転駆動され、ディスク1からは、光ピックアップ3によってデータが読み取られる。その読み取られたデータは、RFアンプ4を通じて取り出され、復調部5で復調され、ECC(Error Correcting Code)デコーダ6で誤り訂正された後、バッファ7に書き込まれ、バッファ7から連続的に読み出される。
【0054】
バッファ7の出力の多重化データは、デマルチプレクサ8で、圧縮符号化された映像データと圧縮符号化された音声データとに分離される。その圧縮符号化された映像データは、映像デコーダ11で伸長復号されて、映像デコーダ11からフィルムソースのフレーム周波数が24Hzの原プログレッシブ映像データが出力される。
【0055】
そのフレーム周波数が24Hzの原プログレッシブ映像データは、2−3プルダウン変換部12で、図1に示したような2−3プルダウンによって、フィールド周波数が60Hzのインターレース映像データに変換され、さらに、そのインターレース映像データが、プログレッシブ変換部13で、後述のように、図1の映像データSa,Sb,Sc,SdまたはSeで示したようなフレーム周波数が60Hzの補間処理された出力プログレッシブ映像データに変換される。
【0056】
その変換後の出力プログレッシブ映像データは、デジタル映像データのまま、デジタル/アナログ変換器を備えるモニタ表示装置に出力され、または当該DVD再生装置内でアナログ映像信号に変換されて、モニタ表示装置に出力される。
【0057】
デマルチプレクサ8で分離された圧縮符号化された音声データは、音声デコーダ14で伸長復号される。伸長復号後の音声データは、デジタル音声データのまま、デジタル/アナログ変換器を備える音声出力装置に出力され、または当該DVD再生装置内でアナログ音声信号に変換されて、音声出力装置に出力される。
【0058】
コントローラ9は、CPUおよびROMやRAMなどのメモリを有し、DVD再生装置の各部を制御するものである。
【0059】
〔プログレッシブ変換装置の実施形態:図4〕
図4は、この発明のプログレッシブ変換装置の一実施形態を示し、図3に示したプログレッシブ変換部13として構成される場合である。
【0060】
このプログレッシブ変換部13では、図3に示した2−3プルダウン変換部12からの2−3プルダウン後のフィールド周波数が60Hzのインターレース映像データVinが、フレーム周波数が60Hzのプログレッシブ映像データに変換される過程で、補間処理が実行されて、プログレッシブ変換され、かつ補間処理された出力プログレッシブ映像データVoutが得られる。
【0061】
インターレース映像データVinは、例えば、ITU−R勧告BT.656に準拠した、それぞれ8ビット長の輝度データYおよび色差データCb,Crに、水平同期信号、垂直同期信号およびフィールド識別情報が付加されたものである。
【0062】
このインターレース映像データVinは、フレームメモリ21および22に供給され、後述のように、フレームメモリ21および22に、それぞれフレーム画像の映像データが書き込まれ、フレームメモリ21および22から、それぞれフレーム画像の映像データが読み出される。
【0063】
フレームメモリ21および22からのフレーム画像の映像データは、3次元補間回路23で合成され、マルチプレクサ24で、フレームメモリ21もしくは22、または3次元補間回路23からのフレーム画像の映像データが選択される。
【0064】
インターレース映像データVinは、同期信号検出回路31に供給され、同期信号検出回路31で、水平同期信号、垂直同期信号およびフィールド識別情報が抽出される。
【0065】
また、インターレース映像データVin中の輝度データY、および同期信号検出回路31で抽出された水平同期信号、垂直同期信号およびフィールド識別情報が、シーケンス検出部32に供給され、シーケンス検出部32で、インターレース映像データVinのシーケンスが検出される。
【0066】
図5(A)に示すように、インターレース映像データVinは、ある連続する5フィールドの期間To内では、1,3,5番目のフィールドf1,f3,f5が奇数フィールド、2,4番目のフィールドf2,f4が偶数フィールドとなり、これに続く連続する5フィールドの期間Te内では、1,3,5番目のフィールドf1,f3,f5が偶数フィールド、2,4番目のフィールドf2,f4が奇数フィールドとなるが、期間To,Teのいずれにおいても、フィールドf3とフィールドf5が同一内容および同一フィールド種別となり、期間ToおよびTeを一巡周期とする。
【0067】
具体的な方法は後述するが、シーケンス検出部32では、このインターレース映像データVinの、その時々のフィールドが、一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかが、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかが、判別される。
【0068】
このシーケンス検出部32の検出結果、および同期信号検出回路31で抽出された水平同期信号、垂直同期信号およびフィールド識別情報が、メモリコントローラ33に供給され、メモリコントローラ33によって、フレームメモリ21および22のアドレスおよび書き込み/読み出しが制御される。
【0069】
さらに、シーケンス検出部32の検出結果に応じて、3次元補間回路23におけるフレームメモリ21および22からのフレーム画像の映像データの合成比率(補間係数)、およびマルチプレクサ24での選択が制御される。
【0070】
また、同期信号検出回路31で抽出された水平同期信号、垂直同期信号およびフィールド識別情報が、プログレッシブ用の同期信号発生回路34に供給され、同期信号発生回路34から、プログレッシブ同期信号SYが得られる。
【0071】
上記の構成のプログレッシブ変換部13では、図5(A)に示すようなインターレース映像データVinの期間To内のフィールドf1,f2の映像データがフレームメモリ21に書き込まれ、期間To内のフィールドf3,f4の映像データがフレームメモリ22に書き込まれ、期間To内のフィールドf5および期間Te内のフィールドf1の映像データがフレームメモリ21に書き込まれ、期間Te内のフィールドf2,f3の映像データがフレームメモリ22に書き込まれ、期間Te内のフィールドf4,f5の映像データがフレームメモリ21に書き込まれる、というように、インターレース映像データVinの隣接する奇数フィールド画像および偶数フィールド画像からなるフレーム画像が順次、フレームメモリ21,22上に交互に展開される。
【0072】
その過程で、フレームメモリ21および22から、これに展開されたフレーム画像の映像データが読み出され、マルチプレクサ24から、出力プログレッシブ映像データVoutとして、図1に示したような補間処理後の出力プログレッシブ映像データSa,Sb,Sc,SdまたはSeが得られる。
【0073】
〔シーケンス検出の方法および装置の実施形態:図5および図6〕
上述したように、図4に示したシーケンス検出部32では、2−3プルダウン後のインターレース映像データVinのシーケンスが検出される。
【0074】
この発明では、そのシーケンス検出方法として、インターレース映像データVin中の、例えば、図5(B)に示すような輝度データYの値を画素値として、時系列上で隣接する画素の間の画素値(輝度データ値)の差分を、各画素ごとに検出して、差分が所定値となる画素の数を、フィールド画像全体に渡って積算し、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者の積算された画素数が近似するか否かを判別する。ただし、図5(B)は、輝度データYを、水平同期信号HSとともに、便宜的にアナログ波形で示したものである。
【0075】
そして、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者の積算された画素数が近似するとき、その2つのフィールドは、上記のフィールドf3およびf5であると判断する。
【0076】
図6に、この発明のシーケンス検出装置の一実施形態を示し、図4に示したシーケンス検出部32として構成される場合である。
【0077】
このシーケンス検出部32では、インターレース映像データVin中の輝度データYが、画素クロックによって、ラッチ回路51にラッチされ、さらに、ラッチ回路51の出力値が、画素クロックによって、ラッチ回路52にラッチされ、差分検出回路53で、ラッチ回路52の出力値とラッチ回路51の出力値との差分の絶対値、すなわち隣接する画素の間の画素値(輝度データ値)の差分が検出される。
【0078】
そして、一致検出回路54で、その差分が基準値Drefと比較されて、差分が基準値Drefと等しいとき、一致検出回路54からカウンタ55に、カウントイネーブル信号が供給される。輝度データYが8ビット長の場合、基準値Drefは、例えば、10h〜EBhのうちの適切な値に選定される。
【0079】
カウンタ55は、カウントイネーブル信号が供給されることによって、画素クロックをカウントアップする。カウンタ55の出力値は、垂直同期ラッチ信号によって、ラッチ回路56にラッチされ、カウンタ55は、垂直同期ラッチ信号の直後の垂直同期リセット信号によってリセットされる。
【0080】
したがって、カウンタ55からラッチ回路56には、隣接する画素の間の画素値(輝度データ値)の差分が基準値Drefと等しくなる画素の、1フィールド全体に渡る積算数がラッチされる。
【0081】
ラッチ回路56の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路57にラッチされ、さらに、ラッチ回路57の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路58にラッチされる。
【0082】
そして、比較回路59で、1段目のラッチ回路56の出力値Naと3段目のラッチ回路58の出力値Nbとが比較されて、比較回路59の出力として、出力値Naと出力値Nbが一定範囲内で近似するときには高レベルとなり、出力値Naと出力値Nbが近似しないときには低レベルとなる検出信号Sdtが得られる。
【0083】
検出信号Sdtが高レベルとなるのは、ラッチ回路56にラッチされている、あるフィールドfnの積算数Naと、ラッチ回路58にラッチされている、そのフィールドfnに対してフィールド前のフィールドf(n−2)の積算数Nbとが近似している場合であり、フィールドfnが上記のフィールドf5、フィールドf(n−2)が上記のフィールドf3である場合である。
【0084】
したがって、検出信号Sdtが高レベルとなった時からの時間差(フィールド数)、および上記のフィールド識別情報によって、2−3プルダウン後のインターレース映像データVinの、その時々のフィールドが、上記の一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかを、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかを、判別することができる。
【0085】
しかも、このシーケンス検出方法によれば、図9および図10に示した従来のシーケンス検出方法に比べて、シーケンス検出回路を著しく簡略化し、回路規模を著しく縮小することができる。
【0086】
なお、画素値としては、色差データCbまたはCr、または輝度データYと色差データCb,Crとを合わせたものを用いることもできる。
【0087】
〔適応化プログレッシブ変換(適応化補間)の実施形態:図7〕
図1で上述したような、この発明のプログレッシブ変換方法では、さらに、画像の動きに応じて補間方法および補間係数を選択すると、より好適である。
【0088】
図7は、この場合のプログレッシブ変換装置の一実施形態を示し、2−3プルダウン後のフィールド周波数が60Hzのインターレース映像データVinは、例えば、それぞれ8ビット長の輝度データYおよび色差データCb,Crに、水平同期信号HS、垂直同期信号VSおよびフィールド識別情報FIDが付加されたものである。
【0089】
このインターレース映像データVinは、フレームメモリ21および22に供給され、図4の実施形態と同様に、フレームメモリ21および22に、それぞれフレーム画像の映像データが書き込まれ、フレームメモリ21および22から、それぞれフレーム画像の映像データが読み出される。
【0090】
また、フレームメモリ21および22からの画像データは、後述のように、3次元補間回路25,26,27で、互いに異なる補間係数(合成比率)で合成され、マルチプレクサ24で、フレームメモリ21もしくは22、または3次元補間回路25,26もしくは27からの画像データが選択される。
【0091】
一方、インターレース映像データVin中の輝度データY、および上記の水平同期信号HS、垂直同期信号VSおよびフィールド識別情報FIDが、シーケンス検出部32に供給され、シーケンス検出部32で、図5および図6に示して上述したように、インターレース映像データVinのシーケンスが検出される。
【0092】
このシーケンス検出部32の検出結果、および上記の水平同期信号HS、垂直同期信号VSおよびフィールド識別情報FIDが、タイミングコントローラ35に供給され、タイミングコントローラ35から、内部制御信号が得られる。
【0093】
この内部制御信号は、メモリコントローラ33およびプログレッシブ用の同期信号発生回路34に供給され、メモリコントローラ33から、フレームメモリ21および22のアドレスおよび書き込み/読み出しの制御信号が得られるとともに、同期信号発生回路34から、プログレッシブ同期信号SYが得られる。
【0094】
フレームメモリ21および22は、ある一つおきのフレーム期間では、フレームメモリ21に展開されたフレーム画像が基準画像、フレームメモリ22に展開されたフレーム画像が参照画像とされ、他の一つおきのフレーム期間では、フレームメモリ22に展開されたフレーム画像が基準画像、フレームメモリ21に展開されたフレーム画像が参照画像とされるように、それぞれの機能がフレーム単位でトグル状に変化する。時系列上では、基準画像が現在のフレームを示し、参照画像が過去のフレームを示す。
【0095】
そして、フレームメモリ21および22から動き検出部51に、それぞれ検出領域の画像データが読み出され、動き検出部51において、その検出領域の画像データから、原プログレッシブ映像データの隣接するフレーム画像の間の動き(差分)が、動きベクトルとして検出される。
【0096】
具体的に、検出領域の画像データとしては、画像の輪郭成分が抽出され、動き検出部51では、その輪郭成分によるパターンマッチングによって、輪郭成分の移動方向および移動量が検出される。
【0097】
この方法によれば、パターンマッチング時に処理するデータ量が少なく、したがって、動き検出部51内のラインメモリのメモリ容量を少なくし、論理回路の規模を小さくすることができる。
【0098】
検出対象の動きパターンとしては、パン、ズームイン、ズームアウト、回転などの全体移動、特定のオブジェクトの移動、シーンチェンジ、背景のざわめきなどがある。
【0099】
動き検出部51の検出結果の動きベクトルは、読み出しアドレスのオフセット情報として、メモリコントローラ33に供給され、これによって、基準画像(現在のフレーム)の動オブジェクトの推定される移動先周辺の画像データ、および参照画像(過去のフレーム)の動オブジェクトの移動元周辺の画像データが、フレームメモリ21および22から読み出されて、正当性評価判定部52に供給される。
【0100】
また、動き検出部51では、検出結果の動きベクトルから、画像の水平垂直方向の輪郭、輪郭交点、輪郭端点、輪郭変節点などが、画像特徴点の属性として検出され、正当性評価判定部52に供給される。
【0101】
正当性評価判定部52では、フレームメモリ21または22から読み出された基準画像(現在のフレーム)の動オブジェクトの推定される移動先周辺の画像データと、フレームメモリ22または21から読み出された参照画像(過去のフレーム)の動オブジェクトの移動元周辺の画像データとが比較されて、動き検出部51の検出結果の正当性が評価(検証)され、両者の画像データが、ある範囲内で近似していれば、検出結果が正当と判定される。
【0102】
ただし、正当性の評価判定に当たっては、上記の特徴点の属性とともに、履歴テーブル53に記録されている過去の判定結果が参照され、例えば、前の画素につき正当であると判定されていた場合には、当該画素についての動きベクトルが正当であると評価する範囲が広くされ、逆に前の画素につき正当ではないと判定されていた場合には、当該画素についての動きベクトルが正当であると評価する範囲が狭くされる。
【0103】
正当性の評価判定に当たっては、そのほか、過去の1〜数フレームにおける補間処理の有無および種別(3次元補間回路25〜27のいずれによる補間であるか)などが参照される。
【0104】
そのため、そのときの判定結果、判定結果による補間処理の有無および種別、および動きベクトルなどが、画素単位または任意サイズのブロック単位で、履歴テーブル53に保存される。また、シーンチェンジなどによって画像の内容が大幅に変わった場合には、履歴テーブル53の内容がクリアされる。
【0105】
そして、正当性評価判定部52での判定結果に基づいて、3次元補間回路25〜27における補間係数が決定され、補間画像のデータとして3次元補間回路25〜27のいずれの出力データが選択されるかが決定される。
【0106】
具体的に、検出された動き量がゼロまたは補償を行う必要がない程度に微小である場合には、補間画像のデータとして、3次元補間回路25の出力データが選択される。また、検出された動き量が補償を要する程度に大きい場合には、補間画像のデータとして、動き量に応じて3次元補間回路26または27の出力データが選択される。
【0107】
以上は、入力の映像データVinが、フィルムソースのフレーム周波数が24Hzの原プログレッシブ映像データから2−3プルダウンによってフィールド周波数が60Hzのインターレース映像データに変換されたものである場合であるが、入力の映像データVinが、フィルムソースではないビデオソースまたは静止画のフィールド周波数が60Hzのインターレース映像データである場合にも、動オブジェクトの動きを滑らかにするような補間処理を行うことができる。
【0108】
この場合、シーケンス検出部32で図5(A)に示したようなシーケンスが検出されなければ、入力の映像データVinは、フィルムソースではないビデオソースまたは静止画のインターレース映像データである。
【0109】
この場合、動き検出部51では、隣接するフィールド種別が異なる2つのフィールドの間、または間に1フィールド置いた同一フィールド種別の2つのフィールドの間での動きが検出される。
【0110】
そして、その動き量がゼロまたは補償を行う必要がない程度に微小である場合には、動きが小さい場合の静的な補間方式として、3次元補間回路25でフィールド間またはフレーム間の補間が実行されて、その補間出力の画像データが選択される。
【0111】
また、フィールド間で輪郭線の不連続が検出された場合(フィールド間の動き量が大きい場合)には、例えば、静的な補間方法として、3次元補間回路26で可変フィルタ係数方式による斜め補間が実行されて、その補間出力の画像データが選択され、または動的な補間方法として、3次元補間回路27で輪郭線移動による斜め補間が実行されて、その補間出力の画像データが選択される。
【0112】
【発明の効果】
上述したように、この発明のプログレッシブ変換方法によれば、動画の動きが滑らかに見えるようにプログレッシブ変換することができる。
【0113】
また、この発明のシーケンス検出方法によれば、小規模の回路によって確実に、原プログレッシブ映像データが変換されて得られたインターレース映像データのシーケンスを検出することができる。
【図面の簡単な説明】
【図1】この発明のプログレッシブ変換方法の一実施形態を示す図である。
【図2】図1のプログレッシブ変換方法による出力プログレッシブ映像データのフレーム順位に対する画像変化の様子を示す図である。
【図3】この発明のプログレッシブ変換方法を実行するシステムの一例としてのDVD再生装置を示す図である。
【図4】この発明のプログレッシブ変換装置の一実施形態を示す図である。
【図5】この発明のシーケンス検出方法の説明に供する図である。
【図6】この発明のシーケンス検出装置の一実施形態を示す図である。
【図7】この発明の適応化プログレッシブ変換装置の一実施形態を示す図である。
【図8】2−3プルダウンおよび逆変換の説明に供する図である。
【図9】従来のシーケンス検出方法の説明に供する図である。
【図10】従来のシーケンス検出装置を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
【発明の属する技術分野】
この発明は、フィルムソースなどの原プログレッシブ映像データが変換されて得られたインターレース映像データを、原プログレッシブ映像データのフレーム周波数より高いフレーム周波数の出力プログレッシブ映像データに変換する方法および装置、および、そのプログレッシブ変換などに用いられる、インターレース映像データのシーケンスを検出する方法および装置に関する。
【0002】
【従来の技術】
フィルムに記録された映画の画像を、DVD(Digital Versatile Disc)などの記録媒体に記録し、またはデジタル放送などによって伝送する場合、毎秒24コマの映画の画像を、フレーム周波数が24Hz、1フレームのライン(走査線)数が、例えば525本の、プログレッシブ映像データとして、記録媒体に記録し、または伝送する。
【0003】
図8(A)の「フィルムソースの原プログレッシブ映像データ」は、これを模式的に示したもので、画像A,B,C,Dは、それぞれ1フレーム(ひとコマ)の画像を示す。
【0004】
DVDプレーヤなどの再生装置や、デジタル放送受信機などの受信装置では、テレシネ変換装置や、MPEGデコーダなどにおいて、いわゆる2−3プルダウンによって、このフレーム周波数が24Hzの原プログレッシブ映像データを、フィールド周波数が60Hzのインターレース映像データに変換する。
【0005】
具体的に、図8(A)に示すように、原プログレッシブ映像データのフレーム画像Aの、奇数ラインを奇数フィールド画像Aoとして、偶数ラインを偶数フィールド画像Aeとして、順次抽出し、原プログレッシブ映像データのフレーム画像Bの、奇数ラインを奇数フィールド画像Boとして、偶数ラインを偶数フィールド画像Beとして、さらに再度、奇数ラインを奇数フィールド画像Boとして、順次抽出し、原プログレッシブ映像データのフレーム画像Cの、偶数ラインを偶数フィールド画像Ceとして、奇数ラインを奇数フィールド画像Coとして、順次抽出し、原プログレッシブ映像データのフレーム画像Dの、偶数ラインを偶数フィールド画像Deとして、奇数ラインを奇数フィールド画像Doとして、さらに再度、偶数ラインを偶数フィールド画像Deとして、順次抽出する。
【0006】
さらに、この映像をプログレッシブ表示する場合には、上記のように得られたフィールド周波数が60Hzのインターレース映像データを、フレーム周波数が60Hzのプログレッシブ映像データに変換するが、その逆変換の方法としては、2つの方法が考えられている。
【0007】
第1の方法では、図8(B)に示すように、インターレース映像データの同一のフィールド画像を2度に渡って読み取り、インターレース映像データの隣接する奇数フィールド画像と偶数フィールド画像を単純に合成して、出力プログレッシブ映像データのフレーム画像を生成する。
【0008】
しかし、この方法では、出力プログレッシブ映像データ中に、フレーム画像AB,BC,CDとして示すように、原プログレッシブ映像データの異なる(隣接する)フレーム画像を合成したフレーム画像が一定周期で出現し、シーンチェンジ時や、動きの激しいシーンでは、絵柄の全く異なるフレーム画像が同一フレームに合成されるため、出力プログレッシブ映像データは視聴感の劣る映像となってしまう。そのため、この方法は現在、ほとんど用いられていない。
【0009】
逆変換の第2の方法では、図8(C)に示すように、インターレース映像データの奇数フィールド画像Aoと偶数フィールド画像Aeを合成して、出力プログレッシブ映像データのフレーム画像Aを2フレームに渡って生成し、インターレース映像データの奇数フィールド画像Boと偶数フィールド画像Beを合成して、出力プログレッシブ映像データのフレーム画像Bを3フレームに渡って生成する、という操作を繰り返す。
【0010】
現在市販されているDVDプレーヤなどの再生装置、またはプロジェクタやプラズマディスプレイパネルなどのプログレッシブ変換装置では、この方法が用いられている。
【0011】
この方法のプログレッシブ変換(逆変換)を行うには、2−3プルダウン後のインターレース映像データのシーケンスを検出する必要がある。
【0012】
図9(A)に示すように、2−3プルダウン後のインターレース映像データは、ある連続する5フィールドの期間To内では、1,3,5番目のフィールドf1,f3,f5が奇数フィールド、2,4番目のフィールドf2,f4が偶数フィールドとなり、これに続く連続する5フィールドの期間Te内では、1,3,5番目のフィールドf1,f3,f5が偶数フィールド、2,4番目のフィールドf2,f4が奇数フィールドとなるが、期間To,Teのいずれにおいても、フィールドf3とフィールドf5が同一内容および同一フィールド種別となり、期間ToおよびTeを一巡周期とする。
【0013】
また、2−3プルダウン後のインターレース映像データには、奇数フィールドと偶数フィールドを区別するフィールド識別情報が挿入される。
【0014】
この場合のシーケンス検出は、この2−3プルダウン後のインターレース映像データの、その時々のフィールドが、一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかを、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかを、判別するものである。
【0015】
そして、従来のシーケンス検出方法では、インターレース映像データの各フィールドにつき、画素値のヒストグラムを生成して、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者のヒストグラムが近似するか否かを判別し、両者のヒストグラムが近似するとき、その2つのフィールドは、上記のフィールドf3およびf5であると判断する。
【0016】
画素値としては、図9(B)に示すような輝度データYを用いる。ただし、図9(B)は、輝度データYを、水平同期信号HSとともに、便宜的にアナログ波形で示したものである。輝度データYが8ビット長の場合、画素値(輝度データ値)のヒストグラムを生成するに当たっては、検出レベルとして、例えば、10h(10進では16)からEBh(10進では235)までの220レベルを用いる。
【0017】
図10は、従来のシーケンス検出装置を示し、インターレース映像データ中の輝度データYが、220レベル分の一致検出回路61で、10h〜EBhの基準値と比較されて、輝度データYが対応する値であるとき、対応する一致検出回路61から対応するカウンタ62に、カウントイネーブル信号が供給される。
【0018】
カウンタ62は、カウントイネーブル信号が供給されることによって、画素クロックをカウントアップする。カウンタ62の出力値は、垂直同期ラッチ信号によって、対応するラッチ回路63にラッチされ、カウンタ62は、垂直同期ラッチ信号の直後の垂直同期リセット信号によってリセットされる。
【0019】
したがって、ラッチ回路63全体として、1フィールド分の画素値(輝度データ値)のヒストグラムが生成される。
【0020】
ラッチ回路63の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路64にラッチされ、さらに、ラッチ回路64の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路65にラッチされる。
【0021】
そして、それぞれの減算回路66で、対応する1段目のラッチ回路63の出力値から、対応する3段目のラッチ回路65の出力値が減算され、それぞれの減算回路66の出力値が、加算回路67で加算され、加算回路67の出力値Daが、比較回路68で、閾値Dthと比較されて、比較回路68の出力として、Da≦Dthのときには高レベルとなり、Da>Dthのときには低レベルとなる検出信号Sdtが得られる。
【0022】
Da≦Dthとなり、検出信号Sdtが高レベルとなるのは、ラッチ回路63全体に展開されている、あるフィールドfnの画素値のヒストグラムと、ラッチ回路65全体に展開されている、そのフィールドfnに対して2フィールド前のフィールドf(n−2)の画素値のヒストグラムとが近似している場合であり、フィールドfnが上記のフィールドf5、フィールドf(n−2)が上記のフィールドf3である場合である。
【0023】
したがって、検出信号Sdtが高レベルとなった時からの時間差(フィールド数)、および上記のフィールド識別情報によって、2−3プルダウン後のインターレース映像データの、その時々のフィールドが、上記の一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかを、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかを、判別することができる。
【0024】
【発明が解決しようとする課題】
しかしながら、図8(C)に示した方法による、インターレース映像データからプログレッシブ映像データへの逆変換では、逆変換後の出力プログレッシブ映像データにおいて、同一のフレーム画像A(C,…)が2フレーム連続する場合と、同一のフレーム画像B(D,…)が3フレーム連続する場合とが、交互に続くため、フィルムソースではないビデオソースのプログレッシブ映像データと比較すると、動画の動きが滑らかに見えずに、ガタガタした動きに見えてしまう。この現象(ガタガタ感)は、特に、画像中の対象物が比較的ゆっくり動くとき、その対象物につき顕著に現れる。
【0025】
そこで、この発明は、一つに、動画の動きが滑らかに見えるようにプログレッシブ変換することを目的とする。
【0026】
また、上述した従来のシーケンス検出方法では、2−3プルダウン後のインターレース映像データの各フィールドにつき、画素値のヒストグラムを生成して、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者のヒストグラムが近似するか否かを判別するので、シーケンス検出装置として、図10に示したように、それぞれ220レベル分というような多数の、一致検出回路61、カウンタ62、1段目のラッチ回路63、2段目のラッチ回路64および3段目のラッチ回路65を必要とし、回路規模が著しく大きくなる。
【0027】
そのため、一部の検出レベルを省略して、検出レベル数を削減し、または検出レベルをゾーン化して、画素値をゾーンごとに検出することも考えられるが、そうすると、有効画面領域全体が黒、白、グレーなどで輝度変化のない場合などには、シーケンスの検出が難しくなる。
【0028】
そこで、この発明は、一つに、小規模の回路によって確実に、原プログレッシブ映像データが変換されて得られたインターレース映像データのシーケンスを検出できるようにすることを目的とする。
【0029】
【課題を解決するための手段】
この発明のプログレッシブ変換方法は、
原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データを、そのフィールド周波数と等しいフレーム周波数の出力プログレッシブ映像データに変換する方法において、
出力プログレッシブ映像データの連続する5フレームを一巡周期として、その1番目のフレームでは、前記原プログレッシブ映像データの第1フレーム画像を当該フレームの画像とし、2番目および3番目のフレームの少なくとも一方では、前記原プログレッシブ映像データの第1フレーム画像と第2フレーム画像を合成した画像を当該フレームの画像とし、4番目のフレームでは、前記原プログレッシブ映像データの第2フレーム画像を当該フレームの画像とし、5番目のフレームでは、前記原プログレッシブ映像データの第2フレーム画像とその直後の第1フレーム画像を合成した画像を当該フレームの画像とする。
【0030】
この発明のシーケンス検出方法は、
原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データの各フィールドの、前記一巡周期内における順位を検出する方法において、
前記インターレース映像データの時系列上で隣接する画素の間の画素値の差分を各画素ごとに検出する工程と、
その検出した差分が所定値に等しい画素の数を1フィールドに渡って積算する工程と、
その積算した画素数が、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で近似するか否かを判別する工程と、
を備えるものとする。
【0031】
上記のプログレッシブ変換方法では、変換後の出力プログレッシブ映像データは、動画の動きが滑らかに見えるものとなる。
【0032】
上記のシーケンス検出方法では、小規模の回路によって確実に、原プログレッシブ映像データが変換されて得られたインターレース映像データのシーケンスを検出することができる。
【0033】
【発明の実施の形態】
〔プログレッシブ変換方法の実施形態:図1および図2〕
図1は、この発明のプログレッシブ変換方法の一実施形態を示す。
【0034】
同図の「フィルムソースの原プログレッシブ映像データ」は、フィルムに記録された映画の画像の、DVDなどの記録媒体に記録された、またはデジタル放送などによって伝送された、フレーム周波数が24Hz、1フレームのライン(走査線)数が、例えば525本の、プログレッシブ映像データを模式的に示したもので、画像A,B,C,D,Eは、それぞれ1フレーム(ひとコマ)の画像を示す。
【0035】
このフレーム周波数が24Hzの原プログレッシブ映像データを、2−3プルダウンによって、フィールド周波数が60Hzのインターレース映像データに変換する。その方法は、図8(A)に示して上述したとおりで、インターレース映像データ中の画像Ao,Bo,Co,Do,Eoは、それぞれ原プログレッシブ映像データのフレーム画像A,B,C,D,Eから抽出された奇数フィールド画像を示し、インターレース映像データ中の画像Ae,Be,Ce,Deは、それぞれ原プログレッシブ映像データのフレーム画像A,B,C,Dから抽出された偶数フィールド画像を示す。
【0036】
2−3プルダウン後のインターレース映像データには、奇数フィールドと偶数フィールドを区別するフィールド識別情報が挿入される。
【0037】
このフィールド周波数が60Hzのインターレース映像データを、図8(C)に示した方法によって、フレーム周波数が60Hzのプログレッシブ映像データに変換する。具体的に、インターレース映像データの奇数フィールド画像Aoと偶数フィールド画像Aeを合成して、逆変換後のプログレッシブ映像データのフレーム画像Aを2フレームに渡って生成し、インターレース映像データの奇数フィールド画像Boと偶数フィールド画像Beを合成して、逆変換後のプログレッシブ映像データのフレーム画像Bを3フレームに渡って生成する、という操作を繰り返す。
【0038】
さらに、この発明では、この逆変換後のフレーム周波数が60Hzのプログレッシブ映像データを、補間処理することによって、フレーム周波数が60Hzの出力プログレッシブ映像データを得る。補間方法としては、以下の第1〜第5の方法などを用いる。
【0039】
第1の方法では、映像データSaとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームおよび第3フレームでは、それぞれ、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0040】
第2の方法では、映像データSbとして示すように、出力プログレッシブ映像データの第1フレームおよび第2フレームでは、それぞれ、逆変換後のプログレッシブ映像データの第1フレームおよび第2フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第3フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0041】
第3の方法では、映像データScとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第3フレームおよび第4フレームでは、それぞれ、逆変換後のプログレッシブ映像データの第3フレームおよび第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0042】
第4の方法では、映像データSdとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第3フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/4):(3/4)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0043】
第5の方法では、映像データSeとして示すように、出力プログレッシブ映像データの第1フレームでは、逆変換後のプログレッシブ映像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第2フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(2/3):(1/3)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第3フレームでは、逆変換後のプログレッシブ映像データの第2フレームの画像Aと第3フレームの画像Bを(1/3):(2/3)の比で合成した画像を、当該フレームの画像とし、出力プログレッシブ映像データの第4フレームでは、逆変換後のプログレッシブ映像データの第4フレームの画像Bを、そのまま当該フレームの画像とし、出力プログレッシブ映像データの第5フレームでは、逆変換後のプログレッシブ映像データの第5フレームの画像Bと第6フレームの画像Cを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下、5フレームを一巡周期として、同様の補間処理を繰り返す。
【0044】
図2に、第1および第5の方法につき、補間処理後の出力プログレッシブ映像データのフレーム順位に対する画像変化の様子を示す。(A+B)/2で表される画像は、画像Aと画像Bのちょうど中間の画像であり、(2A+B)/3で表される画像は、(A+B)/2で表される画像より画像Aに近く、(A+2B)/3で表される画像は、(A+B)/2で表される画像より画像Bに近く、(A+3B)/4で表される画像は、(A+2B)/3で表される画像より画像Bに近い。
【0045】
破線の折れ線Laは、第1の方法による出力プログレッシブ映像データSaの画像変化の様子を示し、実線の折れ線Leは、第5の方法による出力プログレッシブ映像データSeの画像変化の様子を示す。
【0046】
基本的には、いずれの補間方法でもよい。ただし、5フレームの一巡周期内において、第1の方法では2,3番目のフレームで、第2の方法では1,2番目のフレームで、第3の方法では3,4番目のフレームで、それぞれ同一内容のフレーム画像が2フレーム連続するが、第1、第2、第3の方法の間では、第3の方法が、逆変換後のプログレッシブ映像データの同一画像が連続する3フレーム中の2フレームのフレーム画像がそのまま残る点で、望ましい。
【0047】
さらに、第4および第5の方法では、5フレームの一巡周期中の、前半の2フレームおよび後半の3フレームで、それぞれ1フレームずつ、逆変換後のプログレッシブ映像データのフレーム画像がそのまま抽出され、2番目のフレームでは、逆変換後のプログレッシブ映像データの2フレームセットのフレーム画像と3フレームセットのフレーム画像とが合成されたフレーム画像が得られ、3番目のフレームでは、逆変換後のプログレッシブ映像データの2フレームセットのフレーム画像と3フレームセットのフレーム画像とが、2番目のフレームより3フレームセットのフレーム画像の比重が高い比率で合成されたフレーム画像が得られるので、第4および第5の方法は、第3の方法より望ましい。
【0048】
第4および第5の方法の間では、動画の動きが、より滑らかに見えるようになる点では、第5の方法の方が第4の方法より望ましい。
【0049】
ただし、補間方法および補間係数(合成比率)は、あらかじめ一律に定めず、適応化プログレッシブ変換方法(適応化補間方法)として後述するように、画像の動きに応じて選択されるようにしてもよい。
【0050】
なお、上述したように、2−3プルダウン後のインターレース映像データをプログレッシブ映像データに逆変換した上で、その逆変換後のプログレッシブ映像データを補間処理して出力プログレッシブ映像データを得る代わりに、後述のように、2−3プルダウン後のインターレース映像データをプログレッシブ映像データに逆変換する過程で、補間処理を行って、プログレッシブ変換され、かつ補間処理された出力プログレッシブ映像データを得るように構成することもできる。
【0051】
〔システムの実施形態:図3〕
図3は、上述したような、この発明のプログレッシブ変換方法を実行するシステムの一例を示す。
【0052】
この例は、DVD再生装置の場合で、ディスク(DVD)1には、上述したフィルムソースのフレーム周波数が24Hzの原プログレッシブ映像データが記録されている。具体的には、MPEG2方式で圧縮符号化された映像データおよび音声データが多重化され、変調されて、ディスク1に記録されている。
【0053】
ディスク1は、駆動モータ2によって回転駆動され、ディスク1からは、光ピックアップ3によってデータが読み取られる。その読み取られたデータは、RFアンプ4を通じて取り出され、復調部5で復調され、ECC(Error Correcting Code)デコーダ6で誤り訂正された後、バッファ7に書き込まれ、バッファ7から連続的に読み出される。
【0054】
バッファ7の出力の多重化データは、デマルチプレクサ8で、圧縮符号化された映像データと圧縮符号化された音声データとに分離される。その圧縮符号化された映像データは、映像デコーダ11で伸長復号されて、映像デコーダ11からフィルムソースのフレーム周波数が24Hzの原プログレッシブ映像データが出力される。
【0055】
そのフレーム周波数が24Hzの原プログレッシブ映像データは、2−3プルダウン変換部12で、図1に示したような2−3プルダウンによって、フィールド周波数が60Hzのインターレース映像データに変換され、さらに、そのインターレース映像データが、プログレッシブ変換部13で、後述のように、図1の映像データSa,Sb,Sc,SdまたはSeで示したようなフレーム周波数が60Hzの補間処理された出力プログレッシブ映像データに変換される。
【0056】
その変換後の出力プログレッシブ映像データは、デジタル映像データのまま、デジタル/アナログ変換器を備えるモニタ表示装置に出力され、または当該DVD再生装置内でアナログ映像信号に変換されて、モニタ表示装置に出力される。
【0057】
デマルチプレクサ8で分離された圧縮符号化された音声データは、音声デコーダ14で伸長復号される。伸長復号後の音声データは、デジタル音声データのまま、デジタル/アナログ変換器を備える音声出力装置に出力され、または当該DVD再生装置内でアナログ音声信号に変換されて、音声出力装置に出力される。
【0058】
コントローラ9は、CPUおよびROMやRAMなどのメモリを有し、DVD再生装置の各部を制御するものである。
【0059】
〔プログレッシブ変換装置の実施形態:図4〕
図4は、この発明のプログレッシブ変換装置の一実施形態を示し、図3に示したプログレッシブ変換部13として構成される場合である。
【0060】
このプログレッシブ変換部13では、図3に示した2−3プルダウン変換部12からの2−3プルダウン後のフィールド周波数が60Hzのインターレース映像データVinが、フレーム周波数が60Hzのプログレッシブ映像データに変換される過程で、補間処理が実行されて、プログレッシブ変換され、かつ補間処理された出力プログレッシブ映像データVoutが得られる。
【0061】
インターレース映像データVinは、例えば、ITU−R勧告BT.656に準拠した、それぞれ8ビット長の輝度データYおよび色差データCb,Crに、水平同期信号、垂直同期信号およびフィールド識別情報が付加されたものである。
【0062】
このインターレース映像データVinは、フレームメモリ21および22に供給され、後述のように、フレームメモリ21および22に、それぞれフレーム画像の映像データが書き込まれ、フレームメモリ21および22から、それぞれフレーム画像の映像データが読み出される。
【0063】
フレームメモリ21および22からのフレーム画像の映像データは、3次元補間回路23で合成され、マルチプレクサ24で、フレームメモリ21もしくは22、または3次元補間回路23からのフレーム画像の映像データが選択される。
【0064】
インターレース映像データVinは、同期信号検出回路31に供給され、同期信号検出回路31で、水平同期信号、垂直同期信号およびフィールド識別情報が抽出される。
【0065】
また、インターレース映像データVin中の輝度データY、および同期信号検出回路31で抽出された水平同期信号、垂直同期信号およびフィールド識別情報が、シーケンス検出部32に供給され、シーケンス検出部32で、インターレース映像データVinのシーケンスが検出される。
【0066】
図5(A)に示すように、インターレース映像データVinは、ある連続する5フィールドの期間To内では、1,3,5番目のフィールドf1,f3,f5が奇数フィールド、2,4番目のフィールドf2,f4が偶数フィールドとなり、これに続く連続する5フィールドの期間Te内では、1,3,5番目のフィールドf1,f3,f5が偶数フィールド、2,4番目のフィールドf2,f4が奇数フィールドとなるが、期間To,Teのいずれにおいても、フィールドf3とフィールドf5が同一内容および同一フィールド種別となり、期間ToおよびTeを一巡周期とする。
【0067】
具体的な方法は後述するが、シーケンス検出部32では、このインターレース映像データVinの、その時々のフィールドが、一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかが、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかが、判別される。
【0068】
このシーケンス検出部32の検出結果、および同期信号検出回路31で抽出された水平同期信号、垂直同期信号およびフィールド識別情報が、メモリコントローラ33に供給され、メモリコントローラ33によって、フレームメモリ21および22のアドレスおよび書き込み/読み出しが制御される。
【0069】
さらに、シーケンス検出部32の検出結果に応じて、3次元補間回路23におけるフレームメモリ21および22からのフレーム画像の映像データの合成比率(補間係数)、およびマルチプレクサ24での選択が制御される。
【0070】
また、同期信号検出回路31で抽出された水平同期信号、垂直同期信号およびフィールド識別情報が、プログレッシブ用の同期信号発生回路34に供給され、同期信号発生回路34から、プログレッシブ同期信号SYが得られる。
【0071】
上記の構成のプログレッシブ変換部13では、図5(A)に示すようなインターレース映像データVinの期間To内のフィールドf1,f2の映像データがフレームメモリ21に書き込まれ、期間To内のフィールドf3,f4の映像データがフレームメモリ22に書き込まれ、期間To内のフィールドf5および期間Te内のフィールドf1の映像データがフレームメモリ21に書き込まれ、期間Te内のフィールドf2,f3の映像データがフレームメモリ22に書き込まれ、期間Te内のフィールドf4,f5の映像データがフレームメモリ21に書き込まれる、というように、インターレース映像データVinの隣接する奇数フィールド画像および偶数フィールド画像からなるフレーム画像が順次、フレームメモリ21,22上に交互に展開される。
【0072】
その過程で、フレームメモリ21および22から、これに展開されたフレーム画像の映像データが読み出され、マルチプレクサ24から、出力プログレッシブ映像データVoutとして、図1に示したような補間処理後の出力プログレッシブ映像データSa,Sb,Sc,SdまたはSeが得られる。
【0073】
〔シーケンス検出の方法および装置の実施形態:図5および図6〕
上述したように、図4に示したシーケンス検出部32では、2−3プルダウン後のインターレース映像データVinのシーケンスが検出される。
【0074】
この発明では、そのシーケンス検出方法として、インターレース映像データVin中の、例えば、図5(B)に示すような輝度データYの値を画素値として、時系列上で隣接する画素の間の画素値(輝度データ値)の差分を、各画素ごとに検出して、差分が所定値となる画素の数を、フィールド画像全体に渡って積算し、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者の積算された画素数が近似するか否かを判別する。ただし、図5(B)は、輝度データYを、水平同期信号HSとともに、便宜的にアナログ波形で示したものである。
【0075】
そして、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で、両者の積算された画素数が近似するとき、その2つのフィールドは、上記のフィールドf3およびf5であると判断する。
【0076】
図6に、この発明のシーケンス検出装置の一実施形態を示し、図4に示したシーケンス検出部32として構成される場合である。
【0077】
このシーケンス検出部32では、インターレース映像データVin中の輝度データYが、画素クロックによって、ラッチ回路51にラッチされ、さらに、ラッチ回路51の出力値が、画素クロックによって、ラッチ回路52にラッチされ、差分検出回路53で、ラッチ回路52の出力値とラッチ回路51の出力値との差分の絶対値、すなわち隣接する画素の間の画素値(輝度データ値)の差分が検出される。
【0078】
そして、一致検出回路54で、その差分が基準値Drefと比較されて、差分が基準値Drefと等しいとき、一致検出回路54からカウンタ55に、カウントイネーブル信号が供給される。輝度データYが8ビット長の場合、基準値Drefは、例えば、10h〜EBhのうちの適切な値に選定される。
【0079】
カウンタ55は、カウントイネーブル信号が供給されることによって、画素クロックをカウントアップする。カウンタ55の出力値は、垂直同期ラッチ信号によって、ラッチ回路56にラッチされ、カウンタ55は、垂直同期ラッチ信号の直後の垂直同期リセット信号によってリセットされる。
【0080】
したがって、カウンタ55からラッチ回路56には、隣接する画素の間の画素値(輝度データ値)の差分が基準値Drefと等しくなる画素の、1フィールド全体に渡る積算数がラッチされる。
【0081】
ラッチ回路56の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路57にラッチされ、さらに、ラッチ回路57の出力値は、次の垂直同期ラッチ信号によって、次段のラッチ回路58にラッチされる。
【0082】
そして、比較回路59で、1段目のラッチ回路56の出力値Naと3段目のラッチ回路58の出力値Nbとが比較されて、比較回路59の出力として、出力値Naと出力値Nbが一定範囲内で近似するときには高レベルとなり、出力値Naと出力値Nbが近似しないときには低レベルとなる検出信号Sdtが得られる。
【0083】
検出信号Sdtが高レベルとなるのは、ラッチ回路56にラッチされている、あるフィールドfnの積算数Naと、ラッチ回路58にラッチされている、そのフィールドfnに対してフィールド前のフィールドf(n−2)の積算数Nbとが近似している場合であり、フィールドfnが上記のフィールドf5、フィールドf(n−2)が上記のフィールドf3である場合である。
【0084】
したがって、検出信号Sdtが高レベルとなった時からの時間差(フィールド数)、および上記のフィールド識別情報によって、2−3プルダウン後のインターレース映像データVinの、その時々のフィールドが、上記の一巡周期ToおよびTeのいずれに属し、かつフィールドf1〜f5のいずれであるかを、すなわち、一巡周期To内のフィールドf1から一巡周期Te内のフィールドf5までの10フィールド中のいずれであるかを、判別することができる。
【0085】
しかも、このシーケンス検出方法によれば、図9および図10に示した従来のシーケンス検出方法に比べて、シーケンス検出回路を著しく簡略化し、回路規模を著しく縮小することができる。
【0086】
なお、画素値としては、色差データCbまたはCr、または輝度データYと色差データCb,Crとを合わせたものを用いることもできる。
【0087】
〔適応化プログレッシブ変換(適応化補間)の実施形態:図7〕
図1で上述したような、この発明のプログレッシブ変換方法では、さらに、画像の動きに応じて補間方法および補間係数を選択すると、より好適である。
【0088】
図7は、この場合のプログレッシブ変換装置の一実施形態を示し、2−3プルダウン後のフィールド周波数が60Hzのインターレース映像データVinは、例えば、それぞれ8ビット長の輝度データYおよび色差データCb,Crに、水平同期信号HS、垂直同期信号VSおよびフィールド識別情報FIDが付加されたものである。
【0089】
このインターレース映像データVinは、フレームメモリ21および22に供給され、図4の実施形態と同様に、フレームメモリ21および22に、それぞれフレーム画像の映像データが書き込まれ、フレームメモリ21および22から、それぞれフレーム画像の映像データが読み出される。
【0090】
また、フレームメモリ21および22からの画像データは、後述のように、3次元補間回路25,26,27で、互いに異なる補間係数(合成比率)で合成され、マルチプレクサ24で、フレームメモリ21もしくは22、または3次元補間回路25,26もしくは27からの画像データが選択される。
【0091】
一方、インターレース映像データVin中の輝度データY、および上記の水平同期信号HS、垂直同期信号VSおよびフィールド識別情報FIDが、シーケンス検出部32に供給され、シーケンス検出部32で、図5および図6に示して上述したように、インターレース映像データVinのシーケンスが検出される。
【0092】
このシーケンス検出部32の検出結果、および上記の水平同期信号HS、垂直同期信号VSおよびフィールド識別情報FIDが、タイミングコントローラ35に供給され、タイミングコントローラ35から、内部制御信号が得られる。
【0093】
この内部制御信号は、メモリコントローラ33およびプログレッシブ用の同期信号発生回路34に供給され、メモリコントローラ33から、フレームメモリ21および22のアドレスおよび書き込み/読み出しの制御信号が得られるとともに、同期信号発生回路34から、プログレッシブ同期信号SYが得られる。
【0094】
フレームメモリ21および22は、ある一つおきのフレーム期間では、フレームメモリ21に展開されたフレーム画像が基準画像、フレームメモリ22に展開されたフレーム画像が参照画像とされ、他の一つおきのフレーム期間では、フレームメモリ22に展開されたフレーム画像が基準画像、フレームメモリ21に展開されたフレーム画像が参照画像とされるように、それぞれの機能がフレーム単位でトグル状に変化する。時系列上では、基準画像が現在のフレームを示し、参照画像が過去のフレームを示す。
【0095】
そして、フレームメモリ21および22から動き検出部51に、それぞれ検出領域の画像データが読み出され、動き検出部51において、その検出領域の画像データから、原プログレッシブ映像データの隣接するフレーム画像の間の動き(差分)が、動きベクトルとして検出される。
【0096】
具体的に、検出領域の画像データとしては、画像の輪郭成分が抽出され、動き検出部51では、その輪郭成分によるパターンマッチングによって、輪郭成分の移動方向および移動量が検出される。
【0097】
この方法によれば、パターンマッチング時に処理するデータ量が少なく、したがって、動き検出部51内のラインメモリのメモリ容量を少なくし、論理回路の規模を小さくすることができる。
【0098】
検出対象の動きパターンとしては、パン、ズームイン、ズームアウト、回転などの全体移動、特定のオブジェクトの移動、シーンチェンジ、背景のざわめきなどがある。
【0099】
動き検出部51の検出結果の動きベクトルは、読み出しアドレスのオフセット情報として、メモリコントローラ33に供給され、これによって、基準画像(現在のフレーム)の動オブジェクトの推定される移動先周辺の画像データ、および参照画像(過去のフレーム)の動オブジェクトの移動元周辺の画像データが、フレームメモリ21および22から読み出されて、正当性評価判定部52に供給される。
【0100】
また、動き検出部51では、検出結果の動きベクトルから、画像の水平垂直方向の輪郭、輪郭交点、輪郭端点、輪郭変節点などが、画像特徴点の属性として検出され、正当性評価判定部52に供給される。
【0101】
正当性評価判定部52では、フレームメモリ21または22から読み出された基準画像(現在のフレーム)の動オブジェクトの推定される移動先周辺の画像データと、フレームメモリ22または21から読み出された参照画像(過去のフレーム)の動オブジェクトの移動元周辺の画像データとが比較されて、動き検出部51の検出結果の正当性が評価(検証)され、両者の画像データが、ある範囲内で近似していれば、検出結果が正当と判定される。
【0102】
ただし、正当性の評価判定に当たっては、上記の特徴点の属性とともに、履歴テーブル53に記録されている過去の判定結果が参照され、例えば、前の画素につき正当であると判定されていた場合には、当該画素についての動きベクトルが正当であると評価する範囲が広くされ、逆に前の画素につき正当ではないと判定されていた場合には、当該画素についての動きベクトルが正当であると評価する範囲が狭くされる。
【0103】
正当性の評価判定に当たっては、そのほか、過去の1〜数フレームにおける補間処理の有無および種別(3次元補間回路25〜27のいずれによる補間であるか)などが参照される。
【0104】
そのため、そのときの判定結果、判定結果による補間処理の有無および種別、および動きベクトルなどが、画素単位または任意サイズのブロック単位で、履歴テーブル53に保存される。また、シーンチェンジなどによって画像の内容が大幅に変わった場合には、履歴テーブル53の内容がクリアされる。
【0105】
そして、正当性評価判定部52での判定結果に基づいて、3次元補間回路25〜27における補間係数が決定され、補間画像のデータとして3次元補間回路25〜27のいずれの出力データが選択されるかが決定される。
【0106】
具体的に、検出された動き量がゼロまたは補償を行う必要がない程度に微小である場合には、補間画像のデータとして、3次元補間回路25の出力データが選択される。また、検出された動き量が補償を要する程度に大きい場合には、補間画像のデータとして、動き量に応じて3次元補間回路26または27の出力データが選択される。
【0107】
以上は、入力の映像データVinが、フィルムソースのフレーム周波数が24Hzの原プログレッシブ映像データから2−3プルダウンによってフィールド周波数が60Hzのインターレース映像データに変換されたものである場合であるが、入力の映像データVinが、フィルムソースではないビデオソースまたは静止画のフィールド周波数が60Hzのインターレース映像データである場合にも、動オブジェクトの動きを滑らかにするような補間処理を行うことができる。
【0108】
この場合、シーケンス検出部32で図5(A)に示したようなシーケンスが検出されなければ、入力の映像データVinは、フィルムソースではないビデオソースまたは静止画のインターレース映像データである。
【0109】
この場合、動き検出部51では、隣接するフィールド種別が異なる2つのフィールドの間、または間に1フィールド置いた同一フィールド種別の2つのフィールドの間での動きが検出される。
【0110】
そして、その動き量がゼロまたは補償を行う必要がない程度に微小である場合には、動きが小さい場合の静的な補間方式として、3次元補間回路25でフィールド間またはフレーム間の補間が実行されて、その補間出力の画像データが選択される。
【0111】
また、フィールド間で輪郭線の不連続が検出された場合(フィールド間の動き量が大きい場合)には、例えば、静的な補間方法として、3次元補間回路26で可変フィルタ係数方式による斜め補間が実行されて、その補間出力の画像データが選択され、または動的な補間方法として、3次元補間回路27で輪郭線移動による斜め補間が実行されて、その補間出力の画像データが選択される。
【0112】
【発明の効果】
上述したように、この発明のプログレッシブ変換方法によれば、動画の動きが滑らかに見えるようにプログレッシブ変換することができる。
【0113】
また、この発明のシーケンス検出方法によれば、小規模の回路によって確実に、原プログレッシブ映像データが変換されて得られたインターレース映像データのシーケンスを検出することができる。
【図面の簡単な説明】
【図1】この発明のプログレッシブ変換方法の一実施形態を示す図である。
【図2】図1のプログレッシブ変換方法による出力プログレッシブ映像データのフレーム順位に対する画像変化の様子を示す図である。
【図3】この発明のプログレッシブ変換方法を実行するシステムの一例としてのDVD再生装置を示す図である。
【図4】この発明のプログレッシブ変換装置の一実施形態を示す図である。
【図5】この発明のシーケンス検出方法の説明に供する図である。
【図6】この発明のシーケンス検出装置の一実施形態を示す図である。
【図7】この発明の適応化プログレッシブ変換装置の一実施形態を示す図である。
【図8】2−3プルダウンおよび逆変換の説明に供する図である。
【図9】従来のシーケンス検出方法の説明に供する図である。
【図10】従来のシーケンス検出装置を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
Claims (5)
- 原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データを、そのフィールド周波数と等しいフレーム周波数の出力プログレッシブ映像データに変換する方法において、
出力プログレッシブ映像データの連続する5フレームを一巡周期として、その1番目のフレームでは、前記原プログレッシブ映像データの第1フレーム画像を当該フレームの画像とし、2番目および3番目のフレームの少なくとも一方では、前記原プログレッシブ映像データの第1フレーム画像と第2フレーム画像を合成した画像を当該フレームの画像とし、4番目のフレームでは、前記原プログレッシブ映像データの第2フレーム画像を当該フレームの画像とし、5番目のフレームでは、前記原プログレッシブ映像データの第2フレーム画像とその直後の第1フレーム画像を合成した画像を当該フレームの画像とするプログレッシブ変換方法。 - 原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データを、そのフィールド周波数と等しいフレーム周波数の出力プログレッシブ映像データに変換する装置において、
複数のフレームメモリと、
前記インターレース映像データの各フィールドの前記一巡周期内における順位およびフィールド種別を検出するシーケンス検出手段と、
このシーケンス検出手段の検出結果に基づいて、前記インターレース映像データを前記フレームメモリに書き込み、前記フレームメモリから画像データを読み出すメモリ制御手段と、
前記複数のフレームメモリから読み出された画像データを、ある比率で合成する補間手段と、
前記シーケンス検出手段の検出結果に応じて、いずれかのフレームメモリから読み出された画像データ、または前記補間手段によって得られた画像データを、選択的に取り出す選択手段と、
を備えるプログレッシブ変換装置。 - 請求項2記載のプログレッシブ変換装置をプログレッシブ変換部として備える映像データ処理装置。
- 原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データの各フィールドの、前記一巡周期内における順位を検出する方法において、
前記インターレース映像データの時系列上で隣接する画素の間の画素値の差分を各画素ごとに検出する工程と、
その検出した差分が所定値に等しい画素の数を1フィールドに渡って積算する工程と、
その積算した画素数が、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で近似するか否かを判別する工程と、
を備えるシーケンス検出方法。 - 原プログレッシブ映像データの第1フレーム画像から抽出された、それぞれ1つの奇数フィールド画像および偶数フィールド画像からなる連続する2フィールドと、原プログレッシブ映像データの第2フレーム画像から抽出された、1つまたは2つの奇数フィールド画像および2つまたは1つの偶数フィールド画像からなる連続する3フィールドとを合わせた、連続する5フィールドを一巡周期とするインターレース映像データの各フィールドの、前記一巡周期内における順位を検出する装置において、
前記インターレース映像データの時系列上で隣接する画素の間の画素値の差分を各画素ごとに検出する手段と、
その検出された差分が所定値に等しい画素の数を1フィールドに渡って積算する手段と、
その積算された画素数が、間に1フィールド置いた同一フィールド種別の2つのフィールドの間で近似するか否かを判別する手段と、
を備えるシーケンス検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002169860A JP2004015700A (ja) | 2002-06-11 | 2002-06-11 | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002169860A JP2004015700A (ja) | 2002-06-11 | 2002-06-11 | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004015700A true JP2004015700A (ja) | 2004-01-15 |
Family
ID=30436300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002169860A Pending JP2004015700A (ja) | 2002-06-11 | 2002-06-11 | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004015700A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004043058A1 (ja) * | 2002-11-05 | 2004-05-21 | Matsushita Electric Industrial Co., Ltd. | 撮像装置 |
JP2007295469A (ja) * | 2006-04-27 | 2007-11-08 | Fujitsu Ltd | 映像信号の変換装置及び方法 |
JP2007300152A (ja) * | 2006-04-27 | 2007-11-15 | Fujitsu Ltd | 32プルダウンシーケンスの検出装置、及び検出方法 |
WO2008102794A1 (ja) | 2007-02-21 | 2008-08-28 | Nec Corporation | 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム |
JP2010175753A (ja) * | 2009-01-28 | 2010-08-12 | Sanyo Electric Co Ltd | 信号処理装置及び映像表示装置 |
US8154654B2 (en) | 2006-11-30 | 2012-04-10 | Kabushiki Kaisha Toshiba | Frame interpolation device, frame interpolation method and image display device |
KR101452541B1 (ko) | 2007-05-09 | 2014-10-21 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 비디오 신호 분석 방법 |
-
2002
- 2002-06-11 JP JP2002169860A patent/JP2004015700A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004043058A1 (ja) * | 2002-11-05 | 2004-05-21 | Matsushita Electric Industrial Co., Ltd. | 撮像装置 |
US7365776B2 (en) | 2002-11-05 | 2008-04-29 | Matsushita Electric Industrial Co., Ltd. | Image pickup device |
JP2007295469A (ja) * | 2006-04-27 | 2007-11-08 | Fujitsu Ltd | 映像信号の変換装置及び方法 |
JP2007300152A (ja) * | 2006-04-27 | 2007-11-15 | Fujitsu Ltd | 32プルダウンシーケンスの検出装置、及び検出方法 |
US8154654B2 (en) | 2006-11-30 | 2012-04-10 | Kabushiki Kaisha Toshiba | Frame interpolation device, frame interpolation method and image display device |
WO2008102794A1 (ja) | 2007-02-21 | 2008-08-28 | Nec Corporation | 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム |
US8964841B2 (en) | 2007-02-21 | 2015-02-24 | Nec Corporation | Moving image stream processing apparatus, moving image reproduction apparatus equipped with the same, method, and program |
KR101452541B1 (ko) | 2007-05-09 | 2014-10-21 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 비디오 신호 분석 방법 |
JP2010175753A (ja) * | 2009-01-28 | 2010-08-12 | Sanyo Electric Co Ltd | 信号処理装置及び映像表示装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8693552B2 (en) | Low latency cadence detection for frame rate conversion | |
JP4749314B2 (ja) | インタレース/プログレッシブ変換方法および変換装置 | |
US6525774B1 (en) | Inverse telecine converting device and inverse telecine converting method | |
US20040263684A1 (en) | Image processing device and method, video display device, and recorded information reproduction device | |
JPH03165190A (ja) | 動き情報を動き情報信号に変換する装置 | |
JP2001160920A (ja) | インバース・テレシネ変換装置 | |
JP2004015700A (ja) | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 | |
KR100614788B1 (ko) | 영상 신호 재생 장치 | |
WO2013088589A1 (ja) | 映像信号処理装置、映像信号出力装置、及び映像信号処理方法 | |
JP3551887B2 (ja) | 動画像再生方法および装置 | |
US20040189877A1 (en) | Apparatus for detecting a common frame in an interlaced image | |
JP3604732B2 (ja) | 映像システム | |
JP4182747B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP4746909B2 (ja) | ビデオシーケンスの補助データ処理 | |
JP2003179886A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JPH1084499A (ja) | 適応フィルタ装置 | |
JP2009159321A (ja) | 補間処理装置、補間処理方法及び映像表示装置 | |
JP2007518297A (ja) | 複数のフォーマットで製作されたビデオデータを記録した情報記録媒体及びその再生装置 | |
US7880784B2 (en) | Arrangement for generating a 3D video signal | |
KR100898133B1 (ko) | 영상신호판별장치 및 방법 | |
JP4063158B2 (ja) | 画像合成装置及び方法、並びに画像再生装置 | |
JP3353660B2 (ja) | 画像表示処理システム | |
JP4120265B2 (ja) | 信号処理装置およびその方法、並びにそのプログラム | |
JPH0795441A (ja) | テレビジョン信号処理方式 | |
JP2001333391A (ja) | 映像表示装置 |