JP2007129400A

JP2007129400A - フィルムモード検出装置及び映像表示装置

Info

Publication number: JP2007129400A
Application number: JP2005319234A
Authority: JP
Inventors: Naohiro Hojo; 直大北城
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2005-11-02
Filing date: 2005-11-02
Publication date: 2007-05-24

Abstract

【課題】精度が向上された２：２プルダウン方式のフィルムモード検出装置を提供する。
【解決手段】入力された映像信号の中から、２：２プルダウン方式によりテレシネ変換された映像信号の検出を行うフィルムモード検出装置であって、フィールド画像を複数のブロックに分割し、各ブロックについて連続する同一属性の２つのフィールド画像間における信頼度が最も高い動きベクトルを検出し、動き補償を行うことにより順次走査方式の画像を生成する動き補償型順次走査変換装置において検出された連続する奇数フィールドと偶数フィールドの動きベクトル情報を比較することにより、２：２プルダウン方式のフィルムモード検出を行う。
【選択図】図３

Description

本発明は、フィルムモード検出装置及び映像表示装置に関し、特にビデオ映像信号の中から２：２プルダウン方式によりテレシネ変換された映像信号を検出するフィルムモード検出装置に関する。

映画などの毎秒２４コマで撮影されたフィルムソースを、テレビジョン放送や、ビデオテープやＤＶＤなどのパッケージメディアを介して、ＰＡＬ方式のテレビジョン受像機で映像表示するために、毎秒５０フィールドのビデオ映像信号への変換を行う必要がある。この変換を「２：２プルダウン方式によるテレシネ変換」と呼んでいる。フィルムの各コマの画像はデジタル画像として取り込まれ、前記デジタル画像の各水平ラインを上から１、２、３・・・と番号付けしたときに、その奇数ラインの画像及び偶数ラインの画像がそれぞれ、飛び越し走査方式であるビデオ映像信号の奇数フィールド、偶数フィールドに展開される。

また例えばアニメーションやＣＧなど元からプログレッシブ画像として作成して取り込まれた映像は、前述の映画の場合と異なり毎秒３０コマであり、毎秒６０フィールドのＮＴＳＣ方式のテレビジョン放送において、同様に２：２プルダウン方式によるテレシネ変換が行われていることがある。

以下、図７を参照しながら、２：２プルダウン方式によるテレシネ変換を説明する。図７において、１／２４秒の時間間隔で撮影されたフィルムの各コマが、図の上段の左側から右側へ並んでいる。２：２プルダウン方式では、左端に位置する最初のコマを２つのフィールド（Ａ１，Ｂ１）に、その右隣に位置する２番目のコマに対しても２つのフィールド（Ａ２，Ｂ２）に割り当てる。３番目以降のコマに対しても同様に繰り返すことにより、フィルムの２４コマ（１秒間）を４８フィールドに変換することができ、多少の誤差は生じることになるが、これを５０フィールド／秒のＰＡＬ方式のビデオ映像信号として取り扱うことができる。

このように、２：２プルダウン方式によるテレシネ変換では、例えば、図７におけるフィールド画像Ａ１とＢ１のように、同じ１枚のフィルムのコマから生成された同時刻の画像が隣接するフィールドに存在する並びがあり、これらのフィールド画像Ａ１、Ｂ１は動きが全くない分、類似度は高いものとなる。また、フィールド画像Ａ１、Ｂ１の場合と同様に、フィールド画像Ａ２、Ｂ２及びＡ３、Ｂ３及びＡ４、Ｂ４もそれぞれ類似度が高いものとなる。一方、通常のテレシネ変換されていないＰＡＬ方式のビデオ映像信号は、全くの静止画の場合を除いて、映像に動いている物体が存在する場合、映像情報が１／５０秒おきにフィールドに記録されたものであるから、隣接するフィールド画像同士は、物体が動いて画像に差が生じる分、類似度は低いものとなる。

フィルムモードの検出方法を説明する。通常のビデオ映像信号の中から、上記に述べた２：２プルダウン方式によりテレシネ変換された映像信号を検出（フィルムモード検出）することを、隣接するフィールド画像の類似度を評価することにより行う方法が提案されている。

図８は、従来方式のフィルムモード検出装置の内部構成を概略的に示すブロック図である。このフィルムモード検出装置は、１フィールド遅延部１、隣接フィールド画像間の類似度判定部８０１、フィルムモード・ステート判定部３より構成される。入力されたビデオ映像信号は、隣接フィールド画像間の類似度判定部８０１と１フィールド遅延部１とに入力される。１フィールド遅延部１では、ビデオ映像信号を１フィールド期間だけ遅延して、隣接フィールド画像間の類似度判定部８０１に出力する。隣接フィールド画像間の類似度判定部８０１では、遅延されずに直接入力されたビデオ映像信号と１フィールド遅延されたビデオ映像信号との類似度を判定し、その判定結果をフィルムモード・ステート判定部３に出力する。前記類似度は詳細を後述するが、それぞれのフィールド内で同じ位置にある画素やその周辺画素の値を比較することで行う。フィルムモード・ステート判定部３では、入力された隣接フィールド画像間の類似度の判定結果に基づいて、入力された映像信号がテレシネ変換された映像信号であるかどうかの判定を行う。また、テレシネ変換されたビデオ映像信号の場合については、そのフィルムステート（各フィールド画像が図７に示すＡ、Ｂのいずれに該当するか）を判定する。（また、特許文献１にも同様のフィルムモード検出に関する技術が提案されている。）

フィルム画像の再構成を説明する。上記のフィルムモード検出装置において、入力されたビデオ映像信号がテレシネ変換された映像信号であると正しく判定された場合には、図７の下段に示すように、ビデオ映像信号の奇数フィールド画像と偶数フィールド画像とを組み合わせて、元のフィルムの各コマと同じ画像を順次走査方式の画像として再構成することができる。このようにして生成された順次走査方式の画像は、元のフィルムの各コマをデジタル化した画像に相当するものとなるため、通常のビデオ映像を順次走査変換装置で画像を生成した場合と異なり、画質の劣化を全く生じることのない映像を再現することができる。
特開平１１−２６１９７２号公報

しかしながら、図８に示す隣接フィールド画像間の類似度に基づくフィルムモード検出方法では、同じフィルムのコマから割り当てられた隣接する２つのフィールド間の類似度は、たとえ同時刻の画像同士であっても、ビデオ映像のインターレース方式においては、それらが奇数ラインのみで構成された画像と偶数ラインのみで構成された画像との比較になってしまっているので、それらの画像には必ず差が生じ、同じフィルムのコマから作られた画像であることを判定することが困難であった。つまり、垂直方向に変換がある絵柄やエッジの部分では動きがあるために生じた異なる画像として検出されてしまっていて、この誤差を原因とし、フィルム検出が誤判定してしまうという問題があった。この様子を図９に示す。

またその結果、通常のビデオ映像信号がテレシネ変換された映像信号であると誤って検出されてしまった場合には、フィルムソースが存在しないにも関わらずにフィルムの各コマの画像を復元しようとしてしまうので、図１０に示すように、異なる時刻のフィールド画像を組合せてしまうことになり、「コーミング」と呼ばれる櫛状に１ライン毎に画像がずれた画像が生成されてしまうという問題点があった。また、逆にテレシネ変換された映像信号が通常のビデオ映像信号であると誤って検出されてしまった場合には、前述の元のフィルムのコマと同じ順次走査画像を再構成することができなくなるため、画質の劣化が生じてしまうという問題点があった。

本発明は、このような実情に鑑みて、精度が向上されたフィルムモード検出装置を提供しようとするものである。

近頃のフラットパネルディスプレイなどのプログレッシブ表示型ＴＶ受像機では，入力されるインターレース映像を動き適応型または動き補償型の順次走査変換装置を用いて変換を行い、プログレッシブ表示を行っている。

そこで、前記解決課題に、上記の動き補償型順次走査変換装置での動きベクトル情報を利用することによって、映像信号に含まれる２：２プルダウン方式のフィルムモード検出を行うことに想到した。

すなわち、本発明は、２：２プルダウン方式によりテレシネ変換された映像信号の検出を行うフィルムモード検出装置であって、フィールド画像を複数のブロックに分割し、各ブロックについて連続する同一属性の２つのフィールド画像間における信頼度が最も高い動きベクトルを検出し、動き補償を行うことにより順次走査方式の画像を生成する動き補償型順次走査変換装置を利用し、前記動きベクトル検出処理において検出された連続する奇数フィールドと偶数フィールドの動きベクトル情報を比較することにより、２：２プルダウン方式のフィルムモード検出を行うことを特徴とするものである。

また、本発明は、フィルムモード検出装置において、前記動き補償型順次走査変換装置において検出された動きベクトルの大きさが第１の閾値以上であり、かつ信頼度が第２の閾値以上であるブロックについてのみ、比較を行うことを特徴とする。

そして、本発明は、入力された映像信号の中から２：２プルダウン方式によりテレシネ変換された映像信号の検出を行い、映像を表示する装置において、フィールド画像を複数のブロックに分割し、各ブロックについて連続する同一属性の２つのフィールド画像間における信頼度が最も高い動きベクトルを検出し、動き補償を行うことにより順次走査方式の画像を生成する動き補償型順次走査変換装置と、該動き補償型順次走査変換装置において検出された連続する奇数フィールドと偶数フィールドの動きベクトル情報を比較することにより、２：２プルダウン方式のフィルムモード検出を行うフィルムモード検出装置とを備える映像表示装置である。

本発明によれば、２：２プルダウン方式によるフィルム検出をより正確に行うことが可能となる。また、このことが可能となることで、映画素材の映像などを常に高画質で表示することがより可能となる。また、通常のインターレースビデオ映像をフィルム映像と誤検出し再構成することで発生してしまうコーミングを回避することが可能となる。

以下、添付図面を参照しながら、本発明のフィルムモード検出装置を実施するための最良の形態を詳細に説明する。図１〜図６は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。

まずは、本発明のフィルムモード検出装置のために用いられる外部に配置された動き補償型順次走査変換装置について説明する。図１は、この動き補償型順次走査変換装置の内部構成を概略的に示すブロック図である。図１において、動き補償型順次走査変換装置は、１フィールド遅延部１、２、動きベクトル検出部１０１、補間フィールド画像生成部１０２、フレーム組立て部１０３から構成されている。この装置への入力信号は、図示しないＡ／Ｄ変換器によりデジタル化されたビデオ映像信号である。

今、動き補償型順次走査変換装置にフィールド画像ｎ−２、フィールド画像ｎ−１、フィールド画像ｎが順次入力されたとすると、動きベクトル検出部１０１には、２つの１フィールド遅延部１、２を通って２フィールド期間遅延されたフィールド画像ｎ−２と、遅延されずに直接入力されたフィールド画像ｎとが同時に入力されることになる。このとき、動きベクトル検出部１０１は、画像のブロック毎に動きベクトルを検出する。２フィールド期間離れた両フィールド画像は同じ属性（奇数フィールド画像同士又は偶数フィールド画像同士）となるので、これらのフィールド画像間における動きベクトル検出は、異なる属性のフィールド画像間における動きベクトル検出を行うのに比べて、例えば静止したり水平移動したりしている物体をより正確に検出することができる。

この動きベクトル検出部１０１における動きベクトル検出処理の一例について、図２を参照しながら説明する。図２において、Ｈはフィールド画像の水平方向の画素数、Ｖは垂直方向のライン数であり、ａ、ｂはそれぞれ画像を分割したブロックの横方向画素数、縦方向ライン数である。上記したように、２フィールド期間離れたフィールド画像ｎ−２及びフィールド画像ｎがベクトル検出部１０１に入力されると、両画像間の動きベクトルがブロック毎に検出される。この動きベクトル検出にあたっては、図示するように、複数の動きベクトルの候補を設定し、各候補について動きベクトルの信頼度を評価し、最も信頼度の高い動きベクトルを当該ブロックの動きベクトルとして決定する。動きベクトルの信頼度は、例えば、両画像のブロックを構成する画素間の差分絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅｓ）の逆数を用いて評価することができる。つまり、ブロックを構成する画素同士の値が近ければ、そのブロックの動きベクトルの信頼度は高いということが言える。動きベクトル検出部１０１において検出されたブロック毎の動きベクトルは、補間フィールド画像生成部１０２に出力される。また、動きベクトルの信頼度情報は、フレーム組立て部１０３と後述する本発明のフィルムモード検出装置に出力される。

補間フィールド画像生成部１０２には、２つの１フィールド遅延部１、２を通って２フィールド期間遅延されたフィールド画像ｎ−２と、動きベクトル検出部１０１においてブロック毎に検出された動きベクトル情報が入力される。補間フィールド画像生成部１０２は、フィールド画像ｎ−２と動きベクトル情報とから補間フィールド画像ｎ−１を生成し、フレーム組立て部１０３に出力する。

フレーム組立て部１０３は、補間フィールド画像生成部１０２において生成された補間フィールド画像ｎ−１と、１フィールド遅延部１から入力されるフィールド画像ｎ−１とを用い、一方を奇数ラインの画像、他方を偶数ラインの画像として１ラインずつ交互に組合せることにより順次走査方式の画像を構成する。また、画質改善のために、補間フィールド画像ｎ−１の画素は、動きベクトル検出部１０１から入力される動きベクトルの信頼度情報を用いて上下のラインに位置するフィールド画像ｎ−１の画素から平均などの演算が行われて生成された画素に置き換えられるようにしておいても良い。フレーム組立て部１０３において構成された順次走査方式の画像は、後述するフィルム画像復元装置に出力される。

次に、本発明のフィルムモード検出装置について説明する。図３は、本発明のフィルムモード検出装置の内部構成を概略的に示すブロック図である。図３において、フィルムモード検出装置は、動きベクトルの１フィールド遅延部３０１、動きベクトルの類似度判定部３０２、フィルムモード・ステート判定部３から構成されている。これらの構成部分のうち、フィルムモード・ステート判定部３については、図８に示した従来方式のフィルムモード検出装置におけるのと同様に機能するものとする。動きベクトルの１フィールド遅延部３０１は、動きベクトルとその信頼度の情報をブロック数分保持しているものであり、１フィールドの画像を保持するものに比べ、ブロックを構成する画素数分の１程度の少しの記憶量があれば良いものである。

動きベクトルの１フィールド遅延部３０１及び動きベクトルの類似度判定部３０２には、動きベクトル情報とその信頼度情報が入力される。また、動きベクトルの類似度判定部３０２には、動きベクトルの１フィールド遅延部３０１で生成された１フィールド期間遅延された動きベクトル情報とその信頼度情報が入力される。動きベクトルの類似度判定部３０２では、前記１フィールド期間遅延された動きベクトルと遅延されていない動きベクトルを画像のブロック毎に比較を行う。

この動きベクトルの類似度判定部３０２における動きベクトルの比較の一例について、図４を参照しながら説明する。上段は、通常ビデオ映像が入力された場合の奇数フィールドと偶数フィールドの動きベクトルの様子を示している。この場合、各フィールド間で時間差が常にあるため、常に動きに変化がある可能性があり、一般に多くのブロックで動きベクトルが一致しないものが出てくる。

一方、下段の２：２プルダウン映像の場合では、奇数フィールド間の物体の動きと偶数フィールド間の物体の動きは常に完全に同じであり、動きベクトルは一致するはずである。ここで、動き補償型順次走査変換装置で検出された動きベクトルは最終的にディスプレイに出力されるプログレッシブ画像の画質を決定している部分であるため、ＴＶ受像機において大規模となる回路や大きなメモリ容量の資源を使用し十分な精度を持って行われている。したがって、とりわけ信頼できる情報であり、この情報を使用することでフィルムモード検出もより正確な検出が可能となる。この奇数フィールドでの動きベクトルと偶数フィールドの動きベクトルの類似度は、両者のベクトルの内積をとるなどして算出される。

また、このときに、前記動き補償型順次走査変換装置において検出された動きベクトルの大きさが第１の閾値以上であり、かつ信頼度が第２の閾値以上であるブロックについてのみ、奇数フィールドと偶数フィールドの動きベクトルの比較を行うようにしても良い。これは、動きがある部分のみ通常ビデオ映像と２：２プルダウン映像での違いがある部分であるので、この動きベクトルがある大きさ以上の部分のみを対象とし、またその動きベクトルの信頼度がある大きさ以上のものを検出対象とすることで、正しく動きベクトルが検出できなかった可能性が高いブロックについてはフィルムモードの判定から除外することが可能となる。

このようにして、ブロック毎に算出された動きベクトルの類似度を１フィールドにわたり足し合わせ、内部に有する第３の閾値と比較して小さい場合に「１」を、そうでない場合に「０」を出力することで、１フィールドで総合して判定した類似度の判定結果をフィルムモード・ステート判定部３に出力する。また、上述で類似度を足し合わせる代わりに、ある閾値を設け、それ以上または以下の類似度であるブロック数を求めることによって判定を行っても良い。

フィルムモード・ステート判定部３には、動きベクトルの類似度判定部３０２から類似度の判定結果が入力される。フィルムモード・ステート判定部３は、これらの入力情報を図５に示す判定パターンテーブルと照らし合わせることによりフィルムモードの判定を行う。図５に示す判定パターンにおいて、フィルムステートＡ１〜Ａ４、Ｂ１〜Ｂ４は図７に示す各フィルムステートＡ１〜Ａ４、Ｂ１〜Ｂ４に対応しており、各ステートのフィールド画像が入力された際に動きベクトルの類似度判定部３０２から出力されるべき結果が示されている。フィルムモード・ステート判定部３は、動きベクトルの類似度判定部３０２からの入力情報を少なくとも過去２フィールド分蓄積し、蓄積された入力情報から上記判定パターンテーブルに合致する規則的なパターンが検出されるまではフィルムモードと判定しないようになっている。更に、フィルムモード・ステート判定部３において、上述のフィールド数よりも多くの入力情報を蓄積して判定すれば、より正確なフィルムモード判定を実現することができる。３：２プルダウンのフィルムモードと区別を行うには最低５フィールド必要となる。フィルムモード・ステート判定部３は、フィルムモード検出の結果と、フィルムモードと判定した場合には入力フィールド画像のフィルムステート情報とを後述するフィルム画像復元装置に出力する。

次に、図３に示すフィルムモード検出装置からの出力信号に基づいてフィルム画像を復元するフィルム画像復元装置について説明する。図６は、フィルム画像復元装置の内部構成を概略的に示すブロック図である。図６において、フィルム画像復元装置は、１フィールド遅延部１、フレーム組み立て部６０１、１フレーム遅延部６０２、切換え部６０３から構成されている。入力されたビデオ映像信号は、１フィールド遅延部１と、フレーム組立て部６０１に入力される。１フィールド遅延部１では、ビデオ映像信号を１フィールド期間だけ遅延して、フレーム組立て部６０１に出力する。フレーム組立て部６０１では、１フィールド遅延されて入力された映像信号と遅延されずに直接入力されたビデオ映像信号を、奇数フィールド画像と偶数フィールド画像として組合わせて、１フレーム遅延部６０２に出力する。ただし、毎フィールド新しく組合わせて出力が行われるのではなく、さらに入力される図３に示すフィルムモード検出装置のフィルムモード・ステート判定部３からのフィルムステート情報によって、２つのフィールド画像が、図７のＡ１とＢ１またはＡ２とＢ２、Ａ３とＢ３、Ａ４とＢ４となる場合に限り出力される。

１フレーム遅延部６０２では、フレーム組立て部６０１から入力される順次走査画像を１フレーム期間遅延して、切替え部６０３に出力する。また、フレーム組立て部６０１からの入力がない場合には、遅延のために既に保持されていた１フィールド前の同じ画像が出力される。このような仕組みを持つことにより、図７におけるフィルム画像を復元した順次走査画像が生成され、切換え部６０３の端子ａに出力される。

切換え部６０３は、フレーム組み立て部６０１から入力されるフィルム画像を復元した順次走査画像と、図１に示す動き補償型順次走査変換装置から入力される非フィルムモードの順次走査画像とのうち、いずれか一方を選択して出力する。

いずれの入力信号を選択するかは、図３に示すフィルムモード検出装置から入力されるフィルムモード検出結果に基づき決定される。フィルム画像復元装置から出力された順次走査画像は、図示しない映像補正装置などにより種々の映像処理が行われ、最終的に映像表示装置に表示される。

以上、本発明のフィルムモード検出装置について、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。

本発明のフィルムモード検出装置は、テレビジョン受像機などにおいて映像信号変換装置として組み込んで利用することができる。

本発明のフィルムモード検出装置の外部に配置された動き補償型順次走査変換装置の内部構成を概略的に示すブロック図である。図１における動きベクトル検出部における動きベクトル検出処理について説明する図である。本発明のフィルムモード検出装置の内部構成を概略的に示すブロック図である。図３における動きベクトルの類似度判定部における判定処理について説明する図である。フィルムモード判定の基準として用いられる判定パターンテーブルを示す図である。本発明のフィルムモード検出装置に適用されるフィルム画像復元装置の内部構成を概略的に示すブロック図である。２：２プルダウン方式によるテレシネ変換を説明する図である。従来方式のフィルムモード検出装置の内部構成を概略的に示すブロック図である。図８における隣接フィールド画像間の類似度判定部における判定処理について説明する図である。フィルムモード検出の誤りによって生成されるコーミング画像を示す図である。

符号の説明

１，２１フィールド遅延部
３フィルムモード・ステート判定部
１０１動きベクトル検出部
１０２補間フィールド画像生成部
１０３フレーム組立て部
３０１動きベクトルの１フィールド遅延部
３０２動きベクトルの類似度判定部
６０１フレーム組立て部
６０２１フレーム遅延部
６０３切換え部
８０１隣接フィールド画像間の類似度判定部

Claims

入力された映像信号の中から２：２プルダウン方式によりテレシネ変換された映像信号の検出を行うフィルムモード検出装置であって、
フィールド画像を複数のブロックに分割し、各ブロックについて連続する同一属性の２つのフィールド画像間における信頼度が最も高い動きベクトルを検出し、動き補償を行うことにより順次走査方式の画像を生成する動き補償型順次走査変換装置を利用し、
前記動きベクトル検出処理において検出された連続する奇数フィールドと偶数フィールドの動きベクトル情報を比較することにより、２：２プルダウン方式のフィルムモード検出を行うことを特徴とするフィルムモード検出装置。
請求項１に記載のフィルムモード検出装置において、
前記動き補償型順次走査変換装置において検出された動きベクトルの大きさが第１の閾値以上であり、かつ信頼度が第２の閾値以上であるブロックについてのみ、比較を行うことを特徴とするフィルムモード検出装置。
入力された映像信号の中から２：２プルダウン方式によりテレシネ変換された映像信号の検出を行い、映像を表示する装置において、
フィールド画像を複数のブロックに分割し、各ブロックについて連続する同一属性の２つのフィールド画像間における信頼度が最も高い動きベクトルを検出し、動き補償を行うことにより順次走査方式の画像を生成する動き補償型順次走査変換装置と、該動き補償型順次走査変換装置において検出された連続する奇数フィールドと偶数フィールドの動きベクトル情報を比較することにより、２：２プルダウン方式のフィルムモード検出を行うフィルムモード検出装置とを備えることを特徴とする映像表示装置。