JP2009260440A - 動画像処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】フィールド画像の並びの規則性が崩れた場合でも、安定した画質を保持する。
【解決手段】現フィールド画像と前フィールド画像とから、同一時間のデータとして組み合わせたフレーム画像を生成し第１の候補画像とする。現フィールド画像と後フィールド画像とから、同一時間のデータとして組み合わせたフレーム画像を生成し第２の候補画像する。現フィールド画像を入力し、画素補間処理によりフレーム画像を生成し第３の候補画像する。現フィールド画像が、前フィールド画像、後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定し、その現フィールド画像の判定結果を履歴情報として記憶する。記憶している現フィールド画像よりも前の連続するフィールド画像の履歴情報のパターンから、特定パターンを検出し、その結果に基づいて現フィールド画像のフレーム画像として、第１乃至第３の候補画像のいずれかを選択する。
【選択図】図１Ａ

Description

本発明は、動画像中のフィールド画像からフレーム画像を生成する動画像処理装置及びその制御方法、プログラムに関するものである。

動画像データを伝送、蓄積に用いる形式として、従来より毎秒６０フィールドのインターレース画像（フィールド画像）が広く用いられている。デジタル放送による伝送や、ＤＶＤによるデジタルデータの蓄積には、ＭＰＥＧ−２の動画像符号化を用いてこのインターレース画像を圧縮している。ビデオカメラによる撮影においても、この毎秒６０フィールドのインターレース画像での撮影が一般的である。

一方、映画の撮影や上映では、毎秒２４フレームの画像を用いることが広く行われている。従って、映画を放送したり、ＤＶＤに記録する際には、通常、毎秒２４フレームのプログレッシブ画像（フレーム画像）を毎秒６０フィールドのインターレース画像（フィールド画像）に変換する作業が行われている。

この変換は、一般に、２−３プルダウン処理と呼ばれている。図９（ａ）は、毎秒２４のフレーム画像Ａ〜Ｄを示しており、図９（ｂ）は、毎秒６０フィールドのインターレース画像を示している。２−３プルダウン処理は、連続するフレーム画像Ａ〜Ｄを、Ａ１、Ａ２、Ｂ１、Ｂ２、Ｂ３、Ｃ１、Ｃ２、Ｄ１、Ｄ２、Ｄ３のように、２−３―２−３と分割する。そして、これらの画像に対し、奇数・偶数交互にインターレースのフィールド画像に変換する処理である。

一方、これらの放送、蓄積画像を表示するディスプレイにおいては、古くからＣＲＴが用いられており、このＣＲＴでは、入力されるインターレース画像をそのまま出力表示している。しかしながら、近年では、ＬＣＤ、プラズマ等に代表される新たな表示デバイスの開発により、インターレース画像をプログレッシブ画像に変換して表示する装置が普及し始めている。

インターレース画像（フィールド画像）をプログレッシブ画像（フレーム画像）に変換するには、単純には、現在のフィールド画像と１つ前のフィールド画像を組み合わせることにより、フレーム画像を生成する方法がある（例えば、特許文献１参照）。

図９（ｃ）は、この方式を用いてフレーム画像を生成した例である。ここで、Ａ１／Ａ２は、フィールド画像Ａ１とフィールド画像Ａ２を組み合わせて、フレーム画像を生成していることを示している。フィールド画像Ａ１とフィールド画像Ａ２は元々同一時間のフレーム画像から生成したフィールド画像であるので、理論上完全に元のフレーム画像に戻すことができる。しかしながら、この方法の場合、次のフレーム画像Ａ２／Ｂ１は、異なる時間のフィールド画像から生成したフレーム画像となるので、視覚的に不自然な画像を表示することになってしまう。

このため、元々が毎秒２４フレームのフレーム画像であり、２−３プルダウン処理されているフィールド画像であるということがわかっていれば、２−３プルダウン処理の逆処理を実行することで、元のフレーム画像の構成をとることが可能となる。そして、このフレーム画像を２フレーム、３フレームと交互に再生していけば、時間的に異なるフィールド画像の組み合わせでフレーム画像が生成されることはない。

図９（ｄ）は、この２−３プルダウン処理の逆処理を示しており、フィールド画像Ａ１からは、１つ後のフィールド画像Ａ２との組み合わせで、フレーム画像Ａ１／Ａ２を生成する。また、フィールド画像Ａ２からは、１つ前のフィールド画像Ａ１との組み合わせで、フレーム画像Ａ１／Ａ２を生成する。また、フィールド画像Ｂ１からは、１つ後のフィールド画像Ｂ２との組み合わせで、フレーム画像Ｂ１／Ｂ２を生成し、フィールド画像Ｂ２からは、１つ前のフィールド画像Ｂ１との組み合わせで、フレーム画像Ｂ１／Ｂ２を生成する。更に、フィールド画像Ｂ３からは、１つ前のフィールド画像Ｂ２との組み合わせで、フレーム画像Ｂ２／Ｂ３を生成する。

このように、同一時間のフィールド画像同士を組み合わせてフレーム画像を生成するには、対象のフィールド画像に１つ前もしくは１つ後のフィールド画像を組み合わせればよいことになる。１つ後のフィールド画像との組み合わせを「２」、１つ前のフィールド画像との組み合わせを「１」とすると、フィールド画像の組み合わせパターンは２−１−２−１−１となる。そのため、生成されるフレーム画像の構成は、この組み合わせパターンが繰り返される繰り返しパターンとなる。

この繰り返しパターンの検出方法の一例としては、特許文献２がある。この特許文献２の技術は、毎秒６０フィールドのインターレース画像から毎秒２４フレームのプログレッシブ画像に戻すための処理である。そして、繰り返しパターンの検出においては、毎秒６０フレームのプログレッシブ画像を生成する処理と共通な技術と言える。この方式では、フィールド画像間の差分を検出することにより、元々が同一時間のフレーム画像であったか否かを判定し、その判定結果に基づいて、同一時間のフィールド画像の組からなる繰り返しパターンを検出する。この繰り返しパターンを検出できている限りは、問題なく正しい時間順序でフレーム画像の生成、表示が可能となる。
特開平１１−８８８４５ 特開平７−１０７３７５

しかしながら、２−３プルダウン処理された画像は、常に上述の２−１−２−１−１の繰り返しパターンを取るとは限らない。例えば、２−３プルダウン処理後のフィールド画像を任意のポイントで編集した場合は、この繰り返しパターンが崩れることがある。図９（ｅ）は、図９（ｂ）のフィールド画像Ｂ２の後のシーンをカットし、フィールド画像Ｍ１からのシーンを繋いだ例となっている。

この場合、フィールド画像Ａ１からの理想的な繰り返しパターンは、２−１−２−１−２−１−２−１−１となる。特許文献２では、このような繰り返しパターンの位相がずれた場合には、編集点の情報を外部から与えることによって、修正する方法を採用しており、編集点の検出方法についての具体的な解決策は、述べられていない。

また、図９（ｆ）は、図９（ｂ）のフィールド画像Ｂ２の後のシーンをカットし、フィールド画像Ｌ３からのシーンを繋いだ例となっている。この場合、フィールド画像Ｌ３における理想的なフィールド画像の組み合わせは存在しないことになり、フィールド画像Ｂ２との組み合わせでも、フィールドＭ１との組み合わせでも画質の劣化を生じることになる。

本発明は上記の課題を解決するためになされたものである。その目的は、フィールド画像の並びの規則性が崩れた場合でも、時間軸の異なる劣化したフレーム画像の生成を防ぎ、安定した画質を保持することができる動画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。即ち、
動画像中のフィールド画像からフレーム画像を生成する動画像処理装置であって、
現在の現フィールド画像とそれより時間的に前の前フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第１の候補画像として出力する第１の候補画像生成手段と、
前記現在の現フィールド画像とそれより時間的に後の後フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第２の候補画像として出力する第２の候補画像生成手段と、
前記現フィールド画像を入力し、その現フィールド画像に対する画素補間処理によりフレーム画像を生成し、これを第３の候補画像として出力する第３の候補画像生成手段と、
前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記現フィールド画像の判定結果を履歴情報として記憶する記憶手段と、
前記記憶手段に記憶している前記現フィールド画像よりも前の連続するフィールド画像の履歴情報のパターンから、特定パターンを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記現フィールド画像のフレーム画像として、前記第１乃至第３の候補画像のいずれから選択する選択手段と
を備える。

また、好ましくは、前記選択手段は、
前記検出手段が前記特定パターンを検出する場合、その特定パターンに従って、前記現フィールド画像のフレーム画像として、前記第１及び第２の候補画像のいずれかを選択し、
前記検出手段が前記特定パターンを検出しない場合、前記現フィールド画像のフレーム画像として、前記第３の候補画像を選択する。

また、好ましくは、前記判定手段は、前記前フィールド画像と前記現フィールド画像との間の相関値、前記現フィールド画像と前記後フィールド画像との間の相関値及び閾値の３つの値の大小関係から、前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する。

また、好ましくは、前記記憶手段は、
判定結果として前記前フィールド画像あるいは前記後フィールド画像のいずれかに前記連続性があると判定した場合は、その判定結果の履歴情報を記憶して、これまでに記憶している履歴情報を更新し、
判定結果として前記前フィールド画像及び前記後フィールド画像のいずれにも前記連続性がないと判定した場合は、これまでに記憶している履歴情報をリセットする。

また、好ましくは、前記第３の候補画像生成手段は、前記前フィールド画像と前記後フィールド画像の少なくとも一方を補間画素生成用フィールド画像として入力し、指定された重み付けに従って、画素単位に前記現フィールド内の画素と前記補間画素生成用フィールド画像の画素を用いて補間画素を生成することで、前記現フィールド画像に対するフレーム画像を生成する。

また、好ましくは、前記第３の候補画像生成手段は、前記検出手段による特定パターンの検出の有無に応じて、前記重み付けを変更する。

また、好ましくは、前記第３の候補画像生成手段は、前記検出手段が前記特定パターンを検出しない場合、前記現フィールド画像の画素を用いる重み付けを増やす。

上記の目的を達成するための本発明による動画像処理装置の制御方法は以下の構成を備える。即ち、
動画像中のフィールド画像からフレーム画像を生成する動画像処理装置の制御方法であって、
現在の現フィールド画像とそれより時間的に前の前フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第１の候補画像として出力する第１の候補画像生成工程と、
前記現在の現フィールド画像とそれより時間的に後の後フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第２の候補画像として出力する第２の候補画像生成工程と、
前記現フィールド画像を入力し、その現フィールド画像に対する画素補間処理によりフレーム画像を生成し、これを第３の候補画像として出力する第３の候補画像生成工程と、
前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する判定工程と、
前記判定工程による判定結果に基づいて、前記現フィールド画像の判定結果を履歴情報として記憶媒体に記憶する記憶工程と、
前記記憶媒体に記憶している前記現フィールド画像よりも前の連続するフィールド画像の履歴情報のパターンから、特定パターンを検出する検出工程と、
前記検出工程の検出結果に基づいて、前記現フィールド画像のフレーム画像として、前記第１乃至第３の候補画像のいずれから選択する選択工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
動画像中のフィールド画像からフレーム画像を生成する動画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
現在の現フィールド画像とそれより時間的に前の前フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第１の候補画像として出力する第１の候補画像生成工程と、
前記現在の現フィールド画像とそれより時間的に後の後フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第２の候補画像として出力する第２の候補画像生成工程と、
前記現フィールド画像を入力し、その現フィールド画像に対する画素補間処理によりフレーム画像を生成し、これを第３の候補画像として出力する第３の候補画像生成工程と、
前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する判定工程と、
前記判定工程による判定結果に基づいて、前記現フィールド画像の判定結果を履歴情報として記憶媒体に記憶する記憶工程と、
前記記憶媒体に記憶している前記現フィールド画像よりも前の連続するフィールド画像の履歴情報のパターンから、特定パターンを検出する検出工程と、
前記検出工程の検出結果に基づいて、前記現フィールド画像のフレーム画像として、前記第１乃至第３の候補画像のいずれから選択する選択工程と
をコンピュータに実行させる。

本発明によれば、フィールド画像の並びの規則性が崩れた場合でも、時間軸の異なる劣化したフレーム画像の生成を防ぎ、安定した画質を保持することができる動画像処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

本発明は、例えば、動画像中の、毎秒６０フィールドのインターレース画像を毎秒６０フレームのプログレッシブ画像に変換する動画像処理に関するのである。特に、本発明は、入力するインターレース画像が毎秒６０フレームとは異なるフレームレート（例えば、毎秒２４フレーム）のプログレッシブ画像から生成されている場合の動画像処理に関するものである。 特に、本発明では、編集によってパターンが崩れた２−３プルダウンの画像に対しても、異なる時間の画像のフィールドを組み合わせることによる画質劣化を生じさせない動画像処理装置及びその制御方法、プログラムを提供することを目的とする。

＜実施形態１＞
図１Ａは本発明の実施形態１の動画像処理装置の機能構成を示す図である。

実施形態１の動画像処理装置は、メモリ１０１から同時に３つのフィールド画像を読み出し、これらを入力として処理し、出力として１つのフレーム画像を生成し、メモリ１０１に書き出す構成からなる。

３つのフィールド画像は、現在のフィールド画像ｎと、現在のフィールド画像ｎより時間的に１つ前のフィールド画像ｎ−１、及び現在のフィールド画像ｎより時間的に１つ後のフィールド画像ｎ＋１である。

第１の候補画像生成部１０２では、現在のフィールド画像と１つ前のフィールド画像を同一時間のデータとして組み合わせてフレーム画像（第１の候補画像）を生成する。第２の候補画像生成部１０３では、現在のフィールド画像と１つ後のフィールド画像を同一時間のデータとして組み合わせてフレーム画像（第２の候補画像）を生成する。

候補画像比較・判定部１０５では、２つの候補画像のどちらのフィールド画像の組み合わせが、同一時間のフレーム画像であるかを判定する。このときの判定に、どちらの組み合わせでもない、という選択肢が加わることが本発明の特徴となっている。

判定パターン検出部１０６では、候補画像比較・判定部１０５の出力である判定結果の履歴を調べ、２−３プルダウン処理で判定を行うための判定パターンにマッチするか否かの検出を行う。

候補画像選択部１０７では、判定パターン検出部１０６の検出結果に基づき、２−３プルダウン処理の判定パターン（特定）にマッチしている場合は、その特定パターンに従って、候補画像生成部からのフレーム画像を選択して出力する。特に、実施形態１では、特定パターンにマッチしている場合は、その特定パターンに従って、候補画像選択部１０７は、候補画像生成部１０２からのフレーム画像と、候補画像生成部１０３のフレーム画像を切り替えて出力する。

候補画像比較・判定部１０５において、２つの候補画像のどちらのフィールド画像の組み合わせでもないと判定した場合は、判定パターン検出部１０６のパターン履歴はリセットされ、候補画像選択部１０７は、第３の候補画像生成部１０４の出力を選択する。候補画像生成部１０４が生成する第３の候補画像の画像生成方法は、フィールド内補間処理（画素補間処理）を用いる方法であり、他の時間のフィールド画像を用いないことを特徴としている。

このように、候補画像選択部１０７は、検出結果（特定パターンの有無）に基づいて、現フィールド画像のフレーム画像として、第１乃至第３の候補画像のいずれから選択する。

尚、候補画像の生成は、フィールド画像全部を同時に処理することが望ましいが、回路規模が膨大になることから、フィールド画像を所定数のブロックに分割し、ブロック単位の判定結果の累積からフィールド画像単位の結果を得る方法が現実的である。

また、図１Ａの動画像処理装置の各種機能構成は、専用のハードウェアによって実現されても良いし、ソフトウェアによって実現されても良い。あるいは、ハードウェアとソフトウェアを協働利用して実現されても良い。

図１Ａの動画像処理装置のハードウェア構成について、図１Ｂを用いて説明する。

図１Ｂは本発明の実施形態１の動画像処理装置のハードウェア構成を示すブロック図である。

ＣＰＵ１００２は、動画像処理装置の各種構成要素を制御する。ＲＯＭ１００３は、動画像処理装置が実行する処理（後述のフローチャートによる処理）を実現するための各種プログラム、パラメータ等の各種データを記憶する。ＣＰＵ１００２は、プログラムをＲＯＭ１００３から読み出し実行することによって、必要な処理を実行する。

ＲＡＭ１００４は、データの作業領域、一時待避領域として機能する。また、図１Ａのメモリ１０１は、例えば、このＲＡＭ１００４によって実現される。ネットワークインタフェース（Ｉ／Ｆ）１００５は、ネットワークと接続し、ネットワーク上の外部機器とデータの送受信を行う。

入力装置１００６は、キーボード及びポインティングデバイス（マウス）を有し、動画像処理装置における各種処理の実行、パラメータ等のデータ入力に用いる。出力装置１００７は、ＬＣＤ等の表示装置であり、各種処理を実行するための操作画面や処理結果の画面等のグラフィックユーザインタフェースを提供する。また、出力装置１００７として、表示装置に加えて、印刷装置を構成することも可能である。

外部記憶装置１００８は、処理対象の動画像ファイル（一連のフィールド画像）や、処理後の動画像ファイル（一連のフレーム画像）を記憶したり、各種データを記憶する。

次に、実施形態１の動画像処理装置の具体的な処理について、図２〜図４を用いて説明する。

図２は本発明の実施形態１の動画像処理装置が実行する処理を示すフローチャートである。

まず、候補画像比較・判定部１０５は、検出パターンがロック（確定）されているか否かの判定を行う（ステップＳ２０１）。通常の状態では、検出パターンはロックされている。そのため、検出パターンがロックされている場合（ステップＳ２０１でＹＥＳ）、その検出パターンに従って、候補画像選択部１０７は、候補画像生成部１０２あるいは候補画像生成部１０３を選択する。そして、その選択された候補画像生成部１０２あるいは候補画像生成部１０３は、予測パターン（ロックされている検出パターン）に基づく補間処理によりフレーム画像を生成する（ステップＳ２０２）。

一方、編集等により検出パターンが崩れている（ロックされていない）場合（ステップＳ２０１でＮＯ）、ロックが解除された状態になるので、このときは、候補画像選択部１０７は、候補画像生成部１０４を選択する。そして、その選択された候補画像生成部１０４は、フィールド内補間処理によりフレーム画像を生成する（ステップＳ２０３）。現フィールド画像に対する処理はこれだけであり、以下は、次のフィールドに対する準備処理に相当する。

次に、候補画像比較・判定部１０５は、次フィールド判定処理を行う（ステップＳ２０４）。これは、現フィールド画像と次フィールド画像（前フィールド画像及び後フィールド画像）の間に連続性があるかどうか（編集点になっていないかどうか）の判定と、フィールド画像間の組み合わせを検出し、パターン判定の準備を行う。

この次フィールド判定処理の詳細について、図３及び図４を用いて説明する。

図３及び図４は本発明の実施形態１の次フィールド判定処理の詳細を示すフローチャートである。

尚、図３は、次フィールド判定処理の前半部分に相当する。

まず、候補画像比較・判定部１０５は、初期設定として、フィールド画像を所定数のブロックに分割して、ブロック単位の処理を累積するためのカウント値をゼロにリセットする（ステップＳ３０１）。以下は、ブロック毎の処理となる。

まず、候補画像比較・判定部１０５は、前フィールド画像と現フィールド画像との相関値を検出する（ステップＳ３０２）。ここでは、相関値（第１相関値）として、差分絶対値（Ｒ１）を検出する。そのため、差分絶対値（Ｒ１）が大きいほど、画像間の相関は小さくなる。同時に、候補画像比較・判定部１０５は、現フィールド画像と後フィールド画像との相関値も検出する（ステップＳ３０３）。ここでは、相関値（第２相関値）として、差分絶対値（Ｒ２）を検出する。

次に、候補画像比較・判定部１０５は、これら２つの差分絶対値（Ｒ１及びＲ２）とエラー検出のための閾値（Ｔｈ）との比較を行う（ステップＳ３０４）。ここで、比較対象の差分絶対値が閾値（Ｔｈ）以下である場合は、相関が大きく、閾値（Ｔｈ）より大きい場合は、相関が小さいと判定する。

Ｒ１が最小である場合（ステップＳ３０５でＹＥＳ）、前フィールド画像と現フィールド画像の組み合わせが最適（連続性がある）と考えられる。そこで、候補画像比較・判定部１０５は、この組み合わせを、ここでは、Ｗｅａｖｅ１としてカウントする（ステップＳ３０６）。ここで、Ｗｅａｖｅ１をカウントするカウンタをＣｏ１とすると、現在のカウンタ値を１インクリメント（Ｃｏ１←Ｃｏ１＋１）することになる。

Ｒ２が最小である場合（ステップＳ３０５でＮＯ、かつステップＳ３０７でＹＥＳ）、現フィールド画像と後フィールド画像の組み合わせが最適（連続性がある）と考えられる。そこで、候補画像比較・判定部１０５は、この組み合わせを、ここでは、Ｗｅａｖｅ２としてカウントする（ステップＳ３０８）。ここで、Ｗｅａｖｅ２をカウントするカウンタをＣｏ２とすると、現在のカウンタ値を１インクリメント（Ｃｏ２←Ｃｏ２＋１）することになる。

Ｒ１及びＲ２がともにＴｈよりも大きい場合（ステップＳ３０５でＮＯ、かつステップＳ３０７でＮＯ）、相関は小さいと考えられるので、候補画像比較・判定部１０５は、エラーとしてカウントする（ステップＳ３０９）。ここで、エラーをカウントするカウンタをＣｏｅとすると、現在のカウンタ値を１インクリメント（Ｃｏｅ←Ｃｏｅ＋１）することになる。

候補画像比較・判定部１０５は、各ブロック毎に、Ｃｏ１（Ｗｅａｖｅ１）、Ｃｏ２（Ｗｅａｖｅ２）及びＣｏｅ（エラー）のいずれかに分類し、これを全ブロックに対して繰り返す（ステップＳ３１０）。

図４は、次フィールド判定処理の後半部分に相当する。

候補画像比較・判定部１０５は、１フレーム分のＣｏ１、Ｃｏ２及びＣｏｅの各カウント値を算出したら、これらの大小比較（大小関係の確認）を行い、判定結果を導き出す（ステップＳ４０１）。

まず、カウンタＣｏｅのカウント値が最大である場合（ステップＳ４０２でＹＥＳ）、フィールド間の相関は小さいと考え、候補画像比較・判定部１０５は、対象とするフィールド画像を不連続フィールドと判定する（ステップＳ４０３）。

カウンタＣｏ２のカウント値が最大の場合は（ステップＳ４０２でＮＯ、かつステップＳ４０４でＹＥＳ）、候補画像比較・判定部１０５は、対象とするフィールド画像をＷｅａｖｅ２とする（ステップＳ４０５）。

カウンタＣｏ２のカウント値が最大でなく、かつ最小である場合（ステップＳ４０４でＮＯ、かつステップＳ４０６でＹＥＳ）、候補画像比較・判定部１０５は、対象とするフィールド画像を不連続フィールドと判定する（ステップＳ４０３）。

カウンタＣｏ２のカウント値が最大でなく、かつ最小でない場合（ステップＳ４０４でＮＯ、かつステップＳ４０６でＹＥＳ）、候補画像比較・判定部１０５は、対象とするフィールド画像をＷｅａｖｅ１と判定する（ステップＳ４０７）。これは、カウンタＣｏ１のカウント値が最大である場合である。

尚、これらの判定結果は、例えば、装置内のメモリ１０１に記憶される。これにより、過去の判定結果の履歴（履歴情報）が管理されることになる。換言すれば、過去のフィールド画像に対するフレーム画像生成用に選択した候補画像の選択順序に相当するパターンが管理されることになる。

そして、これらの判定結果を元に、引き続き、図２のステップＳ２０５以降の処理を実行する。

まず、候補画像比較・判定部１０５は、対象とするフィールド画像が連続フィールドであるか否かを判定する（ステップＳ２０５）。対象とするフィールド画像が不連続フィールドである場合（ステップＳ２０５でＮＯ）、候補画像比較・判定部１０５は、パターン履歴をリセットする（ステップＳ２０６）。そして、候補画像比較・判定部１０５は、パターンのロック状態を解除する（ステップＳ２０７）。

一方、対象とするフィールド画像が連続フィールドである場合（ステップＳ２０５でＹＥＳ）、候補画像比較・判定部１０５は、パターン履歴の更新を行う（ステップＳ２０８）。

次に、判定パターン検出部１０６は、この更新されたパターンが、特定パターンとマッチしているかどうかの判定を行う（ステップＳ２０９）。換言すれば、判定パターン検出部１０６は、更新されたパターン内の特定パターンの有無を検出する。

尚、特定パターンとは、２−３プルダウン処理における現フィールド画像の前後のフィールド画像のいずれを組み合わせるかを示す２−１−２−１−１の組み合わせパターンである。順序が同じであれば、１−２−１−１−２、２−１−１−２−１、１−１−２−１−２、１−２−１−２−１のいずれでも構わない。これらの特定パターンと更新されたパターンがマッチしている場合（ステップＳ２０９でＹＥＳ）、判定パターン検出部１０６は、検出パターンがロックした状態であるとする（ステップＳ２１０）。つまり、この検出パターンを、フィールド画像に対するフレームを画像を生成するための予測パターンとして利用することができる。

一方、マッチしていない場合（ステップＳ２０９でＮＯ）、判定パターン検出部１０６は、処理を終了する。

以上が、実施形態１の画像処理装置が実行する処理全体の流れの概略である。

次に具体的な処理手順を図９（ｅ）のように編集された例で、詳細に説明する。

これは、フィールド画像Ｂ２の後に編集点がある例であるが、フィールド画像Ｂ２までは、２−３プルダウン処理の特定パターンが検出されているものとして説明する。

まず、現フィールド画像がフィールド画像Ａ１の場合での処理について説明する。検出パターンはロックしている（パターンが検出できている）状態なので、予測パターンに基づく補間処理を行う。予測パターンは、２−１−２−１−１における最初の「２」に相当するので、１つ後のフィールド画像Ａ２との組み合わせでフレーム画像を出力する。これは、図１Ａの候補画像生成部１０３の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ａ１とそれの前フィールド画像とのペア、フィールド画像Ａ１とフィールド画像Ａ２のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、この場合、Ｃｏ２＞Ｃｏ１＞Ｃｏｅとなる。従って、フィールド画像Ａ１とフィールド画像Ａ２は連続フィールドと判定される。また、次のフィールド画像Ａ２にとって、フィールド画像Ａ１は前フィールド画像に相当するので、「１」のパターンが新たに更新される。過去５フィールドの判定結果が、１−２−１−１−２で次が「１」の場合、２−１−２−１−１の特定パターン（繰り返しパターン）にマッチしているので、検出パターンは、継続してロック状態となる。

次に、現フィールド画像がフィールド画像Ａ２の場合での処理について説明する。検出パターンはロックしている（パターンが検出できている）状態なので、予測パターンに基づく補間処理を行う。予測パターンは、２−１−２−１−１における２番目の「１」に相当するので、１つ前のフィールド画像Ａ１との組み合わせでフレーム画像を出力する。これは、図１Ａの候補画像生成部１０２の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ａ１とフィールド画像Ａ２のペア、フィールド画像Ａ２とフィールド画像Ｂ１のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、この場合、Ｃｏ１＞Ｃｏ２＞Ｃｏｅとなる。従って、フィールド画像Ａ２とフィールド画像Ｂ１は連続フィールドと判定される。また、次のフィールド画像Ｂ１にとって、前フィールド画像のフィールド画像Ａ２とはペアとならないので、フィールド画像Ｂ１は後フィールド画像とのペアになると考えられる。よって、「２」のパターンが新たに更新される。過去５フィールドの判定結果が、２−１−１−２−１で次が「２」の場合、２−１−２−１−１の特定パターン（繰り返しパターン）にマッチしているので、検出パターンは、継続してロック状態となる。

次に、現フィールド画像がフィールド画像Ｂ１の場合での処理について説明する。検出パターンはロックしている（パターンが検出できている）状態なので、予測パターンに基づく補間処理を行う。予測パターンは、２−１−２−１−１における３番目の「２」に相当するので、１つ後のフィールド画像Ｂ２との組み合わせでフレーム画像を出力する。これは、図１Ａの候補画像生成部１０３の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ａ２とフィールド画像Ｂ１のペア、フィールド画像Ｂ１とフィールド画像Ｂ２のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、Ｃｏ２＞Ｃｏ１＞Ｃｏｅとなる。従って、フィールド画像Ｂ１とフィールド画像Ｂ２は連続フィールドと判定される。また、次のフィールド画像Ｂ２にとって、フィールド画像Ｂ１は前フィールド画像に相当するので、「１」のパターンが新たに更新される。過去５フィールドの判定結果が、１−１−２−１−２で次が「１」の場合、２−１−２−１−１の特定パターン（繰り返しパターン）にマッチしているので、検出パターンは、継続してロック状態となる。

次に、現フィールド画像がフィールド画像Ｂ２の場合での処理について説明する。検出パターンはロックしている（パターンが検出できている）状態なので、予測パターンに基づく補間処理を行う。予測パターンは、２−１−２−１−１における４番目の「１」に相当するので、１つ前のフィールド画像Ｂ１との組み合わせでフレーム画像を出力する。これは、図１Ａの候補画像生成部１０２の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ｂ１とフィールド画像Ｂ２のペア、フィールド画像Ｂ２とフィールド画像Ｍ１のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、Ｃｏ１＞Ｃｏｅ＞Ｃｏ２となる。従って、フィールド画像Ｂ２とフィールド画像Ｍ１は不連続フィールドと判定される。よって、これまでのパターン履歴はリセットされ、パターンのロックも解除となる。

次に、現フィールド画像がフィールド画像Ｍ１の場合での処理について説明する。検出パターンはロックしていない（パターンが検出できていない）状態なので、フィールド内補間処理を行う。これは、図１Ａの候補画像生成部１０４の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ｂ２とフィールド画像Ｍ１のペア、フィールド画像Ｍ１とフィールド画像Ｍ２のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、Ｃｏ２＞Ｃｏ１＞Ｃｏｅとなる。従って、フィールド画像Ｍ１とフィールド画像Ｍ２は連続フィールドと判定される。また、次のフィールド画像Ｍ２にとって、フィールド画像Ｍ１は前フィールド画像に相当するので、「１」のパターンが新たに更新される。過去のパターン履歴はリセットされているので、特定パターンは検出することができず、パターンのロックは解除したままの状態となる。

次に、現フィールド画像がフィールド画像Ｍ２の場合についての処理を説明する。検出パターンはロックしていない（パターンが検出できていない）状態なので、フィールド内補間処理を行う。これは、図１Ａの候補画像生成部１０４の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ｍ１とフィールド画像Ｍ２のペア、フィールド画像Ｍ２とフィールド画像Ｎ１のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、Ｃｏ１＞Ｃｏ２＞Ｃｏｅとなる。従って、フィールド画像Ｍ２とフィールド画像Ｎ１は連続フィールドと判定される。次のフィールド画像Ｎ１にとって、前フィールド画像のフィールド画像Ｍ２とはペアとならないので、フィールド画像Ｎ１は後フィールド画像とのペアになると考えられる。よって、「２」のパターンが新たに更新される。パターン履歴リセット後の判定結果は、「１」のみであるため、特定パターンは検出することができず、パターンのロックは解除したままの状態となる。

以降、現フィールド画像がフィールド画像Ｎ１の場合のパターン履歴は、１−２、フィールド画像Ｎ２の場合のパターン履歴は、１−２−１、フィールド画像Ｎ３の場合のパターン履歴は、１−２−１−１となる。そして、フィールド画像Ｏ１の場合のパターン履歴は、１−２−１−１−２となり、この場合で、パターンがロック状態となる。

ここで行うフィールド内補間処理は、インターレース画像で飛び越したラインを補間する処理である。図５（ａ）の実線が画素の存在するライン、破線が画素の存在しないラインを示している。最もシンプルな方法としては、図５（ｂ）に示すように、補間対象の画素の上下の画素から内挿する方法がある。また、図５（ｃ）に示すように、対象画素の近傍画素から求めても良い。画像の特徴量に応じて、各画素に重み付けをして内挿する等しても良い。

次に、図９（ｆ）のように編集された例について説明する。これもフィールド画像Ｂ２の後に編集点がある例であり、フィールド画像Ｂ２までの処理は、前述と同様である。

まず、現フィールド画像がフィールド画像Ｌ３の場合での処理について説明する。検出パターンはロックしていない（パターンが検出できていない）状態なので、フィールド内補間処理を行う。これは、図１Ａの候補画像生成部１０４の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ｂ２とフィールド画像Ｌ３のペア、フィールド画像Ｌ３とフィールド画像Ｍ１のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、Ｃｏｅ＞Ｃｏ２＞Ｃｏ１となる。従って、フィールド画像Ｌ３とフィールド画像Ｍ１は不連続フィールドと判定される。従って、パターンは更新されない。また、過去のパターン履歴もリセットされているので、特定パターンは検出することができず、パターンのロックは解除したままの状態となる。

次に、現フィールド画像がフィールド画像Ｍ１の場合での処理について説明する。検出パターンはロックしていない（パターンが検出できていない）状態なので、フィールド内補間処理を行う。これは、図１Ａの候補画像生成部１０４の出力画像を選択したことになる。

このとき同時に、次フィールド判定処理を行う。判定処理の出力は、前フィールド画像との組み合わせか、後フィールド画像との組み合わせか、いずれでもないかの３つの場合分けを行う。

即ち、フィールド画像Ｌ３とフィールド画像Ｍ１のペア、フィールド画像Ｍ１とフィールド画像Ｍ２のペア、いずれともペアとならない、の３つの場合から選択することになる。図３、図４の処理に従えば、Ｃｏ２＞Ｃｏ１＞Ｃｏｅとなる。従って、フィールド画像Ｍ１とフィールド画像Ｍ２は連続フィールドと判定される。次のフィールド画像Ｍ２にとって、フィールド画像Ｍ１は前フィールド画像に相当するので、「１」のパターンが新たに更新される。過去のパターン履歴はリセットされているので、特定パターンは検出することができず、パターンのロックは解除したままの状態となる。

以降、現フィールド画像がフィールド画像Ｍ２の場合のパターン履歴は、１、フィールド画像Ｎ１の場合のパターン履歴は、１−２、フィールド画像Ｎ２の場合のパターン履歴は、１−２−１となる。また、フィールド画像Ｎ３の場合のパターン履歴は、１−２−１−１となる。そして、フィールド画像Ｏ１の場合のパターン履歴は、１−２−１−１−２となり、この場合で、パターンがロック状態となる。

以上説明したように、実施形態１によれば、現フィールド画像の前後それぞれのフィールド画像との相関を検出する。そして、その検出結果に基づいて、次フィールド画像に対するフレーム画像を生成するフィールド画像の組み合わせを判定して、フレーム画像を生成する、あるいは、フィールド内補間処理によってフレーム画像を生成する。

これにより、フィールド画像の並びの規則性が崩れた場合でも、時間軸の異なる劣化したフレーム画像の生成を防ぎ、安定した画質を保持することができる。

＜実施形態２＞
実施形態２の動画像処理装置は、図６に示すように、実施形態１における図１Ａの第３の候補画像生成部１０４に代えて、動き適応型Ｉ／Ｐ変換処理部６０４を構成している。ここで、Ｉ／Ｐ変換とは、インターレース画像（Ｉ画像）であるフィールド画像からプログレシップ画像（Ｐ画像）であるフレーム画像へ変換することを意味する。特に、この動き適応型Ｉ／Ｐ変換処理部６０４は、現フィールド画像と前フィールド画像の２つのフィールド画像から１つのフレームを生成する。

次に、実施形態２の動画像処理装置の具体的な処理について、図７を用いて説明する。

図７は本発明の実施形態２の動画像処理装置が実行する処理を示すフローチャートである。

実施形態１の図２のフローチャートとの違いは、検出パターンがロックされていない場合、動き適応型Ｉ／Ｐ変換処理部６０４が、動き適応型Ｉ／Ｐ変換処理を行う（ステップＳ７０４）点にある。次フィールド判定処理における、図３、図４の処理は実施形態１と同様である。

具体的な処理手順を、実施形態１と同様に、図９（ｅ）のように編集された例で、詳細に説明する。フィールド画像Ｂ２までの処理は、検出パターンがロックされている状態なので、前述と同様である。

そこで、現フィールド画像がフィールド画像Ｍ１の場合での処理について説明する。検出パターンはロックしていない（パターンが検出できていない）状態なので、動き適応型Ｉ／Ｐ変換処理を行う。これは、図６の動き適応型Ｉ／Ｐ変換処理部６０４の出力画像を選択したことになる。

ここで、動き適応型Ｉ／Ｐ変換処理の概要を図８を用いて説明する。

図８（ａ）は、現フィールド画像と前フィールド画像のラインの関係を示している。画素のあるラインを実線で、画素のないラインを破線で示している。動き適応型Ｉ／Ｐ変換処理では、補間対象画素がフィールド間で動いているか否かを判定し、処理を適応的に切り替える。

図８（ｂ）は、対象画素がフィールド間で動いていると判定した場合の補間例である。フィールド間で動きがある場合は、前フィールド画像の対応する画素は別の位置に動いてしまっているので、現フィールド画像のみで、補間画素を生成する。

図８（ｃ）は、対象画素がフィールド間で静止していると判定した場合の補間例である。このときは、前フィールド画像の対象画素をそのまま挿入することで、垂直方向の解像度を向上させることができる。

図８（ｄ）は、動いているか静止しているかの２つの状態ではなく、これらの間に重み付けをして、補間画素を生成する。

現フィールド画像がフィールド画像Ｍ１の場合は、前フィールド画像がフィールド画像Ｂ２であり、両者は不連続フィールドであるため、フィールド間で、対応する画素を見つけることはできず、結果的に図８（ｂ）の補間方式を採用することになる。

また、不連続フィールドを検出していることを積極的に利用し、この場合は、動き検出処理を強制的に「動き」に固定してしまう方法も有効である。その場合、得られる補間フレームは、実施形態１で説明したフィールド内補間処理と同様なものとなる。

このとき同時に、次フィールド判定処理を行う。以下は、実施形態１の場合と同様であり、フィールド画像Ｍ１とフィールド画像Ｍ２は連続フィールドと判定される。また、次のフィールド画像Ｍ２にとって、フィールド画像Ｍ１は前フィールド画像Ｍ２に相当するので、「１」のパターンが新たに更新される。過去のパターン履歴はリセットされているので、特定パターンは検出することができず、パターンのロックは解除したままの状態となる。

次に、現フィールド画像がフィールド画像Ｍ２の場合についての処理を説明する。検出パターンはロックしていない（パターンが検出できていない）状態なので、動き適応型Ｉ／Ｐ変換処理を行う。これは、図６の動き適応型Ｉ／Ｐ変換処理部６０４の出力画像を選択したことになる。

現フィールド画像がフィールド画像Ｍ２の場合は、前フィールド画像がフィールド画像Ｍ１であり、これは、元々同一時間のフレームに対するフィールドなので、結果的に図８（ｃ）の補間方式を採用することになる。

また、前フィールド画像で「１」を更新したことを積極的に利用し、動き検出処理を強制的に「静止」に固定してしまう方法も有効である。但し、パターンがロックした状態ではないので、「１」の結果の確実性は、やや低いことが見込まれるため、図８（ｄ）の補間方式で、「静止」に対する重み付けを変更する（増やす）方法を採用してもよい。

このとき同時に、次フィールド判定処理を行う。フィールド画像Ｍ２とフィールド画像Ｎ１は連続フィールドと判定される。次のフィールド画像Ｎ１にとって、前フィールド画像Ｍ２とはペアとならないので、フィールド画像Ｎ１は後フィールド画像とのペアになると考えられる。よって、「２」のパターンが新たに更新される。パターン履歴リセット後の判定結果は、「１」のみであるため、特定パターンは検出することができず、パターンのロックは解除したままの状態となる。

以降、現フィールド画像がフィールド画像Ｎ１の場合のパターン履歴は、１−２、フィールド画像Ｎ２の場合のパターン履歴は、１−２−１、フィールド画像Ｎ３の場合のパターン履歴は、１−２−１−１となる。そして、フィールド画像Ｏ１の場合のパターン履歴は、１−２−１−１−２となり、この場合で、パターンがロック状態となる。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、フィールド間の画素の動きに基づいて、フレームを生成するためのフィールドに対する補間処理を適応的に切り替える。これにより、よりフィールド画像の特性に応じたフレーム画像を生成することができる。

尚、実施形態２では、現フィールド画像と前フィールド画像の２つのフィールド画像から１つのフレームを生成する構成について説明したが、これに限定されない。例えば、状況に応じて、現フィールド画像と後フィールド画像の２つのフィールド画像から１つのフレームを生成したり、現フィールド画像と前フィールド画像の２つのフィールド画像から１つのフレームを生成したりすることも可能である。

つまり、第３の候補画像生成部として機能する動き適応型Ｉ／Ｐ変換処理部６０４は、前フィールド画像と後フィールド画像の少なくとも一方を補間画素生成用フィールド画像として入力する。そして、動き適応型Ｉ／Ｐ変換処理部６０４、指定された重み付けに従って、画素単位に現フィールド内の画素と補間画素生成用フィールド画像の画素を用いて補間画素を生成することで、現フィールド画像に対するフレーム画像を生成する。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態１の動画像処理装置の機能構成を示す図である。 本発明の実施形態１の動画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態１の動画像処理装置が実行する処理を示すフローチャートである。 本発明の実施形態１の次フィールド判定処理の詳細を示すフローチャートである。 本発明の実施形態１の次フィールド判定処理の詳細を示すフローチャートである。 本発明の実施形態１のフィールド内補間処理を説明するための図である。 本発明の実施形態２の動画像処理装置の機能構成を示す図である。 本発明の実施形態２の動画像処理装置が実行する処理を示すフローチャートである。 本発明の実施形態２のＩ／Ｐ変換処理を説明するための図である。 フレーム画像とフィールド画像の関係を説明するための図である。

符号の説明

１０１ メモリ
１０２ 候補画像生成部
１０３ 候補画像生成部
１０４ 候補画像生成部
１０５ 候補画像比較・判定部
１０６ 判定パターン検出部
１０７ 候補画像選択部

Claims (9)

1. 動画像中のフィールド画像からフレーム画像を生成する動画像処理装置であって、
   現在の現フィールド画像とそれより時間的に前の前フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第１の候補画像として出力する第１の候補画像生成手段と、
   前記現在の現フィールド画像とそれより時間的に後の後フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第２の候補画像として出力する第２の候補画像生成手段と、
   前記現フィールド画像を入力し、その現フィールド画像に対する画素補間処理によりフレーム画像を生成し、これを第３の候補画像として出力する第３の候補画像生成手段と、
   前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記現フィールド画像の判定結果を履歴情報として記憶する記憶手段と、
   前記記憶手段に記憶している前記現フィールド画像よりも前の連続するフィールド画像の履歴情報のパターンから、特定パターンを検出する検出手段と、
   前記検出手段の検出結果に基づいて、前記現フィールド画像のフレーム画像として、前記第１乃至第３の候補画像のいずれから選択する選択手段と
   を備えることを特徴とする動画像処理装置。
2. 前記選択手段は、
   前記検出手段が前記特定パターンを検出する場合、その特定パターンに従って、前記現フィールド画像のフレーム画像として、前記第１及び第２の候補画像のいずれかを選択し、
   前記検出手段が前記特定パターンを検出しない場合、前記現フィールド画像のフレーム画像として、前記第３の候補画像を選択する
   ことを特徴とする請求項１に記載の動画像処理装置。
3. 前記判定手段は、前記前フィールド画像と前記現フィールド画像との間の相関値、前記現フィールド画像と前記後フィールド画像との間の相関値及び閾値の３つの値の大小関係から、前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する
   ことを特徴とする請求項１に記載の動画像処理装置。
4. 前記記憶手段は、
   判定結果として前記前フィールド画像あるいは前記後フィールド画像のいずれかに前記連続性があると判定した場合は、その判定結果の履歴情報を記憶して、これまでに記憶している履歴情報を更新し、
   判定結果として前記前フィールド画像及び前記後フィールド画像のいずれにも前記連続性がないと判定した場合は、これまでに記憶している履歴情報をリセットする
   ことを特徴とする請求項１に記載の動画像処理装置。
5. 前記第３の候補画像生成手段は、前記前フィールド画像と前記後フィールド画像の少なくとも一方を補間画素生成用フィールド画像として入力し、指定された重み付けに従って、画素単位に前記現フィールド内の画素と前記補間画素生成用フィールド画像の画素を用いて補間画素を生成することで、前記現フィールド画像に対するフレーム画像を生成する
   ことを特徴とする請求項１に記載の動画像処理装置。
6. 前記第３の候補画像生成手段は、前記検出手段による特定パターンの検出の有無に応じて、前記重み付けを変更する
   ことを特徴とする請求項５に記載の動画像処理装置。
7. 前記第３の候補画像生成手段は、前記検出手段が前記特定パターンを検出しない場合、前記現フィールド画像の画素を用いる重み付けを増やす
   ことを特徴とする請求項６に記載の動画像処理装置。
8. 動画像中のフィールド画像からフレーム画像を生成する動画像処理装置の制御方法であって、
   現在の現フィールド画像とそれより時間的に前の前フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第１の候補画像として出力する第１の候補画像生成工程と、
   前記現在の現フィールド画像とそれより時間的に後の後フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第２の候補画像として出力する第２の候補画像生成工程と、
   前記現フィールド画像を入力し、その現フィールド画像に対する画素補間処理によりフレーム画像を生成し、これを第３の候補画像として出力する第３の候補画像生成工程と、
   前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する判定工程と、
   前記判定工程による判定結果に基づいて、前記現フィールド画像の判定結果を履歴情報として記憶媒体に記憶する記憶工程と、
   前記記憶媒体に記憶している前記現フィールド画像よりも前の連続するフィールド画像の履歴情報のパターンから、特定パターンを検出する検出工程と、
   前記検出工程の検出結果に基づいて、前記現フィールド画像のフレーム画像として、前記第１乃至第３の候補画像のいずれから選択する選択工程と
   を備えることを特徴とする動画像処理装置の制御方法。
9. 動画像中のフィールド画像からフレーム画像を生成する動画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
   現在の現フィールド画像とそれより時間的に前の前フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第１の候補画像として出力する第１の候補画像生成工程と、
   前記現在の現フィールド画像とそれより時間的に後の後フィールド画像とを入力し、これらを同一時間のデータとして組み合わせたフレーム画像を生成し、これを第２の候補画像として出力する第２の候補画像生成工程と、
   前記現フィールド画像を入力し、その現フィールド画像に対する画素補間処理によりフレーム画像を生成し、これを第３の候補画像として出力する第３の候補画像生成工程と、
   前記現フィールド画像が、前記前フィールド画像と連続性があるか、前記後フィールド画像と連続性があるか、あるいはいずれとも連続性がないかを判定する判定工程と、
   前記判定工程による判定結果に基づいて、前記現フィールド画像の判定結果を履歴情報として記憶媒体に記憶する記憶工程と、
   前記記憶媒体に記憶している前記現フィールド画像よりも前の連続するフィールド画像の履歴情報のパターンから、特定パターンを検出する検出工程と、
   前記検出工程の検出結果に基づいて、前記現フィールド画像のフレーム画像として、前記第１乃至第３の候補画像のいずれから選択する選択工程と
   をコンピュータに実行させることを特徴とするプログラム。

Images