JP2009010626A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】ノイズ発生要因となる処理を削減して、インターレース画像信号から高精細なプログレッシブ画像信号を生成することが可能な画像処理装置を実現する。
【解決手段】入力インターレース画像信号に対してフレーム解像度変換処理とフィールド解像度変換処理とがそれぞれ並列的に施され、出力すべきプログレッシブ画像信号と同じ高解像度のフレーム解像度変換処理後の画像データと、出力すべきプログレッシブ画像信号と同じ高解像度のフィール解像度変換処理後の画像データとがそれぞれ生成される。そして、フレーム解像度変換処理後の画像データとフィール解像度変換処理後の画像データとが、入力インターレース画像信号に対して行われた動き検出処理の結果に基づいて合成される。静止画領域には高精細なフレーム解像度変換処理後の画像が適用され、動画領域には時間的な誤りの無いフィールド解像度変換処理後の画像が適用される。
【選択図】 図５

Description

本発明はインターレース画像信号を高解像度のプログレッシブ画像信号に変換するための画像処理装置および画像処理方法に関する。

一般に、コンピュータやＴＶ装置においては、高精細で美しい映像を表示するために、ＩＰ変換処理および解像度変換処理（スケーリング処理）が実行される。

ＩＰ変換処理は、インターレース画像信号をその２倍のスキャンライン数を有するプログレッシブ画像信号に変換する処理であり、プログレッシブ変換処理とも称されている。一方、解像度変換処理は画像信号の解像度を変換する処理であり、例えば、ある元画像の解像度を、当該解像度よりも大きい解像度を有するディスプレイモニタにフルスクリーン表示する場合等に利用される。

例えば、標準解像度のインターレース画像信号（720 × 480i）を高解像度のプログレッシブ画像信号（1920 × 1080p）に変換する場合には、従来では、まず、ＩＰ変換処理が実行され、これによりインターレース画像信号（720 × 480i）がプログレッシブ画像信号（720 × 480P）に変換される。そして、このプログレッシブ画像信号（720 × 480P）に対してその解像度を大きくするための解像度変換処理が施されることにより、プログレッシブ画像信号の解像度は標準解像度（720 × 480P）から高解像度（1920 × 1080p）に拡大される。

特許文献１には、インターレース走査構造のデジタル映像信号をＩＰ変換器によってプログレッシブ走査構造のデジタル映像信号に変換した後、このプログレッシブ走査構造のデジタル映像信号の解像度を、解像度変換器によって所定の解像度に変換する技術が開示されている。
特開２０００−３３３１３５号公報

しかし、一般に、ＩＰ変換処理で得られた画像には、例えば斜め線等が階段状にギザギザに見えるといったノイズが発生しやすい。このようなノイズは、たとえ動き適用型のＩＰ変換処理を使用した場合であっても発生する。また、入力されたインターレース入力画像信号がＭＰＥＧ等の圧縮符号化方式で符号化された画像データをデコードすることによって得られた画像信号である場合には、その入力画像自体にもブロックノイズ等のＭＰＥＧ特有のノイズが含まれており、このノイズがＩＰ変換処理によってさらに増大することになる。

また、解像度変換処理においても、画素数を増加させるための補間処理等の演算に起因して一定のノイズが発生することになる。

したがって、最初にＩＰ変換処理を実行してプロブレッシブ画像を生成し、このプロブレッシブ画像を解像度変換処理によって高解像度化するという従来の構成では、ＩＰ変換処理と解像度変換処理という２つのノイズ発生要因があり、またＩＰ変換処理で発生したノイズが解像度変換処理によって増大し、且つ広範囲にまで広がってしまうという問題がある。

本発明は上述の事情を考慮してなされたものであり、ノイズ発生要因となる処理を削減して、インターレース画像信号から高精細なプログレッシブ画像信号を生成することが可能な画像処理装置および画像処理方法を提供することを目的とする。

上述の課題を解決するため、本発明は、入力される第１解像度のインターレース画像信号を前記第１解像度よりも大きい第２解像度のプログレッシブ画像信号に変換する画像処理装置であって、前記インターレース画像信号の各フィールド画像毎に前記インターレース画像信号内の各画素が動画領域および静止画領域のいずれに属するかを判定する動き検出処理を実行し、前記各フィールド画像毎に前記インターレース画像信号を動画領域と静止画領域とに区分する動き検出手段と、前記インターレース画像信号の２つの隣接するフィールド画像同士を合成してフレーム画像を生成し、当該生成したフレーム画像を単位として当該フレーム画像の解像度を前記第２解像度に変換するフレーム解像度変換処理を実行する第１の解像度変換処理手段と、前記インターレース画像信号のフィールド画像を単位として当該フィールド画像の解像度を前記第２解像度に変換するフィールド解像度変換処理を実行する第２の解像度変換処理手段と、前記動画検出手段による検出結果に基づき、前記動画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フィールド解像度変換処理後の画素それぞれと、前記静止画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フレーム解像度変換処理後の画素それぞれとを合成する合成処理を実行して、前記インターレース画像信号の各フィールド画像毎に前記第２解像度を有するプログレッシブ画像データを生成する合成処理手段とを具備することを特徴とする。

本発明によれば、ノイズ発生要因となる処理を削減できるようになり、インターレース画像信号から高精細なプログレッシブ画像信号を生成することが可能となる。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る画像処理装置を搭載した情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型の携帯型パーソナルコンピュータ１０として実現されている。

図１はパーソナルコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。ＬＣＤ１７は、例えばＨＤ（High Definition）規格に対応した表示画面サイズ（解像度）を有している。

コンピュータ本体１１の上面には、キーボード１３、本コンピュータ１を電源オン／オフするためのパワーボタン１４、入力操作パネル１５、およびタッチパッド１６などが配置されている。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、主メモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、ＴＶチューナ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４、およびネットワークコントローラ１２５等を備えている。

ＣＰＵ１１１は本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１から主メモリ１１３にロードされる、オペレーティングシステム、および各種アプリケーションプログラムを実行する。本実施形態では、ビデオアプリケーションプログラム２０１が実行される。

ビデオアプリケーションプログラム２０１は、ＴＶチューナ１２３によって受信されたＴＶ放送番組データに含まれる画像データ（動画像データ）または光ディスクドライブ（ＯＤＤ）１２２から読み出される画像データ（動画像データ）のような入力画像信号に対して各種画像処理を施す。入力画像信が例えばＳＤ解像度のインターレース画像信号である場合には、ビデオアプリケーションプログラム２０１は、入力画像信をＨＤ解像度のプログレッシブ画像信号に変換する処理等を実行する。

また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたシステムＢＩＯＳ（Basic Input Output System）も実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、主メモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、グラフィクスコントローラ１１４との通信を実行する機能も有している。

グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このグラフィクスコントローラ１１４はビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれた画像データをＬＣＤ１７に表示する。

サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。ＨＤＤ１２１は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１２３は、ビデオコンテンツが格納されたＤＶＤ、ＣＤなどの記憶メディアを駆動するためのドライブユニットである。ＴＶチューナ１２３は、ＴＶ放送番組のような放送番組データを受信するための受信装置である。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ネットワークコントローラ１２５は、例えばインターネットなどの外部ネットワークとの通信を実行する。

次に、図３を参照して、ビデオアプリケーションプログラム２０１の機能構成を説明する。

ビデオアプリケーションプログラム２０１は、ＳＤ解像度のインターレース画像信号（720 × 480i）をＨＤ解像度のプログレッシブ画像信号（1920 × 1080P）に変換する処理を実行するために、動画検出処理部３０１、フレーム解像度変換処理部３０２、フィールド解像度変換処理部３０３、および合成処理部３０４を備えている。

動画検出処理部３０１は、ＳＤ解像度の入力インターレース画像信号の各フィールド画像毎に入力インターレース画像信号内の各画素が、動きを伴う動画領域および動きを伴わない静止画領域のいずれに属するかを判定する動き検出処理を実行し、これにより各フィールド画像毎に入力インターレース画像信号を動画領域と静止画領域とに区分する。

この動画検出処理では、例えば、動き検出対象となる個々のフィールド毎に、入力インターレース画像信号内の各画素位置（当該検出対象フィールドに存在する全てのライン内の各画素、および当該フィールドに存在しない全てのライン内の各画素を含む）毎に動画領域／静止画領域が判定される。この動画検出処理は、例えば、検出対象のフィールド画像毎とその前後の２つのフィールド画像とを用いて実行することができる。もちろんも他の様々な手法を用いることも可能であり、例えば、検出対象フィールドに存在しない各ライン上の各画素については、検出対象フィールドの前後のフィールドの画素同士の相関値に基づいて動画領域か否かを判別し、検出対象フィールドに存在する各ライン上の各画素については、検出対象フィールドとその同相の１つ前のフィールドとの画素同士の相関値に基づいて動画領域か否かを判別してもよい。

フレーム解像度変換処理部３０２は、入力インターレース画像信号の２つの隣接するフィールド画像同士（トップフィールドとボトムフィールド）を合成してフレーム画像を生成し、当該生成したフレーム画像を単位として、当該フレーム画像の解像度（720 × 480p）をＨＤ解像度（1920 × 1080p）に変換するフレーム解像度変換処理（スケーリング）を実行する。このフレーム解像度変換処理においては、例えば、垂直方向に対しては、480個の画素を1080個の画素に拡大する画素数拡大処理が実行される。この場合、例えば、４画素を９画素に拡大する解像度変換（２．２５倍に拡大）が実行される。このフレーム解像度変換処理で得られた画像データの解像度は1920 × 1080pである。

フィールド解像度変換処理部３０３は、入力インターレース画像信号のフィールド画像を単位として当該フィールド画像の解像度をＨＤ解像度（1920 × 1080p）に変換するフィールド解像度変換処理（スケーリング）を実行する。フィールド画像の垂直方向の解像度はフレーム画像の半分であるので、フィールド解像度変換処理では、フレーム解像度変換処理よりも高い倍率で画素数の拡大が行われる。この場合、例えば、４画素を１８画素に拡大する解像度変換（４．５倍に拡大）が実行される。このフレーム解像度変換処理で得られた画像データの解像度は、フレーム解像度変換処理で得られる画像データの解像度と同じ1920 × 1080pである。

合成処理部３０４は、動画検出処理部３０１による検出結果に基づき、動画領域内に属すると判定された入力インターレース画像信号の各画素に対応するフィールド解像度変換処理後の画素それぞれと、静止画領域内に属すると判定された入力インターレース画像信号の各画素に対応するフレーム解像度変換処理後の画素それぞれとを合成する合成処理を実行して、インターレース画像信号の各フィールド画像毎にＨＤ解像度（1920 × 1080p）のプログレッシブ画像データを生成する。すなわち、静止画と判定された画素についてはフレーム解像度変換処理で作成された画素を、動画と判定された画素についてはフィールド解像度変換処理で作成された画素を、出力画像データ（ＨＤ解像度（1920 × 1080p）のプログレッシブ画像データ）に適用する。

次に、図４を参照して、入力インターレース画像信号（720 × 480i）からプログレッシブ画像信号（1920 × 1080p）を生成するための処理の手順について説明する。なお、ここでは、入力インターレース画像信号がTOP First(TOP Fieldが時間的に先の画像)である場合を例示して説明する。ＣＰＵ１１１によって実行されるビデオアプリケーションプログラム２０１は、以下の処理を行う。

ビデオアプリケーションプログラム２０１は、まず、入力インターレース画像信号（インターレース画像）をトップフィールド、ボトムフィールド、トップフィールド、…の順で順次入力し（ステップＳ１０１）、そして入力される個々のフィールド画像に対して動き検出処理を実行して、720×480のインターレース画像を静止画領域と動画領域とに区分する処理を個々のフィールド毎に実行する（ステップＳ１０２）。

このように、動き検出処理を解像度変換前の低解像度の画像に対して実行することにより、動き検出に必要な演算量を低減することができる。

次いで、ビデオアプリケーションプログラム２０１は、入力インターレース画像信号の２つの隣接するフィールド（トップフィールドおよびボトムフィールド）を合成してフレーム画像を生成しながら、当該フレーム画像の解像度を1920 × 1080pに拡大するためのフレーム解像度変換処理を実行する（ステップＳ１０３）。

そして、ビデオアプリケーションプログラム２０１は、入力インターレース画像信号からトップフィールド画像を抜き出し（ステップＳ１０４）、そのトップフィールド画像に対して、当該トップフィールド画像の解像度720 × 240を1920 × 1080に拡大するためのフィールド解像度変換処理（TOP Field解像度変換処理）を実行する（ステップＳ１０５）。次いで、ビデオアプリケーションプログラム２０１は、ステップＳ１０２で当該トップフィールド画像に対して行われた動き検出の結果に基づいて、静止画と判定された画素はステップＳ１０３のフレーム解像度変換処理で作成された画素を、動画と判定された画素はステップＳ１０５のTOP Field解像度変換処理で作成された画素を適用し、出力画像とする（ステップＳ１０６，Ｓ１０７，Ｓ１０８）。

ステップＳ１０６における動画領域か否かの判定処理は、例えば、生成対象の1920 × 1080pの出力画像内の各画素毎に行われ、動画と判定された画素にはTOP Field解像度変換処理で作成された対応する画素が適用され、静止画と判定された画素にはフレーム解像度変換処理で作成された対応する画素が適用される。生成対象の出力画像内の全ての画素の処理が完了するまで、ステップＳ１０６〜Ｓ１０８の処理は繰り返し実行される（ステップＳ１０９）。

すなわち、ビデオアプリケーションプログラム２０１は、動き検出処理によって動画領域および静止画領域のどちらに属するかが判定されたインターレース画像信号内の各画素位置がプログレッシブ画像データ内のどの画素位置に対応するかに基づいて、インターレース画像信号内の動画領域および静止画領域にそれぞれ対応するプログレッシブ画像データ内の動画領域および静止画領域を特定し、特定されたプログレッシブ画像データ内の動画領域にはTOP Field解像度変換処理によって得られた画像データ内の対応する領域の画像データを適用し、特定されたプログレッシブ画像データ内の静止画領域にはフレーム解像度変換処理によって得られた画像データ内の対応する領域の画像データを適用する。

このようにして、TOP Fieldについては、動き検出処理において静止画領域に属すると判定された各画素のフレーム解像度変換処理後の画素それぞれと、動き検出処理において動画領域に属すると判定された各画素のTOP Field解像度変換処理後の画素それぞれとによって、プログレッシブ画像データが生成される（ステップＳ１１０）。

BOTTOM Fieldに対しても同様の処理が実行される。

すなわち、ビデオアプリケーションプログラム２０１は、入力インターレース画像信号からボトムフィールド画像を抜き出し（ステップＳ１１１）、そのボトムフィールド画像に対して、当該ボトムフィールド画像の解像度を1920 × 1080に拡大するためのフィールド解像度変換処理（BOTTOM Field解像度変換処理）を実行する（ステップＳ１１２）。次いで、ビデオアプリケーションプログラム２０１は、ステップＳ１０２で当該ボトムフィールド画像に対して行われた動き検出の結果に基づいて、静止画と判定された画素はステップＳ１０３のフレーム解像度変換処理で作成された画素を、動画と判定された画素はステップＳ１１２のBOTTOM Field解像度変換処理で作成された画素を適用し、出力画像とする（ステップＳ１１３，Ｓ１１４，Ｓ１１５）。

ステップＳ１１３における動画領域か否かの判定処理は、上述したように、例えば、生成対象の1920 × 1080pの出力画像内の各画素毎に行われ、動画と判定された画素にはBOTTOM解像度変換処理で作成された対応する画素が適用され、静止画と判定された画素にはフレーム解像度変換処理で作成された対応する画素が適用される。生成対象の出力画像内の全ての画素の処理が完了するまで、ステップＳ１１３〜Ｓ１１５の処理は繰り返し実行される（ステップＳ１１６）。

すなわち、ビデオアプリケーションプログラム２０１は、BOTTOM Fieldに対する動き検出処理によって動画領域および静止画領域のどちらに属するかが判定されたインターレース画像信号内の各画素位置がプログレッシブ画像データ内のどの画素位置に対応するかに基づいて、インターレース画像信号内の動画領域および静止画領域それぞれに対応するプログレッシブ画像データ内の動画領域および静止画領域を特定し、特定されたプログレッシブ画像データ内の動画領域にはBOTTOM Field解像度変換処理によって得られた画像データ内の対応する領域の画像データを適用し、特定されたプログレッシブ画像データ内の静止画領域にはフレーム解像度変換処理によって得られた画像データ内の対応する領域の画像データを適用する。

このようにして、BOTTM Fieldについては、動き検出処理において静止画領域に属すると判定された各画素のフレーム解像度変換処理後の画素それぞれと、動き検出処理において動画領域に属すると判定された各画素のBOTTOM Field解像度変換処理後の画素それぞれとによって、プログレッシブ画像データが生成される（ステップＳ１１０）。

図５には、フレーム画像データ、TOP Field画像データ、BOTTOM Field画像データ、TOP Field解像度変換処理後の画像データ、BOTTOM Field解像度変換処理後の画像データと、TOP Field入力時に生成される出力画像データ（プログレッシブ画像データ）、BOTTOM Field入力時に生成される出力画像データ（プログレッシブ画像データ）がそれぞれ示されている。

図５に示されているように、TOP Field入力時においては、フレーム解像度変換処理によって得られた画像データとTOP Field解像度変換処理によって得られる画像データとを合成することによって出力画像データ（プログレッシブ画像データ）が作成される。この場合、出力画像データの静止画領域（静止画部）には、当該TOP Field画像とそれに隣接するBOTOM Field画像とから構成されるフレーム画像をフレーム解像度変換することによって得られる高精細な画像データの内で当該静止画領域に属する画像データが埋め込まれ、また出力画像データの動画領域（動画部）には、時間的なずれの無い当該TOP Field画像のみを解像度変換することによって得られる誤りのない画像データの内で当該動画領域に属する画像データが埋め込まれる。

同様に、BOTTOM Field入力時においては、フレーム解像度変換処理によって得られた画像データとBOTTOM解像度変換処理によって得られる画像データとから出力画像データ（プログレッシブ画像データ）が作成される。この場合、出力画像データの静止画領域（静止画部）には、当該BOTTOM画像とそれに隣接するTOP Field画像とを含むフレーム画像をフレーム解像度変換することによって得られる高精細な画像データが埋め込まれ、また出力画像データの動画領域（動画部）には、時間的なずれの無い当該BOTTOM Field画像のみを解像度変換することによって得られる誤りのない画像データが埋め込まれる。

図６は、解像度変換前に行う動き検出処理によって動画領域／静止画領域と判定された各画素が、解像度変換後の画像データのどの画素に相当するかを示した図である。

この例では、ａ，ｂ，ｃ，ｄの４画素を、(１)乃至(９)の９画素に拡大する解像度変換（２．２５倍に拡大）を行っている。１つの画素は２．２５個の画素に相当するように拡大される。例えば、上から３番目の画素（３）は、画素ａと画素ｂとを補間演算することによって求まり、その値は、
画素(３) = 0.25a + 0.75b
である。このことより、画素(３)は、静止画部0.25と動画部0.75の和で求まる。

また、例えば、画素(３)，（７）を、動画領域と見なすようにしてもよい。動画領域には、高精細ではないものの時間的な誤りの無いフィールド変換処理後の画像が適用されるので、画素(３)，（７）を動画領域と見なす処理も有効である。

図７には、出力画像内の動画部および静止画部それぞれへの解像度変換後の画像の適用例が示されている。

この例では、４画素を９画素に拡大する解像度変換（２．２５倍に拡大）を行っている。フレーム画像に対する解像度変換処理では４画素を９画素に拡大し、フィールド画像に対する解像度変換処理では４画素を１８画素へ拡大する。静止画部分は高精細なFrameによる解像度変換の結果を用い、動画部分は時間的な誤変換の無いFieldによる解像度変換の結果を用いる。

図８には、ＳＤ解像度のインターレース画像信号からＨＤ解像度のプログレッシブ画像データを生成する動作のタイミングの例が示されている。

いま、現在の変換対象のフィールドがトップフィールドＴ２である場合を想定する。トップフィールドＴ２に対する動き検出処理は、ボトムフィールドＢ１、トップフィールドＴ２、ボトムフィールドＢ２を用いて実行され、これにより入力インターレース画像の各画素位置毎に動画領域／静止画領域の判定が行われる。そして、動き検出処理の結果に基づいて、トップフィールドＴ２とボトムフィールドＢ２とのフィールド合成によって得られるフレームのフレーム解像度変換処理後の画像データと、トップフィールドＴ２のフィールド解像度変換処理後の画像データとを合成することにより、ＨＤ解像度のプログレッシブ画像データが生成される。

現在の変換対象のフィールドがボトムフィールドＢ２である場合には、ボトムフィールドＢ２に対する動き検出処理が、トップフィールドＴ２、ボトムフィールドＢ２、トップフィールドＴ３を用いて実行され、これにより入力インターレース画像の各画素位置毎に動画領域／静止画領域の判定が行われる。そして、動き検出処理の結果に基づいて、例えば、ボトムフィールドＢ２とトップフィールドＴ３とのフィールド合成処理、またはトップフィールドＴ２とボトムフィールドＢ２とのフィールド合成処理によってフレーム画像が生成される。そして、そのフレーム画像のフレーム解像度変換処理後の画像データと、ボトムフィールドＢ２のフィールド解像度変換処理後の画像データとを合成することにより、ＨＤ解像度のプログレッシブ画像データが生成される。上述したように、フレーム解像度変換処理後の画像データは静止画領域にのみ用いられるので、ボトムフィールドＢ２とトップフィールドＴ３とから構成されるフレーム画像ではなく、トップフィールドＴ２とボトムフィールドＢ２とから構成されるフレーム画像を用いても問題は生じない。トップフィールドＴ２とボトムフィールドＢ２とから構成されるフレーム画像およびそのフレーム解像度変換後の画像データは既に生成されているので、当該フレーム解像度変換後の画像データは、トップフィールドＴ２のフィールド解像度変換処理後の画像データとの合成処理、およびボトムフィールドＢ２のフィールド解像度変換処理後の画像データとの合成処理の双方で共通に使用することができる。

このように、本実施形態では、入力インターレース画像信号に対してフレーム解像度変換処理とフィールド解像度変換処理とがそれぞれ並列的に施され、出力すべきプログレッシブ画像信号と同じ高解像度のフレーム解像度変換処理後の画像データと、出力すべきプログレッシブ画像信号と同じ高解像度のフィール解像度変換処理後の画像データとがそれぞれ生成される。そして、それらフレーム解像度変換処理後の画像データとフィール解像度変換処理後の画像データとが、入力インターレース画像信号の各フィールドに対する動き検出処理の結果に基づいて合成される。

したがって、従来のＩＰ変換処理を用いずに、ＳＤ解像度の入力インターレース画像信号からＨＤ解像度のプログレッシブ画像信号を生成することが可能となる。入力インターレース画像信号に対して施されるノイズ発生要因となる処理は、１回の解像度変換処理（フレーム解像度変換処理またはフィールド解像度変換処理）のみとなるので、入力インターレース画像信号に対してＩＰ変換処理および解像度変換処理を順次施す従来の方法に比し、ノイズの発生を大幅に低減することが可能となり、高精細なプログレッシブ画像信号を出力することが可能となる。

また、合成処理においては、静止画領域には高精細なフレーム解像度変換処理後の画像が適用されるが、動画領域には時間的な誤りの無いフィールド解像度変換処理後の画像が適用されるので、コーミングノイズのようなノイズの発生を防止することが出来る。

なお、動き検出処理の結果に基づいて、インターレース画像信号内のフィールド画像毎に当該入力インターレース画像信号が静止画領域または動画領域のいずれか一方のみを含む画像であるか否かを判別し、静止画領域のみを含む画像であることが判別された場合にはフィールド解像度変換処理の実行を省略し、動画画領域のみを含む画像であることが判別された場合にはフレーム解像度変換処理の実行を省略する機能をビデオアプリケーションプログラム２０１に追加することにより、ＣＰＵ１１１の処理の負荷を大幅に低減することが可能となる。

この場合、ビデオアプリケーションプログラム２０１は、図９のフローチャートに示す手順を実行する。

ビデオアプリケーションプログラム２０１は、まず、入力インターレース画像信号（インターレース画像）をトップフィールド、ボトムフィールド、トップフィールド、…の順で順次入力し（ステップＳ２０１）、そして入力される個々のフィールド画像に対して動き検出処理を実行して、720×480のインターレース画像を静止画領域と動画領域とに区分する処理を個々のフィールド毎に実行する（ステップＳ２０２）。

次いで、ビデオアプリケーションプログラム２０１は、動き検出処理の結果に基づいて、インターレース画像が静止画のみの画像、動画のみの画像、静止画と動画を含む画像、のいずれであるかを判別する（ステップＳ２０３，Ｓ２０５）。

インターレース画像が静止画のみの画像である場合には（ステップＳ２０３のＹＥＳ）、ビデオアプリケーションプログラム２０１は、フィールド解像度変換処理の実行をスキップし、フレーム解像度変換処理のみを実行する（ステップＳ２０４）。そして、フレーム解像度変換処理で得られた画像データが出力画像データ（プログレッシブ画像信号）として出力される。

一方、インターレース画像が動画のみの画像である場合には（ステップＳ２０５のＹＥＳ）、ビデオアプリケーションプログラム２０１は、フレーム解像度変換処理の実行をスキップし、フィールド解像度変換処理のみを実行する（ステップＳ２０６）。そして、このフィールド解像度変換処理で得られた画像データが出力画像データ（プログレッシブ画像信号）として出力される。

インターレース画像が動画と静止画の双方を含むならば、ビデオアプリケーションプログラム２０１は、フレーム解像度変換処理およびフィールド解像度変換処理をそれぞれ実行し（ステップＳ２０７，Ｓ２０８）し、そして、フレーム解像度変換処理で得られた画像データとフィールド解像度変換処理で得られた画像データとを、動き検出処理の結果に基づいて合成し、出力画像データ（プログレッシブ画像信号）として出力する（ステップＳ２０９）。

なお、本実施形態では、入力インターレース画像信号がTOP First(TOP Fieldが時間的に先の画像)である場合を例示して説明したが、BOTTOM First(BOTTOM Fieldが時間的に先の画像)の入力インターレース画像信号に対しても同様の処理を適用することができる。

また、本実施形態の画像処理装置はコンピュータに限らず、ＴＶ受像機、プレーヤのような各種電子機器によって実現してもよい。この場合、本実施形態の画像処理は、専用回路またはマイクロコンピュータなどによって実行することができる。

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るコンピュータの概観を示す斜視図。 図１のコンピュータのシステム構成を示すブロック図。 図１のコンピュータで用いられるビデオアプリケーションプログラムの機能構成を示すブロック図。 図１のコンピュータによって実行される画像処理の手順を示すフローチャート。 図４の画像処理で生成される画像データを説明するための図。 図４の画像処理における、解像度変換前と解像度変換後の画素位置の関係を説明するための図。 図４の画像処理における、出力画像内の動画部および静止画部それぞれへの解像度変換後の画像の適用例を示す図。 図１のコンピュータによって実行されるインターレース画像信号からプログレッシブ画像信号への変換動作のタイミングの例を示す図。 図１のコンピュータによって実行される画像処理の手順の他の例を示すフローチャート。

符号の説明

１０…コンピュータ、１１１…ＣＰＵ、２０１…ビデオアプリケーションプログラム、３０１…動画検出処理部、３０２…フレーム解像度変換処理部、３０３…フィールド解像度変換処理部、３０４…合成処理部。

Claims (9)

1. 入力される第１解像度のインターレース画像信号を前記第１解像度よりも大きい第２解像度のプログレッシブ画像信号に変換する画像処理装置であって、
   前記インターレース画像信号の各フィールド画像毎に前記インターレース画像信号内の各画素が動画領域および静止画領域のいずれに属するかを判定する動き検出処理を実行し、前記各フィールド画像毎に前記インターレース画像信号を動画領域と静止画領域とに区分する動き検出手段と、
   前記インターレース画像信号の２つの隣接するフィールド画像同士を合成してフレーム画像を生成し、当該生成したフレーム画像を単位として当該フレーム画像の解像度を前記第２解像度に変換するフレーム解像度変換処理を実行する第１の解像度変換処理手段と、
   前記インターレース画像信号のフィールド画像を単位として当該フィールド画像の解像度を前記第２解像度に変換するフィールド解像度変換処理を実行する第２の解像度変換処理手段と、
   前記動画検出手段による検出結果に基づき、前記動画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フィールド解像度変換処理後の画素それぞれと、前記静止画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フレーム解像度変換処理後の画素それぞれとを合成する合成処理を実行して、前記インターレース画像信号の各フィールド画像毎に前記第２解像度を有するプログレッシブ画像データを生成する合成処理手段とを具備することを特徴とする画像処理装置。
2. 前記動画検出手段による検出結果に基づき、前記各フィールド画像毎に当該画像が静止画領域または動画領域のいずれか一方のみを含む画像であるか否かを判別し、前記静止画領域のみを含む画像であることが判別された場合には前記フィールド解像度変換処理の実行を省略し、前記動画画領域のみを含む画像であることが判別された場合には前記フレーム解像度変換処理の実行を省略する手段をさらに具備することを特徴とする請求項１記載の画像処理装置。
3. 前記合成処理手段は、前記動画検出手段によって前記動画領域および前記静止画領域のどちらに属するかが判定された前記インターレース画像信号内の各画素位置が前記第２解像度を有するプログレッシブ画像データ内のどの画素位置に対応するかに基づいて、前記インターレース画像信号内の動画領域および静止画領域それぞれに対応する前記プログレッシブ画像データ内の動画領域および静止画領域を特定し、前記特定された前記プログレッシブ画像データ内の動画領域には前記フィールド解像度変換処理によって得られた画像データ内の対応する画像データを適用し、前記特定された前記プログレッシブ画像データ内の静止画領域には前記フレーム解像度変換処理によって得られた画像データ内の対応する画像データを適用することによって、前記合成処理を実行することを特徴とする請求項１記載の画像処理装置。
4. 入力される第１解像度のインターレース画像信号を前記第１解像度よりも大きい第２解像度のプログレッシブ画像信号に変換する画像処理方法であって、
   前記インターレース画像信号の各フィールド画像毎に前記インターレース画像信号内の各画素が動画領域および静止画領域のいずれに属するかを判定する動き検出処理を実行し、前記各フィールド画像毎に前記インターレース画像信号を動画領域と静止画領域とに区分するステップと、
   前記インターレース画像信号の２つの隣接するフィールド画像同士を合成してフレーム画像を生成し、当該生成したフレーム画像を単位として当該フレーム画像の解像度を前記第２解像度に変換するフレーム解像度変換処理を実行するステップと、
   前記インターレース画像信号のフィールド画像を単位として当該フィールド画像の解像度を前記第２解像度に変換するフィールド解像度変換処理を実行するステップと、
   前記動画検出処理の検出結果に基づき、前記動画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フィールド解像度変換処理後の画素それぞれと、前記静止画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フレーム解像度変換処理後の画素それぞれとを合成する合成処理を実行して、前記インターレース画像信号の各フィールド画像毎に前記第２解像度を有するプログレッシブ画像データを生成する合成処理ステップとを具備することを特徴とする画像処理方法。
5. 前記動画検出処理の検出結果に基づき、前記各フィールド画像毎に当該画像が静止画領域または動画領域のいずれか一方のみを含む画像であるか否かを判別するステップと、
   前記静止画領域のみを含む画像であることが判別された場合には前記フィールド解像度変換処理の実行を省略し、前記動画画領域のみを含む画像であることが判別された場合には前記フレーム解像度変換処理の実行を省略するステップとをさらに具備することを特徴とする請求項４記載の画像処理方法。
6. 前記合成処理を実行するステップは、前記動画検出処理によって前記動画領域および前記静止画領域のどちらに属するかが判定された前記インターレース画像信号内の各画素位置が前記第２解像度を有するプログレッシブ画像データ内のどの画素位置に対応するかに基づいて、前記インターレース画像信号内の動画領域および静止画領域それぞれに対応する前記プログレッシブ画像データ内の動画領域および静止画領域を特定し、前記特定された前記プログレッシブ画像データ内の動画領域には前記フィールド解像度変換処理によって得られた画像データ内の対応する画像データを適用し、前記特定された前記プログレッシブ画像データ内の静止画領域には前記フレーム解像度変換処理によって得られた画像データ内の対応する画像データを適用することによって、前記合成処理を実行することを特徴とする請求項４記載の画像処理方法。
7. 入力される第１解像度のインターレース画像信号を前記第１解像度よりも大きい第２解像度のプログレッシブ画像信号に変換する画像処理をコンピュータに実行させるプログラムであって、
   前記インターレース画像信号の各フィールド画像毎に前記インターレース画像信号内の各画素が動画領域および静止画領域のいずれに属するかを判定する動き検出処理を実行し、前記各フィールド画像毎に前記インターレース画像信号を動画領域と静止画領域とに区分する手順と、
   前記インターレース画像信号の２つの隣接するフィールド画像同士を合成してフレーム画像を生成し、当該生成したフレーム画像を単位として当該フレーム画像の解像度を前記第２解像度に変換するフレーム解像度変換処理を実行する手順と、
   前記インターレース画像信号のフィールド画像を単位として当該フィールド画像の解像度を前記第２解像度に変換するフィールド解像度変換処理を実行する手順と、
   前記動画検出処理の検出結果に基づき、前記動画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フィールド解像度変換処理後の画素それぞれと、前記静止画領域内に属すると判定された前記インターレース画像信号の各画素に対応する前記フレーム解像度変換処理後の画素それぞれとを合成する合成処理を実行して、前記インターレース画像信号の各フィールド画像毎に前記第２解像度を有するプログレッシブ画像データを生成する合成処理手順とを、前記コンピュータに実行させることを特徴とするプログラム。
8. 前記動画検出処理の検出結果に基づき、前記各フィールド画像毎に当該画像が静止画領域または動画領域のいずれか一方のみを含む画像であるか否かを判別する手順と、
   前記静止画領域のみを含む画像であることが判別された場合には前記フィールド解像度変換処理の実行を省略し、前記動画画領域のみを含む画像であることが判別された場合には前記フレーム解像度変換処理の実行を省略する手順とを、前記コンピュータにさらに実行させることを特徴とする請求項７記載のプログラム。
9. 前記合成処理手順は、前記動画検出処理によって前記動画領域および前記静止画領域のどちらに属するかが判定された前記インターレース画像信号内の各画素位置が前記第２解像度を有するプログレッシブ画像データ内のどの画素位置に対応するかに基づいて、前記インターレース画像信号内の動画領域および静止画領域それぞれに対応する前記プログレッシブ画像データ内の動画領域および静止画領域を特定し、前記特定された前記プログレッシブ画像データ内の動画領域には前記フィールド解像度変換処理によって得られた画像データ内の対応する画像データを適用し、前記特定された前記プログレッシブ画像データ内の静止画領域には前記フレーム解像度変換処理によって得られた画像データ内の対応する画像データを適用する手順を、前記コンピュータに実行させることを特徴とする請求項７記載のプログラム。

Images