JP2013102295A - 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム - Google Patents

Abstract

【課題】 フィールド画像のラインを補間してプログレッシブ化した画像を、異なる装置で補間したラインを間引いてフィールド画像に再変換する場合、補間したラインを識別することができず、元のフィールド画像に再変換することは難しかった。
【解決手段】 フィールド画像をプログレッシブ化した画像を符号化して画像ストリーム生成する符号化装置に、プログレッシブ化時に補間したラインを識別するライン補間情報を付加する手段を設ける。復号装置には、ライン補間情報を分離する手段を設け、復号したプログレッシブ画像をフィールド画像に再変換する場合には、ライン補間情報を参照して、補間したラインを間引く。
【選択図】 図２

Description

本発明は画像の符号化・復号において、動きベクトルを用いて符号化する際の画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関する。

デジタル放送規格であるＡＲＩＢ−ＳＴＤ−Ｂ３２では、インターレース形式の映像の放送方法が規定され、実際に多くのインターレース形式の映像が記録、放送されている。映像のフォーマットには、プログレッシブ形式とインターレース形式が存在する。プログレッシブ形式において、フレーム画像は一枚の画像から構成され、例えばフレームレートが３０／１．００１ｆｐｓの映像の場合、フレーム画像は、１．００１／３０秒ごとに記録、伝送、表示される。

一方、インターレース形式において、フレーム画像は２種類のフィールド画像、一組から構成される。この２種類のフィールド画像の一つは、フレーム画像の水平方向の第０ライン、第２ライン、第４ライン、・・・（以下、トップフィールドラインとする）から構成されるトップフィールド画像である。もう一つのフレーム画像の水平方向の第１ライン、第３ライン、第５ライン、・・・（以下、ボトムフィールドラインとする）から構成されるボトムフィールド画像がある。つまり、フィールド画像の垂直解度像はフレーム画像の解像度の半分となる。また、トップフィールド画像とボトムフィールド画像は、撮像されたタイミング（表示すべきタイミング）がずれている。例えば、フレームレートが３０／１．００１ｆｐｓのインターレース映像の場合、２フィールド＝１フレームであるため、フィールド画像間には１．００１／６０秒の時間のずれが存在する。

現在、コンピュータで映像を視聴する機会が増えている。コンピュータ用のディスプレイの多くはインターレース映像の入力・表示には未対応のため、インターレース映像を視聴するためには、プログレッシブ映像に変換してからディスプレイへ出力する必要がある。また、視聴や映像加工のために画像サイズを変換することがあるが、プログレッシブ映像の画像サイズ変換に比べ、インターレース映像の画像サイズ変換は、その特殊なライン構造のために、複雑な処理を必要とする。そのため、あらかじめ、インターレース形式で撮影・記録された映像をプログレッシブ形式に変換・符号化し、記録したほうが効率よい場合が多い。

インターレース形式で記録された映像をプログレッシブ形式で保存するためには、インターレース映像をプログレッシブ映像に変換するデインターレース処理が必要となる。デインターレース処理の方式としては、大きな分類としてＢＯＢ方式とＷＥＡＶＥ方式が知られている。ＢＯＢ方式は、フィールド画像の上下のラインから足りないラインを補間し、一枚のフレーム画像を生成する方式である。そのフレームレートは元のインターレース映像の２倍になるが、垂直方向の実質的な解像度はフレーム画像の解像度の半分となる問題がある。ＷＥＡＶＥ方式は、同一フレームのトップフィールド画像とボトムフィールド画像をラインごとにインターリーブし、一つのフレームを作る方式である。静止シーンでの垂直解像度は高いが、動きのある領域にコーミングノイズとよばれるノイズが発生しやすいという問題がある。また、ＢＯＢ方式とＷＥＡＶＥ方式を領域適応的に組み合わせたデインターレースも存在するが、適応的に処理をするために処理負荷が重いという問題がある。このような違いがあるため、画像の特性やユースケースによって、最適なデインターレース方式が選択されることになる。

また、映像の放送、記録、運用には、映像を符号化してデータ量を削減する必要がある。符号化方式には、ＭＰＥＧ−２（非特許参考文献１）や、Ｈ．２６４（非特許参考文献２）、Ｍｏｔｉｏｎ ＪＰＥＧ ２０００（非特許参考文献３）などがある。ＭＰＥＧ−２は、前述のインターレース形式によるデジタル放送に使われている符号化方式である。Ｈ．２６４は、ＭＰＥＧ−２よりも符号化効率が高い符号化方式であり、近年は、メモリカード、ハードディスク、光メディアなどへの映像の記録に使われることが多くなっている。Ｍｏｔｉｏｎ ＪＰＥＧ ２０００は、動画編集などに向いているとされる符号化方式である。ＭＰＥＧ−２やＨ．２６４は、プログレッシブ形式、インターレース形式の双方の符号化に対応しているが、Ｍｏｔｉｏｎ ＪＰＥＧ ２０００は、プログレッシブ形式の符号化のみ対応している。

非特許参考文献１

ＩＳＯ／ＩＥＣ １３８１８−２：２０００ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ―― Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ： Ｖｉｄｅｏ

非特許参考文献２

ＩＳＯ／ＩＥＣ １４４９６−１０；２００４ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ―― Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ ―― Ｐａｒｔ １０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ

非特許参考文献３

ＩＳＯ−１５４４４−３／ＩＴＵ−Ｔ Ｒｅｃ．８０２

フィールド画像をＢＯＢ方式によりラインを補間して生成したプログレッシブ画像を、再度フィールド画像に再変換するには、補間されたラインを間引いてフィールド画像を生成すればよい。フィールド画像を入力して、プログレッシブ化し、プログレッシブ化された画像を符号化して画像ストリームを生成する機能を有する符号化装置があったとする。また、画像ストリームを復号して、プログレッシブ画像を生成し、プログレッシブ画像をフィールド画像へ再変換する機能を有する復号装置があったとする。符号化装置が生成した画像ストリームを符号化装置から復号装置へ伝送した場合には、伝送先の復号装置はどのラインが補間されたかを識別することはできない。したがって、復号装置は、符号化装置が入力したオリジナルのフィールド画像に存在していたラインを誤って間引いてしまうことがあり、フィールド画像を正しく再生成できない問題があった。

よって本発明は上述の課題を解決するためになされたものであり、伝送元の符号化装置が入力したフィールド画像と同等のフィールド画像を伝送先の復号装置側で再生成可能とすることを目的とする。

前述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、プログレッシブ画像と前記プログレッシブ画像の特性を表すフォーマット情報から、入力されたプログレッシブ画像がインターレース画像をデインターレース処理した画像であるか否かを判定する判定手段と、前記入力されたプログレッシブ画像がデインターレース処理した画像であった場合にフォーマット情報からデインターレース方法を示す情報を抽出するデインターレース情報抽出手段と、前記判定手段の結果を符号化する第１の符号化手段と、前記デインターレース情報抽出手段の結果を符号化する第２の符号化手段と、入力されたプログレッシブ画像を符号化する画像符号化手段と、前記第１の符号化手段の結果と前記第２の符号化手段の結果と前記画像符号化手段の結果を統合して出力する出力手段を有することを特徴とする。

さらに、本発明の画像復号装置は以下の構成を有する。すなわち、符号化された画像データから、符号化された画像のフォーマット情報であるフォーマット情報符号化データを分離する分離手段と、前記フォーマット情報符号化データから、符号化された画像がプログレッシブ画像であるか、インターレース画像をデインターレース処理した画像であるかを表す情報を復号する第１の復号手段と、前記第１の復号手段の復号の結果がデインターレース処理した画像を示すものであった場合、デインターレースの方法を示す情報を復号する第２の復号手段と、前記符号化された画像データを復号する画像復号手段と、前記第１の復号手段の結果と前記第２の復号手段の結果から復号画像のフォーマット情報を生成するフォーマット情報生成手段とを有することを特徴とする。

復号装置側で、ライン補間情報を参照して補間されたラインを正しく間引くことにより、符号化処理による量子化誤差などの影響を除けば、伝送元の符号化装置が入力したフィールド画像と同等のフィールド画像を伝送先の復号装置側で再生成することができる。

実施形態１として説明する符号化装置のブロック図 実施形態１として説明する符号化装置のストリーム生成部のブロック図 実施形態２として説明する復号装置のブロック図 実施形態２として説明する復号装置のストリーム復号部のブロック図 （ａ）Ｙプレーンのボトムフィールドラインを補間する処理例を示す図 （ｂ）Ｙプレーンのトップフィールドラインを補間する処理例を示す図 （ａ）フォーマット情報のシンタックスの例を説明する図 （ｂ）フォーマット情報のｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号の値を説明する図 （ｃ）フォーマット情報のｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号を説明する図 （ａ）フォーマット情報ビット列と画像ストリームの結合例を示す説明する図 （ｂ）フォーマット情報ビット列と画像ストリームの結合例の第一の変形例を説明する図 符号化装置と復号装置を含むアーカイブシステムの構成例を説明する図 プログラムを実行するハードウェア構成を説明する図 フィールド保存方式によるデインターレース処理および符号化処理を実行するフローを説明した図 画像ストリームとフォーマット情報ビット列を生成し、それらを統合するフローを説明する図 デインターレース情報符号化サブルーチンのフローを説明する図 画像復号処理およびインターレース処理フローを説明する図 画像ストリーム復号サブルーチンのフローを説明する図 デインターレース情報復号サブルーチンのフローを説明する図 フィールド合成方式によるデインターレース処理および符号化処理を実行するフローを説明した図 デインターレース処理および符号化処理を実行するフローを説明した図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本実施形態では、フィールド画像単位でインターレース画像を入力してインターレース画像からプログレッシブ画像を生成し、または、プログレッシブ画像を入力して、前記のプログレッシブ画像を符号化する符号化装置について図１および図２を用いて説明する。本実施形態の入力画像は、ＹＵＶ４２０の面順次形式のインターレース画像、あるいは、ＹＵＶ４２０の面順次形式のプログレッシブ画像であるものとして説明する。面順次形式とは、画素値を、各色成分の画素値の集合であるプレーンごとに格納する格納形式である。つまり、ＹＵＶの面順次形式の画像は、独立したＹプレーン、Ｕプレーン，Ｖプレーンから構成されることになる。

図１は、本実施形態で説明する符号化装置を詳細化したブロック図である。１０１はデインターレース処理を行う画像変換部である。１０２は画像符号化処理を行うストリーム生成部である。以下、符号化装置の詳細な動作について説明する。なお、処理対象は、複数の画像の連続的な集まりである映像であるが、装置内では、映像に含まれる画像を連続的に処理するものとして説明する。また、本実施形態では、画像変換部１０１に符号化装置に入力された画像を原画と表現することにする。

画像変換部１０１は、原画および、原画フォーマット情報を入力する。原画フォーマット情報とは、画像識別情報とフィールド識別情報からなる情報である。画像識別情報とは、原画がインターレース画像であるか、プログレッシブ画像であるかを識別する情報である。フィールド識別情報は、原画がインターレース画像である場合に、入力したフィールド画像がトップフィールド画像であるか、ボトムフィールド画像であるかを示す情報である。画像変換部１０１は、画像識別情報がプログレッシブ画像を示す情報である場合には、原画とフォーマット情報をストリーム生成部１０２へ出力する。フォーマット情報とは、画像識別情報、デインターレース情報からなる情報である。画像識別情報がインターレース画像を示す場合には、原画をプログレッシブ画像へ変換し、プログレッシブ画像とフォーマット情報をストリーム生成部１０２へ出力する。原画をプログレッシブ画像へ変換するデインターレース処理方法およびデインターレース情報については後述する。

本実施形態では、画像変換部１０１は、ＢＯＢ方式とＷＥＡＶＥ方式、二種類のデインターレース方式を実行でき、ユーザーはあらかじめ、どちらのデインターレース方式を使って処理を行うかを画像変換部１０１に設定しておくものとする。なお、本実施形態では、ＢＯＢ方式でデインターレース処理された場合など、一つのフィールドに対してフレーム画像が生成されるデインターレース方式を「フィールド保存」方式と表現する。また、ＷＥＡＶＥ方式でデインターレース処理された場合など、２つのフィールドから一つフレームが合成されるデインターレース方式を「フィールド合成」方式と表現する。
以下、画像変換部１０１のＢＯＢ方式によるデインターレース処理について本実施形態の動作を説明する。

図５（ａ）はＹプレーンのボトムフィールドラインを補間する処理例を示す図である。図５（ｂ）Ｙプレーンのトップフィールドラインを補間する処理例を示す図である。図５の濃い網掛けの画素は、フレームの画素が存在していることを表し、薄い網掛けの画素はフレームの画素が補間されたことを表し、空白の画素はフレームの画素が欠落していることを表している。入力されたフィールド画像のフィールド識別情報がトップフィールドを示す場合には、フィールド画像を図５（ａ）のように、画素ごとに上下のトップフィールドラインの画素値の平均を計算して、欠落しているボトムフィールドラインの画素を生成する。フィールド識別情報がボトムフィールドを示す場合には、図５（ｂ）のように画素ごとに上下のボトムフィールドラインの画素値の平均を計算して、欠落しているトップフィールドラインの画素を生成する。このようにしてフィールド画像からプログレッシブ画像を生成する。同様に、Ｕプレーン，Ｖプレーンも処理する。生成したプログレッシブ画像を出力する際、デインターレース情報と画像識別情報をストリーム生成部１０２へ出力する。デインターレース情報は、デインターレース方式情報、ライン補間情報、フィールド合成情報からなる情報である。デインターレース方式情報は、デインターレース方式が「フィールド保存」方式であるか、「フィールド合成方式」であるかを示す情報である。ライン補間情報とは、補間したラインがトップフィールドラインであるかボトムフィールドラインであるかを識別する情報である。フィールド合成情報については後述するが、ライン補間情報とは排他的に存在する情報である。ＢＯＢ方式によるデインターレース処理の場合、デインターレース方式情報は「フィールド保存」を示し、デインターレース情報にはデインターレース方式情報とライン補間情報のみが存在する。

本実施形態のＢＯＢ方式によるデインターレース処理の結果、フレームレートは２倍になる。例えば、入力フレームレートが３０ｆｐｓ（毎秒６０フィールド）の場合、生成されたプログレッシブ画像のフレームレートは６０ｆｐｓとなる。

以下、ＷＥＡＶＥ方式によるデインターレース処理について本実施形態の動作を説明する。画像変換部１０１は、フィールド画像を連続的に２枚入力する。トップフィールド画像のラインはトップフィールドラインに、ボトムフィールド画像のラインはボトムラインに配置されたフレーム画像を生成する。また、同時に、デインターレース情報と画像識別情報をストリーム生成部１０２へ出力する。ＷＥＡＶＥ方式によるデインターレース処理の場合、デインターレース方式情報は「フィールド保存」を示し、デインターレース情報にはデインターレース方式情報とフィールド合成情報が存在することになる。

以下、フィールド合成情報について説明する。トップフィールド画像とボトムフィールドフィールド画像の表示タイミングは、例えば、本実施形態では１／６０秒ずれていることになる。しかし、フィールドを合成すると、トップフィールドとボトムフィールドの時間が同一に扱われ、時間的な前後関係が識別不能となる。フィールド合成情報は、トップフィールド画像の時間がボトムフィールド画像の時間に対して前であったか否かを識別する情報である。合成したフィールドを再分離する際には、フィールド合成情報を参照することにより、トップフィールド画像とボトムフィールド画像の時間を正しい順番で分離することができる。

なお、本実施形態のＷＥＡＶＥ方式によるデインターレース処理を行っても、フレームレートに変化はない。つまり、この場合、画像変換部１０１は、２枚のフィールド画像入力に対し、１枚のプログレッシブ画像をストリーム生成部１０２へ出力することになる。
ストリーム生成部１０２は、画像変換部１０１から入力したプログレッシブ画像とフォーマット情報を入力して、画像ストリームを生成する。

図２はストリーム生成部１０２の内部を詳細化したブロック図である。２０１は画像符号化部、２０２は判定部、２０３は画像識別情報符号化部、２０４はデインターレース情報抽出部、２０５はデインターレース情報符号化部、２０６はストリーム統合部である。

画像符号化部２０１は、入力したプログレッシブ画像をＨ．２６４方式で符号化して画像ストリームを生成し、ストリーム統合部２０６へ出力する。なお、本実施形態における符号化方式はＨ．２６４を利用しているが、それに限定されず、ＭＰＥＧ−２など異なる符号化方式を用いてもよい。とくに、インターレース符号化方式が規定されないＭｏｔｉｏｎ ＪＰＥＧ ２０００などの符号化方式で符号化することも可能である。

判定部２０２は、フォーマット情報を入力して、フォーマット情報から画像識別情報を抽出し、画像識別情報を画像識別情報符号化部２０３とデインターレース情報抽出部２０４へ出力する。

画像識別情報符号化部２０３は、画像識別情報を符号化して画像識別情報符号を生成し、ストリーム統合部２０６へ出力する。画像識別情報符号の符号化方法については後述する。
デインターレース情報抽出部２０４は、入力した画像識別情報がインターレース画像を示すものである場合に、フォーマット情報を入力して、フォーマット情報からデインターレース情報を抽出し、デインターレース情報符号化部２０５へ出力する。

デインターレース情報符号化部２０５は、デインターレース情報を符号化してデインターレース情報符号を生成し、ストリーム統合部２０６へ出力する。デインターレース情報の符号化方法については後述する。なお、画像識別情報がプログレッシブ画像を示す場合、デインターレース情報が入力されないため、符号化処理は行われない。

ストリーム統合部２０６は、画像識別情報符号とデインターレース情報符号を結合してフォーマット情報ビット列を生成し、フォーマット情報ビット列を画像ストリームに統合して外部へ出力する。ただし、画像識別情報がプログレッシブ画像を示す場合には、デインターレース情報符号は生成されないため、デインターレース情報符号はフォーマット情報ビット列に含まれない。本実施形態では外部の出力先は、外部ストレージであるものとして説明するが、その詳細は後述する。本実施形態では、画像識別情報符号とデインターレース情報符号を合わせてフォーマット情報ビット列と表現する。フォーマット情報ビット列は、図６で示されるシンタックスにしたがった構造をもつものとして説明する。

以下、本実施形態のフォーマット情報ビット列について図６を使って説明する。図６（ａ）は、フォーマット情報ビット列の構造を示すシンタックスの例であり、シンタックスを表現するための表記方法は、Ｈ．２６４の規格書で使われる表記方法に準拠する。図６（ａ）の第一列は符号の名前、および、符号挿入の条件文、第二列はその符号の符号化方法を表現している。図６（ａ）の第二列のｕ（ｎ），ｕｅ（ｖ）は、それぞれ、ｎビットの正の整数、可変長の正の整数を表現しており、対応する符号は、ｎビット固定長符号、Ｇｏｌｏｍｂ符号として生成されることになる。例えば、図６（ａ）のｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅは、２ビットの符号として表現され、０から３までの値をとる。生成された各符号は結合され、ビット列が生成されることになる。また、符号挿入の条件文は、下記のように記述される。
ｉｆ（条件式）｛
符号１
｝
この条件文は、条件式が真の場合に符号１が生成され、生成された符号がビット列に挿入されることを示している。また、Ｒｅｓｅｒｖｅｄと表記された個所は、将来フォーマット情報ビット列が機能拡張された際に、不定長の符号が挿入される可能性があることを示している。

フォーマット情報ビット列のｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号は、原画が「プログレッシブ画像」であるか、「インターレース画像」であるか、あるいは「不明」であるかを識別する符号であり、画像識別情報符号のシンタックス上の名称である。その値は、図６（ｂ）に示される。図６（ｂ）は、ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号の値と対応する画像形式の関係を示す表である。将来、フォーマット情報ビット列の機能拡張を可能とするために、３の値は予約コードとして割り当てられている。

フォーマット情報ビット列のｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号は、デインターレース処理が「フィールド保存」方式か「フィールド合成」方式であるかを識別する符号であり、デインターレース方式情報を符号化した符号のシンタックス上の名称である。その値は、図６（ｃ）に示される。図６（ｃ）は、ｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号の値と対応するデインターレース方式の対応関係を示す表である。将来、フォーマット情報ビット列の機能拡張を可能とするために、２以上の値は予約コードとして割り当てられている。

フォーマット情報ビット列のｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号は、ライン補間情報を符号化したライン補間情報符号のシンタックス上の名称である。本符号の値が１の場合には、フォーマット情報ビット列が統合される画像ストリームの符号化の対象となった画像がトップフィールドを補間して生成された画像であることを示す。本符号の値が０の場合には、フォーマット情報ビット列が統合される画像ストリームの符号化の対象となった画像がボトムフィールドを補間して生成された画像であることを示す。

フォーマット情報ビット列のｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号は、フィールド合成情報を符号化したフィールド合成情報符号のシンタックス上の名称である。本符号の値が１の場合には、符号化の対象となった画像のトップフィールド画像がボトムフィールドに対して時間的に前であることを示す。本符号の値が０の場合には、符号化の対象となった画像のトップフィールド画像がボトムフィールドに対して時間的に後であることを示す。

以下、本実施形態でのフォーマット情報ビット列のシンタックスの符号の具体的な値の設定について説明する。

画像識別情報符号化部２０３は、ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号を生成する。ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号は、その値に、画像識別情報がプログレッシブ画像を示す場合には０が、インターレース画像を示す場合には１が設定され、２ビット符号として生成される。なお、画像の形式が不明の画像を入力できる構成をとった場合には、ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号の値に３を設定する構成をとることも可能である。

また、デインターレース情報符号化部２０５は、デインターレース情報符号にあたるｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号、ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号を生成する。ただし、図６（ａ）に示されるように、ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号とｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号は排他的に生成されることになる。また、前述のとおり、画像識別情報がインターレース画像を示さない場合、これらの符号は生成されない。

ｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号は、その値に、デインターレース方式情報が「フィールド保存」を示す場合には０が設定され、「フィールド合成」を示す場合には１が設定され、可変長のＧｏｌｏｍｂ符号として生成される。

ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号は、「フィールド保存」方式でデインターレース処理を行った場合にのみ生成される。ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号は、その値に、ライン補間情報がトップフィールドを補間したことを示す場合は１が設定され、ボトムフィールドを補間したことを示す場合０が設定され、１ビットの符号として生成される。

ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号は、「フィールド合成」方式でデインターレース処理を行った場合にのみ生成される。ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号は、その値に、フィールド合成情報が「トップフィールド画像が時間的に前である」ことを示す情報の場合には１が設定され、そうでない場合には０が設定され、１ビットの符号として生成される。

以下、ストリーム統合部２０６のデータの出力動作について説明する。ストリーム統合部２０６は、フォーマット情報ビット列と画像ストリームなどのデータを外部へ出力する際に、それぞれにスタートコードを付与して、直前に外部へ出力されていたデータに結合するよう動作する。図７（ａ）は、フォーマット情報ビット列が統合された画像ストリームの例を示しており、フォーマット情報ビット列は対応する画像ストリームの直前に配置される形で複数の画像ストリームが結合されている。図７の例では、前述のようにフォーマット情報ビット列、画像ストリームを区切るために、フォーマット情報ビット列と画像ストリーム、それぞれの先頭にデータの区切りを識別するためのスタートコードが付与されている。図７の太線はスタートコードを示している。スタートコードとは、特定のデータパターンを持つバイトデータである。Ｈ．２６４の場合は、スタートコードは、｛０，０，１｝と値で構成される３バイトのデータである。Ｈ．２６４のストリーム中には、｛０，０，１｝というバイトパターンが存在しないため、復号装置は、結合された複数の画像ストリームの中からスタートコードを検出することにより、フォーマット情報ビット列と画像ストリームの区切りを識別することができる。つまり、画像ストリームと対応するフォーマット情報ビット列を一画像単位のデータとして取得することが可能となる。

本符号化装置が生成したストリームは、インターレース画像をプログレッシブ画像に変換してから符号化することにより、インターレース復号に未対応の復号装置でも復号可能となるメリットがある。また、プログレッシブ画像として符号化・保存しておくことにより、復号画像の画像サイズ変換が容易となり、また、インターレース未対応のディスプレーにデインターレース処理なしに出力できるというメリットもある。しかし、復号したプログレッシブ画像を、再度インターレース形式に変換して扱いたいというケースも存在する。例えば、以下のようなケースである。

図８は、符号化装置と復号装置を含むアーカイブシステムの構成例を説明する図である。８０１は本実施形態で説明する符号化装置である。８０２は復号装置である。８０３は放送装置である。８０４はディスプレーである。８０５は外部ストレージである。８０６はネットワークゲートウェイである。

以下、このアーカイブシステムの動作について説明する。符号化装置８０１は入力したインターレース画像をプログレッシブ画像に変換し、Ｈ．２６４方式で符号化して、ストリームを生成し、ストリームを外部ストレージ８０５へ記録する。このように、外部ストレージ８０５には、映像ごとに、複数のストリームが記録される。ネットワークゲートウェイ８０６は、記録されたストリームをネットワークで配信する。復号装置８０２は外部ストレージ８０５に記録されたストリームを復号して、復号されたプログレッシブ画像をインターレース画像に変換し、インターレース画像を放送装置８０３へ出力する。放送装置８０３はインターレース画像をＭＰＥＧ−２方式で再符号化し、符号化されたストリームを規格で規定されたインターレース形式で放送する。また、復号装置８０２はプログレッシブ画像を出力し、プログレッシブ画像がディスプレー８０４で表示される構成もとる。

ネットワーク配信のための映像はコンピュータとそれに接続されたインターレース未対応のディスプレーで再生されることが多いことを考慮すると、プログレッシブ画像として記録されており、それを直接配信できることのメリットは小さくない。一方、復号装置８０２は、用途に応じて、プログレッシブ画像とインターレース画像の双方を出力可能な構成となっている。つまり、本アーカイブシステムは非常に合理性の高いシステムといえる。なお、本アーカイブシステムの説明では、Ｈ．２６４やＭＰＥＧ−２方式で符号化することを例に説明しているが、符号化方式はこれに限定されない。

本実施形態では、デインターレース処理方法に関する情報を含むシンタックスを定義し、このシンタックスに基づいて生成したフォーマット情報ビット列を画像ストリームに統合している。このフォーマット情報ビット列が統合された画像ストリームが復号装置へ伝送されることにより、復号装置はデインターレース処理方法に関する情報を受け取ることができる。復号装置は、インターレース画像を出力する場合、デインターレース処理方法に関する情報を用いて復号されたプログレッシブ画像をインターレース形式へ再変換することができる。

なお、本実施形態でのフォーマット情報ビット列は、図６（ａ）に示されるシンタックス構造にしたがって生成されるものとして説明したが、これに限定されない。フォーマット情報ビット列には、デインターレース処理方法に関する符号が含まれていればよい。例えば、原画がインターレース画像である場合にのみ、フォーマット情報ビット列を画像ストリームに統合するという限定を設ければ、フォーマット情報ビット列に画像識別情報符号が含まれなくとも、原画がインターレース画像であるか否かは識別可能である。また、符号化処理と復号処理で、デインターレース方式をフィールド保存に限定する取り決めを行えば、伝送すべきデインターレース処理方法に関する情報は、ライン補間情報のみで十分である。また、各情報の符号の符号化方法は、シンタックスで指定された固定長符号、可変長のＧｌｏｍｂ符号に限定されない。また、その順番にも限定はなく、符号量の削減を考慮しなければ条件文の設定による排他的な定義も必要としない。

本実施形態におけるデインターレース処理は、説明した方式に限定されない。例えば、他のフィールド画像参照しラインを補間したり、動き補償を利用したりしてもよい。一つのフィールド画像を基準としてフレーム画像を生成する方式であれば、もともと原画に存在していたラインの画素値の変化に関わらず、デインターレース方式は「フィールド保存」方式とみなされることになる。また、２つのフィールド画像からフレーム画像を生成する方式であれば、コーミングノイズ除去フィルタなどをかけても、「フィールド合成」方式とみなされる。

本実施形態では、「フィールド保存」でデインターレース処理を行う場合に、ライン補間情報を符号化した符号を画像ストリームに統合する構成をとった。しかし、これに限定されず、代わりに入力されたフィールド画像のフィールド識別情報を符号化した符号を画像ストリームに統合してもよい。フィールドを識別できれば補間ラインを導出することができるため、ライン補間情報とフィールド識別情報のどちらを符号化して、画像ストリームに統合しても、得られる効果は同じである。

本実施形態では、フォーマット情報ビット列と画像ストリームは、スタートコードで区切られた独立したデータと記録されるように説明したが、これに限定されない。例えば、図６（ａ）で示されるシンタックスを画像ストリームのヘッダ情報のシンタックスの一部として埋め込む構成をとってもよい。この場合の符号化方式は、新規の符号化方式であるか従来の符号化方式の新規拡張となる。また、本実施形態では、各画像ストリームに対してフォーマット情報ビット列を生成し統合するように説明している。しかし、それに限定されず、第１フレームを符号化した画像ストリームにのみに対して生成し、図７（ｂ）のように第１フレームの画像ストリームにのみフォーマット情報ビット列を統合する構成をとってもよい。図７（ｂ）は、第一フレームの画像ストリームにのみフォーマット情報ビット列が統合された第一の変形例を示している。同様に、一定間隔画像ごとにフォーマット情報ビット列を生成し統合することも可能である。さらに、スタートコードの代わりにその位置に、フォーマット情報ビット列や画像ストリームのビット長を埋め込むことによって、区切りの位置が識別を可能とする構成をよってもよい。また、複数の画像ストリームを一つファイルとして出力する場合には、各フォーマット情報ビット列と各画像ストリームのファイル内の位置を示すインデックスをファイルに付加する構成をとってもよい。いずれの構成においても、画像ストリームとフォーマット情報ビット列の区切りを識別することができる。

本実施形態では、入力の色差フォーマットとしてＹＵＶ４２０形式の画像が入力されることを例に説明したがそれに限定されない。入力フォーマットとしてＹＵＶ４２２形式、ＹＵＶ４４４形式を入力しそれを符号化してもよい。

本実施形態では、インターレース画像をフィールド単位で入力し、処理する例を説明したがそれに限定されない。インターレース画像を２つフィールドのフィールドが合成されたフレーム単位で入力してもよい。フレーム単位で入力した場合も、フレームを２つのフィールドに分離し、順に処理する機能をもつことにより、本実施形態で説明した処理を実施することができる。

＜実施形態２＞
本実施形態では、実施形態１で説明した符号化装置が生成したフォーマット情報ビット列を統合した画像ストリームを復号し、インターレース画像を出力する復号装置について図３、および、図４を用いて説明する。本実施形態では、ＹＵＶ４２０面順次形式のプログレッシブ画像として復号した画像を復号装置内部でＹＵＶ４２０面順次形式のインターレース画像に変換し出力するものとして説明する。ただし、色差フォーマットは、画像ストリームに依存し、この値に限定されるものではない。なお、特別な記述がない限り、用語等については実施形態１で説明されるものと同様とする。

図３は、本実施形態で説明する復号装置のブロック図である。３０１はストリーム復号部である。３０２は画像変換部である。

ストリーム復号部３０１は、フォーマット情報ビット列が統合された画像ストリームを入力し、復号してプログレッシブ画像とフォーマット情報を生成し、プログレッシブ画像とフォーマット情報を画像変換部３０２へ出力する。なお、フォーマット情報ビット列が統合された画像ストリームは外部ストレージに図７（ａ）のように複数の画像ストリームが結合され保存されているものとする。しかし、ストリーム復号部３０１は、スタートコードを検出することにより、１画像分のフォーマット情報ビット列が統合された画像ストリームを取得することができる。また、フォーマット情報ビット列は、図６（ａ）に示されるシンタックスからなるものとして説明する。つまり、符号化装置において固定長符号、Ｇｏｌｏｍｂ符号で符号化された符号は、復号装置においては、固定長符号、Ｇｏｌｏｍｂ符号として復号して読み取られることになる。また、符号化装置において図６（ａ）で示される条件文に従って生成された符号は、復号装置においても条件文にしたがって符号が取得され、復号されることになる。なお、フォーマット情報ビット列のシンタックス構造は、符号化装置と同一の情報であればよく、図６で説明されるシンタックスに限定されない。ストリーム復号部３０１の詳細な内部動作については後述する。

画像変換部３０２は、フォーマット情報を参照して、入力したプログレッシブ画像からインターレース画像を生成し外部へ出力する。画像変換部３０２の詳細な動作については後述する。

図４は、図３のストリーム復号部３０１の内部を詳細に説明したブロック図である。４０１はストリーム分離部である。４０２は画像識別情報復号部、４０３はデインターレース情報復号部である。４０４はフォーマット情報生成部、４０５は画像復号部である。
ストリーム分離部４０１は、入力したフォーマット情報ビット列が統合された画像ストリームから画像識別情報符号とデインターレース情報符号を分離して、画像識別情報符号を画像識別情報復号部４０２へ、画像ストリームを画像復号部４０５へ出力する。また、画像識別情報を入力して、画像識別情報がインターレースを指すものであった場合には、デインターレース情報符号をデインターレース情報復号部４０３へ出力する。

画像復号部４０５は、画像ストリームをＨ．２６４方式で復号して、復号されたプログレッシブ画像を外部へ出力する。なお、本特許の実施において復号方式はＨ．２６４を利用しているが、それに限定されず、実施形態１で説明した符号化装置が採用する符号化方式と同一であればＭＰＥＧ−２やＭｏｔｉｏｎ ＪＰＥＧ ２０００など異なる符号化方式を用いてもよい。

画像識別情報復号部４０２は、画像識別情報符号を復号して画像識別情報を生成し、フォーマット情報生成部４０４とストリーム分離部４０１へ出力する。本実施形態では、図６で示されるシンタックスのｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号の復号値が０の場合には、画像識別情報はプログレッシブ画像を示し、復号値が１の場合には、画像識別情報はインターレース画像を示すことになる。

デインターレース情報復号部４０３は、デインターレース情報符号を復号してデインターレース情報を生成し、フォーマット情報生成部４０４で出力する。

実施形態１で説明したとおり、デインターレース情報は、デインターレース方式情報、ライン補間情報、フィールド合成情報からなる情報である。それぞれの符号の図６で示されるシンタック上の名称は、ｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号、ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号となる。本実施形態では、ｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号の復号値が０の場合には、デインターレース情報のデインターレース方式情報は「フィールド保存」を示し、復号値が１の場合には「フィールド合成」を示す。ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号の復号値が０の場合には、デインターレース情報のライン補間情報はボトムフィールドを補間したことを示し、復号値が１の場合にはライン補間情報はトップフィールドを補間したことを示す。ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号の復号値が、１の場合にはデインターレース情報のフィールド合成情報は、「トップフィールド画像が時間的に前である」ことを示し、０の場合には「トップフィールド画像が時間的に後である」ことを示す。ただし、ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号はｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号の復号値が０のときにのみ復号され、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号は同復号値が１のときにのみ復号される。

フォーマット情報生成部４０４は、デインターレース情報と画像識別情報からフォーマット情報を生成する。

以下、画像変換部３０２の詳細な処理について説明する。画像変換部３０２は、画像識別情報がインターレースを示す場合には、下記の動作を行う。デインターレース方式情報が「フィールド保存」を示す場合には、フォーマット情報のライン補間情報に応じて、インターレース処理を行う。ライン補間情報がトップフィールドを補間したことを示す場合には、復号されたプログレッシブ画像のトップフィールドラインを間引いて、フィールド画像を生成する。ライン補間情報がボトムフィールドを補間したことを示す場合には、復号されたプログレッシブ画像のボトムフィールドラインを間引いて、フィールド画像を生成する。これは、図５を使って説明したデインターレース処理と逆の処理を示しており、図５の濃い網掛けの画素以外の画素を間引くことにあたる。このような間引き処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンそれぞれに対して行われる。このインターレース処理により、フレームレートが半分の映像が生成される。例えば、復号したプログレッシブ映像のフレームレートが６０ｆｐｓであったとすれば、３０ｆｐｓ（毎秒６０フィールド）のインターレース映像が生成される。

デインターレース方式情報が「フィールド合成」を示す場合には、フレーム画像からトップフィールド画像とボトムフィールド画像を分離する。フィールド合成情報が「トップフィールドが時間的に先である」ことを示す場合には、先にトップフィールド画像を外部へ出力し、次にボトムフィールド画像を外部へ出力する。フィールド合成情報が「トップフィールドが時間的に後である」ことを示す場合には、先にボトムフィールド画像を外部へ出力し、次にトップフィールド画像を外部へ出力する。このような分離処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンそれぞれに対して行われる。このインターレース処理により、例えば、復号したプログレッシブ映像のフレームレートが３０ｆｐｓであったとすれば、３０ｆｐｓ（毎秒６０フィールド）のインターレース映像が生成されることになる。

画像変換部３０２は、画像識別情報がプログレッシブ画像を示す場合には、出力フレームレートに合わせてフレームレート変換を実施する。その後、偶数フレームはトップフィールドラインを間引いてボトムフィールド画像を生成し、奇数フレームはボトムフィールドラインを間引いてトップフィールド画像を生成する。例えば、出力フレームレートが３０ｆｐｓ、復号されたプログレッシブ画像のフレームレートが３０ｆｐｓであった場合、フレームレート変換処理により６０ｆｐｓの画像を生成する。その後、ラインの間引き処理によりフィールド画像を生成して、３０ｆｐｓのインターレース画像を生成する。出力フレームレートは、画像を出力するデバイスの入力可能なフレームレートによって設定される。なお、本実施形態では、フレームレート変換処理後、ラインを間引いてフィールド画像を生成するように説明したが、これに限定されず、例えばフレームレート変換処理を実施せず１つのプログレッシブ画像から２つのフィールド画像を生成する処理を行ってもよい。

復号装置がライン補間処理によりプログレッシブ化された画像をインターレース画像へ再変換する場合に、従来は、どのラインを補間したかを識別する手段がなく、補間されたラインを正しく間引くことは難しかった。本実施形態の構成をとることにより、プログレッシブ化された画像をインターレース画像に再変換する場合に、ライン補間情報を参照して補間されたラインを正しく間引くことにより、原画に存在した画素を残したインターレース画像を生成することができる。

なお、外部ストレージに保存された画像ストリームは、図７（ｂ）で示されるように、全ての画像ストリームにフォーマット情報ビット列が統合されない場合も、復号されたプログレッシブ画像をインターレース画像に変換することは可能である。図７（ｂ）の例では、第一フレームの画像ストリームのみにフォーマット情報ビット列が統合されている。デインターレース方式が「フィールド保存」の場合、第一フレームの画像はライン補間情報を参照してインターレース処理を実行したら、ライン補間情報が存在しない次の画像では、第一フレームに対し、間引くラインを切り替えて処理を実行する。このようにして、間引くラインを交互に切り替えながら処理を実行する。デインターレース方式が「フィールド合成」の場合には、第１フレームのフィールド合成情報が、第２フレーム以降も同一であるとして、インターレース処理を実行する。さらに、フォーマット情報ビット列を一定間隔フレームごとに統合しても、第１フレームのみにフォーマット情報ビット列を統合した場合と同じように、フォーマット情報ビット列が統合された画像ストリームを基点として、同様の処理を行うことができる。

また、フォーマット情報ビット列が画像ストリームのヘッダ情報の一部として埋め込まれる場合でも、ストリーム分離部４０１がフォーマット情報ビット列を画像ストリームから分離する機能を持てば、本実施形態で説明した他の処理は実行可能である。
なお、本実施形態における復号装置はインターレース画像を出力するものとして説明したが、プログレッシブ画像とインターレース画像をユーザーが自由に切り替えて出力する構成をとっても良い。

＜実施形態３＞
本実施形態では、インターレース画像を入力してインターレース画像からプログレッシブ画像を生成し、または、プログレッシブ画像を入力して、プログレッシブ画像を符号化する符号化方法について図９、図１７、図１０、図１１、図１２を用いて説明する。インターレース画像の入力は、フィールド画像単位とする。なお、特別な記述がない限り、用語等については実施形態１で説明されるものと同様とする。

本実施形態の入力画像は、ＹＵＶ４２０の面順次形式のインターレース画像、あるいは、ＹＵＶ４２０の面順次形式のプログレッシブ画像であるものとして説明する。

図９は、本特許における符号化方法を含んだ符号化プログラムを実行するためのハードウェア構成を示している。本符号化プログラムはハードディスク装置（以下、ＨＤＤと略す）９０３に記録されており、符号化プログラムの起動とともにＲＡＭ９０２にロードされ、以下で示される各ステップをＣＰＵ９０１が実行して符号化処理がなされる。なお、本実施形態では、入力された画像データはＨＤＤ９０３に格納されるものとし、符号化プログラムは、ＨＤＤ９０３から画像を取得して、符号化を行うものとする。また、符号化された画像ストリームは外部機器Ｉ／Ｆ９０５を介して外部ストレージへ記録されるものとする。

以下、本符号化方法のステップについて図１７を使って説明する。図１７は、デインターレース処理および符号化処理を実行するフローを説明した図である。なお、処理対象は、複数の画像の連続的な集まりである映像であるが、図１７で示される処理が連続的に行われることにより、一連の映像が符号化されるものとする。なお、本符号化プログラムを実行するユーザーはあらかじめ、使用するデインターレース方式を指定しておくものとする。

Ｓ１７０１０では、ユーザーが設定したデインターレース方式を取得する。Ｓ１７０２０では、ユーザーが設定したデインターレース方式を判定する。ユーザーが設定したデインターレース方式がフィールド合成を示す場合にはＳ１７０４０が実行され、ユーザーが設定したデインターレース方式がフィールド保存を示す場合には、Ｓ１７０３０が実行される。Ｓ１７０３０では、フィールド保存方式によるデインターレース処理および符号化処理を実行する。本実施形態では、フィールド保存方式によるデインターレース処理および符号化処理を実行するサブルーチンが実行される。サブルーチンの詳細については後述する。本ステップの処理後、本フローは終了する。

Ｓ１７０４０では、フィールド合成方式によるデインターレース処理および符号化処理を実行する。本実施形態では、フィールド合成方式によるデインターレース処理および符号化処理を実行するサブルーチンが実行される。サブルーチンの詳細については後述する。本ステップの処理後、本フローは終了する。

以下、Ｓ１７０３０で実行されるフィールド保存方式によるデインターレース処理および符号化処理を実行するサブルーチンのステップについて図１０を使って説明する。図１０は、フィールド保存方式によるデインターレース処理および符号化処理を実行するサブルーチンのフローを説明した図である。

Ｓ１００００では、入力画像を取得する。Ｓ１００１０では、入力画像の画像識別情報を取得する。Ｓ１００１４では、画像識別情報が示す画像形式を判定する。画像識別情報がプログレッシブを示す場合にはＳ１００５０が実行され、インターレースを示す場合にはＳ１００１５が実行される。Ｓ１００１５では、フィールド保存を示すデインターレース方式情報を生成する。Ｓ１００１６では、入力画像のフィールド識別情報を取得する。

Ｓ１００２０では、フィールド識別情報を判定し、フィールド識別情報がボトムフィールドを示す場合にはＳ１００３０が実行され、トップフィールドを示す場合にはＳ１００４０が実行される。Ｓ１００３０では、取得したフィールド画像のＹプレーンに対し、図５（ｂ）のように画素ごとに上下のボトムフィールドラインの画素値の平均をとり、全てのトップフィールドラインの位置の画素を補間する。これらの処理をＵプレーン、Ｖプレーンにも施し、プログレッシブ画像を生成する。Ｓ１００３５では、トップフィールドを補間したことを示すライン補間情報を生成する。その後、Ｓ１００５０が実行される。Ｓ１００４０では、取得したフィールド画像のＹプレーンに対し、図５（ａ）のように画素ごとに上下のトップフィールドラインの画素値の平均をとり、全てのボトムフィールドラインの位置の画素を補間する。これらの処理をＵプレーン、Ｖプレーンにも施し、プログレッシブ画像を生成する。Ｓ１００４５では、ボトムフィールドラインを補間したことを示すライン補間情報を生成する。その後、Ｓ１００５０が実行される。Ｓ１００４６では、画像識別情報からフォーマット情報を生成する。その後、Ｓ１００６０が実行される。Ｓ１００５０では、画像識別情報、デインターレース方式情報とライン補間情報からフォーマット情報を生成する。その後、Ｓ１００６０が実行される。Ｓ１００６０では、画像符号化サブルーチンを実行して、画像ストリームを生成する。画像符号化サブルーチンについては後述する。本ステップの処理後、本フローは終了する。

以下、フィールド合成方式によるデインターレース処理および符号化処理を実行するサブルーチンのステップについて図１６を使って説明する。図１６は、フィールド合成方式によるデインターレース処理および符号化処理を実行するサブルーチンのフローを説明した図である。

Ｓ１６０１０では、第一の入力画像の画像識別情報を取得する。Ｓ１６０２０では、第一の入力画像を取得する。第一の入力画像は、画像識別情報がインターレース画像を示す場合にはフィールド画像であり、画像識別情報がプログレッシブ画像を示す場合にはプログレッシブ画像である。Ｓ１６０３０では、画像識別情報が示す画像形式を判定する。画像識別情報がプログレッシブを示す場合にはＳ１６０９５が実行され、インターレースを示す場合にはＳ１６０４０が実行される。Ｓ１６０４０では、フィールド合成を示すデインターレース方式情報を生成する。Ｓ１６０５０では、第一の入力画像に対応するフィールド識別情報を取得する。Ｓ１６０６０では、第二の入力画像を取得する。第二の入力画像はフィールド画像である。Ｓ１６０７０では、第一の入力画像と第二の入力画像を合成してプログレッシブ画像を生成する。本実施形態では、インターレース画像はフィールド画像単位で入力されるので、第一の入力画像がトップフィールド画像である場合には、第二の入力画像はボトムフィールド画像となる。あるいは、第一の入力画像がボトムフィールド画像である場合には、第二の入力画像はトップフィールド画像となる。よって、第一の入力画像と第二の入力画像をラインごとにインターリーブすることによりフレーム画像が生成できる。本実施形態では、デインターレース方法として、このフレーム画像にコーミングノイズ除去フィルタを施すことによりプログレッシブ画像を生成する。なお、本実施形態でのデインターレース方法は、コーミングノイズ除去フィルタをかけるものとして説明しているが、２つのフィールド画像がインターリーブされるデインターレース方式である限りに、デインターレース処理方法に限定はない。

Ｓ１６０８０では、フィールド識別情報からフィールド合成情報を生成する。フィールド識別情報は、第一の入力画像に対応するため、フィールド識別情報がトップフィールド画像を示す場合には、フィールド合成情報は「トップフィールドが時間的に前である」ことを示す。フィールド識別情報がボトムフィールド画像を示す場合には、フィールド合成情報は「トップフィールドが時間的に後である」ことを示す。

Ｓ１６０９０では、画像識別情報、デインターレース方式情報とフィールド合成情報からフォーマット情報を生成する。その後、Ｓ１６１００が実行される。Ｓ１６０９５では、画像識別情報からフォーマット情報を生成する。その後、Ｓ１６１００が実行される。Ｓ１６１００では、画像符号化サブルーチンを実行して、画像ストリームを生成する。

以下、Ｓ１００６０、および、Ｓ１６１００で実行される画像符号化サブルーチンの各ステップの動作について図１１を使って説明する。図１１は、画像ストリームとフォーマット情報ビット列を生成し、それらを統合するフローを説明した図である。なお、フォーマット情報ビット列は、実施形態１で説明したとおり、図６に示されるフォーマット情報ビット列のシンタックス構造にしたがって生成されるものとする。

Ｓ１１０００では、プログレッシブを取得する。プログレッシブ画像は、Ｓ１００００で入力した入力画像、あるいは、Ｓ１００３０、Ｓ１００４０、Ｓ１６０７０のいずれかで生成したプログレッシブ画像である。

Ｓ１１０１０では、フォーマット情報を取得する。フォーマット情報は、Ｓ１００４６、Ｓ１００５０、Ｓ１６０９５，Ｓ１６０９０のいずれか生成された情報である。Ｓ１１０２０では、プログレッシブ画像をＨ．２６４方式でプログレッシブ符号化を行い、画像ストリームを生成する。なお、本特許の実施において符号化方式はＨ．２６４を利用しているが、それに限定されず、ＭＰＥＧ−２など異なる符号化方式を用いてもよい。とくに、インターレース符号化方式が規定されないＭｏｔｉｏｎ ＪＰＥＧ ２０００などの符号化方式で符号化することも可能である。

Ｓ１１０３０では、フォーマット情報から画像識別情報を抽出する。Ｓ１１０４０では、画像識別情報を符号化して画像識別情報符号を生成する。本実施形態では、図６で示されるシンタックスのｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号が２ビットの符号として生成される。その値には、画像識別情報がプログレッシブ画像を示す場合には０が設定され、インターレース画像を示す場合には１が設定される。Ｓ１１０５０では、画像識別情報を判定する。画像識別情報がプログレッシブを示す場合にはＳ１１０６０が実行され、インターレースを示す場合には、Ｓ１１０７０が実行される。

Ｓ１１０６０では、画像識別情報符号からフォーマット情報ビット列を生成する。本実施形態では、図６のｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号のみが存在するフォーマット情報ビット列が生成されることになる。ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号の値については後述する。次に、Ｓ１１０９０が実行される。Ｓ１１０７０では、フォーマット情報からデインターレース情報を取得する。Ｓ１１０７５では、デインターレース情報からデインターレース情報符号を生成する。本実施形態では、デインターレース情報符号の生成は、デインターレース情報符号化サブルーチンを実行して行われる。デインターレース情報符号化サブルーチンについては、後述する。

Ｓ１１０８０では、画像識別情報符号、デインターレース情報符号からフォーマット情報ビット列を生成する。本ステップでは、ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号、ｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号、ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号が存在するフォーマット情報ビット列が生成される。ただし、図６（ａ）に示されるように、ｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号とｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号は排他的に存在することになる。符号の具体的な値については後述する。次に、Ｓ１１０９０が実行される。

Ｓ１１０９０では、画像ストリームにフォーマット情報ビット列が統合され、外部に出力される。フォーマット情報ビット列は、図７（ａ）のように、画像ストリームの直前に統合され、複数の画像ストリームが生成されるに従って、フォーマット情報ビット列と画像ストリームが交互に並ぶ形で、一連の画像ストリームが形成されることになる。このとき、フォーマット情報ビット列、画像ストリームを区切るために、フォーマット情報ビット列と画像ストリームの先頭にスタートコードを付与するものとする。なお、フォーマット情報ビット列の統合方法や画像ストリームの結合方法は、これに限定されない。例えば、フォーマット情報ビット列を画像ストリームのヘッダ情報の一部としたりすることも可能である。Ｓ１１０９０のステップが処理後、本フローは終了する。

以下、Ｓ１１０８０で実行されるデインターレース情報符号化サブルーチンのステップについて、図１２を使って説明する。図１２は、デインターレース情報符号化サブルーチンのフローを説明する図である。

Ｓ１２０１０では，デインターレース方式情報を取得する。Ｓ１２０１５では，デインターレース方式情報を符号化して、デインターレース方式情報符号を生成する。本実施形態では、図６で説明されるｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号が可変長のＧｏｌｏｍｂ符号として生成される。その値には、デインターレース方式情報が「フィールド保存」方式を示す場合には０が設定され、「フィールド合成」方式を示す場合には１が設定される。Ｓ１２０２０では，デインターレース方式を判定する。デインターレース方式情報が「フィールド合成」を示す場合にはＳ１２０３０が実行され、デインターレース方式情報が「フィールド保存」を示す場合にはＳ１２０５０が実行される。Ｓ１２０３０では，フィールド合成情報を取得する。Ｓ１２０４０では，フィールド合成情報を符号化して、フィールド合成情報を生成する。本実施形態では、図６で説明されるｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号が１ビットの符号として生成される。その値には、フィールド合成情報が、「トップフィールド画像が時間的に前である」ことを示す情報の場合には１が設定され、そうでない場合には０が設定される。

Ｓ１２０５０では，デインターレース方式情報符号、フィールド合成情報符号からデインターレース情報符号を生成する。本ステップの処理後、本フローは終了する。Ｓ１２０６０では，ライン補間情報を取得する。Ｓ１２０７０では，ライン補間情報を符号化して、ライン補間情報符号を生成する。

本実施形態では、図６で説明されるｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号が１ビットの符号として生成される。その値には、ライン補間情報がトップフィールド補間を示す場合は１が設定され、ボトムフィールド補間を示す場合０が設定される。Ｓ１２０８０では，デインターレース方式情報、ライン補間情報からデインターレース情報を生成する。本ステップの処理後、本フローは終了する。

本実施形態では、実施形態１と同様に、デインターレース処理方法に関する情報を含むシンタックスを定義し、このシンタックスに基づいて生成したフォーマット情報ビット列を画像ストリームに統合している。このフォーマット情報ビット列が統合された画像ストリームが復号装置へ伝送されることにより、復号装置はデインターレース処理方法に関する情報を受け取ることができる。復号装置では、インターレース画像を出力したい場合、デインターレース処理方法に関する情報を用いて復号されたプログレッシブ画像をインターレース形式へ再変換することができる。

なお、本実施形態でのフォーマット情報ビット列は、図６（ａ）に示されるシンタックス構造にしたがって生成されるものとして説明したが、これに限定されない。フォーマット情報ビット列には、デインターレース処理方法に関する符号が含まれていればよい。例えば、原画がインターレース画像である場合にのみ、フォーマット情報ビット列を画像ストリームに統合するという限定を設ければ、フォーマット情報ビット列に画像識別情報符号が含まれなくとも、原画がインターレース画像であるか否かは識別可能である。また、符号化処理と復号処理で、デインターレース方式をフィールド保存に限定する取り決めを行えば、伝送すべきデインターレース処理方法に関する情報は、ライン補間情報のみで十分となる。さらに、各情報の符号の符号化方法は、シンタックスで指定された固定長符号、可変長符号に限定されない。また、その順番にも限定はなく、符号量の削減を考慮しなければ条件文の設定による排他的な定義も必要としない。

本実施形態におけるデインターレース処理は、説明した方式に限定されない。例えば、他のフィールド画像参照しラインを補間したり、動き補償を利用したりしてもよい。一つのフィールド画像を基準としてフレーム画像を生成する方式であれば、もともと原画に存在していたラインの画素値の変化に関わらず、デインターレース方式は「フィールド保存」方式とみなされることになる。また、２つのフィールド画像からフレーム画像を生成する方式であれば、「フィールド合成」方式とみなされる。

本実施形態では、「フィールド保存」でデインターレース処理を行う場合に、ライン補間情報を符号化した符号を画像ストリームに統合する構成をとった。しかし、これに限定されず、代わりに入力されたフィールド画像のフィールド識別情報を符号化した符号を画像ストリームに統合してもよい。フィールドを識別できれば補間ラインを導出することができるため、ライン補間情報とフィールド識別情報のどちらを符号化して、画像ストリームに統合しても、得られる効果は同じである。

本実施形態では、フォーマット情報ビット列と画像ストリームは、スタートコードで区切られた独立したデータと記録されるように説明したが、これに限定されない。例えば、図６（ａ）で示されるシンタックスを画像ストリームのヘッダ情報のシンタックスの一部として埋め込む構成をとってもよい。また、各画像ストリームに対してフォーマット情報ビット列を生成し、統合しているが、それに限定されず、第１フレームを符号化した画像ストリームにのみに対して生成し、図７（ｂ）のように第１フレームの画像ストリームにのみ統合する構成をとってもよい。図７（ｂ）は、第一フレームの画像ストリームにのみフォーマット情報ビット列が統合された第一の変形例を示している。また、一定間隔画像ごとにフォーマット情報ビット列を生成し統合することも可能である。さらに、スタートコードの代わりにその位置に、フォーマット情報ビット列や画像ストリームのビット長を埋め込むことによって、区切りの位置が識別を可能とする構成をよってもよい。また、複数の画像ストリームを一つファイルとして出力する場合には、各フォーマット情報ビット列と各画像ストリームのファイル内の位置を示すインデックスをファイルに付加する構成をとってもよい。いずれの構成においても、画像ストリームとフォーマット情報ビット列の区切りを識別することができる。

本実施形態では、入力の色差フォーマットとしてＹＵＶ４２０形式の画像が入力されることを例に説明したがそれに限定されない。入力フォーマットとしてＹＵＶ４２２形式、ＹＵＶ４４４形式を入力しそれを符号化してもよい。

本実施形態では、インターレース画像をフィールド単位で入力し、処理する例を説明したがそれに限定されない。インターレース画像を２つフィールドのフィールドが合成されたフレーム単位で入力してもよい。フレーム単位で入力した場合も、フレームを２つのフィールドに分離し、順に処理する機能をもつことにより、本実施形態で説明した処理を実施することができる。

＜実施形態４＞
本実施形態では、実施形態３で説明した符号化方法が生成したフォーマット情報ビット列が統合された画像ストリームを復号し、インターレース画像を出力する復号方法について、図１３、図１４および図１５を使って説明する。なお、特別な記述がない限り、用語等については実施形態１で説明されるものと同様とする。本実施形態では、ＹＵＶ４２０面順次形式のプログレッシブ画像として復号した画像を復号装置内部でＹＵＶ４２０面順次形式のインターレース画像に変換し出力するものとして説明する。ただし、色差フォーマットは、画像ストリームに依存し、この値に限定されるものではない。

図９は、本特許における復号方法を含んだ復号プログラムを実行するためのハードウェア構成を示している。本復号プログラムはＨＤＤ９０３に記録されており、復号プログラムの起動とともにＲＡＭ９０２にロードされ、以下で示される各ステップをＣＰＵ９０１が実行して復号処理がなされる。なお、本実施形態では、復号対象である画像ストリームは、外部機器Ｉ／Ｆ９０５を介して外部ストレージから入力されるものとする。また、生成された画像は、ネットワークＩ／Ｆ９０４を介して外部へ出力されたり、グラフィック出力部９０６を介して、ディスプレイへ出力されたりするものとする。

以下、本復号方法の各ステップの動作について図１３を使って説明する。図１３は、画像復号処理およびインターレース処理を説明するフローである。なお、図１３で説明される処理は画像単位で行われるものであるが、これらの処理が連続的に行われることにより、一連の映像が復号されるものとする。

Ｓ１３０１０では、画像ストリーム復号サブルーチンを実行して、プログレッシブ画像とフォーマット情報を生成する。画像ストリーム復号サブルーチンについては後述する。Ｓ１３０２０では、フォーマット情報から画像識別情報を抽出する。Ｓ１３０３０では、画像識別情報が示す画像形式を判定する。画像識別情報がインターレース画像を示す情報である場合Ｓ１３０４０が実行され、プログレッシブ画像を示す情報である場合にはＳ１３１４０が実行される。Ｓ１３０４０では、フォーマット情報からデインターレース方式情報を抽出するＳ１３０４１では、デインターレース方式情報を参照して、デインターレース方式を判定する。デインターレース方式情報がフィールド保存を示す情報である場合にはＳ１３０４２が実行され、フィールド合成を示す情報である場合にはＳ１３１００が実行される。

Ｓ１３０４２では、フォーマット情報からフィールド合成情報を抽出する。Ｓ１３０５０では、フィールド合成情報が「トップフィールド画像が時間的に前である」ことを示すか否かを判定する。フィールド合成情報が「トップフィールド画像が時間的に前である」ことを示す場合にはＳ１３０８０が実行され、「トップフィールド画像が時間的に後である」ことを示す場合にはＳ１３０６０が実行される。Ｓ１３０６０では、プログレッシブ画像のボトムフィールド画像を抽出して出力する。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。この処理は、Ｓ１３０７０での処理と合わせて合成されたフィールド画像を分離し、正しいフィールド時間順に出力する処理である。

Ｓ１３０７０では、プログレッシブ画像のトップフィールド画像を抽出して出力する。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。本ステップの処理後、本フローは終了する。Ｓ１３０８０では、プログレッシブ画像のトップフィールド画像を抽出して出力する。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。この処理は、Ｓ１３０９０での処理と合わせて合成されたフィールド画像を分離し、正しいフィールド時間順に出力する処理である。

Ｓ１３０９０では、プログレッシブ画像のボトムフィールド画像を抽出して出力する。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。本ステップの処理後、本フローは終了する。

Ｓ１３１００では、フォーマット情報からライン補間情報を抽出するＳ１３１１０では、ライン補間情報により識別される補間ラインを判定する。ライン補間情報がトップフィールドを示す場合にはＳ１３１２０が実行され、ボトムフィールドを示す場合にはＳ１３１３０が実行される。Ｓ１３１２０では、プログレッシブ画像のトップフィールドラインを間引いてボトムフィールド画像を生成し出力する。これは、図５（ｂ）を使って説明したデインターレース処理と逆の処理を示しており、図５の濃い網掛けの画素以外の画素を間引くことにあたる。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。本ステップの処理後、本フローは終了する。Ｓ１３１３０では、プログレッシブ画像のボトムフィールドラインを間引いてトップフィールド画像を生成し出力する。これは、図５（ａ）を使って説明したデインターレース処理と逆の処理を示しており、図５の濃い網掛けの画素以外の画素を間引くことにあたる。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。本ステップの処理後、本フローは終了する。

Ｓ１３１４０では、プログレッシブ画像のボトムフィールド画像を抽出して出力する。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。この処理は、Ｓ１３１５０での処理と合わせて合成されたフィールド画像を分離し、正しいフィールド時間順に出力する処理である。Ｓ１３１５０では、プログレッシブ画像のトップフィールド画像を抽出して出力する。このインターレース処理は、Ｙプレーン、Ｕプレーン、Ｖプレーンすべてに対して行われる。本ステップの処理後、本フローは終了する。

以下、Ｓ１３０１０で実行される画像ストリーム復号サブルーチンの処理フローについて図１４を使って説明する。図１４は、画像ストリーム復号サブルーチンのフローを説明する図である。

Ｓ１４０００では、フォーマット情報ビット列が統合された画像ストリームを取得する。

このとき、フォーマット情報ビット列が統合された画像ストリームは、図７（ａ）のようにフォーマット情報ビット列が画像ストリームの直前にくるように保存されているものとする。スタートコードによる区切りを識別することにより、フォーマット情報ビット列と画像ストリームを１画像分ずつ取得することができる。

Ｓ１４０１０では、画像ストリームとフォーマット情報ビット列を分離する。Ｓ１４０２０では、分離された画像ストリームをＨ．２６４方式のプログレッシブ形式として復号し、復号画像を生成する。なお、本特許の実施において復号方式はＨ．２６４を利用しているが、それに限定されず、実施形態３で説明する符号化方法の符号化方式と同一であればＭＰＥＧ−２やＭｏｔｉｏｎ ＪＰＥＧ ２０００などの異なる符号化方式を用いてもよい。Ｓ１４０２５では、フォーマット情報ビット列から画像識別情報符号を抽出する
Ｓ１４０３０では、画像識別情報符号を復号して画像識別情報を生成する。本実施形態では、画像識別情報は、図６で示されるシンタックスのｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｔｙｐｅ符号の復号値が０の場合にはプログレッシブ画像を示し、復号値が１の場合には画像識別情報はインターレース画像を示すことになる。

Ｓ１４０４０では、画像識別情報が示す画像形式を判定する。画像識別情報がインターレースを示す場合にはＳ１４０５０が実行され、画像識別情報がプログレッシブを示す場合にはＳ１４０７０が実行される。Ｓ１４０５０では、フォーマット情報ビット列からデインターレース情報符号を抽出する。

Ｓ１４０５５では、デインターレース情報符号を復号してデインターレース情報を生成する。本実施形態では、デインターレース情報復号サブルーチンを実行してデインターレース情報を生成する。デインターレース情報復号サブルーチンについては後述する。Ｓ１４０６０では、画像識別情報とデインターレース情報符号からフォーマット情報を生成する。

Ｓ１４０７０では、画像識別情報からフォーマット情報を生成する。以下、Ｓ１４０５５で実行されるデインターレース情報復号サブルーチンの処理フローについて図１５を使って説明する。図１５は、デインターレース情報復号サブルーチンのフローを説明する図である。Ｓ１５０１０では、デインターレース情報符号を取得する。Ｓ１５０１５では、デインターレース情報符号からデインターレース方式情報符号を抽出する。

Ｓ１５０２０では、デインターレース情報符号のデインターレース方式情報符号を復号して、デインターレース方式情報を生成する。本実施形態では、図６で示されるシンタックスのｄｅｉｎｔｅｒｌａｃｅ＿ｍｅｔｈｏｄ符号の復号値が０の場合には、デインターレース方式情報は「フィールド保存」を示し、復号値が１の場合には「フィールド合成」を示すことになる。Ｓ１５０３０では、デインターレース方式情報を参照して、デインターレース方式を判定する。デインターレース方式情報が「フィールド保存」を示す場合にはＳ１５０４０が実行され、「フィールド」合成を示す場合には、Ｓ１５０６０が実行される。

Ｓ１５０４０では、デインターレース情報符号からライン補間情報符号を抽出する。Ｓ１５０４５では、ライン補間情報符号を復号しライン補間情報を生成する。本実施形態では、ライン補間情報は、図６で示されるシンタックスのｔｏｐ＿ｆｉｅｌｄ＿ｉｎｔｅｒｐｏｌａｔｅｄ符号の復号値が０の場合にはボトムフィールドを補間したことを示し、１の場合にはトップフィールドを補間したことを示すことになる。

Ｓ１５０５０では、デインターレース方式情報とライン補間情報からデインターレース情報を生成する。本ステップの処理後、本フローは終了する。Ｓ１５０６０では、デインターレース情報符号からフィールド合成情報符号を抽出する。Ｓ１５０６５では、フィールド合成情報符号を復号しフィールド合成情報を生成する。本実施形態では、フィールド合成情報は、図６のシンタックスのｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ符号の復号値が１の場合には「トップフィールド画像が時間的に前である」ことを示し、０の場合には「トップフィールド画像が時間的に後である」ことを示す。

Ｓ１５０７０では、デインターレース方式情報とフィールド合成情報からデインターレース情報を生成する。本ステップの処理後、本フローは終了する。復号装置がライン補間処理によりプログレッシブ化された画像をインターレース画像へ再変換する場合に、従来は、どのラインを補間したかを識別する手段がなく、補間されたラインを正しく間引くことは難しかった。本実施形態の構成をとることにより、プログレッシブ化された画像をインターレース画像に再変換する場合に、ライン補間情報を参照して補間されたラインを正しく間引くことにより、原画に存在した画素を残したインターレース画像を生成することができる。

なお、外部ストレージに保存された複数の画像ストリームは、図７（ｂ）で示されるように、全ての画像ストリームにフォーマット情報ビット列が統合されない場合も、復号されたプログレッシブ画像をインターレース画像に変換することは可能である。図７（ｂ）の例では、第一フレームの画像ストリームのみにフォーマット情報ビット列が統合されている。デインターレース方式が「フィールド保存」の場合、第一フレームの画像はライン補間情報を参照してインターレース処理を実行したら、ライン補間情報が存在しない次の画像では、第一フレームに対し、間引くラインを切り替えて処理を実行する。このようにして、間引くラインを交互に切り替えながら処理を実行する。デインターレース方式が「フィールド合成」の場合には、第１フレームのフィールド合成情報が、第２フレーム以降も同一であるとして、インターレース処理を実行する。このようにして、全ての画像で正しいラインを間引いてフィールド画像を生成することができる。さらに、フォーマット情報ビット列を一定間隔の画像ストリームごとに統合される場合も、第１フレームのみにフォーマット情報ビット列を統合した場合と同じように、その画像ストリームを基点として処理を行うこともできる。

なお、本実施形態における復号方法はインターレース画像を出力するものとして説明したが、プログレッシブ画像とインターレース画像をユーザーが自由に切り替えて出力する構成をとっても良い。

本実施形態では、フォーマット情報ビット列が統合された画像ストリームを１画像分取得してから、後に分離する構成をとっているが、画像ストリームとフォーマット情報ビット列を個別に取得する構成をとってもよい。これは、フォーマット情報ビット列と画像ストリームを分離するステップＳ１４０１０が図１４で示されるフローの外で実行されているだけであり、本質的な処理は同一である。同様に、フォーマット情報ビット列の含まれる符号を個別に取得する構成も可能である。また、フォーマット情報ビット列が画像ストリームのヘッダ情報の一部として埋め込まれる場合でも、フォーマット情報ビット列を画像ストリームから分離するステップを持てば、本実施形態で説明した他の処理は実行可能である。

本実施形態では、Ｓ１３１４０、Ｓ１３１５０にてプログレッシブ画像をインターレース画像に変換する場合、フレームレートが同一となるインターレース処理を行うものとして説明している。しかし、これに限定されず、フレームレート変換処理を組み合わせて、任意のフレームレートのインターレース画像を生成する構成をとってもよい。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (8)

1. プログレッシブ画像と前記プログレッシブ画像の特性を表すフォーマット情報から、入力されたプログレッシブ画像がインターレース画像をデインターレース処理した画像であるか否かを判定する判定手段と、
   前記入力されたプログレッシブ画像がデインターレース処理した画像であった場合にフォーマット情報からデインターレース方法を示す情報を抽出するデインターレース情報抽出手段と、
   前記判定手段の結果を符号化する第１の符号化手段と、
   前記デインターレース情報抽出手段の結果を符号化する第２の符号化手段と、
   入力されたプログレッシブ画像を符号化する画像符号化手段と、
   前記第１の符号化手段の結果と前記第２の符号化手段の結果と前記画像符号化手段の結果を統合して出力する出力手段を有することを特徴とする画像符号化装置。
2. 前記デインターレース情報抽出手段は、前記フォーマット情報から補間の基準となったフィールドの情報を抽出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記デインターレース情報抽出手段は、前記フォーマット情報からフィールドの合成方法を示す情報を抽出することを特徴とする請求項１に記載の画像符号化装置。
4. 符号化された画像データから、符号化された画像のフォーマット情報であるフォーマット情報符号化データを分離する分離手段と、
   前記フォーマット情報符号化データから、符号化された画像がプログレッシブ画像であるか、インターレース画像をデインターレース処理した画像であるかを表す情報を復号する第１の復号手段と、
   前記第１の復号手段の復号の結果がデインターレース処理した画像を示すものであった場合、デインターレースの方法を示す情報を復号する第２の復号手段と、
   前記符号化された画像データを復号する画像復号手段と、
   前記第１の復号手段の結果と前記第２の復号手段の結果から復号画像のフォーマット情報を生成するフォーマット情報生成手段とを有することを特徴とする画像復号装置。
5. プログレッシブ画像と前記プログレッシブ画像の特性を表すフォーマット情報から、入力されたプログレッシブ画像がインターレース画像をデインターレース処理した画像であるか否かを判定する判定工程と、
   前記入力されたプログレッシブ画像がデインターレース処理した画像であった場合にフォーマット情報からデインターレース方法を示す情報を抽出するデインターレース情報抽出工程と、
   前記判定工程の結果を符号化する第１の符号化工程と、
   前記デインターレース情報抽出工程の結果を符号化する第２の符号化工程と、
   入力されたプログレッシブ画像を符号化する画像符号化工程と、
   前記第１の符号化工程の結果と前記第２の符号化工程の結果と前記画像符号化工程の結果を統合して出力する出力工程を有することを特徴とする画像符号化装置における画像符号化方法。
6. 符号化された画像データから、符号化された画像のフォーマット情報であるフォーマット情報符号化データを分離する分離工程と、
   前記フォーマット情報符号化データから、符号化された画像がプログレッシブ画像であるか、インターレース画像をデインターレース処理した画像であるかを表す情報を復号する第１の復号工程と、
   前記第１の復号工程の復号の結果がデインターレース処理した画像を示すものであった場合、デインターレースの方法を示す情報を復号する第２の復号工程と、
   前記符号化された画像データを復号する画像復号工程と、
   前記第１の復号工程の結果と前記第２の復号工程の結果から復号画像のフォーマット情報を生成するフォーマット情報生成工程とを有することを特徴とする画像復号装置における画像復号方法。
7. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の画像符号化装置として機能させることを特徴とするプログラム。
8. コンピュータが読み出して実行することにより、前記コンピュータを、請求項４に記載の画像復号装置として機能させることを特徴とするプログラム。

Images