JP2004135107A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】Ｍｏｔｉｏｎ−ＪＰＥＧやＭｏｔｉｏｎ−ＪＰＥＧ２０００及びＤＶ等の、フレーム間の予測符号化を行わない規格において、高い圧縮率と高画質を両立する画像符号化・復号化を実現する。
【解決手段】符号化においては、入力動画像の所定数あるいは可変数の連続するフレーム毎に、該連続フレームの各画素を組み合わせて、単一の合成フレームを生成し、該合成フレームに対して、所定の符号化規格に従って符号化を行い、符号化情報を出力する。また、復号化においては、上記合成フレームを符号化して生成された符号化情報が入力され、該符号化情報に対して、所定の符号化規格にしたがって復号化を行い、さらに復号化された合成フレームの各画素の分離及び再構成を行い、所定数あるいは可変数の連続するフレーム画像を生成し、順次出力する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の効率的な圧縮符号化／復号化装置及び方法に関する。
【０００２】
【従来の技術】
放送・通信・蓄積メディア等において、ディジタル画像データを取り扱うための画像圧縮符号化方式が、数多く考案されている。これらの画像圧縮符号化方式には、様々な技術が採用されているが、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）等の直交変換、直交変換係数の量子化、及び可変長符号を組み合わせた変換符号化方式が、特に広く用いられている。例えば、主に静止画像を対象とした変換符号化方式の規格として、ＪＰＥＧ規格がある。このＪＰＥＧ規格では、ＤＣＴ、ＤＣＴ係数の量子化、及び可変長符号を組み合わせた画像圧縮符号化方式を用い、主観的に良好な画質を保ちながら、画像データ情報量を十分の一程度まで圧縮することが可能であり、さらに符号化効率を上げることができる。
【０００３】
次に、動画像を対象とした代表的な規格として、ＭＰＥＧ規格が挙げられる。このＭＰＥＧ規格は、ＪＰＥＧと同様に、ＤＣＴ・ＤＣＴ係数の量子化・可変長符号を用いる変換符号化方式を基本とした上で、さらに双方向の動き補償予測方式を併用することにより、数十分の一程度の高い圧縮率を達成している。
【０００４】
このように、ＤＣＴ等を用いる変換符号化方式は、効率的に画像を圧縮することができるが、圧縮率を比較的高くした場合には、ブロック歪やモスキート・ノイズと呼ばれる画質劣化が発生することが知られている。ＤＣＴ等の直交変換における演算量は、画素数に対して指数関数的に増大する為、直交変換を用いる画像圧縮符号化方式では、一般に、画面全体をブロックと呼ばれる８×８画素程度の小領域に分割して、ブロック単位で変換符号化を行う。この為、圧縮率を高めて、変換係数の量子化誤差が大きくなると、各ブロックの直流成分が不連続になり、ブロックの境界でギャップが発生する。このブロック間のギャップが、ブロック歪として視認される。
また、直交変換の基底関数が周期的である為、入力画像のブロック内に局所的なエッジが存在すると、変換係数の高周波成分が多くなる。その量子化誤差によって、再生画像のエッジ近傍に高周波の偽信号が発生する。この偽信号がモスキート・ノイズとして視認される。
【０００５】
これらの画質劣化は、主観的画質を著しく損なうものであり、改善が望まれてきた。
【０００６】
こうした要求から、最近では、ＤＷＴ（Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）等の帯域分割フィルタ、量子化、エントロピー符号を用いたサブバンド階層符号化方式も普及しつつある。このＤＷＴを用いた符号化では、ブロック歪を抑えやすく、モスキート・ノイズが発生しにくいという特徴がある。
【０００７】
ＪＰＥＧの次世代の規格であるＪＰＥＧ２０００（ＩＴＵ−Ｔ　Ｔ．８００｜ＩＳＯ／ＩＥＣ１５４４４−１）は、ＤＷＴを採用したサブバンド階層符号化方式である。ＪＰＥＧ２０００では、ブロックの代わりに、タイルと呼ばれる画面領域毎に処理を行う。タイルは任意の大きさの矩形領域であり、画面全体を多数の小さいタイルに分割して、タイル毎に細かくビット制御することが可能である。また、タイルを細かく分割せずに、画面全体とすることも可能である。ＪＰＥＧ２０００は、低圧縮率から高圧縮率に至るまで、概ねＪＰＥＧより優れた画質を得られている。
【０００８】
ところで、ＪＰＥＧやＪＰＥＧ２０００は、主に静止画を対象とした規格であるが、動画に適用することも可能である。動画は連続する静止画の集合とみなせるので、各画像を順番に符号化すればよい。ＪＰＥＧを用いて動画像を符号化する方式は、Ｍｏｔｉｏｎ−ＪＰＥＧと呼ばれ、ディジタル・カメラ等に、広く普及している。また、ＪＰＥＧ２０００を用いて動画像を符号化する方式は、通称Ｍｏｔｉｏｎ−ＪＰＥＧ２０００と呼ばれている。
【０００９】
以上に述べた画像圧縮の各規格によれば、比較的良好な圧縮率が得られるが、これらの規格に加えて、さらに独自に画像の冗長性を利用して画像情報の圧縮符号化を行う画像符号化・復号化装置も考案されている。
【００１０】
例えば、画像符号化・復号化装置は、右目用画像及び左目用画像からなる立体動画像に対して符号化・復号化を行う装置であるが、右目用画像と左目用画像との間の相関性に着目し、右目用画像と左目用画像を合成し、生成した合成画像に対して、ＭＰＥＧを用いて符号化・復号化を行うことにより、符号化の効率を向上している（特許文献１参照）。
【００１１】
【特許文献１】
特開平８−７０４７５号公報（第４−６頁、第１図）
【００１２】
【発明が解決しようとする課題】
しかし、上記したＭｏｔｉｏｎ−ＪＰＥＧ２０００による画像符号化装置では、静止画用の圧縮符号化の規格であるＪＰＥＧ２０００を活用して、概ね良好な圧縮率を得られるが、動画像における時間的冗長性を残しているという問題がある。すなわち、動画像の各フレーム間の相関性に基づく情報の圧縮が全く為されていないという問題点が挙げられる。
【００１３】
つまり、Ｍｏｔｉｏｎ−ＪＰＥＧやＭｏｔｉｏｎ−ＪＰＥＧ２０００では、フレーム間の予測符号化を行わない。すなわち、これらの画像圧縮符号化方式は、画像の空間的相関性のみを利用し、時間的相関性を利用しない為に、ＭＰＥＧ等の空間的相関性と時間的相関性の双方を利用する規格に比べると、圧縮率を上げにくいという問題がある。ここで、空間的相関性とは、フレーム内の画素の相似性であり、時間的相関性とは、フレーム間の画素の相似性である。
【００１４】
特に、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、サブバンド階層符号化方式であり、ＤＣＴ等の変換符号化を用いる他の方式に対して、ブロック歪やモスキート・ノイズの発生を抑えやすいという利点がある為に、時間的相関性の活用による圧縮率のさらなる向上が望まれている。
【００１５】
また、動画像の各フレームのコードストリームが独立して生成される為に、各フレームに共通な情報が重複して符号化されるため圧縮率の向上が図れないという問題点も挙げられる。各フレームに共通な情報とは、例えば画像のサイズ情報や、どのように符号化されているのかを表す情報を含むヘッダ等が挙げられる。
【００１６】
さらに、特許文献１のように、従来の規格に加えて、さらに符号化効率を向上できる手法には、例えば、右目用画像及び左目用画像からなる立体動画像にしか適用できないという問題点があり、連続したフレームの時間的相関性に注目した合成については言及されていない。
【００１７】
本発明は、この問題点に鑑み、動画像の圧縮符号化において、既存の画像圧縮符号化規格を活用しながらも、さらに高い圧縮率と高画質を実現する画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法を提供する。
【００１８】
【課題を解決するための手段】
本願では、従来の画像符号化部の前段に、フレーム合成部を追加することにより、これらの問題点を解決する。
【００１９】
本発明の画像符号化装置及び画像符号化方法は、入力動画像の所定数あるいは可変数の連続するフレーム毎に、該連続フレームの各画素を組み合わせて、単一の合成フレームを生成し、該合成フレームに対して、所定の符号化規格に従って符号化を行い、符号化情報を出力することを特徴とする。
【００２０】
また、本発明の画像復号化装置及び画像復号化方法は、前記合成フレームを符号化して生成された符号化情報が入力され、該符号化情報に対して、所定の復号化規格にしたがって復号化を行い、さらに復号化された合成フレームの各画素の分離及び再構成を行い、所定数あるいは可変数の連続するフレーム画像を生成し、順次出力することを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて説明する。なお、以下の説明では、画像圧縮符号化の規格としてＭｏｔｉｏｎ−ＪＰＥＧ２０００を用いているが、これに限るものではない。例えばＭｏｔｉｏｎ−ＪＰＥＧやＤＶ規格などの他、動画像の空間的相関性を利用し、時間的相関性を利用しない符号化方式に適用することができる。
また、以下に説明する本発明の実施の形態の画像符号化装置及び画像復号化装置の動作は、専用のハードウェアのみならず、汎用のプロセッサ・システムによっても、実現可能である。
【００２２】
図１は、本発明の第１の実施の形態となる画像符号化装置のブロック図である。本実施の形態の画像符号化装置１０は、画像符号化部１１、フレーム合成部１２から構成されている。
図１４は、本発明の第１の実施の形態の画像符号化装置の動作フローチャートである。
【００２３】
図１において、入力画像の各フレームは、順次、フレーム合成部１２に入力される（ステップ１４１）。フレーム合成部１２は、フレームが入力される毎に、フレーム数をカウントし（ステップ１４２）、フレーム数のカウントを所定数と比較する（ステップ１４３）。フレーム数のカウントが所定数に等しくなるまで、ステップ１４１からステップ１４３が繰り返される。フレーム数のカウントが所定数に等しくなったとき、すなわち、所定数のフレームが入力される毎に、カウントをリセットし（ステップ１４４）、後述のように入力された各フレームの画素を組み合わせて、入力画像より大きい単一のフレーム画像を合成し、出力する（ステップ１４５）。ここで、合成とは、原フレームを分割した要素を組み合わせることである。ここで、該要素とは、画素単位やその他の任意に決定しうる複数個の画素の集合単位であってもよい。画像符号化部１１は、フレーム合成部１２から出力される合成画像に対して、フレーム毎にＪＰＥＧ２０００規格にしたがって符号化を行い（ステップ１４６）、生成した符号化情報を出力する（ステップ１４７）。以上のステップが、入力画像の終わりまで繰り返される。
【００２４】
本実施の形態における画像符号化部１１の動作について説明する。図２は、画像符号化部１１のブロック図である。画像符号化部１１は、ＤＷＴ部２１、量子化部２２、エントロピー符号化部２３から構成されている。画像は、ＤＷＴ部２１に入力される。ＤＷＴ部２１において、入力画像は所定の大きさのタイルに分割され、タイル毎に離散ウェーブレット変換が行われ、ＤＷＴ係数が量子化部２２に出力される。量子化部２２では、ＤＷＴ係数が所定の量子化テーブルにしたがって量子化され、量子化係数がエントロピー符号化部２３及に出力される。エントロピー符号化部２３では、量子化係数が所定の符号化テーブルによって符号化され、生成される符号化情報にヘッダ等の付帯情報を付加して順次出力する。
【００２５】
この構成によって、前述のように画像の空間的相関性を利用した画像情報の圧縮が可能である。すなわち、入力画像は、ＤＷＴによって、いくつかのサブバンドに分割されるが、各サブバンドのＤＷＴ係数のうち、低域のＤＷＴ係数にエネルギーが集中し、高域のＤＷＴ係数には、エネルギーが少ない。そこで、低域のＤＷＴ係数については、量子化ステップを小さくし、高域のＤＷＴ係数については、量子化ステップを大きくすることで、それほど視覚的画質を損なわずに、情報量を削減することができる。また、エントロピー符号化により、ＤＷＴ係数の統計的な偏りを利用して、可逆的に符号量を圧縮することができる。
【００２６】
なお、ＤＷＴ部２１において、入力画像は、必ずしもタイルに分割する必要はなく、タイルの大きさも任意に設定できる。入力画像をタイルに分割する目的は、前述のように、ハードウェア上のメモリ容量の制約への対処や、画像の各部分において性質が大きく異なる場合等に、各部分毎の画質制御を行うことにある。
【００２７】
次に、画像符号化部１１により生成される符号化情報について、例として、ＪＰＥＧ２０００を用いて動画像を符号化するＭｏｔｉｏｎ−ＪＰＥＧ２０００について説明する。符号化情報であるＭｏｔｉｏｎ−ＪＰＥＧ２０００は、ＪＰＥＧ２０００のファイル・フォーマットの一種として規定されている。ＪＰＥＧ２０００のファイル・フォーマットとは、コードストリームと呼ばれる画像自体の符号化情報の他に、例えば、画像の色空間情報などといった多種の付帯情報とを包含するファイルの構造である。これらの情報は、それぞれがボックスと呼ばれる構造により区分格納され、これらのボックスによりファイルを構成している。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、動画像を構成する各フレームのコードストリームの実体あるいは参照情報のボックスと、時刻情報などの付帯情報のボックスから成るファイル・フォーマットである。
【００２８】
図３は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００のファイルの構造の一例を示している。ｊｐ２は、シグネチャ・ボックスと呼ばれ、ＪＰＥＧ２０００のファイル・フォーマットであることを識別する。ｆｔｙｐは、ファイル・タイプ互換ボックスと呼ばれ、ファイル・フォーマットの種類を識別する。ｆｔｙｐ内では、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００を表す”ｍｊｐ２”が記述される。ｍｏｏｖは、ムービー・ボックスと呼ばれ、付帯情報全般を格納する。詳細は省略するが、ｍｏｏｖは、時刻情報などの各付帯情報を格納するサブ・ボックスを包含している。ｍｄａｔは、メディア・データ・ボックスと呼ばれ、動画像のコードストリームを包含している。動画像のコードストリームは、動画像の各フレームのコードストリームから構成されている。ここで、各フレームのコードストリームは、静止画のＪＰＥＧ２０００規格によるものと同一である。すなわち、各フレームのコードストリームは、符号化情報のヘッダ、タイル・パート・ヘッダとタイル・パートの複数組、及びマーカーＥＯＣ（Ｅｎｄ　ｏｆ　ｃｏｄｅｓｔｒｅａｍ）から構成されている。メイン・ヘッダは、画像のサイズ情報やウェーブレット変換に関する情報等を有している。タイル・パートは、各タイルに対応するコードストリームの一部分であり、タイル・パートの数は任意に設定できる。タイル・パート・ヘッダは、対応するタイル・パートの属するタイルの番号等の情報を有している。ＥＯＣはコードストリームの終わりを示すマーカーである。図３に示すように、フレーム０、フレーム１、フレーム２、フレーム３、・・・の各フレームのコードストリームが、順次連結され、動画像のコードストリームを構成している。
【００２９】
本実施の形態においては、従来の符号化部１１の前段に、フレーム合成部１２を追加したことにより、これらの問題点を解決している。図２１は、フレーム合成部１２の一例のブロック図である。フレーム合成部１２は、フレームバッファ２１１・２１２・２１３・２１４、ＣＰＵ２１５、メモリ２１６、セレクタ２１７から構成されている。以下、本発明におけるフレーム合成部１２の動作について図４を参照して説明する。
【００３０】
図４は、フレーム合成部１２において、動画の複数の連続フレームを合成し、合成フレームを生成する動作の一例を示している。この例では、連続する４フレーム毎に、１枚の合成フレームを生成しているが、これに限らず、合成に要するフレーム数は任意に決めることができる。ここで、合成に要するフレーム数とは、ひとつの合成フレームを作成するのに要する原フレームの数である。図２１において、入力画像の各フレームは、４つのフレームバッファに順次格納される。ＣＰＵ２１５は、入力フレームをカウントし、入力画像の各フレームバッファへの書き込みを制御する。すなわち、連続して入力されたフレーム０、フレーム１、フレーム２、フレーム３がそれぞれ、フレームバッファ２１１・２１２・２１３・２１４に順番に格納され、以後４フレームごとに繰り返される。次に、フレームバッファに格納された各フレームの画素を、セレクタ２１７により選択して、所定の順序で読み出し、合成フレームを出力する。ＣＰＵ２１５は、フレームバッファ２１１・２１２・２１３・２１４に格納された各フレームの画素の読み出しとセレクタ２１７の切り換え出力を制御する。図４に示すように、フレーム０、フレーム１、フレーム２、フレーム３の左上端の画素を、この順に水平方向に並べる。このように、水平方向に順に配列していく順序をラスター順という。以下、同様にして、ラスター順で、各フレームの画素を順に並べていく。この結果、元のフレームの水平サイズの４倍の水平サイズを持つ合成フレームが生成され、この合成フレームが、画像符号化部１１に入力される。メモリ２１６には、予め合成に要するフレーム数及び合成方法の情報が記録されており、ＣＰＵ２１５は、メモリ２１６に記録された合成に要するフレーム数の情報を参照して、上記のフレーム合成動作の制御を行う。フレーム合成部１２は、少なくとも、合成に要するフレーム数と同数のフレームバッファを備えていなければならない。処理速度向上のために、フレームバッファへの入力フレームの書き込みと、画素の読み出しをパイプライン動作させることもできるが、その場合、追加のフレームバッファが必要である。該フレーム合成部の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどをＣＰＵが実行することによって実現される。尚、これらの構成が、ハードウェアのみ、ソフトウェアのみ、またそれらの組み合わせによって実現できることは当業者に理解されるところである。
【００３１】
このような合成によって、合成フレーム内では水平方向に時間的に近接した同一位置の画素が４つずつ並べられることになる。すなわち、各画素における時間方向の相関性が、水平方向の相関性に置き換えられることになる。これにより、前述のＤＷＴ係数のエネルギーの低域への集中がさらに促進され、符号化効率が向上する効果が得られる。
【００３２】
なお、符号化の対象となる動画像の総フレーム数が、合成に要するフレーム数で割り切れない場合が考えられるが、最後のフレームを繰り返すか、あるいは中間階調のフレームを追加することによって、総フレーム数を合成に要するフレーム数の倍数になるようにしてやれば、なんら問題はない。例えば、４つの原フレームからひとつの合成フレームを作成する場合であって、原フレームが６つしかない場合には、上述の最後のフレームを繰り返す方法を採用すれば、１フレーム目から４フレーム目までを１つ目の合成フレームとし、５フレーム目と６フレーム目に６フレーム目のフレームを２フレーム分追加することで２つ目の合成フレームを生成することができる。この場合の上記のフレーム合成部１２の動作は、ＣＰＵ２１５が、セレクタ２１７において、フレームバッファ２１３・２１４から読み出した画素の代わりに、フレームバッファ２１２から読み出した画素を選択するように制御を行う。
【００３３】
また、本実施の形態によれば、動画像の各フレームに共通な情報が重複して符号化されるという問題点も改善される。
【００３４】
図５は、本実施の形態によるＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイルの構造を示している。ｊＰ２、ｆｔｙｐ、ｍｏｏｖについては、図３で示した通常のＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイルと同様であり、本実施の形態によるＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイルの場合にも変わりはない。図３との相違では、ｍｄａｔ内のコードストリームについては、４つの連続フレーム毎に、フレーム合成部１２によって生成する合成フレームに対して符号化を行う為に、通常のＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイルの場合と比較して、本実施の形態によるＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイルの場合には、メイン・ヘッダとＥＯＣの総数が４分の１に減少し、その分の符号量を削減できることになる。また、タイル・パートについても、前述のように、符号量が概ね減少している。
【００３５】
ここで、フレーム合成部１２における合成動作については、図４の合成方法に限らず、様々な方法が適用可能である。図６は、フレーム合成部１２における合成動作の別の例を示している。この例では、各フレームの画素を、垂直方向に並べる。入力動画像の時間方向の相関性は、垂直方向の相関性に置き換えられ、前述の図４の場合とほぼ同じ効果が得られる。また、図７は、フレーム合成部１２における合成動作のさらに別の例を示している。この例では、各フレームの画素を、水平垂直方向に格子状に並べる。入力動画像の時間方向の相関性は、水平及び垂直方向双方の相関性に置き換えられ、やはり、前述の例と同様の効果が得られる。さらに、図８は、フレーム合成部１２における合成動作のもう一つの別の例を示している。この例では、各フレームは、そのまま格子状に並べられる。この例は、入力動画像にシーン・チェンジや、かなり動きがある場合等、時間方向の相関性がほとんど無い場合に有効である。すなわち、前述の例のように合成した場合に、時間方向の相関性がほとんど無い為に、かえって空間領域の相関性が損なわれ、符号化効率が悪化するのを防ぐことができる。この場合にも、符号化情報におけるメイン・ヘッダとＥＯＣの重複を緩和し、符号量を削減できる利点がある為、通常のＭｏｔｉｏｎ−ＪＰＥＧ２０００に比べて有利である。また、ここに挙げた以外の合成方法も種種考えられる。これらの例においても、合成に要するフレーム数を任意に設定できることは明らかである。また、合成に要するフレーム数及び合成方法の情報は、予めメモリ２１６に記録され、ＣＰＵ２１５により参照されることは、図４の例と同じである。
【００３６】
以上のように、本実施の形態の画像符号化装置においては、従来のＭｏｔｉｏｎ−ＪＰＥＧ２０００の画像符号化装置に比較して、符号化効率が向上し、少ない符号量で動画像を圧縮符号化することができる。
【００３７】
次に本発明の第２の実施の形態となる画像符号化装置について説明する。本実施の形態の画像符号化装置は、前述の本発明の第１の実施の形態の画像符号化装置に改良を加えたものである。
【００３８】
すなわち、前述のように、フレーム合成部１２における合成動作については、図４に示したような合成方法に限らず、様々な合成方法が考えられるが、これらの合成方法は、符号化の対象となる動画像の性質によって、その効果が異なってくる。例えば、シーン・チェンジや動きの多い画像に対しては、図８に示したような合成方法のほうが、図４、図６、図７に示した合成方法よりも符号化効率がよいと考えられる。動きの少ない画像に対しては、図４、図６、図７に示した合成方法が有利であるが、特に画像の空間スペクトルにおいて、縦縞が多い画像等の水平方向の高周波成分が多い場合には、時間軸の相関性を水平方向に展開することで、見かけ上、水平方向の高周波成分を落とすことができる為、図４に示した合成方法が有利である。ここで、空間スペクトルとは、簡単には、水平方向あるいは垂直方向の画像の変化を表す周波数成分である。同様の理由から画像の空間スペクトルにおいて垂直方向の高周波成分が多い場合には、図６に示した合成方法が有利であり、画像の空間スペクトルにおいて水平方向と垂直方向で、ほぼ高周波成分が変わらない場合には、図７に示した合成方法が有利である。また、合成に要するフレーム数に関しても、符号化の対象となる動画像の性質によって、その効果が異なってくる。例えば、動きの少ない画像ほど、時間的相関性が高いので、合成に要するフレーム数を多くするほうが有利である。以上のことから、符号化対象となる画像、あるいはタイル等の部分画像毎に、その画像の動きや空間スペクトル等の性質によって、フレーム合成方法及び合成に要するフレーム数を切り換えることにより、さらに符号化効率を向上することができる。
【００３９】
図９は、本実施の形態の画像符号化装置のブロック図である。なお、本実施の形態の画像符号化装置において、本発明の第１の実施の形態の画像符号化装置と重複する部分については、同じ符号を付し、その詳細な説明を省略する。図１に示される第１の実施例との相違は、第１の実施例では合成フレームの合成方法が予め定められている場合に有効であるのに対し、本実施例は合成フレームの合成方法が選択可能である場合に有効である。本実施の形態の画像符号化装置は、フレーム合成部９１、画像符号化部１１、フレーム合成情報埋込部９２、フレーム合成制御部９３とから構成されている。本実施の形態の画像符号化装置の動作を、図１６に示すフローチャートを用いて説明する。図９において、入力画像の各フレームは、順次、フレーム合成部９１及びフレーム合成制御部９３に入力される（ステップ１６１）。フレーム合成制御部９３は、入力画像の動きや空間スペクトルを検出し、その結果からフレーム合成部９１におけるフレーム合成方法と、合成に要するフレーム数を設定し（ステップ１６２）、フレーム合成部９１及びフレーム合成情報埋込部９２に出力する。フレーム合成部９１は、フレームが入力される毎に、フレーム数をカウントし（ステップ１６３）、フレーム数のカウントを所定数と比較する（ステップ１６４）。フレーム数のカウントが所定数に等しくなるまで、ステップ１６１からステップ１６４が繰り返される。フレーム数のカウントが所定数に等しくなったとき、すなわち、フレーム合成制御部９３により設定された合成に要するフレーム数のフレームが入力される毎に、カウントをリセットし（ステップ１６５）、フレーム合成制御部９３により設定されたフレーム合成方法にしたがって、入力された各フレームの画素を組み合わせて、入力画像より大きい単一のフレーム画像を合成し（ステップ１６６）、画像符号化部１１に出力する。フレーム合成部９１は、本発明の第１の実施の形態におけるフレーム合成部１２と同様の構成である。但し、フレーム合成制御部９３により設定された合成に要するフレーム数及びフレーム合成方法の情報は、メモリ２１６に格納され、ＣＰＵ２１５により毎回参照される。また、合成に要するフレーム数の取り得る最大値に見合った数のフレームバッファが必要である。すなわち、少なくとも合成に要するフレーム数の取り得る最大値と同数のフレームバッファが必要である。画像符号化部１１により生成される符号化情報について、例として、ＪＰＥＧ２０００を用いて動画像を符号化するＭｏｔｉｏｎ−ＪＰＥＧ２０００について説明する。画像符号化部１１は、フレーム合成部９１から出力される合成画像に対して、フレーム毎にＪＰＥＧ２０００規格にしたがって符号化を行い（ステップ１６７）、生成したＭｏｔｉｏｎ−ＪＰＥＧ２０００符号化情報を、フレーム合成情報埋込部９２に出力する。フレーム合成情報埋込部９２は、フレーム合成制御部９３により設定されたフレーム合成方法及び合成に要するフレーム数の情報を、画像符号化部１１からのＭｏｔｉｏｎ−ＪＰＥＧ２０００符号化情報に埋め込み（ステップ１６８）、出力する（ステップ１６９）。なお、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００符号化情報内で、フレーム合成方法及び合成に要するフレーム数の情報を埋め込む方法としては、例えば、フレーム合成方法をフレーム単位で切り換える場合には、各合成フレームのコードストリームのメインヘッダ中に、マーカ・セグメントＣＭＥ（Ｃｏｍｍｅｎｔ　ａｎｄ　Ｅｘｔｅｎｓｉｏｎ）として挿入し、フレーム合成方法をタイル単位で切り換える場合には、同様に各タイル・パート・ヘッダ中に、マーカ・セグメントＣＭＥとして挿入すればよい。ＣＭＥは、ＪＰＥＧ２０００規格においてユーザの拡張用に用意されたオプションで、ＣＭＥによりＪＰＥＧ２０００規格で規定されない情報ビットを、メインヘッダまたはタイル・パート・ヘッダに挿入することができる。本願において、ヘッダ中のＣＭＥには、画面情報や、何フレーム分をひとつの合成フレームとしたかや、図４あるいは図６〜図７のうちのいずれの合成フレームの合成方法を採用したか等の情報を書き込むことができる。例えば、画面の大きさに関する情報では、４つの原フレームをひとつの合成フレームとした場合には、合成フレームの画面情報は原フレームの４倍となる。
【００４０】
以上のように、本実施の形態の画像符号化装置においては、本発明の第１の実施の形態である画像符号化装置に比較して、さらに符号化効率が向上し、より少ない符号量で動画像を圧縮符号化することができる。
【００４１】
次に本発明の第３の実施の形態となる画像復号化装置について説明する。本実施の形態の画像復号化装置は、前述の本発明の第１の実施の形態の画像符号化装置により符号化された画像符号化情報の復号化を行うものである。
【００４２】
図１０は、本実施の形態の画像復号化装置のブロック図である。本実施の形態の画像復号化装置１００は、画像復号化部１０１、フレーム分離部１０２から構成されている。復号化を行う符号化情報について、例として、ＪＰＥＧ２０００を用いて符号化されたＭｏｔｉｏｎ−ＪＰＥＧ２０００符号化情報について説明する。
図１５は、本実施の形態の画像復号化装置の動作のフローチャートである。図１０において、入力符号化ストリームが、画像復号化部１０１に入力される（ステップ１５１）。画像復号化部１０１は、復号化を行い（ステップ１５２）、復号化された合成フレームを、フレーム分離部１０２に順次出力する。フレーム分離部１０２は、合成フレームが入力される毎に、前述の合成手法と逆の操作により、入力された合成フレームの各画素を組み換えて、所定数のフレーム画像を分離し（ステップ１５３）、順次出力する（ステップ１５４）。　本実施の形態における画像復号化部１０１の動作について説明する。図１１は、画像復号化部１０１のブロック図である。画像復号化部１０１は、エントロピー復号化部１１１、逆量子化部１１２、ＩＤＷＴ部１１３から構成されている。入力された符号化ストリームは、エントロピー復号化部１１１に入力される。エントロピー復号化部１１１において、ヘッダ情報などの付帯情報が抽出された後、量子化ＤＷＴ係数の符号化情報が復号され、量子化ＤＷＴ係数が順次、逆量子化部１１２に出力される。逆量子化部１１２では、エントロピー復号化部１１１からの量子化ＤＷＴ係数が、所定の量子化テーブルにしたがって逆量子化され、ＤＷＴ係数がＩＤＷＴ部１１３に出力される。ＩＤＷＴ部１１３では、逆量子化部１１２からのＤＷＴ係数に対して、逆離散ウェーブレット変換が行われ、順次生成されるタイル画像が組み合わされて、フレーム画像が再構成され、出力される。
【００４３】
図１０に示す本実施の形態において、画像復号化部１０１により出力される画像は、合成フレームである。本実施の形態では、画像復号化部１０１の後段に、フレーム分離部１０２を接続することにより、本発明の第１の実施の形態の画像符号化装置により符号化された画像を復号化することができる。
【００４４】
図２２は、フレーム分離部１０２のブロック図である。フレーム分離部１０２は、合成フレームバッファ２２１、ＣＰＵ２２５、メモリ２２６から構成されている。画像復号化部１０１から入力される復号化された合成画像のフレームは、合成フレームバッファ２２１に格納される。合成フレームバッファ２２１は、１つの合成フレームを格納できるだけの容量を持っている。メモリ２２６には、予め合成に要するフレーム数及び合成方法の情報が記録されている。この合成に要するフレーム数及び合成方法の情報は、本発明の第１の実施の形態の画像符号化装置において用いられたものと同じである。ＣＰＵ２２５は、メモリ２２６に記録された合成に要するフレーム数及び合成方法の情報を参照し、合成フレームバッファ２２１からの画素の読み出し制御を行う。例えば、合成に要するフレーム数が４であった場合、まず最初に、合成フレームを構成する各画素のうち、フレーム０に相当する部分の画素を順次読み出し、出力する。同様に、フレーム１、フレーム２、フレーム３の順に読み出していく。以上の動作を、画像復号化部１０１から合成フレームが入力される毎に繰り返す。このようにして、復号化された合成フレームを分離することができる。なお、処理速度向上のために、合成フレームバッファへの合成フレームの書き込みと、画素の読み出しをパイプライン動作させることもできるが、その場合、追加の合成フレームバッファが必要である。該フレーム分離部の構成も、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどをＣＰＵが実行することによって実現できる。また、これらの構成が、ハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによって実現できることは当業者に理解されるところである。
【００４５】
なお、上述のように、本実施の形態の画像復号化装置は、本発明の第１の実施の形態の画像符号化装置と組み合わせて使用されるべきものであるので、フレーム分離部１０２は、本発明の第１の実施の形態の画像符号化装置におけるフレーム合成部１２に対応したものである。また、本実施の形態の画像復号化装置と、本発明の第１の実施の形態の画像符号化装置とで用いられる合成手法は、予め決められたものである。
【００４６】
次に本発明の第４の実施の形態となる画像復号化装置について説明する。本実施の形態の画像復号化装置は、前述の本発明の第２の実施の形態の画像符号化装置により符号化された画像符号化情報の復号化を行うものである。
【００４７】
図１２は、本実施の形態の画像復号化装置のブロック図である。なお、本実施の形態の画像復号化装置において、本発明の第３の実施の形態の画像復号化装置と重複する部分については、同じ符号を付し、その詳細な説明を省略する。本実施の形態の画像復号化装置は、フレーム合成情報抽出部１２１、画像復号化部１０１、フレーム分離部１２２、フレーム分離制御部１２３とから構成されている。
図１７は、本実施の形態の画像復号化装置の動作のフローチャートである。図１２において、入力符号化ストリームが、フレーム合成情報抽出部１２１に入力される（ステップ１７１）。フレーム合成情報抽出部１２１は、入力符号化ストリームからフレーム合成方法及び合成に要するフレーム数の情報を抽出し、残りの画像符号化情報を画像復号化部１０１に出力するとともに、フレーム合成方法及び合成に要するフレーム数の情報をフレーム分離制御部１２３に出力する（ステップ１７２）。復号化を行う符号化情報について、例として、ＪＰＥＧ２０００を用いて符号化されたＭｏｔｉｏｎ−ＪＰＥＧ２０００符号化情報について説明する。画像復号化部１０１は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００規格にしたがって、フレーム合成情報抽出部１２１からの画像符号化情報の復号化を行い、復号化された合成フレームを、フレーム分離部１２２に順次出力する（ステップ１７３）。フレーム分離制御部１２３は、フレーム合成情報抽出部１２１により抽出されたフレーム合成方法及び合成に要するフレーム数の情報を、フレーム分離部１２２に入力される合成フレームとタイミングを合わせて、フレーム分離部１２２に出力する。フレーム分離部１２２は、画像復号化部１０１から合成フレームが入力される毎に、フレーム分離制御部１２３から入力される合成方法の情報にしたがって、当該合成方法と逆の操作により、入力された合成フレームの各画素を組み換え、フレーム分離制御部１２３から入力される合成に要するフレーム数のフレーム画像を分離し（ステップ１７４）、順次出力する（ステップ１７５）。フレーム分離部１２２は、本発明の第３の実施の形態におけるフレーム分離部１０２と同様の構成である。但し、フレーム分離制御部１２３から入力された合成に要するフレーム数及びフレーム合成方法の情報は、メモリ２２６に格納され、ＣＰＵ２２５により毎回参照される。また、合成フレームの取り得る最大容量に見合った容量の合成フレームバッファが必要である。合成フレームの取り得る最大容量は、原フレームの容量に合成に要するフレーム数の取り得る最大数を乗じたものである。
【００４８】
以上のように、本実施の形態の画像復号化装置は、本発明の第２の実施の形態の画像符号化装置により符号化された画像を復号化することができる。
【００４９】
次に本発明の第５の実施の形態について説明する。本実施の形態は、本発明による画像符号化装置と画像復号化装置を応用したシステムの一具体例であるところの遠隔映像伝送システムであり、遠隔地にある映像送信端末より、映像を、ネットワーク経由で送信を行い、映像受信端末において、受信した映像を、記録・モニタリングするものである。
【００５０】
図１３は、本実施の形態の遠隔映像伝送システムのブロック図である。本実施の形態の遠隔映像伝送システムは、映像送信端末１３１と映像受信端末１３２から構成されており、さらに映像送信端末１３１は、映像入力装置１３３、Ａ／Ｄコンバータ１３４、画像符号化装置１０、ネットワークＩ／Ｆ１３５から構成され、映像受信端末１３２は、ネットワークＩ／Ｆ１３６、画像復号化装置１００、Ｄ／Ａコンバータ１３７、映像出力装置１３８とから構成されている。まず、映像送信端末１３１の動作について説明する。映像送信端末１３１において、映像入力装置１３３は、伝送するアナログ映像信号をＡ／Ｄコンバータ１３４に出力する。Ａ／Ｄコンバータ１３４は、映像入力装置１３３からのアナログ映像信号をディジタル画像信号に変換し、画像符号化装置１０に供給する。画像符号化装置１０は、Ａ／Ｄコンバータ１３４からのディジタル画像信号を圧縮符号化し、生成した画像符号化情報をネットワークＩ／Ｆ１３５に出力する。ネットワークＩ／Ｆ１３５は、画像符号化装置１０からの画像符号化情報をパケット化し、順次ネットワーク経由で、映像受信端末１３２に送出する。次に、映像受信端末１３２の動作について説明する。映像受信端末１３２において、ネットワークＩ／Ｆ１３６は、映像送信端末１３１により送出された画像符号化情報のパケットを受信し、画像符号化情報を抽出して、画像復号化装置１００に出力する。画像復号化装置１００は、ネットワークＩ／Ｆ１３６からの画像符号化情報を復号化し、生成したディジタル画像信号をＤ／Ａコンバータ１３７に出力する。Ｄ／Ａコンバータ１３７は、画像復号化装置１００からのディジタル画像信号を、アナログ映像信号に変換し、映像出力装置１３８に出力する。
【００５１】
ここで、画像符号化装置１０は、本発明による画像符号化装置であって、前述のように、従来の画像符号化装置よりも符号化効率がよく、画像符号化情報の符号量が少ない為、ネットワークの負荷を低減でき、また、記録媒体の容量を節約できるという利点がある。また、画像復号化装置１００は、本発明による画像復号化装置であって、本発明による画像符号化装置により符号化された画像符号化情報を復号化することができる。
【００５２】
本実施の形態の画像伝送システムは、様々な用途に利用することが可能である。例えば、映像入力装置１３３を監視カメラとして、映像出力装置１３８を監視モニタとすることにより、遠隔監視装置システムとして利用できる。また、映像入力装置１３３を、配信映像再生装置として、映像出力装置１３８をモニタ等とすることにより、ストリーミング映像配信システムとしても利用可能である。
【００５３】
次に本発明の第六の実施の形態について説明する。本実施の形態は、本発明による画像符号化装置と画像復号化装置を応用したシステムの別の一具体例であるところのビデオ録画再生システムであり、動画像を圧縮記録、あるいは圧縮記録された動画像を伸長再生するものである。
【００５４】
図１８は、本実施の形態のビデオ録画再生システムのブロック図である。本実施の形態のビデオ録画再生システムは、映像入力端子１８１、Ａ／Ｄコンバータ１８２、画像符号化装置１０、メモリ１８４、記録媒体１８５、画像復号化装置１００、Ｄ／Ａコンバータ１８７、映像出力端子１８８、ＣＰＵ１８９とから構成されている。本システムにおいて、ＣＰＵ１８９は、動画像圧縮記録・伸長再生の制御を行い、必要に応じて記録媒体への読み書き制御も行う。
まず、映像記録時の動作について説明する。映像入力端子１８１からアナログ映像信号がＡ／Ｄコンバータ１３４に入力される。Ａ／Ｄコンバータ１８２は、映像入力端子１８１からのアナログ映像信号をディジタル画像信号に変換し、画像符号化装置１０に供給する。画像符号化装置１０は、Ａ／Ｄコンバータ１８２からのディジタル画像信号を圧縮符号化し、生成した画像符号化情報をメモリ１８４に記録する。ＣＰＵ１８９は、必要に応じて、メモリ１８４に記録された符号化情報の記録媒体１８５への書き込みを行う。なお、記録媒体としては、磁気テープや、磁気ディスク及び光ディスクなど、一般に広く使われている媒体を使用できる。
次に、映像再生時の動作について説明する。ＣＰＵ１８９は、記録媒体１８５に書き込まれた画像符号化情報のメモリ１８４への読み出しを行う。メモリ１８４は、記録された画像符号化情報を、画像復号化装置１００に出力する。画像復号化装置１００は、メモリ１８４からの画像符号化情報を復号化し、生成したディジタル画像信号をＤ／Ａコンバータ１８７に出力する。Ｄ／Ａコンバータ１８７は、画像復号化装置１００からのディジタル画像信号を、アナログ映像信号に変換し、映像出力端子１８８に出力する。
【００５５】
ここで、画像符号化装置１０は、本発明による画像符号化装置であって、前述のように、従来の画像符号化装置よりも符号化効率がよく、画像符号化情報の符号量が少ない為、メモリ１８４の容量を節約でき、また、記録媒体１８５の容量を節約できるという利点がある。また、画像復号化装置１００は、本発明による画像復号化装置であって、本発明による画像符号化装置により符号化された画像符号化情報を復号化することができるのは、本発明の第五の実施の形態と同様である。
【００５６】
本実施の形態では、ビデオ録画システムとビデオ再生システムの各々別のシステムに分離することも可能である。すなわち、ビデオ録画システムは、映像入力端子１８１、Ａ／Ｄコンバータ１８２、画像符号化装置１０、メモリ１８４、記録媒体１８５、ＣＰＵ１８９とで構成でき、ビデオ再生システムは、メモリ１８４、記録媒体１８５、画像復号化装置１００、Ｄ／Ａコンバータ１８７、映像出力端子１８８、ＣＰＵ１８９とで構成できる。
【００５７】
また、本実施の形態の映像入力端子１８１にカメラを、映像出力端子１８８にモニタを接続することにより、ディジタル・ビデオ・カメラ・システムとすることもできる。
【００５８】
次に本発明の第７の実施の形態について説明する。本実施の形態は、本発明の第１の実施の形態の画像符号化装置と本発明の第２の実施の形態の画像復号化装置の双方の機能を備えた画像符号化復号化装置である。すなわち、一般に、画像符号化装置及び画像復号化装置をシステムＬＳＩ等のハードウェアで構成する場合に、各々独立したハードウェアとする場合もあるが、画像符号化装置及び画像復号化装置の機能を統合した画像符号化復号化装置とすることができる。この場合、画像符号化と画像復号化とにおいて比較的似通った処理を共通化することで回路規模を削減することができ、画像符号化と画像復号化の両方の機能を持つシステムの部品数を削減し、コストを下げることができる。
【００５９】
図２０は、本発明の第７の実施の形態となる画像符号化復号化装置のブロック図である。本実施の形態の画像符号化復号化装置１９３は、画像符号化復号化部２０１、フレーム合成部１２、フレーム分離部１０２から構成されている。
本実施の形態の画像符号化復号化装置は、画像符号化を行う場合には、フレーム合成部１２と画像符号化復号化部２０１により、本発明の第１の実施の形態の画像符号化装置と同じ動作をする。また、本実施の形態の画像符号化復号化装置は、画像復号化を行う場合には、画像符号化復号化部２０１とフレーム分離部１０２とにより、本発明の第３の実施の形態の画像復号化装置と同じ動作をする。したがって本発明の第１の実施の形態の画像符号化装置と本発明の第３の実施の形態の画像復号化装置の両方の機能を、よりコンパクトな構成で実現可能である。なお、詳細な説明は省略するが、本実施の形態と同様に、画像符号化復号化部２０１を用いることにより、本発明の第１の実施の形態の画像符号化装置と本発明の第３の実施の形態の画像復号化装置の両方の機能を備える画像符号化復号化装置を構成することができる。
【００６０】
次に本発明の第８の実施の形態について説明する。本実施の形態は、本発明による画像符号化装置と画像復号化装置を応用したシステムの別の一具体例であるところのビデオ録画再生システムであり、本発明の第６の実施の形態のビデオ録画再生システムに、本発明の第７の実施の形態の画像符号化復号化装置を適用し、改良を施したものである。
本実施の形態のビデオ録画再生システムにおいて、本発明の第６の実施の形態のビデオ録画再生システムと重複する部分については、同じ符号を付し、その詳細な説明を省略する。本実施の形態のビデオ録画再生システムは、本発明の第６の実施の形態のビデオ録画再生システムにおける画像符号化装置１０と画像復号化装置１００の代わりに、画像符号化装置１０と画像復号化装置１００の双方の機能を兼ね備えた画像符号化復号化装置１９１を備える。これにより、本実施の形態のビデオ録画再生システムは、本発明の第６の実施の形態のビデオ録画再生システムに比べて、コンパクトな構成となり、低コストで安価なビデオ録画再生システムである。
【００６１】
なお、本発明の第５、第６、第８の実施の形態は、本発明による画像符号化装置と画像復号化装置の応用システムの例であって、本発明による画像符号化装置と画像復号化装置は、動画像の効率的な伝送及び蓄積を必要とする様々な応用システムに適用することができる。　本発明の画像符号化装置及び画像符号化方法によれば、入力動画像の所定数あるいは可変数の連続するフレーム毎に、該連続フレームの各画素を組み合わせて、単一の合成フレームを生成し、該合成フレームに対して、所定の符号化規格に従って符号化を行い、符号化情報を出力することにより、動画像の時間軸方向の相関性を、空間領域の相関性に変換して、符号化の効率を向上することができる。さらに、動画像の動きや空間スペクトルを検出して、フレームの合成方法及び合成に要するフレーム数を可変とすることにより、一層符号化の効率を向上することができ、高圧縮率と高画質を両立することが可能である。
また、本発明の画像復号化装置及び画像符号化方法は、上述の合成フレームを符号化して生成された符号化情報が入力され、該符号化情報に対して、所定の符号化規格にしたがって復号化を行い、さらに復号化された合成フレームの各画素の分離及び再構成を行い、所定数あるいは可変数の連続するフレーム画像を生成し、順次出力することにより、上述の合成フレームを符号化して生成された符号化情報を復号化できる。
【００６２】
また、上述した実施例では従来の符号化／復号化規格を用いることが可能であるため、新たな規格を生成する必要がないという利点に加え、従来の符号化／復号化規格を用いた上で、更に、圧縮率の高い符号化を実現することができる。
【００６３】
【発明の効果】
本発明の画像符号化装置及び画像符号化方法によれば、画像の符号化効率を向上することができ、高圧縮率と高画質を実現することが可能である。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態となる画像符号化装置のブロック図。
【図２】従来のＭｏｔｉｏｎ−ＪＰＥＧ２０００符号化装置のブロック図。
【図３】通常のＭｏｔｉｏｎ−ＪＰＥＧ２０００規格のファイル・フォーマットの構造の一例を示す図。
【図４】フレーム合成方法の第一の例を説明する為の図。
【図５】本発明によるＭｏｔｉｏｎ−ＪＰＥＧ２０００規格のファイル・フォーマットの構造の一例を示す図。
【図６】フレーム合成方法の第二の例を説明する為の図。
【図７】フレーム合成方法の第三の例を説明する為の図。
【図８】フレーム合成方法の第四の例を説明する為の図。
【図９】本発明の第二の実施の形態となる画像符号化装置のブロック図。
【図１０】本発明の第三の実施の形態となる画像復号化装置のブロック図。
【図１１】従来のＭｏｔｉｏｎ−ＪＰＥＧ２０００復号化装置のブロック図。
【図１２】本発明の第四の実施の形態となる画像復号化装置のブロック図。
【図１３】本発明の第五の実施の形態となる遠隔画像伝送システムのブロック図。
【図１４】本発明の第１の実施の形態の動作フロー図。
【図１５】本発明の第３の実施の形態の動作フロー図。
【図１６】本発明の第２の実施の形態の動作フロー図。
【図１７】本発明の第４の実施の形態の動作フロー図。
【図１８】本発明の第６の実施の形態となるビデオ記録再生システムのブロック図。
【図１９】本発明の第８の実施の形態となるビデオ記録再生システムのブロック図。
【図２０】本発明の第７の実施の形態となる画像符号化復号化装置のブロック図。
【図２１】本発明のフレーム合成部のブロック図。
【図２２】本発明のフレーム分離部のブロック図。
【符号の説明】
１０…画像符号化装置
１１…画像符号化部
１２…フレーム合成部
２１…ＤＷＴ部
２２…量子化部
２３…エントロピー符号化部
９１…フレーム合成部
９２…フレーム合成情報埋込部
９３…フレーム合成制御部
１００…画像復号化装置
１０１…画像復号化部
１０２…フレーム分離部
１１１…エントロピー復号化部
１１２…逆量子化部
１１３…ＩＤＷＴ部
１２１…フレーム合成情報抽出部
１２２…フレーム分離部
１２３…フレーム分離制御部
１３１…映像送信端末
１３２…映像受信端末
１３３…映像入力装置
１３４…Ａ／Ｄコンバータ
１３５・１３６…ネットワークＩ／Ｆ
１３７…Ｄ／Ａコンバータ
１３８…映像出力装置
１４１…画像入力ステップ
１４２…フレーム数をカウントするステップ
１４３…カウントを比較するステップ
１４４…カウントをリセットするステップ
１４５…フレーム合成ステップ
１４６…画像符号化ステップ
１４７…符号化情報出力ステップ
１５１…符号化情報入力ステップ
１５２…画像復号化ステップ
１５３…フレーム分離ステップ
１５４…画像出力ステップ
１６１…画像入力ステップ
１６１…フレーム合成方法決定ステップ
１６３…フレーム数をカウントするステップ
１６４…カウントを比較するステップ
１６５…カウントをリセットするステップ
１６６…フレーム合成ステップ
１６７…画像符号化ステップ
１６８…フレーム合成情報埋め込みステップ
１６９…符号化情報出力ステップ
１７１…符号化情報入力ステップ
１７２…画像合成情報抽出ステップ
１７３…画像復号化ステップ
１７４…フレーム分離ステップ
１７５…画像出力ステップ
１８１…画像入力端子
１８２…Ａ／Ｄコンバータ
１８４…メモリ
１８５…記録媒体
１８７…Ｄ／Ａコンバータ
１８８…画像出力端子
１８９…ＣＰＵ
１９１…画像符号化復号化装置
２１１…フレームバッファ
２１２…フレームバッファ
２１３…フレームバッファ
２１４…フレームバッファ
２１５…ＣＰＵ
２１６…メモリ
２１７…セレクタ
２２１…合成フレームバッファ
２２５…ＣＰＵ
２２６…メモリ

Claims (27)

1. 画像処理装置であって、
   複数のフレームで構成される画像が入力される入力部と、
   前記入力部から出力される前記画像を、所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎に組み合わせ、ひとつの合成フレームを生成するフレーム合成部と、
   前記フレーム合成部から出力される合成フレームを所定の符号化規格に基づき符号化する符号化部と、
   前記符号化部から出力される符号化情報を記録する記録部と、
   前記記録部に格納した前記符号化情報が入力され、前記符号化情報を前記所定の符号化規格に基づき復号化する復号化部と、
   前記復号化部から出力される復号化された前記合成フレームが入力され、当該合成フレームの前記所定の領域毎に分離し前記所定数の連続するフレームを再構成するフレーム分離部とを有することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記フレーム合成部は、前記所定数の連続するフレームが得られない場合に、前記画像の最終フレームの所定の領域毎を重複して組み合わせて前記合成フレームを生成することを特徴とする画像処理装置。
3. 請求項１記載の画像処理装置であって、
   前記符号化情報中の前記合成フレームの符号化情報のヘッダには、前記合成フレームの画像のサイズの情報が書き込まれてあり、当該画像のサイズは、合成に要したフレーム分の大きさであることを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置であって、
   前記所定の符号化規格は、ＪＰＥＧ２０００規格であることを特徴とする画像処理装置。
5. 請求項１記載の画像処理装置であって、
   前記フレーム合成部と、前記符号化部と、前記復号化部と、前記フレーム分離部のうち、少なくとも２つは１チップで構成されることを特徴とする画像処理装置。
6. 請求項１記載の画像処理装置であって、
   前記フレーム合成部は、前記連続するフレームの同一位置の所定の領域を、水平方向、垂直方向、あるいは格子状のいずれかに順次並べて、前記合成フレームを生成することを特徴とする画像処理装置。
7. 請求項１記載の画像処理装置であって、
   前記フレーム合成部は、前記連続するフレームを、水平方向、垂直方向、あるいは格子状のいずれかに順次並べて、前記合成フレームを生成することを特徴とする画像処理装置。
8. 画像処理装置であって、
   複数のフレームで構成される画像が入力される入力部と、
   前記入力部から出力される前記画像を、所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎を組み合わせ、ひとつの合成フレームを生成するフレーム合成部と、
   前記フレーム合成部から出力される合成フレームを所定の符号化規格に基づき符号化する符号化部とを有することを特徴とする画像処理装置。
9. 請求項８記載の画像処理装置であって、
   前記符号化部から出力される符号化情報を記録する記録部とを有することを特徴とする画像処理装置。
10. 請求項８記載の画像処理装置であって、
    前記フレーム合成部と前記入力部とに接続されたフレーム合成制御部と、前記符号化部と前記フレーム合成制御部とに接続されたフレーム合成情報埋込部とを、さらに有してなり、
    前記フレーム合成制御部は、前記画像の各フレームが入力され、当該入力画像の空間スペクトルを検出し、その結果から前記フレーム合成部におけるフレーム合成方法と、合成に要するフレーム数を設定し、フレーム合成部及びフレーム合成情報埋込部に出力し、
    前記フレーム合成部は、前記フレーム合成制御部により設定された合成に要するフレーム数のフレームが入力される毎に、前記フレーム合成制御部により設定されたフレーム合成方法に従って、前記入力された各フレームの所定の領域毎に組み合わせて、合成フレームを作成し前記符号化部に出力し、
    前記符号化部は、前記フレーム合成部から出力される前記合成フレームに対して、フレーム毎に所定の符号化規格にしたがって符号化を行い、生成した符号化情報を、前記フレーム合成情報埋込部に出力し、
    前記フレーム合成情報埋込部は、前記フレーム合成制御部により設定されたフレーム合成方法及び合成に要するフレーム数の情報を、前記符号化部から出力された前記符号化情報に埋め込むことを特徴とする画像処理装置。
11. 請求項８記載の画像処理装置であって、
    前記フレーム合成部と、前記符号化部、前記フレーム合成制御部と、前記フレーム合成情報埋込部のうち、少なくとも２つは１チップで構成されることを特徴とする画像処理装置。
12. 画像処理装置であって、
    所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎を組み合わせ作成したひとつの合成フレームを、所定の符号化規格に基づき符号化して生成した符号化情報が入力される入力部と、
    前記符号化情報を前記所定の符号化規格に基づき復号化する復号化部と、
    前記復号化部が出力する復号化された前記合成フレームを入力され、当該合成フレームを前記所定の領域毎に分離し前記所定数の連続するフレームを再構成するフレーム分離部とを有することを特徴とする画像処理装置。
13. 請求項１２記載の画像処理装置であって、
    前記符号化部から出力される符号化情報を記録する記録部とを有することを特徴とする画像処理装置。
14. 請求項１２記載の画像処理装置であって、
    前記復号化部に接続されたフレーム合成情報抽出部と、当該フレーム合成情報抽出部とフレーム分離部とに接続されたフレーム分離制御部とを、さらに有してなり、
    前記フレーム合成情報抽出部は、前記符号化情報を入力され、当該符号化情報からフレーム合成方法及び合成に要するフレーム数の情報を抽出し、残りの符号化情報を前記復号化部に出力するとともに、該フレーム合成方法及び合成に要するフレーム数の情報を前記フレーム分離制御部に出力し、
    前記復号化部は、所定の規格にしたがって、前記フレーム合成情報抽出部から出力された符号化情報の復号化を行い、復号化された合成フレームを、前記フレーム分離部に出力し、
    前記フレーム分離制御部は、前記フレーム合成情報抽出部により抽出されたフレーム合成方法及び合成に要するフレーム数の情報を、前記フレーム分離部に出力し、
    前記フレーム分離部は、前記復号化部から復号化された前記合成フレームが入力される毎に、前記フレーム分離制御部から入力される合成方法の情報にしたがって、入力された合成フレームを前記所定の領域毎に分離することを特徴とする画像処理装置。
15. 請求項１２記載の画像処理装置であって、
    前記復号化部、前記フレーム合成情報抽出部、前記フレーム分離部、前記フレーム分離制御部のうち、少なくとも２つは１チップで構成されることを特徴とする画像処理装置。
16. 第１の端末と第２の端末と前記第１の端末と前記第２の端末とを接続するネットワークとを有する情報処理システムであって、
    前記第１の端末は、
    複数のフレームで構成される画像が入力される入力部と、
    前記入力部から出力される前記画像を、所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎に組み合わせ、ひとつの合成フレームを生成するフレーム合成部と、
    前記フレーム合成部から出力される合成フレームを所定の符号化規格に基づき符号化する符号化部と、
    前記符号化部から出力される符号化情報を前記ネットワークに出力する第１のネットワークＩ／Ｆとを有し、
    前記第２の通信端末は、
    前記第１の端末が出力した前記符号化情報を前記ネットワークから入力される第２のネットワークＩ／Ｆと、
    前記第２のネットワークＩ／Ｆに接続され、前記符号化情報を前記所定の符号化規格に基づき復号化する復号化部と、
    前記復号化部が出力する復号化された前記合成フレームを入力され、当該合成フレームを前記所定の領域毎に分離し前記所定数の連続するフレームを再構成するフレーム分離部とを有することを特徴とする情報処理システム。
17. 半導体集積回路であって、
    複数のフレームで構成される画像が入力される入力部と、
    前記入力部から出力される前記画像を、所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎に組み合わせ、ひとつの合成フレームを生成するフレーム合成部と、
    前記フレーム合成部から出力される合成フレームを所定の符号化規格に基づき符号化する符号化部とを有することを特徴とする半導体集積回路。
18. 請求項１７記載の半導体集積回路であって、
    前記符号化部から出力される符号化情報を記録する記録部とを有することを特徴とする半導体集積回路。
19. 半導体集積回路であって、
    所定数の連続するフレーム毎に、当該連続するフレームを所定の領域毎に組み合わせ作成したひとつの合成フレームを、所定の符号化規格に基づき符号化して生成した符号化情報が入力される入力部と、
    前記符号化情報を前記所定の符号化規格に基づき復号化する復号化部と、
    前記復号化部が出力する復号化された前記合成フレームを入力され、当該合成フレームを前記所定の領域毎に分離し前記所定数の連続するフレームを再構成するフレーム分離部とを有することを特徴とする半導体集積回路。
20. 請求項１９記載の半導体集積回路であって、
    前記符号化部から出力される符号化情報を記録する記録部とを有することを特徴とする半導体集積回路。
21. コンピュータを、
    複数のフレームで構成される画像のフレーム数が所定数に達するか否か測定する部と、
    前記フレーム数が所定数に達した場合、前記所定数の連続するフレーム毎に、当該連続するフレームを所定の領域毎に組み合わせて、ひとつの合成フレームを生成する部と、
    前記合成フレームを所定の符号化規格に基づき符号化する部として機能させるためのプログラム。
22. コンピュータを、
    複数のフレームで構成される画像のフレームの空間スペクトルを検出し、該フレームの合成方法を決定する部と、
    合成に要する前記フレーム数を設定する部と、
    前記フレーム数が所定数に達するか否か測定する部と、
    前記フレーム数が所定数に達した場合、前記所定数の連続するフレーム毎に、前記フレーム合成方法にしたがって、当該連続するフレームを所定の領域毎に組み合わせて、ひとつの合成フレームを生成する部と、
    前記合成フレームを所定の符号化規格に基づき符号化する部と、
    前記合成フレームの符号化情報のヘッダに前記フレーム合成方法及び前記合成に要するフレーム数の情報を書き込む部として機能させるためのプログラム。
23. コンピュータを、
    所定数の連続するフレーム毎に、当該連続するフレームを所定の領域毎に組み合わせ作成したひとつの合成フレームを、所定の符号化規格に基づき符号化した符号化情報を前記所定の規格に基づき復号化する部と、
    復号化された前記合成フレームが入力される毎に、当該合成フレームの前記所定の領域毎に分離し、前記連続するフレームを再構成する部として機能させるためのプログラム。
24. コンピュータを、
    所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎を組み合わせ作成したひとつの合成フレームの符号化情報のヘッダから前記フレームの合成方法及び前記合成に要するフレーム数の情報を読み出す部と、
    前記所定の符号化規格に基づき符号化された合成フレームを前記所定の規格に基づき復号化する部と、
    前記フレームの合成方法及び前記合成に要するフレーム数の情報に基づき、復号化された前記合成フレームが入力される毎に、当該合成フレームの前記所定の領域毎に分離し、前記フレームを再構成する部として機能させるためのプログラム。
25. 画像処理方法であって、
    複数のフレームで構成される画像を入力され、
    前記入力された画像を、所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎を組み合わせ、ひとつの合成フレームを生成し、
    前記合成フレームを所定の符号化規格に基づき符号化し生成した符号化情報を記録し、
    前記記録した前記符号化情報を前記所定の符号化規格に基づき復号化し、
    前記復号化した前記合成フレームを前記所定の領域毎に分離し前記所定数の連続するフレームを再構成することを特徴とする画像処理方法。
26. 画像処理方法であって、
    複数のフレームで構成される画像を入力され、
    前記入力された画像を、所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎を組み合わせ、ひとつの合成フレームを生成し、
    前記合成フレームを所定の符号化規格に基づき符号化することを特徴とする画像処理方法。
27. 画像処理方法であって、
    所定数の連続するフレーム毎に、当該連続するフレームの所定の領域毎を組み合わせ作成したひとつの合成フレームを、所定の符号化規格に基づき符号化して生成した符号化情報を入力され、
    前記符号化情報を前記所定の符号化規格に基づき復号化し、
    前記復号化した前記合成フレームを入力され、当該合成フレームを前記所定の領域毎に分離し前記所定数の連続するフレームを再構成することを特徴とする画像処理方法。

Images