JP2004193897A

JP2004193897A - Method and apparatus for encoding and decoding dynamic image, and program for performing them

Info

Publication number: JP2004193897A
Application number: JP2002358540A
Authority: JP
Inventors: Chunsen Bun; チュンセンブン; Satoru Adachi; 悟安達; Sadaatsu Kato; 禎篤加藤; Thiow Keng Tan; ティオケンタン
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2002-12-10
Filing date: 2002-12-10
Publication date: 2004-07-08

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for encoding a dynamic image by preventing the propagation of an error and simultaneously suppressing data such as redundant encoding condition, etc. as much as possible in the method for encoding the dynamic image of a slice unit. <P>SOLUTION: This method for encoding the dynamic image includes an image dividing step of dividing the image into a plurality of areas, an encoding data generating step of generating encoding data by compression encoding the divided areas of the image in the image dividing step, a first type header information adding step of adding first type header information including an image encoding condition used commonly to encode the plurality of the areas and area encoding conditions individually used to encode the areas in the encoding data generating step, and a second type header information adding step of adding second type header information including only the area encoding condition in the residual encoding data in which the first type header information is not added in the first type header information adding step. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像の圧縮符号化及び復号化方法とこれらを実現する装置に関するもので、特に符号化条件を効率的に伝送する方法に関するものである。
【０００２】
【従来の技術】
動画像信号の伝送や蓄積再生を行うために、動画像信号の圧縮符号化技術が用いられる。そのような技術として、ＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２６３（以下Ｈ．２６３と呼ぶ）やＩＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ１４４９６−２（ＭＰＥＧ−４Ｖｉｓｕａｌ、以下ＭＰＥＧ−４と呼ぶ）などの国際標準化動画像符号化方式が知られている。またより新しい符号化方式として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの合同国際標準化が予定されている動画像符号化方式、ＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２６４、ＩＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ
１４４９６−１０（以下Ｈ．２６Ｌと呼ぶ）が知られている。
【０００３】
これらの符号化方式では、画像を複数の領域に分割し、各領域において同じ条件のもとで符号化処理を行う。図２では、画像２０１を複数の領域に分割した模式図を示す。これらの領域をスライスと呼び、図２では、太い直線に囲まれる領域２０３〜２０６がスライスである。
【０００４】
各スライスに含まれる画像値はまた複数の符号化単位にまとめられる。この符号化単位はマクロブロックと呼び、１６×１６個の画素から構成される。図２では、２０２の正方形は１マクロブロックを示す。このように分割されたマクロブロックに対し、予め決定した予測信号からの残差を求め、その差分信号を離散コサイン変換（ＤＣＴ）し、ＤＣＴの係数を量子化した上で可変長符号化することにより、圧縮符号化データ（ビットストリームと呼ぶ）を生成する。
【０００５】
各マクロブロックを符号化するための共通の条件は、スライス単位で、ヘッダ情報として、マクロブロックの圧縮符号化データとともに伝送もしくは記録する。圧縮符号化データをスライス単位でまとめることにより、ほかのスライスのデータが汚染され、エラーが発生した場合でも、エラーの伝播を抑えることができる。また、スライス単位で並列な処理ができ、高速な演算が可能となる。
【０００６】
【非特許文献１】
国際標準動画像符号化の基礎技術（小野文孝、渡辺裕共著、コロナ社、１９９８年３月２０日発行）
【０００７】
【発明が解決しようとする課題】
このスライス単位の動画像符号化方法においては、エラーの伝播を抑えながら冗長なデータをできるだけなくし、効率的なデータ構造が要求される。
【０００８】
ところが、従来の技術では、各スライス固有の符号化条件に加えて、画像全体で共通する符号化条件も、各スライス単位で常に伝送もしくは記録しなければならない。エラー伝播を防ぐには非常に有効であるが、冗長なデータが存在するため、符号量としては非効率的である。図１３は、従来の技術で用いられる圧縮符号化データの構造を示す模式図である。同図では、１２０２、１２０４、１２０６、１２０８は各スライスの圧縮符号化データで、それぞれの先頭には、１２０１、１２０３、１２０５、１２０７のヘッダ情報が付加されている。これらのヘッダ情報には、同図の１２０９から１２１２に示すように、スライス固有の符号化条件１２１２に加えて、画像共通の符号化条件１２１１を必ず含めるようになっている。
【０００９】
本発明は、スライス単位の動画像符号化方法において、エラーの伝播を防ぐと同時に、冗長な符号化条件などのデータをできるだけ抑えた、動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置、及びこれらをコンピュータに実行させるためのプログラムとを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る動画像符号化方法（装置）は、画像を複数の領域に分割する画像分割ステップ（手段）と、画像分割ステップにおいて（画像分割手段によって）分割されたそれぞれの画像の領域を圧縮符号化し、符号化データを生成する符号化データ生成ステップ（手段）と、符号化データ生成ステップにおいて（符号化データ生成手段によって）、複数の領域を符号化するために共通に用いられた画像符号化条件と、それぞれの領域を符号化するために個別に用いられた領域符号化条件と、を含む第１種ヘッダ情報を少なくとも一の符号化データに付加する第１種ヘッダ情報付加ステップ（手段）と、符号化データ生成ステップにおいて（符号化データ生成手段によって）生成された符号化データのうち第１種ヘッダ情報付加ステップにおいて（第１ヘッダ情報付加手段によって）第１種ヘッダ情報が付加されなかった残りの符号化データに領域符号化条件のみを含む第２種ヘッダ情報を付加する第２種ヘッダ情報付加ステップ（手段）と、を有することを特徴とする。
【００１１】
このように符号化のための条件を画像全体の共通の画像符号化条件と、分割されたそれぞれの領域ごとの領域符号化条件とに分け、共通の画像符号化条件を少なくとも一の符号化データに第１種ヘッダ情報として付加すると共に、残りの符号化データには領域符号化条件のみを含む第２種ヘッダ情報を付加することにより、ヘッダ情報の冗長性を低減させ、効率の良いデータ伝送を実現することができる。
【００１２】
上記動画像符号化方法（装置）において、第１種ヘッダ情報が付加された符号化データは、第２種ヘッダ情報が付加された符号化データより先に復号処理ができるように伝送、もしくは記録されることを特徴としても良い。
【００１３】
このように共通の画像符号化条件を含む第１種ヘッダ情報を、画像符号化条件を含まない第２種ヘッダ情報より先に伝送又は記録することにより、画像符号化条件が含まれない第２種ヘッダ情報が付加された符号化データを円滑に復号することができる。
【００１４】
上記動画像符号化方法（装置）において、第１種ヘッダ情報及び第２種ヘッダ情報には、画像を識別するための画像識別子を含むことが好ましい。
【００１５】
上記動画像符号化方法（装置）において、第１種ヘッダ情報に含まれる画像符号化条件は、同じ画像においてすべて同じであることが好ましい。
【００１６】
上記動画像符号化方法（装置）において、第１種ヘッダ情報には第１識別子を、第２種ヘッダ情報には第２識別子を付加し、付加された第１識別子又は第２識別子とによって第１種ヘッダ情報と第２種ヘッダ情報とを区別することが好ましい。
【００１７】
上記動画像符号化方法（装置）において、第１種ヘッダ情報と第２種ヘッダ情報に、画像符号化条件が含まれるかどうかを示すフラグを含ませることを特徴としても良い。
【００１８】
このようなフラグを用いることにより、画像符号化情報が含まれているか否かを容易に判定できる。フラグは、例えば、画像符号化条件が含まれる場合はフラグを「１」とし、画像符号化条件が含まれない場合はフラグを「０」とすることができる。
【００１９】
本発明に係る動画像復号化方法（装置）は、画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データと、領域固有の符号化条件を示す領域符号化条件のみを含む第２種ヘッダ情報を付加した符号化データとを復号化し、画像を再生する画像復号化方法（装置）であって、第１種ヘッダ情報もしくは第２種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップ（手段）と、符号化データ入力ステップにおいて（符号化データ入力手段によって）入力された符号化データを復号化し、画像を構成する領域の画素データを生成する画素データ生成ステップ（手段）と、を備え、画素データ生成ステップでは（画素データ生成手段は）、第２種ヘッダ情報が付加された符号化データを復号化する際に、第１種ヘッダ情報に含まれる画像符号化条件を用いることを特徴とする。
【００２０】
このように、画像を構成するそれぞれの領域を符号化するための領域符号化条件のみを含む第２種ヘッダ情報が付加された符号化データを、第１種ヘッダ情報に含まれる共通の画像符号化条件を用いることにより、復号化することができる。これにより、共通の画像符号化条件の情報を全ての符号化データに付加しなくても良く、ヘッダ情報の冗長性を低減し、効率的なデータ伝送を実現することができる。
【００２１】
上記動画像復号化方法（装置）において、画素データ生成ステップ（手段）では、第２種ヘッダ情報が付加された符号化データを復号化する際に、同じ画像を構成する符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を用いる、ことが好ましい。
【００２２】
上記動画像復号化方法（装置）において、画素データ生成ステップ（手段）では、第１種ヘッダ情報が付加された符号化データを復号化する際に、第１種ヘッダ情報に含まれる画像符号化条件を格納し、第２種ヘッダ情報が付加された符号化データを復号化する際に、格納された画像符号化条件を用いる、ことを特徴としても良い。
【００２３】
このように第１種ヘッダ情報が付加された符号化データを復号化する際に、第１種ヘッダ情報に含まれる画像符号化条件を格納しておくことにより、第２種ヘッダ情報が付加された符号化データ情報を復号するときに用いることができる。
【００２４】
また、本発明に係る動画像復号化方法（装置）は、画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、画像を再生する画像復号化方法であって、第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップ（手段）と、符号化データ入力ステップにおいて（符号化データ入力手段によって）入力された第１種ヘッダ情報が付加された符号化データを復号化し、画像を構成する領域の画素データを生成する画素データ生成ステップ（手段）と、を備え、画素データ生成ステップ（手段）では、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、画像符号化条件が異なることを検出したときに、誤りがあると判定することを特徴とする。
【００２５】
同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件の内容は共通で同じであるので、複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件が異なる場合には、伝送誤りなどによって画像符号化条件の情報が変化したことが考えられるので、誤りであると判定することが好ましい。
【００２６】
また、本発明に係る動画像復号化方法（装置）は、画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、画像を再生する画像復号化方法であって、第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップ（手段）と、符号化データ入力ステップにおいて（符号化データ入力手段によって）入力された符号化データを復号化し、画像を構成する領域の画素データを生成する画像データ生成ステップ（手段）と、を備え、画像データ生成ステップ（手段）では、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、同じ画像の符号化データに付加された第１種ヘッダ情報に最も多く含まれる画像符号化条件を用いて、符号化データを復号化することを特徴とする。
【００２７】
同じ画像の符号化データに付加された第１種ヘッダ情報が異なる場合には、最も多く含まれる画像符号化条件が本来の画像符号化条件である可能性が高い。従って、複数の第１種ヘッダ情報に最も多く含まれる画像符号化条件を用いることにより、正しく復号化を行うことができる。
【００２８】
本発明に係るプログラムは、上記の動画像符号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００２９】
上記した動画像符号化方法の処理をコンピュータに実行させることができるプログラムにより、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３０】
また、本発明に係るプログラムは、上記の動画像復号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００３１】
上記した動画像復号化方法の処理をコンピュータに実行させることができるプログラムにより、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３２】
本発明に係るデータ記憶媒体は、上記の動画像符号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００３３】
上記した動画像符号化方法の処理をコンピュータに実行させることができるプログラムを記憶させたデータ記憶媒体により、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３４】
また、本発明に係るデータ記憶媒体は、上記の動画像復号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００３５】
上記した動画像復号化方法の処理をコンピュータに実行させることができるプログラムを記憶させたデータ記憶媒体により、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３６】
【発明の実施の形態】
以下、図面と共に本発明に係る動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００３７】
（第１実施形態）
図１は本発明の第１実施の形態による動画像符号化装置１００のブロック図を示し、図１に示されるように動画像符号化装置１００は、第１入力端子１０１、符号化条件を格納する制御器１０２、第２入力端子１０３、画像を１６×１６画素のマクロブロックに分割する画像分割器１０４、符号化器１０５、ヘッダ情報付加処理ユニット１０６と、出力端子１０７と、を備える。符号化器１０５の内部は、符号化器１０５が有する機能とその関連をブロックによって示している。
【００３８】
以上のように構成された動画像符号化装置１００の動作について説明し、併せて実施形態に係る動画像符号化方法について述べる。
【００３９】
画像を符号化する時の条件は入力端子１０１に入力される。入力の手段はアプリケーションによって異なり、圧縮率に応じて予め決められたテンプレートを入力する場合や、キーボードより条件を指定し入力する場合がある。符号化の条件は、動画像のシーケンス単位で指定されるもの、各画像単位で指定されるもの、そして画像を複数の領域に分割した際の各領域において指定されるものがある。シーケンス単位で指定される条件として、シーケンスを飛び越し走査とみなして符号化するかどうかの条件がある。画像単位で指定される条件として、当該画像を予測するための参照画像の特定や、メモリに格納される参照画像の並べ替え、メモリのリセットなどがある。さらに、画像を分割する際の各領域の形状も画像単位で予め決定される。画像単位で指定される条件は、以下「画像符号化条件」と呼ぶ。領域単位で指定される条件として、当該領域の位置や量子化幅の初期値がある。以下では、「領域符号化条件」と呼ぶ。これらの条件は制御器１０２に格納され、制御器１０２はこれらの条件をもとに、符号化器１０５に対し、符号化の条件を与える。
【００４０】
符号化の対象となる画像は入力端子１０３から入力される。分割器１０４では、当該画像を１６×１６の画素からなるマクロブロックに分割した上で、符号化器１０５に入力し、ＭＰＥＧに用いられる方式で圧縮符号化する。すなわち、フレームメモリ１１３に格納されている参照画像より、動きを検出し（１１４）、動き補償（１１４）した予測信号との差分をとり（１０８）、差分信号を離散コサイン変換（１０９）し、量子化（１１０）した上で、可変長符号化（１１５）をする。一方、量子化された信号は、逆量子化・逆離散コサイン変換（１１１）をしたのち、予測信号（１６２）に加算し（１１２）、画像を再生する。再生された画像は、参照画像として、フレームメモリ（１１３）に格納される。効率良く予測信号を作るために、参照できる画像は一枚に限らず、複数の画像を参照することができる。そのために、フレームメモリ（１１３）に複数の参照画像を格納する必要がある。フレームメモリに格納できる画像の枚数が有限であるため、画像単位で制御器（１０２）から指定される参照画像の枚数に従って、参照画像を並べ替えたり、不要となった参照画像を消したりする。これらの条件は、ヘッダ情報付加処理ユニット１０６に入力し、可変長符号化器１１５からの出力に、領域単位の先頭に付加し、出力端子１０７から出力される。
【００４１】
図２に示す画像２０１を複数の領域２０３〜２０６に分割した模式図を示す。これらの領域は以下「スライス」と呼ぶ。各スライスにあるマクロブロック（たとえば２０２）は前述のように符号化される。このように生成された圧縮符号化データは、図３に示す構造にまとめられる。
【００４２】
図３において、領域＃１画像データ３０２は、図２のスライス２０３の各マクロブロックの圧縮符号化データをまとめたものである。同様に、領域＃２画像データ３０４はスライス２０４、領域＃３画像データ３０６はスライス２０５、領域＃４画像データ３０８はスライス２０６、それぞれの圧縮符号化データをまとめたものを示す。領域＃１画像データ３０２と領域＃３画像データ３０６の先頭にはそれぞれ第１種ヘッダ情報３０１と３０５が付加され、領域＃２画像データ３０４と領域＃４画像データ３０８の先頭にはそれぞれ第２種ヘッダ情報３０３と３０７が付加される。ヘッダ情報付加処理ユニット１０６は、制御器１０２の指示より、各スライスの圧縮符号化データに指定されたヘッダ情報を付加する（詳細は下記に記載）。
【００４３】
本実施の形態に用いられる第１種ヘッダ情報を図４（ａ）及び図４（ｂ）に、第２種ヘッダ情報を図５にそれぞれ示す。第１種ヘッダ情報には、スライス固有の領域符号化条件４０１（図４（ａ）参照）と画像に共通する画像符号化条件４０２（図４（ｂ）参照）とが含まれる。図５の第２種ヘッダ情報には、スライス固有の符号化条件５０１が含まれる。領域符号化条件４０１と領域符号化条件５０１の各成分は異なる値をとることができる。但し、圧縮符号化データがどの画像に属するかを示す成分（図５ではｆｒａｍｅ＃ｎｕｍ５０２）はすべて同じである。両図を比較するとわかるように、第２種ヘッダ情報（図５参照）では、画像符号化条件４０２を除くことにより、ヘッダのデータを削減することができる。また、図４（ａ）及び図５に示すデータは異なる名前（ｆｉｒｓｔ＃ｓｌｉｃｅ＃ｈｅａｄｅｒとｓｅｃｏｎｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ）をもつため、両方を区別することができる。
【００４４】
図６（ａ）及び図６（ｂ）は、本実施の形態に用いられる第１種ヘッダ情報と第２種ヘッダ情報の別の構造を示す。この構造では、画像符号化条件６０２（図６（ｂ）参照）とスライス固有の符号化条件６０１（図６（ａ）参照）は同じ構造体（ｓｌｉｃｅ＃ｈｅａｄｅｒ）にあるが、ａｂｂｒｅｖｉａｔｅｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ＃ｆｌａｇ６０３によって分けられている。すなわち、第１種ヘッダ情報として用いる場合、ａｂｂｒｅｖｉａｔｅｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ＃ｆｌａｇ＝１とし、画像符号化条件６０２とスライス固有の符号化条件６０１の両方を付加する。第２種ヘッダ情報として用いる場合、ａｂｂｒｅｖｉａｔｅｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ＃ｆｌａｇ＝０とし、スライス固有の符号化条件６０１のみを付加することになる。
【００４５】
次にヘッダ情報付加処理ユニット１０６の処理について説明する。図７（ａ）は、ヘッダ情報付加処理ユニット１０６のヘッダ情報付加処理を示す。ステップ７０１では、スライスの圧縮符号化データと、ヘッダ情報のデータが入力される。ステップ７０２では、入力された圧縮符号化データは、画像を構成する複数のスライスの中で、先に伝送もしくは記録するものかどうかを判定する。先に伝送もしくは記録されるスライスの圧縮符号化データ、すなわち第１領域の符号化データであれば、ステップ７０３にて、画像符号化条件と当該スライス固有の領域符号化条件を含む第１種ヘッダ情報を付加する。それ以外のスライスの圧縮符号化データは、ステップ７０４にて当該スライス固有の領域符号化条件のみを含む第２種ヘッダ情報を付加する。本実施形態では先に伝送もしくは記録されるスライスとして、図２のように、画像の中で一番上に位置するスライス２０３を指すが、これに限るものではない。画像の中で一番上に位置していなくてもよく、要は、画像を構成するスライスの中で、ほかのスライスと比べて、時間的に先に伝送もしくは記録することがスライスの圧縮符号化データに第１種のヘッダ情報を付加し、それ以外のスライスの圧縮符号化データに第２種ヘッダ情報を付加する。
【００４６】
図７（ｂ）は、ヘッダ情報付加処理ユニット１０６の別の処理を示す。ここでは、ステップ７１２にて、入力された圧縮符号化データは優先順位の高いスライスに属すものかどうかを判定する。画像を構成するスライスの中で、例えばテレビ電話では背景よりも人間の顔が含まれるスライスは重要な情報と判断し、優先順位が高いとみなす。このような情報は、撮影される被写体によって予め定められる。ステップ７１２にて優先順位の高いスライスと判定された場合、第１種ヘッダ情報（７１３）を、そうでない場合は第２種ヘッダ情報（７１４）を付加する。
【００４７】
このように、優先順位の高い画像データに全ての情報を付加し、優先順位の低い画像データに省略された情報を付加することにより、冗長なデータを削減できると同時に、エラーが発生した場合でも、優先順位の高い画像データは問題なく再生でき、かつその領域において、時間的にエラーの伝播を抑える効果がある。
【００４８】
（第２実施形態）
図８は、本発明の第２実施の形態による動画像復号化装置８００のブロック図を示す。図８に示されるように、動画像復号化装置８００は、入力端子８０１、復号化器８０２、出力端子８０３、符号化条件を格納する制御器８０４、データ分析器８０５を備える。復号化器８０２の内部は、復号化器８０２が有する機能とその関連をブロックによって示している。
【００４９】
以上のように構成された動画像復号化装置８００の動作について説明し、併せて実施形態に係る動画像復号化方法について述べる。
【００５０】
第１実施形態に係る動画像符号化方法で生成した圧縮符号化されたデータは入力端子８０１に入力され、データ分析器８０５にてデータを分析し、可変長符号化を復号化したのち、ヘッダ情報を制御器８０４に、画像データ（ＤＣＴ係数、動き情報など）は復号化器８０２に送る。復号化器８０２は、制御器８０４からの符号化条件をもとに、圧縮データを逆量子化（８０６）し、逆離散コサイン変換（８０７）をした上で、動き補償（８１０）された予測信号に加算（８０８）し画像を再生する。再生された画像はフレームメモリ８０９に格納すると同時に、表示時間になったときに、出力端子８０３を通して表示装置に出力される。フレームメモリ８０９には、予測信号を作るために複数の画像が格納されている。制御器８０４からの指示に従い、これらの参照画像を並べ替えたり、使用しない参照画像をメモリから消したりする。これらの操作は、画像単位に行われる。
【００５１】
次に、図９を用いて制御器８０４における符号化条件の決定処理を説明する。ヘッダ情報がデータ分析器８０５から入力されたとき、ステップ９０２にて、それが第１種ヘッダ情報かどうかを判定する。第１種ヘッダ情報と判定された場合、ステップ９０３にて、画像識別子及び同じ画像識別子をもつスライスに共通する画像符号化条件を格納しておくと同時に、入力されたヘッダ情報をもとに符号化条件を設定する（９０５）。一方、ステップ９０２にて、第１種ヘッダ情報でないと判定された場合、すなわち第２種ヘッダ情報の場合、ステップ９０４にて、まず格納された画像符号化条件の中から、同じ画像識別子の画像符号化条件を取得する。この画像符号化条件と第２種ヘッダ情報に含まれている領域固有の符号化条件とから、ステップ９０５にて符号化条件をセットする。以上は、一画像に付き、第１種ヘッダ情報が１回だけ送られる場合について説明した。
【００５２】
次に、図１０を参照しながら、同じ画像において第１種ヘッダ情報が複数回含まれる場合を説明する。ステップ１００２にて入力されたデータが第１種ヘッダ情報である場合のみを説明する。そうでない場合は上記の処理と同じである。入力が第１種ヘッダ情報と判定された場合ステップ１００４に進む。ステップ１００４では、入力された第１種ヘッダ情報に示されている画像識別子は、すでに格納されている第１種ヘッダ情報の画像識別子と同じかどうかを判定する。すなわち、当該データと同じ画像の画像符号化条件がすでに格納されているかどうかを判定する。そうでない場合、ステップ１００５にて画像符号化条件を更新する。当該データと同じ画像の画像符号化条件がすでに格納されている場合、ステップ１００６にて画像符号化条件の内容が同じかどうかを判定する。同じである場合、そのままステップ１００８にて、符号化条件を設定する。そうでない場合、同じ画像であるのに、画像符号化条件が異なるという誤りが生じたことがわかる。ステップ１００７にてエラーが発生したと判定し、代わりに格納された画像符号化条件を用いて、ステップ１００８にて符号化条件を設定する。
【００５３】
別の処理方法として、画像識別子の同じ第１種ヘッダ情報に含まれる画像符号化条件の内容を全て比較した上で、多数決で内容の同じ条件を用いて、各スライスの画像符号化条件とし、復号化処理を行う。すなわち、複数の符号化データに付加された第１種ヘッダに含まれる画像符号化条件のうち、最も多く含まれる画像符号化条件を用いて復号化処理を行う。
【００５４】
このようにして、冗長なデータを必ず送ることなく、エラーが発生するときにも、画像符号化条件が共有でき、画像を再生することができる。
【００５５】
さらに、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を実現するための符号化あるいは復号化プログラムを、フロッピーディスクやハードディスク・固体メモリ等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムや携帯端末において簡単に実施することが可能となる。
【００５６】
最後に、図１１を参照して、本発明に係る動画像符号化方法あるいは動画像復号方法を実現するためのプログラムについて説明する。
【００５７】
図１１に示す様に、動画像処理プログラム１１は、記録媒体１０内に形成されたプログラム格納領域１０ａに格納されている。動画像処理プログラム１１は、携帯端末を含むコンピュータにより実行可能であり、動画像処理を統括するメインモジュール１２と、後述の動画像符号化プログラム１３と、後述の動画像復号プログラム１４とを有する。
【００５８】
動画像符号化プログラム１３は、画像分割モジュール１３ａと、符号化データ生成モジュール１３ｂと、第１種ヘッダ情報付加１３ｃモジュールと、第２種ヘッダ情報付加モジュール１３ｄと、を備えて構成される。これら各モジュールを動作させることによって実現する機能は、上述した動画像符号化方法の各ステップを実行することによって実現する機能とそれぞれ同様である。
【００５９】
また、動画像復号プログラム１４は、符号化データ入力モジュール１４ａと、画素データ生成モジュール１４ｂと、を備えて構成される。これら各モジュールを動作させることによって実現する機能は、上述した動画像復号方法の各ステップを実行することによって実現する機能とそれぞれ同様である。
【００６０】
動画像処理プログラム１１は、記録媒体１０にこれを記録することにより、上記各実施の形態で説明した処理を、携帯端末を含むコンピュータに容易に実行させることが可能となる。より具体的には、動画像処理プログラム１１は、例えば図１２（ａ）に示す物理フォーマットを有するフロッピィディスクＦＤのプログラム格納領域１０ａに格納される。プログラム格納領域１０ａには、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、更に、各トラックＴｒは、角度方向に１６のセクタＳｅに分割されている。
【００６１】
図１２（ｂ）に示す様に、プログラム格納領域１０ａがフロッピィディスクケースＦに内蔵されることにより、記録媒体１０としてのフロッピィディスクが構成されている。図１２（ｃ）に示す様に、周知慣用のコンピュータシステムＣｓにケーブル接続されたフロッピィディスクドライブＦＤＤに記録媒体１０が装着されると、図１１に示した動画像処理プログラム１１は、記録媒体１０から読み出し可能となり、コンピュータシステムＣｓに転送される。これにより、フロッピーディスクＦＤ内のプログラムにより上記符号化あるいは復号化装置をコンピュータシステム中に構築することができる。
【００６２】
なお、上記説明では、データ記録媒体１０としてフロッピーディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６３】
【発明の効果】
以上のように本発明によれば、画像共通の符号化条件と領域固有の符号化条件を分けて、重要性の高い画像領域に両方の符号化条件を付加し、重要性の低い画像領域に領域固有の符号化条件のみを付加することにより、エラーの伝播を防ぐと同時に、冗長な符号化条件のデータを抑える効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施形態による動画像符号化方法を示すブロック図である。
【図２】複数の領域（スライス）及び符号化単位（マクロブロック）に分割した画像を示す模式図である。
【図３】本発明による圧縮符号化データの構造を示す模式図である。
【図４】（ａ）及び（ｂ）は、本発明による第１のスライスヘッダのデータを示す図である。
【図５】本発明による第２のスライスヘッダのデータを示す図である。
【図６】（ａ）及び（ｂ）は、本発明による第３のスライスヘッダのデータを示す図である。
【図７】（ａ）及び（ｂ）は、本発明の第１実施形態による動画像符号化方法におけるヘッダ情報の付加処理を示す流れ図である。
【図８】本発明の第２実施形態による動画像復号化方法を示すブロック図である。
【図９】本発明の第２実施形態による動画像復号化方法における符号化条件を決定する第１の処理を示す流れ図である。
【図１０】本発明の第２実施形態による動画像復号化方法における符号化条件を決定する第２の処理を示す流れ図である。
【図１１】本発明の実施形態に係るプログラムの構成を示す図である。
【図１２】（ａ）（ｂ）（ｃ）は、上記各実施の形態の動画像符号化及び復号化方法をコンピュータシステムにより実現するためのプログラムを格納するためのデータ記憶媒体について説明するための図である。
【図１３】従来の技術に用いられる圧縮符号化データの構造を示す模式図である。
【符号の説明】
１００…動画像符号化装置、１０２…符号化条件を格納する制御器、１０４…画像分割器、１０５…符号化器、１０６…ヘッダ情報付加処理ユニット、８００…動画像復号化装置、８０２…復号化器、８０４…符号化条件を格納する制御器、８０５…データ分析器。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for compressing and encoding moving images and an apparatus for implementing the methods, and more particularly to a method for efficiently transmitting encoding conditions.
[0002]
[Prior art]
In order to transmit and store and reproduce a moving image signal, a compression coding technique of the moving image signal is used. As such a technique, ITU-T Recommendation H. Internationally standardized moving picture coding methods such as H.263 (hereinafter referred to as H.263) and ISO / IEC International Standard 14496-2 (MPEG-4 Visual, hereinafter referred to as MPEG-4) are known. In addition, as a newer encoding method, a moving image encoding method which is scheduled to be jointly standardized by ITU-T and ISO / IEC, ITU-T Recommendation H.264. H.264, ISO / IEC International Standard
14496-10 (hereinafter referred to as H.26L) is known.
[0003]
In these encoding methods, an image is divided into a plurality of regions, and an encoding process is performed in each region under the same conditions. FIG. 2 shows a schematic diagram in which the image 201 is divided into a plurality of regions. These areas are called slices, and in FIG. 2, the areas 203 to 206 surrounded by thick straight lines are slices.
[0004]
The image values included in each slice are also grouped into a plurality of coding units. This coding unit is called a macroblock, and is composed of 16 × 16 pixels. In FIG. 2, the square 202 indicates one macroblock. For the macroblock divided in this way, a residual from a predetermined prediction signal is obtained, the difference signal is subjected to discrete cosine transform (DCT), DCT coefficients are quantized, and then variable length coding is performed. Generates compressed encoded data (referred to as a bit stream).
[0005]
A common condition for encoding each macroblock is to transmit or record the header information together with the compressed encoded data of the macroblock in slice units. By grouping the compression-encoded data in slice units, even when data in another slice is contaminated and an error occurs, propagation of the error can be suppressed. In addition, parallel processing can be performed in slice units, and high-speed operation can be performed.
[0006]
[Non-patent document 1]
Basic Technology of International Standard Video Coding (Fumitaka Ono, Yutaka Watanabe, Corona Publishing, March 20, 1998)
[0007]
[Problems to be solved by the invention]
In this video coding method in units of slices, an efficient data structure is required, while suppressing error propagation and eliminating redundant data as much as possible.
[0008]
However, in the conventional technique, in addition to the encoding conditions specific to each slice, the encoding conditions common to the entire image must always be transmitted or recorded in slice units. This is very effective in preventing error propagation, but is inefficient as a code amount due to the presence of redundant data. FIG. 13 is a schematic diagram showing a structure of compression-encoded data used in a conventional technique. In the figure, reference numerals 1202, 1204, 1206, and 1208 denote compression-encoded data of each slice, and header information of 1201, 1203, 1205, and 1207 is added to the beginning of each slice. As shown in 1209 to 1212 in the same drawing, these header information always include the encoding condition 1211 common to the image in addition to the encoding condition 1212 specific to the slice.
[0009]
The present invention provides a moving picture coding method, a moving picture decoding method, a moving picture coding method and a moving picture coding method in a slice unit, in which propagation of an error is prevented and data such as redundant coding conditions are suppressed as much as possible. It is an object to provide a decoding device, a moving image decoding device, and a program for causing a computer to execute these.
[0010]
[Means for Solving the Problems]
A moving image encoding method (apparatus) according to the present invention includes an image dividing step (means) for dividing an image into a plurality of regions, and compressing each image region divided (by the image dividing unit) in the image dividing step. An encoded data generation step (means) for encoding and generating encoded data; and an image code commonly used for encoding a plurality of regions in the encoded data generation step (by the encoded data generation means). First type header information adding step of adding first type header information including encoding conditions and region encoding conditions individually used for encoding each region to at least one encoded data (means ) And the first type header information adding step of the encoded data generated by the encoded data generating step (by the encoded data generating means). A second type header information adding step (means) of adding second type header information including only the area coding condition to the remaining encoded data to which the first type header information has not been added (by the first header information adding means); And having the following.
[0011]
In this way, the conditions for encoding are divided into a common image encoding condition for the entire image and an area encoding condition for each of the divided areas, and the common image encoding condition is defined as at least one encoded data. By adding the first type header information to the remaining encoded data and the second type header information including only the region encoding condition to the remaining encoded data, thereby reducing the redundancy of the header information and efficiently transmitting data. Can be realized.
[0012]
In the moving picture encoding method (apparatus), the encoded data to which the first type header information is added is transmitted or recorded so that the encoded data to which the second type header information is added can be decoded before the encoded data. It may be characterized by being performed.
[0013]
By transmitting or recording the first type header information including the common image encoding condition before the second type header information not including the image encoding condition, the second type header information including no image encoding condition is included. The encoded data to which the seed header information has been added can be smoothly decoded.
[0014]
In the moving picture encoding method (apparatus), it is preferable that the first type header information and the second type header information include an image identifier for identifying an image.
[0015]
In the moving image encoding method (apparatus), it is preferable that the image encoding conditions included in the first type header information are all the same in the same image.
[0016]
In the moving picture encoding method (apparatus), a first identifier is added to the first type header information, and a second identifier is added to the second type header information, and the first identifier or the second identifier is used for the first identifier. It is preferable to distinguish the type 1 header information from the type 2 header information.
[0017]
In the above moving picture encoding method (apparatus), the first type header information and the second type header information may include a flag indicating whether or not an image encoding condition is included.
[0018]
By using such a flag, it is possible to easily determine whether or not image coding information is included. For example, the flag can be set to “1” when the image coding condition is included, and set to “0” when the image coding condition is not included.
[0019]
A moving image decoding method (apparatus) according to the present invention includes: an image encoding condition indicating an encoding condition common to a plurality of regions constituting an image; and an area encoding condition indicating an encoding condition unique to each region. An image in which encoded data to which the first type header information is added and encoded data to which the second type header information including only the region encoding condition indicating the region-specific encoding condition is added are decoded to reproduce the image A decoding method (apparatus), comprising: an encoded data input step (means) for inputting encoded data to which first type header information or second type header information is added; A pixel data generating step (means) for decoding the encoded data input by the data input means and generating pixel data of an area constituting an image. Containing data generating means), when the second type header information for decoding the additional encoded data, characterized by using the image encoding condition included in the first type header information.
[0020]
As described above, the encoded data to which the second type header information including only the area encoding condition for encoding each area constituting the image is added to the common image code included in the first type header information The decryption can be performed by using the decryption condition. As a result, it is not necessary to add the information of the common image encoding condition to all the encoded data, the redundancy of the header information can be reduced, and efficient data transmission can be realized.
[0021]
In the moving picture decoding method (apparatus), in the pixel data generating step (means), when decoding the coded data to which the second type header information is added, the coded data added to the coded data forming the same image is decoded. It is preferable to use the image encoding conditions included in the first type header information.
[0022]
In the moving picture decoding method (apparatus), in the pixel data generating step (means), when decoding the encoded data to which the first type header information is added, the image encoding included in the first type header information may be performed. When storing the conditions and decoding the coded data to which the second type header information is added, the stored image coding conditions may be used.
[0023]
When decoding the encoded data to which the first type header information is added in this manner, the second type header information is added by storing the image encoding conditions included in the first type header information. It can be used when decoding encoded data information.
[0024]
In addition, the moving picture decoding method (apparatus) according to the present invention includes an image coding condition indicating a coding condition common to a plurality of regions constituting an image, and a region coding condition indicating a coding condition unique to each region. A method for decoding coded data to which first type header information including a first type header information is added and reproducing an image, wherein the coded data inputting step includes inputting the coded data with the first type header information added (Means) and a pixel that decodes the encoded data to which the first type header information is added (by the encoded data input means) in the encoded data input step, and generates pixel data of a region forming an image A pixel data generation step (means), wherein the pixel data generation step (means) includes an image encoding step included in the first type header information added to a plurality of encoded data constituting the same image. Matter to compare, when the image encoding condition detects different, and judging that there is an error.
[0025]
Since the contents of the image encoding conditions included in the first type header information added to the plurality of encoded data constituting the same image are common and the same, the first type header information added to the plurality of encoded data If the image coding conditions included in the information are different, it is possible that the information of the image coding conditions has changed due to a transmission error or the like.
[0026]
In addition, the moving picture decoding method (apparatus) according to the present invention includes an image coding condition indicating a coding condition common to a plurality of regions constituting an image, and a region coding condition indicating a coding condition unique to each region. A method for decoding coded data to which first type header information including a first type header information is added and reproducing an image, wherein the coded data inputting step includes inputting the coded data with the first type header information added (Means) and an image data generating step (means) for decoding the coded data input (by the coded data input means) in the coded data input step and generating pixel data of a region forming an image. In the image data generation step (means), the image encoding conditions included in the first type header information added to the plurality of encoded data constituting the same image are compared, and the code of the same image is encoded. Using the most image encoding condition included in the first type header information added to the data, and wherein decoding the encoded data.
[0027]
When the first type header information added to the encoded data of the same image is different, it is highly possible that the most frequently included image encoding condition is the original image encoding condition. Therefore, decoding can be correctly performed by using the image coding condition most included in the plurality of type 1 header information.
[0028]
A program according to the present invention is characterized by storing a program for causing a computer to perform the processing of the above moving picture encoding method.
[0029]
A program that enables a computer to execute the processing of the above-described moving picture coding method can reduce data redundancy and realize efficient data transmission.
[0030]
Further, a program according to the present invention is characterized by storing a program for causing a computer to perform the processing of the above moving picture decoding method.
[0031]
A program that allows a computer to execute the processing of the above-described moving picture decoding method can reduce data redundancy and realize efficient data transmission.
[0032]
A data storage medium according to the present invention is characterized by storing a program for causing a computer to perform the processing of the above moving picture coding method.
[0033]
By using a data storage medium storing a program capable of causing a computer to execute the processing of the moving picture coding method, data redundancy can be reduced and efficient data transmission can be realized.
[0034]
Further, a data storage medium according to the present invention stores a program for causing a computer to execute the processing of the above moving picture decoding method.
[0035]
With a data storage medium storing a program capable of causing a computer to execute the processing of the above-described moving picture decoding method, it is possible to reduce data redundancy and realize efficient data transmission.
[0036]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of a moving picture coding apparatus, a moving picture decoding apparatus, a moving picture coding method, and a moving picture decoding method according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same elements will be denoted by the same reference symbols, without redundant description.
[0037]
(1st Embodiment)
FIG. 1 is a block diagram of a moving picture coding apparatus 100 according to a first embodiment of the present invention. As shown in FIG. 1, the moving picture coding apparatus 100 stores a first input terminal 101 and a coding condition. A controller 102, a second input terminal 103, an image divider 104 for dividing an image into macroblocks of 16 × 16 pixels, an encoder 105, a header information addition processing unit 106, and an output terminal 107. The inside of the encoder 105 shows the functions of the encoder 105 and their relations by blocks.
[0038]
The operation of the moving picture coding apparatus 100 configured as described above will be described, and the moving picture coding method according to the embodiment will also be described.
[0039]
Conditions for encoding an image are input to an input terminal 101. The means of input differs depending on the application, and there are a case where a predetermined template is input according to the compression ratio and a case where a condition is specified from a keyboard and input. The coding conditions include those specified in moving image sequence units, those specified in each image unit, and those specified in each region when an image is divided into a plurality of regions. As a condition specified in units of a sequence, there is a condition as to whether a sequence is to be regarded as an interlaced scan and encoded. Conditions specified for each image include specifying a reference image for predicting the image, rearranging the reference images stored in the memory, resetting the memory, and the like. Further, the shape of each area when dividing an image is also determined in advance for each image. The condition specified for each image is hereinafter referred to as “image encoding condition”. Conditions specified for each area include the position of the area and the initial value of the quantization width. Hereinafter, it is referred to as “region coding condition”. These conditions are stored in the controller 102, and the controller 102 gives coding conditions to the encoder 105 based on these conditions.
[0040]
An image to be encoded is input from an input terminal 103. The divider 104 divides the image into macroblocks composed of 16 × 16 pixels, inputs the divided macroblocks to the encoder 105, and compression-encodes them by a method used in MPEG. That is, motion is detected from the reference image stored in the frame memory 113 (114), a difference from the motion compensated (114) predicted signal is obtained (108), and the difference signal is subjected to discrete cosine transform (109). After quantization (110), variable length coding (115) is performed. On the other hand, the quantized signal undergoes inverse quantization and inverse discrete cosine transform (111), and is added to the prediction signal (162) (112) to reproduce an image. The reproduced image is stored in the frame memory (113) as a reference image. In order to efficiently generate a prediction signal, the number of images that can be referred to is not limited to one, but a plurality of images can be referred to. Therefore, it is necessary to store a plurality of reference images in the frame memory (113). Since the number of images that can be stored in the frame memory is finite, the reference images are rearranged or unnecessary reference images are deleted according to the number of reference images specified by the controller (102) in image units. These conditions are input to the header information addition processing unit 106, added to the output from the variable length encoder 115 at the beginning of each area, and output from the output terminal 107.
[0041]
FIG. 3 shows a schematic diagram in which the image 201 shown in FIG. 2 is divided into a plurality of regions 203 to 206. FIG. These areas are hereinafter referred to as “slices”. The macroblock (eg, 202) in each slice is encoded as described above. The compression-encoded data generated in this manner is put together in a structure shown in FIG.
[0042]
In FIG. 3, area # 1 image data 302 is a collection of compression-encoded data of each macroblock of the slice 203 in FIG. Similarly, the area # 2 image data 304 indicates the slice 204, the area # 3 image data 306 indicates the slice 205, and the area # 4 image data 308 indicates the slice 206. The first type header information 301 and 305 are added to the head of the area # 1 image data 302 and the area # 3 image data 306, respectively, and the second type header information is added to the head of the area # 2 image data 304 and the area # 4 image data 308, respectively. Seed header information 303 and 307 are added. The header information addition processing unit 106 adds the designated header information to the compression-encoded data of each slice according to an instruction from the controller 102 (details are described below).
[0043]
FIGS. 4A and 4B show first type header information and FIG. 5 shows second type header information used in the present embodiment. The first type header information includes a slice-specific region encoding condition 401 (see FIG. 4A) and an image encoding condition 402 (see FIG. 4B) common to images. The second type header information in FIG. 5 includes a slice-specific encoding condition 501. Each component of the region encoding condition 401 and the component of the region encoding condition 501 can have different values. However, the components (frame # num 502 in FIG. 5) indicating to which image the compression-encoded data belongs are all the same. As can be seen by comparing the two figures, in the second type header information (see FIG. 5), the data of the header can be reduced by excluding the image encoding condition 402. Further, the data shown in FIGS. 4A and 5 have different names (first # slice # header and second # slice # header), so that both can be distinguished.
[0044]
FIGS. 6A and 6B show another structure of the first type header information and the second type header information used in the present embodiment. In this structure, the image coding condition 602 (see FIG. 6B) and the slice-specific coding condition 601 (see FIG. 6A) are in the same structure (slice # header) but are abbreviated # slice # header # flag 603. That is, when used as the first type header information, abbreviated # slice # header # flag = 1 is set, and both the image encoding condition 602 and the slice-specific encoding condition 601 are added. When used as the second type header information, abbreviated # slice # header # flag = 0, and only the slice-specific coding condition 601 is added.
[0045]
Next, the processing of the header information addition processing unit 106 will be described. FIG. 7A shows the header information addition processing of the header information addition processing unit 106. In step 701, the compression-encoded data of the slice and the data of the header information are input. In step 702, it is determined whether or not the input compression-encoded data is to be transmitted or recorded first among a plurality of slices constituting an image. If it is the compressed and encoded data of the slice to be transmitted or recorded earlier, that is, the encoded data of the first area, in step 703, the first type header including the image encoding condition and the area encoding condition specific to the slice Add information. In step 704, second-type header information including only the region-specific encoding conditions for the slice is added to the compressed and encoded data of the other slices. In the present embodiment, as the slice transmitted or recorded first, the slice 203 located at the top of the image as shown in FIG. 2 is indicated, but the present invention is not limited to this. It does not have to be located at the top of the image, in other words, it is necessary to transmit or record temporally earlier in the slices composing the image than in the other slices. The first type of header information is added to the encoded data, and the second type of header information is added to the compressed and encoded data of the other slices.
[0046]
FIG. 7B shows another process of the header information addition processing unit 106. Here, in step 712, it is determined whether or not the input compression-encoded data belongs to a slice having a higher priority. Among slices constituting an image, for example, in a videophone, a slice including a human face is more important information than a background, and is regarded as having a higher priority. Such information is predetermined by the subject to be photographed. If it is determined in step 712 that the slice has a higher priority, the first type header information (713) is added. Otherwise, the second type header information (714) is added.
[0047]
As described above, by adding all the information to the high-priority image data and adding the omitted information to the low-priority image data, redundant data can be reduced, and at the same time, even when an error occurs, In addition, image data having a high priority can be reproduced without any problem, and the effect of temporally suppressing the propagation of errors in that region is obtained.
[0048]
(2nd Embodiment)
FIG. 8 shows a block diagram of a video decoding device 800 according to the second embodiment of the present invention. As shown in FIG. 8, the video decoding device 800 includes an input terminal 801, a decoder 802, an output terminal 803, a controller 804 for storing encoding conditions, and a data analyzer 805. The inside of the decoder 802 shows the functions of the decoder 802 and their relations by blocks.
[0049]
The operation of the moving picture decoding apparatus 800 configured as described above will be described, and the moving picture decoding method according to the embodiment will also be described.
[0050]
The compression-coded data generated by the moving picture coding method according to the first embodiment is input to an input terminal 801, the data is analyzed by a data analyzer 805, the variable-length coding is decoded, and then the header is decoded. The information is sent to the controller 804, and the image data (DCT coefficients, motion information, etc.) is sent to the decoder 802. The decoder 802 performs inverse quantization (806) on the compressed data based on the encoding conditions from the controller 804, performs inverse discrete cosine transform (807), and performs motion compensation (810) prediction. The image is reproduced by adding (808) to the signal. The reproduced image is stored in the frame memory 809 and is output to the display device through the output terminal 803 when the display time comes. A plurality of images are stored in the frame memory 809 to generate a prediction signal. In accordance with an instruction from the controller 804, these reference images are rearranged and unused reference images are deleted from the memory. These operations are performed for each image.
[0051]
Next, the processing for determining the encoding condition in the controller 804 will be described with reference to FIG. When the header information is input from the data analyzer 805, in step 902, it is determined whether or not it is the first type header information. If it is determined that the header information is the first type header information, in step 903, the image identifier and the image encoding condition common to the slice having the same image identifier are stored, and at the same time, the encoding is performed based on the input header information. The conversion condition is set (905). On the other hand, if it is determined in step 902 that the image information is not the type 1 header information, that is, if it is the type 2 header information, in step 904, the image having the same image identifier is first selected from the stored image encoding conditions. Get the encoding condition. At step 905, an encoding condition is set based on the image encoding condition and the region-specific encoding condition included in the second type header information. The case where the first type header information is transmitted only once for one image has been described above.
[0052]
Next, a case where the first type header information is included a plurality of times in the same image will be described with reference to FIG. Only the case where the data input in step 1002 is the first type header information will be described. Otherwise, the process is the same as the above process. If the input is determined to be the first type header information, the process proceeds to step 1004. In step 1004, it is determined whether or not the image identifier indicated in the input type 1 header information is the same as the image identifier of the type 1 header information already stored. That is, it is determined whether or not the image encoding condition of the same image as the data is already stored. Otherwise, in step 1005, the image encoding condition is updated. If the image encoding condition of the same image as the data is already stored, it is determined in step 1006 whether the content of the image encoding condition is the same. If they are the same, the encoding condition is set directly in step 1008. Otherwise, it can be seen that an error has occurred that the image encoding conditions are different even though the images are the same. At step 1007, it is determined that an error has occurred, and at step 1008, an encoding condition is set using the stored image encoding condition.
[0053]
As another processing method, after comparing all the contents of the image coding conditions included in the same first type header information of the image identifier, the image coding conditions of each slice are determined by using the same conditions of the contents by majority decision, Perform decryption processing. That is, the decoding process is performed using the image coding condition that is most included among the image coding conditions included in the first type header added to the plurality of pieces of encoded data.
[0054]
In this way, the image encoding conditions can be shared and the image can be reproduced even when an error occurs without necessarily sending redundant data.
[0055]
Furthermore, an encoding or decoding program for implementing the moving picture encoding method or the moving picture decoding method described in each of the above embodiments may be recorded on a data storage medium such as a floppy disk, a hard disk, or a solid-state memory. By doing so, the processing described in each of the above embodiments can be easily performed in an independent computer system or portable terminal.
[0056]
Finally, with reference to FIG. 11, a program for realizing the moving picture coding method or the moving picture decoding method according to the present invention will be described.
[0057]
As shown in FIG. 11, the moving image processing program 11 is stored in a program storage area 10a formed in the recording medium 10. The moving image processing program 11 can be executed by a computer including a mobile terminal, and includes a main module 12 for controlling moving image processing, a moving image encoding program 13 described later, and a moving image decoding program 14 described later.
[0058]
The moving image encoding program 13 includes an image dividing module 13a, an encoded data generating module 13b, a first type header information adding module 13c, and a second type header information adding module 13d. The functions realized by operating these modules are the same as the functions realized by executing the respective steps of the moving image coding method described above.
[0059]
The moving picture decoding program 14 includes an encoded data input module 14a and a pixel data generation module 14b. The functions realized by operating these modules are the same as the functions realized by executing the respective steps of the moving image decoding method described above.
[0060]
By recording the moving image processing program 11 on the recording medium 10, it becomes possible for a computer including a portable terminal to easily execute the processing described in each of the above embodiments. More specifically, the moving image processing program 11 is stored in, for example, a program storage area 10a of a floppy disk FD having a physical format shown in FIG. In the program storage area 10a, a plurality of tracks Tr are formed concentrically from the outer periphery to the inner periphery, and each track Tr is divided into 16 sectors Se in the angular direction.
[0061]
As shown in FIG. 12B, a floppy disk as the recording medium 10 is configured by incorporating the program storage area 10a in the floppy disk case F. As shown in FIG. 12C, when the recording medium 10 is mounted on the floppy disk drive FDD connected to the well-known and ordinary computer system Cs by a cable, the moving image processing program 11 shown in FIG. And can be read out, and transferred to the computer system Cs. Thus, the encoding or decoding device can be constructed in a computer system by the program in the floppy disk FD.
[0062]
In the above description, the description has been made using the floppy disk FD as the data recording medium 10, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and the present invention can be similarly implemented as long as the program can be recorded, such as an IC card or a ROM cassette.
[0063]
【The invention's effect】
As described above, according to the present invention, the coding condition common to the image and the coding condition specific to the region are separated, and both coding conditions are added to the image region with high importance, and By adding only the region-specific coding conditions, it is possible to obtain an effect of preventing propagation of an error and suppressing data of redundant coding conditions.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a moving picture coding method according to a first embodiment of the present invention.
FIG. 2 is a schematic diagram showing an image divided into a plurality of regions (slices) and coding units (macro blocks).
FIG. 3 is a schematic diagram showing a structure of compression-encoded data according to the present invention.
FIGS. 4A and 4B are diagrams showing data of a first slice header according to the present invention.
FIG. 5 is a diagram showing data of a second slice header according to the present invention.
FIGS. 6A and 6B are diagrams showing data of a third slice header according to the present invention.
FIGS. 7A and 7B are flowcharts showing a header information adding process in the moving picture coding method according to the first embodiment of the present invention.
FIG. 8 is a block diagram illustrating a moving picture decoding method according to a second embodiment of the present invention.
FIG. 9 is a flowchart showing a first process for determining an encoding condition in the moving picture decoding method according to the second embodiment of the present invention.
FIG. 10 is a flowchart showing a second process of determining an encoding condition in the moving picture decoding method according to the second embodiment of the present invention.
FIG. 11 is a diagram showing a configuration of a program according to the embodiment of the present invention.
FIGS. 12A, 12B, and 12C are diagrams for explaining a data storage medium for storing a program for realizing a moving image encoding and decoding method according to each of the embodiments by a computer system; FIG.
FIG. 13 is a schematic diagram showing a structure of compression-encoded data used in a conventional technique.
[Explanation of symbols]
Reference Signs List 100: moving image encoding device, 102: controller for storing encoding conditions, 104: image divider, 105: encoder, 106: header information addition processing unit, 800: moving image decoding device, 802: decoding 804: a controller for storing coding conditions, 805: a data analyzer.

Claims

An image dividing step of dividing an image into a plurality of regions; and an encoded data generating step of compressing and encoding each image region divided in the image dividing step, and generating encoded data.
In the coded data generation step, an image coding condition commonly used for coding a plurality of regions and a region coding condition individually used for coding each region are included. A first type header information adding step of adding the first type header information to the at least one encoded data;
In the coded data generated in the coded data generating step, the remaining coded data to which the first type header information has not been added in the first type header information adding step includes only the area coding condition. A second type header information adding step of adding two types of header information;
A moving image encoding method.

The encoded data to which the first type header information is added is transmitted or recorded so that decoding processing can be performed before the encoded data to which the second type header information is added. 2. The moving picture coding method according to 1.

3. The moving image encoding method according to claim 1, wherein the first type header information and the second type header information include an image identifier for identifying an image.

The moving picture coding method according to any one of claims 1 to 3, wherein the picture coding conditions included in the first type header information are all the same in the same picture.

A first identifier is added to the first type header information, and a second identifier is added to the second type header information, and the first type header information and the second type are added according to the added first identifier or second identifier. The moving image encoding method according to claim 1, wherein the method is distinguished from the type header information.

The moving image according to any one of claims 1 to 5, wherein the first type header information and the second type header information include a flag indicating whether or not the image encoding condition is included. Image coding method.

Encoded data to which first type header information including an image encoding condition indicating an encoding condition common to a plurality of regions constituting an image and an area encoding condition indicating an encoding condition unique to each region is added; An image decoding method for decoding encoded data to which second type header information including only an area encoding condition indicating an area-specific encoding condition is added, and reproducing the image,
An encoded data input step of inputting encoded data to which the first type header information or the second type header information is added;
Decoding the encoded data input in the encoded data input step, a pixel data generating step of generating pixel data of a region constituting the image,
With
In the pixel data generating step, when decoding the encoded data to which the second type header information is added, the image encoding condition included in the first type header information is used. Decryption method.

In the pixel data generating step,
When decoding the encoded data to which the second type header information is added, an image encoding condition included in the first type header information added to the encoded data constituting the same image is used.
The moving picture decoding method according to claim 7, wherein:

In the pixel data generating step,
When decoding the encoded data to which the first type header information is added, storing the image encoding condition included in the first type header information,
When decoding the encoded data to which the second type header information is added, the stored image encoding condition is used.
The moving picture decoding method according to claim 7, wherein:

The encoded data to which the first type header information including the image encoding condition indicating the encoding condition common to the plurality of regions constituting the image and the region encoding condition indicating the encoding condition specific to each region is added. An image decoding method for decoding and reproducing the image,
An encoded data inputting step of inputting the encoded data to which the first type header information is added;
A pixel data generating step of decoding the coded data to which the first type header information input in the coded data input step is added, and generating pixel data of a region constituting the image;
With
In the pixel data generation step, image encoding conditions included in the first type header information added to the plurality of encoded data constituting the same image are compared, and when it is detected that the image encoding conditions are different, an error is detected. A moving image decoding method, wherein it is determined that there is a moving image.

The encoded data to which the first type header information including the image encoding condition indicating the encoding condition common to the plurality of regions constituting the image and the region encoding condition indicating the encoding condition specific to each region is added. An image decoding method for decoding and reproducing the image,
An encoded data inputting step of inputting the encoded data to which the first type header information is added;
An image data generating step of decoding the encoded data input in the encoded data input step and generating pixel data of a region constituting the image;
With
In the image data generation step, image encoding conditions included in the first type header information added to the plurality of encoded data constituting the same image are compared, and the first type added to the encoded data of the same image is compared. A moving picture decoding method, characterized in that coded data is decoded by using an image coding condition most included in header information.

An image dividing unit that divides an image into a plurality of regions; and an encoded data generating unit that compresses and encodes each image region divided by the image dividing unit and generates encoded data.
In the coded data generation by the coded data generation means, an image coding condition commonly used for coding a plurality of regions, and a region coding used individually for coding each region. A first type header information adding means for adding the first type header information including the condition to the at least one encoded data;
A second coded data generated by the coded data generating means, wherein the remaining coded data to which the first type header information is not added by the first type header information adding means includes only the area coding condition; Second type header information adding means for adding type header information;
A moving picture coding apparatus comprising:

Encoded data to which first type header information including an image encoding condition indicating an encoding condition common to a plurality of regions constituting an image and an area encoding condition indicating an encoding condition unique to each region is added; An image decoding apparatus that decodes encoded data to which second type header information including only an area encoding condition indicating an area-specific encoding condition is added and reproduces the image,
Encoded data input means for inputting encoded data to which the first type header information or the second type header information is added;
Pixel data generation means for decoding the encoded data input by the encoded data input means, and generating pixel data of an area constituting the image,
With
Wherein the pixel data generation means uses the image encoding condition included in the first type header information when decoding the encoded data to which the second type header information is added. Decryption device.

The encoded data to which the first type header information including the image encoding condition indicating the encoding condition common to the plurality of regions constituting the image and the region encoding condition indicating the encoding condition specific to each region is added. An image decoding device for decoding and reproducing the image,
Encoded data input means for inputting encoded data to which the first type header information is added;
Pixel data generation means for decoding the encoded data input by the encoded data input means, and generating pixel data of an area constituting the image,
With
The pixel data generating means compares the image coding conditions included in the first type header information added to the plurality of pieces of coded data constituting the same image, and detects that the image coding conditions are different, and detects an error. A moving picture decoding apparatus, which determines that there is a moving picture.

The encoded data to which the first type header information including the image encoding condition indicating the encoding condition common to the plurality of regions constituting the image and the region encoding condition indicating the encoding condition specific to each region is added. An image decoding device for decoding and reproducing the image,
Encoded data input means for inputting encoded data to which the first type header information is added;
Image data generating means for decoding encoded data by the encoded data input means and generating pixel data of an area constituting the image;
With
The image data generating means compares image encoding conditions included in first type header information added to a plurality of encoded data constituting the same image, and compares the first type added to encoded data of the same image. A moving picture decoding apparatus for decoding coded data by using an image coding condition most included in header information.

A program for causing a computer to execute the processing of the moving image encoding method according to claim 1.

A program for causing a computer to perform the processing of the moving picture decoding method according to claim 7.