JP2004242275A - 動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像符号化装置、及び動画像復号装置 - Google Patents

Abstract

【課題】動画像の符号化及び復号に際して、符号化モードの相違に起因する領域形状の変化を軽減すると共に、圧縮符号の効率化を図ることである。
【解決手段】本発明に係る動画像符号化方法では、符号化モード制御器１０２により、複数の画像から構成される動画像を符号化する際における各画像の符号化モードが決定され、領域分割器１０４により、該符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位が決定される。また、領域決定ユニット１１６により領域構成単位を基準に領域が定義され、その情報が符号化される。そして、符号化器１０５により、領域に含まれる画素データが符号化単位に分けて圧縮符号化され、符号化モードに応じた圧縮符号化データが生成及び出力される。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像の圧縮符号化及び復号に関するものであり、特に符号化条件を効率的に伝送する方法に関する。
【０００２】
【従来の技術】
従来、動画像信号の伝送や蓄積再生を行うために、動画像信号の圧縮符号化技術が用いられる。かかる技術としては、例えば、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６３やＩＳＯ／ＩＥＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ １４４９６−２（ＭＰＥＧ−４ Ｖｉｓｕａｌ）などの国際標準化動画像符号化方式が知られている。
【０００３】
また、より新しい符号化方式としては、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの合同国際標準化が予定されている動画像符号化方式、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４、ＩＳＯ／ＩＥＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ １４４９６−１０が知られている。これらの動画像符号化方式に用いられている一般的な符号化技術については、例えば、以下に示す非特許文献１に開示されている。
【０００４】
【非特許文献１】
国際標準動画像符号化の基礎技術
（小野 文孝、渡辺 裕共著、コロナ社、１９９８年３月２０日発行）
【０００５】
【発明が解決しようとする課題】
これらの符号化方式では、符号化装置は、画像を複数の領域に分割し、各領域において同じ条件のもとで符号化処理を行う。各領域に含まれる画素値は、複数の符号化単位にまとめられた後、符号化装置は、予め決定された予測信号からの残差を求め、その差分信号を離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）し、ＤＣＴの係数を量子化した上で可変長符号化する。これにより、圧縮符号化データ（ビットストリーム）が生成される。
【０００６】
符号化単位の大きさは、画像の符号化条件（以下「符号化モード」と記す。）によって異なる。図１は、画像の符号化モードと符号化単位との関係を示す図である。符号化モードとしては、画像の走査線を分離せずに符号化するフレーム符号化モード（以下、「フレームモード」と記す。）と呼ばれるモードがある。図１の８０２は、このフレームモードを示す。この場合の符号化単位としては、１６×１６個の画素から構成されるマクロブロックが用いられる。
【０００７】
これに対して、画像の走査線を分離して符号化する符号化モードは、フィールド符号化モード（図１の８０３、以下「フィールドモード」と記す。）と呼ばれる。図１の８０４は、インターレス画像の偶数の走査線と奇数の走査線とを分離した場合を示す。この場合の符号化単位は、フレーム符号化の場合と同様にマクロブロック単位であるが、走査線をマージしたときの符号化単位は１６×３２画素となる。
【０００８】
更に、符号化単位で走査線を分離して符号化するモードとしないモードとがある。符号化単位で走査線を分離しないで符号化する場合を図１の８０５に示す。この場合の符号化単位はマクロブロックである。符号化単位で走査線を適応的に分離したりしなかったりする場合（以下「ＭＢ＿ＡＦＦモード」と記す。）には、図１の８０６に示すように、符号化単位は１６×３２画素からなる「マクロブロック対」により表される。このように、符号化装置は、符号化モードに応じて符号化単位の大きさを変え、最も相応しい構造にすることにより、効率的な圧縮符号化を行う。
【０００９】
一方、符号化装置は、画像を複数の領域に分割するときにも、符号化モードに最も効率のよい符号化単位で領域を定義する。図２（ａ）及び図２（ｂ）は、従来の技術において分割された画像の領域例を示す図である。図２（ａ）の画像９０１は二つの領域に分割されており、ブロック９０２と同じパターンで塗りつぶされている領域と塗りつぶされていない領域とが存在する。ここでは、フレームモードを想定し、画像の中心から破線矢印９０４に示す順に、マクロブロック単位で領域９０３を定義する。図２（ｂ）の画像９０５に関しても二つの領域に分割されており、ブロック９０６と同じパターンで塗りつぶされている領域と塗りつぶされていない領域とが存在する。ここでは、ＭＢ＿ＡＦＦモードを想定し、画像の中心から破線矢印９０８に示す順に、「マクロブロック対」の単位で領域９０７を定義する。
【００１０】
符号化単位で符号化された圧縮符号化データは領域ごとにまとめられ、符号化モードなどの関連情報が付加された上で伝送もしくは記録される。圧縮符号化データが領域ごとにまとめられることにより、他の領域のデータが汚染されエラーが発生した場合であっても、エラーの伝播を抑えることができる。また、領域単位で並列な処理ができ、高速な演算が可能となる。
【００１１】
しかしながら、上記従来技術には以下に示す様な問題点があった。すなわち、画像を複数の領域に分割した動画像符号化方法においては、時間的に隣り合う画像の領域に整合性が取れていることが要求される。ところが、従来の技術では、符号化単位を基準に領域を定義するので符号化モード毎に符号化単位が異なる。このため、隣り合う画像の符号化モードが一致しない場合には、同じ条件を用いて定義しても領域のパターンが異なる。
【００１２】
例えば、画像９０１と画像９０５とが時間的に隣り合う二つの画像である場合、各画像の符号化モードが異なるため、領域９０３と領域９０７とのパターンが異なる。このように整合性が取れていない場合には、対応する領域は時間と共にその形状が変わるため、その領域にある画像を時間軸上で再生すると、非常に目障りになる。
【００１３】
また、図２（ａ）の長方形９０９と図２（ｂ）の長方形９１０とに注目すると、長方形９１０の下半分のブロックは、画像９０１において、別の領域（塗りつぶされていない領域）に属している。すなわち、画像９０１の塗りつぶされていない領域が再生されない限り、長方形９１０の下半分のブロックに対応するブロックは存在しないことになる。したがって、当該ブロックは予測符号化に用いられないため、圧縮符号の効率化にも負の影響を与える。
【００１４】
そこで、本発明の課題は、動画像の符号化及び復号に際して、符号化モードの相違に起因する領域形状の変化を軽減すると共に、圧縮符号の効率化を図ることである。
【００１５】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る動画像符号化方法は、動画像符号化装置が、複数の領域に分割された動画像の符号化を行う動画像符号化方法であって、複数の画像から構成される動画像を符号化する際における各画像の符号化モードを決定するステップと、前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定するステップと、前記領域構成単位を基準に、前記領域を定義するステップと、定義された前記領域に関する領域情報（例えば、領域の形状に関する情報）を符号化するステップと、前記領域に含まれる画素データを符号化単位に分けて圧縮符号化し、前記符号化モードに応じた圧縮符号化データを生成するステップとを含む。
【００１６】
本発明に係る動画像符号化方法においては、前記符号化モードは、画像を構成する走査線を分離せずに符号化するフレームモード、画像を構成する走査線を分離して符号化するフィールドモード、画像を複数の符号化単位に分けて、各符号化単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する符号化単位切り替えモード、画像単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する画像単位切り替えモード、前記フレームモードと前記符号化単位切り替えモードとが組み合わせられた第１組み合わせモード、前記フィールドモードと前記画像単位切り替えモードとが組み合わせられた第２組み合わせモードの内の何れかであるものとしてもよい。
【００１７】
本発明に係る動画像符号化方法においては、前記符号化単位はそれぞれ、前記符号化モードが前記フレームモードである場合には、Ｎ×Ｎ画素からなるブロックであり、前記符号化モードが前記フィールドモードである場合には、Ｎ×Ｎ画素からなるブロックであり、前記符号化モードが前記符号化単位切り替えモードである場合には、Ｎ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであるものとすることができる。
【００１８】
本発明に係る動画像符号化方法は、動画像を構成する画像を全て同一の符号化モードで符号化する場合、前記領域構成単位は前記符号化単位であり、動画像を構成する画像をそれぞれ異なる符号化モードで符号化する場合、前記領域構成単位は、前記異なる符号化モードにおける符号化単位の内、最大の符号化単位であるものとしもよい。
【００１９】
本発明に係る動画像復号方法は、動画像復号装置が、複数の領域に分割された動画像の復号を行う動画像復号方法であって、動画像を構成する複数の画像に対して、前記画像を複数の領域に分割し圧縮符号化することにより生成された圧縮符号化データを入力するステップと、前記圧縮符号化データより、各画像の符号化モードを特定するステップと、前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定するステップと、前記圧縮符号化データより、前記領域に関する領域情報（例えば、領域の形状に関する情報）を取得するステップと、前記領域構成単位と前記領域情報とをもとに、前記領域を定義するステップと、定義された前記領域に含まれる圧縮符号化データを符号化単位で復号し、符号化単位の再生データを生成するステップと、前記符号化単位の再生データを用いて、前記符号化モードに従い、再生画像を構成するステップとを含む。
【００２０】
本発明に係る動画像復号方法においては、前記符号化モードは、画像を構成する走査線を分離せずに符号化するフレームモード、画像を構成する走査線を分離して符号化するフィールドモード、画像を複数の符号化単位に分けて、各符号化単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する符号化単位切り替えモード、画像単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する画像単位切り替えモード、前記フレームモードと前記符号化単位切り替えモードとが組み合わせられた第１組み合わせモード、前記フィールドモードと前記画像単位切り替えモードとが組み合わせられた第２組み合わせモードの内の何れかであるものとしもよい。
【００２１】
本発明に係る動画像復号方法においては、前記符号化単位はそれぞれ、前記符号化モードが前記フレームモードである場合には、Ｎ×Ｎ画素からなるブロックであり、前記符号化モードが前記フィールドモードである場合には、Ｎ×Ｎ画素からなるブロックであり、前記符号化モードが前記符号化単位切り替えモードである場合には、Ｎ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであるものとすることができる。
【００２２】
本発明に係る動画像復号方法においては、動画像を構成する画像を全て同一の符号化モードで符号化する場合、前記領域構成単位は前記符号化単位であり、動画像を構成する画像をそれぞれ異なる符号化モードで符号化する場合、前記領域構成単位は、前記異なる符号化モードにおける符号化単位の内、最大の符号化単位であるものとしもよい。
【００２３】
本発明に係る動画像符号化プログラムは、上述した動画像符号化方法に係る処理をコンピュータに実行させる。
本発明に係る動画像復号プログラムは、上述した動画像復号方法に係る処理をコンピュータに実行させる。
【００２４】
本発明に係る動画像符号化装置は、複数の領域に分割された動画像の符号化を行う動画像符号化装置であって、複数の画像から構成される動画像を符号化する際における各画像の符号化モードを決定する符号化モード決定手段と、前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、前記領域構成単位を基準に、前記領域を定義する領域定義手段と、定義された前記領域に関する領域情報を符号化する領域情報符号化手段と、前記領域に含まれる画素データを符号化単位に分けて圧縮符号化し、前記符号化モードに応じた圧縮符号化データを生成するデータ生成手段とを備える。
【００２５】
本発明に係る動画像復号装置は、複数の領域に分割された動画像の復号を行う動画像復号装置であって、動画像を構成する複数の画像に対して、前記画像を複数の領域に分割し圧縮符号化することにより生成された圧縮符号化データを入力するデータ入力手段と、前記圧縮符号化データより、各画像の符号化モードを特定する符号化モード特定手段と、前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、前記圧縮符号化データより、前記領域に関する領域情報を取得する領域情報取得手段と、前記領域構成単位と前記領域情報とをもとに、前記領域を定義する領域定義手段と、定義された前記領域に含まれる圧縮符号化データを符号化単位で復号し、符号化単位の再生データを生成する再生データ生成手段と、前記符号化単位の再生データを用いて、前記符号化モードに従い、再生画像を構成する再生画像構成手段とを備える。
【００２６】
本発明に係る動画像符号化方法においては、動画像に含まれる全ての画像に関して、各画像を構成する走査線を分離せずに符号化するフレームモードの場合には、前記領域構成単位はＮ×Ｎ画素からなるブロックであり、各画像を構成する走査線を分離して符号化するフィールドモードの場合には、前記領域構成単位はＮ×Ｎ画素からなるブロックであり、各画像を複数の符号化単位に分けて、各符号化単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する符号化単位切り替えモードの場合には、前記領域構成単位はＮ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであり、各画像について画像単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する画像単位切り替えモードの場合には、前記領域構成単位はＮ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであるものとしてもよい。
【００２７】
本発明に係る動画像復号方法においては、動画像に含まれる全ての画像に関して、各画像を構成する走査線を分離せずに符号化するフレームモードの場合には、前記領域構成単位はＮ×Ｎ画素からなるブロックであり、各画像を構成する走査線を分離して符号化するフィールドモードの場合には、前記領域構成単位はＮ×Ｎ画素からなるブロックであり、各画像を複数の符号化単位に分けて、各符号化単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する符号化単位切り替えモードの場合には、前記領域構成単位はＮ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであり、各画像について画像単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する画像単位切り替えモードの場合には、前記領域構成単位はＮ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであるものとしてもよい。
【００２８】
本発明に係る動画像符号化装置は、複数の画像から構成される動画像を入力する入力手段と、前記動画像を符号化する際における各画像の符号化モードを決定する符号化モード決定手段と、前記符号化モードをもとに、前記各画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、前記領域構成単位を基準に領域を定義し、前記各画像を複数の領域に分割する領域分割手段と、定義された前記領域に関する領域情報、前記符号化モードの情報、及び前記領域に含まれる画素データを圧縮符号化し、圧縮符号化データを生成する符号化手段と、前記圧縮符号化データを出力する出力手段とを備えることもできる。
【００２９】
本発明に係る動画像復号装置は、動画像を構成する複数の画像を複数の領域に分割して圧縮符号化することにより生成された圧縮符号化データを入力する入力手段と、前記圧縮符号化データをもとに、各画像の符号化モードを特定する符号化モード特定手段と、前記符号化モードをもとに、前記各画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、前記圧縮符号化データをもとに、前記領域に関する領域情報を取得すると共に、前記領域構成単位と前記領域情報とをもとに、前記領域を定義する領域定義手段と、定義された前記領域に含まれる圧縮符号化データを復号し、前記符号化モードに従って再生画像を構成する復号手段とを備えることもできる。
【００３０】これらの発明によれば、異なる符号化モードで動画像の各構成画像を領域分割する際に、符号化モードの組み合わせに応じて領域構成単位を定め、それをもとに領域を定義して動画像の符号化又は復号を行う。これにより、隣り合う画像間で整合性の取れた領域を定義することができ、符号化モードの相違に起因する領域形状の変化を軽減すると共に圧縮符号の効率化を図ることが可能となる。
【００３１】
【発明の実施の形態】
（第１の実施形態）
まず、添付図面を参照して、本発明の第１の実施形態について説明する。
図３は、本発明に係る動画像符号化方法を実現するための動画像符号化装置の構成を示すブロック図である。図３に示す様に、動画像符号化装置１００は、第１入力端子１０１と、符号化モードが設定された符号化モード制御器１０２と、第２入力端子１０３と、画像を複数の領域に分割する領域分割器１０４と、符号化器１０５とを備える。符号化モード制御器１０２は、領域決定ユニット１１６を有する。
【００３２】
以下、上記構成を有する動画像符号化装置１００の動作、及びこれにより実現される動画像符号化方法の各ステップについて説明する。
画像を符号化する時の条件は入力端子１０１に入力される（図４のＳ２０１）。入力の手段は、アプリケーションプログラムによって異なるが、例えば、圧縮率に応じて予め決められたテンプレートを入力する態様や、ユーザがキーボードにより条件を指定し入力する態様などが考えられる。
【００３３】
上記符号化モードには、画像の符号化モードが含まれる。符号化モードとしては例えば下記のものがある。
（１）画像を構成する走査線を分離せずに符号化するフレームモード。
（２）画像を構成する偶数走査線と奇数走査線とを分離して符号化するフィールドモード。
（３）画像を複数の符号化単位に分けて、各符号化単位でフレームモードもしくはフィールドモードの何れかで符号化する符号化単位切り替えモード（ＭＢ＿ＡＦＦモード）。
（４）画像単位でフレームモードもしくはフィールドモードの何れかで符号化する画像単位切り替えモード。
（５）（１）と（３）とを組み合わせた第１組み合わせモード。
（６）（２）と（３）とを組み合わせた第２組み合わせモード。
【００３４】
これらのモードに応じて、領域決定ユニット１１６は、符号化の領域を決定する（図４のＳ２０２）。詳細な処理内容については、図５を用いて後述する。符号化の対象となる画像は、第２入力端子１０３から入力され、Ｓ２０２で決定された領域に従って、領域分割器１０４にて複数の領域（ｓｌｉｃｅ）に分割される。同時に、領域分割器１０４は、領域に含まれる画素値を符号化単位に分割する（図４のＳ２０３）。
【００３５】
この符号化単位は、符号化モードに応じて異なる。フレームモードの場合、符号化単位は１６×１６画素からなるマクロブロックであり、フィールドモードの場合、符号化単位は１６×１６画素からなるマクロブロックであり、符号化単位切り替えモードの場合、符号化単位は１６×３２（但し、３２は垂直方向の画素数）画素からなる「マクロブロックの対」である。なお、符号化単位の大きさは、１６×１６や１６×３２以外であってもよい。
【００３６】
Ｓ２０３で符号化単位に分割された画素値を有する画像は、符号化器１０５に入力された後、動き補償離散コサイン変換方式により符号化単位で圧縮符号化される（図４のＳ２０４）。すなわち、フレームメモリ１１３に格納されている参照画像を用いて、ＭＥ／ＭＣ（：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ／Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）１１４により画像の動きベクトルが検出された後、動き補償された予測信号との差分がとられる（図３の１０８）。更に、差分信号は、ＤＣＴ１０９により離散コサイン変換された後、Ｑ（Ｑｕａｎｔｉｚａｔｉｏｎ）１１０により量子化された上で、ＶＬＣ（：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）１１５により可変長符号化される。その結果、圧縮符号化データが生成される。
【００３７】
一方、量子化された信号は、ＩＱ＋ＩＤＣＴ（：Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ＋Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）１１１により逆量子化及び逆離散コサイン変換された後、予測信号１６２に加算され（図３の１１２）、画像が生成される。生成された画像は、参照画像として、フレームメモリ１１３に格納される。フレームモードで符号化された画像は、再生された後、そのままフレームメモリ１１３に格納される。フィールドモードで符号化された画像は、再生された後、偶数走査線と奇数走査線とがマージされた上でフレームメモリ１１３に格納される。ＭＢ＿ＡＦＦモードで符号化された画像は、再生された後、マクロブロック対としてフレームメモリ１１３に格納される。
【００３８】
Ｓ２０４で生成された圧縮符号化データは、ヘッダ情報付加ユニット１０６（図３のＨＤＲ）に入力され、画像の符号化モードを含む符号化モードや、領域の形状に関する情報と共に、所定のフォーマットを有するデータにまとめられる（図４のＳ２０５）。そして、該データは、出力端子１０７を経由して伝送もしくは記録される（図４のＳ２０６）。ここで、領域の形状に関する情報とは、領域を生成するためのルールであり、後述の図６（ａ）に示す破線矢印４０４や図６（ｂ）に示す破線矢印４０８に示す順序がその例である。
【００３９】
続いて、図５を参照して、図４のＳ２０２に示した符号化の領域の決定処理について説明する。図５は、領域を定義（決定）するための処理の流れを示す図である。Ｓ３０１において入力端子１０１より信号が入力されると、この入力信号により、動画像全体で用いられる符号化モード情報が取得される（Ｓ３０２）。符号化モードとしては、上述した（１）〜（６）がある。
【００４０】
次のＳ３０３では、動画像を構成する全ての画像に同じモードが適用されるか否かが判定される。判定結果が肯定の場合（Ｓ３０３；ＹＥＳ）には、Ｓ３０４に移行する。この場合、全ての画像は同じ符号化単位（フレームモードの場合はマクロブロック、ＭＢ＿ＡＦＦモードの場合はマクロブロック対）で符号化されるため、領域構成単位（ｓｌｉｃｅ ｍａｐ ｕｎｉｔ）は符号化単位としてよい。
【００４１】
これに対して、動画像を構成する画像が相互に異なるモードで符号化される場合には、つまり上記判定結果が否定の場合には（Ｓ３０３；ＮＯ）、Ｓ３０５に移行する。この場合、複数の符号化モードにおけるそれぞれの符号化単位の大きさ（サイズ）が比較され、その中で最大の符号化単位が領域構成単位とされる。
【００４２】
例えば、符号化モードとして、フレームモードとＭＢ＿ＡＦＦモードとが混在する場合には、それぞれの符号化単位はマクロブロックとマクロブロック対である。したがって、最も大きな符号化単位であるマクロブロック対が領域構成単位として選択される。
【００４３】
また、映像を構成する各画像について画像単位で、フレームモードもしくはフィールドモードの何れかで符号化する画像単位切替えモードにおいては、領域構成単位は、１６画素（水平）×３２画素（垂直）である。これは、以下の理由による。
【００４４】
上述した様に、フレームモードにおける符号化単位は１６×１６である。一方、フィールドモードの場合でも、各フィールドにおける符号化単位は１６×１６であるため、１フレームを構成する２つのフィールドを併せると、符号化単位は実質的に１６×３２となる。したがって、最大の符号化単位が領域構成単位とされる規則（Ｓ３０５に示した規則）に従うと、画像単位切替えモードにおいては、領域構成単位は、最大の符号化単位を有するフィールドモードに合わせて１６×３２となる。
【００４５】
このように決定された領域構成単位を基準として、画像を分割するための領域が定義され（Ｓ３０６）、出力される（Ｓ３０７）。各領域は、領域構成単位を基準として構成されているため、最も小さい領域であっても領域構成単位と同じ大きさであり、それより小さい領域が定義されることはない。
【００４６】
図６（ａ）及び図６（ｂ）は、本発明に係る動画像符号化方法により分割された画像の領域の例を示す図である。図６（ａ）の画像４０１に関しては、全ての画像をフレームモードで符号化することを想定し、領域構成単位は符号化単位であるマクロブロックとみなされる。画像４０１は、破線矢印４０４に示すルール（順序）に従い、領域４０３ａ（塗りつぶされている領域）と領域４０３ｂとに分割される。なお、ブロック４０２は領域構成単位である。
【００４７】
同様に、図６（ｂ）の画像４０５に関しては、全ての画像をＭＢ＿ＡＦＦモードで符号化することを想定しているので、領域構成単位は符号化単位であるマクロブロック対とみなされる。画像４０５は、破線矢印４０８に示すルール（順序）に従い、領域４０７ａ（塗りつぶされている領域）と領域４０７ｂとに分割される。なお、ブロック４０６は領域構成単位である。
【００４８】
以上説明した様に、本発明に係る動画像符号化方法においては、フレームモードとＭＢ＿ＡＦＦモードとが混在する場合に、それぞれのモードに対応する符号化単位はマクロブロックとマクロブロック対である。この中で最大のものはマクロブロック対に選択され領域構成単位とされる。また、マクロブロック対を基準に領域が定義されるので、符号化モードによらず、全ての画像の分割結果は、図６（ｂ）の画像４０５に示す様に分割されることになる。
【００４９】
すなわち、符号化単位の代わりに共通の領域構成単位が決定され、全ての画像の領域が定義される。これにより、各画像の符号化モードに依存せずに、同じルールで分割された領域の形は全て同じになり、時間的に隣り合う画像の領域間に整合性が保たれる。したがって、符号化モードの相違により領域の形状が変化することに起因する目障りが軽減される。同時に、予測符号化効率に対する負の影響が低減される。
【００５０】
（第２の実施形態）
続いて、図７及び図８を参照して、本発明の第２の実施形態について説明する。
図７は、本発明に係る動画像復号方法を実現するための動画像符号化装置の構成を示すブロック図である。図７に示す様に、動画像復号装置５００は、入力端子５０１と、復号器５０２と、出力端子５０３と、符号化モード制御器５０４と、データ分析器５０５とを備える。符号化モード制御器５０４は、領域特定ユニット５１１を有する。
【００５１】
以下、上記構成を有する動画像復号装置５００の動作、及びこれにより実現される動画像復号方法の各ステップについて説明する。
第１の実施形態における動画像符号化方法で生成された圧縮符号化データは、入力端子５０１に入力される（図８のＳ６０１）。圧縮符号化データは、データ分析器５０５により分析され可変長符号が復号された後、ヘッダ情報が符号化モード制御器５０４に出力される。符号化モード制御器５０４は、ヘッダ情報に記述されている符号化モードを参照して、圧縮符号化データの符号化モードを特定する（図８のＳ６０２）。ここで特定される符号化モードは、第１の実施形態にて説明した（１）〜（６）のモードの何れかである。
【００５２】
Ｓ６０３では、特定された符号化モードと、ヘッダ情報に記述されている領域生成のルール（図６（ａ）の破線矢印４０４に示した順序）とをもとに、符号化の領域が導出される。当該ステップにおける符号化領域の導出処理は、図５を参照して説明した符号化領域の決定処理と同様であるので、その図示及び詳細な説明は省略する。
【００５３】
Ｓ６０３で導出された領域内にある圧縮符号化データは、符号化単位で復号される（Ｓ６０４）。すなわち、図７のデータ分析器５０５から出力された画像（ＤＣＴ係数、動き情報など）は、復号器５０２に入力された後、復号モード制御器５０４が特定した符号化モードをもとにＩＱ（：Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ）５０６により逆量子化される。その後、上記画像は、ＩＤＣＴ（：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）５０７により逆離散コサイン変換された後に、ＭＣ（：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）５１０により動き補償された上で、予測信号に加算され（図７の５０８）再生される。
【００５４】
更に、再生された画像は、フレームメモリ５０９に格納され、表示時間になった時に出力端子５０３を経由して表示装置（図示せず）に出力される。再生画像をフレームメモリ５０９に格納する際には、符号化モードに従い、Ｓ６０４で復号されたデータを用いて再生画像が構成される（Ｓ６０５）。
【００５５】
すなわち、フレームモードで符号化された画像は、再生された後、そのままフレームメモリ５０９に格納される。フィールドモードで符号化された画像は、再生された後、偶数走査線と奇数走査線とがマージされた上でフレームメモリ５０９に格納される。ＭＢ＿ＡＦＦモードで符号化された画像は、再生された後、マクロブロック対としてフレームメモリ５０９に格納される。
そして、Ｓ６０５で構成された再生画像は、出力端子５０３を経由して表示装置（図示せず）に出力される。
【００５６】
以上説明した様に、本発明に係る動画像復号方法においては、符号化モードをもとに共通の領域構成単位で画像の領域が定義された上で復号が行われる。このため、各画像の符号化モードに依存せず、同一のルールで分割された領域の形状は全て同一になり、時間的に隣り合う画像の領域間に整合性が保たれる。したがって、符号化モードの相違により再生画像の領域の形状が変化することに起因する目障りが軽減される。同時に、予測符号化効率に対する負の影響が低減される。
【００５７】
なお、本発明は、上述した第１及び第２の実施形態に記載の内容に限定されるものではなく、その趣旨を逸脱しない範囲において適宜変形態様を採ることも可能である。例えば、本実施の形態では、画像の偶数走査線と奇数走査線とを分離して符号化及び復号するフィールドモードについて代表的に説明したが、本発明は、任意の分離方法に適用可能である。例えば、０，４，８，１２番目の走査線を第１のサブ画像に分離し、１，５，９，１３番目の走査線を第２のサブ画像に分離し、２，６，１０，１４番目の走査線を第３のサブ画像に分離し、３，７，１１，１５番目の走査線を第４のサブ画像に分離した場合にも本発明を適用することができる。この場合、各サブ画像をマクロブロック単位で符号化するとすれば、全ての走査線をマージした場合の実効符号化単位は４つ分のマクロブロックとみなして領域構成単位を定義する必要がある。
【００５８】
最後に、図９を参照して、本発明に係る動画像符号化方法あるいは動画像復号方法を実現するためのプログラムについて説明する。
図９に示す様に、動画像処理プログラム１１は、記録媒体１０内に形成されたプログラム格納領域１０ａに格納されている。動画像処理プログラム１１は、携帯端末を含むコンピュータにより実行可能であり、動画像処理を統括するメインモジュール１２と、後述の動画像符号化プログラム１３と、後述の動画像復号プログラム１４とを有する。
【００５９】
動画像符号化プログラム１３は、符号化モード決定モジュール１３ａと、領域構成単位決定モジュール１３ｂと、領域定義モジュール１３ｃと、領域情報符号化モジュール１３ｄと、圧縮符号化データ生成モジュール１３ｅとを備えて構成される。これら各モジュールを動作させることによって実現する機能は、上述した動画像符号化方法の各ステップを実行することによって実現する機能とそれぞれ同様である。
【００６０】
また、動画像復号プログラム１４は、圧縮符号化データ入力モジュール１４ａと、符号化モード特定モジュール１４ｂと、領域構成単位決定モジュール１４ｃと、領域定義モジュール１４ｄと、再生データ生成モジュール１４ｅと、再生画像構成モジュール１４ｆとを備えて構成される。これら各モジュールを動作させることによって実現する機能は、上述した動画像復号方法の各ステップを実行することによって実現する機能とそれぞれ同様である。
【００６１】
動画像処理プログラム１１は、記録媒体１０にこれを記録することにより、上記各実施の形態で説明した処理を、携帯端末を含むコンピュータに容易に実行させることが可能となる。より具体的には、動画像処理プログラム１１は、例えば図１０（ａ）に示す物理フォーマットを有するフロッピィディスクのプログラム格納領域１０ａに格納される。プログラム格納領域１０ａには、同心円状に外周から内周に向かって複数のトラックＴが形成され、更に、各トラックＴは、角度方向に１６のセクタＳに分割されている。
【００６２】
図１０（ｂ）に示す様に、プログラム格納領域１０ａがフロッピィディスクケースＣに内蔵されることにより、記録媒体１０としてのフロッピィディスクが構成されている。図１０（ｃ）に示す様に、周知慣用のコンピュータシステム３０にケーブル接続されたフロッピィディスクドライブ２０に記録媒体１０が装着されると、図９に示した動画像処理プログラム１１は、記録媒体１０から読み出し可能となり、コンピュータシステム３０に転送される。
【００６３】
なお、記録媒体１０は、フロッピィディスクに限らず、ハードディスク、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等、プログラムを記録可能なものであれば、その態様は任意である。
【００６４】
【発明の効果】
本発明によれば、異なる符号化モードで動画像の各構成画像を領域分割する際に、符号化モードの組み合わせに応じて領域構成単位を定め、それをもとに領域を定義して動画像の符号化又は復号を行う。これにより、隣り合う画像間で整合性の取れた領域を定義することができ、符号化モードの相違に起因する領域形状の変化を軽減すると共に圧縮符号の効率化を図るという効果が得られる。
【図面の簡単な説明】
【図１】従来技術の符号化モードにおける画像の符号化単位を概念的に示す図である。
【図２】図２（ａ）は、従来技術に係るフレームモードにおいて分割された画像の領域を模式的に示す図である。図２（ｂ）は、従来技術に係るＭＢ＿ＡＦＦモードにおいて分割された画像の領域を模式的に示す図である。
【図３】本発明に係る動画像符号化装置の概略構成を示すブロック図である。
【図４】本発明に係る動画像符号化方法を実現する処理の流れを示すフローチャートである。
【図５】符号化の領域を決定するための処理の流れを示すフローチャートである。
【図６】図６（ａ）は、全ての画像をフレームモードで符号化した場合に、本発明に係る動画像符号化方法に基づいて分割された画像の領域を模式的に示す図である。図６（ｂ）は、全ての画像をＭＢ＿ＡＦＦモードで符号化した場合に、動画像符号化方法に基づいて分割された画像の領域を模式的に示す図である。
【図７】本発明に係る動画像復号装置の概略構成を示すブロック図である。
【図８】本発明に係る動画像復号方法を実現する処理の流れを示すフローチャートである。
【図９】本発明に係る動画像処理プログラムの構成を示す図である。
【図１０】図１０（ａ）は動画像処理プログラムの格納領域の構成例を示す図である。図１０（ｂ）は記録媒体としてのフロッピィディスクの外観を示す模式図である。図１０（ｃ）は、コンピュータに接続されたドライブに記録媒体が装着される様子を示す模式図である。
【符号の説明】
１００…動画像符号化装置、１０１…第１入力端子、１０２…符号化モード制御器、１０３…第２入力端子、１０４…領域分割器、１０５…符号化器、１１６…領域決定ユニット、５００…動画像復号装置、５０１…入力端子、５０２…復号器、５０３…出力端子、５０４…符号化モード制御器、５０５…データ分析器、５１１…領域特定ユニット、１１…動画像処理プログラム、１３…動画像符号化プログラム、１４…動画像復号プログラム

Claims (14)

1. 動画像符号化装置が、複数の領域に分割された動画像の符号化を行う動画像符号化方法であって、
   複数の画像から構成される動画像を符号化する際における各画像の符号化モードを決定するステップと、
   前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定するステップと、
   前記領域構成単位を基準に、前記領域を定義するステップと、
   定義された前記領域に関する領域情報を符号化するステップと、
   前記領域に含まれる画素データを符号化単位に分けて圧縮符号化し、前記符号化モードに応じた圧縮符号化データを生成するステップと、
   前記符号化モード、前記領域情報、前記圧縮符号化データを出力する出力ステップとを含むことを特徴とする動画像符号化方法。
2. 前記符号化モードは、
   画像を構成する走査線を分離せずに符号化するフレームモード、
   画像を構成する走査線を分離して符号化するフィールドモード、
   画像を複数の符号化単位に分けて、各符号化単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する符号化単位切り替えモード、
   画像単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する画像単位切り替えモード、
   前記フレームモードと前記符号化単位切り替えモードとが組み合わせられた第１組み合わせモード、
   前記フィールドモードと前記画像単位切り替えモードとが組み合わせられた第２組み合わせモードの内の何れかであることを特徴とする請求項１記載の動画像符号化方法。
3. 前記符号化単位はそれぞれ、
   前記符号化モードが前記フレームモードである場合には、Ｎ×Ｎ画素からなるブロックであり、
   前記符号化モードが前記フィールドモードである場合には、Ｎ×Ｎ画素からなるブロックであり、
   前記符号化モードが前記符号化単位切り替えモードである場合には、Ｎ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであることを特徴とする請求項２記載の動画像符号化方法。
4. 動画像を構成する画像を全て同一の符号化モードで符号化する場合、前記領域構成単位は前記符号化単位であり、
   動画像を構成する画像をそれぞれ異なる符号化モードで符号化する場合、前記領域構成単位は、前記異なる符号化モードにおける符号化単位の内、最大の符号化単位であることを特徴とする請求項３記載の動画像符号化方法。
5. 動画像復号装置が、複数の領域に分割された動画像の圧縮符号化データの復号を行う動画像復号方法であって、
   動画像を構成する複数の画像に対して、前記画像を複数の領域に分割し圧縮符号化することにより生成された圧縮符号化データを入力するステップと、
   前記圧縮符号化データより、各画像の符号化モードを特定するステップと、
   前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定するステップと、
   前記圧縮符号化データより、前記領域に関する領域情報を取得するステップと、
   前記領域構成単位と前記領域情報とをもとに、前記領域を定義するステップと、
   定義された前記領域に含まれる圧縮符号化データを符号化単位で復号し、符号化単位の再生データを生成するステップと、
   前記符号化単位の再生データを用いて、前記符号化モードに従い、再生画像を構成するステップとを含むことを特徴とする動画像復号方法。
6. 前記符号化モードは、
   画像を構成する走査線を分離せずに符号化するフレームモード、
   画像を構成する走査線を分離して符号化するフィールドモード、
   画像を複数の符号化単位に分けて、各符号化単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する符号化単位切り替えモード、
   画像単位で、前記フレームモードもしくは前記フィールドモードの何れかで符号化する画像単位切り替えモード、
   前記フレームモードと前記符号化単位切り替えモードとが組み合わせられた第１組み合わせモード、
   前記フィールドモードと前記画像単位切り替えモードとが組み合わせられた第２組み合わせモード
   の内の何れかであることを特徴とする請求項５記載の動画像復号方法。
7. 前記符号化単位はそれぞれ、
   前記符号化モードが前記フレームモードである場合には、Ｎ×Ｎ画素からなるブロックであり、
   前記符号化モードが前記フィールドモードである場合には、Ｎ×Ｎ画素からなるブロックであり、
   前記符号化モードが前記符号化単位切り替えモードである場合には、Ｎ×Ｍ（Ｍは垂直方向の画素数、かつ、Ｍ＝２Ｎ）画素からなるブロックであることを特徴とする請求項６記載の動画像復号方法。
8. 動画像を構成する画像を全て同一の符号化モードで符号化する場合、前記領域構成単位は前記符号化単位であり、
   動画像を構成する画像をそれぞれ異なる符号化モードで符号化する場合、前記領域構成単位は、前記異なる符号化モードにおける符号化単位の内、最大の符号化単位であることを特徴とする請求項７記載の動画像復号方法。
9. 請求項１に記載の動画像符号化方法に係る処理をコンピュータに実行させるための動画像符号化プログラム。
10. 請求項５に記載の動画像復号方法に係る処理をコンピュータに実行させるための動画像復号プログラム。
11. 複数の領域に分割された動画像の符号化を行う動画像符号化装置であって、
    複数の画像から構成される動画像を符号化する際における各画像の符号化モードを決定する符号化モード決定手段と、
    前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、
    前記領域構成単位を基準に、前記領域を定義する領域定義手段と、
    定義された前記領域に関する領域情報を符号化する領域情報符号化手段と、
    前記領域に含まれる画素データを符号化単位に分けて圧縮符号化し、前記符号化モードに応じた圧縮符号化データを生成するデータ生成手段とを備えることを特徴とする動画像符号化装置。
12. 複数の領域に分割された動画像の復号を行う動画像復号装置であって、
    動画像を構成する複数の画像に対して、前記画像を複数の領域に分割し圧縮符号化することにより生成された圧縮符号化データを入力するデータ入力手段と、
    前記圧縮符号化データより、各画像の符号化モードを特定する符号化モード特定手段と、
    前記符号化モードをもとに、前記画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、
    前記圧縮符号化データより、前記領域に関する領域情報を取得する領域情報取得手段と、
    前記領域構成単位と前記領域情報とをもとに、前記領域を定義する領域定義手段と、
    定義された前記領域に含まれる圧縮符号化データを符号化単位で復号し、符号化単位の再生データを生成する再生データ生成手段と、
    前記符号化単位の再生データを用いて、前記符号化モードに従い、再生画像を構成する再生画像構成手段とを備えることを特徴とする動画像復号装置。
13. 複数の画像から構成される動画像を入力する入力手段と、
    前記動画像を符号化する際における各画像の符号化モードを決定する符号化モード決定手段と、
    前記符号化モードをもとに、前記各画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、
    前記領域構成単位を基準に領域を定義し、前記各画像を複数の領域に分割する領域分割手段と、
    定義された前記領域に関する領域情報、前記符号化モードの情報、及び前記領域に含まれる画素データを圧縮符号化し、圧縮符号化データを生成する符号化手段と、
    前記圧縮符号化データを出力する出力手段と
    を備えることを特徴とする動画像符号化装置。
14. 動画像を構成する複数の画像を複数の領域に分割して圧縮符号化することにより生成された圧縮符号化データを入力する入力手段と、
    前記圧縮符号化データをもとに、各画像の符号化モードを特定する符号化モード特定手段と、
    前記符号化モードをもとに、前記各画像を複数の領域に分割するための領域構成単位を決定する領域構成単位決定手段と、
    前記圧縮符号化データをもとに、前記領域に関する領域情報を取得すると共に、前記領域構成単位と前記領域情報とをもとに、前記領域を定義する領域定義手段と、
    定義された前記領域に含まれる圧縮符号化データを復号し、前記符号化モードに従って再生画像を構成する復号手段とを備えることを特徴とする動画像復号装置。

Images