JP2013223036A - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】 画像の符号化・復号処理をブロック単位でパイプライン化する場合、前記ブロック内でロスレス符号化処理とロッシー符号化処理が混在しているとパイプライン実装が困難だった。
【解決手段】 ロスレス符号化モードを有する画像符号化装置において、同一ブロック内でロスレス符号化処理とロッシー符号化処理を混在させないよう制御する。これにより、ブロック単位での処理の独立性を高め、結果として実装をより容易にすることができる。
【選択図】 図１

Description

本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特にロスレス符号化とロッシー符号化が混在した処理に関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４と略す）が知られている。（非特許文献１）
Ｈ．２６４においては、直交変換および量子化処理をバイパスする変換バイパス処理を実行することでロスレス符号化を行うことができる。
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。そこではＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。ＨＥＶＣでは、対象となる画面サイズの増大に伴い、従来のマクロブロック（１６×１６画素）より大きなブロックサイズでの分割が検討されている。この大きなサイズの基本ブロックはＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれ、そのサイズは最大６４×６４画素として検討が進められている。（非特許文献２）
ＬＣＵはさらに予測や変換を行う単位となるサブブロックに分割でき、ＬＣＵよりも小さい単位で量子化パラメータを制御できることもできる。また、Ｈ．２６４同様、直交変換および量子化処理をバイパスするロスレス符号化についても検討されており、１枚のピクチャ内でロスレス符号化と通常のロッシー符号化が混在できることが特徴となっている。

ＩＴＵ−Ｔ Ｈ．２６４ （０３／２０１０） Ａｄｖａｎｃｅｄｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｈ１００３ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｓａｎ％２０Ｊｏｓｅ／ｗｇ１１／ ＞

ＨＥＶＣでは、Ｈ．２６４同様、シーケンスヘッダのフラグと量子化パラメータの組み合わせにより、ロスレス符号化ブロックのスイッチングを行っている。具体的には、Ｈ．２６４ではｑｐｐｒｉｍｅ＿ｙ＿ｚｅｒｏ＿ｔｒａｎｓｆｏｒｍ＿ｂｙｐａｓｓ＿ｆｌａｇ符号が１であり、符号化対象ブロックの量子化パラメータが０相当であった場合、そのブロックはロスレス符号化される。一方、ＨＥＶＣではｑｐｐｒｉｍｅ＿ｙ＿ｚｅｒｏ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ符号が１であり、符号化対象ブロックの量子化パラメータが０相当であった場合、そのブロックはロスレス符号化される。

Ｈ．２６４においては、処理の単位となるマクロブロック単位でのみ量子化パラメータが制御可能であったため、同一マクロブロック内でロスレス符号化とロッシー符号化が混在することは無かった。しかしながら、ＨＥＶＣではＬＣＵよりも小さい単位で量子化パラメータが制御可能となっているため、同一ＬＣＵ内でロスレス符号化とロッシー符号化が混在することが可能となっている。このことはＨＥＶＣを実装する上で、特にＬＣＵ単位で処理をパイプライン化する場合に、同一パイプラインに変換・量子化処理の有無が混在することになり、実装上の困難を引き起こしている。

したがって、本発明は上述した課題を解決するためになされたものであり、同一ＬＣＵ内でロスレス符号化とロッシー符号化を混在させないことにより、ＨＥＶＣの実装の容易性を高めることを目的としている。

前述の問題点を解決するため、本発明の画像符号化方法は以下の構成を有する。すなわち、画像を符号化して画像ビットストリームを生成する画像符号化方法であって、量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化工程と、量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化工程と、前記ブロック単位で前記第１の符号化モードあるいは前記第２の符号化モードのいずれを用いて符号化するか否かを判定する判定工程と、前記判定工程において前記第２の符号化工程を用いて符号化を行うと判定された場合に、前記ブロック単位で第１の符号化工程と第２の符号化工程との切り替えを行い、前記ブロック単位で切り替えを行うことを示す情報をブロック単位モード切り替え情報として符号化する統合符号化工程とを有することを特徴とする。

本発明により、変換・量子化または逆量子化・変換の処理をブロック単位で切り離せるので、結果としてＨＥＶＣの処理のパイプライン化が容易になる。

実施形態１における画像符号化装置の構成を示すブロック図 実施形態２における画像符号化装置の構成を示すブロック図 実施形態３における画像符号化装置の構成を示すブロック図 実施形態４および実施形態５における画像復号装置の構成を示すブロック図 （ａ）〜（ｇ） ブロックのサブブロック分割と量子化制御サイズとの組み合わせの一例を示す図 （ａ）〜（ｃ） 実施形態１、実施形態２ないし実施形態３によって生成され、実施形態４ないし実施形態５によって復号されるビットストリーム構造の一例を示す図 実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態２に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態４および実施形態５に係る画像復号装置における画像復号処理を示すフローチャート 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は画像データを入力する端子である。１０２はロスレス符号化判定部であり、フレーム内にロスレス符号化を行うロスレス符号化ブロックを持つ可能性があるか否かを判定する。１０３は量子化制御サイズ決定部であり、量子化パラメータの制御を行う単位となるサイズを量子化制御サイズとして決定する。１０４は量子化制御部であり、フレーム内の量子化パラメータを前記量子化制御サイズ単位で決定する。

１０５はブロック分割部であり、入力された画像を正方形のブロック単位に分割する。１０６はロスレス符号化ブロック判定部であり、分割されたブロック単位で対象ブロックがロスレス符号化されるかロッシー符号化されるかを判定する。１０７は第１予測部であり、ロスレス符号化ブロック判定部１０６でロッシー符号化が選択された際に、各ブロックを必要に応じてブロックと同一もしくはブロックよりも小さいサイズのサブブロックに分割する。その後、サブブロック単位で、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行う。サブブロックサイズや予測の方向などを第１予測情報として出力し、予測画像と入力画像との誤差を第１予測誤差として出力する。

１０８は前記第１予測誤差をブロック単位で直交変換し、変換係数を得て、さらに量子化を行い、量子化係数を得る変換・量子化部である。１０９は前記量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して第１予測誤差を再生する逆量子化・逆変換部である。１１１は再生された画像データを格納しておくフレームメモリである。

１１０は第１画像再生部である。第１予測部１０７から出力された第１予測情報に基づいて、フレームメモリ１１１を適宜参照して予測画像データを生成し、これと入力された第１予測誤差から再生画像データを生成し、出力する。１１２は前記量子化係数や第１予測情報を符号化して、第１符号データを生成する第１符号化部である。１１３は第２予測部であり、ロスレス符号化が選択された際に、各ブロックを必要に応じてブロックと同一もしくはブロックよりも小さいサイズのサブブロックに分割し、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行う。サブブロックサイズや予測の方向などを第２予測情報として出力し、予測画像と入力画像との誤差を第２予測誤差として出力する。

１１４は第２画像再生部である。第２予測部１１３から出力された第２予測情報に基づいて、フレームメモリ１１１を適宜参照して予測画像データを生成し、これと入力された第２予測誤差から再生画像データを生成し、出力する。１１５は前記第２予測誤差や第２予測情報を符号化して、第２符号データを生成する第２符号化部である。１１６は前段で生成されたビットストリームの復号に必要な情報をヘッダ部分に符号化し、前記第１符号データや前記第２符号データからビットストリームを形成して出力する統合符号化部である。１１７は端子であり、統合符号化部１１６で生成されたビットストリームを外部に出力する端子である。

上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。

端子１０１から入力された１フレーム分の画像データはブロック分割部１０５に入力される。本実施形態では、ロスレス符号化判定部１０２、量子化制御サイズ決定部１０３、量子化制御部１０４にも入力される構成となっているが、これらは必ずしも必須ではない。

ロスレス符号化判定部１０２では、入力されたフレーム内にロスレス符号化ブロックを含める可能性があるか否かの判定を行うが、判定方法は特に限定されない。入力された画像に応じて適応的に判定しても良いし、ユーザや外部からの入力によって判定しても良い。判定された情報はロスレス符号化情報として、量子化制御サイズ決定部１０３、量子化制御部１０４、ロスレス符号化ブロック判定部１０６および統合符号化部１１６に出力される。

量子化制御サイズ決定部１０３では、量子化の制御を行う最も小さい単位である量子化制御サイズを決定する。量子化制御サイズの決定方法は限定されず、入力された画像に応じて適応的に判定しても良いし、ユーザや外部からの入力によって判定しても良い。ただし、ロスレス符号化判定部１０２から入力されたロスレス符号化情報が、入力されたフレームにロスレス符号化ブロックを含める可能性があることを示している場合、量子化制御サイズ決定部１０３は量子化制御サイズをブロックサイズと同一にする。決定された量子化制御サイズは量子化制御部１０４および統合符号化部１１６に出力される。

図５を用いて、本実施形態における１つのブロックをブロックと同一かそれよりも小さいサイズのサブブロックに分割する例とサブブロックと量子化制御サイズの組み合わせに関する例を説明する。まず、本実施形態において、ブロックの大きさは６４×６４画素であり、ブロックは領域四分木構造で小さい単位に再帰的に分割され、分割されたサブブロックは最小で８×８画素、最大で６４×６４画素であるものとする。図５の（ａ）〜（ｇ）の太枠の正方形は６４×６４画素のブロックを表しており、太枠の内部の細枠の正方形は８×８〜３２×３２画素のサブブロックを表しているものとする。図５（ａ）は６４×６４画素のブロックを分割せずにそのまま６４×６４画素のサブブロックを有している例である。図５（ｂ）は、ブロックを領域四分木構造で小さい単位に分割し、ブロック内に複数のサイズのサブブロックが混在している場合の例である。左上にはブロックを１回分割して生成された３２×３２画素のサブブロックが存在する。右上にはブロックを１回分割して生成された３２×３２画素のサブブロックをさらに分割し、１６×１６画素となった４つのサブブロックをさらに分割して合計１６個の８×８画素のサブブロックが存在する。左下にはブロックを１回分割して生成された３２×３２画素のサブブロックをさらに分割して生成された４つの１６×１６画素のサブブロックが存在する。右下にはブロックを１回分割して生成された３２×３２画素のサブブロックをさらに分割して生成された４つの１６×１６画素のサブブロックに対し、右上と左下のサブブロックのみをさらに分割し、１６×１６画素と８×８画素のサブブロックが混在している。図５（ｃ）は、６４×６４画素のブロックを分割し、全てのサブブロックが８×８画素となった場合の例である。

一方、量子化の制御を行う最も小さい単位を表す量子化制御サイズは、本実施形態では前記サブブロックのサイズに対応しているものとする。具体的には、６４×６４画素単位、３２×３２画素単位、１６×１６画素単位、あるいは８×８画素単位で量子化パラメータの制御を行うことを示す。図５（ｄ）は図５（ｂ）に示されるように分割されたブロックに対し６４×６４画素単位で量子化制御を行う場合の例を示しており、塗りつぶされた左上の３２×３２画素のサブブロックでのみ量子化制御が可能となることを示している。それ以外のサブブロックは同じ量子化パラメータを使用する。図５（ｅ）は図５（ｂ）に示されるように分割されたブロックに対し３２×３２画素単位で量子化制御を行う場合の例を示しており、塗りつぶされたサブブロックでのみ量子化制御が可能となることを示している。図５（ｆ）は図５（ｂ）に示されるように分割されたブロックに対し１６×１６画素単位で量子化制御を行う場合の例を示しており、塗りつぶされたサブブロックでのみ量子化制御が可能となることを示している。図５（ｇ）は図５（ｂ）に示されるように分割されたブロックに対し８×８画素単位で量子化制御を行う場合の例を示しており、塗りつぶされた全てのサブブロックで量子化制御が可能となることを示している。

図１に戻り、ブロック分割部１０５では、端子１０１から入力された画像を正方形のブロック単位に分割し、分割されたブロック単位の入力画像を後段のロスレス符号化ブロック判定部１０６に出力する。

ロスレス符号化ブロック判定部１０６では、ブロック単位で対象ブロックがロスレス符号化されるかロッシー符号化されるかを判定し、その情報をロスレス符号化ブロック情報として、量子化制御部１０４に出力する。ロスレス符号化判定部１０２から入力されたロスレス符号化情報がロスレス符号化ブロックを含む可能性を示す場合、ロスレス符号化ブロック判定部１０６は符号化対象ブロックがロスレス符号化されるかロッシー符号化されるかを判定する。ただし、入力されたロスレス符号化情報が、ロスレス符号化ブロックが含まれる可能性を示さない場合、ロスレス符号化ブロック判定部１０６は一意に符号化対象ブロックをロッシー符号化すると判定する。さらに対象ブロックをロッシー符号化すると選択した場合、ブロック単位の入力画像を第１予測部１０７に出力する。一方、対象ブロックをロスレス符号化すると選択した場合、ブロック単位の入力画像を第２予測部１１３に出力する。なお、判定方法は特に限定されない。入力された画像に応じて適応的に判定しても良いし、ユーザや外部からの入力によって判定しても良い。

量子化制御部１０４は、量子化制御サイズ決定部１０３から量子化制御サイズを入力し、量子化制御サイズを単位として、フレーム内の各サブブロックの量子化パラメータを決定する。量子化パラメータの決定方法は限定されず、入力された画像に応じて適応的に判定しても良いし、ユーザや外部からの入力によって判定しても良い。ただし、対象のサブブロックが属しているブロックがロスレス符号化ブロックであった場合、すなわちロスレス符号化ブロック判定部１０６から入力されたロスレス符号化ブロック情報がロスレス符号化ブロックを示した場合、量子化パラメータを０に設定する。なお、設定される量子化パラメータはこれに限定されず、設定された特定の値の量子化パラメータとロスレス符号化情報との組み合わせによって、対象となるブロックがロスレス符号化ブロックであることが示されれば良い。また、ロッシー符号化ブロックではあるが、ロスレス符号化判定部１０２から入力されたロスレス符号化情報が、ロスレス符号化ブロックが含まれる可能性を示す場合、０または特定の値以外の値が設定される。設定された量子化パラメータは変換・量子化部１０８、逆量子化・逆変換部１０９および統合符号化部１１６に入力される。

まず、ロスレス符号化ブロック判定部１０６にて、ロッシー符号化が選択された場合のブロックの画像データの符号化動作について説明する。

第１予測部１０７では、ブロック単位の予測が行われ、第１予測情報を生成し、必要に応じて各ブロックをブロックと同一もしくは小さいサイズのサブブロックに分割する。ブロック単位の入力画像と予測画像の差分として、第１予測誤差が生成され、変換・量子化部１０８に入力される。また、第１予測情報は第１符号化部１１２および第１画像再生部１１０に入力される。

変換・量子化部１０８では、入力された第１予測誤差に直交変換を行って変換係数を生成し、量子化制御部１０４から入力された量子化パラメータに基づいて変換係数を量子化して量子化係数を生成する。生成された量子化係数は第１符号化部１１２および逆量子化・逆変換部１０９に入力される。

逆量子化・逆変換部１０９では、量子化制御部１０４から入力された量子化パラメータに基づいて入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して第１予測誤差を再生し、第１画像再生部１１０に出力する。

第１画像再生部１１０では、第１予測部１０７から入力される第１予測情報に基づいて、フレームメモリ１１１を適宜参照し、予測画像を生成する。そして生成された予測画像と逆量子化・逆変換部１０９から入力された再生された第１予測誤差から画像データを再生し、フレームメモリ１１１に入力し、格納する。

第１符号化部１１２では、変換・量子化部１０８で生成された量子化係数、第１予測部１０７から入力された第１予測情報をエントロピー符号化し、第１符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された第１符号データは統合符号化部１１６に入力される。

次に、ロスレス符号化ブロック判定部１０６にて、ロスレス符号化が選択された場合の画像データの符号化動作について説明する。

第２予測部１１３では、ブロック単位の予測が行われ、必要に応じて各ブロックをブロックと同一もしくは小さいサイズのサブブロックに分割する。ブロック単位の入力画像と予測画像の差分として、第２予測誤差が生成され、第２画像再生部１１４および第２符号化部１１５に入力される。

第２画像再生部１１４では、第２予測部１１３から入力される第２予測情報に基づいて、フレームメモリ１１１を適宜参照し、予測画像を生成する。そして生成された予測画像と第２予測部１１３から入力された第２予測誤差から画像データを再生し、フレームメモリ１１１に入力し、格納する。

第２符号化部１１５では、第２予測部１１３から入力された第２予測情報および第２予測誤差をエントロピー符号化し、第２符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された第２符号データは統合符号化部１１６に入力される。

統合符号化部１１６では、符号化処理に先駆けて生成された情報を符号化して各種符号を生成し、これらの符号や第１符号化部１１２で生成された第１符号データや第２符号化部１１５で生成された第２符号データなどを多重化してビットストリームが形成される。具体的には、ロスレス符号化判定部１０２から出力されたロスレス符号化情報、量子化制御サイズ決定部１０３から出力された量子化制御サイズ、量子化制御部１０４から出力された量子化パラメータが符号化の対象となり、各種符号が生成される。最終的に生成されたビットストリームは端子１１７から外部に出力される。

図６（ａ）に符号化されたロスレス符号化情報、量子化制御サイズおよび量子化パラメータを含んだビットストリームの例を示す。ロスレス符号化情報はロスレス符号化情報符号として、量子化制御サイズは量子化制御サイズ情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。具体的には、ロスレス符号化情報符号は１ビットのフラグであり、ロスレス符号化情報符号が１の時はビットストリームにロスレス符号化ブロックが含まれる可能性がある。また、ロスレス符号化情報符号が０の時はビットストリームにロスレス符号化ブロックが含まれる可能性がないことを示すものとする。また、量子化制御サイズ情報符号は、ブロックサイズと量子化制御サイズとの差をインデックスで表すものを量子化制御サイズ情報として、前記量子化制御サイズ情報を符号化したものとする。例えば、ブロックサイズが６４×６４画素であり、量子化制御サイズも６４×６４画素であれば量子化制御サイズ情報を０とし、量子化制御サイズが３２×３２画素であれば１とする。同様に、ブロックサイズが３２×３２画素であり、量子化制御サイズも３２×３２画素であれば量子化制御サイズ情報を０とし、量子化制御サイズが８×８画素であれば２とする。もちろん、量子化制御サイズと量子化制御サイズ情報との関係はこれらに限定されず、量子化制御サイズを直接インデックス化しても良い。例えば、量子化制御サイズが３２×３２画素であればブロックサイズに関わらず量子化制御サイズ情報を１とすることもできる。また、量子化制御サイズ情報の符号化方法については特に指定しないが、ゴロム符号化、ハフマン符号化などを用いることができる。一方、量子化パラメータは、前記量子化制御サイズ単位で量子化パラメータ情報符号がビットストリームに含まれているものとする。本実施形態では、ロスレス符号化情報符号が１であり、量子化パラメータ情報符号により算出される量子化制御サイズ単位の量子化パラメータが特定の値を示す場合に当該量子化制御サイズ単位に含まれる全サブブロックはロスレス符号化されるものとする。またそれ以外の場合には、当該量子化制御サイズ単位に含まれる全サブブロックはロッシー符号化されるものとする。例えば、Ｈ．２６４を例に取れば、量子化制御サイズが常にブロックサイズと同一の１６×１６画素であるため、ロスレス符号化情報符号が１であり、量子化パラメータが０の場合は対象となるブロックはロスレス符号化されることを示している。

図７は、実施形態１に係る画像符号化装置における符号化処理を示すフローチャートである。まず、ステップＳ７０１にて、ロスレス符号化判定部１０２は入力されたフレーム内にロスレス符号化ブロックを含める可能性があるか否かを決定し、その情報をロスレス符号化情報とする。この情報は統合符号化部１１６によって符号化される。

ステップＳ７０２にて、画像符号化装置はステップＳ７０１で生成されたロスレス符号化情報に基づいた判定を行う。ロスレス符号化ブロックが存在する可能性がある場合はステップＳ７０３に進み、可能性が無い場合はステップＳ７０４に進む。

ステップＳ７０３にて、量子化制御サイズ決定部１０３は、量子化の制御を行う最も小さい単位である量子化制御サイズを決定する。本ステップでは量子化制御サイズをブロックサイズと同一にする。量子化制御サイズの情報も統合符号化部１１６によって符号化される。

ステップＳ７０４にて、量子化制御サイズ決定部１０３は量子化の制御を行う最も小さい単位である量子化制御サイズを決定する。本ステップでは、決定される量子化制御サイズには特に制限はなく、ブロックサイズと同一もしくはそれよりも小さいサイズに設定される。設定された量子化制御サイズの情報は統合符号化部１１６によって符号化される。

ステップＳ７０５にて、符号化装置はステップＳ７０１で生成されたロスレス符号化情報に基づいて、ロスレス符号化ブロックが存在する可能性があるか否かを判定する。可能性がある場合はステップＳ７０６に進み、可能性が無い場合はステップＳ７０８に進む。

ステップＳ７０６にて、ブロック分割部１０５は入力画像データを複数のブロックに切り出し、ロスレス符号化ブロック判定部１０６はブロック単位でロスレス符号化を行うかロッシー符号化を行うかを決定し、その情報をロスレス符号化ブロック情報とする。

ステップＳ７０７にて、画像符号化装置は符号化対象のブロックがロスレス符号化を行うか否かの判定を行う。ロスレス符号化を行う場合はステップＳ７１５に進み、ロッシー符号化を行う場合はステップＳ７０９に進む。

ステップＳ７０８にて、ブロック分割部１０５は入力画像データを複数のブロックに切り出し、量子化制御部１０４は符号化対象のブロック内の量子化パラメータを量子化制御サイズ単位で決定する。本ステップにおける量子化パラメータの制御には制限はない。統合符号化部１１６は決定した量子化パラメータを符号化する。

ステップＳ７０９にて、量子化制御部１０４は符号化対象のブロック内の量子化パラメータを量子化制御サイズ単位で決定する。本ステップでは、量子化制御部１０４は前述の特定の値以外に設定する。統合符号化部１１６は設定された量子化パラメータを符号化する。

ステップＳ７１０にて、第１予測部１０７はブロック単位の予測が行われ、必要に応じて各ブロックをブロックと同一もしくは小さいサイズのサブブロックに分割し、予測画像および第１予測情報を生成する。さらに入力された画像データ前記予測画像から第１予測誤差を算出する。

ステップＳ７１１にて、変換・量子化部１０８はステップＳ７１０で算出された第１予測誤差を直交変換して変換係数を生成し、さらにステップＳ７０８ないしＳ７０９で決定した量子化パラメータに基づいて量子化を行い、量子化係数を生成する。

ステップＳ７１２にて、逆量子化・逆変換部１０９はステップＳ７１１で生成された量子化係数をステップＳ７０８ないしＳ７０９で決定した量子化パラメータに基づいて逆量子化を行い、さらに逆直交変換し、第１予測誤差を再生する。

ステップＳ７１３にて、第１画像再生部１１０はステップＳ７１０で生成された第１予測情報に基づいて予測画像を生成する。さらに生成された予測画像とステップＳ７１２で再生された第１予測誤差から画像データを再生する。

ステップＳ７１４にて、第１符号化部１１２はステップＳ７１０で生成された第１予測情報およびステップＳ７１１で生成された量子化係数を符号化し、第１符号データを生成する。また、統合符号化部１１６は他の符号データも含め、ビットストリームを生成する。

一方、ステップＳ７１５にて、量子化制御部１０４は符号化対象のブロック内の量子化パラメータを前述の特定の値に設定する。統合符号化部１１６は設定された量子化パラメータを符号化する。

ステップＳ７１６にて、第２予測部１１３はブロック単位で予測を行い、必要に応じて各ブロックをブロックと同一もしくは小さいサイズのサブブロックに分割し、第２予測情報および予測画像を生成する。さらに入力された画像データと前記予測画像データから第２予測誤差を算出する。

ステップＳ７１７にて、第２画像再生部１１４はステップＳ７１６で生成された第２予測情報に基づいて予測画像を生成する。さらに生成された予測画像とステップＳ７１６で生成された第２予測誤差から画像データを再生する。

ステップＳ７１８にて、第２符号化部１１５はステップＳ７１６で生成された第２予測情報および第２予測誤差を符号化し、第２符号データを生成する。また、統合符号化部１１６は他の符号データも含め、ビットストリームを生成する。

ステップＳ７１９にて、画像符号化装置は全てのブロックの符号化が終了したか否かの判定を行い、終了していれば処理を終了し、そうでなければ次のブロックを対象として、ステップＳ７０５に戻る。

以上の構成と動作により、特にステップＳ７０３において、ロスレス符号化ブロックが含まれる可能性がある場合に、量子化制御サイズをブロックサイズに設定することで、ブロック内にロスレス符号化とロッシー符号化が混在することを防止できる。変換・量子化または逆量子化・変換の処理をブロック単位で切り離せるので、結果としてロスレス符号化が使用される際のパイプライン実装を容易にすることができる。また、本実施形態では、ロスレス符号化ブロックが含まれる可能性がある場合には量子化制御サイズがブロックサイズに固定化されるので、量子化制御サイズ決定部１０３の処理を軽減する効果もある。

なお、本実施形態ではロスレス符号化とロッシー符号化でそれぞれ独立した第１予測部・第１画像再生部および第２予測部・第２画像再生部を有したが、同一の予測部・画像再生部がロスレス・ロッシー符号化処理を行っても構わない。また、それぞれ独立した第１符号化部および第２符号化部を有したが同一の符号化部がロスレス・ロッシー符号化処理を行っても構わない。また、第２画像生成部１１４の出力である画像データは入力された画像データと同一であるため、第２画像生成部１１４を特に持たず、入力画像データをフレームメモリ１１１に入力する構成をとっても良い。同様にステップＳ７１７の動作を省略しても良い。

また、ロスレス符号化ブロックの識別方法について、本実施形態ではシーケンスヘッダのロスレス符号化情報のフラグとブロックレベルでの量子化パラメータの組み合わせとしたが、符号化方法についてはこれに限定されない。ブロックレベルでロスレス符号化を示すフラグを符号化しても良いし、シーケンスレベルまたはピクチャレベルでロスレス符号化を示すフラグをヘッダに含めても良い。

なお、ビットストリームの構成はこれに限定されない。例えば、図６（ｂ）のように符号化しても良い。図６（ｂ）はシーケンスヘッダにロスレス符号化情報符号が含まれ、ロスレス符号化情報符号が１の時にはブロック単位で量子化パラメータ情報符号とは別にロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が含まれている例を示している。このように構成することで、ロッシー符号化ブロックのみで構成されているビットストリームの符号量を抑える効果がある。また、ロスレス符号化ブロックに対しては、量子化パラメータの伝送が不要になる効果もある。

また、図６（ｃ）のように符号化しても良い。図６（ｃ）はシーケンス単位でのロスレス符号化情報符号は含まれない。全てのブロックにブロック単位でロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が全てのブロックに含まれている例を示している。このような構成により、ロスレス符号化ブロックとロッシー符号化ブロックの区別が量子化パラメータの復号を待たずに判定できる。ブロック単位での処理の分離が容易になる効果がある。さらにはロスレス符号化ブロックの場合、量子化パラメータの伝送が不要になる効果がある。また、この構成であれば、ロスレス符号化判定部１０２を省略することも可能である。

また、ロスレス符号化判定部１０２は、フレーム内にロスレス符号化ブロックを持つ可能性があるか否かを判定するとしたが、１枚以上のフレームからなるシーケンス内にロスレス符号化ブロックを持つ可能性があるか否かを判定する構成としても良い。同様にロスレス符号化情報はシーケンス内にロスレス符号化ブロックを持つ可能性があるか否かを示す情報としても良い。

また、本実施形態ではロスレス符号化判定をロスレス符号化ブロック判定とは別に行ったが、これに限定されない。一旦画像またはシーケンスのブロックの全体にロスレス符号化ブロック判定を行った後に、その結果を用いて画像またはシーケンスのロスレス符号化判定を行っても構わない。

＜実施形態２＞
図２は本実施形態の画像符号化装置を示すブロック図である。図２において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

２０２はロスレス符号化判定部であり、実施形態１のロスレス符号化判定部１０２と同様に、フレーム内にロスレス符号化を行うロスレス符号化ブロックを持つ可能性があるか否かを判定する。

２０３は量子化制御サイズ決定部であり、実施形態１の量子化制御サイズ決定部１０３と同様に、量子化パラメータの制御を行う単位となるサブブロックのサイズを決定する。

２０６は、ロスレス符号化ブロック判定部であり、実施形態１のロスレス符号化ブロック判定部１０６と同様に、分割されたブロック単位で対象ブロックがロスレス符号化されるかロッシー符号化されるかを判定する。

上記画像符号化装置における画像の符号化動作を以下に説明する。

ロスレス符号化判定部２０２は、実施形態１のロスレス符号化判定部１０２と同様に、入力されたフレーム内にロスレス符号化ブロックを含める可能性があるか否かの判定を行うが、判定方法は特に限定されない。実施形態１のロスレス符号化判定部１０２とは、判定されたロスレス符号化情報を量子化制御サイズ決定部２０３に出力しないことが異なる。

量子化制御サイズ決定部２０３は、量子化の制御を行う最も小さい単位である量子化制御サイズを決定する。実施形態１の量子化制御サイズ決定部１０３と同様に、量子化制御サイズの決定方法は限定されない。実施形態１の量子化制御サイズ決定部１０３とは、ロスレス符号化判定部２０２からロスレス符号化情報を入力しないことが違いの一つである。また、決定した量子化制御サイズをロスレス符号化ブロック判定部２０６にも出力することがもう一つの違いである。

ロスレス符号化ブロック判定部２０６では、実施形態１のロスレス符号化ブロック判定部１０６と同様に、ブロック単位で対象ブロックがロスレス符号化されるかロッシー符号化されるかを判定する。ただし、量子化制御サイズ２０３から入力された量子化制御サイズによって、量子化制御サイズがブロックサイズよりも小さい場合には、ロスレス符号化を選択しないよう制御されているところが実施形態１のロスレス符号化ブロック判定部１０６とは異なる。対象ブロックがロスレス符号化されるかロッシー符号化されるかの情報はロスレス符号化ブロック情報として、量子化制御部１０４に出力する。

図８は実施形態２に係る画像符号化装置における画像符号化処理を示すフローチャートである。実施形態１の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ８０４にて、量子化制御サイズ決定部２０３は、ロスレス符号化情報とは関係なく量子化の制御を行う最も小さい単位である量子化制御サイズを決定する。実施形態１のステップＳ７０４同様、本ステップでは決定される量子化制御サイズには特に制限はない。量子化制御サイズの情報は統合符号化部１１６によって符号化される。

ステップＳ８２０にて、画像符号化装置はステップＳ８０２で決定した量子化制御サイズに基づいた判定を行う。量子化制御サイズがブロックサイズよりも小さい場合はステップＳ７０９に進み、そうでない場合はステップＳ７０６に進む。

以上の構成と動作により、特にステップＳ８２０において、量子化制御サイズがブロックサイズよりも小さい場合にロスレス符号化を選択しないことで、ブロック内にロスレス符号化とロッシー符号化が混在することを防止できる。結果としてロスレス符号化が使用される際のパイプライン実装を容易にすることができる。また、本実施形態では、ロスレス符号化の決定よりも量子化制御サイズの決定が優先されるため、量子化制御サイズの決定を先に行ってからロスレス符号化の決定をする実装も可能である。

また、ピクチャ単位で量子化ブロックサイズがブロックサイズ以下か否かを判定できるため、ロッシーでの特定の値での量子化を行うことができなくなるが、シーケンスヘッダでのロスレス符号化情報符号を不要とする形態をとることもできる。

＜実施形態３＞
図３は本実施形態の画像符号化装置を示すブロック図である。図３において、実施形態２の図２と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

３０４は量子化制御部であり、実施形態１の量子化制御部１０４と同様に、フレーム内の量子化パラメータを前記量子化制御サイズ単位で決定する。ただし、ロスレス符号化ブロックの時の量子化パラメータの生成方法が実施形態１の量子化制御部１０４と異なる。

上記画像符号化装置における画像の符号化動作を以下に説明する。量子化制御部３０４は、量子化制御サイズ決定部２０３から量子化制御サイズを入力し、量子化制御サイズを単位として、ブロック内の各サブブロックの量子化パラメータを決定する。量子化パラメータの決定方法は特に限定されない。ただし、ロスレス符号化ブロック判定部１０６の判定結果が対象のサブブロックが属しているブロックがロスレス符号化ブロックであった場合、ブロック内の最初の量子化制御サイズの単位の量子化パラメータを０に設定する。それ以外の場合はロスレス符号化情報がロスレス符号化ブロックの可能性がある場合は０を除く値が設定される、可能性がない場合は特に値に関して制限されない。また、設定される量子化パラメータはこれに限定されず、設定された特定の値の量子化パラメータとロスレス符号化情報との組み合わせによって、対象となるブロックがロスレス符号化ブロックであることが示されれば良い。決定された量子化パラメータは変換・量子化部１０８、逆量子化・逆変換部１０９および統合符号化部１１６に入力される。

図９は実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャートである。実施形態２の図８と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ７０７にて、画像符号化装置は符号化対象のブロックがロスレス符号化を行うか否かの判定を行う。ロスレス符号化を行う場合はステップＳ９１５に進み、ロッシー符号化を行う場合はステップＳ９０９に進む。

ステップＳ９０９にて、量子化制御部３０４は符号化対象のブロック内の量子化パラメータを量子化制御サイズ単位で決定する。量子化制御部３０４は符号化対象ブロックの最初の量子化制御サイズ単位の量子化パラメータを前述の特定の値以外に設定する。ブロック内の２つ目以降の量子化制御サイズ単位の量子化パラメータの制御には制限は無い。

一方、ステップＳ９１５にて、量子化制御部１０４は符号化対象のブロックの最初の量子化制御サイズ単位の量子化パラメータを前述の特定の値に設定する。

以上の構成と動作により、特にステップＳ９０９およびＳ９１５において、符号化対象ブロック内の最初の量子化パラメータを用いて判別していることにより、ブロック内にロスレス符号化とロッシー符号化が混在することを防止できる。結果としてロスレス符号化が使用される際のパイプライン実装を容易にすることができる。また、本実施形態では、量子化制御サイズやロスレス符号化ブロック情報を決定する過程において特別な制限を加える必要がないという利点もある。

なお、本実施形態ではブロックがロスレス符号化ブロックであった場合に最初の量子化パラメータに０を設定したが、この値に限定されず、特定の値を別途定義しても構わない。

＜実施形態４＞
図４は、本発明の実施形態４に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１および実施形態２で生成された符号化データの復号を例にとって説明する。

４０１は符号化されたビットストリームを入力する端子である。４０２は分離復号部であり、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。４０３はロスレス符号化ブロック判定部であり、ブロック単位で復号対象ブロックがロスレス符号化されているか否かの判定を行い、入力された符号データの出力先を選択する。４０４は第１復号部であり、ロスレス符号化ブロック判定部４０３から出力された第１符号データを復号し、量子化係数および第１予測情報を再生する。４０５は逆量子化・逆変換部であり、図１の逆量子化・逆変換部１０９と同様に、入力された量子化パラメータに基づいて、量子化係数を逆量子化して変換係数を得、さらに逆直交変換して第１予測誤差を再生する。４０７はフレームメモリである。再生されたピクチャの画像データを格納しておく。４０６は第１画像再生部である。図１の第１画像再生部１１０と同様に、入力された第１予測情報に基づいてフレームメモリ４０７を適宜参照して予測画像データを生成する。そして、この予測画像データと逆量子化・逆変換部４０５で再生された第１予測誤差から再生画像データを生成し、出力する。４０８は第２復号部であり、ロスレス符号化ブロック判定部４０３から出力された第２符号データを復号し、第２予測誤差および第２予測情報を再生する。４０９は第２画像再生部である。ロスレス符号化されたブロックに対し、図１の第２画像再生部１１５と同様に、入力された第２予測情報に基づいてフレームメモリ４０７を適宜参照して予測画像データを生成し、これと入力された第２予測誤差から再生画像データを再生し、出力する。４１０は端子であり、画像データを外部に出力する。

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態１および実施形態２で生成されたビットストリームを復号する。

図４において、端子４０１から入力されたビットストリームは分離復号部４０２に入力される。

分離復号部４０２では、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データおよび量子化パラメータの復号に必要な符号データを復号する。具体的にはロスレス符号化情報、量子化制御サイズを再生する。本実施形態では、まず、図６（ａ）に示されるビットストリームのシーケンスヘッダからロスレス符号化情報符号を抽出して復号し、さらにピクチャヘッダから量子化制御サイズ情報符号を抽出して復号する。そして、ピクチャデータ内に含まれる量子化パラメータ情報符号を量子化制御サイズ情報符号に基づいてさらに復号し、量子化パラメータを再生する。前記ロスレス符号化情報および前記量子化パラメータは残りの復号されなかったピクチャデータとともにロスレス符号化ブロック判定部４０３に入力される。また、前記量子化パラメータは逆量子化・逆変換部４０５にも入力される。

ロスレス符号化ブロック判定部４０３では、前記ロスレス符号化情報および前記量子化パラメータの組み合わせによって、ブロック単位でのロスレス符号化されているかロッシー符号化されているかを判定する。具体的には、前記ロスレス符号化情報がロスレス符号化ブロックを含んでいる可能性を示し、前記量子化制御サイズがブロックサイズと同一であり、かつ量子化パラメータが特定の値を示している場合に復号対象ブロックはロスレス符号化されていると判定する。すなわち、本実施形態では、ロスレス符号化情報が１であり、量子化制御サイズ情報が０であり、量子化パラメータが特定の値を持っている場合、そのブロックはロスレス符号化ブロックとされる。そうでなければロッシー符号化ブロックとされる。

実施形態１で生成されたビットストリームは、ロスレス符号化情報が１の場合、量子化制御サイズ情報は必ず０となり、量子化パラメータの制御はブロック単位でのみ行われる。よって、ロスレス符号化とロッシー符号化の切り替えはブロック単位でのみ発生し、同一ブロック内にロスレス符号化とロッシー符号化が混在することはない。

一方、実施形態２で生成されたビットストリームは、ロスレス符号化情報が１であり量子化制御サイズ情報が０以外の場合、量子化パラメータがロスレス符号化を示す特定の値を持たない。よって、量子化制御サイズがブロックサイズよりも小さい場合では必ずロッシー符号化されているため、実施形態１で生成されたビットストリーム同様、同一ブロック内にロスレス符号化とロッシー符号化が混在することはない。

続いて、入力されたピクチャデータのブロック単位の符号データを後段に出力する。ロッシー符号化ブロックでは、ピクチャデータから第１符号データを分離し、第１復号部４０４に出力する。また、ロスレス符号化ブロックではピクチャデータから第２符号データを分離し、第２復号部４０８に出力する。

第１復号部４０４では、第１符号データを復号し、量子化係数および第１予測情報を再生する。再生された量子化係数は逆量子化・逆変換部４０５に出力され、再生された第１予測情報は第１画像再生部４０６に出力される。

逆量子化・逆変換部４０５では、分離復号部４０２から入力された量子化パラメータに基づいて第１復号部４０４から入力された量子化係数を逆量子化して直交変換係数を再生し、さらに逆直交変換を施して第１予測誤差を再生する。再生された予測誤差は第１画像再生部４０６に入力される。

第１画像再生部４０６では、第１復号部４０４から入力された第１予測情報に基づいてフレームメモリ４０７を適宜参照し、予測画像を生成する。この予測画像と逆量子化・逆変換部４０５から入力された第１予測誤差から画像データを再生し、フレームメモリ４０７に入力し、格納する。格納された画像データは予測の際の参照に用いられる。

一方、第２復号部４０８では、第２符号データを復号し、第２予測誤差および第２予測情報を再生する。再生された予測誤差および第２予測情報は第２画像再生部４０９に出力される。

第２画像再生部４０９では、第２復号部４０８から入力された第２予測情報に基づいて、フレームメモリ４０７を適宜参照し、予測画像を生成する。この予測画像と第２復号部４０８から入力された第２予測誤差から画像データを再生し、フレームメモリ４０７に入力し、格納する。

フレームメモリ４０７に格納された画像データは最終的に端子４１０から外部に出力される。

図１０は、実施形態４に係る画像復号装置における画像の復号処理を示すフローチャートである。

まず、ステップＳ１００１にて、分離復号部４０２はビットストリームから復号に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。具体的には、ヘッダ部に符号が存在するロスレス符号化情報、量子化制御サイズを再生する。

ステップＳ１００２にて、分離復号部４０２はピクチャデータから復号対象のブロックの量子化パラメータを量子化制御サイズ単位で再生する。

ステップＳ１００３にて、ロスレス符号化ブロック判定部４０３はステップＳ１００１で再生されたロスレス符号化情報、量子化制御サイズおよび量子化パラメータの組み合わせから復号対象のブロックがロスレス符号化されているか否かの判定を行う。具体的には、前記ロスレス符号化情報がロスレス符号化ブロックを含んでいる可能性を示し、前記量子化制御サイズがブロックサイズと同一であり、かつ量子化パラメータが特定の値を示している場合に復号対象ブロックはロスレス符号化されていると判定する。また、それ以外は復号対象ブロックはロッシー符号化されていると判定する。ロスレス符号化されている場合はＳ１００７に進み、ロッシー符号化されている場合はＳ１００４に進む。

ステップＳ１００４にて、第１復号部４０４は分離復号部４０２で分離された第１符号データを復号し、量子化係数および第１予測情報を再生する。

ステップＳ１００５にて、逆量子化・逆変換部４０５はブロック単位で量子化係数に対し逆量子化を行って変換係数を得、さらに逆直交変換を行い、第１予測誤差を再生する。

ステップＳ１００６にて、第１画像再生部４０６はステップＳ１００４で生成された第１予測情報に基づいて予測画像を生成する。さらに生成された予測画像とステップＳ１００５で再生された第１予測誤差から画像データを再生する。

一方、ステップＳ１００７にて、第２復号部４０８は分離復号部４０２で分離された第２符号データを復号し、第２予測誤差および第２予測情報を再生する。

ステップＳ１００８にて、第２画像再生部４０９はステップＳ１００７で再生された第２予測情報に基づいて予測画像を生成する。さらに生成された予測画像とステップＳ１００７で再生された第２予測誤差から画像データを再生する。

ステップＳ１００９にて、画像復号装置は全てのブロックの復号が終了したか否かの判定を行い、終了していれば復号処理を終了し、そうでなければ次のブロックを対象として、ステップＳ１００２に戻る。

以上の構成と動作により、実施形態１および実施形態２で生成された、同一ブロック内にロッシー符号化処理とロスレス符号化処理が混在しないビットストリームを復号することができる。結果として処理の独立性を高め、復号装置のパイプライン実装の容易性を高めることができる。

なお、本実施形態ではロスレス符号化ブロックの復号とロッシー符号化ブロックの復号でそれぞれ独立した第１画像再生部、第２画像再生部を有したが、同一の画像再生部がロスレス・ロッシー符号化ブロックの復号処理を行っても構わない。また、同様に独立した第１復号部、第２復号部を有したが、同一の復号部がロスレス・ロッシー符号化ブロックの復号処理を行っても構わない。

本実施形態では、図６（ａ）に示されるビットストリームの復号について示したが、復号するビットストリームの構成はこれに限定されない。例えば、図６（ｂ）のようなビットストリームを復号しても良い。図６（ｂ）はシーケンスヘッダにロスレス符号化情報符号が含まれ、ロスレス符号化情報符号が１の時にはブロック単位で量子化パラメータ情報符号とは別にロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が含まれている例を示している。このような構成により、ロッシー符号化ブロックのみで構成されているビットストリームの符号量を抑えたビットストリームを復号することができる。

また、図６（ｃ）のようなビットストリームを復号しても良い。図６（ｃ）はシーケンス単位でのロスレス符号化情報符号は含まれない。全てのブロックにブロック単位でロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が含まれている例を示している。このような構成により、ロスレス符号化ブロックとロッシー符号化ブロックの区別が容易となる効果を持ったビットストリームを復号することができる。さらにはロスレス符号化ブロックの場合、量子化パラメータが不要になり、量子化パラメータの復号の手順を省略する効果がある。

また、本実施形態におけるロスレス符号化情報は１枚以上のフレームからなるシーケンス内にロスレス符号化ブロックが含まれる可能性があることを示す情報としたが、フレーム内にロスレス符号化ブロックが含まれる可能性があることを示す情報としてもよい。

＜実施形態５＞
本実施形態では、画像復号装置は実施形態４の図４と同じ構成をとる。ただし、ロスレス符号化ブロック判定部４０３の動作が異なる。従って、ロスレス符号化ブロック判定部４０３以外の復号に関しては実施形態４と同様であり、説明を省略する。また、本実施形態では実施形態３で生成されたビットストリームの復号について説明する。

ロスレス符号化ブロック判定部４０３では、入力されたロスレス符号化情報および量子化パラメータとの組み合わせによって、ブロック単位でのロスレス符号化されているかロッシー符号化されているかを判定する。具体的には、前記ロスレス符号化情報がロスレス符号化ブロックを含んでいる可能性を示し、かつブロック内の最初の量子化制御単位の量子化パラメータが特定の値を示している場合に復号対象ブロックはロスレス符号化されていると判定する。すなわち、本実施形態では、ロスレス符号化情報がロスレス符号化ブロックを含んでいる可能性を示し、ブロック内の最初の量子化制御サイズ単位の量子化パラメータが特定の値を持っている場合、そのブロックはロスレス符号化ブロックとされる。そうでなければロッシー符号化ブロックとされる。

実施形態３で生成されたビットストリームは、ロスレス符号化情報符号が１の場合、量子化制御サイズに限定されず、ブロック単位のロスレス符号化／ロッシー符号化の判定はブロック内の最初の量子化制御サイズ単位の量子化パラメータによって定まる。ロスレス符号化情報符号が１かつブロック内の最初の量子化制御サイズ単位の量子化パラメータが特定の値であれば、対象ブロック全体がロスレス符号化ブロックとみなされ、そうでなければ対象ブロック全体がロッシー符号化ブロックとみなされる。そのため、同一ブロック内にロスレス符号化とロッシー符号化が混在することはない。

続いて、ピクチャデータのブロック単位の符号データを後段に出力する。ロッシー符号化ブロックでは、第１符号データを分離し、第１復号部４０４に出力する。また、ロスレス符号化ブロックでは第２符号データを分離し、第２復号部４０８に出力する。

本実施形態における画像復号処理を示すフローチャートは実施形態４の図１０と同様である。ただし、Ｓ１００３の動作が異なる。従って、Ｓ１００３以外の復号動作に関しては実施形態４と同様であり、説明を省略する。

ステップＳ１００３にて、ロスレス符号化ブロック判定部４０３はステップＳ１００１で再生されたロスレス符号化情報および量子化パラメータの組み合わせから復号対象のブロックがロスレス符号化されているか否かの判定を行う。具体的には、前記ロスレス符号化情報がロスレス符号化ブロックを含んでいる可能性を示し、かつ復号対象のブロックの最初の量子化制御単位の量子化パラメータが特定の値を示している場合に復号対象ブロックはロスレス符号化されていると判定する。ロスレス符号化されている場合はＳ１００７に進み、ロッシー符号化されている場合はＳ１００４に進む。

以上の構成と動作により、実施形態３で生成された、量子化制御サイズ対して特別な制限なしに生成された同一ブロック内にロッシー符号化処理とロスレス符号化処理が混在しないビットストリームを復号することができる。結果として復号装置のパイプライン実装を容易にすることができる。

＜実施形態６＞
図１、図２、図３、図４に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図１１は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１１０１は、図１、図２、図３、図４に示した各処理部として機能することになる。

ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１１０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１１０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１１０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。表示部１１０５は、ＣＰＵ１１０１による処理結果を表示する。また表示部１１０５は例えば液晶ディスプレイで構成される。

外部記憶装置１１０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１１０６には、ＯＳ（オペレーティングシステム）や、図１、図２、図３、図４に示した各部の機能をＣＰＵ１１０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１１０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜、ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。Ｉ／Ｆ１１０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１１０７を介して様々な情報を取得したり、送出したりすることができる。１１０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１１０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (15)

1. 画像を符号化して画像ビットストリームを生成する画像符号化方法であって、
   量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化工程と、
   量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化工程と、
   前記ブロック単位で前記第１の符号化モードあるいは前記第２の符号化モードのいずれを用いて符号化するか否かを判定する判定工程と、
   前記判定工程において前記第２の符号化工程を用いて符号化を行うと判定された場合に、前記ブロック単位で第１の符号化工程と第２の符号化工程との切り替えを行い、前記ブロック単位で切り替えを行うことを示す情報をブロック単位モード切り替え情報として符号化する統合符号化工程と、
   を有することを特徴とする画像符号化方法。
2. 前記第１の符号化工程は、
   ブロック単位に分割された画像に対し予測を行って第１の予測誤差を生成する第１予測工程と、
   前記第１の予測誤差を直交変換して変換係数を生成し、さらに前記変換係数を量子化して量子化係数を生成する変換・量子化工程と、
   前記量子化係数を符号化する量子化係数符号化工程を有し、
   前記第２の符号化工程は、
   ブロック単位に分割された画像に対し予測を行って第２の予測誤差を生成する第２予測工程と、
   前記第２の予測誤差を符号化する予測誤差符号化工程を有することを特徴とする請求項１に記載の画像符号化方法。
3. 前記ブロックをブロックと同一もしくはそれよりも小さいサイズに分割された量子化サブブロック単位で量子化の程度を示す量子化パラメータを制御する量子化制御工程をさらに有し、
   前記統合符号化工程は前記画像ビットストリーム内に第２の符号化モードで符号化されているブロックが存在する可能性を示す第２符号化情報および前記量子化制御工程における前記量子化サブブロックの最小単位を示す最小量子化制御単位情報を前記ブロック単位モード切り替え情報として符号化することを特徴とする請求項１に記載の画像符号化方法。
4. 前記第２符号化情報がビットストリーム内に第２の符号化モードで符号化されているブロックが存在する可能性を示している場合、前記量子化制御工程ではブロックよりも小さい単位では量子化制御を行わず、前記統合符号化工程では前記最小量子化制御単位情報は前記ブロックのサイズと同一であることを示す情報を前記ブロック単位モード切り替え情報として符号化することを特徴とする請求項３に記載の画像符号化方法。
5. 前記最小量子化制御単位情報が前記ブロックのサイズよりも小さい場合、前記判定工程は第１の符号化モードだけを用いるよう判定を行うことを特徴とする請求項３に記載の画像符号化方法。
6. 前記統合符号化工程は、符号化対象のブロックが第１の符号化モードで符号化されているか第２の符号化モードで符号化されているかを示すロスレス符号化ブロック情報を前記第２符号化情報および前記量子化パラメータの組み合わせとして符号化することを特徴とする請求項３に記載の画像符号化方法。
7. 前記第２符号化情報および前記ブロックの最初の前記量子化パラメータの組み合わせによって、符号化対象のブロックが第１の符号化モードで符号化されているか第２の符号化モードで符号化されているかを示すことを特徴とする請求項６に記載の画像符号化方法。
8. 画像ビットストリームを復号して画像を再生する画像復号方法であって、
   逆量子化を行う第１の符号化モードで符号化されているブロックを復号する第１の復号工程と、
   逆量子化を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号工程と、
   ビットストリームを復号して、前記ブロック単位で第１の符号化と第２の符号化との切り替えが発生することを示す情報をブロック単位モード切り替え情報として復号する分離復号工程と、
   ブロック単位で前記第１の復号工程および前記第２の復号工程の切り替えを行う判定工程を有することを特徴とする画像復号方法。
9. 前記第１の復号工程は、
   前記第１の符号化モードで符号化されているブロックの符号データを復号して量子化係数を再生する量子化係数復号工程と、
   前記量子化係数を逆量子化して変換係数を再生し、さらに前記変換係数を逆直交変換して第１の予測誤差を再生する逆量子化・逆変換工程と、
   前記再生された第１の予測誤差と予測を行った結果から第１再生画像を生成する第１再構成工程を有し、
   前記第２の復号工程は、
   前記第２の符号化モードで符号化されているブロックの符号データを復号して第２の予測誤差を再生する予測誤差復号工程と、
   前記再生された第２の予測誤差と復号済みの画素からの予測から第２再生画像を生成する第２再構成工程を有することを特徴とする請求項８に記載の画像復号方法。
10. 前記分離復号工程は前記画像ビットストリーム内に第２の符号化モードで符号化されているブロックが存在する可能性を示す第２符号化情報および量子化の程度を示す量子化パラメータが符号化されている単位である量子化サブブロックの最小単位を示す最小量子化制御単位情報を前記ブロック単位モード切り替え情報として復号することを特徴とする請求項８に記載の画像復号方法。
11. 前記判定工程は前記第２符号化情報および前記ブロックの最初の前記量子化パラメータの組み合わせによって、復号対象のブロックが第１の符号化モードで符号化されているか第２の符号化モードで符号化されているかを判定し、復号処理の切り替えを行うことを特徴とする請求項１０に記載の画像復号方法。
12. 画像を符号化して画像ビットストリームを生成する画像符号化装置であって、
    量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化手段と、
    量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化手段と、
    前記ブロック単位で前記第１の符号化モードあるいは前記第２の符号化モードのいずれを用いて符号化するか否かを判定する判定手段と、
    前記判定手段において前記第２の符号化手段を用いて符号化を行うと判定された場合に、前記ブロック単位で第１の符号化手段と第２の符号化手段との切り替えを行い、前記ブロック単位で切り替えを行うことを示す情報をブロック単位モード切り替え情報として符号化する統合符号化手段と、
    を有することを特徴とする画像符号化装置。
13. 画像ビットストリームを復号して画像を再生する画像復号装置であって、
    逆量子化を行う第１の符号化モードで符号化されているブロックを復号する第１の復号手段と、
    逆量子化を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号手段と、
    ビットストリームを復号して、前記ブロック単位で第１の符号化と第２の符号化との切り替えが発生することを示す情報をブロック単位モード切り替え情報として復号する分離復号手段と、
    ブロック単位で前記第１の復号手段および前記第２の復号手段の切り替えを行う判定手段を有することを特徴とする画像復号装置。
14. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１２に記載の画像符号化装置として機能させることを特徴とするプログラム。
15. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１３に記載の画像復号装置として機能させることを特徴とするプログラム。

Images