JP2012019448A

JP2012019448A - 画像処理装置および方法

Info

Publication number: JP2012019448A
Application number: JP2010156707A
Authority: JP
Inventors: Kazufumi Sato; 数史佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-07-09
Filing date: 2010-07-09
Publication date: 2012-01-26
Also published as: US20130107940A1; CN102972025A; WO2012005195A1

Abstract

【課題】符号化効率を向上させることができるようにする。
【解決手段】適応スキャン制御部１２１は、可逆符号化部１０６から量子化された直交変換係数を取得し、その値が非ゼロである非ゼロ係数の分布を観測し、その分布の様子に応じて、可逆符号化部１０６における量子化された直交変換係数のスキャン順を決定する。可逆符号化部１０６は、その制御に従い、適応スキャン制御部１２１により決定されたスキャン順で量子化された直交変換係数のスキャンを行う。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図６

Description

本発明は、画像処理装置および方法に関し、特に、符号化効率を向上させることができるようにした画像処理装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。

標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。

更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が２００５年２月に完了し、これにより、AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の４倍の、４０００×２０００画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。

例えば、従来のように、画像の直交変換処理単位となる部分領域であるマクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。そこで、非特許文献１などにおいては、マクロブロックサイズを、６４×６４画素、３２画素×３２画素といった大きさにすることが提案されている。

すなわち、非特許文献１においては、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

非特許文献１は、インタースライスに対して拡張されたマクロブロックを適用する提案であるが、非特許文献２においては、拡張されたマクロブロックを、イントラスライスに適用することが提案されている。

ところで、AVCにおいて定められている４×４直交変換及び８×８直交変換のスキャン方式は、シーケンスやビットレートによらず、固定されたものであった。

Peisong Chenn,Yan Ye,Marta Karczewicz,"Video Coding Using Extended Block Sizes", COM16-C123-E, Qualcomm Inc,2009年1月 Sung-Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, Haechul Choi, Seyoon Jeong, Jin Soo Choi, "Intra coding using extended block size", VCEG-AL28, 2009年7月

しかしながら、非ゼロ係数の分布は画像に依存するので、予め用意されたスキャン方式が常に最適であるとは限らず、符号化効率を十分に向上させることが出来ない恐れがあった。

特に、上述したような拡張されたマクロブロックの場合、領域のサイズが大きく、非ゼロ係数の偏り方もより多様化する。そのため、予め用意されたスキャン方式が最適となる可能性はより低下し、符号化効率をさらに向上させる余地が残る可能性が増大する（符号化効率を十分に向上させることができる可能性が低減する）恐れがあった。

本発明は、このような状況に鑑みてなされたものであり、画像に応じてスキャン順を適応的に決定するようにすることにより、符号化効率を向上させることを目的とする。

本発明の一側面は、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順を、前記画像の特徴を示す統計値に応じて制御するスキャン順制御手段と、前記スキャン順制御手段により制御される前記スキャン順で、２次元配列の前記係数データをスキャンし、前記１次元配列に並び替えるスキャン手段と、前記スキャン手段により前記１次元配列に並び替えられた前記係数データを符号化する符号化手段とを備える画像処理装置である。

前記スキャン順制御手段は、前記画像を変換して前記係数データを生成する変換処理の処理単位となる前記画像の部分領域内の画素位置毎に、前記係数データの非ゼロ係数の出現頻度を、所定のデータ単位毎に算出する算出手段と、前記算出手段により算出された前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に、前記スキャン順を更新する更新手段とを備え、前記スキャン手段は、前記更新手段により更新されたスキャン順で前記係数データをスキャンすることができる。

前記スキャン順制御手段は、前記スキャン順を、予め定められた所定のスキャン順である初期順、および、前記更新手段により更新されたスキャン順である更新順のいずれか一方に決定する決定手段をさらに備え、前記スキャン手段は、前記初期順および前記更新順のうち、前記決定手段により決定された方のスキャン順で前記係数データをスキャンすることができる。

前記スキャン順制御手段は、処理対象がIDRピクチャであるか否かを判定する判定手段をさらに備え、前記決定手段は、前記判定手段により、前記処理対象が前記IDRピクチャであると判定された場合、前記スキャン順を前記初期順に決定し、前記処理対象が前記IDRピクチャでないと判定された場合、前記スキャン順を前記更新順に決定することができる。

前記スキャン順制御手段は、シーンチェンジを検出する検出手段をさらに備え、前記決定手段は、前記検出手段により、前記処理対象において前記シーンチェンジが検出された場合、前記スキャン順を前記初期順に決定し、前記処理対象において前記シーンチェンジが検出されなかった場合、前記スキャン順を前記更新順に決定することができる。

前記スキャン順制御手段は、前記決定手段により前記スキャン順が前記初期順に決定されたか、若しくは、前記更新順に選択されたかを示すフラグ情報を生成する生成手段をさらに備え、前記符号化手段は、前記生成手段により生成された前記フラグ情報をさらに符号化することができる。

前記更新手段は、前記スキャン順を、過去に符号化された画像の前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じた順に更新することができる。

前記更新手段は、単一のピクチャを複数のスライスに分割して処理を行う場合、直前に符号化されたスライスの前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じて前記スキャン順を更新することができる。

前記更新手段は、単一のピクチャを複数のスライスに分割して処理を行う場合、直前に符号化されたピクチャの、処理対象のスライスと同位置のスライスの前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じて前記スキャン順を更新することができる。

前記更新手段は、単一のピクチャを複数のスライスに分割し、各スライスの処理を並列に行う場合、直前に符号化されたピクチャの、処理対象のスライスと同位置のスライスの前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じて前記スキャン順を更新することができる。

前記更新手段は、前記スキャン順を、符号化処理対象の画像の前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じた順に更新することができる。

前記スキャン制御手段は、前記画像を変換して前記係数データを生成する変換処理の処理単位となる前記画像の部分領域の大きさごとに前記スキャン順を制御することができる。

前記スキャン制御手段は、処理対象の画像のタイプごとに前記スキャン順を制御することができる。

本発明の一側面は、また、画像処理装置の画像処理方法であって、スキャン順制御手段が、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順を、前記画像の特徴を示す統計値に応じて制御し、スキャン手段が、前記スキャン順で、２次元配列の前記係数データをスキャンし、前記１次元配列に並び替え、符号化手段が、前記１次元配列に並び替えられた前記係数データを符号化する画像処理方法である。

本発明の他の側面は、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順が前記画像の特徴を示す統計値に応じて制御されて生成された、前記画像の符号化データを復号する復号手段と、前記復号手段により前記符号化データが復号されて得られた係数データの、前記１次元配列から前記２次元配列に変換する際の逆スキャン順を、前記画像の特徴を示す統計値に応じて制御する逆スキャン順制御手段と、前記逆スキャン順制御手段により制御される前記逆スキャン順で、１次元配列の前記係数データを逆スキャンし、前記２次元配列に並び替える逆スキャン手段とを備える画像処理装置である。

前記逆スキャン順制御手段は、前記画像を変換して前記係数データを生成する変換処理の処理単位となる前記画像の部分領域内の画素位置毎に、前記係数データの非ゼロ係数の出現頻度を、所定のデータ単位毎に算出する算出手段と、前記算出手段により算出された前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に、前記逆スキャン順を更新する更新手段とを備え、前記逆スキャン手段は、前記更新手段により更新された逆スキャン順で前記係数データを逆スキャンすることができる。

前記逆スキャン順制御手段は、前記逆スキャン順を、予め定められた所定の逆スキャン順である初期順、および、前記更新手段により更新された逆スキャン順である更新順のいずれか一方に決定する決定手段をさらに備え、前記逆スキャン手段は、前記初期順および前記更新順のうち、前記決定手段により決定された方の逆スキャン順で前記係数データを逆スキャンすることができる。

前記逆スキャン順制御手段は、処理対象がIDRピクチャであるか否かを判定するIDR判定手段をさらに備え、前記決定手段は、前記IDR判定手段により、前記処理対象が前記IDRピクチャであると判定された場合、前記逆スキャン順を前記初期順に決定し、前記処理対象が前記IDRピクチャでないと判定された場合、前記逆スキャン順を前記更新順に決定することができる。

前記逆スキャン順制御手段は、前記係数データのスキャン順が前記初期順であるか、若しくは、前記更新順であるかを示すフラグ情報の値を判定するフラグ判定手段をさらに備え、前記決定手段は、前記フラグ判定手段により、前記係数データのスキャン順が前記初期順であると判定された場合、前記逆スキャン順を前記初期順に決定し、前記係数データのスキャン順が前記更新順であると判定された場合、前記逆スキャン順を前記更新順に決定することができる。

本発明の他の側面は、また、画像処理装置の画像処理方法であって、復号手段が、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順が前記画像の特徴を示す統計値に応じて制御されて生成された、前記画像の符号化データを復号し、逆スキャン順制御手段が、前記符号化データが復号されて得られた係数データの、前記１次元配列から前記２次元配列に変換する際の逆スキャン順を、前記画像の特徴を示す統計値に応じて制御し、逆スキャン手段が、前記逆スキャン順で、１次元配列の前記係数データを逆スキャンし、前記２次元配列に並び替える画像処理方法である。

本発明の一側面においては、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順が、画像の特徴を示す統計値に応じて制御され、そのスキャン順で、２次元配列の係数データがスキャンされ、１次元配列に並び替えられ、１次元配列に並び替えられた係数データが符号化される。

本発明の他の側面においては、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順が画像の特徴を示す統計値に応じて制御されて生成された、画像の符号化データが復号され、符号化データが復号されて得られた係数データの、１次元配列から２次元配列に変換する際の逆スキャン順が、画像の特徴を示す統計値に応じて制御され、その逆スキャン順で、１次元配列の係数データが逆スキャンされ、２次元配列に並び替えられる。

本発明によれば、画像を処理することができる。特に、符号化効率を向上させることができる。

AVC符号化方式において定められている、イントラ１６×１６符号化方式を説明するための図である。 AVC符号化方式において定められている、４×４直交変換ブロックに対する、ジグザグスキャン及びフィールドスキャン方式を示した図である。 AVC符号化方式において、ハイプロファイル以上においては、４×４直交変換と、８×８直交変換を、画面内で適応的に用いることが可能であることを示す図である。 AVC符号化方式において定められている、８×８直交変換ブロックに対する、ジグザグスキャン及びフィールドスキャン方式を示した図である。マクロブロックの例を示す図である。本発明を適用した画像符号化装置の主な構成例を示すブロック図である。適応スキャン制御部の主な構成例を示すブロック図である。適応的にスキャン順を決定する様子の例を説明する図である。符号化処理の流れの例を説明するフローチャートである。可逆符号化処理の流れの例を説明するフローチャートである。本発明を適用した画像復号装置の主な構成例を示すブロック図である。適応スキャン制御部の主な構成例を示すブロック図である。復号処理の流れの例を説明するフローチャートである。可逆復号処理の流れの例を説明するフローチャートである。スライスタイプ毎に、スキャンの更新を行う方法を示した図である。単一のピクチャを、複数のスライスに分割して処理を行う方法を示した図である。本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。本発明を適用した携帯電話機の主な構成例を示すブロック図である。本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。本発明を適用したカメラの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（パーソナルコンピュータ）
４．第４の実施の形態（テレビジョン受像機）
５．第５の実施の形態（携帯電話機）
６．第６の実施の形態（ハードディスクレコーダ）
７．第７の実施の形態（カメラ）

＜１．第１の実施の形態＞
［スキャン方式］
従来の、MPEG-2等の符号化方式と同様、直交変換を行った後、２次元の配列として得られる量子化された直交変換係数を、可逆符号化のため、１次元のデータに並び直す必要がある。

AVCにおけるベースラインプロファイル、メインプロファイル、拡張プロファイルにおいては、直交変換として、４×４画素を単位としている。

更に、イントラ１６×１６モードの場合のみ、図１に示される通り、各４×４ブロックの、直交変換後の直流成分を集めて、４×４行列を作り、これに対して４×４アダマール変換を行うことになる。

それぞれの、４×４配列を、一次元の１６次配列に変換する方法として、当該ブロックが、フレーム符号化されているか、フィールド符号化されているかに応じて、図２Ａに示されたジグザグスキャン、若しくは、図２Ｂに示されたフィールドスキャンのいずれかが用いられる。

また、AVCにおいて、ハイプロファイル以上では、図３に示されるように、画面内で、４×４直交変換と、８×８直交変換を、適応的に切り替えて用いることが可能である。

８×８直交変換が用いられる場合には、当該ブロックが、フレーム符号化されているか、フィールド符号化されているかに応じて、図４Ａに示されたジグザグスキャン、若しくは、図４Ｂに示されたフィールドスキャンのいずれかを用いることにより、２次元配列である量子化された直交変換係数が、１次元配列に変換される。

［予測モードの選択］
ところで、AVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

かかる選択方式の例として、JM（Joint Model）と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア（http://iphome.hhi.de/suehring/tml/index.htm において公開されている）に実装されている方法を挙げることが出来る。

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの２通りのモード判定方法を選択することができる。どちらも、それぞれの予測モードに関するコスト関数値を算出し、これを最小にする予測モードを当該サブマクロブロック、または、当該マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。

Cost(Mode ) = D + λ*R ・・・（１）

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Ｄは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。

Cost(Mode ) = D + QP2Quant(QP) * HeaderBit ・・・（２）

ここで、Ｄは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

［拡張マクロブロック］
ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。そこで、非特許文献１などにおいては、マクロブロックサイズを、図５に示されるように、６４×６４画素、３２画素×３２画素といった大きさにすることが提案されている。

すなわち、非特許文献１においては、図５のような、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

以下において、１６×１６画素以下のマクロブロックを通常マクロブロックと称し、１６×１６画素より大きなマクロブロックを拡張マクロブロックと称する。

直交変換サイズについても、非特許文献１及び非特許文献２においては、１６×１６といった、AVC符号化方式において定められているのよりも大きなものを用いることが可能とされている。

［適応的スキャン方式］
AVC等の従来の符号化方式においては、４×４直交変換及び８×８直交変換のスキャン方式は予め用意されていたが、非ゼロ係数の分布（偏り方）は、画像によって異なる。そのため、常に最適なスキャン順でスキャンが行われるとは限らなかった。つまり、より画像の性質に適したスキャン順でスキャンを行うことにより、符号化効率をさらに向上させる可能性があった。

そこで、本発明は、スキャン順を画像に応じて適応的に決定するようにすることにより、ゼロランの値を増やし、符号化効率を向上させるようにする。

［画像符号化装置］
図６は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

図６に示される画像符号化装置１００は、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式と同様に画像を符号化する符号化装置である。ただし、画像符号化装置１００は、正方形ブロックだけでなく長方形ブロックにおいても、スキップモード及びダイレクトモードを適用する。このようにすることにより、画像符号化装置１００は、符号化効率を向上させることができる。

図６の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。

画像符号化装置１００は、さらに、適応スキャン制御部１２１を有する。

A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。

画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。

演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。

例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。

直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。

量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される情報に基づいて量子化パラメータを設定し、量子化を行う。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。

可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。

可逆符号化部１０６は、イントラ予測を示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部１１５から取得する。なお、イントラ予測（画面内予測）を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測（画面間予測）を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部１０６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。

例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。

逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。

演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１５から供給される予測画像を加算する。

その加算結果は、デブロックフィルタ１１１またはフレームメモリ１１２に供給される。

デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去するとともに、例えばウィナーフィルタ（Wiener Filter）を用いて適宜ループフィルタ処理を行うことにより画質改善を行う。デブロックフィルタ１１１は、各画素をクラス分類し、クラスごとに適切なフィルタ処理を施す。デブロックフィルタ１１１は、そのフィルタ処理結果をフレームメモリ１１２に供給する。

フレームメモリ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き予測・補償部１１５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ１１２は、参照画像を、選択部１１３を介して動き予測・補償部１１５に供給する。

選択部１１３は、フレームメモリ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、フレームメモリ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部１１５に供給する。

イントラ予測部１１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。

イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。

また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。

動き予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、動き予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。

動き予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部１１５は、各モードのコスト関数値を算出し、最適なモードを選択する。

動き予測・補償部１１５は、このように選択されたインター予測モードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。

また、動き予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。

選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。

レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

適応スキャン制御部１２１は、可逆符号化部１０６における２次元配列である量子化された直交変換係数を１次元配列に変換するスキャン順を、画像に応じて適応的に制御する。

適応スキャン制御部１２１は、可逆符号化部１０６から量子化された直交変換係数を取得し、その値が非ゼロである非ゼロ係数の分布を観測し、その分布の様子に応じて、可逆符号化部１０６における量子化された直交変換係数のスキャン順を決定する。適応スキャン制御部１２１は、動画像においては特徴が類似する画像が連続する可能性が高いことを利用して、過去に符号化した画像における非ゼロ係数の分布を用いてスキャン順を決定する。

可逆符号化部１０６は、その制御に従い、適応スキャン制御部１２１により決定されたスキャン順で量子化された直交変換係数のスキャンを行う。

適応スキャン制御部１２１は、さらに、画面並べ替えバッファ１０２から入力画像を取得し、処理対象がIDR（Instantaneous Decoding Refresh）ピクチャであるか否かを判定する。IDRピクチャの場合、それ以前の画像との関連性は低く、画像の特徴が大きく変化する可能性が高いので、適応スキャン制御部１２１は、不適切なスキャン順の使用による符号化効率の低減を抑制するために、スキャン順を予め定められた所定の順序（初期順）に決定する。

また、適応スキャン制御部１２１は、画面並べ替えバッファ１０２から取得した入力画像より、シーンチェンジの有無を検出する。シーンチェンジが発生した場合、それ以前の画像との関連性が低く、画像の特徴が大きく変化する可能性が高いので、適応スキャン制御部１２１は、不適切なスキャン順の使用による符号化効率の低減を抑制するために、スキャン順を予め定められた所定の順序（初期順）に決定する。

さらに、適応スキャン制御部１２１は、スキャン順を、画像に応じて更新した更新順に設定したか、予め定められた初期順に設定したかを示すフラグ情報（default_scan_flag）を生成する。このフラグ情報は、可逆符号化部１０６により画像（量子化された直交変換係数）とともに符号化され、復号側に伝送される。復号側においては、このフラグ情報によって、スキャン順が初期順であるか更新順であるかを把握することができる。

なお、過去に符号化した画像における非ゼロ係数の分布を用いてスキャン順を決定する場合、そのスキャン順の更新は、復号側においても再現可能であるので、スキャン順の伝送は不要になる。つまり、画像符号化装置１００は、その分、符号化効率を向上させることができる。

［適応スキャン制御部］
図７は、図６の可逆符号化部１０６と適応スキャン制御部１２１の主な構成例を示すブロック図である。

図７に示されるように、可逆符号化部１０６は、マクロブロックシンタックス符号化部１３１、フラグ符号化部１３２、および量子化直交変換係数符号化部１３３を有する。

また、適応スキャン制御部１２１は、非ゼロ係数カウンタ１４１、ソート部１４２、スキャン順バッファ１４３、IDR判定部１４４、シーンチェンジ検出部１４５、スキャン順決定部１４６、およびフラグ生成部１４７を有する。

マクロブロックシンタックス符号化部１３１は、イントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測モードや動きベクトル情報等を符号化し、その符号化データをマクロブロックのシンタックスとして蓄積バッファ１０７に供給する。

フラグ符号化部１３２は、フラグ生成部１４７により生成されたdefault_scan_flagを符号化し、その符号化データを蓄積バッファ１０７に供給する。

量子化直交変換係数符号化部１３３は、量子化部１０５より供給される量子化された直交変換係数を符号化し、その符号化データを蓄積バッファ１０７に供給する。このとき、量子化直交変換係数符号化部１３３は、スキャン順決定部１４６により決定されたスキャン順を取得し、そのスキャン順で、量子化された直交変換係数をスキャンし、符号化する。

また、量子化直交変換係数符号化部１３３は、量子化部１０５から供給される量子化された直交変換係数の、各マクロブロック（画像の直交変換処理単位となる部分領域）内における非ゼロ係数の位置を示す情報（非ゼロ係数位置）を非ゼロ係数カウンタ１４１に供給する。

適応スキャン制御部１２１の非ゼロ係数カウンタ１４１は、量子化直交変換係数符号化部１３３から非ゼロ係数位置を取得し、マクロブロック内の各画素位置について、非ゼロ係数をカウントし、例えばスライスやピクチャ等、所定のデータ量毎に、その累積値を求める。非ゼロ係数カウンタ１４１は、そのマクロブロック内の位置毎の非ゼロ係数の累積値である累積度数分布をソート部１４２に供給する。

ソート部１４２は、非ゼロ係数カウンタ１４１から供給された非ゼロ係数の累積度数分布に基づいて、画像の直交変換処理単位となる部分領域であるマクロブロック内の各画素位置をその累積度順にソートし、その順をスキャン順として決定する。例えば累積度が同じ画素位置が複数存在する場合、予め定められた所定の規則に従って、それらを順位付けし、ソートする。ソート部１４２は、決定したスキャン順をスキャン順バッファ１４３に供給する。

スキャン順バッファ１４３は、ソート部１４２から供給されるスキャン順を、更新されたスキャン順である更新順の最新の値として保持する。スキャン順バッファ１４３は、その更新順を適宜スキャン順決定部１４６に供給する。

IDR判定部１４４は、画面並べ替えバッファ１０２から供給される入力画像情報のNAL（Network Abstraction Layer）シンタックスを参照し、処理対象がIDRピクチャであるか否かを判定する。IDR判定部１４４は、その判定結果をスキャン順決定部１４６に供給する。NALシンタックスは、AVC符号化方式等において規定されるNAL（ネットワーク抽象レイヤ）に関するシンタックスであり、そのNALヘッダの識別子nal_unit_typeにより、IDRピクチャのスライスであるか否かが示される。

シーンチェンジ検出部１４５は、画面並べ替えバッファ１０２から供給される入力画像情報を解析し、その解析結果に基づいてシーンチェンジの発生を検出する。このシーンチェンジの検出方法は任意である。例えば、シーンチェンジ検出部１４５は、入力画像情報のフレーム間で画素値のヒストグラムや平均値等の任意の統計値を比較し、その統計値のフレーム間の差が所定の基準より大きい場合、つまり、画像の特徴が大きく変化した場合、シーンチェンジが発生したと判定する。シーンチェンジ検出部１４５は、シーンチェンジの発生の有無をスキャン順決定部１４６に通知する。

スキャン順決定部１４６は、IDR判定部１４４から供給されるIDRの判定結果や、シーンチェンジ検出部１４５から供給されるシーンチェンジの検出結果等に基づいて、スキャン順を、予め保持している初期順にするか、スキャン順バッファ１４３から供給された更新順にするかを決定する。

例えば、IDRピクチャであったり、シーンチェンジが含まれていたりする場合、画像の特徴が大きく変化している可能性が高いので、スキャン順決定部１４６は、画像に対して不適切なスキャン順を用いることによる符号化効率の低減を抑制するために、スキャン順を、例えば従来のジグザグスキャン等の、予め定められている所定のスキャン順である初期順に決定し、その旨を量子化直交変換係数符号化部１３３に通知する。

この初期順は、任意の順でよいが、例えばAVC等において規定されているジグザグスキャン等のように、一般的に好適なスキャン順にするのが望ましい。

また、例えば、IDRピクチャでもなく、シーンチェンジも含まれない場合、スキャン順決定部１４６は、スキャン順を、スキャン順バッファ１４３から供給される、画像に応じて更新されたスキャン順である更新順に決定し、その旨を量子化直交変換係数符号化部１３３に通知する。

スキャン順決定部１４６は、そのスキャン順の決定結果をフラグ生成部１４７にも供給する。

フラグ生成部１４７は、その決定結果に応じて、default_scan_flagの値を設定し、フラグ符号化部１３２に供給する。例えば、スキャン順として初期順が選択された場合、フラグ生成部１４７は、default_scan_flagの値を１に設定する。また、例えば、スキャン順として更新順が選択された場合、フラグ生成部１４７は、default_scan_flagを０に設定する。

［スキャン順の更新］
以上のように適応スキャン制御部１２１は、可逆符号化部１０６における量子化された直交変換係数のスキャン順を初期順にするか更新順にするかを選択するだけでなく、非ゼロ係数の累積度数分布に応じてその更新順を更新する。

例えば、図８に示されるように４×４のブロックについて、初期順として、図８Ａに示されるようなジグザグスキャン順が予め設定されているとする。図８において各四角は、ブロック内の画素位置を示す。図８Ａの各四角内の数字は、スキャン順（０から１５に向かう順）を示す。

例えば、ある所定のデータ単位（例えばピクチャやスライス等）において、各ブロックの非ゼロ係数のカウントの結果、ブロック内の各画素位置における非ゼロ係数の累積値が図８Ｂに示されるような分布になったとする。図８Ｂにおいて、各四角内の数字は、非ゼロ係数の累積度数を示す。

適応スキャン制御部１２１のソート部１４２は、図８Ｃに示されるように、スキャン順を、この非ゼロ係数の度数順に並べ替える。図８Ａの各四角内の数字は、スキャン順（０から１５に向かう順）を示す。

このようなスキャン順にすることにより、可逆符号化部１０６の量子化直交変換係数符号化部１３３は、非ゼロ係数が出現する可能性の高い画素位置から先にスキャンすることができるので、ゼロランの値を増大させることができる。つまり、可逆符号化部１０６は、より画像に適したスキャン順でスキャンすることができる。したがって、画像符号化装置１００は、符号化効率を向上させることができる。

なお、処理対象が次のデータ単位（ピクチャやスライス等）に進むと、非ゼロ係数のカウントが新たに行われる。上述した更新順は、過去のデータ単位のカウント結果を用いて、そのデータ単位毎に更新される。

ただし、IDRピクチャの場合やシーンチェンジが含まれる場合、画像の特徴が、それより前の画像の特徴と大きく変化する可能性が高い（画像の特徴の連続性が薄い）ので、スキャン順は初期順に設定される。このようにすることにより、画像符号化装置１００は、現在の画像の特徴と、スキャン順の根拠となる過去の画像の特徴とが大きく異なることによる、画像に対して不適切なスキャン順によるスキャン実行を抑制することができ、符号化効率の低減を抑制することができる。

［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図９のフローチャートを参照して、符号化処理の流れの例を説明する。

ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１０３において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。

差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１０４において、直交変換部１０４は，ステップＳ１０３の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ１０５において、量子化部１０５は、ステップＳ１０４の処理により得られた直交変換係数を量子化する。

ステップＳ１０５の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０６において、逆量子化部１０８は、ステップＳ１０５の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１０７において、逆直交変換部１０９は、ステップＳ１０６の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。

ステップＳ１０８において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１０９においてデブロックフィルタ１１１は、ステップＳ１０８の処理により生成された画像をフィルタリングする。これによりブロック歪みが除去される。

ステップＳ１１０において、フレームメモリ１１２は、ステップＳ１０９の処理によりブロック歪みが除去された画像を記憶する。なお、フレームメモリ１１２にはデブロックフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。

ステップＳ１１１において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１２において、動き予測・補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。

ステップＳ１１３において、選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測・補償部１１５により生成された予測画像のいずれか一方を選択する。

また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。

ステップＳ１１４において、可逆符号化部１０６は、ステップＳ１０５の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。

なお、可逆符号化部１０６は、ステップＳ１０５において算出された量子化パラメータを符号化し、符号化データに付加する。

また、可逆符号化部１０６は、ステップＳ１１３の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き予測・補償部１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

ステップＳ１１５において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ１１６においてレート制御部１１７は、ステップＳ１１５の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

ステップＳ１１６の処理が終了すると、符号化処理が終了される。

［可逆符号化処理の流れ］
次に、図１０のフローチャートを参照して、図９のステップＳ１１４において実行される可逆符号化処理の流れの例を説明する。

可逆符号化処理が開始されると、IDR判定部１４４は、ステップＳ１３１において、処理対象の画像がIDRピクチャであるか否かを判定する。IDRピクチャでないと判定した場合、IDR判定部１４４は、処理をステップＳ１３２に進める。

ステップＳ１３２において、シーンチェンジ検出部１４５は、処理対象の画像がシーンチェンジを含むか否かを判定する。シーンチェンジを含まないと判定された場合、シーンチェンジ検出部１４５は、処理をステップＳ１３３に進める。

IDRピクチャでもなくシーンチェンジも含まれないので、処理対象の画像の特徴は、それ以前の画像の特徴と類似する可能性が高い。そこで、ステップＳ１３３において、フラグ生成部１４７は、スキャン順として更新順が選択される（初期順が選択されない）ことを示すように、default_scan_flagの値を０にして生成する（default_scan_flag＝０）。ステップＳ１３４において、フラグ符号化部１３２は、そのdefault_scan_flagを符号化する。

ステップＳ１３５において、スキャン順決定部１４６は、可逆符号化部１０６（量子化直交変換係数符号化部１３３）における量子化された直交変換係数のスキャン順として更新順を選択し、処理をステップＳ１３９に進める。

また、ステップＳ１３２において、処理対象の画像がシーンチェンジを含まないと判定された場合、シーンチェンジ検出部１４５は、処理をステップＳ１３６に進める。

シーンチェンジが発生しているので、処理対象の画像の特徴は、それ以前の画像の特徴と類似する可能性が低い。そこで、ステップＳ１３７において、フラグ生成部１４７は、スキャン順として初期順が選択されることを示すように、default_scan_flagの値を１にして生成する（default_scan_flag＝０）。ステップＳ１３７において、フラグ符号化部１３２は、そのdefault_scan_flagを符号化し、処理をステップＳ１３８に進める。

さらに、ステップＳ１３１において、処理対象の画像がIDRピクチャであると判定された場合、IDR判定部１４４は、処理をステップＳ１３８に進める。つまり、この場合、フラグ生成部１４７は、default_scan_flagを生成しない。復号側においても、IDRピクチャはNALシンタックスから容易に検出することができる。したがって、default_scan_flagが無くても、初期順が選択されていることは、容易に把握することができる。IDRピクチャである場合に、このdefault_scan_flagの伝送を省略することにより、画像符号化装置１００は、そのdefault_scan_flagの伝送による符号化効率の低減を抑制することができる。

ステップＳ１３８において、スキャン順決定部１４６は、可逆符号化部１０６（量子化直交変換係数符号化部１３３）における量子化された直交変換係数のスキャン順として初期順を選択し、処理をステップＳ１３９に進める。

量子化直交変換係数符号化部１３３は、ステップＳ１３９において、ステップＳ１３５若しくはステップＳ１３８において選択されたスキャン順（選択順）で、処理対象のマクロブロックの量子化された直交変換係数をスキャンし、ステップＳ１４０において、その量子化された直交変換係数をスキャンした順に符号化する。

ステップＳ１４１において、非ゼロ係数カウンタ１４１は、マクロブロック内の各画素位置の非ゼロ係数をカウントし、所定のデータ単位（ピクチャ若しくはスライス等）で累算する。

ステップＳ１４２において、非ゼロ係数カウンタ１４１は、所定のデータ単位内の全てのマクロブロックを処理したか否かを判定する。未処理のマクロブロックが存在すると判定された場合、非ゼロ係数カウンタ１４１は、ステップＳ１３９に処理を戻し、それ以降の処理を繰り返す。

また、ステップＳ１４２において、全てのマクロブロックを処理したと判定された場合、非ゼロ係数カウンタ１４１は、処理をステップＳ１４３に進める。

ステップＳ１４３において、ソート部１４２は、スキャン順を非ゼロ係数の累積値の大きさ順にする（累積度数分布に応じた順にする）。ステップＳ１４４において、スキャン順バッファ１４３は、更新順を、ステップＳ１４３において設定されたスキャン順に更新する。

ステップＳ１４４の処理を終了すると、適応スキャン制御部１２１は、可逆符号化処理を終了し、処理を図９のステップＳ１１４に戻し、それ以降の処理を繰り返す。

以上のように、適応スキャン制御部１２１が、可逆符号化部１０６において行われるスキャン順を、画像の特徴に応じて適応的に制御するので、画像符号化装置１００は、符号化効率を向上させることができる。

＜２．第２の実施の形態＞
［画像復号装置］
図１１は、本発明を適用した画像復号装置の主な構成例を示すブロック図である。図１１に示される画像復号装置２００は、図６の画像符号化装置１００に対応する復号装置である。

画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、復号されるものとする。

図１１に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。

画像復号装置２００は、さらに、適応逆スキャン制御部２２１を有する。

蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図６の可逆符号化部１０６の符号化方式に対応する方式で復号する。

可逆復号部２０２は、適応逆スキャン制御部２２１により決定された逆スキャン順で、符号化データを復号して得られた、量子化された直交変換係数を逆スキャンし、１次元の配列から２次元の配列に並び直す。

逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図７の量子化部１０５の量子化方式に対応する方式で逆量子化する。

逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図６の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。

逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。

演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。

デブロックフィルタ２０６は、供給された復号画像のブロック歪を除去した後、画面並べ替えバッファ２０７に供給する。

画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図６の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

デブロックフィルタ２０６の出力は、さらに、フレームメモリ２０９に供給される。

フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３は、図７の画像符号化装置１００のフレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、および選択部１１６にそれぞれ対応する。

選択部２１０は、インター処理される画像と参照される画像をフレームメモリ２０９から読み出し、動き予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をフレームメモリ２０９から読み出し、イントラ予測部２１１に供給する。

イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。

動き予測・補償部２１２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部２０２から取得する。

動き予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。

選択部２１３は、動き予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。

適応逆スキャン制御部２２１は、可逆復号部２０２において符号化データが復号されて得られた、量子化された直交変換係数を１次元配列から２次元配列に変換する逆スキャン順を、画像に応じて適応的に制御する。

つまり、適応逆スキャン制御部２２１は、図６の適応スキャン制御部１２１が決定したスキャン順により並び替えられた、量子化された直交変換係数を、元の配列に戻すように（スキャン順の並び替えと逆の順に並び替えが行われるように）、逆スキャン順を決定する。

適応逆スキャン制御部２２１は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を取得し、その値が非ゼロである非ゼロ係数の分布を観測し、その分布の様子に応じて、可逆復号部２０２における量子化された直交変換係数の逆スキャン順を更新する（更新順）。適応逆スキャン制御部２２１は、動画像においては特徴が類似する画像が連続する可能性が高いことを利用して、過去に復号した画像における非ゼロ係数の分布を用いてその更新順を更新する。

つまり、適応逆スキャン制御部２２１は、逆スキャンの更新順がスキャンの更新順に対応するように（逆順となるように）、図６の適応スキャン制御部１２１によるスキャン順の更新方法と同様の方法で、逆スキャン順を更新する。

適応逆スキャン制御部２２１は、さらに、符号化データに含まれるシンタックスやフラグ情報（default_scan_flag）に基づいて、IDRピクチャの判定やシーンチェンジの検出を行い、その場合、逆スキャン順を予め定められた所定の順序（初期順）に決定する。また、処理対象がIDRピクチャでなく、かつ、シーンチェンジを含まない場合、適応逆スキャン制御部２２１は、逆スキャン順を更新順に決定する。

つまり、適応逆スキャン制御部２２１は、図６の適応スキャン制御部１２１の制御に対応するように逆スキャン順の制御を行い、適応スキャン制御部１２１が初期順を選択する条件においては、逆スキャン順を初期順に設定し、適応スキャン制御部１２１が更新順を選択する条件においては、逆スキャン順を更新順に設定する。

可逆復号部２０２は、その制御に従い、適応逆スキャン制御部２２１により決定された逆スキャン順で量子化された直交変換係数の逆スキャンを行う。

以上のようにすることにより、可逆復号部２０２は、可逆符号化部１０６におけるスキャン順と逆順に逆スキャンを行うことができる。つまり、可逆復号部２０２は、可逆符号化部１０６が、画像の特性に応じてスキャンした、量子化された直交変換係数を正しく逆スキャンすることができる。したがって、画像復号装置２００は、画像符号化装置１００により符号化された符号化データを正しく復号することができるので、符号化効率を向上させることができる。

［適応逆スキャン制御部］
図１２は、図１１の可逆復号部２０２と適応逆スキャン制御部２２１の主な構成例を示すブロック図である。

図１２に示されるように、可逆復号部２０２は、マクロブロックシンタックス復号部２３１、NALシンタックス復号部２３２、フラグ復号部２３３、および量子化直交変換係数復号部２３４を有する。

また、図１２に示されるように、適応逆スキャン制御部２２１は、非ゼロ係数カウンタ２４１、ソート部２４２、逆スキャン順バッファ２４３、IDR判定部２４４、フラグ判定部２４５、および逆スキャン順決定部２４６を有する。

マクロブロックシンタックス復号部２３１は、蓄積バッファ２０１から供給される、マクロブロックシンタックスの符号化データを復号し、復号して得られる予測モードや動きベクトル情報等をイントラ予測部２１１若しくは動き予測・補償部２１２に供給する。

NALシンタックス復号部２３２は、蓄積バッファ２０１から供給される、NALシンタックスの符号化データを復号し、復号して得られるNALシンタックスをIDR判定部２４４に供給する。

フラグ復号部２３３は、蓄積バッファ２０１から供給される、default_scan_flagの符号化データを復号し、復号して得られるdefault_scan_flagをフラグ判定部２４５に供給する。

量子化直交変換係数復号部２３４は、蓄積バッファ２０１から供給される、量子化された直交変換係数の符号化データを復号し、復号して得られる、量子化された直交変換係数を、適応逆スキャン制御部２２１により制御される逆スキャン順で逆スキャンし、その並び替えた、量子化された直交変換係数を逆量子化部２０３に供給する。

また、量子化直交変換係数復号部２３４は、量子化された直交変換係数の、非ゼロ係数のマクロブロック内の画素位置を示す情報を、非ゼロ係数カウンタ２４１に供給する。

非ゼロ係数カウンタ２４１は、量子化された直交変換係数の非ゼロ係数を、マクロブロック内の画素位置毎にカウントし、その各画素位置における非ゼロ係数の、所定のデータ単位（例えばピクチャ若しくはスライス等）の累積値（累積度数分布）をソート部２４２に供給する。

ソート部２４２は、非ゼロ係数カウンタ２４１から供給された非ゼロ係数の累積度数分布に基づいて、マクロブロック内の各画素位置をその累積度順にソートし、その順の逆順を逆スキャン順として決定する。例えば累積度が同じ画素位置が複数存在する場合、ソート部２４２は、予め定められた所定の規則に従って、それらを順位付けし、ソートする。この規則はソート部１４２が有する規則に対応する（ソート部１４２が行う順位付けと逆順にする）。ソート部２４２は、決定した逆スキャン順を逆スキャン順バッファ２４３に供給する。

逆スキャン順バッファ２４３は、逆スキャン順の更新順を保持する。逆スキャン順バッファ２４３は、ソート部２４２から供給される逆スキャン順を、更新された逆スキャン順である更新順の最新の値として保持する。逆スキャン順バッファ２４３は、その更新順を適宜逆スキャン順決定部２４６に供給する。

IDR判定部２４４は、NALシンタックス復号部２３２から供給されるNALシンタックスを参照し、処理対象がIDRピクチャであるか否かを判定する。IDR判定部２４４は、その判定結果を逆スキャン順決定部２４６に供給する。

フラグ判定部２４５は、フラグ復号部２３３から供給されるdefault_scan_flagの値を判定し、シーンチェンジの発生を検出する。default_scan_flagがシーンチェンジの発生を示す値（例えば「１」等）の場合、フラグ判定部２４５は、シーンチェンジが発生した旨を逆スキャン順決定部２４６に通知する。また、default_scan_flagがシーンチェンジが発生していないことを示す値（例えば「０」等）の場合、フラグ判定部２４５は、シーンチェンジが発生していない旨を逆スキャン順決定部２４６に通知する。

逆スキャン順決定部２４６は、IDR判定部２４４から供給されるIDRの判定結果や、フラグ判定部２４５から供給されるシーンチェンジの有無の判定結果に基づいて、逆スキャン順を初期順にするか更新順にするかを選択し、その選択結果を量子化直交変換係数復号部２３４に通知する。

つまり、例えば、IDRピクチャであったり、シーンチェンジが含まれていたりする場合、画像符号化装置１００において初期順によりスキャンが行われているので、逆スキャン順決定部２４６は、逆スキャン順を、例えば従来のジグザグスキャン等の、予め定められている所定のスキャン順である初期順に決定し、その旨を量子化直交変換係数符号化部１３３に通知する。

なお、この逆スキャン順の初期順は、画像符号化装置１００のスキャン順決定部１４６が有するスキャン順の初期順と逆順である。

また、例えば、IDRピクチャでもなく、シーンチェンジも含まれない場合、逆スキャン順決定部２４６は、逆スキャン順を、逆スキャン順バッファ２４３から供給される、画像に応じて更新された逆スキャン順である更新順に決定し、その旨を量子化直交変換係数符号化部１３３に通知する。

［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１３のフローチャートを参照して、復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２および適応逆スキャン制御部２２１は、蓄積バッファ２０１から供給される符号化データを復号する。すなわち、図６の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、フラグや量子化パラメータ等の情報も復号される。

予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き予測・補償部２１２に供給される。

ステップＳ２０３において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を、図６の量子化部１０５による量子化処理に対応する方法で逆量子化する。ステップＳ２０４において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図６の直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。これにより図６の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。

ステップＳ２０５において、演算部２０５は、ステップＳ２０４の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。

ステップＳ２０６において、デブロックフィルタ２０６は、ステップＳ２０５の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。

ステップＳ２０７において、フレームメモリ２０９は、フィルタリングされた復号画像を記憶する。

ステップＳ２０８において、イントラ予測部２１１、または動き予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。

すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き予測・補償部２１２は、インター予測モードの動き予測処理を行う。

ステップＳ２０９において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０５の処理により差分情報に加算される。

ステップＳ２１０において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図６）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２１１において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。

［可逆復号処理の流れ］
次に、図１４のフローチャートを参照して、図１３のステップＳ２０３において実行される可逆復号処理の流れの例を説明する。

可逆復号処理が開始されると、NALシンタックス復号部２３２は、ステップＳ２３１において、NALシンタックスを復号する。ステップＳ２３２において、IDR判定部２４４は、復号されたNALシンタックスに含まれる情報に基づいて、処理対象がIDRピクチャであるか否かを判定する。処理対象がIDRピクチャでない（復号する直交変換係数がIDRピクチャでない）と判定された場合、IDR判定部２４４は、処理をステップＳ２３３に進める。

ステップＳ２３３において、フラグ復号部２３３は、default_scan_flagを復号する。ステップＳ２３４において、フラグ判定部２４５は、復号されたdefault_scan_flagの値が１（シーンチェンジを含むことを示す値）であるか否かを判定する。default_scan_flagの値に基づいてシーンチェンジを含まないと判定された場合、フラグ判定部２４５は、処理をステップＳ２３５に進める。

ステップＳ２３５において、逆スキャン順決定部２４６は、逆スキャン順として更新順を選択する。更新順を選択すると、逆スキャン順決定部２４６は、処理をステップＳ２３７に進める。

また、ステップＳ２３２において、処理対象がIDRピクチャであると判定された場合、IDR判定部２４４は、処理をステップＳ２３６に進める。さらに、ステップＳ２３４において、復号されたdefault_scan_flagの値が０（シーンチェンジを含まないことを示す値）であると判定された場合、フラグ判定部２４５は、処理をステップＳ２３６に進める。

ステップＳ２３６において、逆スキャン順決定部２４６は、逆スキャン順として初期順を選択する。初期順を選択すると、逆スキャン順決定部２４６は、処理をステップＳ２３７に進める。

ステップＳ２３７において、量子化直交変換係数復号部２３４は、処理対象のマクロブロックについて、量子化された直交変換係数の符号化データを復号する。ステップＳ２３８において、量子化直交変換係数復号部２３４は、ステップＳ２３７において復号して得られた、量子化された直交変換係数を、ステップＳ２３５若しくはステップＳ２３６において選択された順序（初期順若しくは更新順）で逆スキャンし、２次配列に並び替え、それを逆量子化部２０３に供給する。

ステップＳ２３９において、非ゼロ係数カウンタ２４１は、非ゼロ係数を、マクロブロック内の画素位置毎にカウントする。

ステップＳ２４０において、非ゼロ係数カウンタ２４１は、所定のデータ単位（例えば、ピクチャ若しくはスライス等）について、全てのマクロブロックを処理したか否かを判定する。未処理のマクロブロックが存在すると判定された場合、非ゼロ係数カウンタ２４１は、処理をステップＳ２３７に戻し、それ以降の処理を繰り返す。

また、ステップＳ２４０において、全てのマクロブロックを処理したと判定された場合、非ゼロ係数カウンタ２４１は、処理をステップＳ２４１に進める。

ステップＳ２４１において、ソート部２４２は、逆スキャン順を、上述した所定のデータ単位（例えば、ピクチャ若しくはスライス等）の非ゼロ係数の累積値の大きさ順にする。

ステップＳ２４２において、逆スキャン順バッファ２４３は、ステップＳ２４１において設定された逆スキャン順を保持することにより、更新順を更新する。

ステップＳ２４２の処理を終了すると、可逆復号部２０２および適応逆スキャン制御部２２１は、可逆復号処理を終了する。

以上のように各処理を実行することにより、画像復号装置２００は、画像符号化装置１００の適応スキャン制御部１２１が、画像の特徴に応じて適応的に決定したスキャン順の逆順を正しく再現することができ、それを逆スキャン順とすることができる。また、画像復号装置２００は、画像符号化装置１００から供給されるコードストリームのNALシンタックスやフラグ情報に基づいて、画像符号化装置１００においてスキャン順として初期順が採用されたか、更新順が採用されたかを正しく判定することができる。つまり、画像復号装置２００は、画像符号化装置１００により生成された符号化データを正しく復号することができるので、符号化効率を向上させることができる。

なお、以上に説明した、第１の実施の形態および第２の実施の形態においては、スキャン順若しくは逆スキャン順の更新順を決定するための統計値として、非ゼロ係数の画素位置毎の累積値を用いるように説明したが、この統計値は、例えば、非ゼロ係数の累積値の平均値等、これ以外のどのような統計値を用いるようにしてもよい。もちろん、非ゼロ係数の統計値以外を用いてスキャン順若しくは逆スキャン順の更新順を決定するようにしてもよい。

また、以上においては、例えばピクチャやスライス等の所定のデータ単位毎に統計値を算出するように説明したが、このデータ単位は任意である。

なお、以上に説明した、適応的なスキャン順および逆スキャン順の制御は、図１５に示すように、Ｉスライス（Ｉピクチャ）、Ｐスライス（Ｐピクチャ）、およびＢスライス（Ｂピクチャ）のそれぞれに対して互いに独立して行う（スライスタイプ若しくはピクチャタイプ毎に独立して制御する）ようにしてもよい。

その場合、図１５に示されるように、各スライス（ピクチャ）のスキャン順および逆スキャン順の更新には、過去の同種のスライス（ピクチャ）における非ゼロ係数の統計値が用いられる。例えば、Ｉスライスのスキャン順は、その直前に処理されるＩスライスにおける非ゼロ係数の度数分布に応じて更新され、Ｐスライスのスキャン順は、その直前に処理されるＰスライスにおける非ゼロ係数の度数分布に応じて更新され、Ｂスライスのスキャン順は、その直前に処理されるＢスライスにおける非ゼロ係数の度数分布に応じて更新される。

もちろん、この場合も、スキャン順および逆スキャン順の更新に用いられる統計値は任意である。例えば、Ｉスライスの場合と、Ｐスライスの場合と、Ｂスライスの場合とで、互いに異なる統計値をスキャン順および逆スキャン順の更新に用いる等、互いに独立して行われるスキャン順および逆スキャン順の更新を互いに異なる統計値に基づいて行うようにしてもよい。

また、Ｉスライスにおいては、イントラ予測モードに応じて、別々のスキャン方式を適用するようにしても良い。もちろん、インタースライスの場合、１６×１６、１６×８…といったような、動き補償パーティションモードに応じて、別々のスキャン方式を適用するようにしても良い。

更に、単一のピクチャを、図１６に示すように、複数のスライスに分割して処理する場合、図１６Ａに示されるように、直前に処理されるスライスにおける非ゼロ係数の統計値を基に、スキャン順が更新されるようにしても良いが、図１６Ｂに示されるように、直前に処理されるピクチャにおける同一位置のスライスにおける非ゼロ係数の統計値を基に、スキャン順が更新されるようにしても良い。スライス単位で並列処理を行う場合には、図１６Ｂに示されるような方式を用いる必要がある。

また、画像符号化装置１００において採用されたスキャン順を、画像復号装置２００に伝送するようにしてもよい。このようにすることにより画像復号装置２００は、そのスキャン順に従って正しい逆スキャン順を容易に求めることができる。ただし、上述したように、スキャン順を伝送せずに、画像復号装置２００において、正しいスキャン順（逆スキャン順）を再現することにより、符号化効率をさらに向上させることができる。

以上においては、過去に処理された画像における非ゼロ係数の統計値を用いてスキャン順および逆スキャン順を更新するように説明したが、これに限らず、現在の処理対象の画像における非ゼロ係数の統計値を用いてスキャン順および逆スキャン順を更新する（処理対象の画像に基づいて更新されたスキャン順若しくは逆スキャン順を当該処理対象の画像の処理において使用する）ようにしてもよい。

例えば、図７において、量子化直交変換係数符号化部１３３が、量子化部１０５から供給された量子化された直交変換係数を、所定のデータ単位（例えばスライスやピクチャ等）分保持し、非ゼロ係数カウンタ１４１がその直交変換係数について非ゼロ係数のる異性度数分布を求め、ソート部１４２がスキャン順を設定し、スキャン順バッファ１４３が更新順を更新するようにする。

そして、スキャン順決定部１４６がその更新順を選択すると、量子化直交変換係数符号化部１３３は、保持している直交変換係数を、マクロブロック毎に、その更新順でスキャンする。

このようにすることにより、可逆符号化部１０６は、より画像の特徴に適したスキャン順でスキャンを行うことができる。

ただし、この場合、画像復号装置２００が、このように採用された更新順（スキャン順）を再現することができないので、画像符号化装置１００は、採用した更新順（スキャン順）を画像復号装置２００に伝送する必要がある。

以上においては、非ゼロ係数の累積度数分布に応じてスキャン順および逆スキャン順を更新するように説明したが、その際、更新するか否かを決める閾値を設けるようにしてもよい。例えば、非ゼロ係数の出現頻度に偏りが少なく、累積度数分布が一様な場合、どの順でスキャンしても符号化効率に大きな差は生じない。したがって、このような場合更新順の更新を省略し、負荷を軽減させるようにしてもよい。この場合、さらに、スキャン順および逆スキャン順として初期順が選択されるようにしてもよい。

また、以上においては、画像の特性（非ゼロ係数の累積度数分布等）に応じて適応的に更新される更新順か、初期順が選択されるように説明したが、これに限らず、予め用意された複数のスキャン順の中から１つが、画像の特性（非ゼロ係数の累積度数分布等）に応じて適応的に選択されるようにしてもよい。例えば、非ゼロ係数の度数分布に基づいて、予め用意された複数のスキャン順の中から、最も近いスキャン順が選択されるようにしてもよい。逆スキャン順の場合も同様である。

また、以上に説明したスキャン順や逆スキャン順の制御を、非特許文献１において提案されているような拡張マクロブロック（所定のサイズより大きなマクロブロック）についてのみ適用するようにしてもよい。

また、以上においては、量子化された直交変換係数をスキャンするスキャン順を制御するように説明したが、本発明は任意の係数データを２次元配列から１次元配列に変換する際のスキャン順（並び替え順）を制御するものであればどのような処理にも適用することができる。例えば、直交変換係数は量子化されていなくてもよい。また、スキャンされるデータは、直交変換係数でなくてもよく、画像データが直交変換と異なる他の変換処理により変換されて生成された係数データであってもよい。逆スキャンの場合も同様である。

以上においては、AVCに準ずる方式による符号化を行う画像符号化装置、並びに、AVCに準ずる方式による復号を行う画像復号装置を例にして説明してきたが、本発明の適用範囲はこれに限らず、直交変換処理および直交変換係数を所定のスキャン順でスキャンする符号化処理を行うあらゆる画像符号化装置並びに画像復号装置に適用することが可能である。

また、以上に説明したdefault_scan_flag等の情報は、例えば、符号化データの任意の位置に付加されるようにしてもよいし、符号化データとは別に復号側に伝送されるようにしてもよい。例えば、可逆符号化部１０６が、これらの情報を、ビットストリームにシンタックスとして記述するようにしてもよい。また、可逆符号化部１０６が、これらの情報を、補助情報として所定の領域に格納して伝送するようにしてもよい。例えば、これらの情報が、SEI（Suplemental Enhancement Information）等のパラメータセット（例えばシーケンスやピクチャのヘッダ等）に格納されるようにしてもよい。

また、可逆符号化部１０６が、これらの情報を、符号化データとは別に（別のファイルとして）、画像符号化装置１００から画像復号装置２００に伝送させるようにしてもよい。その場合、これらの情報と符号化データとの対応関係を明確にする（復号側で把握することができるようにする）必要があるが、その方法は任意である。例えば、別途、対応関係を示すテーブル情報を作成してもよいし、対応先のデータを示すリンク情報を互いのデータに埋め込むなどしてもよい。

＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図１７において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した画像符号化装置や画像復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。

＜４．第４の実施の形態＞
［テレビジョン受像機］
図１８は、本発明を適用した画像復号装置２００を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図１８に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。

地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。

映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。

グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。

パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。

表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。

地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。

音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。

音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。

音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。

さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。

デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。

テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、上述した画像復号装置２００を用いる。なお、放送局等より送信されるMPEG-TSは、画像符号化装置１００によって符号化されている。

MPEGデコーダ１０１７は、画像復号装置２００の場合と同様に、NALシンタックスやdefault_scan_flagに基づいて、画像符号化装置１００において採用されたスキャン順に対応する逆スキャン順を特定することができる。したがって、MPEGデコーダ１０１７は、量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化された符号化データを正しく復号することができ、符号化効率を向上させることができる。

MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。

MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。

また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。

音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。

ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。

音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。

受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。

CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。

USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機１０００は、MPEGデコーダ１０１７として画像復号装置２００を用いることにより、アンテナを介して受信する放送波信号や、ネットワークを介して取得するコンテンツデータの量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化される場合であっても、その符号化データを正しく復号することができ、符号化効率を向上させることができる。

＜５．第５の実施の形態＞
［携帯電話機］
図１９は、本発明を適用した画像符号化装置１００および画像復号装置２００を用いる携帯電話機の主な構成例を示すブロック図である。

図１９に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。

また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。

電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。

携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。

また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。

なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。

携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、上述した画像符号化装置１００を用いる。画像エンコーダ１１５３は、画像符号化装置１００の場合と同様に、量子化された直交変換係数のスキャン順を、画像の特徴に応じて適応的に制御する。したがって、画像エンコーダ１１５３は、画像の特徴により適したスキャン順によりスキャンを行うことができ、ゼロランの値を増やし、符号化効率を向上させることができる。

なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。

携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、上述した画像復号装置２００を用いる。つまり、画像デコーダ１１５６は、画像復号装置２００の場合と同様に、NALシンタックスやdefault_scan_flagに基づいて、画像符号化装置１００において採用されたスキャン順に対応する逆スキャン順を特定することができる。したがって、画像デコーダ１１５６は、量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化された符号化データを正しく復号することができ、符号化効率を向上させることができる。

このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。

携帯電話機１１００は、画像エンコーダ１１５３として画像符号化装置１００を用いることにより、例えばCCDカメラ１１１６において生成された画像データを符号化して伝送する際に、その画像データから生成された、量子化された直交変換係数のスキャン順を、画像の特徴に応じて適応的に制御することができ、画像の特徴により適したスキャン順によりスキャンを行うことができ、ゼロランの値を増やし、符号化効率を向上させることができる。

また、携帯電話機１１００は、画像デコーダ１１５６として画像復号装置２００を用いることにより、例えば、簡易ホームページ等にリンクされた動画像ファイルの量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化される場合であっても、その符号化データを正しく復号することができ、符号化効率を向上させることができる。

なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、本発明を適用した画像符号化装置および画像復号装置を適用することができる。

＜６．第６の実施の形態＞
［ハードディスクレコーダ］
図２０は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図２０に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図２０に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。

また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。

受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。

通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。

オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。

ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。

ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。

モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。

レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。

以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして画像復号装置２００を用いる。つまり、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、画像復号装置２００の場合と同様に、NALシンタックスやdefault_scan_flagに基づいて、画像符号化装置１００において採用されたスキャン順に対応する逆スキャン順を特定することができる。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化された符号化データを正しく復号することができ、符号化効率を向上させることができる。

したがって、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５が受信するビデオデータ（符号化データ）や、記録再生部１２３３が再生するビデオデータ（符号化データ）の量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化されている場合であっても、その符号化データを正しく復号することができ、符号化効率を向上させることができる。

また、ハードディスクレコーダ１２００は、エンコーダ１２５１として画像符号化装置１００を用いる。したがって、エンコーダ１２５１は、画像符号化装置１００の場合と同様に、量子化された直交変換係数のスキャン順を、画像の特徴に応じて適応的に制御する。したがって、エンコーダ１２５１は、画像の特徴により適したスキャン順によりスキャンを行うことができ、ゼロランの値を増やし、符号化効率を向上させることができる。

したがって、ハードディスクレコーダ１２００は、例えば、ハードディスクに記録する符号化データを生成する際に、量子化された直交変換係数のスキャン順を、画像の特徴に応じて適応的に制御することができ、画像の特徴により適したスキャン順によりスキャンを行うことができ、ゼロランの値を増やし、符号化効率を向上させることができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、本発明を適用した画像符号化装置１００および画像復号装置２００を適用することができる。

＜７．第７の実施の形態＞
［カメラ］
図２１は、本発明を適用した画像符号化装置および画像復号装置を用いるカメラの主な構成例を示すブロック図である。

図２１に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。

レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。

カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。

以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。

デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。

コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。

さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。

記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。

さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。

以上のようなカメラ１３００は、デコーダ１３１５として画像復号装置２００を用いる。つまり、デコーダ１３１５は、画像復号装置２００の場合と同様に、ALシンタックスやdefault_scan_flagに基づいて、画像符号化装置１００において採用されたスキャン順に対応する逆スキャン順を特定することができる。したがって、デコーダ１３１５は、量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化された符号化データを正しく復号することができ、符号化効率を向上させることができる。

したがって、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３から読み出すビデオデータの符号化データや、ネットワークを介して取得するビデオデータの符号化データの量子化された直交変換係数が、画像の特徴に応じて適応的に制御されたスキャン順によりスキャンされて符号化されている場合であっても、その符号化データを正しく復号することができ、符号化効率を向上させることができる。

また、カメラ１３００は、エンコーダ１３４１として画像符号化装置１００を用いる。エンコーダ１３４１は、画像符号化装置１００の場合と同様に、量子化された直交変換係数のスキャン順を、画像の特徴に応じて適応的に制御する。したがって、エンコーダ１３４１は、画像の特徴により適したスキャン順によりスキャンを行うことができ、ゼロランの値を増やし、符号化効率を向上させることができる。

したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に記録する符号化データや、他の装置に提供する符号化データを生成する際に、量子化された直交変換係数のスキャン順を、画像の特徴に応じて適応的に制御することができ、画像の特徴により適したスキャン順によりスキャンを行うことができ、ゼロランの値を増やし、符号化効率を向上させることができる。

なお、コントローラ１３２１が行う復号処理に画像復号装置２００の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に画像符号化装置１００の符号化方法を適用するようにしてもよい。

また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、本発明を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。

本発明は、例えば、MPEG,H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置や画像復号装置に適用することができる。

１００画像符号化装置，１０６可逆符号化部，１２１適応スキャン制御部，１３１マクロブロックシンタックス符号化部，１３２フラグ符号化部，１３３量子化直交変換係数符号化部，１４１非ゼロ係数カウンタ，１４２ソート部，１４３スキャン順バッファ，１４４ IDR判定部，１４５シーンチェンジ検出部，１４６スキャン順決定部，１４７フラグ生成部，２００画像復号装置，２０２可逆復号部，２２１適応逆スキャン制御部，２３１マクロブロックシンタックス復号部，２３２ NALシンタックス復号部，２３３フラグ復号部，２３４量子化直交変換係数復号部，２４１非ゼロ係数カウンタ，２４２ソート部，２４３逆スキャン順バッファ，２４４ IDR判定部，２４５フラグ判定部，２４６逆スキャン順決定部

Claims

符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順を、前記画像の特徴を示す統計値に応じて制御するスキャン順制御手段と、
前記スキャン順制御手段により制御される前記スキャン順で、２次元配列の前記係数データをスキャンし、前記１次元配列に並び替えるスキャン手段と、
前記スキャン手段により前記１次元配列に並び替えられた前記係数データを符号化する符号化手段と
を備える画像処理装置。
前記スキャン順制御手段は、
前記画像を変換して前記係数データを生成する変換処理の処理単位となる前記画像の部分領域内の画素位置毎に、前記係数データの非ゼロ係数の出現頻度を、所定のデータ単位毎に算出する算出手段と、
前記算出手段により算出された前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に、前記スキャン順を更新する更新手段と
を備え、
前記スキャン手段は、前記更新手段により更新されたスキャン順で前記係数データをスキャンする
請求項１に記載の画像処理装置。
前記スキャン順制御手段は、前記スキャン順を、予め定められた所定のスキャン順である初期順、および、前記更新手段により更新されたスキャン順である更新順のいずれか一方に決定する決定手段をさらに備え、
前記スキャン手段は、前記初期順および前記更新順のうち、前記決定手段により決定された方のスキャン順で前記係数データをスキャンする
請求項２に記載の画像処理装置。
前記スキャン順制御手段は、処理対象がIDRピクチャであるか否かを判定する判定手段をさらに備え、
前記決定手段は、前記判定手段により、前記処理対象が前記IDRピクチャであると判定された場合、前記スキャン順を前記初期順に決定し、前記処理対象が前記IDRピクチャでないと判定された場合、前記スキャン順を前記更新順に決定する
請求項３に記載の画像処理装置。
前記スキャン順制御手段は、シーンチェンジを検出する検出手段をさらに備え、
前記決定手段は、前記検出手段により、前記処理対象において前記シーンチェンジが検出された場合、前記スキャン順を前記初期順に決定し、前記処理対象において前記シーンチェンジが検出されなかった場合、前記スキャン順を前記更新順に決定する
請求項３に記載の画像処理装置。
前記スキャン順制御手段は、前記決定手段により前記スキャン順が前記初期順に決定されたか、若しくは、前記更新順に選択されたかを示すフラグ情報を生成する生成手段をさらに備え、
前記符号化手段は、前記生成手段により生成された前記フラグ情報をさらに符号化する
請求項３に記載の画像処理装置。
前記更新手段は、前記スキャン順を、過去に符号化された画像の前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じた順に更新する
請求項３に記載の画像処理装置。
前記更新手段は、単一のピクチャを複数のスライスに分割して処理を行う場合、直前に符号化されたスライスの前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じて前記スキャン順を更新する
請求項３に記載の画像処理装置。
前記更新手段は、単一のピクチャを複数のスライスに分割して処理を行う場合、直前に符号化されたピクチャの、処理対象のスライスと同位置のスライスの前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じて前記スキャン順を更新する
請求項３に記載の画像処理装置。
前記更新手段は、単一のピクチャを複数のスライスに分割し、各スライスの処理を並列に行う場合、直前に符号化されたピクチャの、処理対象のスライスと同位置のスライスの前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じて前記スキャン順を更新する
請求項３に記載の画像処理装置。
前記更新手段は、前記スキャン順を、符号化処理対象の画像の前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に応じた順に更新する
請求項３に記載の画像処理装置。
前記スキャン制御手段は、前記画像を変換して前記係数データを生成する変換処理の処理単位となる前記画像の部分領域の大きさごとに前記スキャン順を制御する
請求項１に記載の画像処理装置。
前記スキャン制御手段は、処理対象の画像のタイプごとに前記スキャン順を制御する
請求項１に記載の画像処理装置。
画像処理装置の画像処理方法であって、
スキャン順制御手段が、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順を、前記画像の特徴を示す統計値に応じて制御し、
スキャン手段が、前記スキャン順で、２次元配列の前記係数データをスキャンし、前記１次元配列に並び替え、
符号化手段が、前記１次元配列に並び替えられた前記係数データを符号化する
画像処理方法。
符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順が前記画像の特徴を示す統計値に応じて制御されて生成された、前記画像の符号化データを復号する復号手段と、
前記復号手段により前記符号化データが復号されて得られた係数データの、前記１次元配列から前記２次元配列に変換する際の逆スキャン順を、前記画像の特徴を示す統計値に応じて制御する逆スキャン順制御手段と、
前記逆スキャン順制御手段により制御される前記逆スキャン順で、１次元配列の前記係数データを逆スキャンし、前記２次元配列に並び替える逆スキャン手段と
を備える画像処理装置。
前記逆スキャン順制御手段は、
前記画像を変換して前記係数データを生成する変換処理の処理単位となる前記画像の部分領域内の画素位置毎に、前記係数データの非ゼロ係数の出現頻度を、所定のデータ単位毎に算出する算出手段と、
前記算出手段により算出された前記部分領域内の画素位置毎の前記非ゼロ係数の出現頻度の順に、前記逆スキャン順を更新する更新手段と
を備え、
前記逆スキャン手段は、前記更新手段により更新された逆スキャン順で前記係数データを逆スキャンする
請求項１５に記載の画像処理装置。
前記逆スキャン順制御手段は、前記逆スキャン順を、予め定められた所定の逆スキャン順である初期順、および、前記更新手段により更新された逆スキャン順である更新順のいずれか一方に決定する決定手段をさらに備え、
前記逆スキャン手段は、前記初期順および前記更新順のうち、前記決定手段により決定された方の逆スキャン順で前記係数データを逆スキャンする
請求項１６に記載の画像処理装置。
前記逆スキャン順制御手段は、処理対象がIDRピクチャであるか否かを判定するIDR判定手段をさらに備え、
前記決定手段は、前記IDR判定手段により、前記処理対象が前記IDRピクチャであると判定された場合、前記逆スキャン順を前記初期順に決定し、前記処理対象が前記IDRピクチャでないと判定された場合、前記逆スキャン順を前記更新順に決定する
請求項１７に記載の画像処理装置。
前記逆スキャン順制御手段は、前記係数データのスキャン順が前記初期順であるか、若しくは、前記更新順であるかを示すフラグ情報の値を判定するフラグ判定手段をさらに備え、
前記決定手段は、前記フラグ判定手段により、前記係数データのスキャン順が前記初期順であると判定された場合、前記逆スキャン順を前記初期順に決定し、前記係数データのスキャン順が前記更新順であると判定された場合、前記逆スキャン順を前記更新順に決定する
請求項１７に記載の画像処理装置。
画像処理装置の画像処理方法であって、
復号手段が、符号化する画像が変換された係数データを２次元配列から１次元配列に変換する際のスキャン順が前記画像の特徴を示す統計値に応じて制御されて生成された、前記画像の符号化データを復号し、
逆スキャン順制御手段が、前記符号化データが復号されて得られた係数データの、前記１次元配列から前記２次元配列に変換する際の逆スキャン順を、前記画像の特徴を示す統計値に応じて制御し、
逆スキャン手段が、前記逆スキャン順で、１次元配列の前記係数データを逆スキャンし、前記２次元配列に並び替える
画像処理方法。