JP2017073809A - 画像処理装置および方法、プログラム、並びに、記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに、記録媒体 Download PDF

Info

Publication number
JP2017073809A
JP2017073809A JP2016229770A JP2016229770A JP2017073809A JP 2017073809 A JP2017073809 A JP 2017073809A JP 2016229770 A JP2016229770 A JP 2016229770A JP 2016229770 A JP2016229770 A JP 2016229770A JP 2017073809 A JP2017073809 A JP 2017073809A
Authority
JP
Japan
Prior art keywords
motion vector
unit
image
prediction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016229770A
Other languages
English (en)
Other versions
JP6268556B2 (ja
Inventor
佐藤　数史
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2017073809A publication Critical patent/JP2017073809A/ja
Application granted granted Critical
Publication of JP6268556B2 publication Critical patent/JP6268556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】より高い符号化効率を達成することができる画像処理装置および方法に関する。
【解決手段】予測動きベクトル生成部７６は、供給された周辺の動きベクトル情報を用いて、複数種類の予測動きベクトル情報を生成し、各予測動きベクトル情報と、その予測動きベクトル情報に対して、コードナンバ割当部７７により割り当てられているコードナンバとを、動き予測・補償部７５に供給する。コードナンバ割当部７７は、どの予測動きベクトル情報に対してどのコードナンバを割り当てたかというコードナンバ割当情報を予測動きベクトル生成部７６および可逆符号化部６６に供給する。本技術は、例えば、H．264/AVC方式をベースに符号化する画像符号化装置に適用することができる。
【選択図】図７

Description

本開示は画像処理装置および方法、プログラム、並びに、記録媒体に関し、特に、より高い符号化効率を達成させることができるようにした画像処理装置および方法、プログラム、並びに、記録媒体に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（MovingPicture Experts Group）などがある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。その後、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
さらに、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
ところで、例えば、MPEG2方式においては、線形内挿処理により１／２画素精度の動き予測・補償処理が行われている。これに対して、H．264/AVC方式においては、内挿フィルタとして、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。
図１は、H．264/AVC方式における１／４画素精度の予測・補償処理を説明する図である。H．264/AVC方式においては、６タップのFIR (Finite ImpulseResponse Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。
図１の例において、位置Ａは、整数精度画素の位置、位置ｂ，ｃ，ｄは、１／２画素精度の位置、位置ｅ1，ｅ2，ｅ3は、１／４画素精度の位置を示している。まず、以下においては、Clip()を次の式（１）のように定義する。
Figure 2017073809
 なお、入力画像が８ビット精度である場合、max_pixの値は255となる。
位置ｂおよびｄにおける画素値は、６タップのFIRフィルタを用いて、次の式（２）のように生成される。
Figure 2017073809
位置ｃにおける画素値は、水平方向および垂直方向に６タップのFIRフィルタを適用し、次の式（３）のように生成される。
Figure 2017073809
 なお、Clip処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に１度のみ実行される。
位置ｅ1乃至ｅ3は、次の式（４）のように線形内挿により生成される。
Figure 2017073809
また、MPEG2方式においては、フレーム動き補償モードの場合には、１６×１６画素、フィールド動き補償モードの場合には、第１フィールド、第２フィールドのそれぞれに対し、１６×８画素を単位として動き予測・補償処理が行われている。
これに対して、H．264/AVC方式の動き予測補償においては、マクロブロックサイズは、１６×１６画素であるが、ブロックサイズを可変にして、動き予測・補償が行われる。
図２は、H．264/AVC方式における動き予測・補償のブロックサイズの例を示す図である。
図２の上段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションに分割された１６×１６画素で構成されるマクロブロックが順に示されている。また、図２の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のサブパーティションに分割された８×８画素のパーティションが順に示されている。
すなわち、H．264/AVC方式においては、１つのマクロブロックを、１６×１６画素、１６×８画素、８×１６画素、あるいは８×８画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８画素のパーティションに関しては、８×８画素、８×４画素、４×８画素、あるいは４×４画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。
また、H．264/AVC方式においては、マルチ参照フレームの予測・補償処理も行われている。
図３は、H．264/AVC方式におけるマルチ参照フレームの予測・補償処理を説明する図である。H．264/AVC方式においては、マルチ参照フレーム(Multi-Reference Frame) の動き予測・補償方式が定められている。
図３の例においては、いまから符号化される対象フレームＦnと、符号化済みのフレームＦn-5,…,Ｆn-1が示されている。フレームＦn-1は、時間軸上、対象フレームＦnの１つ前のフレームであり、フレームＦn-2は、対象フレームＦnの２つ前のフレームであり、フレームＦn-3は、対象フレームＦnの３つ前のフレームである。また、フレームＦn-4は、対象フレームＦnの４つ前のフレームであり、フレームＦn-5は、対象フレームＦnの５つ前のフレームである。一般的には、対象フレームＦnに対して時間軸上に近いフレームほど、小さい参照ピクチャ番号（ref_id）が付加される。すなわち、フレームＦn-1が一番参照ピクチャ番号が小さく、以降、Fn-2,…, Ｆn-5の順に参照ピクチャ番号が小さい。
対象フレームＦnには、ブロックＡ1とブロックＡ2が示されており、ブロックＡ1は、２つ前のフレームＦn-2のブロックＡ1’と相関があるとされて、動きベクトルＶ1が探索されている。また、ブロックＡ2は、４つ前のフレームＦn-4のブロックＡ1’と相関があるとされて、動きベクトルＶ2が探索されている。
以上のように、H．264/AVC方式においては、複数の参照フレームをメモリに格納しておき、１枚のフレーム（ピクチャ）において、異なる参照フレームを参照することが可能である。すなわち、例えば、ブロックＡ1がフレームＦn-2を参照し、ブロックＡ2がフレームＦn-4を参照しているというように、１枚のピクチャにおいて、ブロック毎にそれぞれ独立した参照フレーム情報（参照ピクチャ番号（ref_id））を持つことができる。
ここで、ブロックとは、図２を参照して上述した１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションのいずれかを示す。８×８サブブロック内における参照フレームは同一でなければならない。
以上のように、H．264/AVC方式においては、図１を参照して上述した１／４画素精度の動き予測・補償処理、および図２および図３を参照して上述したような動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成される。この膨大な動きベクトル情報をこのまま符号化することは、符号化効率の低下を招いてしまう。これに対して、H．264/AVC方式においては、図４に示す方法により、動きベクトルの符号化情報の低減が実現されている。
図４は、H．264/AVC方式による動きベクトル情報の生成方法について説明する図である。
図４の例において、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。
すなわち、ブロックＤは、対象ブロックＥの左上に隣接しており、ブロックＢは、対象ブロックＥの上に隣接しており、ブロックＣは、対象ブロックＥの右上に隣接しており、ブロックＡは、対象ブロックＥの左に隣接している。なお、ブロックＡ乃至Ｄが区切られていないのは、それぞれ、図２で上述した１６×１６画素乃至４×４画素のうちのいずれかの構成のブロックであることを表している。
例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報を、mvXで表す。まず、対象ブロックＥに対する予測動きベクトル情報pmvEは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により次の式（５）のように生成される。
pmvE = med(mvA,mvB,mvC) ・・・（５）
ブロックＣに関する動きベクトル情報が、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により、利用可能でない（unavailableである）場合がある。この場合には、ブロックＣに関する動きベクトル情報は、ブロックＤに関する動きベクトル情報で代用される。
対象ブロックＥに対する動きベクトル情報として、圧縮画像のヘッダ部に付加されるデータmvdEは、pmvEを用いて、次の式（６）のように生成される。
mvdE = mvE - pmvE ・・・（６）
なお、実際には、動きベクトル情報の水平方向、垂直方向のそれぞれの成分に対して、独立に処理が行われる。
このように、予測動きベクトル情報を生成し、隣接するブロックとの相関で生成された予測動きベクトル情報と動きベクトル情報との差分を、圧縮画像のヘッダ部に付加することにより、動きベクトル情報が低減されている。
また、Ｂピクチャについての動きベクトル情報における情報量は膨大であるが、H．264/AVC方式においては、ダイレクトモードと呼ばれるモードが用意されている。ダイレクトモードにおいては、動きベクトル情報は、圧縮画像中には格納されない。
すなわち、復号側においては、対象ブロックの周辺の動きベクトル情報、または参照ピクチャにおいて、対象ブロックと座標が同じブロックであるCo-Locatedブロックの動きベクトル情報から、対象ブロックの動きベクトル情報が抽出される。したがって、動きベクトル情報を復号側に送る必要がない。
このダイレクトモードには、空間ダイレクトモード（Spatial Direct Mode）と、時間ダイレクトモード（Temporal Direct Mode）の２種類が存在する。空間ダイレクトモードは、主として空間方向（ピクチャ内の水平、垂直の２次元空間）の動き情報の相関を利用するモードであり、一般的に、同じような動きが含まれる画像で、動きの速度が変化する画像で効果がある。一方、時間ダイレクトモードは、主として時間方向の動き情報の相関を利用するモードであり、一般的に、異なる動きが含まれる画像で、動きの速度が一定の画像で効果がある。
これらの空間ダイレクトモードと時間ダイレクトモードのうち、どちらを用いるかは、スライス毎に切り替えることができる。
再び、図４を参照して、H．264/AVC方式による空間ダイレクトモードについて説明する。図４の例においては、上述したように、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。そして、例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報は、mvXで表わされる。
対象ブロックＥに対する予測動きベクトル情報pmvEは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により上述した式（５）のように生成される。そして、空間ダイレクトモードにおける対象ブロックＥに対する動きベクトル情報mvEは、次の式（７）で表される。
mvE = pmvE ・・・（７）
すなわち、空間ダイレクトモードにおいては、メディアン予測により生成された予測動きベクトル情報が、対象ブロックの動きベクトル情報とされる。すなわち、対象ブロックの動きベクトル情報は、符号化済みブロックの動きベクトル情報で生成される。したがって、空間ダイレクトモードによる動きベクトルは、復号側でも生成することができるので、動きベクトル情報を送る必要がない。
次に、図５を参照して、H．264/AVC方式における時間ダイレクトモードについて説明する。
図５の例においては、時間軸tが時間の経過を表しており、左から順に、Ｌ０(List0)参照ピクチャ、いまから符号化される対象ピクチャ、Ｌ１(List1)参照ピクチャが示されている。なお、Ｌ０参照ピクチャ、対象ピクチャ、Ｌ１参照ピクチャの並びは、H．264/AVC方式においては、この順に限らない。
対象ピクチャの対象ブロックは、例えば、Ｂスライスに含まれている。したがって、対象ピクチャの対象ブロックについては、Ｌ０参照ピクチャとＬ１参照ピクチャに対して、時間ダイレクトモードに基づくＬ０動きベクトル情報mvL0とＬ１動きベクトル情報mvL1が算出される。
また、Ｌ０参照ピクチャにおいて、いまから符号化される対象ブロックと同じ空間上のアドレス（座標）にあるブロックであるCo-Locatedブロックにおける動きベクトル情報mvcolは、Ｌ０参照ピクチャとＬ１参照ピクチャに基づいて算出されている。
ここで、対象ピクチャとＬ０参照ピクチャの時間軸上の距離をTDBとし、Ｌ０参照ピクチャとＬ１参照ピクチャの時間軸上の距離をTDDとする。この場合、対象ピクチャにおけるＬ０動きベクトル情報mvL0と、対象ピクチャにおけるＬ１動きベクトル情報mvL1は、次の式（８）で算出することができる。
Figure 2017073809
なお、H．264/AVC方式においては、圧縮画像中には、対象ピクチャに対する時間軸t上の距離TDB、TDDに相当する情報が存在しない。したがって、距離TDB、TDDの実際の値としては、ピクチャの出力順序を示す情報であるPOC(Picture Order Count)が用いられる。
また、H．264/AVC方式においては、ダイレクトモードは、１６×１６画素マクロブロック、もしくは、８×８画素ブロック単位で定義することが可能である。
ところで、図４を参照して、メディアン予測を用いた動きベクトルの符号化を改善するため、非特許文献１では、以下の方法が提案されている。
すなわち、H．264/AVC方式において定義されている、上述した式（５）により求められる空間予測動きベクトル情報（Spatial Predictor）に加え、図６を参照して説明する時間予測動きベクトル情報（Temporal Predictor）および時空間予測動きベクトル情報（Spatio-Temporal Predictor）のどれかを、予測動きベクトル情報として、適応的に用いるという提案である。
図６の例においては、符号化対象の対象フレームであるフレームＮと、動きベクトルを探索する際に参照される参照フレームであるフレームＮ−１が示されている。
フレームＮにおいて、これから符号化される対象ブロックには、対象ブロックに対する動きベクトル情報mv、既に符号化済みであり、対象ブロックに隣接する各ブロックには、各ブロックに対する動きベクトル情報mva，mvb，mvc，mvdがそれぞれ示されている。
具体的には、対象ブロックの左上に隣接するブロックには、そのブロックに対する動きベクトル情報mvd、対象ブロックの上に隣接するブロックには、そのブロックに対する動きベクトル情報mvbが示されている。対象ブロックの右上に隣接するブロックには、そのブロックに対する動きベクトル情報mvc、対象ブロックの左に隣接するブロックには、そのブロックに対する動きベクトル情報mvaが示されている。
フレームＮ−１において、対象ブロックの対応ブロック（Co-Located block）には、対応ブロックに対する動きベクトル情報mvcolが示されている。ここで、対応ブロックとは、対象フレームとは異なる、符号化済みのフレーム（前または後に位置するフレーム）のブロックであって、対象ブロックに対応する位置のブロックである。
また、フレームＮ−１において、対応ブロックに隣接する各ブロックには、各ブロックに対する動きベクトル情報mvt4，mvt0，mvt7，mvt1，mvt3，mvt5，mvt2，mvt6がそれぞれ示されている。
具体的には、対応ブロックの左上に隣接するブロックには、そのブロックに対する動きベクトル情報mvt4、対応ブロックの上に隣接するブロックには、そのブロックに対する動きベクトル情報mvt0が示されている。対応ブロックの右上に隣接するブロックには、そのブロックに対する動きベクトル情報mvt7、対応ブロックの左に隣接するブロックには、そのブロックに対する動きベクトル情報mvt1が示されている。対応ブロックの右に隣接するブロックには、そのブロックに対する動きベクトル情報mvt3、対応ブロックの左下に隣接するブロックには、そのブロックに対する動きベクトル情報mvt5が示されている。対応ブロックの下に隣接するブロックには、そのブロックに対する動きベクトル情報mvt2、対応ブロックの右下に隣接するブロックには、そのブロックに対する動きベクトル情報mvt6が示されている。
上述した式（５）の予測動きベクトル情報pmvは、対象ブロックに隣接するブロックの動きベクトル情報で生成されたが、それぞれの予測動きベクトル情報pmvtm5，pmvtm9，pmvsptは、次の式（９）および式（１０）のように定義される。なお、このうち、pmvtm5，pmvtm9が時間予測動きベクトル情報であり、pmvsptが時空間予測動きベクトル情報である。
Temporal Predictor:
pmvtm5 = med(mvcol, mvt0,…，mvt3)
pmvtm9 = med(mvcol, mvt0,…，mvt7) ・・・（９）
Spatio-Temporal Predictor:
pmvspt = med(mvcol, mvcol, mva, mvb，mvc) ・・・（１０）
式（５）、式（９）、および式（１０）のうち、どの予測動きベクトル情報を用いるかは、それぞれの予測動きベクトル情報を用いた場合のコスト関数値が算出されて、選択される。そして、復号側には、それぞれのブロックに対し、どの予測動きベクトル情報が用いられたかに関する情報を示すフラグが伝送される。
なお、上述した図や数式は、適宜、本願の説明としても利用される。
"Motion Vector Coding with Optimal PMV Selection",VCEG-AI22,ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6, July 2008
ところで、上述した非特許文献１における提案において、どの予測動きベクトル情報に対して、どのコードナンバを割り当てるかは、固定されたものとなっている。
ここで、H．264/AVC方式においては、CAVLC（Context-Adaptive VariableLength Coding）などの可変長符号化、または、CABAC（Context-Adaptive Binary Arithmetic Coding）などの算術符号化等の可逆符号化処理が定められている。
これらのCAVLC方式およびCABAC方式の場合ともに、より出現頻度の高い予測動きベクトル情報に対して、より小さなコードナンバを割り当てるべきであり、それぞれの予測動きベクトル情報の出現頻度は、シーケンスおよびビットレート毎に異なるはずである。しかしながら、これが固定されたものであるため、符号化効率改善の妨げになってしまう恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、より高い符号化効率を達成することができるものである。
本開示の一側面の画像処理装置は、画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築する予測動きベクトル再構築部と、前記予測動きベクトル再構築部により再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する復号部とを備える画像処理装置である。
前記復号部は、前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分と前記予測動きベクトルとを用いて、前記カレントブロックの動きベクトルを生成することができる。
前記復号部は、前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分に前記予測動きベクトルを加算することにより、前記カレントブロックの動きベクトルを生成することができる。
前記予測動きベクトルに対応するコードナンバの割り当て方を識別する識別データを含むビットストリームから、前記識別データを取得する取得部を更に備え、前記予測動きベクトル再構築部は、前記取得部により取得された前記識別データを用いて、前記カレントブロックの予測動きベクトルを再構築することができる。
前記識別データは、前記ビットストリームのスライスヘッダに含まれており、前記取得部は、前記ビットストリームのスライスヘッダから前記識別データを取得することができる。
本開示の一側面の画像処理方法は、画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築し、再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する画像処理方法である。
前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分と前記予測動きベクトルとを用いて、前記カレントブロックの動きベクトルを生成することができる。
前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分に前記予測動きベクトルを加算することにより、前記カレントブロックの動きベクトルを生成することができる。
前記予測動きベクトルに対応するコードナンバの割り当て方を識別する識別データを含むビットストリームから、前記識別データを取得し、取得された前記識別データを用いて、前記カレントブロックの予測動きベクトルを再構築することができる。
前記識別データは、前記ビットストリームのスライスヘッダに含まれており、前記ビットストリームのスライスヘッダから前記識別データを取得することができる。
本開示の一側面のプログラムは、コンピュータを、画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築する予測動きベクトル再構築部と、前記予測動きベクトル再構築部により再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する復号部として機能させるためのプログラムである。
本開示の一側面の記録媒体は、コンピュータを、画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築する予測動きベクトル再構築部と、前記予測動きベクトル再構築部により再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する復号部として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本開示の一側面においては、画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバが用いられて、そのカレントブロックの予測動きベクトルが再構築され、再構築された予測動きベクトルが用いられて、そのカレントブロックの動きベクトルが生成される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示によれば、符号化効率や主観画質を向上させることができる。また、本開示によれば、より高い符号化効率を達成することができる。
１／４画素精度の動き予測・補償処理を説明する図である。 可変ブロックサイズ動き予測・補償処理を説明する図である。 マルチ参照フレームの動き予測・補償方式について説明する図である。 動きベクトル情報の生成方法の例を説明する図である。 時間ダイレクトモードを説明する図である。 予測動きベクトル情報の生成方法の例を説明する図である。 画像符号化装置の一実施の形態の構成を示すブロック図である。 指数ゴロム符号を説明する図である。 シンタクス要素と符号なしコードナンバの対応関係を説明する図である。 CABAC 符号化を行う可逆符号化部の構成例を表すブロック図である。 CABAC 符号化を説明する図である。 ２値化テーブルを示す図である。 本技術の効果を説明する図である。 スライスヘッダのシンタクスを説明する図である。 図７の動き予測・補償部の構成例を示すブロック図である。 図７の画像符号化装置の符号化処理を説明するフローチャートである。 図１６のステップＳ２１のイントラ予測処理を説明するフローチャートである。 図１６のステップＳ２２のインター動き予測処理を説明するフローチャートである。 図１８のステップＳ５３の予測動きベクトル決定処理を説明するフローチャートである。 画像復号装置の一実施の形態の構成を示すブロック図である。 図２０の動き予測・補償部の構成例を示すブロック図である。 図２０の画像復号装置の復号処理を説明するフローチャートである。 図２２のステップＳ１３８の予測処理を説明するフローチャートである。 画像符号化装置の他の実施の形態の構成を示すブロック図である。 拡張マクロブロックの例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 テレビジョン受像機の主な構成例を示すブロック図である。 携帯電話機の主な構成例を示すブロック図である。 ハードディスクレコーダの主な構成例を示すブロック図である。 カメラの主な構成例を示すブロック図である。 コーディングユニットの構成例を説明する図である。 画像符号化装置の他の構成例を示すブロック図である。 隣接領域の例を説明する図である。 動き予測・補償部および動きベクトル符号化部の主な構成例を示すブロック図である。 インター動き予測処理の流れの例を説明するフローチャートである。 画像復号装置の他の構成例を示すブロック図である。 動き予測・補償部および動きベクトル復号部の主な構成例を示すブロック図である。 予測処理の流れの例を説明するフローチャートである。 インター動き予測処理の流れの例を説明するフローチャートである。
以下、図を参照して本技術の実施の形態について説明する。
［画像符号化装置の構成例］
図７は、画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
この画像符号化装置５１は、例えば、H．264及びMPEG-4 Part10（AdvancedVideo Coding）（以下H．264/AVCと記す）方式をベースに、画像を圧縮符号化する。すなわち、画像符号化装置５１においては、H．264/AVC方式において規定されている動き補償ブロックモードが用いられる。
図７の例において、画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、予測動きベクトル生成部７６、コードナンバ割当部７７、予測画像選択部７８、およびレート制御部７９により構成されている。
Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。
演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７８により選択されたイントラ予測部７４からの予測画像または動き予測・補償部７５からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。
量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。
可逆符号化部６６は、イントラ予測を示す情報をイントラ予測部７４から取得し、インター予測モードを示す情報などを動き予測・補償部７５から取得する。なお、イントラ予測を示す情報およびインター予測を示す情報は、以下、それぞれ、イントラ予測モード情報およびインター予測モード情報とも称する。
可逆符号化部６６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部６６は、符号化したデータを蓄積バッファ６７に供給して蓄積させる。
例えば、可逆符号化部６６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ６７は、可逆符号化部６６から供給されたデータを、H．264/AVC方式で符号化された圧縮画像として、例えば、後段の画像復号装置、図示せぬ記録装置や伝送路などに出力する。
また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部７８から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
スイッチ７３はフレームメモリ７２に蓄積された参照画像を動き予測・補償部７５またはイントラ予測部７４に出力する。
この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部７５に供給される。
イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とフレームメモリ７２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。その際、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。
イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７８に供給する。イントラ予測部７４は、予測画像選択部７８により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
動き予測・補償部７５には、画面並べ替えバッファ６２から読み出されたインター処理する画像と、スイッチ７３を介してフレームメモリ７２から参照画像が供給される。動き予測・補償部７５は、候補となる全てのインター予測モードの動き探索（予測）を行い、探索した動きベクトルを用いて、参照画像に補償処理を施し、予測画像を生成する。
動き予測・補償部７５は、探索した動きベクトルを用いて、候補となる全てのインター予測モードに対してコスト関数値を算出する。その際、動き予測・補償部７５は、予測動きベクトル生成部７６により生成された複数種類の予測動きベクトル情報とそれに割り当てられたコードナンバを用いて、コスト関数値を算出する。
動き予測・補償部７５は、候補となる各インター予測モードの各ブロックにおいて、コスト関数値が最小値を与える予測動きベクトル情報を選択する。さらに、動き予測・補償部７５は、各ブロックについて選択した予測動きベクトル情報での候補となるインター予測モードのコスト関数値を比較することにより、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部７５は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７８に供給する。
動き予測・補償部７５は、予測画像選択部７８により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードを示す情報（インター予測モード情報）を可逆符号化部６６に出力する。
このとき、動きベクトル情報と予測動きベクトル情報の差分である差分動きベクトル情報と、その予測動きベクトル情報に対するコードナンバなども可逆符号化部６６に出力される。可逆符号化部６６は、動き予測・補償部７５からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
予測動きベクトル生成部７６には、動き予測・補償部７５から、対象となるブロックの周辺ブロックで既に求められている動きベクトル情報が供給される。なお、周辺ブロックとは、空間的だけでなく、時空間的に周辺であるブロック、すなわち、対象フレームの時間的に１つ前のフレームにおいて空間的に周辺であるブロックも含む。
予測動きベクトル生成部７６は、供給された周辺の動きベクトル情報を用いて、上述した式（５）、式（９）、および式（１０）などにより、複数種類の予測動きベクトル情報を生成する。そして、予測動きベクトル生成部７６は、各予測動きベクトル情報と、その予測動きベクトル情報に対して、コードナンバ割当部７７により割り当てられているコードナンバとを、動き予測・補償部７５に供給する。
コードナンバ割当部７７は、図示せぬ操作入力部などを介してユーザが設定することにより、あるいは、アプリケーションの設定に応じて、各予測動きベクトル情報に対するコードナンバを割り当てる。そして、コードナンバ割当部７７は、どの予測動きベクトル情報に対してどのコードナンバを割り当てたかという、予測動きベクトル情報とコードナンバの対応関係を示すコードナンバ割当情報を、予測動きベクトル生成部７６および可逆符号化部６６に供給する。また、コードナンバ割当部７７は、予測動きベクトル情報に対してコードナンバの割当の変更可能な可変モードであるか、デフォルトの設定を用いる固定モードであるかを示すフラグ情報を生成し、生成したフラグ情報も可逆符号化部６６に供給する。
予測画像選択部７８は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７８は、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７８は、予測画像の選択情報を、イントラ予測部７４または動き予測・補償部７５に供給する。
レート制御部７９は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［H．264/AVC方式の説明］
まず、画像符号化装置５１においてベースにされているH．264/AVC方式における、従来技術で上述した以外のことについてさらに説明する。
H．264/AVC方式においては、図７で上述したように、可変長符号化として、CAVLCとCABACのどちらかを用いることが可能である。
まず、CAVLC方式について説明する。CAVLCにおいては、直交変換係数の符号化には、周辺ブロックにおける直交変換係数の発生に応じて切り替えられたVLCテーブルが用いられる。その他のシンタクス要素の符号化に関しては、図８に示される指数ゴロム（Exponential Golomb）符号が用いられる。
図８の指数ゴロム符号においては、例えば、コードナンバ(Code Number)0と符号語(Code Words)1が対応しており、コードナンバ1と符号語010が対応しており、コードナンバ2と符号語011が対応している。また、コードナンバ3と符号語00100が対応しており、コードナンバ4と符号語00101が対応しており、コードナンバ5と符号語00110が対応しており、コードナンバ6と符号語00111が対応している。
また、動きベクトルのようなシンタクス要素に関しては、負の値が生じる可能性がある。したがって、負の値が生じる可能性があるシンタクス要素の場合、図９に示される対応関係に基づいて、符号なしのコードナンバに置き換えられた後に、その符号化に、図８の指数ゴロム符号が用いられる。
図９には、コードナンバと、シンタクス要素vの対応関係が示されている。すなわち、この対応関係に基づくことにより、例えば、シンタクス要素v=0が、コードナンバ0に置き換えられ、シンタクス要素v=1が、コードナンバ1に置き換えられ、シンタクス要素v=-1が、コードナンバ2に置き換えられる。また、シンタクス要素v=2が、コードナンバ3に置き換えられ、シンタクス要素v=-2が、コードナンバ4に置き換えられ、シンタクス要素v=3が、コードナンバ5に置き換えられる。
次に、CAVLCによる直交変換係数の符号化処理について説明する。
第１に、1次元化された直交変換係数が、高域から低域に向かってスキャンされる。第２に、この結果得られるNumCoef（０でない係数の個数）と、T1s（高域から低域にスキャンしたときの、±１の係数の個数、最大でも３）の符号化が行われる。その際、周辺部録におけるNumCoefに応じて、VLCテーブルが切り替えられる。
第３に、Level(DCT係数値)の符号化が行われる。例えば、T1sに関しては、正／負のみが符号化される。その他の係数に関しては、コードナンバ（CodeNumber）が割り当てられて符号化される。このとき、イントラ／インター、量子化パラメータQP、および、最後に符号化したLevelに応じてVLCテーブルが切り替えられる。
第４に、Runの符号化が行われる。このとき、TotalZeroの符号化において、NumCoefに応じてVLCテーブルの切り替えが行われる。また、Run_before（非０係数の前に続く０の数）の符号化が逐次行われる。この符号化においては、ZerosLeft（残りの非０係数の数）に応じてVLCテーブルの切り替えが行われる。そして、ZerosLeft=0で、符号化処理は終了となる。
次に、CABAC方式について説明する。
図１０は、CABAC 符号化を行う可逆符号化部の構成例を表している。図１０の例において、可逆符号化部は、コンテクストモデル化部８１、２値化部８２、並びに、確率推定部８３ａおよび符号化エンジン８３ｂからなる適応２値算術符号化部８３により構成されている。
コンテクストモデル化部８１は、圧縮画像における任意のシンタクス要素に関し、まず、過去の履歴に応じて、シンタクス要素のシンボル（記号）を適切なコンテクストモデルに変換する。CABAC 符号化においては、異なるシンタクス要素は、異なるコンテクストにより符号化がなされる。また、同じシンタクス要素であっても、周辺ブロックまたはマクロブロックにおける符号化情報に応じて異なるコンテクストにより符号化がなされる。
例えば、図１１を参照して、フラグmb_skip_flagを例にとって説明するが、他のシンタクス要素に対する処理についても同様である。
図１１の例において、これから符号化される対象マクロブロックＣと、既に符号化済みのブロックであり、対象マクロブロックＣに隣接する隣接マクロブロックＡおよびＢが示されている。それぞれのマクロブロックＸ（Ｘ＝Ａ，Ｂ，Ｃ）に対して、フラグmb_skip_flagが定義されており、次の式（１１）であるとする。
Figure 2017073809
 すなわち、マクロブロックＸが、参照フレームの空間的に対応する位置の画素をそのまま用いるスキップトマクロブロックである場合、f(X)は１とされ、そうでない場合、０とされる。
このとき、対象マクロブロックＣに対するコンテクストContext(C)は、次の式（１２）のように、左の隣接マクロブロックＡのf(A)と上の隣接マクロブロックＢのf(B)の和として算出される。
Context(C) = f(A) + f(B) ・・・（１２）
すなわち、対象マクロブロックＣに対するコンテクストContext(C)は、隣接マクロブロックＡ，Ｂのフラグmb_skip_flagに応じて、0,1,2のいずれかの値をとることになる。つまり、対象マクロブロックＣに対するフラグmb_skip_flagは、0,1,2のいずれかの異なる符号化エンジン８３ｂが用いられて符号化されることになる。
２値化部８２は、例えば、イントラ予測モードのように、シンタクス上、非２値化データである要素のシンボルを、図１２に示されるテーブルに基づいて変換する。
図１２のテーブルにおいては、コードシンボルが0の場合、0に２値化され、コードシンボルが1の場合、10に２値化され、コードシンボルが2の場合、110に２値化されることが示されている。また、コードシンボルが3の場合、1110に２値化され、コードシンボルが4の場合、11110に２値化され、コードシンボルが5の場合、111110に２値化されることが示されている。
以上のような２値化テーブルにより２値化されたシンタクス要素は、後段の適応２値算術符号化部８３により符号化される。
図１０に戻って、適応２値算術符号化部８３においては、２値化されたシンボルに対して、確率推定部８３ａによって確率推定がなされ、符号化エンジン８３ｂによって確率推定に基づく２値算術符号化が施される。その際、“0”,“1”の確率は、スライス先頭で初期化され、1Binの符号化が行われる毎にその確率テーブルが更新される。すなわち、２値算術符号化処理が行われた後、関連するモデルの更新が行われるため、それぞれのモデルは実際の画像圧縮情報の統計に応じた符号化処理を行うことが可能となる。
以上説明したCAVLC方式およびCABAC方式の場合ともに、より出現頻度の高い予測動きベクトル情報に対して、より小さなコードナンバを割り当てるべきであり、それぞれの予測動きベクトル情報の出現頻度は、シーケンスおよびビットレート毎に異なるはずである。しかしながら、非特許文献１に記載の提案においては、各予測動きベクトル情報に対して割り当てられているコードナンバは固定されたものであった。
［本技術の概要］
そこで、図７の画像符号化装置５１においては、ユーザあるいはアプリケーションが、符号化効率または主観画質を最適にするよう、コードナンバ割当部７７を介して、各予測動きベクトルに対するコードナンバの割り当てをデフォルトから変えることが可能である。
すなわち、画像符号化装置５１においては、候補となる複数の予測動きベクトル情報が生成され、さらに、それぞれの予測動きベクトル情報に対するコスト関数値が生成される。そして、その値を最小にする予測動きベクトル情報と、処理対象ブロックに対する予測動きベクトル情報とし、これを用いて符号化が行われるが、その際、コスト関数値の生成および符号化には、コードナンバ割当部７７により各予測動きベクトルに割り当てられたコードナンバが用いられる。
例えば、デフォルトの設定では、コードナンバ＝０が、上述した式（５）の空間予測動きベクトル情報（Spatial Predictor）に割り当てられ、コードナンバ＝１が、上述した式（１０）の時間予測動きベクトル情報（TemporalPredictor）に割り当てられているとする。
一般に、符号化すべきコンテンツが静止画領域を多く含む場合（例えば、テレビジョン会議）など、空間予測動きベクトル情報より、時間予測動きベクトル情報の方が符号化効率または主観画質上好ましい。
しかしながら、特に、低いビットレート（すなわち、高い量子化パラメータQP）の場合、コードナンバ＝０に割り当てられた予測動きベクトル情報の方が、予測動きベクトル情報を表現するために必要とされるビットが少ないため、より選ばれやすくなってしまう。
そこで、画像符号化装置５１においては、各予測動きベクトルに対するコードナンバの割り当てをデフォルトから変更することが可能である。したがって、このような場合に、例えば、コードナンバ＝０を、時間予測動きベクトル情報に割り当て、コードナンバ＝１を、空間予測動きベクトル情報に割り当てるように変更する。これにより、符号化効率または主観画質を改善することができる。
［本技術の効果］
次に、図１３を参照して、本技術による効果について説明する。図１３の例においては、カメラ固定の動画像の参照フレームと、当該フレームが示されている。この動画像においては、楕円形の物体が、画面右方向に向かって速度vで動いているものとする。カメラ固定であるので、楕円形の物体以外の背景は、静止画領域である。
当該フレームにおいては、当該ブロックＸと、当該ブロックＸの左、上、右上にそれぞれ隣接する隣接ブロックＡ，Ｂ，Ｃとが示されており、参照フレームにおいては、当該ブロックＸの対応ブロック（Co-Located block）Ｙが示されている。なお、対応ブロックとは、対象フレームとは異なる、符号化済みのフレーム（前または後に位置するフレーム）のブロックであって、対象ブロックに対応する位置のブロックである。
いま、MVKを、ブロックＫに対する動きベクトル情報であるとし、デフォルトでは、コードナンバ＝０に対して、Median(MVA,MVB,MVC)が割り当てられており、コードナンバ＝１に対して、MVYが割り当てられているとする。
この場合、特に、低いビットレートにおいては、コードナンバを符号化するために要するビットが少ないMedian(MVA,MVB,MVC)が選ばれやすい。
しかしながら、図１３の例においては、ブロックＸ、隣接ブロックＡ、対応ブロックＹは、静止画領域上のブロックであり、隣接ブロックＢ，Ｃは、楕円形の物体上のブロックである。したがって、隣接ブロックのメディアン予測についてみてみると、次の式（１３）となり、明らかに符号化効率がよくない。
Median(MVA,MVB,MVC) ＝ Median(v,v,0) ＝ v ・・・（１３）
一方、対応ブロックＹについてみてみると、次の式（１４）ともなり、MVYに対して、コードナンバ＝０を割り当てて、選択されやすくした方が、より高い符号化効率を実現することが可能となる。
MVY = 0 ・・・（１４）
なお、本開示においては、例えば、スライス単位で、各予測動きベクトル情報に対するコードナンバの割当が行われる。
すなわち、スライスヘッダに、まず、mv_predictor_definition_flagを符号化する。mv_predictor_definition_flagは、デフォルトのコードナンバを割り当てる固定モードであるか、割当が変更可能な（すなわち、変更された）コードナンバを割り当てる可変モードであるかを示すフラグ情報である。なお、フラグ情報は、変更可能な可変モードまたは固定モードであることを示す情報、すなわち、可変モードであるか固定モードであるかを識別可能な情報であればよい。
mv_predictor_definition_flag ＝０の場合、デフォルトで定義された各予測動きベクトル情報に対するコードナンバの割当が適用される。mv_predictor_definition_flag ＝１の場合、コードナンバ割当部７７により割当られた各予測動きベクトル情報に対するコードナンバの割当が適用されることになる。したがって、この場合、mv_predictor_definition_flag ＝１に続いて、スライスヘッダのシンタクス上で、コードナンバ割当部７７による各予測動きベクトル情報に対するコードナンバの割当が記述される。
具体的には、mv_predictor_definition_flag ＝１の場合、スライスヘッダには、図１４に示すようなシンタクス要素が挿入されることになる。
図１４の例においては、mv_predictor_definition_flag ＝１の記述の後に、コードナンバ０（code_number_for_predictor_0;）と、コードナンバ１（code_number_for_predictor_1;）にどの予測動きベクトル情報が割り当てられるかを記述するスペースが設けられている。
なお、本開示におけるコードナンバ割当に関するシンタクスへの記述は、図１４の例に限らない。シーケンスパラメータセットまたはピクチャパラメータセットにおいて、コードナンバの割当に関するシンタクスを持たせる。そして、スライスヘッダにおいて、mv_predictor_definition_flag ＝０の場合、直前に存在するシーケンスパラメータセットまたはピクチャパラメータセットにおいて定義された割当があれば、それを用いるようにしてもよい。もちろん、シーケンスパラメータセットまたはピクチャパラメータセットにだけ持たせるようにしてもよい。
以上のように、コードナンバの割当を変更可能にすることにより、例えば、背景などの静止領域を動物体が通り過ぎる場合、より小さなコードナンバを、時間予測動きベクトル情報（Temporal Predictor）に割り当てることができる。これにより、静止領域が動物体の動きに影響を受けて画像劣化するのを回避し、符号化効率および主観画質を向上させることが可能となる。
したがって、より高い符号化効率を達成することができる。
なお、上記説明においては、具体的な例として、例えば、背景などの静止領域を動物体が通り過ぎる場合の割当の例を説明したが、その例に限らず、例えば、出現頻度（割合）が多い予測動きベクトル情報に対して、より小さなコードナンバを割り当てることによっても、符号化効率および主観画質を向上させることができる。
また、符号化効率または主観画質がよくなるように、予測動きベクトル情報に対するコードナンバの割当を、ユーザやアプリケーションが設定することも可能である。
以下、さらに具体的に説明していく。
［動き予測・補償部の構成例］
図１５は、動き予測・補償部７５の詳細な構成例を示すブロック図である。なお、図１５においては、図７のスイッチ７３が省略されている。
図１５の例において、動き予測・補償部７５は、動き探索部９１、コスト関数算出部９２、最適予測動きベクトル選択部９３、モード判定部９４、動き補償部９５、および動きベクトルバッファ９６により構成されている。なお、画面並べ替えバッファ６２からの入力画像画素値は、動き探索部９１への入力しか図示されていないが、実際には、コスト関数値を算出するコスト関数算出部９２および動き補償部９５にも入力される。
動き探索部９１には、画面並べ替えバッファ６２からの入力画像画素値と、フレームメモリ７２からの参照画像画素値が入力される。動き探索部９１は、図２に示されたすべてのインター予測モードの動き探索処理を行い、探索した動きベクトル情報を用いて、参照画像に補償処理を行い、予測画像を生成する。動き探索部９１は、各インター予測モードについて探索された動きベクトル情報と、生成した予測画像とをコスト関数算出部９２に供給する。
コスト関数算出部９２には、画面並べ替えバッファ６２からの入力画像画素値、動き探索部９１からの各インター予測モードの動きベクトル情報と予測画像、および、予測動きベクトル生成部７６からの各予測動きベクトル情報と、それに対してそれぞれ割り付けられたコードナンバが供給される。コスト関数算出部９２は、動きベクトル情報と各予測動きベクトル情報を差分することで、差分動きベクトル情報を算出する。
そして、コスト関数算出部９２は、差分動きベクトル情報、予測動きベクトル情報に対して割り付けられたコードナンバ、および予測画像など、供給された情報を用いて、各インター予測モードに対する各ブロックのそれぞれで、各予測動きベクトルに対するコスト関数値を算出する。コスト関数算出部９２は、各インター予測モードに対する予測画像、差分動きベクトル情報、予測動きベクトル情報、それに対するコードナンバとコスト関数値を、最適予測動きベクトル選択部９３に供給する。
最適予測動きベクトル選択部９３は、各予測モードに対する各ブロックのそれぞれに対して、コスト関数値に基づき、最適な予測動きベクトル情報を選択する。これにより選択された最適予測動きベクトル情報は、各インター予測モードに対する予測画像、コスト関数値、差分動きベクトル情報、最適予測動きベクトル情報とそれに対して割り付けられたコードナンバとともに、モード判定部９４に供給される。
モード判定部９４は、各インター予測モードのうち、どのモードを用いるのが最適かを、各インター予測モードに対するコスト関数値を用いて判定し、最も小さいコスト関数値のインター予測モードを、最適予測モードとする。そして、モード判定部９４は、最適予測モード、およびそれに関する差分動きベクトル情報、最適予測動きベクトル情報とそれに対して割り付けられたコードナンバとともに、動き補償部９５に供給する。
動き補償部９５は、差分動きベクトル情報と最適予測動きベクトル情報から、動きベクトルを求め、求めた動きベクトルを用いて、フレームメモリ７２からの参照画像に補償を行うことで、最適予測モードの予測画像を生成する。また、動き補償部９５には、画面並べ替えバッファ６２からの入力画像画素値も供給され、動き補償部９５は、供給される情報から、最適予測モードのコスト関数値を再度求め、最適予測モードの予測画像とコスト関数値を、予測画像選択部７８に出力する。
予測画像選択部７８により最適インターモードの予測画像が選択された場合には、それを示す信号が予測画像選択部７８から供給される。これに対応して、動き補償部９５は、最適インターモード情報、そのモードの差分動きベクトル情報、および予測動きベクトル情報に対するコードナンバを、可逆符号化部６６に供給する。また、このとき、動き補償部９５は、差分動きベクトル情報と最適予測動きベクトル情報から求めた動きベクトル情報を、動きベクトルバッファ９６に格納する。なお、予測画像選択部７８により最適インターモードの予測画像が選択されなかった場合（すなわち、イントラ予測画像が選択された場合）には、動きベクトル情報として、０ベクトルが、動きベクトルバッファ９６に格納される。
動きベクトルバッファ９６には、最適予測モードの各ブロックの動きベクトル情報が格納されている。格納されている動きベクトル情報は、次のブロックにおける予測動きベクトル情報を生成するために、周辺ブロックの周辺動きベクトル情報として、予測動きベクトル生成部７６に供給される。
予測動きベクトル生成部７６は、動きベクトルバッファ９６から供給される対象ブロックに時空間に隣接するブロックの周辺動きベクトル情報を用いて、非特許文献１に記載のように、候補となる複数の予測動きベクトル情報の生成を行う。ただし、非特許文献１との違いは、各予測動きベクトル情報に対するコードナンバが、コードナンバ割当部７７により割り当てられたものであるという点である。
すなわち、予測動きベクトル生成部７６においては、当該ブロックに対して、上述した式（５）により空間予測動きベクトル情報（Spatial Predictor）が生成され、上述した式（９）により時間予測動きベクトル情報（Temporal Predictor）が生成される。また、当該ブロックに対して、式（１０）により時空間予測動きベクトル（Spatio-Temporal Predictor）が生成される。そして、生成された候補となる各予測動きベクトル情報と、それらに対してそれぞれ割り付けられたコードナンバがコスト関数算出部９２に供給される。
また、符号化処理を行うに先立ち、どの予測動きベクトル情報に対してどのコードナンバが割り当てられるのかに関する情報が、例えば、ユーザによる図示せぬ操作入力部の操作に応じて、コードナンバ割当部７７に入力される。コードナンバ割当部７７は、入力される情報に応じて、予測動きベクトル情報に対してコードナンバの割り当てを設定し、また、コードナンバ割当の可変モードであることを示すフラグ情報を生成する。
コードナンバ割当部７７は、コードナンバ割当の情報を、予測動きベクトル生成部７６に供給する。また、コードナンバ割当部７７は、生成したフラグ情報とコードナンバ割当の情報を、可逆符号化部６６に送る。可逆符号化部６６では、スライスヘッダにおいて、それらの情報の符号化処理が行われる。
［画像符号化装置の符号化処理の説明］
次に、図１６のフローチャートを参照して、図７の画像符号化装置５１の符号化処理について説明する。
ステップＳ１１において、A/D変換部６１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ６２は、A/D変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７５から、イントラ予測する場合はイントラ予測部７４から、それぞれ予測画像選択部７８を介して演算部６３に供給される。
差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２６の処理で説明されるように、レートが制御される。
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。
ステップＳ１８において、演算部７０は、予測画像選択部７８を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。
画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。
これらの画像に基づいて、ステップＳ２１において、イントラ予測部７４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
ステップＳ２１におけるイントラ予測処理の詳細は、図１７を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７８に供給される。
画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３を介して動き予測・補償部７５に供給される。これらの画像に基づいて、ステップＳ２２において、動き予測・補償部７５は、インター動き予測処理を行う。
ステップＳ２２におけるインター動き予測処理の詳細は、図１８を参照して後述する。この処理により、候補となる全てのインター予測モードで動き探索処理が行われ、候補となる全ての予測動きベクトル情報が生成され、全てのインター予測モードの各ブロックにおいて、各予測動きベクトル情報に対してコスト関数が算出され、最適な予測動きベクトル情報が選択される。さらに、すべてのインター予測モードに対してのコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部７８に供給される。
このとき、例えば、スライス毎に、各予測動きベクトル情報に対してコードナンバが割り当てられ、コードナンバの割り当て情報は、動き予測・補償部７５と可逆符号化部６６に供給される。したがって、動き予測・補償部７５においては、割り当てられたコードナンバが用いられて、コスト関数値などが算出される。また、コードナンバ割当部７７においては、さらに、予測動きベクトル情報に対してコードナンバの割当の変更可能な可変モードであるか否かを示すフラグ情報も生成されて、可逆符号化部６６に供給される。
ステップＳ２３において、予測画像選択部７８は、イントラ予測部７４および動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部７８は、決定した最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。
なお、この予測画像の選択情報は、イントラ予測部７４または動き予測・補償部７５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部６６に供給する。
最適インター予測モードの予測画像が選択された場合、動き予測・補償部７５は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部６６に出力する。最適インター予測モードに応じた情報としては、ブロック毎の動きベクトル情報と予測動きベクトル情報との差分動きベクトル情報や、各ブロックの予測動きベクトル情報に対して割り当てられたコードナンバなどの情報などがあげられる。なお、このとき、動き予測・補償部７５の動き補償部９５は、差分動きベクトル情報と最適予測動きベクトル情報から求めた動きベクトル情報を、動きベクトルバッファ９６に格納する。
ステップＳ２４において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２１において可逆符号化部６６に入力された、イントラ予測部７４からのイントラ予測モード情報、または、ステップＳ２２において、動き予測・補償部７５からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。また、コードナンバ割当部７７からのフラグ情報と、コードナンバ割当情報もヘッダ情報に付加される。
例えば、インター予測モードを示す情報は、マクロブロック毎に符号化される。差分動きベクトル情報や予測動きベクトル情報に対するコードナンバは、対象となるブロック毎に符号化される。さらに、コードナンバ割当部７７からのフラグ情報と、コードナンバ割当情報は、スライス毎に符号化される。
ステップＳ２５において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ２６においてレート制御部７９は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［イントラ予測処理の説明］
次に、図１７のフローチャートを参照して、図１６のステップＳ２１におけるイントラ予測処理を説明する。なお、図１７の例においては、輝度信号の場合を例として説明する。
イントラ予測部７４は、ステップＳ４１において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。
輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。
具体的には、イントラ予測部７４は、処理対象のブロックの画素を、フレームメモリ７２から読み出され、スイッチ７３を介して供給される復号済みの画像を参照して、イントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
イントラ予測部７４は、ステップＳ４２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値を求めるためのコスト関数としては、次のように、H．264/AVC方式において採用されているコスト関数が用いられる。
H．264/AVC方式においては、例えば、JMにおいて定められているHigh Complexity Modeと、Low Complexity Modeの２通りのモード判定方法を選択する方法が用いられている。この方法の場合、どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
High Complexity Modeにおけるコスト関数値は、以下の式（１５）のように求めることができる。
Cost（Mode∈Ω）＝Ｄ＋λ×Ｒ ・・・（１５）
式（１５）において、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合である。また、Ｄは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。さらに、λは、量子化パラメータの関数として与えられるLagrange未定乗数である。また、Ｒは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
つまり、High Complexity Modeでの符号化を行なうには、上記パラメータＤ及びＲを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
これに対してLow Complexity Modeにおけるコスト関数値は、以下の式（１６）のように求めることができる。
Cost（Mode∈Ω）＝Ｄ＋QP2Quant（QP）×HeaderBit ・・・（１６）
となる。式（１６）において、Ｄは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。また、QP2Quant（QP）は、量子化パラメータQPの関数として与えられる。さらに、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
イントラ予測部７４は、ステップＳ４３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ４２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。
イントラ予測部７４は、ステップＳ４４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ４２において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部７８に供給する。
［インター動き予測処理の説明］
次に、図１８のフローチャートを参照して、図１６のステップＳ２２のインター動き予測処理について説明する。
動き探索部９１は、ステップＳ５１において、上述した図２の１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。
そして、動き探索部９１は、ステップＳ５２において、各インター予測モードについて、決定した動きベクトルに基づいて参照画像に補償処理を行い、予測画像を生成する。動き探索部９１は、各インター予測モードについて探索された動きベクトル情報と、生成した予測画像とをコスト関数算出部９２に供給する。
ステップＳ５３において、予測動きベクトル生成部７６とコスト関数算出部９２は、予測動きベクトル決定処理を行う。この予測動きベクトル決定処理の詳細は、図１９を参照して後述される。
ステップＳ５３の処理により、複数種類の予測動きベクトル情報が生成される。そして、生成された予測動きベクトル情報とそれに対してそれぞれ割り当てられたコードナンバが用いられて、各インター予測モードにおける各ブロックについて、各予測動きベクトルに対するコスト関数値が算出されて、最適な予測動きベクトル情報が選択される。
これにより選択された最適予測動きベクトル情報は、各インター予測モードに対する予測画像、コスト関数値、差分動きベクトル情報、最適予測動きベクトル情報とそれに対して割り付けられたコードナンバとともに、モード判定部９４に供給される。
モード判定部９４は、ステップＳ５４において、最適インター予測モードを決定する。すなわち、モード判定部９４は、各インター予測モードの全ブロックの最適予測動きベクトルに対するコスト関数値を足し合わせて、候補の全インター予測モードのコスト関数値を比較し、最小のコスト関数値のインター予測モードを、最適インター予測モードとして決定する。最適予測モードは、それに関する差分動きベクトル情報、最適予測動きベクトル情報と、最適予測動きベクトルに対して割り付けられたコードナンバとともに、動き補償部９５に供給される。
動き補償部９５は、ステップＳ５５において、最適インター予測モードの動きベクトルに基づいて、フレームメモリ７２からの参照画像に補償処理を行い、予測画像を生成する。また、動き補償部９５は、供給される情報から、最適予測モードのコスト関数値を再度求め、最適予測モードの予測画像とコスト関数値を、予測画像選択部７８に出力する。
［予測動きベクトル決定処理の説明］
次に、図１９のフローチャートを参照して、図１８のステップＳ５３の予測動きベクトル決定処理を説明する。なお、以下のステップＳ７１乃至Ｓ７４は、例えば、スライス毎に行われる処理であり、ステップＳ７５乃至Ｓ７７は、ブロック毎に行われる処理である。
ステップＳ７１において、コードナンバ割当部７７は、ユーザにより予測動きベクトル情報に対するコードナンバ割当が定義されているか否かを判定する。例えば、図示せぬ操作入力部から、どの予測動きベクトル情報に対してどのコードナンバが割り当てられるのかに関する情報が入力されており、それがデフォルトの情報ではない場合、ステップＳ７１において、ユーザにより予測動きベクトル情報に対するコードナンバ割当が定義されていると判定され、処理は、ステップＳ７２に進む。
コードナンバ割当部７７は、ステップＳ７２において、mv_predictor_definition_flag ＝１とし、そのフラグ情報を、可逆符号化部６６に供給する。そして、コードナンバ割当部７７は、ステップＳ７３において、入力されているどの予測動きベクトル情報に対してどのコードナンバが割り当てられるのかに関する情報に基づいて、予測動きベクトル情報に対するコードナンバの割り当てを決定する。決定されたコードナンバ割当情報は、可逆符号化部６６と、予測動きベクトル生成部７６に供給される。
一方、例えば、図示せぬ操作入力部から、どの予測動きベクトル情報に対してどのコードナンバが割り当てられるのかに関する情報が入力されており、それがデフォルトの情報である場合、ステップＳ７１において、ユーザにより予測動きベクトル情報に対するコードナンバ割当が定義されていないと判定され、処理は、ステップＳ７４に進む。
コードナンバ割当部７７は、ステップＳ７４において、mv_predictor_definition_flag ＝０とし、そのフラグ情報を、可逆符号化部６６に供給する。そして、この場合、予測動きベクトル生成部７６には、デフォルトのコードナンバ割当情報が供給される。
ステップＳ７５において、予測動きベクトル生成部７６は、当該ブロックに対して、動きベクトルバッファ９６からの時空間における周辺ブロックの周辺動きベクトル情報を用いて、候補となる全ての予測動きベクトル情報を生成する。そして、予測動きベクトル生成部７６は、生成した複数の予測動きベクトル情報とともに、それらに対してそれぞれ割り当てられているコードナンバを、コスト関数算出部９２に供給する。
ステップＳ７６において、コスト関数算出部９２は、供給された情報を用いて、上述した式（１５）または式（１６）により、各インター予測モードにおいて、各ブロックのそれぞれで、各予測動きベクトルに対するコスト関数値を算出する。コスト関数算出部９２は、差分動きベクトル情報、予測動きベクトル情報に対して割り付けられたコードナンバ、および予測画像など、供給された情報を用いて、各インター予測モードに対する各ブロックのそれぞれで、各予測動きベクトル情報に対するコスト関数値を算出する。
ステップＳ７７において、最適予測動きベクトル選択部９３は、各予測モードに対する各ブロックのそれぞれに対して、コスト関数値に基づいて、最適な予測動きベクトル情報を選択する。これにより選択された最適予測動きベクトル情報は、各インター予測モードに対する予測画像、コスト関数値、差分動きベクトル情報、最適予測動きベクトル情報とそれに対して割り付けられたコードナンバとともに、モード判定部９４に供給される。
以上のように、コードナンバの割当が変更可能になったので、予測動きベクトル情報に対するコードナンバの割当を、例えば、符号化効率および主観画質がよくなるように、変更することができる。
例えば、出現頻度（割合）が多い予測動きベクトル情報に対して、より小さなコードナンバを割り当てるなど行うことができるので、符号化効率および主観画質を向上させることができる。
符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。
［画像復号装置の構成例］
図２０は、画像処理装置としての画像復号装置の一実施の形態の構成を表している。
画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、コードナンバ割当バッファ１２３、予測動きベクトル生成部１２４、およびスイッチ１２５により構成されている。
蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図７の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１１３は可逆復号部１１２により復号された画像を、図７の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１１４は、図７の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３の出力を逆直交変換する。
逆直交変換された出力は演算部１１５によりスイッチ１２５から供給される予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去した後、フレームメモリ１１９に供給し、蓄積させるとともに、画面並べ替えバッファ１１７に出力する。
画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図７の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
スイッチ１２０は、インター処理される画像と参照される画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。
イントラ予測部１２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部１１２から供給される。イントラ予測部１２１は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ１２５に出力する。
動き予測・補償部１２２には、ヘッダ情報を復号して得られた情報のうち、インター予測モード情報、差分動きベクトル情報、予測動きベクトル情報に対するコードナンバ、参照フレーム情報などが可逆復号部１１２から供給される。インター予測モード情報は、マクロブロック毎に送信されてくる。動きベクトル情報、予測動きベクトル情報に対するコードナンバや参照フレーム情報は、対象ブロック毎に送信されてくる。
動き予測・補償部１２２は、可逆復号部１１２から供給される予測動きベクトル情報のコードナンバを、予測動きベクトル生成部１２４に供給し、それに対応して予測動きベクトル生成部１２４により生成される予測動きベクトル情報を得る。動き予測・補償部１２２は、可逆復号部１１２から供給される差分動きベクトル情報と、予測動きベクトル生成部１２４からの予測動きベクトル情報を用いて、対象ブロックの動きベクトル情報を生成する。動き予測・補償部１２２は、生成した動きベクトル情報を用いて、フレームメモリ１１９からの参照画像に補償処理を行い、可逆復号部１１２から供給されるインター予測モード情報が示す予測モードで、対象ブロックに対する予測画像の画素値を生成する。
コードナンバ割当バッファ１２３は、デフォルト（固定モードの場合）の予測動きベクトル情報とコードナンバとの対応関係を示す情報であるコードナンバ割当情報を蓄積する。また、コードナンバ割当バッファ１２３は、可逆復号部１１２からスライス毎に予測動きベクトル情報に対してコードナンバの割当の変更可能な可変モードであるか、デフォルトの設定を用いる固定モードであるかを示すフラグ情報を受け取る。このフラグ情報が可変モードを示す場合、コードナンバ割当バッファ１２３は、フラグ情報とともに、予測動きベクトル情報に対するコードナンバ割当、すなわち、予測動きベクトル情報とコードナンバとの対応付けの情報も受け取る。そして、コードナンバ割当バッファ１２３は、その可変モードの場合の予測動きベクトル情報とコードナンバとの対応関係を示すコードナンバ割当情報を蓄積し、予測動きベクトル生成部１２４に供給する。
予測動きベクトル生成部１２４には、ブロック毎に、動き予測・補償部１２２から各ブロックの予測動きベクトル情報に対するコードナンバと、時空間的に周辺ブロックの動きベクトル情報が供給される。また、予測動きベクトル生成部１２４には、コードナンバ割当バッファ１２３からの、スライス毎に、デフォルト、あるいは、符号化側で設定されたコードナンバ割当が供給される。
予測動きベクトル生成部１２４は、供給される情報を用いて、上述した式（５）、式（９）、および式（１０）のうちの対応する式により、各ブロックの予測動きベクトル情報を生成し、生成した予測動きベクトル情報を、動き予測・補償部１２２に供給する。
スイッチ１２５は、動き予測・補償部１２２またはイントラ予測部１２１により生成された予測画像を選択し、演算部１１５に供給する。
なお、図７の動き予測・補償部７５および予測動きベクトル生成部７６においては、全ての候補モードに対して予測画像の生成、複数の候補予測動きベクトル情報の生成、およびコスト関数値の算出を行い、予測動きベクトル情報の選択およびモード判定を行う必要がある。
これに対して、図２０の動き予測・補償部１２２および予測動きベクトル生成部１２４においては、圧縮画像のヘッダから当該ブロックに対するモード情報、予測動きベクトル情報に対するコードナンバ、および差分動きベクトル情報を受信して、これを用いた動き補償処理のみが行われる。なお、このとき、スライス毎に送られてくる予測動きベクトル情報に対するコードナンバ割当の可変モードまたは固定モードを示すフラグ情報と、予測動きベクトル情報に対するコードナンバ割当情報が利用されて、予測動きベクトル情報が生成されて、それも、動き補償処理に用いられる。
［動き予測・補償部の構成例］
図２１は、動き予測・補償部１２２の詳細な構成例を示すブロック図である。なお、図１７においては、図２０のスイッチ１２０が省略されている。
図２１の例においては、動き予測・補償部１２２は、差分ベクトルバッファ１３１、ブロックレベルコードナンババッファ１３２、動きベクトル生成部１３３、動きベクトルバッファ１３４、および動き補償部１３５により構成される。
差分ベクトルバッファ１３１には、可逆復号部１１２からブロック毎の差分動きベクトル情報が供給される。差分ベクトルバッファ１３１は、供給される差分動きベクトル情報を蓄積し、それを、動きベクトル生成部１３３に供給する。
ブロックレベルコードナンババッファ１３２には、可逆復号部１１２から各ブロックに対して、どの予測動きベクトル情報を用いているかを指し示す情報であるコードナンバが供給される。ブロックレベルコードナンババッファ１３２は、各ブロックの予測動きベクトル情報のコードナンバを蓄積し、予測動きベクトル生成部１２４に供給する。
動きベクトル生成部１３３には、差分ベクトルバッファ１３１からの各ブロックの差分動きベクトル情報、予測動きベクトル生成部１２４により生成された各ブロックの予測動きベクトル情報が供給される。動きベクトル生成部１３３は、対象ブロックの差分動きベクトル情報に、対象ブロックの予測動きベクトル情報を加算して、対象ブロックの動きベクトル情報を生成する。動きベクトル生成部１３３は、生成した動きベクトル情報を、動きベクトルバッファ１３４および動き補償部１３５に供給する。
動きベクトルバッファ１３４は、動きベクトル生成部１３３からの各ブロックの動きベクトル情報を、次のブロックの予測動きベクトル情報の生成のための周辺動きベクトル情報として格納する。そして、格納された周辺動きベクトル情報は、予測動きベクトル生成部１２４に供給される。
動き補償部１３５は、予測モード情報が示す予測モードで、動きベクトル生成部１３３からの動きベクトル情報を用いて、フレームメモリ１１９からの参照画像に補償処理を施し、予測画像を生成する。
［画像復号装置の復号処理の説明］
次に、図２２のフローチャートを参照して、画像復号装置１０１が実行する復号処理について説明する。
ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１１２は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図７の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、差分動きベクトル情報、参照フレーム情報、予測動きベクトル情報に対するコードナンバ割当のフラグ情報（mv_predictor_definition_flag）と、あればそれらの対応関係を示すコードナンバ割当情報、および予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）なども復号される。
すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部１２１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する差分動きベクトル情報および参照フレーム情報は、動き予測・補償部１２２に供給される。また、予測動きベクトル情報に対するコードナンバ割当のフラグ情報と、あればその割当情報は、スライス毎にコードナンバ割当バッファ１２３に供給される。
ステップＳ１３３において、逆量子化部１１３は可逆復号部１１２により復号された変換係数を、図７の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１１４は逆量子化部１１３により逆量子化された変換係数を、図７の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図７の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。
ステップＳ１３５において、演算部１１５は、後述するステップＳ１３９の処理で選択され、スイッチ１２５を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。
ステップＳ１３８において、イントラ予測部１２１または動き予測・補償部１２２は、可逆復号部１１２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
すなわち、可逆復号部１１２からイントラ予測モード情報が供給された場合、イントラ予測部１２１は、イントラ予測モードのイントラ予測処理を行う。可逆復号部１１２からインター予測モード情報が供給された場合、動き予測・補償部１２２は、インター予測モードの動き予測・補償処理を行う。その際、予測動きベクトル情報に対するコードナンバ割当のフラグ情報に応じたコードナンバ割当情報が用いられて、予測動きベクトル情報が生成され、それと差分動きベクトル情報により、動きベクトル情報が生成される。そして、生成された動きベクトル情報が用いられて、参照画像に対して補償処理が行われることにより、インター予測モードの予測画像が生成される。
ステップＳ１３８における予測処理の詳細は、図２３を参照して後述するが、この処理により、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像がスイッチ１２５に供給される。
ステップＳ１３９において、スイッチ１２５は予測画像を選択する。すなわち、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３５において逆直交変換部１１４の出力と加算される。
ステップＳ１４０において、画面並べ替えバッファ１１７は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ１４１において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
［画像復号装置の予測処理の説明］
次に、図２３のフローチャートを参照して、図２２のステップＳ１３８の予測処理を説明する。
コードナンバ割当バッファ１２３は、ステップＳ１７１において、可逆復号部１１２からのスライスヘッダにおけるmv_predictor_definition_flagを受信する。そして、コードナンバ割当バッファ１２３は、ステップＳ１７２において、そのmv_predictor_definition_flagが１を示すか否かを判定する。
ステップＳ１７２において、mv_predictor_definition_flagが１を示すと判定された場合、予測動きベクトル情報に対するコード割当の可変モードである。したがって、コードナンバ割当バッファ１２３は、ステップＳ１７３において、可逆復号部１１２からのスライスヘッダにおける予測動きベクトル情報に対するコードナンバ割当情報を受信し、一旦蓄積する。そして、コードナンバ割当バッファ１２３は、蓄積したコードナンバ割当を、予測動きベクトル生成部１２４に供給する。
また、ステップＳ１７２において、mv_predictor_definition_flagが０を示すと判定された場合、予測動きベクトル情報に対するコード割当の固定モードであるので、ステップＳ１７３はスキップされる。この場合、コードナンバ割当バッファ１２３は、蓄積されているデフォルトのコードナンバ割当情報を、予測動きベクトル生成部１２４に供給する。
イントラ予測部１２１は、ステップＳ１７４において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１１２からイントラ予測モード情報がイントラ予測部１２１に供給されると、イントラ予測部１２１は、ステップＳ１７４において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７５に進む。
イントラ予測部１２１は、ステップＳ１７５において、イントラ予測モード情報を取得し、ステップＳ１７６において、イントラ予測を行う。
すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介してイントラ予測部１２１に供給される。ステップＳ１７６において、イントラ予測部１２１は、ステップＳ１７５で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成した予測画像は、スイッチ１２５に出力される。
一方、ステップＳ１７４において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７７に進む。
処理対象の画像がインター処理される画像である場合、可逆復号部１１２からマクロブロック毎のインター予測モード情報、並びに、ブロック毎の参照フレーム情報、差分動きベクトル情報、および予測動きベクトル情報に対するコードナンバが動き予測・補償部１２２に供給される。
ステップＳ１７８において、動き予測・補償部１２２は、インター予測モード情報、参照フレーム情報、差分動きベクトル情報、予測動きベクトル情報に対するコードナンバを取得する。取得された差分動きベクトル情報は、差分ベクトルバッファ１３１に蓄積される。予測動きベクトル情報に対するコードナンバは、ブロックレベルコードナンババッファ１３２に蓄積される。インター予測モード情報、参照フレーム情報は、図２１の例では図示されないが、動きベクトル生成部１３３に供給される。
ステップＳ１７８において、動きベクトル生成部１３３および予測動きベクトル生成部１２４は、動きベクトル情報の再構築を行う。すなわち、予測動きベクトル生成部１２４は、コードナンバ割当バッファ１２３からのコードナンバ割当情報とブロックレベルコードナンババッファ１３２から各ブロックの予測動きベクトル情報に割り当てられているコードナンバに基づいて、予測動きベクトル情報の種類を求める。そして、予測動きベクトル生成部１２４は、上述した式（５）、式（９）、および式（１９）のうちの対応する式により、動きベクトルバッファ１３４からの周辺動きベクトル情報を用いて、各ブロックの予測動きベクトル情報を生成する。生成した予測動きベクトル情報は、動きベクトル生成部１３３に供給される。
動きベクトル生成部１３３は、差分ベクトルバッファ１３１からの対象ブロックの差分動きベクトル情報に、予測動きベクトル生成部１２４からの対象ブロックの予測動きベクトル情報を加算して、対象ブロックの動きベクトル情報を生成する。生成された動きベクトル情報は、インター予測モード情報とともに動き補償部１３５に供給される。また、動きベクトル情報は、動きベクトルバッファ１３４にも供給され、蓄積される。
ステップＳ１７９において、動き補償部１３５は、予測モード情報が示す予測モードで、動きベクトル生成部１３３からの動きベクトル情報を用いて、フレームメモリ１１９からの参照画像に補償処理を施し、予測画像を生成する。生成された予測画像は、スイッチ１２５に出力される。
以上のように、画像符号化装置５１および画像復号装置１０１においては、予測動きベクトル情報に対するコードナンバの割り当てが変更可能な可変モードが設けられており、予測動きベクトル情報に対するコードナンバの割り当てを変更することができる。
したがって、ユーザまたはアプリケーションにより、符号化効率や、主観画質がよくなるように、予測動きベクトル情報に対するコードナンバの割当を変えることができる。結果として、符号化効率や、主観画質を向上させることができ、より高い符号化効率を達成することができる。
［画像符号化装置の他の構成例］
図２４は、画像処理装置としての画像符号化装置の他の実施の形態の構成を表している。
図２４の画像符号化装置１５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、予測動きベクトル生成部７６、予測画像選択部７８、およびレート制御部７９を備えている点が、図７の画像符号化装置５１と共通している。また、図２４の画像符号化装置１５１は、コードナンバ割当部７７および可逆符号化部６６が、それぞれ、コードナンバ割当部１６１および可逆符号化部１６２に入れ替わった点と、最適コードナンバ割当判定部１６３が追加された点とが、図７の画像符号化装置５１と異なっている。
すなわち、図７の画像符号化装置５１においては、予測動きベクトル情報とコードナンバとの対応関係である、各予測動きベクトル情報に対するコードナンバの割当は、ユーザやアプリケーションにより設定されるものであった。これに対して、図２４の画像符号化装置１５１においては、コードナンバ割当部１６１により、当該ピクチャまたはスライスにおいて可能である、あらゆるコードナンバの割当情報が発生される。そして、あらゆるコードナンバの割当情報を用いた、当該ピクチャまたはスライスに関するすべての符号化情報（圧縮画像）が生成され、それらが、一旦、可逆符号化部１６２に蓄積される。
これらの符号化情報は、最適コードナンバ割当判定部１６３にすべて供給される。最適コードナンバ割当判定部１６３は、各割当に対するコスト関数値を生成し、その値が最も小さくなるコードナンバ割当を、当該ピクチャまたはスライスに対する最適割当として、その情報を、可逆符号化部１６２に供給する。
可逆符号化部１６２は、蓄積されたあらゆるコードナンバの割当に関する符号化情報（圧縮画像）のうち、最適割当に関するもののみが、蓄積バッファ６７に出力される。
なお、この画像符号化装置１５１に対応する復号側の装置は、図２０の画像復号装置１０１と基本的に同様の構成となるので、その説明は省略される。
以上のように、予測動きベクトル情報に対するコード割当は、ユーザやアプリケーションにより設定されるのではなく、画像符号化装置において、符号化効率や主観画質を向上させるように、予測動きベクトル情報に対するコード割当の中から最適なコード割当を決めるようにすることも可能である。
なお、上記説明においては、候補の予測動きベクトル情報として、時間予測動きベクトル情報、空間予測動きベクトル情報、および時空間予測動きベクトル情報を用いて説明したが、もちろん、候補として、その他の予測動きベクトル情報を用いることができる。
［予測動きベクトル情報］
以上においては、予測動きベクトル情報の生成方法の例として、非特許文献１に記載の方法を用いるように説明したが、これに限らず、例えば、以下のような方法を適用するようにしてもよい。
上述した非特許文献１に示された方法の場合、候補となる予測動きベクトル情報である候補予測動きベクトル情報の数が増えるほど、演算量処理量は増大する。また、当該GOPにおいて、例えば、Ｐピクチャのような、参照されるピクチャの画質を向上させることにより、これを参照するＢピクチャの画質も向上させることになる。
そこで、動き予測・補償部７５が、参照されるピクチャ（例えばＰピクチャ等）に対して、より多くの候補動きベクトル情報を用いて動き予測・補償（符号化処理）を行うようにしてもよい。また、動き予想・補償部７５が、参照されないピクチャ（例えばＢピクチャ等）に対して、より少ない候補動きベクトル情報を用いて動き予測・補償（符号化処理）を行うか、若しくは、非特許文献１に示されたような処理を行う代わりに、AVCと同様の動きベクトル符号化を行うようにしてもよい。
例えば、他のピクチャの処理において参照されるピクチャを符号化する場合、予測動きベクトル生成部７６が、候補動きベクトル情報を、他のピクチャの処理において参照されないピクチャを符号化する場合よりも多く生成するようにする。つまり、この場合、最適予測動きベクトル選択部９３は、より多くの候補動きベクトル情報の中から最適な予測動きベクトル情報を選択する。
また、他のピクチャの処理において参照されないピクチャを符号化する場合、予測動きベクトル生成部７６が、候補動きベクトル情報を、他のピクチャの処理において参照されるピクチャを符号化する場合よりも少なく生成するか、若しくは、AVCと同様に単一の予測動きベクトル情報を生成するようにする。つまり、この場合、最適予測動きベクトル選択部９３は、より少ない候補動きベクトル情報の中から最適な予測動きベクトル情報を選択するか、若しくは、生成された単一の予測動きベクトル情報を、最適な予測動きベクトル情報とする。
このようにすることにより、画像符号化装置は、より少ない演算量で、符号化効率を向上させることができる。
この場合も、画像符号化装置は、どの候補予測動きベクトルを用いるかに関する情報を、各スライスヘッダ若しくはピクチャパラメータセットに格納する（すなわち、これらの情報を復号装置側に伝送する）。
［マクロブロック］
また、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本技術は、拡張されたマクロブロックサイズに対しても適用することが可能である。
図２５は、拡張されたマクロブロックサイズの例を示す図である。
図２５の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図２５の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図２５の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
すなわち、３２×３２画素のマクロブロックは、図２５の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
また、上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
さらに、中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
このような階層構造を採用することにより、拡張されたマクロブロックサイズにおいては、１６×１６画素のブロック以下に関してH．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
以上のように提案される拡張されたマクロブロックサイズにも、本技術を適用することができる。拡張されたマクロブロックサイズにも、本技術が適用される場合、例えば、通常のマクロブロックと拡張されたマクロブロックとでは、異なる前記予測動きベクトル情報に対するコードナンバが割り当てられる。例えば、通常のマクロブロックは、１６×１６画素で構成され、拡張されたマクロブロックは、３２×３２画素で構成される。
以上においては、符号化方式としてH．264/AVC方式をベースに用いるようにしたが、これに限らない。すなわち、本技術は、動き予測・補償を行い、さらに、動きベクトル情報の符号化に、複数の予測動きベクトル情報を用いる、その他の符号化方式／復号方式にも適用することができる。
［コーディングユニット］
ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。
そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication StandardizationSector）と、ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。
AVCにおいては、図２に示されるように、マクロブロックとサブマクロブロックによる階層構造が規定されているが、HEVCにおいては、図３１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
CUは、Coding Tree Block（CTB）とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（SCU（Smallest Coding Unit））が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図３１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（PredictionUnit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVCにおいては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
以上のHEVCのように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVCにおけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは図３１に示されるように階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVCのマクロブロックより大きく設定されることが一般的である。
マクロブロックの代わりに、このようなCU、PU、およびTU等を用いる符号化方式にも、本技術を適用することができる。すなわち、予測処理を行う処理単位は任意の領域であってもよい。
また、コードナンバの切り替えの制御は、任意の処理単位で行われるようにしてもよく、シーケンス、ピクチャ、スライスだけでなく、例えばCUやPU等の、予測処理単位の領域毎に行われるようにしてもよい。その場合、処理対象の領域の動きの特徴、より具体的には、処理対象の領域（当該領域）が静止画像により構成される領域（静止領域）であるか、動物体の画像により構成される領域（動領域）であるかに応じて、その領域における予測動きベクトル情報に対するコードナンバの割り当て方が制御される。つまり、この場合、各領域において、その領域が静止領域であるか否かが判別される。
［画像符号化装置］
図３２は、その場合の画像符号化装置の主な構成例を示すブロック図である。
図３２に示される画像符号化装置７００は、図７の画像符号化装置５１と基本的に同様の装置であり、画像データを符号化する。なお、画像符号化装置７００は、図３１を参照して説明したように、プレディクションユニット（PU）毎にインター予測を行うものとする。
図３２に示されるように画像符号化装置７００は、A/D変換部７０１、画面並べ替えバッファ７０２、演算部７０３、直交変換部７０４、量子化部７０５、可逆符号化部７０６、および蓄積バッファ７０７を有する。また、画像符号化装置７００は、逆量子化部７０８、逆直交変換部７０９、演算部７１０、ループフィルタ７１１、フレームメモリ７１２、選択部７１３、イントラ予測部７１４、動き予測・補償部７１５、予測画像選択部７１６、およびレート制御部７１７を有する。
画像符号化装置７００は、さらに、静止領域判定部７２１および動きベクトル符号化部７２２を有する。
A/D変換部７０１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ７０２に供給し、記憶させる。画面並べ替えバッファ７０２は、記憶した表示の順番のフレームの画像を、GOPに応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部７０３に供給する。また、画面並べ替えバッファ７０２は、フレームの順番を並び替えた画像を、イントラ予測部７１４および動き予測・補償部７１５にも供給する。
演算部７０３は、画面並べ替えバッファ７０２から読み出された画像から、予測画像選択部７１６を介してイントラ予測部７１４若しくは動き予測・補償部７１５から供給される予測画像を減算し、その差分情報を直交変換部７０４に出力する。
例えば、インター符号化が行われる画像の場合、演算部７０３は、画面並べ替えバッファ７０２から読み出された画像から、動き予測・補償部７１５から供給される予測画像を減算する。
直交変換部７０４は、演算部７０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部７０４は、その変換係数を量子化部７０５に供給する。
量子化部７０５は、直交変換部７０４から供給される変換係数を量子化する。量子化部７０５は、レート制御部７１７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部７０５は、量子化された変換係数を可逆符号化部７０６に供給する。
可逆符号化部７０６は、量子化部７０５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部７１７の制御の下で量子化されているので、この符号量は、レート制御部７１７が設定した目標値となる（若しくは目標値に近似する）。
また、可逆符号化部７０６は、イントラ予測のモードを示す情報などをイントラ予測部７１４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部７１５から取得する。さらに、可逆符号化部７０６は、ループフィルタ７１１において使用されたフィルタ係数等を取得する。
可逆符号化部７０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部７０６は、符号化して得られた符号化データを蓄積バッファ７０７に供給して蓄積させる。
可逆符号化部７０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
蓄積バッファ７０７は、可逆符号化部７０６から供給された符号化データを、一時的に保持する。蓄積バッファ７０７は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
また、量子化部７０５において量子化された変換係数は、逆量子化部７０８にも供給される。逆量子化部７０８は、その量子化された変換係数を、量子化部７０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部７０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部７０８は、得られた変換係数を、逆直交変換部７０９に供給する。
逆直交変換部７０９は、逆量子化部７０８から供給された変換係数を、直交変換部７０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部７０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部７１０に供給される。
演算部７１０は、逆直交変換部７０９から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部７１６を介してイントラ予測部７１４若しくは動き予測・補償部７１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ７１１またはフレームメモリ７１２に供給される。
ループフィルタ７１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部７１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ７１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ７１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ７１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ７１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部７０６に供給し、それを符号化させるようにすることもできる。
ループフィルタ７１１は、フィルタ処理結果（フィルタ処理後の復号画像）をフレームメモリ７１２に供給する。なお、上述したように、演算部７１０から出力される復号画像は、ループフィルタ７１１を介さずにフレームメモリ７１２に供給することができる。つまり、ループフィルタ７１１によるフィルタ処理は省略することができる。
フレームメモリ７１２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部７１３に供給する。
選択部７１３は、フレームメモリ７１２から供給される参照画像の供給先を選択する。例えば、インター予測の場合、選択部７１３は、フレームメモリ７１２から供給される参照画像を動き予測・補償部７１５に供給する。
イントラ予測部７１４は、選択部７１３を介してフレームメモリ７１２から供給される参照画像である処理対象ピクチャ内の画素値を用いて、基本的にPUを処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部７１４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。イントラ予測部７１４は、AVC符号化方式において規定されるモードだけでなく、それ以外の任意のモードでこのイントラ予測を行うこともできる。
イントラ予測部７１４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ７０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部７１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部７１６に供給する。
また、上述したように、イントラ予測部７１４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部７０６に供給し、符号化させる。
動き予測・補償部７１５は、画面並べ替えバッファ７０２から供給される入力画像と、選択部７１３を介してフレームメモリ７１２から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部７１５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。動き予測・補償部７１５は、AVC符号化方式において規定されるモードだけでなく、それ以外の任意のモードでこのインター予測を行うこともできる。
動き予測・補償部７１５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部７１５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部７１６に供給する。
また、動き予測・補償部７１５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部７０６に供給し、符号化させる。
予測画像選択部７１６は、演算部７０３や演算部７１０に供給する予測画像の供給元を選択する。例えば、インター符号化の場合、予測画像選択部７１６は、予測画像の供給元として動き予測・補償部７１５を選択し、その動き予測・補償部７１５から供給される予測画像を演算部７０３や演算部７１０に供給する。
レート制御部７１７は、蓄積バッファ７０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７０５の量子化動作のレートを制御する。
静止領域判定部７２１は、当該領域が静止領域であるか否かの判別（静止領域判定）を行う。静止領域判定部７２１は、その静止領域か否かかの判定結果を動きベクトル符号化部７２２に供給する。
動きベクトル符号化部７２２は、静止領域判定部７２１から供給される、静止領域か否かかの判定結果に基づいて、MVコンペティションモードの予測動きベクトル情報に対するコードナンバの割り当てを制御する。
より具体的には、動きベクトル符号化部７２２は、当該領域の周辺の領域の動き情報を用いて全てのインター予測モードについて全ての予測動きベクトル情報を生成し、生成した各予測動きベクトル情報に対して、静止領域判定結果に基づいた方法でコードナンバを割り当てる。さらに、動きベクトル符号化部７２２は、各インター予測モードについて、最適な予測動きベクトル情報を決定し、その最適な予測動きベクトル情報と当該領域の動き情報（動きベクトル）との差分（差分動き情報）を生成する。動きベクトル符号化部７２２は、生成した差分動き情報と予測動きベクトル情報のコードナンバとを動き予測・補償部７１５に供給する。
［静止領域判定とコードナンバ割当］
まず、静止領域判定部７２１による静止領域の判定についてより具体的に説明する。
静止領域判定部７２１による静止領域判定は、例えば図３３に示されるように、当該領域が処理される時点で処理済みの（動き情報が算出済みの）参照ピクチャのCo-Located領域に対する動き情報を用いて行われる。図３３の例の場合、当該領域は、図３３の右側に示される当該ピクチャのPUcurrであり、そのCo-Located領域は、図３３の左側に示される参照ピクチャのPUcolである。静止領域判定部７２１は、このCo-Located領域PUcolの動きベクトル情報の水平成分、垂直成分である（MVhcol，MVvcol）並びに参照インデックスRefcolの値を用いて、当該領域PUcurrの静止領域判定を行う。
すなわち、静止領域判定部７２１は、閾値をθとすると、以下の式（１７）および式（１８）が成り立ち、かつ、式（１９）が成立する場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスRefcolが、直前のピクチャを意味するPOC値を持つ場合、当該領域PUcurrを静止領域として判定する。
|MVhcol| ≦ θ ・・・（１７）
|MVvcol| ≦ θ ・・・（１８）
Refcol ＝ 0 ・・・（１９）
式（１９）において参照インデックスRefcolの値が０であることにより、静止領域判定部７２１は、参照ピクチャのCo-Located領域PUcolが略間違いなく静止画により構成される静止領域であると判定する。また、式（１７）および式（１８）のθの値としては、入力画像も参照画像も、符号化歪を含まない、原画像そのものであるなら、0であるべきである。しかしながら、実際には、入力画像は原画像そのものであるが、参照画像は復号画像であり一般的に符号化歪みを含む。そのため、静止画領域であっても、必ずしもθの値として0が適切であるとは限らない。
そこで、静止領域判定部７２１は、動きベクトルの値が１／４画素の精度を持つ場合、θ＝４であるとする。すなわち、動きベクトルの精度が、整数画素精度で１．０以内である場合、静止領域判定部７２１は、静止領域であると判定されるようにする。
次に、動きベクトル符号化部７２２による予測動きベクトル情報へのコードナンバの割り当てについて、より具体的に説明する。以下において、プレディクションユニットPUxの動きベクトル情報をMVPUxとする。
非特許文献１や、Joel Jung,Guillaume Laroche,"Competition-Based Scheme for Motion Vector Selection and Coding", VCEG-AC06,ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video CodingExperts Group (VCEG)29th Meeting: Klagenfurt, Austria, 17-18 July, 2006（以下、非特許文献２と称する）においては、H．264/AVC方式において定義されている、上述した式（５）により求められる空間予測動きベクトル情報（Spatial Predictor）に加え、図６を参照して説明する時間予測動きベクトル情報（Temporal Predictor）および時空間予測動きベクトル情報（Spatio-Temporal Predictor）のどれかを、予測動きベクトル情報として、適応的に用いるという方法が提案されている。
非特許文献２においては、一番大きなコードナンバが、時間予測動きベクトル情報（temporal predictor）に割り当てられる。つまり、この方法の場合、コードナンバ（code number） ”y” が割り当てられている予測動きベクトル情報をPMVyとすると、図３３の例の場合、以下の式（２０）乃至（２３）のようにコードナンバが割り当てられる。
PMV0 = MVPUa ・・・（２０）
PMV1 = MVPUb ・・・（２１）
PMV2 = MVPUc ・・・（２２）
PMV3 = MVPUcol ・・・（２３）
上述したようにRD最適化によるモード判定を行う場合、特に、より低いビットレートにおいては、より小さなコードナンバが割り当てられたモードが選択されやすくなり、このため、非特許文献２に記載の方法では、動領域と静止領域の間で劣化が観測されやすいことになる。
つまり、図１３を参照して上述したように、動領域に隣接する静止領域において、空間方向の動き相関を利用すると動領域の動きベクトル情報が静止領域に伝搬して画質劣化を引き起こす恐れがある。しかしながら、非特許文献２に記載の方法では、常に、空間予測動きベクトル情報（Spatial Predictor）に対して、選択されやすい小さいコードナンバが割り当てられているので、動領域と静止領域の間で劣化が観測されやすいことになる。
上述したように動きベクトル符号化部７２２も、処理対象である当該領域の周辺の領域の動き情報を用いて予測動きベクトル情報を生成する。図３３の例の場合、当該ピクチャのPUcurrが当該領域であり、当該ピクチャのPUa，PUb、およびPUcが当該領域に対して空間的に周辺に位置する領域であり、参照ピクチャのPUcolが当該領域に対して時間的に周辺に位置する領域である。
以下においては、このように空間的若しくは時間的に（時空間に）周辺の領域を周辺領域と称する。つまり、PUa，PUb、およびPUcをPUcurrの空間的な周辺領域と称し、PUcolがPUcurrの時間的な周辺領域と称する。
動きベクトル符号化部７２２は、これらの周辺領域の動き情報に対してコードナンバを割り当てるが、その際、静止領域の判定結果に応じてコードナンバの割り当て方を制御する。より具体的には、動きベクトル符号化部７２２は、静止領域判定において、上述した式（１７）および式（１８）が成り立ち、かつ、式（１９）が成立する場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスRefcolが、直前のピクチャを意味するPOC値を持つ場合、コードナンバの割り当てを、以下の式（２４）乃至（２７）のように変更する。
PMV0 = MVPUcol ・・・（２４）
PMV1 = MVPUa ・・・（２５）
PMV2 = MVPub ・・・（２６）
PMV3 = MVPUc ・・・（２７）
つまり、静止領域に対しては、動領域における動きベクトルが伝播するのを抑制するために、時間予測動きベクトル情報（temporal predictor）に対して最も小さなコード番号を割り当てる。このようにすることにより、動きベクトル符号化部７２２は、予測動きベクトル情報の予測精度を向上させることができ、符号化効率を向上させることができる。
なお、静止領域判定部７２１が静止領域の判定をプレディクションユニット毎に行うので、動きベクトル符号化部７２２は、その静止領域判定部７２１の判定に従ってコードナンバの割り当てを行うことにより、予測動きベクトル情報の予測精度をより向上させることができ、符号化効率をより向上させることができる。
なお、静止領域であると判定された場合のコードナンバの割り当て方は、式（２４）乃至（２７）以外であってもよい。つまり、少なくとも、静止領域であると判定された場合、動物体の画像により構成される動領域であると判定された場合よりも、時間予測動きベクトル情報（temporal predictor）に対してより小さいコードナンバを割り当てるようにすればよい。例えば、動きベクトル符号化部７２２が、MVPUcolにPMV1やPMV2を割り当てるようにしてもよい。
また、静止領域判定の精度（確かさ）に応じて、動きベクトル符号化部７２２が、割り当てるコードナンバを変えることができるようにしてもよい。例えば、静止領域判定を軟判定とし、より確からしい程、動きベクトル符号化部７２２が、より小さいコードナンバを割り当てるようにしてもよい。
さらに、以上においては、コードナンバを割り当てる周辺領域としてPUa，PUb，PUc、およびPUcolを例に説明したが、これら以外の任意の領域を周辺領域とし、その周辺領域の動きベクトル情報に対してもコードナンバの割り当てが行われるようにしてもよい。つまり、コードナンバの割り当てが行われる周辺領域の位置だけでなく、その数（すなわち割り当てを行うコードナンバの数）も任意である。
なお、以上においては、空間予測動きベクトル情報（spatial predictor）に対してより小さいコードナンバを割り当てる割り当て方を初期状態とし、静止領域判定部７２１によって当該領域が静止領域であると判定された場合に、時間予測動きベクトル情報（temporal predictor）に対してより小さいコードナンバを割り当てるように割り当て方を変更するように説明したが、これに限らず、時間予測動きベクトル情報（temporal predictor）に対してより小さいコードナンバを割り当てる割り当て方を初期状態とし、静止領域判定部７２１によって当該領域が動領域であると判定された場合に、空間予測動きベクトル情報（spatial predictor）に対してより小さいコードナンバを割り当てるように割り当て方を変更するようにしてもよい。
また、以上においては、静止領域判定部７２１によって当該領域が静止領域であると判定された場合、動きベクトル符号化部７２２が、時間予測動きベクトル情報（temporal predictor）に対してより小さいコードナンバを割り当てるように説明したが、さらに、強制的に、その時間予測動きベクトル情報（temporal predictor）を予測動きベクトル情報として選択する（候補として生成する予測動きベクトル情報を時間予測動きベクトル情報（MVPUcol）のみとする）ようにしてもよい。
このようにすることにより、動きベクトル符号化部７２２は、より確実に、静止領域の予測動きベクトル情報として、時間予測動きベクトル情報（temporal predictor）を選択することができる。したがって、動きベクトル符号化部７２２は、静止領域に対して動領域における動きベクトルが伝播するのをより確実に抑制することができる。ただし、静止領域判定において誤判定が生じる可能性がある場合、従来のようにコスト関数値等を用いて予測動きベクトル情報を選択するようにするのが望ましい。
なお、以上においては、PUa，PUb、およびPUcをPUcurrの空間的な周辺領域とし、PUcolをPUcurrの時間的な周辺領域として説明したが、空間的な周辺領域および時間的な周辺領域は、これらに限らず、当該領域を処理対象とする時点において動き情報が生成済みの領域であればどのような領域であってもよい。
［動き予測・補償部、静止領域判定部、動きベクトル符号化部］
図３４は、動き予測・補償部７１５、静止領域判定部７２１、および動きベクトル符号化部７２２の主な構成例を示すブロック図である。
図３４に示されるように、動き予測・補償部７１５は、動き探索部７３１、コスト関数算出部７３２、モード判定部７３３、動き補償部７３４、および動き情報バッファ７３５を有する。
また、動きベクトル符号化部７２２は、コードナンバ割当部７４１、予測動きベクトル生成部７４２、および差分動きベクトル生成部７４３を有する。
動き探索部７３１には、画面並べ替えバッファ７０２からの入力画像画素値と、フレームメモリ７１２からの参照画像画素値が入力される。動き探索部７３１は、全てのインター予測モードについて動き探索処理を行い、動きベクトルと参照インデックスを含む動き情報を生成する。動き探索部７３１は、その動き情報を動きベクトル符号化部７２２の予測動きベクトル生成部７４２に供給する。
また、静止領域判定部７２１は、動き予測・補償部７１５の動き情報バッファ７３５に記憶されている周辺領域の動き情報である周辺動き情報を取得し、その周辺動き情報から処理対象の領域（当該領域）が静止領域であるか否かを判定する。
例えば、静止領域判定部７２１は、時間的な周辺領域であるPUcolについて、上述した式（１７）および式（１８）が成り立ち、かつ、式（１９）が成立する場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスRefcolが、直前のピクチャを意味するPOC値を持つ場合、当該領域PUcurrを静止領域として判定する。静止領域判定部７２１は、このような静止領域判定結果を動きベクトル符号化部７２２のコードナンバ割当部７４１に供給する。
動きベクトル符号化部７２２のコードナンバ割当部７４１は、動き予測・補償部７１５の動き情報バッファ７３５から周辺動き情報を取得するとともに、静止領域判定部７２１から静止領域判定結果を取得する。コードナンバ割当部７４１は、その静止領域判定結果に従って、各隣接動き情報へのコードナンバの割り当て方を決定し、その割り当て方を制御するコードナンバ割当制御信号を予測動きベクトル生成部７４２に供給する。
予測動きベクトル生成部７４２は、動き探索部７３１から当該PUの各インター予測モードの動き情報を取得すると、動き情報バッファ７３５から、各動き情報に対応する周辺動き情報を取得する。予測動きベクトル生成部７４２は、その周辺動きベクトル情報を用いて、非特許文献２に記載のように、候補となる複数の予測動きベクトル情報の生成を行う。ただし、非特許文献２に記載の方法と異なり、各予測動きベクトル情報には、コードナンバ割当部７４１により設定されたコードナンバを割り当てる。
すなわち、予測動きベクトル生成部７４２は、当該PUに対して、上述した式（５）により空間予測動きベクトル情報（Spatial Predictor）を生成する。また、予測動きベクトル生成部７４２は、当該PUに対して、上述した式（９）により時間予測動きベクトル情報（Temporal Predictor）を生成する。さらに、予測動きベクトル生成部７４２は、当該PUに対して、式（１０）により時空間予測動きベクトル（Spatio-Temporal Predictor）を生成する。予測動きベクトル生成部７４２は、得られた各予測動きベクトル情報に、コードナンバ割当部７４１により設定されたコードナンバを割り当てる。
そして、予測動きベクトル生成部７４２は、動き探索部７３１から取得した動き情報、生成された候補となる各予測動きベクトル情報、並びに、それらに対してそれぞれ割り付けられたコードナンバを差分動きベクトル生成部７４３に供給する。
差分動きベクトル生成部７４３は、各インター予測モードについて、供給された予測動きベクトル情報の候補の中から最適なものを選択し、動き情報とその予測動きベクトル情報との差分値を含む差分動きベクトル情報を生成する。差分動きベクトル生成部７４３は、生成した各インター予測モードの差分動きベクトル情報、選択した各インター予測モードの予測動きベクトル情報、およびそのコードナンバを動き予測・補償部７１５のコスト関数算出部７３２に供給する。
また、動き探索部７３１は、探索した動きベクトル情報を用いて、参照画像に補償処理を行い、予測画像を生成する。さらに、動き探索部７３１は、その予測画像と入力画像の差分（差分画素値）を算出し、その差分画素値をコスト関数算出部７３２に供給する。
コスト関数算出部７３２は、動き探索部７３１から供給された各インター予測モードの差分画素値を用いて、各インター予測モードのコスト関数値を算出する。コスト関数算出部７３２は、算出した各インター予測モードのコスト関数値、各インター予測モードの差分動き情報、各インター予測モードの予測動きベクトル情報、およびそのコードナンバを、モード判定部７３３に供給する。
モード判定部７３３は、各インター予測モードのうち、どのモードを用いるのが最適かを、各インター予測モードに対するコスト関数値を用いて判定し、最も小さいコスト関数値のインター予測モードを、最適予測モードとする。そして、モード判定部７３３は、その最適予測モードに関する情報である最適予測モード情報、並びに、最適予測モードに選択されたインター予測モードの、差分動き情報、予測動きベクトル情報、およびそのコードナンバを、動き補償部７３４に供給する。
動き補償部７３４は、供給された最適予測モードの差分動き情報と予測動きベクトル情報とから、動きベクトルを求め、求めた動きベクトルを用いて、フレームメモリ７１２からの参照画像に補償を行うことで、最適予測モードの予測画像を生成する。
予測画像選択部７１６によりインター予測が選択された場合、それを示す信号が予測画像選択部７１６から供給される。これに対応して、動き補償部７３４は、最適予測モード情報、並びに、そのモードの差分動きベクトル情報、および、そのモードの予測動きベクトル情報のコードナンバを、可逆符号化部７０６に供給する。
また、動き補償部７３４は、最適予測モードに選択されたモードの差分動きベクトル情報と予測動きベクトル情報から求めた動き情報、すなわち、最適予測モードの動き情報を、動き情報バッファ７３５に格納する。なお、予測画像選択部７１６によりインター予測が選択されなかった場合（すなわち、イントラ予測画像が選択された場合）、動きベクトル情報として、０ベクトルが、動き情報バッファ７３５に格納される。
動き情報バッファ７３５には、過去に処理された領域の最適予測モードの動き情報が格納されている。格納されている動き情報は、その領域より時間的に後に処理される領域に対する処理において、周辺動き情報として、静止領域判定部７２１、コードナンバ割当部７４１、および予測動きベクトル生成部７４２に供給される。
以上のように、静止領域判定部７２１が静止領域であるか否かの判定を予測処理単位毎に行う。そして、動きベクトル符号化部７２２が、その静止領域判定結果に基づいてコードナンバの割り当てを制御し、静止領域の場合、時間予測動きベクトル情報（temporal predictor）に対して最も小さなコード番号を割り当てる。そして、動き予測・補償部７１５は、その動きベクトル符号化部７２２に生成された差分動き情報や予測動きベクトル情報のコードナンバを符号化させる。したがって、画像符号化装置７００は、予測動きベクトル情報の予測精度を向上させることができ、符号化効率を向上させることができる。
［処理の流れ］
次に、画像符号化装置７００において実行される処理の流れについて説明する。符号化処理およびイントラ予測処理は、基本的に、図１６および図１７を参照して説明したフローチャートの場合と同様に実行される。つまり、画像符号化装置５１が実行する場合と同様の処理が行われる。したがって、これらの説明については省略する。
次に、図３５のフローチャートを参照して、図１６のステップＳ２２において実行されるインター動き予測処理の流れの例を説明する。
インター動き予測処理が開始されると、この場合、動き探索部７３１は、ステップＳ７０１において、各インター予測モードに対して動き探索を行い、動き情報と差分画素値を生成する。
ステップＳ７０２において、静止領域判定部７２１は、動き情報バッファ７３５から、時間的な周辺領域であるCo-Located領域の動き情報を取得する。ステップＳ７０３において、静止領域判定部７２１は、Co-Located領域の動き情報に基づいて、当該領域が静止領域であるか否かを判定する。
ステップＳ７０４において、コードナンバ割当部７４１は、静止領域判定結果に応じて予測動きベクトル情報に対するコードナンバの割り当てを決定する。
ステップＳ７０５において、予測動きベクトル生成部７４２は、候補となる全ての予測動きベクトル情報を生成する。
ステップＳ７０６において、差分動きベクトル生成部７４３は、各インター予測モードに対する最適な予測動きベクトル情報を決定する。また、その予測動きベクトル情報と動き情報の動きベクトルとの差分である差分動きベクトルを含む差分動き情報を生成する。
ステップＳ７０７において、コスト関数算出部７３２は、各インター予測モードのコスト関数値を算出する。
ステップＳ７０８において、モード判定部７３３は、ステップＳ７０７において算出されたコスト関数値を用いて、最適なインター予測モードである最適インター予測モード（最適予測モードとも称する）を決定する。
ステップＳ７０９において、動き補償部７３４は、最適インター予測モードで動き補償を行う。ステップＳ７１０において、動き補償部７３４は、ステップＳ７０９の動き補償により得られた予測画像を、予測画像選択部７１６を介して演算部７０３および演算部７１０に供給し、差分画像情報および復号画像を生成させる。また、ステップＳ７１１において、動き補償部７３４は、最適予測モード情報、差分動き情報、および予測動きベクトル情報のコードナンバ等、最適インター予測モードに関する情報を可逆符号化部７０６に供給し、符号化させる。
ステップＳ７１２において、動き情報バッファ７３５は、最適インター予測モードに選択された動き情報を記憶する。動き情報を記憶すると、動き情報バッファ７３５は、インター動き予測処理を終了する。
以上のように、処理を行うことにより、画像符号化装置７００は、予測動きベクトル情報の予測精度を向上させることができ、符号化効率を向上させることができる。
［画像復号装置］
図３６は、図３２の画像符号化装置７００に対応する画像復号装置の主な構成例を示すブロック図である。
図３６に示される画像復号装置８００は、図２０の画像復号装置１０１と基本的に同様の装置である。画像復号装置８００は、画像符号化装置７００が生成した符号化データを、その符号化方法に対応する復号方法で復号する。なお、画像復号装置８００は、画像符号化装置７００と同様に、プレディクションユニット（PU）毎にインター予測を行うものとする。
図３６に示されるように画像復号装置８００は、蓄積バッファ８０１、可逆復号部８０２、逆量子化部８０３、逆直交変換部８０４、演算部８０５、ループフィルタ８０６、画面並べ替えバッファ８０７、およびＤ／Ａ変換部８０８を有する。また、画像復号装置８００は、フレームメモリ８０９、選択部８１０、イントラ予測部８１１、動き予測・補償部８１２、および選択部８１３を有する。
さらに、画像復号装置８００は、静止領域判定部８２１、および動きベクトル復号部８２２を有する。
蓄積バッファ８０１は伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部８０２に供給する。可逆復号部８０２は、蓄積バッファ８０１より供給された、図３２の可逆符号化部７０６により符号化された情報を、可逆符号化部７０６の符号化方式に対応する方式で復号する。可逆復号部８０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部８０３に供給する。また、可逆復号部８０２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部８１１および動き予測・補償部８１２の内、選択されたと判定したモードの方に供給する。
つまり、例えば、画像符号化装置７００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き予測・補償部８１２に供給される。
逆量子化部８０３は、可逆復号部８０２により復号されて得られた量子化された係数データを、図３２の量子化部７０５の量子化方式に対応する方式で逆量子化し、得られた係数データを逆直交変換部８０４に供給する。
逆直交変換部８０４は、図３２の直交変換部７０４の直交変換方式に対応する方式で逆量子化部８０３から供給される係数データを逆直交変換する。逆直交変換部８０４は、この逆直交変換処理により、画像符号化装置７００において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部８０５に供給される。また、演算部８０５には、選択部８１３を介して、イントラ予測部８１１若しくは動き予測・補償部８１２から予測画像が供給される。
演算部８０５は、その復号残差データと予測画像とを加算し、画像符号化装置７００の演算部７０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部８０５は、その復号画像データをループフィルタ８０６に供給する。
ループフィルタ８０６は、供給された復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施し、それを画面並べ替えバッファ８０７に供給する。
ループフィルタ８０６は、デブロックフィルタや適応ループフィルタ等を含み、演算部８０５から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ８０６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ８０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ８０６が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ８０６が、図３２の画像符号化装置７００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
ループフィルタ８０６は、フィルタ処理結果（フィルタ処理後の復号画像）を画面並べ替えバッファ８０７およびフレームメモリ８０９に供給する。なお、演算部８０５から出力される復号画像は、ループフィルタ８０６を介さずに画面並べ替えバッファ８０７やフレームメモリ８０９に供給することができる。つまり、ループフィルタ８０６によるフィルタ処理は省略することができる。
画面並べ替えバッファ８０７は、画像の並べ替えを行う。すなわち、図３２の画面並べ替えバッファ７０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部８０８は、画面並べ替えバッファ８０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
フレームメモリ８０９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部８１１や動き予測・補償部８１２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部８１０に供給する。
選択部８１０は、フレームメモリ８０９から供給される参照画像の供給先を選択する。選択部８１０は、イントラ符号化された画像を復号する場合、フレームメモリ８０９から供給される参照画像をイントラ予測部８１１に供給する。また、選択部８１０は、インター符号化された画像を復号する場合、フレームメモリ８０９から供給される参照画像を動き予測・補償部８１２に供給する。
イントラ予測部８１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部８０２から適宜供給される。イントラ予測部８１１は、図３２のイントラ予測部７１４において用いられたイントラ予測モードで、フレームメモリ８０９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部８１１は、生成した予測画像を選択部８１３に供給する。
動き予測・補償部８１２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、差分情報、および予測動きベクトル情報のコードナンバ等）を可逆復号部８０２から取得する。
動き予測・補償部８１２は、図３２の動き予測・補償部７１５において用いられたインター予測モードで、フレームメモリ８０９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。つまり、動き予測・補償部８１２は、図３２の動き予測・補償部７１５と同様に、AVC符号化方式において規定されるモード以外の任意のモードでこのイントラ予測を行うこともできる。
静止領域判定部８２１は、基本的に静止領域判定部７２１と同様の処理を行い、当該領域が静止領域であるか否かを判定する。つまり、静止領域判定部８２１は、当該領域のCo-Located領域の動き情報から、上述した式（１７）および式（１８）が成り立ち、かつ、式（１９）が成立する場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスRefcolが、直前のピクチャを意味するPOC値を持つ場合、当該領域PUcurrを静止領域として判定する。
静止領域判定部８２１は、このような静止領域の判定を予測処理単位で行い、その静止領域判定結果を動きベクトル復号部８２２に供給する。
動きベクトル復号部８２２は、静止領域判定部８２１から供給される静止領域判定結果に従って、予測動きベクトル情報へのコードナンバの割り当て方を制御し、その制御に従って、動き予測・補償部８１２から供給される予測動きベクトル情報のコードナンバを解読し、予測動きベクトル情報を再構築する。
つまり、動きベクトル復号部８２２は、静止領域判定部８２１が、図３２の静止領域判定部７２１と同様の方法で判定した静止領域判定結果に従って、コードナンバの割り当て方を制御することにより、図３２の動きベクトル符号化部７２２によるコードナンバの割り当て方を正しく再現することができる。このように動きベクトル符号化部７２２によるコードナンバの割り当て方を正しく再現することにより、動きベクトル復号部８２２は、画像符号化装置７００から供給される予測動きベクトル情報のコードナンバを正しく解読し、予測動きベクトル情報を正しく再構築することができる。
動きベクトル復号部８２２は、再構築した予測動きベクトル情報を動き予測・補償部８１２に供給する。動き予測・補償部８１２は、この予測動きベクトル情報を用いて動きベクトル情報を再構築し、その動きベクトル情報を用いて動き補償を行い、予測画像を生成する。動き予測・補償部８１２は、生成した予測画像を選択部８１３に供給する。
選択部８１３は、演算部８０５に供給する予測画像の供給元を選択する。つまり、選択部８１３は、動き予測・補償部８１２またはイントラ予測部８１１により生成された予測画像を演算部８０５に供給する。
このように、静止領域判定部８２１による予測処理単位毎の静止領域判定の判定結果に基づいて予測動きベクトル情報に割り当てるコードナンバを制御することにより、動きベクトル復号部８２２は、画像符号化装置７００におけるコードナンバの割り当て方を正しく再現することができる。したがって、動きベクトル復号部８２２は、画像符号化装置７００から供給される予測動きベクトル情報のコードナンバを正しく解読し、予測動きベクトル情報を正しく再構築することができる。
したがって、画像復号装置８００は、画像符号化装置７００が符号化した符号化データを正しく復号することができ、符号化効率の向上を実現させることができる。
［動き予測・補償部、静止領域判定部、動きベクトル復号部］
図３７は、動き予測・補償部８１２、静止領域判定部８２１、および動きベクトル復号部８２２の主な構成例を示すブロック図である。
図３７に示されるように、動き予測・補償部８１２は、差分動き情報バッファ８３１、予測動きベクトル情報バッファ８３２、動き情報再構築部８３３、動き補償部８３４、および動き情報バッファ８３５を有する。
また、動きベクトル復号部８２２は、コードナンバ割当部８４１および予測動きベクトル再構築部８４２を有する。
差分動き情報バッファ８３１は、可逆復号部８０２から供給される差分動き情報を記憶する。この差分動き情報は、画像符号化装置７００から供給された、最適な予測モードとして選択されたインター予測モードの差分動き情報である。差分動き情報バッファ８３１は、所定のタイミングにおいて、若しくは、動き情報再構築部８３３からの要求に基づいて、記憶している差分動き情報を動き情報再構築部８３３に供給する。
予測動きベクトル情報バッファ８３２は、可逆復号部８０２から供給される予測動きベクトル情報のコードナンバを記憶する。この予測動きベクトル情報のコードナンバは、画像符号化装置７００から供給されたものであり、最適な予測モードとして選択されたインター予測モードの予測動きベクトル情報に割り当てられたコードナンバである。予測動きベクトル情報バッファ８３２は、所定のタイミングにおいて、若しくは、予測動きベクトル再構築部８４２からの要求に基づいて、記憶している予測動きベクトル情報のコードナンバを、動きベクトル復号部８２２の予測動きベクトル再構築部８４２に供給する。
また、静止領域判定部８２１は、予測処理単位の領域毎に、動き情報バッファ８３５からCo-Located領域の動き情報を周辺動き情報として取得し、静止領域判定を行う。静止領域判定部８２１は、その判定結果（静止領域判定結果）を動きベクトル復号部８２２のコードナンバ割当部８４１に供給する。
動きベクトル復号部８２２のコードナンバ割当部８４１は、静止領域判定部８２１から供給される静止領域判定結果に従って、コードナンバの割り当て方を、予測処理単位の領域毎に制御し、コードナンバ割当制御信号を予測動きベクトル再構築部８４２に供給する。
予測動きベクトル再構築部８４２は、コードナンバ割当部８４１から予測処理単位の領域毎に指定されるコードナンバの割り当て方を用いて、予測動きベクトル情報バッファ８３２から取得した予測動きベクトル情報のコードナンバを解読する。予測動きベクトル再構築部８４２は、解読したコードナンバに対応する予測動きベクトル情報を特定し、その予測動きベクトル情報を再構築する。つまり、予測動きベクトル再構築部８４２は、コードナンバに対応する周辺領域の周辺動き情報を動き情報バッファ８３５から取得し、その周辺動き情報を予測動きベクトル情報とする。
予測動きベクトル再構築部８４２は、再構築した予測動きベクトル情報を、動き予測・補償部８１２の動き情報再構築部８３３に供給する。
動き予測・補償部８１２の動き情報再構築部８３３は、差分動き情報バッファ８３１から取得した差分動き情報に、予測動きベクトル再構築部８４２から取得した予測動きベクトル情報を加算し、当該領域（当該PU）の動き情報を再構築する。動き情報再構築部８３３は、再構築した当該領域の動き情報を動き補償部８３４に供給する。
動き補償部８３４は、その当該領域の動き情報を用いて、フレームメモリ８０９から取得した参照画像画素値に対して動き補償を行い、予測画像を生成する。動き補償部８３４は、その予測画像画素値を選択部８１３を介して演算部８０５に供給する。
また、動き情報再構築部８３３は、再構築した当該領域の動き情報を動き情報バッファ８３５にも供給する。
動き情報バッファ８３５は、その動き情報再構築部８３３から供給される当該領域の動き情報を記憶する。動き情報バッファ８３５は、当該領域よりも時間的に後に処理される他の領域に対する処理において、その動き情報を周辺動き情報として、静止領域判定部８２１や予測動きベクトル再構築部８４２に供給する。
以上のように各部が処理を行うことにより、画像復号装置８００は、画像符号化装置７００が符号化した符号化データを正しく復号することができ、符号化効率の向上を実現させることができる。
［処理の流れ］
次に、この画像復号装置８００により実行される処理の流れについて説明する。画像復号装置８００は、符号化データを復号する復号処理を、図２２のフローチャートを参照して説明したのと同様に行う。つまり、画像復号装置８００は、基本的に、画像復号装置１０１の場合と同様に復号処理を行う。ただし、図２２のステップＳ１３８の予測処理は以下のように実行される。
図３８のフローチャートを参照して、画像復号装置８００の場合に、図２２のステップＳ１３８において実行される予測処理の流れの例を説明する。
予測処理が開始されると、可逆復号部８０２は、ステップＳ８０１において、画像符号化装置７００から供給された最適な予測モードに関する情報に基づいて、処理対象の符号化データがイントラ符号化されているか否かを判定する。イントラ符号化されていると判定された場合、可逆復号部８０２は、処理をステップＳ８０２に進める。
ステップＳ８０２において、イントラ予測部８１１は、イントラ予測モード情報を取得する。ステップＳ８０３において、イントラ予測部８１１は、ステップＳ８０２において取得したイントラ予測モード情報を用いてイントラ予測を行い、予測画像を生成する。予測画像を生成すると、イントラ予測部８１１は、予測処理を終了し、処理を図２２に戻す。
また、ステップＳ８０１において、インター符号化されていると判定された場合、可逆復号部８０２は、処理をステップＳ８０４に進める。
ステップＳ８０４において、動き予測・補償部８１２は、インター動き予測処理を行う。インター動き予測処理が終了すると、動き予測・補償部８１２は、予測処理を終了し、処理を図２２に戻す。
次に、図３９のフローチャートを参照して、図３８のステップＳ８０４において実行されるインター動き予測処理の流れの例を説明する。
インター動き予測処理が開始されると、ステップＳ８２１において、動き予測・補償部８１２は、当該領域に対する動き予測に関する情報を取得する。例えば、予測動きベクトル情報バッファ８３２は、予測動きベクトル情報のコードナンバを取得し、差分動き情報バッファ８３１は、差分動き情報を取得する。
ステップＳ８２２において、静止領域判定部８２１は、動き情報バッファ８３５から、Co-Located領域の動き情報を取得する。ステップＳ８２３において、静止領域判定部８２１は、その情報に基づいて、上述したように、当該領域が静止領域であるか否かを判定する。
ステップＳ８２４において、コードナンバ割当部８４１は、ステップＳ８２３の静止領域判定結果に応じて予測動きベクトル情報に対するコードナンバの割当を決定する。ステップＳ８２５において、予測動きベクトル再構築部８４２は、予測動きベクトル情報のコードナンバを、ステップＳ８２４において決定された割当に従って解読し、予測動きベクトル情報を再構築する。
ステップＳ８２６において、動き情報再構築部８３３は、ステップＳ８２５において再構築された予測動きベクトル情報と、ステップＳ８２１において取得された差分動き情報を用いて、当該領域の動き情報を再構築する。
ステップＳ８２７において、動き補償部８３４は、ステップＳ８２６において再構築された動き情報で、フレームメモリ８０９から取得した参照画像に対して動き補償を行う。
ステップＳ８２８において、動き補償部８３４は、ステップＳ８２７の処理により生成された予測画像を、選択部８１３を介して演算部８０５に供給し、復号画像を生成させる。ステップＳ８２９において、動き情報バッファ８３５は、ステップＳ８２６において再構築された動き情報を記憶する。この動き情報は、時間的に後に行われる他の領域に対する処理において、周辺動き情報として使用される。
動き情報が記憶されると、動き情報バッファ８３５は、インター動き予測処理を終了し、処理を図３８に戻す。
以上のように各処理を行うことにより、画像復号装置８００は、画像符号化装置７００が符号化した符号化データを正しく復号することができ、符号化効率の向上を実現させることができる。
なお、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
［パーソナルコンピュータの構成例］
図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)２０１、ROM(ReadOnly Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した画像符号化装置や、画像復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
［テレビジョン受像機の構成例］
図２７は、画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
図２７に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。
地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。
映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。
グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。
パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。
表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。
また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。
地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。
音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。
エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。
音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。
さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。
デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。
MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。
テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置を用いる。したがって、MPEGデコーダ３１７は、上述した画像復号装置の場合と同様に、より高い符号化効率を達成することができる。
MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。
MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。
また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。
A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。
エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。
A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。
音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。
ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。
音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。
エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。
フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。
MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。
受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。
CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。
USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
テレビジョン受像機３００は、MPEGデコーダ３１７として上述した画像復号装置を用いることにより、符号化効率を向上することができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。
［携帯電話機の構成例］
図２８は、画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
図２８に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。
また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。
電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。
携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。
また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。
なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置を用いる。したがって、画像エンコーダ４５３は、上述した画像符号化装置の場合と同様に、より高い符号化効率を達成することができる。
なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。
携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。
携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置を用いる。したがって、画像デコーダ４５６は、上述した画像復号装置の場合と同様に、より高い符号化効率を達成することができる。
このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。
携帯電話機４００は、画像エンコーダ４５３として上述した画像符号化装置を用いることにより、符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。
また、携帯電話機４００は、画像デコーダ４５６として上述した画像復号装置を用いることにより、符号化効率を向上させることができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。
なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置および画像復号装置を適用することができる。
［ハードディスクレコーダの構成例］
図２９は、画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
図２９に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。
ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。
もちろん、この他の動作も可能である。
図２９に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。
また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。
受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。
通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。
オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。
ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。
ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。
モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。
記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。
レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。
また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。
また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。
さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。
以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして上述した画像復号装置を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、上述した画像復号装置の場合と同様に、より高い符号化効率を達成することができる。
したがって、ハードディスクレコーダ５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ５６０に表示させることができる。
また、ハードディスクレコーダ５００は、エンコーダ５５１として上述した画像符号化装置を用いる。したがって、エンコーダ５５１は、上述した画像符号化装置の場合と同様に、より高い符号化効率を達成することができる。
したがって、ハードディスクレコーダ５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、ハードディスクの記憶領域をより効率よく使用することができる。
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、上述した画像符号化装置および画像復号装置を適用することができる。
［カメラの構成例］
図３０は、画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。
図３０に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。
レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。
カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。
以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。
デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。
コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。
さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。
記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。
さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。
以上のようなカメラ６００は、デコーダ６１５として上述した画像復号装置を用いる。したがって、デコーダ６１５は、上述した画像復号装置の場合と同様に、より高い符号化効率を達成することができる。
したがって、カメラ６００は、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD６１６に表示させることができる。
また、カメラ６００は、エンコーダ６４１として上述した画像符号化装置を用いる。したがって、エンコーダ６４１は、上述した画像符号化装置の場合と同様に、より高い符号化効率を達成することができる。
したがって、カメラ６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。
なお、コントローラ６２１が行なう復号処理に上述した画像復号装置の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に上述した画像符号化装置の符号化方法を適用するようにしてもよい。
また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
もちろん、上述した画像符号化装置並びに画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
なお、本技術は以下のような構成も取ることができる。
（１） 画像の動きの特徴に応じて、予測動きベクトル情報に対するコードナンバの割り当て方を制御するコードナンバ割当部と、
処理対象である当該領域の周辺の領域の動き情報である周辺動き情報を用いて、当該領域の予測動きベクトル情報を生成し、生成した前記予測動きベクトル情報に、前記コードナンバ割当部により決定された割り当て方に従って、前記コードナンバを割り当てる予測動きベクトル生成部と
を備える画像処理装置。
（２） 前記コードナンバ割当部は、前記予測動きベクトル情報に対するコードナンバの割り当て方を、予測処理単位の領域毎に制御する
前記（１）に記載の画像処理装置。
（３） 前記コードナンバ割当部は、当該領域が静止領域である場合、時間予測動きベクトル情報に対して小さいコードナンバが割り当てられるように割り当て方を制御する
前記（２）に記載の画像処理装置。
（４） 前記予測動きベクトル生成部は、当該領域が静止領域である場合、前記時間予測動きベクトル情報のみを生成し、前記時間予測動きベクトル情報に、前記コードナンバ割当部により決定されたコードナンバを割り当てる
前記（３）に記載の画像処理装置。
（５） 前記コードナンバ割当部は、当該領域が動領域である場合、空間予測動きベクトル情報に対して小さいコードナンバが割り当てられるように割り当て方を制御する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、
前記コードナンバ割当部は、前記静止領域判定部の判定結果に従って、当該領域の予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記静止領域判定部は、当該領域のCo-Located領域の動き情報を用いて当該領域が静止領域であるか否かを判定する
前記（６）に記載の画像処理装置。
（８） 前記静止領域判定部は、当該領域のCo-Located領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定する
前記（７）に記載の画像処理装置。
（９） 前記コードナンバ割当部は、ユーザによる設定に応じて、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記コードナンバ割当部は、符号化効率を上げるように、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記コードナンバ割当部は、主観画質を最適にするように、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記コードナンバ割当部は、スライス毎に、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１）に記載の画像処理装置。
（１３） 前記コードナンバの割り当て方が変更可能な可変モードであることを示すフラグを生成するフラグ生成部をさらに備える
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記予測動きベクトル生成部は、予測モード毎に複数の予測動きベクトル情報を生成し、
前記予測モード毎に、前記予測動きベクトル生成部が生成した複数の予測動きベクトル情報の中から最適な予測動きベクトル情報を選択し、当該領域の動きベクトルとの差分である差分動きベクトルを生成する差分動きベクトル生成部と、
各予測モードの中から、最適な予測モードを判定するモード判定部と、
前記モード判定部により判定された予測モードの前記差分動きベクトル情報、および、前記予測モードの予測動きベクトル情報のコードナンバを伝送する伝送部と
をさらに備える前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記モード判定部により判定された予測モードの前記差分動きベクトル情報、および、前記予測モードの予測動きベクトル情報のコードナンバを符号化する符号化部をさらに備え、
前記伝送部は、前記符号化部により符号化された前記差分動きベクトル情報、および、前記予測動きベクトル情報のコードナンバを伝送する
前記（１４）に記載の画像処理装置。
（１６） 画像処理装置の画像処理方法であって、
コードナンバ割当部が、画像の動きの特徴に応じて、予測動きベクトル情報に対するコードナンバの割り当て方を制御し、
予測動きベクトル生成部が、処理対象である当該領域の周辺の領域の動き情報である周辺動き情報を用いて、当該領域の予測動きベクトル情報を生成し、生成した前記予測動きベクトル情報に、決定された割り当て方に従って、前記コードナンバを割り当てる
画像処理方法。
（１７） 画像の動きの特徴に応じて、予測動きベクトル情報に対するコードナンバの割り当て方を制御するコードナンバ割当部と、
処理対象である当該領域の予測動きベクトル情報のコードナンバを取得し、前記コードナンバ割当部により決定された割り当て方に従って、前記コードナンバから前記予測動きベクトル情報を再構築する予測動きベクトル再構築部と
を備える画像処理装置。
（１８） 前記コードナンバ割当部は、前記予測動きベクトル情報に対するコードナンバの割り当て方を、予測処理単位の領域毎に制御する
前記（１７）に記載の画像処理装置。
（１９） 前記コードナンバ割当部は、当該領域が静止領域である場合、時間予測動きベクトル情報に対して小さいコードナンバが割り当てられるように割り当て方を制御する
前記（１８）に記載の画像処理装置。
（２０） 前記コードナンバ割当部は、当該領域が動領域である場合、空間予測動きベクトル情報に対して小さいコードナンバが割り当てられるように割り当て方を制御する
前記（１８）または（１９）に記載の画像処理装置。
（２１） 当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、
前記コードナンバ割当部は、前記静止領域判定部の判定結果に従って、当該領域の予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１８）乃至（２０）のいずれかに記載の画像処理装置。
（２２） 前記静止領域判定部は、当該領域のCo-Located領域の動き情報を用いて当該領域が静止領域であるか否かを判定する
前記（２１）に記載の画像処理装置。
（２３） 前記静止領域判定部は、当該領域のCo-Located領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定する
前記（２２）に記載の画像処理装置。
（２４） 前記コードナンバ割当部は、ユーザによる設定に応じて、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１７）乃至（２３）のいずれかに記載の画像処理装置。
（２５） 前記コードナンバ割当部は、符号化効率を上げるように、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１７）乃至（２４）のいずれかに記載の画像処理装置。
（２６） 前記コードナンバ割当部は、主観画質を最適にするように、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１７）乃至（２５）のいずれかに記載の画像処理装置。
（２７） 前記コードナンバ割当部は、スライス毎に、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１７）に記載の画像処理装置。
（２８） 前記コードナンバの割り当て方が変更可能な可変モードであることを示すフラグを取得するフラグ取得部をさらに備え、
前記コードナンバ割当部は、前記フラグ取得部により取得された前記フラグにより前記可変モードであることが示される場合、前記予測動きベクトル情報に対するコードナンバの割り当て方を制御する
前記（１６）乃至（２７）のいずれかに記載の画像処理装置。
（２９） 画像処理装置の画像処理方法であって、
コードナンバ割当部が、画像の動きの特徴に応じて、予測動きベクトル情報に対するコードナンバの割り当て方を制御し、
予測動きベクトル再構築部が、処理対象である当該領域の予測動きベクトル情報のコードナンバを取得し、決定された割り当て方に従って、前記コードナンバから前記予測動きベクトル情報を再構築する
画像処理方法。
５１ 画像符号化装置， ６６ 可逆符号化部， ７４ イントラ予測部， ７５ 動き予測・補償部， ７６ 予測動きベクトル生成部， ７７コードナンバ割当部， ９１ 動き探索部， ９２ コスト関数算出部，９３ 最適予測動きベクトル選択部， ９４ モード判定部， ９５ 動き補償部， １０１ 画像復号装置， １１２ 可逆復号部， １２１ イントラ予測部， １２２ 動き予測・補償部， １２３ コードナンバ割当バッファ， １２４ 予測動きベクトル生成部， １３１ 差分ベクトルバッファ， １３２ ブロックレベルコードナンババッファ， １３３ 動きベクトル生成部， １３４ 動きベクトルバッファ， １３５ 動き補償部，１５１ 画像符号化装置， １６１ コードナンバ割当部， １６２ 可逆符号化部， １６３ 最適コードナンバ割当判定部

Claims (12)

  1. 画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築する予測動きベクトル再構築部と、
    前記予測動きベクトル再構築部により再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する復号部と
    を備える画像処理装置。
  2. 前記復号部は、前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分と前記予測動きベクトルとを用いて、前記カレントブロックの動きベクトルを生成する
    請求項１に記載の画像処理装置。
  3. 前記復号部は、前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分に前記予測動きベクトルを加算することにより、前記カレントブロックの動きベクトルを生成する
    請求項２に記載の画像処理装置。
  4. 前記予測動きベクトルに対応するコードナンバの割り当て方を識別する識別データを含むビットストリームから、前記識別データを取得する取得部を更に備え、
    前記予測動きベクトル再構築部は、前記取得部により取得された前記識別データを用いて、前記カレントブロックの予測動きベクトルを再構築する
    請求項３に記載の画像処理装置。
  5. 前記識別データは、前記ビットストリームのスライスヘッダに含まれており、
    前記取得部は、前記ビットストリームのスライスヘッダから前記識別データを取得する
    請求項４に記載の画像処理装置。
  6. 画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築し、
    再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する
    画像処理方法。
  7. 前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分と前記予測動きベクトルとを用いて、前記カレントブロックの動きベクトルを生成する
    請求項６に記載の画像処理方法。
  8. 前記カレントブロックの動きベクトルと前記予測動きベクトルとの差分に前記予測動きベクトルを加算することにより、前記カレントブロックの動きベクトルを生成する
    請求項７に記載の画像処理方法。
  9. 前記予測動きベクトルに対応するコードナンバの割り当て方を識別する識別データを含むビットストリームから、前記識別データを取得し、
    取得された前記識別データを用いて、前記カレントブロックの予測動きベクトルを再構築する
    請求項８に記載の画像処理方法。
  10. 前記識別データは、前記ビットストリームのスライスヘッダに含まれており、
    前記ビットストリームのスライスヘッダから前記識別データを取得する
    請求項４に記載の画像処理装置。
  11. コンピュータを、
    画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築する予測動きベクトル再構築部と、
    前記予測動きベクトル再構築部により再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する復号部と
    して機能させるためのプログラム。
  12. コンピュータを、
    画像の処理対象であるカレントブロックの予測動きベクトルを対象として空間予測動きベクトルに対応するコードナンバの値が時間予測動きベクトルに対応するコードナンバよりも小さい値に割り当てられたコードナンバを用いて、前記カレントブロックの予測動きベクトルを再構築する予測動きベクトル再構築部と、
    前記予測動きベクトル再構築部により再構築された予測動きベクトルを用いて、前記カレントブロックの動きベクトルを生成する復号部と
    して機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2016229770A 2010-04-01 2016-11-28 画像処理装置および方法、プログラム、並びに、記録媒体 Active JP6268556B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010085236 2010-04-01
JP2010085236 2010-04-01
JP2010222298 2010-09-30
JP2010222298 2010-09-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015176319A Division JP6057140B2 (ja) 2010-04-01 2015-09-08 画像処理装置および方法、プログラム、並びに、記録媒体

Publications (2)

Publication Number Publication Date
JP2017073809A true JP2017073809A (ja) 2017-04-13
JP6268556B2 JP6268556B2 (ja) 2018-01-31

Family

ID=

Also Published As

Publication number Publication date
KR101633153B1 (ko) 2016-06-23
CO6571864A2 (es) 2012-11-30
AU2011236288A1 (en) 2012-11-01
KR20160075828A (ko) 2016-06-29
EP2555524A1 (en) 2013-02-06
CN107241604A (zh) 2017-10-10
JP6033081B2 (ja) 2016-11-30
BR112012024167A2 (pt) 2016-06-28
CN107241604B (zh) 2020-11-03
RU2012140740A (ru) 2014-05-10
KR101702822B1 (ko) 2017-02-06
CN110381314A (zh) 2019-10-25
ZA201207006B (en) 2013-01-30
TW201515445A (zh) 2015-04-16
US20200154113A1 (en) 2020-05-14
JPWO2011125411A1 (ja) 2013-07-08
KR20170015536A (ko) 2017-02-08
WO2011125411A1 (ja) 2011-10-13
KR101794486B1 (ko) 2017-11-06
JP6057140B2 (ja) 2017-01-11
US20190306514A1 (en) 2019-10-03
US10362316B2 (en) 2019-07-23
CN110381314B (zh) 2021-08-24
CN110460852A (zh) 2019-11-15
CN110460860A (zh) 2019-11-15
MX2012010863A (es) 2012-10-15
CN107318025B (zh) 2020-12-29
EP2555524A4 (en) 2016-01-06
KR20130023206A (ko) 2013-03-07
JP2016026440A (ja) 2016-02-12
CN107295346A (zh) 2017-10-24
CN102812708A (zh) 2012-12-05
KR101780921B1 (ko) 2017-09-21
JP6033250B2 (ja) 2016-11-30
JP2014143709A (ja) 2014-08-07
US20130022125A1 (en) 2013-01-24
US10917649B2 (en) 2021-02-09
CA2791677A1 (en) 2011-10-13
KR20170015535A (ko) 2017-02-08
CN102812708B (zh) 2017-04-26
US10609387B2 (en) 2020-03-31
CN107318025A (zh) 2017-11-03
TW201143457A (en) 2011-12-01
CN107295346B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
JP6057140B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
JP5234368B2 (ja) 画像処理装置および方法
WO2010101064A1 (ja) 画像処理装置および方法
WO2011024685A1 (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2011086963A1 (ja) 画像処理装置および方法
JP2013005077A (ja) 画像処理装置および方法
JP2014143716A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2012019447A (ja) 画像処理装置および方法
JP6268556B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
WO2011125625A1 (ja) 画像処理装置および方法
JP2013012860A (ja) 画像処理装置および方法
JP2013150347A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171213

R151 Written notification of patent or utility model registration

Ref document number: 6268556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151