JP2013098899A

JP2013098899A - 符号化装置および符号化方法、並びに、復号装置および復号方法

Info

Publication number: JP2013098899A
Application number: JP2011242150A
Authority: JP
Inventors: Kenji Kondo; 健治近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-11-04
Filing date: 2011-11-04
Publication date: 2013-05-20
Also published as: CN103907354A; WO2013065572A1; US20140254687A1

Abstract

【課題】インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させる。
【解決手段】予測ベクトル変換部は、画像圧縮情報に含まれる検出精度情報に応じて、動きベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、予測ベクトルに対して丸め処理を行うことにより1/4画素精度の予測ベクトルを生成する。動きベクトル生成部は、その1/4画素精度の予測ベクトルと、画像圧縮情報に含まれる差分ベクトルとを加算することにより、動きベクトルを生成する。インター予測部と演算部は、動きベクトルを用いて動き補償処理を行うことにより、画像を復号する。本技術は、例えば、復号装置に適用することができる。
【選択図】図７

Description

本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。

画像を圧縮する標準規格として、H．264/MPEG（Moving Picture Experts Group）-4 Part10 Advanced Video Coding（以下H．264/AVCという）がある。

H.264/AVCにおいては、フレームまたはフィールド間の相関に注目したインター予測が行われる。インター予測では、符号化済みの画像内の一部の領域を用いて動き補償処理が行われ、予測画像が生成される。

近年、この動き補償処理において、動きベクトルの分解能を2分の1や4分の1といった分数精度に向上させることにより、動き補償処理の精度を高めることが考えられている。

分数精度の動き補償処理では、参照画像の隣接する画素の間にSub pelと呼ばれる仮想的な分数位置の画素を設定し、そのSub pelを生成する処理（以下、インターポーレーションという）が追加して行われる（例えば、非特許文献１参照）。即ち、分数精度の動き補償処理では、動きベクトルの最小分解能が画素の分数倍になるため、分数位置の画素を生成するためのインターポーレーションが行われる。

インターポーレーションに用いられるフィルタであるインターポーレーションフィルタ（Interpolation filter(IF)）としては、通常、有限インパルス応答フィルタ(FIR（Finite Impulse Response） Filter)が用いられる。

以上のようにして動き補償処理の精度が向上すると、予測画像の品質は改善するが、その改善量は、一般的に、動き補償処理の精度が高まるにつれて低減する。また、動きベクトルは、符号化ストリームに含められて伝送される。従って、動きベクトルの精度を向上させ過ぎると、予測画像の品質が改善されても、その改善量以上に動きベクトルの情報量が増加し、符号化効率が悪化する。

Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting,Working Draft 4 of High-Efficiency Video Coding,JCTVC-F803_d2,Torino, IT, 14-22 July,2011

ところで、動きベクトルの予測方向が双方向である場合、一方向である場合に比べて、予測ブロック当たりの動きベクトルの数は２倍になる。また、予測ブロックのブロックサイズが小さい場合、ブロックサイズが大きい場合に比べて、ピクチャ当たりの動きベクトルの数は多くなる。

このように、伝送する動きベクトルの数が多い場合、動き補償処理の精度の向上により予測画像の精度が向上しても、動きベクトルの情報量の増加により、符号化効率が向上しない場合がある。

本技術は、このような状況に鑑みてなされたものであり、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができるようにするものである。

本技術の第１の側面の復号装置は、符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取り部と、前記受け取り部により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部と、
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部とを備える復号装置である。

本技術の第１の側面の復号方法は、本技術の第１の側面の復号装置に対応する。

本技術の第１の側面においては、符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報が受け取られ、前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理が行われることにより前記所定の精度より低い精度の前記予測ベクトルが生成され、前記所定の精度より低い精度の前記予測ベクトルと、前記差分とが加算されることにより、前記動きベクトルが生成され、前記動きベクトルを用いて動き補償処理が行われることにより、前記画像が復号される。

本技術の第２の側面の符号化装置は、符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出部と、前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出部と、前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化部と、前記符号化部により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送部とを備える符号化装置である。

本技術の第２の側面の符号化方法は、本技術の第２の側面の符号化装置に対応する。

本技術の第２の側面においては、符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルが検出され、前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルが検出され、前記動きベクトルを用いて動き補償処理が行われることにより、前記符号化対象の画像が符号化され、符号化された前記符号化対象の画像と前記動きベクトルが伝送される。

本技術の第１の側面によれば、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。

本技術の第２の側面によれば、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。

本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。図１の動き予測部の構成例を示すブロック図である。図１の符号化装置による符号化処理を説明する第１のフローチャートである。図１の符号化装置による符号化処理を説明する第２のフローチャートである。 L0動き予測処理を説明する第１のフローチャートである。双方向動き予測処理を説明する第２のフローチャートである。本技術を適用した復号装置の構成例を示すブロック図である。図７の復号装置による復号処理を説明するフローチャートである。コンピュータの一実施の形態の構成例を示すブロック図である。テレビジョン受像機の主な構成例を示すブロック図である。携帯電話機の主な構成例を示すブロック図である。ハードディスクレコーダの主な構成例を示すブロック図である。カメラの主な構成例を示すブロック図である。

＜一実施の形態＞
［符号化装置の一実施の形態の構成例］
図１は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。

図１の符号化装置１０は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、イントラ予測部２３、インター予測部２４、動き予測部２５、選択部２６、およびレート制御部２７により構成される。図１の符号化装置１０は、入力された画像を圧縮符号化する。

具体的には、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。そして、画面並べ替えバッファ１２は、並び替え後の画像を、スライス単位、LCU（Largest Coding Unit）単位、およびCU（Coding Unit）単位に順に分割し、演算部１３、イントラ予測部２３、および動き予測部２５に出力する。

演算部１３は、符号化部として機能し、選択部２６から供給される予測画像と、画面並べ替えバッファ１２から出力された符号化対象の画像の差分を演算することにより、符号化を行う。具体的には、演算部１３は、画面並べ替えバッファ１２から出力された符号化対象の画像から、選択部２６から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。なお、選択部２６から予測画像が供給されない場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像をそのまま残差情報として直交変換部１４に出力する。

直交変換部１４は、演算部１３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１５に供給する。

量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６に入力される。

可逆符号化部１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部２３から取得し、最適インター予測モードを示す情報（以下、インター予測モード情報という）、予測ブロックの動きベクトルと予測ベクトルとの差分である差分ベクトル(mvd)などをインター予測部２４から取得する。

可逆符号化部１６は、量子化部１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。

また、可逆符号化部１６は、差分ベクトルを取得した場合、差分ベクトルの絶対値を指数ゴロム符号で２値化する。指数ゴロム符号は、データ部であるサフィックスのビット数だけ０が連続するプリフィックス、セパレータとしての１、および、サフィックスとしての０または１の系列により構成される。従って、差分ベクトルの絶対値のビット数が多くなるほど、即ち、差分ベクトルの絶対値の分解能が高いほど、指数ゴロム符号の符号量は多くなる。可逆符号化部１６は、２値化された差分ベクトルの絶対値と差分ベクトルのプラスマイナスの符号を差分ベクトル情報として生成する。

また、可逆符号化部１６は、イントラ予測モード情報、または、インター予測モード情報および差分ベクトル情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部１６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１７に供給し、蓄積させる。

蓄積バッファ１７は、可逆符号化部１６から供給される画像圧縮情報を、一時的に記憶する。また、蓄積バッファ１７は、伝送部として機能し、例えば、後段の図示せぬ記録装置や伝送路などに伝送する。

また、量子化部１５より出力された、量子化された係数は、逆量子化部１８にも入力され、逆量子化された後、逆直交変換部１９に供給される。

逆直交変換部１９は、逆量子化部１８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。

加算部２０は、逆直交変換部１９から供給される復号対象の画像としての残差情報と、選択部２６から供給される予測画像を加算して、局部的に復号された画像を得る。なお、選択部２６から予測画像が供給されない場合、加算部２０は、逆直交変換部１９から供給される残差情報を局部的に復号された画像とする。加算部２０は、局部的に復号された画像をデブロックフィルタ２１に供給するとともに、参照画像としてイントラ予測部２３に供給する。

デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２１は、その結果得られる画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてインター予測部２４および動き予測部２５に出力される。

イントラ予測部２３は、画面並べ替えバッファ１２から読み出された画像と、加算部２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。

このとき、イントラ予測部２３は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部２６に供給する。イントラ予測部２３は、選択部２６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。

Cost(Mode)=D＋λ・R ・・・（１）

Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。

Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２）

Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。

インター予測部２４は、動き予測部２５から供給されるインター予測モード情報と動きベクトルに基づいて、フレームメモリ２２から参照画像を読み出す。インター予測部２４は、動きベクトルとフレームメモリ２２から読み出された参照画像とに基づいて、インター予測処理を行う。具体的には、インター予測部２４は、動きベクトルに基づいて参照画像に対してインターポーレーションを行うことにより、分数精度の動き補償処理を行う。インター予測部２４は、その結果生成される予測画像と、動き予測部２５から供給されるコスト関数値とを選択部２６に供給する。

なお、インター予測モードとは、予測ブロックのサイズ、予測方向、参照インデックス、および符号化モードを表す情報である。予測方向には、インター予測の対象とする画像よりも表示時刻が早い参照画像を用いた前方向の予測（L0予測）、インター予測の対象とする画像よりも表示時刻が遅い参照画像を用いた後方向の予測（L1予測）、およびインター予測の対象とする画像よりも表示時刻が早い参照画像と遅い参照画像を用いた両方向の予測（双方向予測（Bi-prediction））がある。

また、参照インデックスとは、参照画像を特定するための番号であり、例えば、インター予測の対象とする画像に近い画像の参照インデックスほど番号が小さい。符号化モードには、差分ベクトルと残差情報を０とし、差分ベクトル情報と残差情報を伝送しないスキップモード、差分ベクトルのみを０とし、残差情報を伝送するが差分ベクトル情報を伝送しないマージモード、差分ベクトルと残差情報の両方を０にせず、差分ベクトル情報と残差情報を伝送する通常モードなどがある。

また、インター予測部２４は、選択部２６から最適インター予測モードで生成された予測画像の選択が通知された場合、動きベクトルと予測ベクトルから差分ベクトルを求める。予測ベクトル（pmv）としては、現在の予測ブロックに空間的に近い予測ブロックまたは時間的に近い周辺位置の予測ブロックの動きベクトルのうち、現在の予測ブロックの動きベクトルとの差分が最も小さい動きベクトルが採用される。インター予測部２４は、求められた差分ベクトル、インター予測モード情報、予測ベクトルとして選択された動きベクトルを表すpmv選択情報、検出精度情報などを可逆符号化部１６に出力する。なお、検出精度情報とは、予測方向がL0予測またはL1予測である場合の動きベクトルの精度より、予測方向が双方向である場合の動きベクトルの精度が低いことを表す情報である。

動き予測部２５は、画面並べ替えバッファ１２から供給される画像と、フレームメモリ２２から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動きベクトルを、そのインター予測モードの予測方向に応じた分数精度で検出する。

また、動き予測部２５は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測部２５は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部２４に供給する。

選択部２６は、イントラ予測部２３およびインター予測部２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。また、選択部２６は、最適予測モードの予測画像の選択をイントラ予測部２３またはインター予測部２４に通知する。

レート制御部２７は、蓄積バッファ１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。

［動き予測部の構成例］
図２は、図１の動き予測部２５の構成例を示すブロック図である。

図２において、動き予測部２５は、L0動き検出部４１、L1動き検出部４２、双方向動き検出部４３、および決定部４４により構成される。

L0動き検出部４１は、高精度動き検出部として機能し、整数ベクトル検出部５１、1/2ベクトル検出部５２、1/4ベクトル検出部５３、および1/8ベクトル検出部５４により構成される。L0動き検出部４１は、予測方向としてL0予測を表すインター予測モードごとの動きベクトルを1/8画素精度で検出する。

具体的には、L0動き検出部４１には、予測方向としてL0予測を表すインター予測モードごとに、画面並べ変えバッファ１２から供給される符号化対象の画像と、フレームメモリ２２から読みされた参照画像としての符号化対象の画像よりも表示時刻が早い画像とが供給される。

整数ベクトル検出部５１は、符号化対象の画像と参照画像を用いて、予測方向としてL0予測を表すインター予測モードごとに、整数画素精度で動きベクトルを検出する。具体的には、整数ベクトル検出部５１は、符号化対象の画像の予測ブロックとの差分が最も小さくなる参照画像のブロックを検出する。そして、整数ベクトル検出部５１は、予測ブロックの位置に対する検出された参照画像のブロックの位置を表す動きベクトルを、予測ブロックに対する参照画像の整数画素精度の動きベクトルとして検出する。整数ベクトル検出部５１は、検出された整数画素精度の動きベクトルを1/2ベクトル検出部５２に供給する。

1/2ベクトル検出部５２は、整数ベクトル検出部５１から供給される整数画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部５２は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の参照ブロックを生成する。

そして、1/2ベクトル検出部５２は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部５１と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/2画素精度で動きベクトルを検出する。1/2ベクトル検出部５２は、検出された1/2画素精度の動きベクトルを1/4ベクトル検出部５３に供給する。

1/4ベクトル検出部５３は、1/2ベクトル検出部５２から供給される1/2画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部５３は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の参照ブロックを生成する。

そして、1/4ベクトル検出部５３は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部５１と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/4画素精度で動きベクトルを検出する。1/4ベクトル検出部５３は、検出された1/4画素精度の動きベクトルを1/8ベクトル検出部５４に供給する。

1/8ベクトル検出部５４は、1/4ベクトル検出部５３から供給される1/4画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/8ベクトル検出部５４は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/8画素位置の3×3画素の参照ブロックを生成する。

そして、1/8ベクトル検出部５４は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部５１と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/8画素精度で動きベクトルを検出する。

また、1/8ベクトル検出部５４は、検出された予測方向としてL0予測を表すインター予測モードごとの1/8画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を算出する。そして、1/8ベクトル検出部５４は、コスト関数値が最小となるインター予測モードを、予測方向としてL0予測を表すインター予測モードの最適モード（以下、L0最適インター予測モードという）に決定する。1/8ベクトル検出部５４は、L0最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部４４に供給する。

L1動き検出部４２は、高精度動き検出部として機能し、整数ベクトル検出部６１、1/2ベクトル検出部６２、1/4ベクトル検出部６３、および1/8ベクトル検出部６４により構成される。L1動き検出部４２は、予測方向としてL1予測を表すインター予測モードごとの動きベクトルを1/8画素精度で検出する。

なお、L1動き検出部４２の各部の処理は、予測方向としてL1予測を表すインター予測モードごとに行われ、参照画像として符号化対象の画像よりも表示時刻が遅い画像がフレームメモリ２２から読み出される点を除いて、L0動き検出部４１の各部の処理と同様であるので、説明は省略する。

双方向動き検出部４３は、低精度動き検出部として機能し、整数ベクトル検出部７１、1/2ベクトル検出部７２、1/4ベクトル検出部７３、整数ベクトル検出部７４、1/2ベクトル検出部７５、および1/4ベクトル検出部７６により構成される。双方向動き検出部４３は、予測方向として双方向予測を表すインター予測モードごとの動きベクトルを1/4画素精度で検出する。

具体的には、双方向動き検出部４３には、予測方向として双方向予測を表すインター予測モードごとに、画面並べ変えバッファ１２から供給される符号化対象の画像、並びに、フレームメモリ２２から読みされた参照画像としての符号化対象の画像よりも表示時刻が早い画像および遅い画像が供給される。

整数ベクトル検出部７１は、1/4ベクトル検出部６３により検出された後ろ方向の1/4画素精度の動きベクトルに基づいて、符号化対象の画像よりも表示時刻が遅い参照画像（以下、後ろ参照画像という）に対してインターポーレーションを行う。これにより、整数ベクトル検出部７１は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の後ろ参照ブロックを生成する。

整数ベクトル検出部７１は、予測方向として双方向予測を表すインター予測モードごとに、後ろ参照ブロック、符号化対象の画像よりも表示時刻が早い参照画像（以下、前参照画像という）、および符号化対象の画像を用いて、整数画素精度で前方向の動きベクトルを検出する。具体的には、整数ベクトル検出部７１は、予測方向として双方向予測を表すインター予測モードごとに、後ろ参照ブロックと前参照画像を合成し、その結果得られる画像と符号化対象の画像の予測ブロックとの差分が最も小さくなる前参照画像のブロックを検出する。そして、整数ベクトル検出部７１は、予測ブロックの位置に対する検出された前参照画像のブロックの位置を表す動きベクトルを、前方向の整数画素精度の動きベクトルとして検出する。整数ベクトル検出部７１は、検出された前方向の整数画素精度の動きベクトルを、1/2ベクトル検出部７２に供給する。

1/2ベクトル検出部７２は、整数ベクトル検出部７１から供給される前方向の整数画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部７２は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の前参照ブロックを生成する。

そして、1/2ベクトル検出部７２は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、1/2画素精度で前方向の動きベクトルを検出する。1/2ベクトル検出部７２は、検出された前方向の1/2画素精度の動きベクトルを1/4ベクトル検出部７３に供給する。

1/4ベクトル検出部７３は、1/2ベクトル検出部７２から供給される前方向の1/2画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部７３は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。

そして、1/4ベクトル検出部７３は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、1/4画素精度で前方向の動きベクトルを検出する。1/4ベクトル検出部７３は、検出された前方向の1/4画素精度の動きベクトルを整数ベクトル検出部７４と1/4ベクトル検出部７６に供給する。

整数ベクトル検出部７４は、1/4ベクトル検出部７３から供給される前方向の1/4画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、整数ベクトル検出部７４は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。

整数ベクトル検出部７４は、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、前参照ブロック、後ろ参照画像、および符号化対象の画像を用いて、整数画素精度で後ろ方向の動きベクトルを検出する。整数ベクトル検出部７４は、検出された後ろ方向の整数画素精度の動きベクトルを、1/2ベクトル検出部７５に供給する。

1/2ベクトル検出部７５と1/4ベクトル検出部７６の処理は、前参照画像ではなく後ろ参照画像に対してインターポーレーションを行い、前方向ではなく後ろ方向の動きベクトルを検出する点を除いて、1/2ベクトル検出部７２と1/4ベクトル検出部７３の処理と同様である。

但し、1/4ベクトル検出部７６は、予測方向として双方向予測を表すインター予測モードごとの、1/4ベクトル検出部７３からの前方向の1/4画素精度の動きベクトル、後ろ方向の1/4画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を算出する。そして、1/4ベクトル検出部７６は、コスト関数値が最小となるインター予測モードを、予測方向として双方向予測を表すインター予測モードの最適モード（以下、双方向最適インター予測モードという）に決定する。1/4ベクトル検出部７６は、双方向最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部４４に供給する。

決定部４４は、1/8ベクトル検出部５４、1/8ベクトル検出部６４、および、1/4ベクトル検出部７６から供給されるコスト関数値から最小値を検出する。決定部４４は、その最小値に対応して供給されるL0最適インター予測モード、予測方向としてL1予測を表すインター予測モードの最適モード（以下、L1最適インター予測モードという）、または双方向最適インター予測モードを最適インター予測モードに決定する。決定部４４は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部２４（図１）に供給する。

［符号化装置の処理の説明］
図３および図４は、図１の符号化装置１０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置１０に入力されるたびに行われる。

図３のステップＳ１０において、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。

ステップＳ１１において、画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２は、並べ替え後のフレーム単位の画像を、スライス単位、LCU、およびCU単位に順に分割し、演算部１３、イントラ予測部２３、および動き予測部２５に供給する。以降のステップＳ１２乃至Ｓ３１の処理は、例えばCU単位で行われる。

ステップＳ１２において、イントラ予測部２３は、画面並べ替えバッファ１２から供給される画像と、加算部２０から供給される参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。また、イントラ予測部２３は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部２６に供給する。

ステップＳ１３において、動き予測部２５は、画面並べ替えバッファ１２から供給される画像に対して、フレームメモリ２２から供給される参照画像を用いて、候補となる全てのインター予測モードの動き予測処理を行う。この動き予測処理の詳細は、後述する図５および図６を参照して説明する。

ステップＳ１４において、動き予測部２５の決定部４４（図２）は、ステップＳ１３の動き予測処理により得られたコスト関数値が最小であるインター予測モードを最適インター予測モードに決定する。そして、決定部４４は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部２４に供給する。

ステップＳ１５において、インター予測部２４は、動き予測部２５から供給される動きベクトルとインター予測モード情報に基づいて、最適インター予測モードのインター予測を行い、予測画像を生成する。インター予測部２４は、生成された予測画像と、動き予測部２５から供給されるコスト関数値とを選択部２６に供給する。

ステップＳ１６において、選択部２６は、イントラ予測部２３およびインター予測部２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。

ステップＳ１７において、選択部２６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１７で最適予測モードが最適インター予測モードであると判定された場合、選択部２６は、最適インター予測モードで生成された予測画像の選択をインター予測部２４に通知する。

そして、ステップＳ１８において、インター予測部２４は、動きベクトルと予測ベクトルから差分ベクトルを求める。このとき、動きベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、インター予測部２４は、予測ベクトル変換部として機能し、予測ベクトルに対して丸め処理を行うことにより、1/4画素精度の予測ベクトルを生成する。そして、インター予測部２４は、1/4画素精度の予測ベクトルを用いて差分ベクトルを求める。インター予測部２４は、求められた差分ベクトル、インター予測モード情報、pmv選択情報、および検出精度情報を可逆符号化部１６に出力する。

ステップＳ１９において、可逆符号化部１６は、インター予測部２４から供給される差分ベクトルから差分ベクトル情報を生成し、インター予測モード情報、差分ベクトル情報、pmv選択情報、および検出精度情報を可逆符号化する。可逆符号化部１６は、その結果得られる情報を圧縮画像に付加されるヘッダ情報とし、処理をステップＳ２１に進める。

一方、ステップＳ１７で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部２６は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２３に通知する。これにより、イントラ予測部２３は、イントラ予測モード情報を可逆符号化部１６に供給する。

そして、ステップＳ２０において、可逆符号化部１６は、イントラ予測部２３から供給されるイントラ予測モード情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ２１に進む。

ステップＳ２１において、演算部１３は、画面並べ替えバッファ１２から供給される画像から、選択部２６から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。

ステップＳ２２において、直交変換部１４は、演算部１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１５に供給する。

ステップＳ２３において、量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６と逆量子化部１８に入力される。

ステップＳ２４において、可逆符号化部１６は、量子化部１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１６は、ステップＳ１９またはＳ２０の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。

図４のステップＳ２５において、可逆符号化部１６は、画像圧縮情報を蓄積バッファ１７に供給し、蓄積させる。

ステップＳ２６において、蓄積バッファ１７は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

ステップＳ２７において、逆量子化部１８は、量子化部１５から供給される量子化された係数を逆量子化する。

ステップＳ２８において、逆直交変換部１９は、逆量子化部１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。

ステップＳ２９において、加算部２０は、逆直交変換部１９から供給される残差情報と、選択部２６から供給される予測画像を加算し、局部的に復号された画像を得る。加算部２０は、得られた画像をデブロックフィルタ２１に供給するとともに、参照画像としてイントラ予測部２３に供給する。

ステップＳ３０において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去する。

ステップＳ３１において、デブロックフィルタ２１は、フィルタリング後の画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてインター予測部２４および動き予測部２５に出力される。そして、処理は終了する。

なお、図３および図４の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。また、可逆符号化部１６において、差分ベクトル情報および量子化された係数が必ず可逆符号化されるようにしたが、実際には、符号化モードによって可逆符号化されない場合もある。即ち、スキップモードである場合、差分ベクトル情報と量子化された係数は可逆符号化されず、マージモードである場合、差分ベクトル情報は可逆符号化されない。

図５は、図３のステップＳ１３の動き予測処理のうちの、予測方向としてL0予測を表すインター予測モードの動きベクトルを検出するL0動き予測処理を説明するフローチャートである。

ステップＳ５１において、整数ベクトル検出部５１は、画面並べ変えバッファ１２から供給される符号化対象の画像と、フレームメモリ２２から読みされた前参照画像を用いて、予測方向としてL0予測を表すインター予測モードごとに、整数画素精度の動きベクトルを検出する。整数ベクトル検出部５１は、検出された整数画素精度の動きベクトルを1/2ベクトル検出部５２に供給する。

ステップＳ５２において、1/2ベクトル検出部５２は、整数ベクトル検出部５１から供給される整数画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部５２は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の参照ブロックを生成する。

ステップＳ５３において、1/2ベクトル検出部５２は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部５１と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/2画素精度の動きベクトルを検出する。1/2ベクトル検出部５２は、検出された1/2画素精度の動きベクトルを1/4ベクトル検出部５３に供給する。

ステップＳ５４において、1/4ベクトル検出部５３は、1/2ベクトル検出部５２から供給される1/2画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部５３は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の参照ブロックを生成する。

ステップＳ５５において、1/4ベクトル検出部５３は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部５１と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/4画素精度の動きベクトルを検出する。1/4ベクトル検出部５３は、検出された1/4画素精度の動きベクトルを1/8ベクトル検出部５４に供給する。

ステップＳ５６において、1/8ベクトル検出部５４は、1/4ベクトル検出部５３から供給される1/4画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/8ベクトル検出部５４は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/8画素位置の3×3画素の参照ブロックを生成する。

ステップＳ５７において、1/8ベクトル検出部５４は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部５１と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/8画素精度の動きベクトルを検出する。

ステップＳ５８において、1/8ベクトル検出部５４は、検出された予測方向としてL0予測を表すインター予測モードごとの1/8画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を求める。そして、1/8ベクトル検出部５４は、コスト関数値が最小となるインター予測モードを、L0最適インター予測モードに決定し、L0最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部４４に供給する。

なお、予測方向としてL1予測を表すインター予測モードの動きベクトルを検出するL1動き予測処理は、図５のL0動き予測処理と同様であるので、説明は省略する。

図６は、図３のステップＳ１３の動き予測処理のうちの、予測方向として双方向予測を表すインター予測モードの動きベクトルを検出する双方向動き予測処理を説明するフローチャートである。

ステップＳ７０において、整数ベクトル検出部７１は、1/4ベクトル検出部６３により検出された後ろ方向の1/4画素精度の動きベクトルに基づいて、フレームメモリ２２から読みされた後ろ参照画像に対してインターポーレーションを行う。これにより、整数ベクトル検出部７１は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の後ろ参照ブロックを生成する。

ステップＳ７１において、整数ベクトル検出部７１は、予測方向として双方向予測を表すインター予測モードごとに、後ろ参照ブロック、前参照画像、および符号化対象の画像を用いて、前方向の整数画素精度の動きベクトルを検出する。整数ベクトル検出部７１は、検出された前方向の整数画素精度の動きベクトルを、1/2ベクトル検出部７２に供給する。

ステップＳ７２において、1/2ベクトル検出部７２は、整数ベクトル検出部７１から供給される前方向の整数画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部７２は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の前参照ブロックを生成する。

ステップＳ７３において、1/2ベクトル検出部７２は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、前方向の1/2画素精度の動きベクトルを検出する。1/2ベクトル検出部７２は、検出された前方向の1/2画素精度の動きベクトルを1/4ベクトル検出部７３に供給する。

ステップＳ７４において、1/4ベクトル検出部７３は、1/2ベクトル検出部７２から供給される前方向の1/2画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部７３は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。

ステップＳ７５において、1/4ベクトル検出部７３は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、前方向の1/4画素精度の動きベクトルを検出する。1/4ベクトル検出部７３は、検出された前方向の1/4画素精度の動きベクトルを整数ベクトル検出部７４と1/4ベクトル検出部７６に供給する。

ステップＳ７６において、整数ベクトル検出部７４は、1/4ベクトル検出部７３から供給される前方向の1/4画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、整数ベクトル検出部７４は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。

ステップＳ７７において、整数ベクトル検出部７４は、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、前参照ブロック、後ろ参照画像、および符号化対象の画像を用いて、後ろ方向の整数画素精度の動きベクトルを検出する。整数ベクトル検出部７４は、検出された後ろ方向の整数画素精度の動きベクトルを、1/2ベクトル検出部７５に供給する。

ステップＳ７８において、1/2ベクトル検出部７５は、整数ベクトル検出部７４から供給される後ろ方向の整数画素精度の動きベクトルに基づいて、後ろ参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部７５は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の後ろ参照ブロックを生成する。

ステップＳ７９において、1/2ベクトル検出部７５は、生成された後ろ参照ブロック、前参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、後ろ方向の1/2画素精度の動きベクトルを検出する。1/2ベクトル検出部７２は、検出された後ろ方向の1/2画素精度の動きベクトルを1/4ベクトル検出部７６に供給する。

ステップＳ８０において、1/4ベクトル検出部７６は、1/2ベクトル検出部７５から供給される後ろ方向の1/2画素精度の動きベクトルに基づいて、後ろ参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部７６は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の後ろ参照ブロックを生成する。

ステップＳ８１において、1/4ベクトル検出部７６は、生成された後ろ参照ブロック、前参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部７１と同様に、予測方向として双方向予測を表すインター予測モードごとに、後ろ方向の1/4画素精度の動きベクトルを検出する。

ステップＳ８２において、1/4ベクトル検出部７６は、予測方向として双方向予測を表すインター予測モードごとの、ステップＳ７５で検出された前方向の1/4画素精度の動きベクトル、ステップＳ８１で検出された後ろ方向の1/4画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を求める。そして、1/4ベクトル検出部７６は、コスト関数値が最小となるインター予測モードを、双方向最適インター予測モードに決定する。1/4ベクトル検出部７６は、双方向最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部４４に供給し、処理を終了する。

なお、図２の動き予測部２５の双方向動き検出部４３は、後ろ方向の1/4画素精度の動きベクトルを固定したときの前方向の1/4画素精度の動きベクトルの検出と、前方向の1/4画素精度の動きベクトルを固定したときの後ろ方向の1/4画素精度の動きベクトルの検出を１回ずつ行ったが、所定の回数だけ繰り返してもよい。

以上のように、符号化装置１０は、予測方向が双方向予測である場合の動きベクトルの精度を、予測方向がL0予測またはL1予測である場合の動きベクトルの精度より低くする。即ち、予測ブロック当たりの動きベクトルの数が多い場合の動きベクトルの精度を、予測ブロック当たりの動きベクトルの数が少ない場合の動きベクトルの精度より低くする。これにより、動きベクトルの情報量を抑制しつつ動き補償処理の精度を向上させることができる。その結果、符号化効率を向上させることができる。

［復号装置の構成例］
図７は、図１の符号化装置１０から出力される画像圧縮情報を復号する、本技術を適用した復号装置の構成例を示すブロック図である。

図７の復号装置１００は、蓄積バッファ１０１、可逆復号化部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、イントラ予測部１１０、インター予測部１１３、予測ベクトル変換部１１１、動きベクトル生成部１１２、およびスイッチ１１４により構成される。

復号装置１００の蓄積バッファ１０１は、図１の符号化装置１０から画像圧縮情報を受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号化部１０２に供給する。

可逆復号化部１０２は、蓄積バッファ１０１からの画像圧縮情報に対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数とヘッダを得る。可逆復号化部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号化部１０２は、ヘッダに含まれるイントラ予測モード情報などをイントラ予測部１１０に供給する。さらに、可逆復号化部１０２は、ヘッダに含まれる差分ベクトル情報をプラスマイナスの符号と差分ベクトルの絶対値の指数ゴロム符号に分解し、指数ゴロム符号を逆２値化してプラスマイナスの符号を付加することにより差分ベクトルを生成する。

可逆復号化部１０２は、生成された差分ベクトル、並びに、ヘッダに含まれるpmv選択情報および検出精度情報を予測ベクトル変換部１１１に供給する。また、可逆復号化部１０２は、ヘッダに含まれるインター予測モード情報をインター予測部１１３に供給する。さらに、可逆復号化部１０２は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ１１４に供給する。

逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、イントラ予測部１１０、および、インター予測部１１３は、図１の逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、イントラ予測部２３、および、インター予測部２４とそれぞれ同様の処理を行い、これにより、画像が復号される。

具体的には、逆量子化部１０３は、可逆復号化部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

逆直交変換部１０４は、逆量子化部１０３からの係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

加算部１０５は、復号部として機能し、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１４から供給される予測画像を加算することにより、復号を行う。加算部１０５は、復号の結果得られる画像をデブロックフィルタ１０６に供給するとともに、参照画像としてイントラ予測部１１０に供給する。なお、スイッチ１１４から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像をデブロックフィルタ１０６に供給するとともに、参照画像としてイントラ予測部１１０に供給する。

デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてインター予測部１１３に供給される。

画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。

D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

イントラ予測部１１０は、加算部１０５から供給される参照画像を用いて、可逆復号化部１０２から供給されるイントラ予測モード情報が表すイントラ予測モードのイントラ予測を行い、予測画像を生成する。そして、イントラ予測部１１０は、予測画像をスイッチ１１４に供給する。

予測ベクトル変換部１１１は、保持している動きベクトルのうちの、可逆復号化部１０２から供給されるpmv選択情報が表す動きベクトルを、予測ベクトルとして読み出す。予測ベクトル変換部１１１は、可逆復号化部１０２から供給される検出精度情報に応じて、差分ベクトルの精度が予測ベクトルの精度に比べて低い場合、即ち差分ベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、予測ベクトルに対して丸め処理を行うことにより、1/4画素精度の予測ベクトルを生成する。予測ベクトル変換部１１１は、生成された1/4画素精度の予測ベクトル、または、読み出された予測ベクトルそのものと、差分ベクトルを動きベクトル生成部１１２に供給する。

動きベクトル生成部１１２は、予測ベクトル変換部１１１から供給される予測ベクトルと差分ベクトルを加算することにより、動きベクトルを生成する。動きベクトル生成部１１２は、生成された動きベクトルを、予測ベクトル変換部１１１に供給して保持させるとともに、インター予測部１１３に供給する。

インター予測部１１３は、動きベクトル生成部１１２から供給される動きベクトルと、可逆復号化部１０２から供給されるインター予測モード情報とに基づいて、図１のインター予測部２４と同様に、フレームメモリ１０９から参照画像を読み出す。インター予測部１１３は、動きベクトルとフレームメモリ１０９から読み出された参照画像とに基づいて、インター予測部２４と同様のインター予測処理を行う。インター予測部１１３は、その結果生成される予測画像をスイッチ１１４に供給する。

スイッチ１１４は、可逆復号化部１０２からイントラ予測モード情報が供給された場合、イントラ予測部１１０から供給される予測画像を加算部１０５に供給する。一方、可逆復号化部１０２からインター予測モード情報が供給された場合、インター予測部１１３から供給される予測画像を加算部１０５に供給する。

［復号装置の処理の説明］
図８は、図７の復号装置１００による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置１００に入力されるたびに行われる。

図８のステップＳ１０１において、復号装置１００の蓄積バッファ１０１は、図１の符号化装置１０からフレーム単位の画像圧縮情報を受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号化部１０２に供給する。なお、以下のステップＳ１０２乃至Ｓ１１３の処理は、例えばCU単位で行われる。

ステップＳ１０２において、可逆復号化部１０２は、蓄積バッファ１０１からの画像圧縮情報を可逆復号し、量子化された係数とヘッダを得る。可逆復号化部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号化部１０２は、ヘッダに含まれるイントラ予測モード情報などをイントラ予測部１１０に供給する。さらに、可逆復号化部１０２は、ヘッダに含まれる差分ベクトル情報をプラスマイナスの符号と差分ベクトルの絶対値の指数ゴロム符号に分解し、指数ゴロム符号を逆２値化してプラスマイナスの符号を付加することにより差分ベクトルを生成する。

ステップＳ１０３において、逆量子化部１０３は、可逆復号化部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

ステップＳ１０４において、逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

ステップＳ１０５において、予測ベクトル変換部１１１は、可逆復号化部１０２から差分ベクトル、pmv選択情報、および検出精度情報が供給されたかどうかを判定する。ステップＳ１０５で差分ベクトル、pmv選択情報、および検出精度情報が供給されたと判定された場合、予測ベクトル変換部１１１は、保持している動きベクトルのうちの、可逆復号化部１０２から供給されるpmv選択情報が表す動きベクトルを、予測ベクトルとして読み出す。そして、処理はステップＳ１０６に進む。

ステップＳ１０６において、予測ベクトル変換部１１１は、可逆復号化部１０２から供給される検出精度情報に応じて、差分ベクトルの精度が予測ベクトルの精度に比べて低いかどうかを判定する。差分ベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、ステップＳ１０６で差分ベクトルの精度が予測ベクトルの精度に比べて低いと判定され、処理はステップＳ１０７に進む。

ステップＳ１０７において、予測ベクトル変換部１１１は、予測ベクトルに対して丸め処理を行うことにより1/4画素精度の予測ベクトルを生成し、その予測ベクトルと差分ベクトルを動きベクトル生成部１１２に供給する。そして、処理はステップＳ１０８に進む。

一方、差分ベクトルと予測ベクトルの両方の精度が1/4画素精度または1/8画素精度である場合、ステップＳ１０６で差分ベクトルの精度が予測ベクトルの精度に比べて低くないと判定される。そして、予測ベクトル変換部１１１は、読み出した予測ベクトルそのものと差分ベクトルを動きベクトル生成部１１２に供給し、処理をステップＳ１０８に進める。

ステップＳ１０８において、動きベクトル生成部１１２は、予測ベクトル変換部１１１から供給される予測ベクトルと差分ベクトルを加算することにより、動きベクトルを生成する。動きベクトル生成部１１２は、生成された動きベクトルを、予測ベクトル変換部１１１に供給して保持させるとともに、インター予測部１１３に供給する。

ステップＳ１０９において、インター予測部１１３は、動きベクトル生成部１１２から供給される動きベクトルと、可逆復号化部１０２から供給されるインター予測モード情報に基づいて、図１のインター予測部２４と同様のインター予測処理を行う。インター予測部１１３は、その結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給し、処理をステップＳ１１１に進める。

一方、ステップＳ１０５で差分ベクトル、pmv選択情報、および検出精度情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１１０に供給された場合、処理はステップＳ１１０に進む。

ステップＳ１１０において、イントラ予測部１１０は、加算部１０５から供給される参照画像を用いて、可逆復号化部１０２から供給されるイントラ予測モード情報が表すイントラ予測モードのイントラ予測を行う。そして、イントラ予測部１１０は、その結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給し、処理をステップＳ１１１に進める。

ステップＳ１１１において、加算部１０５は、逆直交変換部１０４から供給される残差情報と、スイッチ１１４から供給される予測画像を加算する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、参照画像としてイントラ予測部１１０に供給する。

ステップＳ１１２において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。

ステップＳ１１３において、デブロックフィルタ１０６は、フィルタリング後の画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてインター予測部１１３に供給される。

ステップＳ１１４において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。

ステップＳ１１５において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

以上のように、復号装置１００は、検出精度情報に応じて、差分ベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、予測ベクトルに対して丸め処理を行うことにより1/4画素精度の予測ベクトルを生成する。従って、符号化装置１０において、予測ブロック当たりの動きベクトルの数が多い場合の動きベクトルの精度を、予測ブロック当たりの動きベクトルの数が少ない場合の動きベクトルの精度より低くすることにより、符号化効率を向上させるように符号化された画像圧縮情報を復号することができる。

なお、本実施の形態では、予測方向がL0予測またはL1予測であるか、双方向予測であるかによって動きベクトルの精度を切り替えたが、動きベクトルの精度は、動きベクトルの数が多い場合と少ない場合で切り替えられれば、切り替え方法はこれに限定されない。例えば、インター予測の予測ブロックのサイズが小さい場合、予測ブロックのサイズが大きい場合より動きベクトルの精度を低くするようにすることもできる。また、予測方向が双方向予測であるか、または、インター予測の予測ブロックのサイズが小さい場合、予測方向がL0予測またはL1予測であり、かつ、予測ブロックのサイズが大きい場合より動きベクトルの精度を低くするようにすることもできる。

また、本実施の形態では、差分ベクトルの絶対値が指数ゴロム符号で２値化されるものとしたが、２値化に用いられる符号は指数ゴロム符号以外の符号であってもよい。

さらに、本実施の形態では、予測方向が双方向予測である場合、全参照画像への動きベクトルの精度が、予測方向がL0予測またはL1予測である場合の精度に比べて低くされたが、一部の参照画像への動きベクトルの精度のみが低くされてもよい。この場合、参照画像ごとに検出精度情報が設定される。

また、本実施の形態では、動きベクトルの精度が1/4画素精度または1/8画素精度に切り替えられたが、動きベクトルの精度はこれに限定されない。例えば、動きベクトルの精度は、1/4画素精度または1/16画素精度に切り替えられるようにしてもよい。

＜本技術を適用したコンピュータの説明＞
次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部４０８やROM（Read Only Memory）４０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア４１１に格納（記録）しておくことができる。このようなリムーバブルメディア４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア４１１からドライブ４１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部４０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)４０１を内蔵しており、CPU４０１には、バス４０４を介して、入出力インタフェース４０５が接続されている。

CPU４０１は、入出力インタフェース４０５を介して、ユーザによって、入力部４０６が操作等されることにより指令が入力されると、それに従って、ROM４０２に格納されているプログラムを実行する。あるいは、CPU４０１は、記憶部４０８に格納されたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。

これにより、CPU４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０５を介して、出力部４０７から出力、あるいは、通信部４０９から送信、さらには、記憶部４０８に記録等させる。

なお、入力部４０６は、キーボードや、マウス、マイク等で構成される。また、出力部４０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

＜テレビジョン受像機の構成例＞
図１０は、本技術を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図１０に示されるテレビジョン受像機５００は、地上波チューナ５１３、ビデオデコーダ５１５、映像信号処理回路５１８、グラフィック生成回路５１９、パネル駆動回路５２０、および表示パネル５２１を有する。

地上波チューナ５１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ５１５に供給する。ビデオデコーダ５１５は、地上波チューナ５１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路５１８に供給する。

映像信号処理回路５１８は、ビデオデコーダ５１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路５１９に供給する。

グラフィック生成回路５１９は、表示パネル５２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路５２０に供給する。また、グラフィック生成回路５１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路５２０に供給するといった処理も適宜行う。

パネル駆動回路５２０は、グラフィック生成回路５１９から供給されたデータに基づいて表示パネル５２１を駆動し、番組の映像や上述した各種の画面を表示パネル５２１に表示させる。

表示パネル５２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路５２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機５００は、音声A/D（Analog/Digital)変換回路５１４、音声信号処理回路５２２、エコーキャンセル／音声合成回路５２３、音声増幅回路５２４、およびスピーカ５２５も有する。

地上波チューナ５１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ５１３は、取得した音声信号を音声A/D変換回路５１４に供給する。

音声A/D変換回路５１４は、地上波チューナ５１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路５２２に供給する。

音声信号処理回路５２２は、音声A/D変換回路５１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、音声信号処理回路５２２から供給された音声データを音声増幅回路５２４に供給する。

音声増幅回路５２４は、エコーキャンセル／音声合成回路５２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ５２５から出力させる。

さらに、テレビジョン受像機５００は、デジタルチューナ５１６およびMPEGデコーダ５１７も有する。

デジタルチューナ５１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ５１７に供給する。

MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ５１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路５２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路５１８に供給する。また、MPEGデコーダ５１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU５３２に供給する。

テレビジョン受像機５００は、このように映像パケットをデコードするMPEGデコーダ５１７として、上述した復号装置１００を用いる。したがって、MPEGデコーダ５１７では、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。

MPEGデコーダ５１７から供給された映像データは、ビデオデコーダ５１５から供給された映像データの場合と同様に、映像信号処理回路５１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路５１９において、生成された映像データ等が適宜重畳され、パネル駆動回路５２０を介して表示パネル５２１に供給され、その画像が表示される。

MPEGデコーダ５１７から供給された音声データは、音声A/D変換回路５１４から供給された音声データの場合と同様に、音声信号処理回路５２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路５２３を介して音声増幅回路５２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ５２５から出力される。

また、テレビジョン受像機５００は、マイクロホン５２６、およびA/D変換回路５２７も有する。

A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、テレビジョン受像機５００のユーザ（ユーザＡ）の音声のデータがA/D変換回路５２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路５２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。

さらに、テレビジョン受像機５００は、音声コーデック５２８、内部バス５２９、SDRAM（Synchronous Dynamic Random Access Memory)５３０、フラッシュメモリ５３１、CPU５３２、USB（Universal Serial Bus) I/F５３３、およびネットワークI/F５３４も有する。

A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック５２８に供給する。

音声コーデック５２８は、A/D変換回路５２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス５２９を介してネットワークI/F５３４に供給する。

ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F５３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック５２８から供給された音声データを送信する。また、ネットワークI/F５３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子５３５を介して受信し、それを、内部バス５２９を介して音声コーデック５２８に供給する。

音声コーデック５２８は、ネットワークI/F５３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、音声コーデック５２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。

SDRAM５３０は、CPU５３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ５３１は、CPU５３２により実行されるプログラムを記憶する。フラッシュメモリ５３１に記憶されているプログラムは、テレビジョン受像機５００の起動時などの所定のタイミングでCPU５３２により読み出される。フラッシュメモリ５３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ５３１には、CPU５３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ５３１は、例えばCPU５３２の制御により、そのMPEG-TSを、内部バス５２９を介してMPEGデコーダ５１７に供給する。

MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機５００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ５１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機５００は、リモートコントローラ５５１から送信される赤外線信号を受光する受光部５３７も有する。

受光部５３７は、リモートコントローラ５５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU５３２に出力する。

CPU５３２は、フラッシュメモリ５３１に記憶されているプログラムを実行し、受光部５３７から供給される制御コードなどに応じてテレビジョン受像機５００の全体の動作を制御する。CPU５３２とテレビジョン受像機５００の各部は、図示せぬ経路を介して接続されている。

USB I/F５３３は、USB端子５３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機５００の外部の機器との間でデータの送受信を行う。ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機５００は、MPEGデコーダ５１７として復号装置１００を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。

＜携帯電話機の構成例＞
図１１は、本技術を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図１１に示される携帯電話機６００は、各部を統括的に制御するようになされた主制御部６５０、電源回路部６５１、操作入力制御部６５２、画像エンコーダ６５３、カメラI/F部６５４、LCD制御部６５５、画像デコーダ６５６、多重分離部６５７、記録再生部６６２、変復調回路部６５８、および音声コーデック６５９を有する。これらは、バス６６０を介して互いに接続されている。

また、携帯電話機６００は、操作キー６１９、CCD（Charge Coupled Devices）カメラ６１６、液晶ディスプレイ６１８、記憶部６２３、送受信回路部６６３、アンテナ６１４、マイクロホン（マイク）６２１、およびスピーカ６１７を有する。

電源回路部６５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機６００を動作可能な状態に起動する。

携帯電話機６００は、CPU、ROMおよびRAM等でなる主制御部６５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機６００は、マイクロホン（マイク）６２１で集音した音声信号を、音声コーデック６５９によってデジタル音声データに変換し、これを変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機６００は、アンテナ６１４で受信した受信信号を送受信回路部６６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部６５８でスペクトラム逆拡散処理し、音声コーデック６５９によってアナログ音声信号に変換する。携帯電話機６００は、その変換して得られたアナログ音声信号をスピーカ６１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機６００は、操作キー６１９の操作によって入力された電子メールのテキストデータを、操作入力制御部６５２において受け付ける。携帯電話機６００は、そのテキストデータを主制御部６５０において処理し、LCD制御部６５５を介して、画像として液晶ディスプレイ６１８に表示させる。

また、携帯電話機６００は、主制御部６５０において、操作入力制御部６５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機６００は、その電子メールデータを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機６００は、復元された電子メールデータを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示する。

なお、携帯電話機６００は、受信した電子メールデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。

この記憶部６２３は、書き換え可能な任意の記憶媒体である。記憶部６２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機６００は、撮像によりCCDカメラ６１６で画像データを生成する。CCDカメラ６１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部６５４を介して、画像エンコーダ６５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機６００は、このような処理を行う画像エンコーダ６５３として、上述した符号化装置１０を用いる。したがって、画像エンコーダ６５３は、符号化装置１０の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。

なお、携帯電話機６００は、このとき同時に、CCDカメラ６１６で撮像中にマイクロホン（マイク）６２１で集音した音声を、音声コーデック６５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機６００は、多重分離部６５７において、画像エンコーダ６５３から供給された符号化画像データと、音声コーデック６５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機６００は、その結果得られる多重化データを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機６００は、CCDカメラ６１６で生成した画像データを、画像エンコーダ６５３を介さずに、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機６００は、多重分離部６５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機６００は、画像デコーダ６５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ６１８に表示される。

携帯電話機６００は、このような処理を行う画像デコーダ６５６として、上述した復号装置１００を用いる。したがって、画像デコーダ６５６は、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。

このとき、携帯電話機６００は、同時に、音声コーデック６５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ６１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機６００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。

また、携帯電話機６００は、主制御部６５０において、撮像されてCCDカメラ６１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機６００は、赤外線通信部６８１で赤外線により外部の機器と通信することができる。

携帯電話機６００は、画像エンコーダ６５３として符号化装置１０を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。

また、携帯電話機６００は、画像デコーダ６５６として復号装置１００を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。

なお、以上において、携帯電話機６００が、CCDカメラ６１６を用いるように説明したが、このCCDカメラ６１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機６００は、CCDカメラ６１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機６００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機６００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機６００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。

＜ハードディスクレコーダの構成例＞
図１２は、本技術を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図１２に示されるハードディスクレコーダ（HDDレコーダ）７００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ７００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ７００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ７００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることができる。

ハードディスクレコーダ７００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図１２に示されるように、ハードディスクレコーダ７００は、受信部７２１、復調部７２２、デマルチプレクサ７２３、オーディオデコーダ７２４、ビデオデコーダ７２５、およびレコーダ制御部７２６を有する。ハードディスクレコーダ７００は、さらに、EPGデータメモリ７２７、プログラムメモリ７２８、ワークメモリ７２９、ディスプレイコンバータ７３０、OSD（On Screen Display）制御部７３１、ディスプレイ制御部７３２、記録再生部７３３、D/Aコンバータ７３４、および通信部７３５を有する。

また、ディスプレイコンバータ７３０は、ビデオエンコーダ７４１を有する。記録再生部７３３は、エンコーダ７５１およびデコーダ７５２を有する。

受信部７２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部７２６に出力する。レコーダ制御部７２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ７２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部７２６は、このとき、ワークメモリ７２９を必要に応じて使用する。

通信部７３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部７３５は、レコーダ制御部７２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部７２２は、チューナより供給された信号を、復調し、デマルチプレクサ７２３に出力する。デマルチプレクサ７２３は、復調部７２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ７２４、ビデオデコーダ７２５、またはレコーダ制御部７２６に出力する。

オーディオデコーダ７２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部７３３に出力する。ビデオデコーダ７２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ７３０に出力する。レコーダ制御部７２６は、入力されたEPGデータをEPGデータメモリ７２７に供給し、記憶させる。

ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されたビデオデータを、ビデオエンコーダ７４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部７３３に出力する。また、ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されるビデオデータの画面のサイズを、モニタ７６０のサイズに対応するサイズに変換する。ディスプレイコンバータ７３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ７４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部７３２に出力する。

ディスプレイ制御部７３２は、レコーダ制御部７２６の制御のもと、OSD（On Screen Display）制御部７３１が出力したOSD信号を、ディスプレイコンバータ７３０より入力されたビデオ信号に重畳し、モニタ７６０のディスプレイに出力し、表示させる。

モニタ７６０にはまた、オーディオデコーダ７２４が出力したオーディオデータが、D/Aコンバータ７３４によりアナログ信号に変換されて供給されている。モニタ７６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部７３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部７３３は、例えば、オーディオデコーダ７２４より供給されるオーディオデータを、エンコーダ７５１によりMPEG方式でエンコードする。また、記録再生部７３３は、ディスプレイコンバータ７３０のビデオエンコーダ７４１より供給されるビデオデータを、エンコーダ７５１によりMPEG方式でエンコードする。記録再生部７３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部７３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部７３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部７３３は、デコーダ７５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部７３３は、復号したオーディオデータをD/A変換し、モニタ７６０のスピーカに出力する。また、記録再生部７３３は、復号したビデオデータをD/A変換し、モニタ７６０のディスプレイに出力する。

レコーダ制御部７２６は、受信部７２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ７２７から最新のEPGデータを読み出し、それをOSD制御部７３１に供給する。OSD制御部７３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部７３２に出力する。ディスプレイ制御部７３２は、OSD制御部７３１より入力されたビデオデータをモニタ７６０のディスプレイに出力し、表示させる。これにより、モニタ７６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ７００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部７３５は、レコーダ制御部７２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部７２６に供給する。レコーダ制御部７２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部７３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部７２６および記録再生部７３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部７２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ７３０に供給する。ディスプレイコンバータ７３０は、ビデオデコーダ７２５から供給されるビデオデータと同様に、レコーダ制御部７２６から供給されるビデオデータを処理し、ディスプレイ制御部７３２を介してモニタ７６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部７２６が、復号したオーディオデータを、D/Aコンバータ７３４を介してモニタ７６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部７２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ７２７に供給する。

以上のようなハードディスクレコーダ７００は、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダとして復号装置１００を用いる。したがって、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダは、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。

また、ハードディスクレコーダ７００は、エンコーダ７５１として符号化装置１０を用いる。したがって、エンコーダ７５１は、符号化装置１０の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ７００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ７００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。

＜カメラの構成例＞
図１３は、本技術を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。

図１３に示されるカメラ８００は、被写体を撮像し、被写体の画像をLCD８１６に表示させたり、それを画像データとして、記録メディア８３３に記録したりする。

レンズブロック８１１は、光（すなわち、被写体の映像）を、CCD/CMOS８１２に入射させる。CCD/CMOS８１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部８１３に供給する。

カメラ信号処理部８１３は、CCD/CMOS８１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部８１４に供給する。画像信号処理部８１４は、コントローラ８２１の制御の下、カメラ信号処理部８１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ８４１で例えばMPEG方式により符号化したりする。画像信号処理部８１４は、画像信号を符号化して生成した符号化データを、デコーダ８１５に供給する。さらに、画像信号処理部８１４は、オンスクリーンディスプレイ（OSD）８２０において生成された表示用データを取得し、それをデコーダ８１５に供給する。

以上の処理において、カメラ信号処理部８１３は、バス８１７を介して接続されるDRAM（Dynamic Random Access Memory）８１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM８１８に保持させる。

デコーダ８１５は、画像信号処理部８１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD８１６に供給する。また、デコーダ８１５は、画像信号処理部８１４から供給された表示用データをLCD８１６に供給する。LCD８１６は、デコーダ８１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ８２０は、コントローラ８２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス８１７を介して画像信号処理部８１４に出力する。

コントローラ８２１は、ユーザが操作部８２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス８１７を介して、画像信号処理部８１４、DRAM８１８、外部インタフェース８１９、オンスクリーンディスプレイ８２０、およびメディアドライブ８２３等を制御する。FLASH ROM８２４には、コントローラ８２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５に代わって、DRAM８１８に記憶されている画像データを符号化したり、DRAM８１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部８１４やデコーダ８１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部８２２から画像印刷の開始が指示された場合、コントローラ８２１は、DRAM８１８から画像データを読み出し、それを、バス８１７を介して外部インタフェース８１９に接続されるプリンタ８３４に供給して印刷させる。

さらに、例えば、操作部８２２から画像記録が指示された場合、コントローラ８２１は、DRAM８１８から符号化データを読み出し、それを、バス８１７を介してメディアドライブ８２３に装着される記録メディア８３３に供給して記憶させる。

記録メディア８３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア８３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ８２３と記録メディア８３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース８１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ８３４と接続される。また、外部インタフェース８１９には、必要に応じてドライブ８３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア８３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM８２４にインストールされる。

さらに、外部インタフェース８１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ８２１は、例えば、操作部８２２からの指示に従って、DRAM８１８から符号化データを読み出し、それを外部インタフェース８１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ８２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース８１９を介して取得し、それをDRAM８１８に保持させたり、画像信号処理部８１４に供給したりすることができる。

以上のようなカメラ８００は、デコーダ８１５として復号装置１００用いる。したがって、デコーダ８１５は、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。

また、カメラ８００は、エンコーダ８４１として符号化装置１０を用いる。したがって、エンコーダ８４１は、符号化装置１０の場合と同様に、インター予測の精度の悪化を抑制しつつ、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。

なお、コントローラ８２１が行う復号処理に復号装置１００の復号方法を適用するようにしてもよい。同様に、コントローラ８２１が行う符号化処理に符号化装置１０の符号化方法を適用するようにしてもよい。

また、カメラ８００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、符号化装置１０および復号装置１００は、上述した装置以外の装置やシステムにも適用可能である。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は、以下のような構成もとることができる。

（１）
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部と、
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部と
を備える復号装置。
（２）
前記動きベクトルは、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で検出され、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で検出される
前記（１）に記載の復号装置。
（３）
復号装置が、
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換ステップと、
前記予測ベクトル変換ステップの処理により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取りステップの処理により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成ステップと、
前記動きベクトル生成ステップの処理により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号ステップと
を含む復号方法。
（４）
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出部と、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出部と、
前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化部と、
前記符号化部により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送部と
を備える符号化装置。
（５）
前記高精度動き検出部は、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で前記動きベクトルを検出し、
前記低精度動き検出部は、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で前記動きベクトルを検出する
前記（４）に記載の符号化装置。
（６）
前記伝送部は、前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記インター予測の予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を伝送する
前記（４）に記載の符号化装置。
（７）
前記伝送部は、前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルと、前記符号化対象の画像に近い画像の動きベクトルである予測ベクトルとの差分を伝送する
前記（４）乃至（６）のいずれかに記載の符号化装置。
（８）
前記動きベクトルが前記所定の精度より低い精度で検出され、前記予測ベクトルが前記所定の精度で検出された場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部
をさらに備え、
前記伝送部は、前記動きベクトルと、前記所定の精度より低い精度の前記予測ベクトルとの差分を伝送する
前記（７）に記載の符号化装置。
（９）
符号化装置が、
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出ステップと、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出ステップと、
前記高精度動き検出ステップまたは前記低精度動き検出ステップの処理により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化ステップと、
前記符号化ステップの処理により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送ステップと
を含む符号化方法。

１０符号化装置，１３演算部，１７蓄積バッファ，２４インター予測部，４１ L0動き検出部，４２ L1動き検出部，４３双方向動き検出部，１００復号装置，１０１蓄積バッファ，１０５加算部，１１１予測ベクトル変換部，１１２動きベクトル生成部

Claims

符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部と、
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部と
を備える復号装置。
前記動きベクトルは、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で検出され、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で検出される
請求項１に記載の復号装置。
復号装置が、
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換ステップと、
前記予測ベクトル変換ステップの処理により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取りステップの処理により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成ステップと、
前記動きベクトル生成ステップの処理により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号ステップと
を含む復号方法。
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出部と、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出部と、
前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化部と、
前記符号化部により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送部と
を備える符号化装置。
前記高精度動き検出部は、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で前記動きベクトルを検出し、
前記低精度動き検出部は、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で前記動きベクトルを検出する
請求項４に記載の符号化装置。
前記伝送部は、前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記インター予測の予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を伝送する
請求項４に記載の符号化装置。
前記伝送部は、前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルと、前記符号化対象の画像に近い画像の動きベクトルである予測ベクトルとの差分を伝送する
請求項４に記載の符号化装置。
前記動きベクトルが前記所定の精度より低い精度で検出され、前記予測ベクトルが前記所定の精度で検出された場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部
をさらに備え、
前記伝送部は、前記動きベクトルと、前記所定の精度より低い精度の前記予測ベクトルとの差分を伝送する
請求項７に記載の符号化装置。
符号化装置が、
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出ステップと、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出ステップと、
前記高精度動き検出ステップまたは前記低精度動き検出ステップの処理により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化ステップと、
前記符号化ステップの処理により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送ステップと
を含む符号化方法。