JP2010200147A

JP2010200147A - Motion compensation prediction device and image encoding device

Info

Publication number: JP2010200147A
Application number: JP2009044456A
Authority: JP
Inventors: Takayuki Itsui; 貴之井對; Kanji Sakate; 寛治坂手; Shinichi Hattori; 伸一服部; Nobuaki Motoyama; 信明本山; Yukinari Matsuda; 幸成松田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-02-26
Filing date: 2009-02-26
Publication date: 2010-09-09

Abstract

<P>PROBLEM TO BE SOLVED: To compensate motion in a time direct mode in partial time direct blocks even when a memory having enough capacity to secure motion vectors of all anchor blocks in an anchor picture can not be secured. <P>SOLUTION: A representative vector RV defined for a plurality of anchor blocks B<SB>A</SB>in common is input to calculate differential information DI of a motion vector MV of the anchor blocks B<SB>A</SB>from the representative vector RV; the differential information DI is expressed with a bit width smaller than the bit width of the motion vector MV; and time direct vector information TDVI is calculated from the differential information DI and the representative vector RV. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、Ｂピクチャ内の時間ダイレクトブロックの動きベクトルの情報を示す時間ダイレクトベクトル情報を算出する動き補償予測装置と、その動き補償予測装置を実装している画像符号化装置とに関するものである。 The present invention relates to a motion compensated prediction apparatus that calculates temporal direct vector information indicating information on motion vectors of temporal direct blocks in a B picture, and an image coding apparatus that implements the motion compensated prediction apparatus. .

ＩＴＵ（国際電気通信連合）によって勧告されている動画データの圧縮符号化方式の一つであるＨ．２６４／ＡＶＣには、Ｂピクチャの符号化に用いることができる予測モードの一つとして、「時間ダイレクトモード」が規格されている（例えば、非特許文献１を参照）。
時間ダイレクトモードは、Ｂピクチャの参照ピクチャの中の一枚であるアンカーピクチャ（通常、後方向予測に用いる参照ピクチャのうち、表示時刻が符号化対象のＢピクチャに最も近いピクチャ）において、Ｂピクチャにおける符号化対象のブロック（以下、「時間ダイレクトブロック」と称する）と同位置のブロック（以下、「アンカーブロック」と称する）の動きベクトルを線形補正し、線形補正後の動きベクトル（以下、「時間ダイレクトベクトル」と称する）を用いて、Ｂピクチャにおける時間ダイレクトブロックの動き補償を行うモードである。
なお、時間ダイレクトモードで動き補償を行う場合、符号化データに動きベクトルの情報が不要になる利点がある。 H. is one of the video data compression encoding systems recommended by the ITU (International Telecommunication Union). In H.264 / AVC, “temporal direct mode” is standardized as one of prediction modes that can be used for encoding a B picture (see, for example, Non-Patent Document 1).
In the temporal direct mode, an anchor picture (usually a reference picture used for backward prediction whose display time is closest to the B picture to be encoded) is one of the reference pictures of the B picture. The motion vector of the block (hereinafter referred to as “anchor block”) at the same position as the block to be encoded (hereinafter referred to as “time direct block”) is linearly corrected, and the motion vector after linear correction (hereinafter referred to as “ This is a mode for performing motion compensation of temporal direct blocks in a B picture using a “temporal direct vector”.
In addition, when motion compensation is performed in the temporal direct mode, there is an advantage that motion vector information is not necessary for encoded data.

ただし、時間ダイレクトモードで動き補償を行う場合、予測残差を求める際に参照するブロックを指定する動きベクトルである時間ダイレクトベクトルとして、Ｂピクチャ内の時間ダイレクトブロックに対応するアンカーピクチャ内のアンカーブロックの動きベクトルを線形補正することで算出する必要がある。
そのため、時間ダイレクトモードにおける予測残差を正確に求めるには、アンカーピクチャ内の全てのアンカーブロックの動きベクトルを保持しておく必要がある。 However, when motion compensation is performed in the temporal direct mode, an anchor block in an anchor picture corresponding to a temporal direct block in a B picture is used as a temporal direct vector that is a motion vector for designating a block to be referred to when obtaining a prediction residual. Must be calculated by linearly correcting the motion vector.
Therefore, in order to accurately obtain the prediction residual in the temporal direct mode, it is necessary to hold the motion vectors of all anchor blocks in the anchor picture.

ITU-T Recommendation H.264 (2005),“Advanced video coding for generic audiovisual Services”, March 2005, pp. 144-146ITU-T Recommendation H.264 (2005), “Advanced video coding for generic audiovisual Services”, March 2005, pp. 144-146

従来の動き補償予測装置は以上のように構成されているので、アンカーピクチャ内の全てのアンカーブロックの動きベクトルを保持しておけば、時間ダイレクトモードで動き補償を行うことができる。しかし、アンカーピクチャ内の全てのアンカーブロックの動きベクトルを保持するには、多くのメモリ領域を必要とする。このため、アンカーピクチャ内の全てのアンカーブロックの動きベクトルを保持するのに十分な容量のメモリを確保することができない場合、時間ダイレクトモードで動き補償を行うことができなくなるなどの課題があった。 Since the conventional motion compensation prediction apparatus is configured as described above, if the motion vectors of all anchor blocks in the anchor picture are held, motion compensation can be performed in the temporal direct mode. However, in order to hold the motion vectors of all anchor blocks in the anchor picture, a large memory area is required. For this reason, there is a problem that it is impossible to perform motion compensation in the temporal direct mode when it is impossible to secure a memory having a sufficient capacity to hold the motion vectors of all anchor blocks in the anchor picture. .

この発明は上記のような課題を解決するためになされたもので、アンカーピクチャ内の全てのアンカーブロックの動きベクトルを保持するのに十分な容量のメモリを確保することができない場合でも、一部の時間ダイレクトブロックでは、時間ダイレクトモードで動き補償を行うことができる動き補償予測装置及び画像符号化装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and even when a memory having a sufficient capacity to hold the motion vectors of all anchor blocks in the anchor picture cannot be secured, a part of the invention is provided. In the temporal direct block, an object is to obtain a motion compensated prediction apparatus and an image encoding apparatus capable of performing motion compensation in the temporal direct mode.

この発明に係る動き補償予測装置は、符号化対象の複数のアンカーブロックに対して共通に定められている代表ベクトルを入力して、その代表ベクトルに対するアンカーブロックの動きベクトルの差分情報を算出し、その差分情報を動きベクトルのビット幅より小さいビット幅で表現して出力する差分情報算出手段と、その差分情報算出手段から出力された差分情報を符号化対象のアンカーブロック毎に格納する差分情報格納手段とを設け、時間ダイレクトベクトル情報算出手段が差分情報格納手段によりアンカーブロック毎に格納されている差分情報と代表ベクトルから、時間ダイレクトブロックの動きベクトルの情報を示す時間ダイレクトベクトル情報を算出するようにしたものである。 The motion compensated prediction apparatus according to the present invention inputs a representative vector defined in common for a plurality of anchor blocks to be encoded, calculates difference information of the motion vector of the anchor block with respect to the representative vector, Difference information calculation means for expressing and outputting the difference information with a bit width smaller than the bit width of the motion vector, and difference information storage for storing the difference information output from the difference information calculation means for each anchor block to be encoded Means for calculating temporal direct vector information indicating motion vector information of the temporal direct block from the difference information stored for each anchor block by the differential information storage means and the representative vector. It is a thing.

この発明によれば、符号化対象の複数のアンカーブロックに対して共通に定められている代表ベクトルを入力して、その代表ベクトルに対するアンカーブロックの動きベクトルの差分情報を算出し、その差分情報を動きベクトルのビット幅より小さいビット幅で表現して出力する差分情報算出手段と、その差分情報算出手段から出力された差分情報を符号化対象のアンカーブロック毎に格納する差分情報格納手段とを設け、時間ダイレクトベクトル情報算出手段が差分情報格納手段によりアンカーブロック毎に格納されている差分情報と代表ベクトルから、時間ダイレクトブロックの動きベクトルの情報を示す時間ダイレクトベクトル情報を算出するように構成したので、アンカーピクチャ内の全てのアンカーブロックの動きベクトルを保持するのに十分な容量のメモリを確保することができない場合でも、一部の時間ダイレクトブロックでは、時間ダイレクトモードで動き補償を行うことができる効果がある。 According to the present invention, a representative vector defined in common for a plurality of anchor blocks to be encoded is input, difference information of a motion vector of the anchor block with respect to the representative vector is calculated, and the difference information is calculated. Difference information calculating means for expressing and outputting with a bit width smaller than the bit width of the motion vector and difference information storing means for storing the difference information output from the difference information calculating means for each anchor block to be encoded are provided. Since the time direct vector information calculation means is configured to calculate time direct vector information indicating motion vector information of the time direct block from the difference information stored for each anchor block by the difference information storage means and the representative vector. , Keep motion vectors of all anchor blocks in anchor picture Even if it is not possible to secure a sufficient capacity of memory to that, in some temporal direct blocks, there is an effect that it is possible to perform motion compensation in temporal direct mode.

この発明の実施の形態１による動き補償予測装置を示す構成図である。It is a block diagram which shows the motion compensation prediction apparatus by Embodiment 1 of this invention. ＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_ＢとアンカーピクチャＰ_Ａ内のアンカーブロックＢ_Ａとの関係を示す説明図である。Is an explanatory view showing the relationship between the anchor block B _A of the temporal direct block B _B and the anchor pictures P _A in the B-picture P _B. この発明の実施の形態１による動き補償予測装置の時間ダイレクトベクトル情報算出部５を示す構成図である。It is a block diagram which shows the time direct vector information calculation part 5 of the motion compensation prediction apparatus by Embodiment 1 of this invention. 代表ベクトル算出部１の処理内容を示すフローチャートである。3 is a flowchart showing processing contents of a representative vector calculation unit 1. 差分情報算出部３の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the difference information calculation part 3. FIG. 時間ダイレクトベクトル情報算出部５の代表時間ダイレクトベクトル算出部１１及び差分時間ダイレクトベクトル情報算出部１３の処理内容を示すフローチャートである。4 is a flowchart showing processing contents of a representative time direct vector calculation unit 11 and a differential time direct vector information calculation unit 13 of the time direct vector information calculation unit 5. 時間ダイレクトベクトル情報算出部５の加算器１４及び切換スイッチ１５の処理内容を示すフローチャートである。4 is a flowchart showing processing contents of an adder 14 and a changeover switch 15 of the temporal direct vector information calculation unit 5. この発明の実施の形態２による動き補償予測装置を実装している画像符号化装置を示す構成図である。It is a block diagram which shows the image coding apparatus which mounts the motion compensation prediction apparatus by Embodiment 2 of this invention.

実施の形態１．
図１はこの発明の実施の形態１による動き補償予測装置を示す構成図であり、図２はＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_ＢとアンカーピクチャＰ_Ａ内のアンカーブロックＢ_Ａとの関係を示す説明図である。
図１，２において、アンカーピクチャＰ_ＡはＢピクチャＰ_Ｂの参照ピクチャの中の一枚であり、ＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_ＢとアンカーピクチャＰ_Ａ内のアンカーブロックＢ_Ａとは同じ位置のブロックである。
なお、アンカーピクチャＰ_Ａの符号化は、ＢピクチャＰ_Ｂの符号化に先立って行われる。 Embodiment 1 FIG.
Figure 1 is a block diagram showing a motion compensation prediction apparatus according to the first embodiment of the invention, Figure 2 the relationship between the anchor block B _A of the temporal direct block B _B and the anchor pictures P _A in the B-picture P _B It is explanatory drawing which shows.
1 and 2, anchor picture _{P A} is the one in the reference picture of the B picture _{P B,} and an anchor block _{B A} of the temporal direct block _{B B} and the anchor pictures _{P A} in the B-picture _{P B} is It is a block at the same position.
Note that the encoding of the anchor picture P _A is performed prior to encoding of B pictures P _B.

ＭＶはアンカーブロックＢ_Ａの動きベクトル、ＲＶは符号化対象の複数のアンカーブロックＢ_Ａに対して共通に定められている代表ベクトルである。
ＤＩは代表ベクトルＲＶに対する動きベクトルＭＶの差分情報である。
ＴＤＶＩは時間ダイレクトブロックＢ_Ｂの動きベクトルの情報を示す時間ダイレクトベクトル情報である。
ＲＴＤＶは複数の時間ダイレクトブロックＢ_Ｂの時間ダイレクトベクトル情報ＴＤＶＩを算出する際に共通に用いられる代表時間ダイレクトベクトルである。
ＤＴＤＶＩは代表時間ダイレクトベクトルＲＴＤＶに対する時間ダイレクトベクトル情報ＴＤＶＩの差分を示す差分時間ダイレクトベクトル情報であり、後述するように、差分情報ＤＩが線形補正されることで算出される。 MV is a motion vector of the anchor block B _A , and RV is a representative vector defined in common for a plurality of anchor blocks B _A to be encoded.
DI is difference information of the motion vector MV with respect to the representative vector RV.
TDVI is time direct vector information indicating the information of the motion vector of a temporal direct block B _B.
RTDV are representative temporal direct vector commonly used in calculating the temporal direct vector information TDVI multiple temporal direct block B _B.
DTDVI is difference time direct vector information indicating the difference of the time direct vector information TDVI with respect to the representative time direct vector RTDV, and is calculated by linearly correcting the difference information DI, as will be described later.

代表ベクトル算出部１は符号化対象の複数のアンカーブロックＢ_Ａに対して共通に定められる代表ベクトルＲＶを算出する処理を実施する。なお、代表ベクトル算出部１は代表ベクトル算出手段を構成している。
代表ベクトル格納部２は代表ベクトル算出部１により算出された代表ベクトルＲＶを格納するメモリである。なお、代表ベクトル格納部２は代表ベクトル格納手段を構成している。 Representative vector calculation unit 1 carries out a process of calculating a representative vector RV defined in common to a plurality of anchor blocks B _A of the encoding target. The representative vector calculation unit 1 constitutes representative vector calculation means.
The representative vector storage unit 2 is a memory that stores the representative vector RV calculated by the representative vector calculation unit 1. The representative vector storage unit 2 constitutes representative vector storage means.

差分情報算出部３は代表ベクトル格納部２により格納されている代表ベクトルＲＶに対する符号化対象のアンカーブロックＢ_Ａの動きベクトルＭＶの差分情報ＤＩを算出し、その差分情報ＤＩを動きベクトルＭＶのビット幅より小さいビット幅で表現して差分情報格納部４に出力する処理を実施する。なお、差分情報算出部３は差分情報算出手段を構成している。
差分情報格納部４は差分情報算出部３から出力された差分情報ＤＩを符号化対象のアンカーブロックＢ_Ａ毎に格納するメモリである。なお、差分情報格納部４は差分情報格納手段を構成している。 The difference information calculation unit 3 calculates the difference information DI of the motion vector MV of the anchor block B _A of the coded the representative vector RV stored by the representative vector storage section 2, a bit of the motion vector MV and the difference information DI A process of expressing the bit width smaller than the width and outputting it to the difference information storage unit 4 is performed. The difference information calculation unit 3 constitutes a difference information calculation unit.
Difference information storage unit 4 is a memory for storing the difference information DI output from the difference information calculation unit 3 for each anchor block B _A of the encoding target. The difference information storage unit 4 constitutes a difference information storage unit.

時間ダイレクトベクトル情報算出部５は差分情報格納部４によりアンカーブロックＢ_Ａ毎に格納されている差分情報ＤＩと代表ベクトル格納部２により格納されている代表ベクトルＲＶから、時間ダイレクトブロックＢ_Ｂの動きベクトルの情報を示す時間ダイレクトベクトル情報ＴＤＶＩを算出する処理を実施する。なお、時間ダイレクトベクトル情報算出部５は時間ダイレクトベクトル情報算出手段を構成している。 Time from the representative vector RV direct vector information calculating section 5 is stored by the anchor block B _A and difference information DI stored for each representative vector storage section 2 by the difference information storing unit 4, the movement of the temporal direct block B _B Processing for calculating temporal direct vector information TDVI indicating vector information is performed. The time direct vector information calculation unit 5 constitutes time direct vector information calculation means.

図３はこの発明の実施の形態１による動き補償予測装置の時間ダイレクトベクトル情報算出部５を示す構成図である。
図３において、代表時間ダイレクトベクトル算出部１１は代表ベクトル格納部２により格納されている代表ベクトルＲＶ、符号化対象のＢピクチャＰ_Ｂの表示時刻ｔｃ、ＢピクチャＰ_Ｂが参照する符号化画像の表示時刻ｔｒ、ＢピクチャＰ_Ｂに対するアンカーピクチャＰ_Ａの表示時刻ｔ１及びアンカーピクチャＰ_Ａが参照する符号化画像の表示時刻ｔ０から、代表時間ダイレクトベクトルＲＴＤＶを算出する処理を実施する。 FIG. 3 is a block diagram showing the temporal direct vector information calculation unit 5 of the motion compensated prediction apparatus according to Embodiment 1 of the present invention.
3, the representative temporal direct vector calculation unit 11 representative vector storage unit representative vector RV stored by 2, the display time tc of the B picture P _B to be coded, the encoded image B picture P _B refers display time tr, the display time t0 of encoded image display time t1 and anchor pictures _{P a} of the anchor pictures _{P a} refers to B-picture _{P B,} carries out a process of calculating a representative temporal direct vector RTDV.

代表時間ダイレクトベクトル格納部１２は代表時間ダイレクトベクトル算出部１１により算出された代表時間ダイレクトベクトルＲＴＤＶを格納するメモリである。
差分時間ダイレクトベクトル情報算出部１３は差分情報格納部４によりアンカーブロックＢ_Ａ毎に格納されている差分情報ＤＩを線形補正することで差分時間ダイレクトベクトル情報ＤＴＤＶＩを算出する処理を実施する。即ち、差分情報格納部４によりアンカーブロックＢ_Ａ毎に格納されている差分情報ＤＩ、符号化対象のＢピクチャＰ_Ｂの表示時刻ｔｃ、ＢピクチャＰ_Ｂが参照する符号化画像の表示時刻ｔｒ、ＢピクチャＰ_Ｂに対するアンカーピクチャＰ_Ａの表示時刻ｔ１及びアンカーピクチャＰ_Ａが参照する符号化画像の表示時刻ｔ０から、差分時間ダイレクトベクトル情報ＤＴＤＶＩを算出する処理を実施する。
ただし、差分時間ダイレクトベクトル情報算出部１３は差分情報ＤＩが、後述する「ビット溢れ」を示す情報である場合、「時間ダイレクトモード禁止」を示す情報を差分時間ダイレクトベクトル情報ＤＴＤＶＩとして出力する。 The representative time direct vector storage unit 12 is a memory that stores the representative time direct vector RTDV calculated by the representative time direct vector calculation unit 11.
Differential time direct vector information calculating unit 13 carries out a process of calculating a differential time direct vector information DTDVI by linear correction difference information DI stored by the difference information storing unit 4 for each anchor block B _A. That is, the difference information from the difference information storing unit 4 is stored for each anchor block B _A DI, display time tc of the B picture P _B to be coded, display time tr of the encoded image B picture P _B refers, from the display time t0 encoded image display time t1 and anchor pictures P _a of the anchor pictures P _a refers to B-picture P _B, it carries out a process of calculating a differential time direct vector information DTDVI.
However, when the difference information DI is information indicating “bit overflow” described later, the difference time direct vector information calculation unit 13 outputs information indicating “temporal direct mode prohibition” as difference time direct vector information DTDVI.

加算器１４は代表時間ダイレクトベクトル格納部１２により格納されている代表時間ダイレクトベクトルＲＴＤＶと差分時間ダイレクトベクトル情報算出部１３により算出された差分時間ダイレクトベクトル情報ＤＴＤＶＩの和を時間ダイレクトベクトル情報ＴＤＶＩとして算出する処理を実施する。
切換スイッチ１５は差分時間ダイレクトベクトル情報算出部１３から出力された差分時間ダイレクトベクトル情報ＤＴＤＶＩが「時間ダイレクトモード禁止」を示す情報でない場合、加算器１４により算出された時間ダイレクトベクトル情報ＴＤＶＩを選択して出力し、その差分時間ダイレクトベクトル情報ＤＴＤＶＩが「時間ダイレクトモード禁止」を示す情報である場合、「時間ダイレクトモード禁止」を示す差分時間ダイレクトベクトル情報ＤＴＤＶＩを時間ダイレクトベクトル情報ＴＤＶＩとして出力する処理を実施する。 The adder 14 calculates the sum of the representative time direct vector RTDV stored by the representative time direct vector storage unit 12 and the difference time direct vector information DTDVI calculated by the difference time direct vector information calculation unit 13 as time direct vector information TDVI. Perform the process.
The change-over switch 15 selects the time direct vector information TDVI calculated by the adder 14 when the difference time direct vector information DTDVI output from the difference time direct vector information calculation unit 13 is not information indicating “temporal direct mode prohibited”. When the differential time direct vector information DTDVI is information indicating “temporal direct mode prohibition”, the differential time direct vector information DTDVI indicating “temporal direct mode prohibition” is output as temporal direct vector information TDVI. carry out.

次に動作について説明する。
以下、図４から図７のフローチャートを参照しながら各処理部の動作を説明する。
まず、代表ベクトル算出部１は、符号化対象の複数のアンカーブロックＢ_Ａに対して共通に定められている代表ベクトルＲＶが代表ベクトル格納部２に格納されているか否かを判定する（図４のステップＳＴ１）。
代表ベクトル算出部１は、複数のアンカーブロックＢ_Ａに対して共通に定められている代表ベクトルＲＶが代表ベクトル格納部２に格納されていない場合、差分情報算出部３が差分情報ＤＩの算出に用いる代表ベクトルＲＶを算出する（ステップＳＴ２）。
代表ベクトル算出部１は、代表ベクトルＲＶを算出すると、その代表ベクトルＲＶを代表ベクトル格納部２に格納する（ステップＳＴ３）。 Next, the operation will be described.
Hereinafter, the operation of each processing unit will be described with reference to the flowcharts of FIGS.
First, the representative vector calculation unit 1 determines whether or not the representative vector RV defined in common for the plurality of anchor blocks B _A to be encoded is stored in the representative vector storage unit 2 (FIG. 4). Step ST1).
When the representative vector RV defined in common for the plurality of anchor blocks B _A is not stored in the representative vector storage unit 2, the representative vector calculation unit 1 calculates the difference information DI. A representative vector RV to be used is calculated (step ST2).
After calculating the representative vector RV, the representative vector calculation unit 1 stores the representative vector RV in the representative vector storage unit 2 (step ST3).

以下、代表ベクトルＲＶの算出例を具体的に説明する。
（１）代表ベクトル例１
代表ベクトル算出部１は、アンカーピクチャＰ_Ａ（または、アンカーピクチャＰ_Ａのサブピクチャの画像データ及びアンカーピクチャＰ_Ａの符号化の際に参照される符号化画像（または、符号化画像の原画）の画像データに基づいて、アンカーピクチャＰ_Ａの大域動きベクトル（アンカーピクチャＰ_Ａの全体の動きベクトル）を代表ベクトルＲＶとして算出する。
例えば、アンカーピクチャＰ_Ａや符号化画像における各ブロックの動きベクトルの平均をアンカーピクチャＰ_Ａの大域動きベクトルとして算出する。 Hereinafter, a calculation example of the representative vector RV will be specifically described.
(1) Representative vector example 1
Representative vector calculation unit 1, the anchor pictures P _{A (or} encoded image referred to when the coded image data and the anchor pictures P _A subpicture of anchor pictures P _A (or original encoded image) based on the image data, and calculates the global motion vector of the anchor picture P _a (the whole motion vector of the anchor picture P _a) as a representative vector RV.
For example, an average of the motion vectors of each block in an anchor picture P _A and the encoded image as a global motion vector of the anchor picture P _A.

（２）代表ベクトル例２
代表ベクトル算出部１は、アンカーピクチャＰ_Ａ内に存在しているエッジの検出処理を実施することで、そのエッジによって区切られているアンカーピクチャＰ_Ａ内の各領域を認識し、アンカーピクチャＰ_Ａ内の領域毎に、代表ベクトルを算出する。
アンカーピクチャＰ_Ａ内の領域に、代表ベクトルを算出する方法は特に問わないが、例えば、上記の代表ベクトル例１と同様の方法を用いる場合には、アンカーピクチャＰ_Ａ内の各領域の大域動きベクトルをそれぞれ代表ベクトルとして算出する。 (2) Representative vector example 2
Representative vector calculation unit 1, by performing the detection processing of an edge is present in the anchor picture P _A, it recognizes each region of the anchor pictures P _A which is delimited by the edge, an anchor picture P _A A representative vector is calculated for each area.
The area within the anchor picture P _A, representative but vector no particular limitation on how to calculate, for example, when using the same method as the representative vector Example 1 above, global motion of each region in the anchor picture P _A Each vector is calculated as a representative vector.

（３）代表ベクトル例３
代表ベクトル算出部１は、一定ブロックおきに、符号化対象のアンカーブロックＢ_Ａの動きベクトルＭＶを新規の代表ベクトルＲＶとして代表ベクトル格納部２に格納する。
例えば、符号化対象のアンカーブロックＢ_Ａが所定のライン数（例えば、１０ライン）だけ移動すると、移動後のアンカーブロックＢ_Ａの動きベクトルを新規の代表ベクトルＲＶとして代表ベクトル格納部２に格納する。 (3) Representative vector example 3
The representative vector calculation unit 1 stores the motion vector MV of the anchor block B _{A to be} encoded in the representative vector storage unit 2 as a new representative vector RV every certain block.
For example, when the encoding target anchor block B _A moves by a predetermined number of lines (for example, 10 lines), the motion vector of the anchor block B _A after the movement is stored in the representative vector storage unit 2 as a new representative vector RV. .

（４）代表ベクトル例４
代表ベクトル算出部１は、一定時間おきに、符号化対象のアンカーブロックＢ_Ａの動きベクトルＭＶを新規の代表ベクトルＲＶとして代表ベクトル格納部２に格納する。
例えば、一定時間経過する毎に、そのときの符号化対象のアンカーブロックＢ_Ａの動きベクトルＭＶを新規の代表ベクトルＲＶとして代表ベクトル格納部２に格納する。 (4) Representative vector example 4
Representative vector calculation unit 1, the predetermined time interval, and stores the representative vector storage unit 2 a motion vector MV of the anchor block B _A of the coded as a new representative vector RV.
For example, every time a predetermined time elapses, and stores the representative vector storage unit 2 a motion vector MV of the anchor block B _A of the encoding target at that time as a new representative vector RV.

（５）代表ベクトル例５
常に零ベクトルを代表ベクトルＲＶとして使用する。
この場合、代表ベクトル算出部１や代表ベクトル格納部２は不要になる。 (5) Representative vector example 5
The zero vector is always used as the representative vector RV.
In this case, the representative vector calculation unit 1 and the representative vector storage unit 2 are not necessary.

（６）代表ベクトル例６
代表ベクトル算出部１は、詳細は後述するが、差分情報算出部３により算出される差分ベクトルの水平方向成分又は垂直方向成分の少なくとも一方がＮビットで表現することができない場合、符号化対象のアンカーブロックＢ_Ａの動きベクトルＭＶを新規の代表ベクトルＲＶとして代表ベクトル格納部２に格納する。 (6) Representative vector example 6
As will be described in detail later, the representative vector calculation unit 1 will not be able to express N bits of at least one of the horizontal direction component and the vertical direction component of the difference vector calculated by the difference information calculation unit 3. The motion vector MV of the anchor block B _A is stored in the representative vector storage unit 2 as a new representative vector RV.

（７）代表ベクトル例７
代表ベクトル算出部１は、符号化対象のアンカーブロックＢ_Ａの近隣ブロックの動きベクトルＭＶを代表ベクトルＲＶとして代表ベクトル格納部２に格納する。
即ち、代表ベクトル算出部１は、代表ベクトル格納部２により格納されている代表ベクトルＲＶに、既に符号化されているアンカーブロックＢ_Ａのうち、差分情報算出時に代表ベクトル格納部２により格納されている代表ベクトルＲＶを代表ベクトルとして用いたブロックから上記の近隣ブロックまでの差分情報ＤＩを累積加算することで、符号化対象のアンカーブロックＢ_Ａの代表ベクトルＲＶを算出する。 (7) Representative vector example 7
Representative vector calculation unit 1 is stored in the representative vector storage unit 2 a motion vector MV of the neighboring block of the anchor block B _A of the coded as representative vector RV.
That is, the representative vector calculation unit 1, the representative vector RV stored by the representative vector storage section 2, already out of the anchor block B _A being coded, stored by the representative vector storage section 2 in calculating difference information by cumulatively adding the difference information DI from the block to the neighboring blocks of the using representative vectors RV that are as representative vector, calculates a representative vector RV of the anchor block B _a of the encoding target.

差分情報算出部３は、符号化対象のアンカーブロックＢ_Ａの動きベクトルＭＶを入力すると、代表ベクトル格納部２から代表ベクトルＲＶを取得する（図５のステップＳＴ１１）。
差分情報算出部３は、代表ベクトル格納部２から代表ベクトルＲＶを取得すると、その代表ベクトルＲＶに対する動きベクトルＭＶの差分ベクトルを算出する（ステップＳＴ１２）。 When the difference information calculation unit 3 inputs the motion vector MV of the anchor block B _{A to be} encoded, the difference information calculation unit 3 acquires the representative vector RV from the representative vector storage unit 2 (step ST11 in FIG. 5).
When the difference information calculation unit 3 acquires the representative vector RV from the representative vector storage unit 2, the difference information calculation unit 3 calculates a difference vector of the motion vector MV with respect to the representative vector RV (step ST12).

差分情報算出部３は、差分ベクトルを算出すると、例えば、差分情報格納部４により格納される差分情報ＤＩに割り当てられるビット数が２Ｎビットであるとするとき、その差分ベクトルの水平方向成分及び垂直方向成分の双方がＮビットで表現することが可能であるか否かを判定する（ステップＳＴ１３）。
即ち、差分情報算出部３は、その差分ベクトルの水平方向成分及び垂直方向成分の双方が、Ｘ以上で、Ｙ以下であるか否かを判定する。
Ｘ＝−２^{（Ｎ−１）}＋１
Ｙ＝２^{（Ｎ−１）}−１ When the difference information calculation unit 3 calculates the difference vector, for example, when the number of bits allocated to the difference information DI stored by the difference information storage unit 4 is 2N bits, the horizontal component and the vertical direction of the difference vector are calculated. It is determined whether or not both directional components can be expressed by N bits (step ST13).
That is, the difference information calculation unit 3 determines whether or not both the horizontal direction component and the vertical direction component of the difference vector are X or more and Y or less.
X = -2 ^(N-1) +1
Y = 2 ^(N−1) −1

差分情報算出部３は、差分ベクトルの水平方向成分及び垂直方向成分の双方がＮビットで表現することが可能であれば（Ｘ≦水平方向成分≦Ｙ、かつ、Ｘ≦垂直方向成分≦Ｙ）、その動きベクトルＭＶから代表ベクトルＲＶを引いた差分を差分情報ＤＩとして差分情報格納部４に出力する（ステップＳＴ１４）。
即ち、差分情報算出部３は、差分ベクトルの水平方向成分と垂直方向成分をそれぞれＮビットで表現し、Ｎビット表現の水平方向成分と垂直方向成分を差分情報格納部４に出力する。 If the difference information calculation unit 3 can express both the horizontal component and the vertical component of the difference vector with N bits (X ≦ horizontal component ≦ Y and X ≦ vertical component ≦ Y). The difference obtained by subtracting the representative vector RV from the motion vector MV is output to the difference information storage unit 4 as difference information DI (step ST14).
That is, the difference information calculation unit 3 represents the horizontal direction component and the vertical direction component of the difference vector with N bits, respectively, and outputs the horizontal direction component and the vertical direction component of the N bit representation to the difference information storage unit 4.

差分情報算出部３は、差分ベクトルの水平方向成分又は垂直方向成分の少なくとも一方がＮビットで表現することができなければ（水平方向成分＜Ｘ、または、水平方向成分＞Ｙ、あるいは、垂直方向成分＜Ｘ、または、垂直方向成分＞Ｙ）、「ビット溢れ」を示す情報を差分情報ＤＩとして差分情報格納部４に出力する（ステップＳＴ１５）。
差分情報格納部４は、差分情報算出部３から出力された差分情報ＤＩを符号化対象のアンカーブロックＢ_Ａ毎に格納する。 If at least one of the horizontal direction component and the vertical direction component of the difference vector cannot be expressed by N bits, the difference information calculation unit 3 (horizontal direction component <X or horizontal direction component> Y or vertical direction Component <X or vertical component> Y) and information indicating “bit overflow” are output to the difference information storage unit 4 as difference information DI (step ST15).
Difference information storage unit 4 stores the difference information DI output from the difference information calculation unit 3 for each anchor block B _A of the encoding target.

時間ダイレクトベクトル情報算出部５は、差分情報格納部４によりアンカーブロックＢ_Ａ毎に格納されている差分情報ＤＩと代表ベクトル格納部２により格納されている代表ベクトルＲＶから、時間ダイレクトブロックＢ_Ｂの動きベクトルの情報を示す時間ダイレクトベクトル情報ＴＤＶＩを算出する。
以下、時間ダイレクトベクトル情報算出部５の処理内容を具体的に説明する。 The temporal direct vector information calculation unit 5 calculates the temporal direct block B _B from the differential information DI stored for each anchor block B _A by the differential information storage unit 4 and the representative vector RV stored by the representative vector storage unit 2. Temporal direct vector information TDVI indicating motion vector information is calculated.
Hereinafter, the processing content of the time direct vector information calculation part 5 is demonstrated concretely.

まず、時間ダイレクトベクトル情報算出部５の代表時間ダイレクトベクトル算出部１１は、符号化対象の時間ダイレクトブロックＢ_Ｂに対応する代表時間ダイレクトベクトルＲＴＤＶが代表時間ダイレクトベクトル格納部１２に格納されているか否かを判定する（図６のステップＳＴ２１）。 First, whether or not time representative temporal direct vector calculation unit 11 of the direct vector information calculation section 5, a representative temporal direct vector RTDV corresponding to time direct block B _B to be coded is stored in the representative temporal direct vector storage section 12 Is determined (step ST21 in FIG. 6).

代表時間ダイレクトベクトル算出部１１は、符号化対象の時間ダイレクトブロックＢ_Ｂに対応する代表時間ダイレクトベクトルＲＴＤＶが格納されていない場合、代表ベクトル格納部２により格納されている代表ベクトルＲＶなどを下記の式（１）に代入することで、複数の時間ダイレクトブロックＢ_Ｂの時間ダイレクトベクトル情報ＴＤＶＩを算出する際に共通に用いられる代表時間ダイレクトベクトルＲＴＤＶを算出する（ステップＳＴ２２）。
ＲＴＤＶ＝ＲＶ×（ｔｒ−ｔｃ）／（ｔ１−ｔ０）（１）
ただし、ｔｃ：符号化対象のＢピクチャＰ_Ｂの表示時刻
ｔｒ：ＢピクチャＰ_Ｂが参照する符号化画像の表示時刻
ｔ１：ＢピクチャＰ_Ｂに対するアンカーピクチャＰ_Ａの表示時刻
ｔ０：アンカーピクチャＰ_Ａが参照する符号化画像の表示時刻 Representative temporal direct vector calculation unit 11, when the representative temporal direct vector RTDV corresponding to time direct block B _B to be coded is not stored, such as the following representative vector RV stored by the representative vector storage section 2 by substituting the equation (1), it calculates a representative temporal direct vector RTDV commonly used in calculating the temporal direct vector information TDVI multiple temporal direct block _{B B} (step ST22).
RTDV = RV × (tr−tc) / (t1−t0) (1)
Where tc: display time of the B picture P _{B to be} encoded
tr: Display time of the encoded image referred to by the B picture P _B
t1: display time of anchor pictures _{P A} for the B picture _{P B}
t0: display time of the encoded image anchor picture P _A refers

代表時間ダイレクトベクトル算出部１１は、代表時間ダイレクトベクトルＲＴＤＶを算出すると、その代表時間ダイレクトベクトルＲＴＤＶを代表時間ダイレクトベクトル格納部１２に格納する（ステップＳＴ２３）。 After calculating the representative time direct vector RTDV, the representative time direct vector calculation unit 11 stores the representative time direct vector RTDV in the representative time direct vector storage unit 12 (step ST23).

時間ダイレクトベクトル情報算出部５の差分時間ダイレクトベクトル情報算出部１３は、差分情報格納部４によりアンカーブロックＢ_Ａ毎に格納されている差分情報ＤＩが「ビット溢れ」を示す情報であるか否かを判定する（ステップＳＴ２４）。
差分時間ダイレクトベクトル情報算出部１３は、その差分情報ＤＩが「ビット溢れ」を示す情報でなければ、その差分情報ＤＩを線形補正することで、差分時間ダイレクトベクトル情報ＤＴＤＶＩを算出する（ステップＳＴ２５）。
即ち、差分時間ダイレクトベクトル情報算出部１３は、その差分情報ＤＩなどを下記の式（２）に代入することで、差分時間ダイレクトベクトル情報ＤＴＤＶＩを算出する。
ＤＴＤＶＩ＝ＤＩ×（ｔｒ−ｔｃ）／（ｔ１−ｔ０）（２） Differential time direct vector information calculating unit 13 of the temporal direct vector information calculation unit 5, whether or not the difference information DI to the difference information storage unit 4 are stored in each anchor block B _A is information indicating "overflow bits" Is determined (step ST24).
If the difference information DI is not information indicating “bit overflow”, the difference time direct vector information calculation unit 13 linearly corrects the difference information DI to calculate difference time direct vector information DTDVI (step ST25). .
That is, the difference time direct vector information calculation unit 13 calculates the difference time direct vector information DTDVI by substituting the difference information DI and the like into the following equation (2).
DTDVI = DI × (tr−tc) / (t1−t0) (2)

ただし、差分時間ダイレクトベクトル情報算出部１３は、その差分情報ＤＩが「ビット溢れ」を示す情報である場合、「時間ダイレクトモード禁止」を示す情報を差分時間ダイレクトベクトル情報ＤＴＤＶＩとして出力する（ステップＳＴ２５）。 However, if the difference information DI is information indicating “bit overflow”, the difference time direct vector information calculation unit 13 outputs information indicating “temporal direct mode prohibited” as difference time direct vector information DTDVI (step ST25). ).

時間ダイレクトベクトル情報算出部５の加算器１４は、差分時間ダイレクトベクトル情報算出部１３から出力された差分時間ダイレクトベクトル情報ＤＴＤＶＩが「時間ダイレクトモード禁止」を示す情報でなければ（図７のステップＳＴ３１）、その差分時間ダイレクトベクトル情報ＤＴＤＶＩと代表時間ダイレクトベクトル格納部１２により格納されている代表時間ダイレクトベクトルＲＴＤＶを加算し、その加算結果を時間ダイレクトベクトル情報ＴＤＶＩとして切換スイッチ１５に出力する（ステップＳＴ３２）。 The adder 14 of the time direct vector information calculation unit 5 does not include the difference time direct vector information DTDVI output from the difference time direct vector information calculation unit 13 as information indicating “prohibit time direct mode” (step ST31 in FIG. 7). The difference time direct vector information DTDVI and the representative time direct vector RTDV stored in the representative time direct vector storage unit 12 are added, and the addition result is output to the changeover switch 15 as time direct vector information TDVI (step ST32). ).

時間ダイレクトベクトル情報算出部５の切換スイッチ１５は、差分時間ダイレクトベクトル情報算出部１３から出力された差分時間ダイレクトベクトル情報ＤＴＤＶＩが「時間ダイレクトモード禁止」を示す情報でなければ、加算器１４から出力された時間ダイレクトベクトル情報ＴＤＶＩを選択して出力する（ステップＳＴ３３）。
切換スイッチ１５は、差分時間ダイレクトベクトル情報算出部１３から出力された差分時間ダイレクトベクトル情報ＤＴＤＶＩが「時間ダイレクトモード禁止」を示す情報である場合、その差分時間ダイレクトベクトル情報ＤＴＤＶＩを時間ダイレクトベクトル情報ＴＤＶＩとして出力する（ステップＳＴ３４）。 The changeover switch 15 of the time direct vector information calculation unit 5 outputs from the adder 14 if the difference time direct vector information DTDVI output from the difference time direct vector information calculation unit 13 is not information indicating “temporal direct mode prohibited”. The selected time direct vector information TDVI is selected and output (step ST33).
When the difference time direct vector information DTDVI output from the difference time direct vector information calculation unit 13 is information indicating “prohibit time direct mode”, the changeover switch 15 converts the difference time direct vector information DTDVI into time direct vector information TDVI. (Step ST34).

以上で明らかなように、この実施の形態１によれば、符号化対象の複数のアンカーブロックＢ_Ａに対して共通に定められている代表ベクトルＲＶを入力して、その代表ベクトルＲＶに対するアンカーブロックＢ_Ａの動きベクトルＭＶの差分情報ＤＩを算出し、その差分情報ＤＩを動きベクトルＭＶのビット幅より小さいビット幅で表現して出力する差分情報算出部３と、その差分情報算出部３から出力された差分情報ＤＩを符号化対象のアンカーブロックＢ_Ａ毎に格納する差分情報格納部４とを設け、時間ダイレクトベクトル情報算出部５が差分情報格納部４によりアンカーブロックＢ_Ａ毎に格納されている差分情報ＤＩと代表ベクトルＲＶから、時間ダイレクトブロックＢ_Ｂの動きベクトルの情報を示す時間ダイレクトベクトル情報ＴＤＶＩを算出するように構成したので、アンカーピクチャＰ_Ａ内の全てのアンカーブロックＢ_Ａの動きベクトルＭＶを保持するのに十分な容量のメモリを確保することができない場合でも、一部の時間ダイレクトブロックＢ_Ｂでは、時間ダイレクトモードで動き補償を行うことができる効果を奏する。 As is apparent from the above, according to the first embodiment, a representative vector RV that is commonly defined for a plurality of anchor blocks B _A to be encoded is input, and an anchor block for the representative vector RV is input. _A difference information calculation unit 3 that calculates difference information DI of the motion vector MV of B _A , expresses the difference information DI with a bit width smaller than the bit width of the motion vector MV, and outputs from the difference information calculation unit 3 _A difference information storage unit 4 that stores the difference information DI for each anchor block B _A to be encoded, and the temporal direct vector information calculation unit 5 is stored by the difference information storage unit 4 for each anchor block B _A. from the difference information are DI representative vector RV, a temporal direct block B temporal direct vector information indicating the information of the motion vector T of _B Since it is configured to calculate the VI, even if it is not possible to secure a memory of sufficient capacity to hold the motion vector MV of all anchor blocks B _A in the anchor picture P _A, a portion of the temporal direct The block B _B has an effect that motion compensation can be performed in the temporal direct mode.

即ち、この実施の形態１によれば、差分情報算出部３が代表ベクトルＲＶに対するアンカーブロックＢ_Ａの動きベクトルＭＶの差分情報ＤＩを算出し、その差分情報ＤＩを動きベクトルＭＶのビット幅より小さいビット幅で表現して差分情報格納部４に格納するようにしているので、省メモリ化を図ることができる効果を奏する。
例えば、動きベクトルＭＶがＭビットで表現される場合、アンカーピクチャＰ_Ａにおける動きベクトルＭＶの情報を保持するのに要する総メモリ量を約Ｎ／Ｍとすることができる。 That is, according to the first embodiment, the difference information calculation unit 3 calculates the difference information DI of the motion vector MV of the anchor block B _A the representative vector RV, the bit width is smaller than the motion vector MV and the difference information DI Since it is expressed in the bit width and stored in the difference information storage unit 4, it is possible to save memory.
For example, if the motion vector MV is represented by M bits can be approximately N / M the total amount of memory required to hold the information of the motion vector MV in the anchor picture P _A.

また、後述する画像符号化装置（図１の動き補償予測装置を実装している画像符号化装置）では、保有しているメモリ量に応じて、差分情報ＤＩに割り当てるビット量を調節することが可能であるため、画像符号化装置の保有メモリ量が、アンカーピクチャＰ_Ａ内の全てのアンカーブロックＢ_Ａの動きベクトルＭＶを保持するのに十分でない場合でも、時間ダイレクトモードを部分的に使用することが可能となる。
さらに、代表時間ダイレクトベクトルＲＴＤＶは、複数の時間ダイレクトブロックＢ_Ｂに対して共通に用いることができる。このため、各時間ダイレクトブロックＢ_Ｂにおける時間ダイレクトベクトル情報ＴＤＶＩの算出においては、差分時間ダイレクトベクトル情報ＤＴＤＶＩを算出するためのＮビットの演算を行えばよいので、低演算量での時間ダイレクトモードの実装が可能である。 In addition, in an image encoding device (an image encoding device in which the motion compensated prediction device of FIG. 1 is mounted) described later, the bit amount allocated to the difference information DI can be adjusted according to the amount of memory held. since possible, possess the memory capacity of the image encoding apparatus, even if not enough to hold the motion vector MV of all anchor blocks B _a in the anchor picture P _a, partially using temporal direct mode It becomes possible.
Further, the representative temporal direct vector RTDV can be used in common to a plurality of temporal direct block B _B. Therefore, in the calculation of the temporal direct vector information TDVI at each time direct block B _B, since it is sufficient to operation of N bits for calculating the differential time direct vector information DTDVI, at low calculation amount of temporal direct mode Implementation is possible.

なお、この実施の形態１では、差分情報算出部３が差分情報ＤＩを動きベクトルＭＶのビット幅より小さいビット幅で表現して差分情報格納部４に格納するものについて示したが、差分情報格納部４のメモリ容量を更に小さくすることができるようにするために、差分情報算出部３が差分情報ＤＩに関する統計情報（各差分情報ＤＩが出現する確率）を算出し、その統計情報に基づいて差分情報ＤＩをコンパクト符号化する符号化器を備えるようにしてもよい。
この場合、時間ダイレクトベクトル情報算出部５には、コンパクト符号化されている差分情報ＤＩを復号する復号器（上記符号化器に対応する復号器）を備えている必要がある。 In the first embodiment, the difference information calculation unit 3 expresses the difference information DI with a bit width smaller than the bit width of the motion vector MV and stores it in the difference information storage unit 4. In order to further reduce the memory capacity of the unit 4, the difference information calculation unit 3 calculates statistical information (probability that each difference information DI appears) regarding the difference information DI, and based on the statistical information An encoder for compactly encoding the difference information DI may be provided.
In this case, the temporal direct vector information calculation unit 5 needs to include a decoder (decoder corresponding to the encoder) that decodes the differentially encoded differential information DI.

また、この実施の形態１では、代表ベクトル算出部１が代表ベクトルＲＶを算出するものについて示したが、例えば、固定の代表ベクトルＲＶを用いる場合には、代表ベクトル算出部１を省略することができる。 In the first embodiment, the representative vector calculation unit 1 calculates the representative vector RV. However, for example, when the fixed representative vector RV is used, the representative vector calculation unit 1 may be omitted. it can.

代表ベクトル算出部１により算出される代表ベクトルＲＶは、ピクチャ単位であってもよいが、ピクチャ単位に限定されるものではない。
したがって、例えば、ピクチャが複数に分割されているサブピクチャ単位に代表ベクトルＲＶを定めてもよい。また、複数のピクチャを単位にして、代表ベクトルＲＶを定めてもよい。
また、代表ベクトルを定める単位に対して、代表ベクトルの個数は一つでも複数でもよい。ただし、代表ベクトルの候補が複数ある場合には、差分情報ＤＩとして、代表ベクトルＲＶとして用いたベクトルを表すラベルが必要である。 The representative vector RV calculated by the representative vector calculation unit 1 may be in units of pictures, but is not limited to units of pictures.
Therefore, for example, the representative vector RV may be determined in units of sub-pictures in which a picture is divided into a plurality of parts. Further, the representative vector RV may be determined in units of a plurality of pictures.
Further, the number of representative vectors may be one or more for a unit that defines the representative vector. However, if there are a plurality of representative vector candidates, a label representing the vector used as the representative vector RV is required as the difference information DI.

実施の形態２．
図８はこの発明の実施の形態２による動き補償予測装置を実装している画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
動き補償予測装置２０は図１の動き補償予測装置と同じ装置であり、ＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_Ｂに対応するアンカーピクチャＰ_Ａ内のアンカーブロックＢ_Ａの動きベクトルＭＢを線形補正して、その時間ダイレクトブロックＢ_Ｂの動きベクトルの情報を示す時間ダイレクトベクトル情報ＴＤＶＩを算出する処理を実施する。 Embodiment 2. FIG.
FIG. 8 is a block diagram showing an image coding apparatus equipped with a motion compensated prediction apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG. To do.
The motion compensated prediction apparatus 20 is the same apparatus as the motion compensated prediction apparatus of FIG. 1, and linearly corrects the motion vector MB of the anchor block B _A in the anchor picture P _A corresponding to the temporal direct block B _B in the B picture P _B. to, and carries out a process of calculating a time direct vector information TDVI indicating the information of the motion vector of the temporal direct block B _B.

ピクチャメモリ３１は入力画像を格納するメモリである。
動き探索部３２はアンカーピクチャＰ_Ａ内のアンカーブロックＢ_Ａを符号化する際には、代表ベクトル格納部２により格納されている代表ベクトルに近いベクトルを探索して、そのベクトルを動きベクトルＭＶとして差分情報算出部３に与え、ＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_Ｂを符号化する際には、時間ダイレクトベクトル情報算出部５の代表時間ダイレクトベクトル格納部１２により格納されている代表時間ダイレクトベクトルＲＴＤＶに近いベクトルを探索して、そのベクトルを動きベクトルＭＶとして差分情報算出部３に与える処理を実施する。なお、動き探索部３２は動きベクトル探索手段を構成している。 The picture memory 31 is a memory that stores an input image.
When the motion search unit 32 for encoding an anchor block B _A of the anchor pictures P _A is to explore the vector close to the representative vectors stored by the representative vector storage section 2, as the motion vector MV and the vector given the difference information calculation unit 3, in coding the temporal direct block B _B in B-pictures P _B is the temporal direct vector information calculation unit 5 of the representative temporal direct vector storage unit 12 representative temporal direct stored by A search is made for a vector close to the vector RTDV, and a process of giving the vector as the motion vector MV to the difference information calculation unit 3 is performed. The motion search unit 32 constitutes motion vector search means.

切換スイッチ３３は、ＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_Ｂを符号化する際には、動き補償予測装置２０の時間ダイレクトベクトル情報算出部５から出力された時間ダイレクトベクトル情報ＴＤＶＩをモード選択部３４に出力し、Ｐピクチャ内のブロックを符号化する際には、「時間ダイレクトモード禁止」を示す情報をモード選択部３４に出力する処理を実施する。
モード選択部３４は、切換スイッチ３３から出力された時間ダイレクトベクトル情報ＴＤＶＩが「時間ダイレクトモード禁止」を示す情報でなければ、動き探索部３２から出力された動きベクトルを使用する方が、切換スイッチ３３から出力された時間ダイレクトベクトル情報ＴＤＶＩが示す時間ダイレクトベクトルを使用するより、コスト（例えば、符号化対象の画像である入力画像と参照画像の差分）が小さくなる場合、動き探索部３２から出力された動きベクトルを選択して符号化部３７及び動き補償部４０に出力し、その時間ダイレクトベクトル情報ＴＤＶＩが示す時間ダイレクトベクトルを使用する方が、動き探索部３２から出力された動きベクトルを使用するより、コスト（例えば、符号化対象の画像と参照画像の差分）が小さくなる場合、その時間ダイレクトベクトル情報ＴＤＶＩが示す時間ダイレクトベクトルを選択して符号化部３７及び動き補償部４０に出力する処理を実施する。切換スイッチ３３から出力された時間ダイレクトベクトル情報ＴＤＶＩが「時間ダイレクトモード禁止」を示す情報であれば、モード選択部３４は常に動き探索部３２から出力された動きベクトルを符号化部３７及び動き補償部４０に出力する。 Changeover switch 33, when encoding the temporal direct block B _B in B-pictures P _B, the motion compensation prediction unit 20 of the temporal direct vector information calculating unit time that is output from the 5 direct vector information TDVI the mode selector When the block in the P picture is encoded, information indicating “temporal direct mode prohibited” is output to the mode selection unit 34.
If the time direct vector information TDVI output from the changeover switch 33 is not information indicating “temporal direct mode prohibited”, the mode selection unit 34 uses the motion vector output from the motion search unit 32 to switch the changeover switch. When the cost (for example, the difference between the input image that is the encoding target image and the reference image) is smaller than when the temporal direct vector indicated by the temporal direct vector information TDVI output from 33 is used, output from the motion search unit 32 The motion vector output from the motion search unit 32 is used when the selected motion vector is selected and output to the encoding unit 37 and the motion compensation unit 40 and the temporal direct vector indicated by the temporal direct vector information TDVI is used. The cost (for example, the difference between the image to be encoded and the reference image) is smaller than It made case, and carries out a process of outputting to the coder 37 and the motion compensation unit 40 selects the temporal direct vector indicated by the temporal direct vector information TDVI. If the temporal direct vector information TDVI output from the changeover switch 33 is information indicating “temporal direct mode prohibited”, the mode selection unit 34 always uses the encoding unit 37 and the motion compensation for the motion vector output from the motion search unit 32. To the unit 40.

減算器３５はピクチャメモリ３１により格納された入力画像と切換スイッチ４１から出力された予測画像の差分を求め、その差分画像をＤＣＴ量子化部３６に出力する処理を実施する。
ＤＣＴ量子化部３６は減算器３５から出力された差分画像に対するＤＣＴ（離散コサイン変換）処理と量子化処理を実施する。
符号化部３７はモード選択部３４から出力されたベクトル、及びＤＣＴ量子化部３６の出力データから符号化データを生成し、その符号化データを出力する処理を実施する。 The subtracter 35 obtains a difference between the input image stored in the picture memory 31 and the predicted image output from the changeover switch 41, and performs a process of outputting the difference image to the DCT quantization unit 36.
The DCT quantization unit 36 performs DCT (discrete cosine transform) processing and quantization processing on the difference image output from the subtractor 35.
The encoding unit 37 generates encoded data from the vector output from the mode selecting unit 34 and the output data of the DCT quantizing unit 36, and performs processing for outputting the encoded data.

イントラ予測部３８は入力画像からイントラ予測モードで予測画像を生成する処理を実施する。
逆量子化逆ＤＣＴ部３９はＤＣＴ量子化部３６の出力データに対する逆量子化処理と逆ＤＣＴ処理を実施して、上記差分画像を動き補償部４０に出力する処理を実施する。
動き補償部４０はモード選択部３４から出力されたベクトル、及び逆量子化逆ＤＣＴ部３９から出力されて動き補償部４０の内部にある参照画像蓄積メモリによって格納されている参照画像を用いて動き補償処理を実施して、予測画像を生成する処理を実施する。
ただし、動き補償部４０は、代表ベクトルＲＶ又は代表時間ダイレクトベクトルＲＴＤＶが共通している複数の符号化ブロックの動き補償を実施する際、複数の符号化ブロックが参照するブロックの画像データを参照画像蓄積メモリから一度に読み出すようにする。 The intra prediction unit 38 performs processing for generating a prediction image from the input image in the intra prediction mode.
The inverse quantization inverse DCT unit 39 performs an inverse quantization process and an inverse DCT process on the output data of the DCT quantization unit 36 and outputs the difference image to the motion compensation unit 40.
The motion compensation unit 40 uses the vector output from the mode selection unit 34 and the reference image output from the inverse quantization inverse DCT unit 39 and stored in the reference image storage memory inside the motion compensation unit 40. Compensation processing is performed, and processing for generating a predicted image is performed.
However, when the motion compensation unit 40 performs motion compensation on a plurality of coding blocks that share the representative vector RV or the representative time direct vector RTDV, the motion compensation unit 40 uses the image data of the block referred to by the plurality of coding blocks as a reference image. Read from the storage memory at once.

切換スイッチ４１はイントラ予測部３８から出力された予測画像又は動き補償部４０から出力された予測画像を選択して減算器３５に出力する処理を実施する。
なお、モード選択部３４、減算器３５、ＤＣＴ量子化部３６、符号化部３７、逆量子化逆ＤＣＴ部３９及び動き補償部４０から画像符号化手段が構成されている。 The changeover switch 41 performs a process of selecting the prediction image output from the intra prediction unit 38 or the prediction image output from the motion compensation unit 40 and outputting it to the subtractor 35.
The mode selection unit 34, the subtractor 35, the DCT quantization unit 36, the encoding unit 37, the inverse quantization inverse DCT unit 39, and the motion compensation unit 40 constitute image encoding means.

次に動作について説明する。
減算器３５、ＤＣＴ量子化部３６、符号化部３７、イントラ予測部３８、逆量子化逆ＤＣＴ部３９及び切換スイッチ４１の処理内容は、一般的な画像符号化装置に実装されているものと同様であるため詳細な説明を省略する。 Next, the operation will be described.
The processing contents of the subtractor 35, the DCT quantization unit 36, the encoding unit 37, the intra prediction unit 38, the inverse quantization inverse DCT unit 39, and the changeover switch 41 are implemented in a general image encoding device. Since it is the same, detailed description is abbreviate | omitted.

動き探索部３２は、動き補償部４０が動き補償処理を実施するに際して、近隣ブロック同士で動きベクトルの相関が高まるようにするために、次のようにして、動きベクトルを選択する。
即ち、動き探索部３２は、アンカーピクチャＰ_Ａ内のアンカーブロックＢ_Ａを符号化する際には、代表ベクトル格納部２により格納されている代表ベクトルに近いベクトルによって指定されるブロックの中から参照画像とするブロックを探索して、参照画像とするブロックを指定するベクトルを動きベクトルＭＶとして差分情報算出部３に与える。
また、ＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_Ｂを符号化する際には、時間ダイレクトベクトル情報算出部５の代表時間ダイレクトベクトル格納部１２により格納されている代表時間ダイレクトベクトルＲＴＤＶに近いベクトルによって指定されるブロックの中から参照画像とするブロックを探索して、参照画像とするブロックを指定するベクトルを動きベクトルＭＶとして差分情報算出部３に与える。 When the motion compensation unit 40 performs the motion compensation process, the motion search unit 32 selects a motion vector as follows in order to increase the correlation of motion vectors between neighboring blocks.
That is, the motion search unit 32, when encoding an anchor block B _A of the anchor pictures P _A is referenced from within the block that is specified by the vector close to the representative vectors stored by the representative vector storage section 2 A block that is an image is searched, and a vector that designates a block that is a reference image is given to the difference information calculation unit 3 as a motion vector MV.
Further, when coding the temporal direct block B _B in B-pictures P _B is the vector close to the representative temporal direct vector RTDV stored by the representative temporal direct vector storage section 12 of the temporal direct vector information calculating section 5 A block that serves as a reference image is searched from among the designated blocks, and a vector that designates a block that serves as a reference image is given to the difference information calculation unit 3 as a motion vector MV.

近隣ブロック同士で動きベクトルの相関が高まることで、周囲ブロックからの予測によって算出されたベクトルと、選択された動きベクトルが近いものとなる。その結果、時間ダイレクトモードなどの特殊なモードを使用しないブロックに対しても、動きベクトルに要する情報量を削減することができるようになる。
また、近隣ブロックが参照するブロックが隣接又は重複している可能性が高くなる。その場合、動き探索部３２が複数ブロックの参照画像を一度にリードすることができるようになり、メモリ転送の効率化を図ることができる。 By increasing the correlation of motion vectors between neighboring blocks, the vector calculated by prediction from the surrounding blocks and the selected motion vector are close to each other. As a result, the amount of information required for motion vectors can be reduced even for blocks that do not use a special mode such as the temporal direct mode.
In addition, there is a high possibility that blocks referenced by neighboring blocks are adjacent or overlapping. In this case, the motion search unit 32 can read the reference images of a plurality of blocks at a time, so that the efficiency of memory transfer can be improved.

切換スイッチ３３は、上記実施の形態１と同様にして、ＢピクチャＰ_Ｂ内の時間ダイレクトブロックＢ_Ｂを符号化する際には、動き補償予測装置２０の時間ダイレクトベクトル情報算出部５から出力された時間ダイレクトベクトル情報ＴＤＶＩをモード選択部３４に出力し、Ｐピクチャ内のブロックを符号化する際には、「時間ダイレクトモード禁止」を示す情報をモード選択部３４に出力する。 The changeover switch 33 is output from the temporal direct vector information calculation unit 5 of the motion compensated prediction apparatus 20 when encoding the temporal direct block B _B in the B picture P _B in the same manner as in the first embodiment. The time direct vector information TDVI is output to the mode selection unit 34, and when the block in the P picture is encoded, information indicating “temporal direct mode prohibition” is output to the mode selection unit 34.

モード選択部３４は、切換スイッチ３３から出力された時間ダイレクトベクトル情報ＴＤＶＩが「時間ダイレクトモード禁止」を示す情報でなければ、動き探索部３２から出力された動きベクトルを使用する方が、切換スイッチ３３から出力された時間ダイレクトベクトル情報ＴＤＶＩが示す時間ダイレクトベクトルを使用するより、コスト（例えば、符号化対象の画像である入力画像と参照画像の差分）が小さくなる場合、動き探索部３２から出力された動きベクトルを選択して符号化部３７及び動き補償部４０に出力する。
一方、その時間ダイレクトベクトル情報ＴＤＶＩが示す時間ダイレクトベクトルを使用する方が、動き探索部３２から出力された動きベクトルを使用するより、コスト（例えば、入力画像と参照画像の差分）が小さくなる場合、その時間ダイレクトベクトル情報ＴＤＶＩが示す時間ダイレクトベクトルを選択して符号化部３７及び動き補償部４０に出力する。
切換スイッチ３３から出力された時間ダイレクトベクトル情報ＴＤＶＩが「時間ダイレクトモード禁止」を示す情報であれば、モード選択部３４は常に動き探索部３２から出力された動きベクトルを符号化部３７及び動き補償部４０に出力する。 If the time direct vector information TDVI output from the changeover switch 33 is not information indicating “temporal direct mode prohibited”, the mode selection unit 34 uses the motion vector output from the motion search unit 32 to switch the changeover switch. When the cost (for example, the difference between the input image that is the encoding target image and the reference image) is smaller than when the temporal direct vector indicated by the temporal direct vector information TDVI output from 33 is used, output from the motion search unit 32 The selected motion vector is selected and output to the encoding unit 37 and the motion compensation unit 40.
On the other hand, when the time direct vector indicated by the time direct vector information TDVI is used, the cost (for example, the difference between the input image and the reference image) is smaller than when the motion vector output from the motion search unit 32 is used. The temporal direct vector indicated by the temporal direct vector information TDVI is selected and output to the encoding unit 37 and the motion compensation unit 40.
If the temporal direct vector information TDVI output from the changeover switch 33 is information indicating “temporal direct mode prohibited”, the mode selection unit 34 always uses the encoding unit 37 and the motion compensation for the motion vector output from the motion search unit 32. To the unit 40.

動き補償部４０は、モード選択部３４から出力されたベクトル、及び逆量子化逆ＤＣＴ部３９から出力されて動き補償部４０の内部にある参照画像蓄積メモリによって格納されている参照画像を用いて動き補償処理を実施して、予測画像を生成する処理を実施する。
ただし、動き補償部４０は、代表ベクトルＲＶ又は代表時間ダイレクトベクトルＲＴＤＶが共通している複数の符号化ブロックの動き補償を実施する際、上述したように、近隣ブロック同士で動きベクトルの相関が高まっているので、複数の符号化ブロックが参照するブロックの画像データを参照画像蓄積メモリから一度に読み出すようにする。 The motion compensation unit 40 uses the vector output from the mode selection unit 34 and the reference image output from the inverse quantization inverse DCT unit 39 and stored in the reference image storage memory inside the motion compensation unit 40. A motion compensation process is performed to generate a predicted image.
However, as described above, when the motion compensation unit 40 performs motion compensation for a plurality of encoded blocks that share the representative vector RV or the representative time direct vector RTDV, the correlation between motion vectors increases between neighboring blocks. Therefore, the image data of the block referred to by the plurality of coding blocks is read out from the reference image storage memory at a time.

１代表ベクトル算出部（代表ベクトル算出手段）、２代表ベクトル格納部（代表ベクトル格納手段）、３差分情報算出部（差分情報算出手段）、４差分情報格納部（差分情報格納手段）、５時間ダイレクトベクトル情報算出部（時間ダイレクトベクトル情報算出手段）、１１代表時間ダイレクトベクトル算出部、１２代表時間ダイレクトベクトル格納部、１３差分時間ダイレクトベクトル情報算出部、１４加算器、１５切換スイッチ、２０動き補償予測装置、３１ピクチャメモリ、３２動き探索部（動きベクトル探索手段）、３３切換スイッチ、３４モード選択部（画像符号化手段）、３５減算器（画像符号化手段）、３６ＤＣＴ量子化部（画像符号化手段）、３７符号化部（画像符号化手段）、３８イントラ予測部、３９逆量子化逆ＤＣＴ部（画像符号化手段）、４０動き補償部（画像符号化手段）、４１切換スイッチ。 1 representative vector calculation unit (representative vector calculation unit), 2 representative vector storage unit (representative vector storage unit), 3 difference information calculation unit (difference information calculation unit), 4 difference information storage unit (difference information storage unit), 5 hours Direct vector information calculation unit (temporal direct vector information calculation means), 11 representative time direct vector calculation unit, 12 representative time direct vector storage unit, 13 differential time direct vector information calculation unit, 14 adder, 15 changeover switch, 20 motion compensation Prediction device, 31 picture memory, 32 motion search unit (motion vector search unit), 33 changeover switch, 34 mode selection unit (image encoding unit), 35 subtractor (image encoding unit), 36 DCT quantization unit (image Encoding means), 37 encoding section (image encoding means), 38 intra prediction Parts, 39 inverse quantization inverse DCT section (image encoding means), 40 a motion compensation unit (image encoding means), 41 changeover switch.

Claims

Of the anchor blocks in the anchor picture corresponding to the temporal direct block in the B picture, a representative vector that is a vector defined in common for a plurality of anchor blocks to be encoded is input, and the representative vector Difference information calculation means for calculating difference information of the motion vector of the anchor block, expressing the difference information with a bit width smaller than the bit width of the motion vector, and difference information output from the difference information calculation means Is stored for each anchor block to be encoded, and the difference information stored for each anchor block by the difference information storage means and the representative vector are used to indicate the motion vector information of the temporal direct block. Time direct vector to calculate time direct vector information Motion compensation prediction apparatus comprising a Le-information obtaining means.

2. The motion compensated prediction apparatus according to claim 1, further comprising representative vector storage means for storing the representative vector.

3. The motion compensated prediction apparatus according to claim 2, wherein the representative vector storage means stores the motion vector of the anchor block to be encoded as a new representative vector at regular intervals or at regular intervals.

4. The motion compensated prediction apparatus according to claim 1, further comprising a representative vector calculation unit that calculates a representative vector.

5. The motion compensated prediction apparatus according to claim 4, wherein the representative vector calculation means calculates the entire motion vector of the anchor picture as a representative vector.

5. The motion compensated prediction apparatus according to claim 4, wherein the representative vector calculation means calculates a representative vector for each region in the anchor picture divided by edges.

The representative vector calculating means calculates the representative vector of the anchor block to be encoded by cumulatively adding the difference information of the already encoded anchor block to the representative vector stored by the representative vector storing means. The motion compensation prediction apparatus according to claim 4.

The difference information calculation means calculates the difference vector between the motion vector of the anchor block and the representative vector when the number of bits allocated to the difference information stored by the difference information storage means is 2N bits, and calculates the horizontal direction component of the difference vector. If both the vertical direction component and the vertical direction component can be expressed by N bits, the difference obtained by subtracting the representative vector from the motion vector is output as difference information to the difference information storage means, and the horizontal direction component of the difference vector is output. Alternatively, if at least one of the vertical components cannot be expressed by N bits, information indicating bit overflow is output as difference information to the difference information storage means. The motion compensated prediction apparatus according to any one of the above.

If at least one of the horizontal direction component and the vertical direction component of the difference vector cannot be expressed by N bits, the representative vector storage means stores the motion vector of the anchor block to be encoded as a new representative vector. The motion compensation prediction apparatus according to claim 8, wherein the apparatus is a motion compensation prediction apparatus.

The temporal direct vector information calculation means includes a display time of a B picture to be encoded, a display time of an encoded image referred to by the B picture, a display time of an anchor picture relative to the B picture, and an encoded image referred to by the anchor picture. The motion compensated prediction apparatus according to any one of claims 1 to 9, wherein temporal direct vector information is calculated in consideration of the display time.

The temporal direct vector information calculating means refers to the representative vector, the display time of the B picture to be encoded, the display time of the encoded image referenced by the B picture, the display time of the anchor picture for the B picture, and the anchor picture. A representative time direct vector, which is a vector used in common when calculating time direct vector information of a plurality of time direct blocks, is calculated from the display time of the encoded image, and anchored by the representative time direct vector and the difference information storage means. The motion compensation prediction apparatus according to claim 10, wherein temporal direct vector information is calculated from difference information stored for each block.

The temporal direct vector information calculation means includes difference information stored for each anchor block by the difference information storage means, a display time of a B picture to be encoded, a display time of an encoded image referred to by the B picture, and the B picture Calculating the difference time direct vector information from the display time of the anchor picture for the image and the display time of the encoded image referred to by the anchor picture, and calculating the time direct vector information from the difference time direct vector information and the representative time direct vector. The motion compensation prediction apparatus according to claim 11, wherein the apparatus is a motion compensation prediction apparatus.

If the difference information stored for each anchor block by the difference information storage means is not information indicating bit overflow, the time direct vector information calculation means uses the sum of the difference time direct vector information and the representative time direct vector as time direct vector information. 13. The motion compensated prediction apparatus according to claim 12, wherein when the difference information is information indicating bit overflow, information indicating temporal direct mode inhibition is output as temporal direct vector information.

The motion compensation prediction apparatus according to any one of claims 11 to 13, wherein the temporal direct vector information calculation means includes a memory for storing a representative temporal direct vector.

The difference information calculation means includes an encoder that compactly encodes the difference information output to the difference information storage means, and the temporal direct vector information calculation means includes a decoder that decodes the difference information that is compactly encoded. The motion compensation prediction apparatus according to claim 1, wherein:

A motion compensated prediction apparatus for linearly correcting a motion vector of an anchor block in an anchor picture corresponding to a temporal direct block in a B picture and calculating temporal direct vector information indicating motion vector information of the temporal direct block; An image provided with image encoding means for encoding the B picture by performing motion compensation of the B picture using the motion vector information indicated by the temporal direct vector information calculated by the motion compensated prediction apparatus In the encoding apparatus, the motion compensated prediction apparatus inputs a representative vector which is a vector commonly defined for a plurality of anchor blocks to be encoded, and the motion vector of the anchor block with respect to the representative vector is input. The difference information is calculated, and the difference information is calculated from the motion vector. Difference information calculation means for expressing and outputting with a bit width smaller than the bit width, difference information storage means for storing the difference information output from the difference information calculation means for each anchor block to be encoded, and the difference information Temporal direct vector information calculating means for calculating temporal direct vector information indicating motion vector information of the temporal direct block from the difference information stored for each anchor block by the storage means and the representative vector. An image encoding device.

When encoding an anchor block in an anchor picture, a vector close to a representative vector is given to the difference information calculation means as a motion vector, and when encoding a temporal direct block in a B picture, a plurality of temporal direct blocks 17. A motion vector search means for providing a vector close to a representative time direct vector, which is a vector used in common when calculating the time direct vector information, as a motion vector to the difference information calculation means. The image encoding device described.

The image encoding means refers to a representative vector or a plurality of encoded blocks having a common representative time direct vector which is a vector used in common when calculating temporal direct vector information of a plurality of temporal direct blocks. 18. The image encoding apparatus according to claim 16, wherein the image data of the block is read at a time.