JP2008245016A - Image encoding apparatus and method, and program - Google Patents
Image encoding apparatus and method, and program Download PDFInfo
- Publication number
- JP2008245016A JP2008245016A JP2007084434A JP2007084434A JP2008245016A JP 2008245016 A JP2008245016 A JP 2008245016A JP 2007084434 A JP2007084434 A JP 2007084434A JP 2007084434 A JP2007084434 A JP 2007084434A JP 2008245016 A JP2008245016 A JP 2008245016A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- block
- image
- index value
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は動画像データを符号化する画像符号化装置、画像符号化方法、及びプログラムに関する。 The present invention relates to an image encoding device, an image encoding method, and a program for encoding moving image data.
動画像データを圧縮符号化する際に、画像間の時間的な相関関係を利用して時間的な冗長度を削減し、データを圧縮する動き補償予測符号化方式が用いられている。近年、H.264符号化方式のように、複数の参照ピクチャを用いた動き補償予測符号化方式が用いられるようになってきている。これは動画像シーケンス中に、背景として動かないものがあり、その前方に動くものがあって背景が見え隠れするような場合に符号化効率を高めることができる。 When compressing and encoding moving image data, a motion-compensated predictive encoding method that uses temporal correlation between images to reduce temporal redundancy and compress data is used. In recent years, H.C. As in the H.264 coding method, a motion compensated prediction coding method using a plurality of reference pictures has been used. This can increase the coding efficiency when there is a moving image sequence that does not move as a background and there is something that moves in front of it and the background is visible and hidden.
参照可能な参照ピクチャの枚数を増やすことで、より相関の高い参照ピクチャを選択することができる。しかし、一方で参照ピクチャを識別するための情報が余計に必要になるため、闇雲に参照ピクチャの数を増やすことが一概に符号化効率の向上に寄与するとは限らない。加えて、参照ピクチャ数を増やした分だけ増加するバッファメモリの増大や、参照ピクチャへのメモリアクセス、差分演算処理の増大というデメリットも併せ持つことから、いかに効率的に参照ピクチャを構成するかが重要となる。 A reference picture with higher correlation can be selected by increasing the number of reference pictures that can be referred to. However, on the other hand, extra information for identifying the reference picture is required, so increasing the number of reference pictures in the dark clouds does not necessarily contribute to an improvement in coding efficiency. In addition, it has the disadvantages of increasing buffer memory that increases by the number of reference pictures, memory access to reference pictures, and increased differential operation processing, so it is important how to construct reference pictures efficiently. It becomes.
図5は、参照ピクチャを5枚用いた動き補償予測符号化方式を実現する画像符号化装置の動き予測部、及び動き補償部の一構成例を示すブロック図である。
図5において、501は、符号化対象のピクチャデータ520が格納される符号化対象画像メモリである。502、503、504、505、506は、予測符号化に用いる参照画像データを直近のものから順に格納する参照画像メモリである。
FIG. 5 is a block diagram illustrating a configuration example of a motion prediction unit and a motion compensation unit of an image encoding device that realizes a motion compensated prediction encoding scheme using five reference pictures.
In FIG. 5,
510は、符号化対象画像、及び参照画像から動き補償予測符号化方式に基づいた動きベクトル521、及びブロック間差分画素データを出力する動き予測手段としての動き予測部(ME)である。また、511は、動き予測部510から得られた動きベクトル521、及びブロック間差分画素データをもとに復号化処理を行い、再構成画像データを参照画像メモリ502へ出力する動き補償手段としての動き補償部(MC)である。なお、参照画像メモリ502内には符号化対象画像(現ピクチャ)用の参照画像データ、及び次ピクチャ符号化用の再構成画像データの両方が格納される。
図4は、図5の画像符号化装置において、時刻tから時刻t+3までの4枚のピクチャを符号化した際のメモリの内容を示す図である。図4に示すように、各ピクチャは所定サイズのブロックに分割されている。
図4において、時刻tでの符号化対象画像データは符号化対象画像メモリ501に符号化対象画像データ410のように格納されている。また、対応する参照画像データは、時間的に近い順に、参照画像メモリ502、503、504、505、506に、参照画像データ420、430、440、450、460のように格納されている。
時刻tにおける予測符号化(ME)の後、次時刻t+1での参照画像データが参照画像メモリ502,503,504,505,506に再構成される。
時刻tでの符号化結果を動き補償(MC)した結果が参照画像メモリ502に参照画像データ421として格納される。以下、参照画像メモリ503,504,505,506には、時刻tでの符号化時に、参照画像メモリ502,503,504,505に格納されていた参照画像データが格納される。すなわち、参照画像データ420から参照画像データ431に、参照画像データ430から参照画像データ441に、 参照画像データ440から参照画像データ451に、参照画像データ450から参照画像データ461に一つずつずれて格納される。以下、時刻t+1,t+2,t+3についても同様に参照画像メモリに記憶された参照画像データが、ずれて格納される。
例えば、時刻tの符号化時に参照画像メモリ502にあった参照画像データ420 は、時刻t+3の符号化終了時には参照画像メモリ506の参照画像データ464に移動している。
FIG. 4 is a diagram showing the contents of the memory when the four pictures from time t to time t + 3 are encoded in the image encoding device of FIG. As shown in FIG. 4, each picture is divided into blocks of a predetermined size.
In FIG. 4, the encoding target image data at time t is stored in the encoding
After predictive coding (ME) at time t, the reference image data at the next time t + 1 is reconstructed in the
The result of motion compensation (MC) of the encoding result at time t is stored as
For example, the
上記は、H.264符号化方式における短時間参照ピクチャのFIFO(First In First Out)形式でのメモリ更新方式を用いた画像符号化装置の一構成例である。このような、短時間参照ピクチャを用いる方式では、参照可能なピクチャが格納された順序に従って順次更新されるためユーザ側で参照するピクチャを指定する必要はない。しかしながら、参照するピクチャ枚数に比例した大きさのメモリが必要になる上、各参照ピクチャと符号化対象ピクチャとのブロック間差分演算処理量及び演算のために必要なメモリ転送量も参照ピクチャ数の数だけ増大する。 The above is the same as H. 1 is a configuration example of an image encoding device using a memory update method in a FIFO (First In First Out) format of a short-time reference picture in the H.264 encoding method. In such a method using a short-time reference picture, it is not necessary to designate a picture to be referred to on the user side because the referenceable pictures are sequentially updated in the order in which they are stored. However, a memory whose size is proportional to the number of pictures to be referenced is required, and the difference calculation processing amount between blocks of each reference picture and the encoding target picture and the memory transfer amount necessary for the calculation are also the number of reference pictures. Increase by number.
そこで、例えば背景のような、撮影フレームから動かず、長期にわたり参照されることがわかっている場合には、背景となるピクチャを指定し、当該参照ピクチャは更新を行わず符号化を行えば、符号化効率の向上を図ることができる。 Therefore, for example, when it is known that the reference frame is referred to for a long time without moving from the shooting frame, such as the background, if the background picture is specified and the reference picture is encoded without updating, Encoding efficiency can be improved.
図8は、毎回更新される通常の参照ピクチャを1枚、毎回参照される参照ピクチャを1枚用いた動き補償予測符号化方式を実現する画像符号化装置の動き予測部、及び動き補償部の一構成例を示すブロック図である。
図8において、801は、符号化対象のピクチャデータ820が格納される符号化対象画像メモリである。800は、毎回符号化時に参照される参照背景画像データが格納される参照背景画像メモリである。802は、参照画像データが格納される参照画像メモリである。
FIG. 8 illustrates a motion prediction unit and a motion compensation unit of an image coding apparatus that implements a motion compensated prediction coding method using one normal reference picture updated each time and one reference picture referenced each time. It is a block diagram which shows one structural example.
In FIG. 8,
810は、符号化対象画像、及び参照画像から動き補償予測符号化方式に基づいた動きベクトル821、及びブロック間差分画素データを出力する動き予測手段としての動き予測部(ME)である。また、811は、動き予測部810から得られた動きベクトル821、及びブロック間差分画素データをもとに復号化処理を行い、再構成画像データを参照画像メモリ802へ出力する動き補償手段としての動き補償部(MC)である。
図6は、図8の画像符号化装置において、時刻tから時刻t+3までの4枚のピクチャを符号化した際のメモリの内容を示す図である。図6に示すように、時刻t,t+1,t+2,t+3での符号化対象画像データは符号化対象画像メモリ801にそれぞれ符号化対象画像データ610,611,612,613のように格納されている。
FIG. 6 is a diagram illustrating the contents of the memory when the four pictures from time t to time t + 3 are encoded in the image encoding device of FIG. As shown in FIG. 6, the encoding target image data at times t, t + 1, t + 2, and t + 3 are stored in the encoding
対応する参照画像データは参照画像メモリ802にそれぞれ参照画像データ620,621,622,623のように格納されている。各ピクチャの符号化の後、各符号化時刻tにおいて、次ピクチャの参照画像データは、参照画像データ620から参照画像データ621に再構成される。同様に、t+1,t+2,t+3において 参照画像データ621から参照画像データ622に、参照画像データ622から参照画像データ623に, 参照画像データ623から参照画像データ624のように再構成される。一方、参照背景画像メモリ800に格納されている参照背景画像データは、各ピクチャの符号化時において常に同じ内容である。すなわち参照背景画像データ600,601,602,603,604は不変である。
Corresponding reference image data is stored in the
上記はH.264符号化方式における長時間参照ピクチャを用いた画像符号化装置の一構成例である。このような方式では、背景のような長時間にわたり参照される画像を特定できるときに、符号化効率を向上させることが可能であり、長時間参照ピクチャを検出することが重要となる。なお、特許文献1には、ピクチャ間の画素データの差分値が少ないときにそのピクチャを背景とし、参照ピクチャに用いることで参照ピクチャの参照効率を上げることができる技術が開示されている。
The above is H. 1 is a configuration example of an image encoding device using a long-time reference picture in the H.264 encoding scheme. In such a system, when an image referred to for a long time such as a background can be specified, it is possible to improve the coding efficiency, and it is important to detect a long-time reference picture.
しかしながら、上述した複数参照ピクチャを用いた動き補償予測符号化方式では、参照ピクチャ数を増やした分だけ、バッファメモリの大きさ、参照ピクチャへのメモリアクセス、及び差分演算処理が増大する。
また、上述した長時間参照ピクチャを参照背景画像データとして参照する方式では、長時間参照ピクチャを検出する必要があり、その処理を正確に行うための演算コストが増えてしまう。
本発明は上述したような問題点に鑑みてなされたものであり、複数参照ピクチャを用いる場合のメモリ転送量の削減を目的とする。
However, in the motion compensated predictive coding method using a plurality of reference pictures described above, the size of the buffer memory, the memory access to the reference picture, and the difference calculation process are increased by the increase in the number of reference pictures.
Further, in the above-described method of referring to a long-time reference picture as reference background image data, it is necessary to detect a long-time reference picture, and the calculation cost for accurately performing the processing increases.
The present invention has been made in view of the above-described problems, and an object thereof is to reduce the amount of memory transfer when using a plurality of reference pictures.
本発明は、動画像のピクチャを所定サイズのブロックに分割し、前記分割されたブロック毎に参照画像メモリに記憶された参照ピクチャを参照して、前記動画像のピクチャを動き補償予測符号化する画像符号化装置であって、前記動画像のピクチャのブロックに対応する前記参照ピクチャのブロックを前記参照画像メモリから読み出す読み出し手段と、前記参照ピクチャを更新するときに、前記動画像のピクチャのブロックと前記読み出し手段によって読み出された前記参照ピクチャのブロックとを比較して指標値を算出する指標値算出手段と、前記指標値算出手段により算出された指標値に基づき、前記動画像のピクチャのブロックを前記参照画像メモリに格納する格納手段とを有することを特徴とする。 The present invention divides a moving picture picture into blocks of a predetermined size, refers to a reference picture stored in a reference picture memory for each of the divided blocks, and performs motion compensation predictive coding on the moving picture picture. An image encoding apparatus, wherein the reference picture block corresponding to the moving picture picture block is read out from the reference picture memory, and the moving picture block is updated when the reference picture is updated. Based on the index value calculated by the index value calculating means, the index value calculating means for calculating the index value by comparing the reference picture block read by the reading means and the block of the reference picture Storage means for storing the block in the reference image memory.
本発明によれば、フレーム間で変化のあった部分の画像データのみを参照画像データとして記憶することで、使用するメモリ、画像データの転送量、及びブロック間差分演算量を低減することができる。 According to the present invention, it is possible to reduce the memory to be used, the transfer amount of image data, and the inter-block difference calculation amount by storing only the image data of the portion that has changed between frames as the reference image data. .
また、例えば参照画像データ判別用のブロック間比較演算としてブロック間差分符号化で一般的なイントラ判定及びインター判定を用いることにより余分な演算コストを削減することができる。 Further, for example, extra calculation costs can be reduced by using general intra determination and inter determination in inter-block difference encoding as an inter-block comparison operation for determining reference image data.
また、例えば、参照画像データ更新の判定に、動きベクトルパラメータを用いることで画像中に動物体が存在するときの参照画像データ更新を適応的に行うことができる。 Also, for example, reference image data update when a moving object is present in an image can be adaptively performed by using a motion vector parameter for determination of reference image data update.
また、例えば、短時間参照ピクチャ、長時間参照ピクチャを用いることで、参照画像データの更新に際し、フレーム間で変化のあった部分の画像データのみを参照画像データとして記憶すればよい。したがって、使用するメモリ、画像データの転送量、及びブロック間差分演算量を低減することができる。 Further, for example, by using a short-time reference picture and a long-time reference picture, when updating the reference image data, only the image data of a portion that has changed between frames may be stored as the reference image data. Therefore, it is possible to reduce the memory to be used, the transfer amount of image data, and the difference calculation amount between blocks.
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、本実施形態に係る画像符号化装置1の動き予測部、及び動き補償部の一構成例を示すブロック図である。
図1において、101は、動画像のピクチャである符号化対象画像(ピクチャデータ)120が格納される符号化対象画像メモリである。102は、予測符号化に用いる参照画像データを格納する参照画像メモリである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a motion prediction unit and a motion compensation unit of the
In FIG. 1,
また、110は、符号化対象画像、及び参照画像から動き補償予測符号化方式に基づいた動きベクトル121、及びブロック間差分画素データを出力する動き予測手段としての動き予測部(ME)である。111は、符号化対象画像と参照画像との類似度を検出する動き検出手段としての動き検出部(MM)である。112は、動き予測部110から得られた動きベクトル121、及びブロック間差分画素データをもとに復号化処理を行い、再構成画像データを参照画像メモリ102へ出力する動き補償手段としての動き補償部(MC)である。なお、参照画像メモリ102には、符号化対象画像(現ピクチャ)用の参照画像データ、及び次ピクチャ符号化用の再構成画像データの両方が格納される。
図2は、本実施形態に係る画像符号化装置1の符号化対象画像メモリ101に記憶されている符号化対象画像、及び参照画像メモリ102に記憶されている参照画像の時間推移を示す図である。
図2において、符号化対象画像210,211,212,213は、時間t,t+1,t+2,t+3において、符号化対象画像メモリ101に記憶されている内容である。参照画像220は、時間tにおける参照画像メモリ102の内容である。画像221は、時間tにおける符号化対象画像の符号化結果、並びに時間t+1における参照画像メモリ102の内容である。画像222は、時間t+1における符号化対象画像の符号化結果、並びに時間t+2における参照画像メモリ102の内容である。画像223は、時間t+2における符号化対象画像の符号化結果、並びに時間t+3における参照画像メモリ102の内容である。画像224は、時間t+3における符号化対象画像の符号化結果、並びに時間t+4における参照画像メモリ102の内容である。
FIG. 2 is a diagram showing temporal transitions of the encoding target image stored in the encoding
In FIG. 2,
なお、図2において、符号対象画像、及び参照画像は、それぞれ所定サイズ(例えば4×4)のブロックに分割されている。図2において、画像221〜224に記されている「I」及び「P」は、それぞれ対応するブロックの符号化方法として、イントラ(ピクチャ内)符号化、及びインター(ピクチャ間)符号化が選択されたことを示している。また、本実施形態では、動き検出部111が、符号化対象画像のブロックと参照画像のブロックとを比較して、類似度が小さいと判断したブロックには、動き予測部110でピクチャ内符号化(イントラ符号化)される。また、動き検出部111が、類似度が大きい、すなわちブロック間の相関が高いと判断したブロックについては、動き予測部110でピクチャ間符号化(インター符号化)される。
In FIG. 2, the encoding target image and the reference image are each divided into blocks of a predetermined size (for example, 4 × 4). In FIG. 2, “I” and “P” described in
図12は、本実施形態に係る符号化装置が時刻tにおけて符号化を行う動作処理を示すフローチャートである。
まず、例えば動き検出部111は、ブロック分割された符号化対象画像から未処理ブロックを1つ選択し、符号化対象画像メモリ101からブロックの画像データを読み出す(ステップS101)。
次に、例えば動き検出部111は、ステップS101において読み出したブロックに対応する参照画像のブロックの画素データを参照画像メモリ102から読み出す(ステップS102)(読み出し手段)。
次に、動き検出部111は、符号化対象画像と対応する参照画像のブロック同士を比較する(ステップS103)。
次に、動き検出部111は、類似度が低いと判定した場合、当該領域を次の符号化対象画像の符号化に用いる旨の判定フラグを立てる(ステップS104)(指標値算出手段)。
動き検出部111は、この処理をブロック毎に全てのブロックについて行う(ステップS105)。
次の符号化対象画像用の参照画像データを更新するとき、例えば動き補償部112は、ステップS104でフラグのたったブロックのみを参照画像として更新する(ステップS106)(格納手段)。次に、次の符号化対象画像の符号化処理に移行する(ステップS107)。
FIG. 12 is a flowchart showing an operation process in which the encoding apparatus according to the present embodiment performs encoding at time t.
First, for example, the
Next, for example, the
Next, the
Next, when determining that the degree of similarity is low, the
The
When updating the reference image data for the next encoding target image, for example, the
図2では、時刻tにおいて、符号化対象画像メモリ101に格納されている符号化対象画像と、参照画像メモリ102に格納されている参照画像とにより符号化した結果の画像が221である。画像221の領域231は、比較したブロック間で大きく変化があった、すなわち、ピクチャ間差分が大きくインター符号化できず、イントラ符号化されたブロックの範囲である。
In FIG. 2, the
時刻t+1に用いる参照画像メモリ102における参照画像の更新には、このイントラ符号化されたブロックのみを対象とする。すなわち、領域231で囲まれていない領域の参照画像のブロックは更新されない。以下、同様に、時刻t+1での符号化においてはイントラ符号化された領域232、時刻t+2ではイントラ符号化された領域233、時刻t+3ではイントラ符号化された領域234のみが、次回の符号化用の参照画像として更新される。更新されなかった部分は、それ以前の参照画像のブロックの画素データとして用いられる。
The reference image in the
このように、本実施形態は等価的に参照画像メモリを5枚分、用いた符号化方式となる。より具体的には、図3のように、例えば時刻t+3において、参照画像324,334,344,354,364の5ピクチャ分の参照画像を持っていることと等価である。
このように、本実施形態によれば、ピクチャ間で変化の大きい場所(イントラ符号化が選択された場所)のみを参照画像として更新することで、少ないメモリで複数ピクチャを参照画像メモリに記憶しておくことができる。
Thus, the present embodiment is equivalent to an encoding method using five reference image memories. More specifically, as shown in FIG. 3, for example, at
As described above, according to the present embodiment, by updating only a place having a large change between pictures (a place where intra coding is selected) as a reference image, a plurality of pictures are stored in the reference image memory with a small amount of memory. I can keep it.
(第2の実施形態)
図9は、本実施形態に係る画像符号化装置2の動き予測部、及び動き補償部の一構成例を示すブロック図である。
図9において、901は、符号化対象画像(ピクチャデータ)920が格納される符号化対象画像メモリである。900は、予測符号化に用いる長時間更新されない長期参照画像データ(長期参照ピクチャ)が格納される長期参照画像メモリである。また、902は予測符号化に用いる短時間で更新される短期参照画像データ(短期参照ピクチャ)が格納される短期参照画像メモリである。
(Second Embodiment)
FIG. 9 is a block diagram illustrating a configuration example of the motion prediction unit and the motion compensation unit of the
In FIG. 9,
910は、符号化対象画像、及び参照画像から動き補償予測符号化方式に基づいた動きベクトル921、及びブロック間差分画素データを出力する動き予測手段としての動き予測部(ME)である。911は、符号化対象画像と参照画像との類似度を検出する動き検出手段としての動き検出部(MM)である。912は、動き予測部910から得られた動きベクトル921、及びブロック間差分画素データをもとに復号化処理を行い、再構成画像データを短期参照画像メモリ902へ出力する動き補償手段としての動き補償部(MC)である。なお、短期参照画像メモリ902には、符号化対象画像(現ピクチャ)用の参照画像データ、及び次ピクチャ符号化用の再構成画像データの両方が格納される。
図7は、本実施形態に係る画像符号化装置2の符号化対象画像メモリ901、長期参照画像メモリ900、及び短期参照画像メモリ902に記憶されている画像の時間推移を示す図である。短期参照画像メモリ902には、時間時間t,t+1,t+2,t+3において、短期参照画像720,721,722,723,724が記憶されている。また各画像において、イントラ符号化が選択されたブロック731,732,733,734のみがそれぞれの時刻で更新される。
FIG. 7 is a diagram illustrating temporal transition of images stored in the encoding
このように、本実施形態によれば、時刻t,t+1,t+2,t+3で長期参照画像メモリ900には、長期参照画像として同一の画像700,701,702,703,704が記憶される。したがって、変化のあった部分の画像データのみを参照画像データとして記憶すればよく、使用するメモリ、画像データの転送量、及びブロック間差分演算量を低減することができる。
Thus, according to this embodiment, the
(第3の実施形態)
図10は、本実施形態に係る画像符号化装置3の動き予測部、及び動き補償部の一構成例を示すブロック図である。
図10において、1001は、符号化対象画像(ピクチャデータ)1020が格納される符号化対象画像メモリである。1002、及び1003は、予測符号化に用いる参照画像データを格納する参照画像メモリである。
(Third embodiment)
FIG. 10 is a block diagram illustrating a configuration example of the motion prediction unit and the motion compensation unit of the
In FIG. 10,
また、1010は、符号化対象画像、及び参照画像から動き補償予測符号化方式に基づいた動きベクトル1021、及びブロック間差分画素データを出力する動き予測手段としての動き予測部(ME)である。1011は、符号化対象画像と参照画像との類似度を検出する動き検出手段としての動き検出部(MM)である。1012は、動き予測部110から得られた動きベクトル1021、及びブロック間差分画素データをもとに復号化処理を行い、再構成画像データを参照画像メモリ1002へ出力する動き補償手段としての動き補償部(MM)である。なお、参照画像メモリ1002、1003には符号化対象画像(現ピクチャ)用の参照画像データおよび次ピクチャ符号化用の再構成画像データの両方が格納される。
図11は、本実施形態に係る画像符号化装置3の符号化対象メモリ1001及び、参照画像メモリ1002、及び1003に記憶された画像の時間推移を示す図である。参照画像メモリ1002では、直前のピクチャの参照データの内容推移1120,1121,1122,1123,1124に関しては、ピクチャ内の全データを保持する。また、参照画像メモリ1003では、内容推移1130,1131,1132,1133,1134に関しては、第1の実施の形態と同様に、動き検出部段1011により類似度小と判別されイントラ符号化されたブロックのみを更新する。
FIG. 11 is a diagram illustrating temporal transition of images stored in the
このように、本実施形態によれば、第1の実施形態と同じように、図3で示すような5枚のピクチャ分の参照画像を有していることと等価となる。 Thus, according to the present embodiment, as in the first embodiment, it is equivalent to having reference images for five pictures as shown in FIG.
(第4の実施形態)
上述した第1の実施形態〜第3の実施形態では、説明を簡単にするためにブロック単位での比較しか説明していない。しかしながら、フレーム内の動物体の微小な移動をブロックの変化と認識させないために、符号化により求められた動きベクトルの結果を利用して、適応的に指標値の算出方法に重み付けを加えるようにしてもよい。この動きベクトルには、空間的及び時間的長さが考慮される。
(Fourth embodiment)
In the above-described first to third embodiments, only a block-by-block comparison is described for the sake of simplicity. However, in order not to recognize the minute movement of the moving object within the frame as a change in the block, the index value calculation method is adaptively weighted using the result of the motion vector obtained by encoding. May be. This motion vector takes into account spatial and temporal lengths.
上述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各ステップは、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム、画像符号化装置を制御するプログラム、及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 Each means constituting the image coding apparatus and each step of the image coding method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program, a program for controlling the image encoding device, and a computer-readable recording medium on which the program is recorded are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器からなるシステムに適用してもよい。 In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium. Specifically, the present invention may be applied to a system including a plurality of devices.
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
101 符号化対象画像メモリ
102 参照メモリ
110 動き予測部
111 動き検出部
112 動き補償部
121 動きベクトル
900 長期参照メモリ
901 符号化対象画像メモリ
902 短期参照メモリ
910 動き予測部
911 動き検出部
912 動き補償部
101 encoding
Claims (7)
前記動画像のピクチャのブロックに対応する前記参照ピクチャのブロックを前記参照画像メモリから読み出す読み出し手段と、
前記参照ピクチャを更新するときに、前記動画像のピクチャのブロックと前記読み出し手段によって読み出された前記参照ピクチャのブロックとを比較して指標値を算出する指標値算出手段と、
前記指標値算出手段により算出された指標値に基づき、前記動画像のピクチャのブロックを前記参照画像メモリに格納する格納手段とを有することを特徴とする画像符号化装置。 An image encoding device that divides a moving picture picture into blocks of a predetermined size and performs motion compensation prediction encoding of the moving picture picture with reference to a reference picture stored in a reference picture memory for each of the divided blocks Because
Reading means for reading out the block of the reference picture corresponding to the block of the picture of the moving image from the reference image memory;
Index value calculating means for calculating an index value by comparing a block of a picture of the moving image with a block of the reference picture read by the reading means when updating the reference picture;
An image encoding apparatus comprising: storage means for storing a block of a picture of the moving image in the reference image memory based on the index value calculated by the index value calculation means.
前記動画像のピクチャのブロックに対応する前記参照ピクチャのブロックを前記参照画像メモリから読み出す読み出しステップと、
前記参照ピクチャを更新するときに、前記動画像のピクチャのブロックと前記読み出しステップにおいて読み出された前記参照ピクチャのブロックとを比較して指標値を算出する指標値算出ステップと、
前記指標値算出ステップにおいて算出された指標値に基づき、前記動画像のピクチャのブロックを前記参照画像メモリに格納する格納ステップとを有することを特徴とする画像符号化方法。 An image coding method for dividing a moving picture picture into blocks of a predetermined size and referring to a reference picture stored in a reference picture memory for each of the divided blocks and performing motion compensation predictive coding on the moving picture picture Because
A step of reading out the block of the reference picture corresponding to the block of the picture of the moving image from the reference image memory;
An index value calculating step of calculating an index value by comparing the block of the moving picture picture with the block of the reference picture read in the reading step when the reference picture is updated;
And a storing step of storing a block of a picture of the moving image in the reference image memory based on the index value calculated in the index value calculating step.
前記動画像のピクチャのブロックに対応する前記参照ピクチャのブロックを前記参照画像メモリから読み出す読み出しステップと、
前記参照ピクチャを更新するときに、前記動画像のピクチャのブロックと前記読み出しステップにおいて読み出された前記参照ピクチャのブロックとを比較して指標値を算出する指標値算出ステップと、
前記指標値算出ステップにおいて算出された指標値に基づき、前記動画像のピクチャのブロックを前記参照画像メモリに格納する格納ステップとをコンピュータに実行させるためのプログラム。 An image encoding device that divides a moving picture picture into blocks of a predetermined size and performs motion compensation prediction encoding of the moving picture picture with reference to a reference picture stored in a reference picture memory for each of the divided blocks A program for controlling
A step of reading out the block of the reference picture corresponding to the block of the picture of the moving image from the reference image memory;
An index value calculating step of calculating an index value by comparing the block of the moving picture picture with the block of the reference picture read in the reading step when the reference picture is updated;
A program for causing a computer to execute a storing step of storing a picture block of the moving image in the reference image memory based on the index value calculated in the index value calculating step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084434A JP2008245016A (en) | 2007-03-28 | 2007-03-28 | Image encoding apparatus and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084434A JP2008245016A (en) | 2007-03-28 | 2007-03-28 | Image encoding apparatus and method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008245016A true JP2008245016A (en) | 2008-10-09 |
Family
ID=39915776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007084434A Pending JP2008245016A (en) | 2007-03-28 | 2007-03-28 | Image encoding apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008245016A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013069990A1 (en) * | 2011-11-08 | 2013-05-16 | 삼성전자 주식회사 | Method and device for determining motion vector for video coding or video decoding |
WO2014007521A1 (en) * | 2012-07-02 | 2014-01-09 | 삼성전자 주식회사 | Method and apparatus for predicting motion vector for coding video or decoding video |
CN104581163A (en) * | 2009-08-13 | 2015-04-29 | 三星电子株式会社 | Method and apparatus for encoding and decoding image by using large transformation unit |
-
2007
- 2007-03-28 JP JP2007084434A patent/JP2008245016A/en active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104581163A (en) * | 2009-08-13 | 2015-04-29 | 三星电子株式会社 | Method and apparatus for encoding and decoding image by using large transformation unit |
US9386325B2 (en) | 2009-08-13 | 2016-07-05 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image by using large transformation unit |
US9225995B2 (en) | 2011-11-08 | 2015-12-29 | Samsung Electronics Co., Ltd. | Method and apparatus for motion vector determination in video encoding or decoding |
US9332273B2 (en) | 2011-11-08 | 2016-05-03 | Samsung Electronics Co., Ltd. | Method and apparatus for motion vector determination in video encoding or decoding |
CN104796724A (en) * | 2011-11-08 | 2015-07-22 | 三星电子株式会社 | Method and device for determining motion vector for video coding or video decoding |
CN104796723A (en) * | 2011-11-08 | 2015-07-22 | 三星电子株式会社 | Method and device for determining motion vector for video coding or video decoding |
CN104811727A (en) * | 2011-11-08 | 2015-07-29 | 三星电子株式会社 | Method and device for determining motion vector for video coding or video decoding |
US9204163B2 (en) | 2011-11-08 | 2015-12-01 | Samsung Electronics Co., Ltd. | Method and apparatus for motion vector determination in video encoding or decoding |
WO2013069990A1 (en) * | 2011-11-08 | 2013-05-16 | 삼성전자 주식회사 | Method and device for determining motion vector for video coding or video decoding |
CN104768010A (en) * | 2011-11-08 | 2015-07-08 | 三星电子株式会社 | Method and device for determining motion vector for video coding or video decoding |
CN104811727B (en) * | 2011-11-08 | 2018-02-16 | 三星电子株式会社 | The method and apparatus determined for the motion vector in Video coding or decoding |
US9451282B2 (en) | 2011-11-08 | 2016-09-20 | Samsung Electronics Co., Ltd. | Method and apparatus for motion vector determination in video encoding or decoding |
CN104796723B (en) * | 2011-11-08 | 2016-10-12 | 三星电子株式会社 | The method and apparatus determined for the motion vector in Video coding or decoding |
CN104796724B (en) * | 2011-11-08 | 2017-07-07 | 三星电子株式会社 | For the method and apparatus that the motion vector in Video coding or decoding determines |
CN104768010B (en) * | 2011-11-08 | 2017-07-07 | 三星电子株式会社 | For the method and apparatus that the motion vector in Video coding or decoding determines |
WO2014007521A1 (en) * | 2012-07-02 | 2014-01-09 | 삼성전자 주식회사 | Method and apparatus for predicting motion vector for coding video or decoding video |
US10200710B2 (en) | 2012-07-02 | 2019-02-05 | Samsung Electronics Co., Ltd. | Motion vector prediction method and apparatus for encoding or decoding video |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5155157B2 (en) | Video decoding device | |
KR101713354B1 (en) | Methods and apparatus for adaptively choosing a search range for motion estimation | |
ES2786998T3 (en) | Video decoding with improved motion vector diversity | |
CA3131447A1 (en) | Encoding and decoding method and device, encoder side apparatus and decoder side apparatus | |
JP5522174B2 (en) | Video encoding device | |
CN113597764A (en) | Interframe coding for adaptive resolution video coding | |
JP4643727B2 (en) | Image processing apparatus and image processing method | |
JP2010219983A5 (en) | ||
US20070247529A1 (en) | Image processing method and image processing device | |
JP2006074474A (en) | Moving image encoder, encoding method, and encoding program | |
KR102267770B1 (en) | Method and device for determining a set of modifiable elements in a group of pictures | |
US9420303B2 (en) | Method and apparatus for displacement vector component transformation in video coding and decoding | |
JP4015084B2 (en) | Motion vector detection apparatus and motion vector detection method | |
JP2010232734A (en) | Image encoding apparatus, and image encoding method | |
JP2006517069A (en) | Motion vector prediction method and system | |
JP2008245016A (en) | Image encoding apparatus and method, and program | |
JP2007166545A (en) | Motion vector detection device and method | |
JP2006279330A (en) | Motion compensation processing method | |
KR101431046B1 (en) | Video data encoding method of encoding video data for fruc, apparatus and storage medium thereof | |
US20020168008A1 (en) | Method and apparatus for coding moving pictures | |
JP4429996B2 (en) | Moving picture coding program, moving picture coding method, and moving picture coding apparatus | |
JP2007174202A (en) | Motion vector detecting device and method therefor | |
JP2011193453A (en) | Decoding apparatus and decoding method | |
JP2008301270A (en) | Moving image encoding device and moving image encoding method | |
JP6728870B2 (en) | Image compression apparatus, image compression method, and image compression program |