JP2002051342A - Coding apparatus, method of coding and storage medium - Google Patents

Coding apparatus, method of coding and storage medium

Info

Publication number
JP2002051342A
JP2002051342A JP2000237505A JP2000237505A JP2002051342A JP 2002051342 A JP2002051342 A JP 2002051342A JP 2000237505 A JP2000237505 A JP 2000237505A JP 2000237505 A JP2000237505 A JP 2000237505A JP 2002051342 A JP2002051342 A JP 2002051342A
Authority
JP
Japan
Prior art keywords
frame
block
encoding
motion vector
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000237505A
Other languages
Japanese (ja)
Inventor
Akiyoshi Hamanaka
章佳 浜中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000237505A priority Critical patent/JP2002051342A/en
Publication of JP2002051342A publication Critical patent/JP2002051342A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve the coding processing time or motion compensation accuracy by using shape information of an image with contour information when coding this image, and also to enable coding of an image which does not have contour information by extracting the contour information from this image to use the contour information. SOLUTION: The presence/absence of information according to blocked image data to be encoded is confirmed. When the presence/absence of the information is not detected, contour information with respect to the blocked image data is formed and predicted values of motion vectors of the blocked image data are calculated, and a first region which most resembles the blocked image data to be coded is determined. Motion vectors of the blocked image data to be coded are calculated, difference block value blocks are encoded, and the coded difference values are decoded to be re-stored in the storage means.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、動画像の各フレー
ムの画像データに対して符号化を行う符号化装置及びそ
の方法並びに記憶媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an encoding apparatus for encoding image data of each frame of a moving image, a method thereof, and a storage medium.

【0002】[0002]

【従来の技術】従来の符号化装置の一例をブロック図7
に示す。
2. Description of the Related Art An example of a conventional encoding apparatus is shown in FIG.
Shown in

【0003】図7に於いて、701は原画像データ用の
バッファメモリ、702はブロック化回路、703は減
算回路、704は直交変換回路、705は量子化回路、
706は可変長符号化回路、707は逆量子化回路、7
08は逆直交変換回路、709は加算回路、710,7
14,715はセレクタスイッチ、711,712はフ
レームメモリ、713は平均値演算回路、716は制御
回路、717は動きベクトル探索回路である。
In FIG. 7, 701 is a buffer memory for original image data, 702 is a block circuit, 703 is a subtraction circuit, 704 is an orthogonal transformation circuit, 705 is a quantization circuit,
706 is a variable length coding circuit, 707 is an inverse quantization circuit, 7
08 is an inverse orthogonal transformation circuit, 709 is an addition circuit, and 710 and 7
14 and 715 are selector switches, 711 and 712 are frame memories, 713 is an average value calculation circuit, 716 is a control circuit, and 717 is a motion vector search circuit.

【0004】図7に於いて、符号化対象である原画像デ
ータは、バッファメモリ701に格納され、制御回路7
16からの要求に応じて読み出され、ブロック化回路7
02によって符号化の単位に相当するサイズのブロック
(n×mのサイズ)に切り分けられる。
In FIG. 7, original image data to be encoded is stored in a buffer memory 701,
16 is read out in response to a request from the
02 is divided into blocks (n × m sizes) corresponding to the coding unit.

【0005】これ以降の処理はすべてこのブロック単位
で行われる。
[0005] All subsequent processing is performed in this block unit.

【0006】ブロック化された原画像データ(ブロック
化画像データ)は、動きベクトルを決定(動き補償)す
る為にベクトル探索回路717に入力される。
The original image data (blocked image data) that has been blocked is input to a vector search circuit 717 to determine a motion vector (motion compensation).

【0007】動きベクトル探索回路717に於ける動き
ベクトル探索方法の一例を図8に示す。
FIG. 8 shows an example of a motion vector search method in the motion vector search circuit 717.

【0008】図8(a)は現在時刻tに於ける符号化対
象フレームI(t)、図8(b)は図8(a)に示した
符号化対象フレームに対する参照フレームI(t−
1)、図8(c)は図8(b)に示したフレームに対す
る参照フレームI(t−2)を示す。図8(a)におい
て斜線部分のブロック(ブロックA)をI(t)に於け
る注目ブロックとし、MVcはI(t)におけるブロッ
クAのI(t−1)におけるブロックAに対する動きベ
クトルとする。また図8(c)において、MVpは、I
(t−1)におけるブロックAのI(t−2)における
ブロックAに対する動きベクトルとする。
FIG. 8A shows a frame I (t) to be coded at the current time t, and FIG. 8B shows a reference frame I (t-t) corresponding to the frame to be coded shown in FIG.
1) and FIG. 8 (c) show a reference frame I (t-2) for the frame shown in FIG. 8 (b). In FIG. 8A, the shaded block (block A) is the target block in I (t), and MVc is the motion vector of block A in I (t) with respect to block A in I (t-1). . Also, in FIG. 8C, MVp is I
The motion vector of the block A at (t-1) with respect to the block A at I (t-2).

【0009】ここで、動きベクトルMVcの検索方法
は、以下の手順に従う。
Here, the search method of the motion vector MVc follows the following procedure.

【0010】まず、動きベクトルMVpが検出されてい
るものとする。そして、I(t−1)上のブロックAと
同一位置からMVpだけシフトした位置を求め、この位
置を探索開始原点とする。
First, it is assumed that the motion vector MVp has been detected. Then, a position shifted by MVp from the same position as the block A on I (t-1) is obtained, and this position is set as the search start origin.

【0011】次に、探索開始原点を中心に水平、垂直方
向に所定のサイズの範囲(動きベクトルの検索範囲)を
設定し、この検索範囲内で所定の範囲の枠を1画素ずつ
シフトして、以下の式で求める差分絶対値和 (Σ|I(t)のブロックAの各画素−所定の範囲の枠
内の各画素|) を演算する。そして、1画素精度の差分絶対値和を比較
して、最小値を得た座標値(同図では所定の範囲の枠の
右上の位置の座標値)を検出する。そして更に動きベク
トルの検索精度を高めるために、前記所定の範囲の枠内
において、各画素間に仮想的な画素(画素値は周囲の画
素から計算)を配置し、結果的に前記所定の範囲の枠内
に仮想上、元の倍の解像度を用意し、この枠内でブロッ
クAのサイズ毎の差分絶対値和を上述と同様に演算す
る。その結果、得られた複数の差分絶対値和をそれぞれ
比較して、その最小値を得た座標値を検出することで、
動きベクトルMVcを求めることができる。
Next, a predetermined size range (motion vector search range) is set in the horizontal and vertical directions around the search start origin, and the frame of the predetermined range is shifted by one pixel within this search range. , And the sum of absolute differences obtained by the following equation (Σ | (pixels of block A of I (t) −pixels within a frame of a predetermined range |)) is calculated. Then, by comparing the sum of absolute differences with one-pixel accuracy, the coordinate value at which the minimum value is obtained (the coordinate value at the upper right position of the frame in the predetermined range in the figure) is detected. In order to further improve the accuracy of motion vector search, virtual pixels (pixel values are calculated from surrounding pixels) are arranged between pixels within the frame of the predetermined range. A virtual double resolution is prepared in the frame of, and the difference absolute value sum for each size of the block A is calculated in this frame in the same manner as described above. As a result, by comparing each of the obtained sums of the absolute values of the differences, and detecting the coordinate value at which the minimum value is obtained,
The motion vector MVc can be obtained.

【0012】上記のような動きベクトル探索法に於い
て、図8(b)で示されるI(t−1)は、制御回路7
16の制御によって、前述の所定の範囲の枠内の各画素
をフレームメモリ711または712から順次読み出
し、セレクタスイッチ714及び715aを介して、動
きベクトル探索回路717へ入力される。
In the above-described motion vector search method, I (t-1) shown in FIG.
Under the control of 16, each pixel within the above-described predetermined range frame is sequentially read from the frame memory 711 or 712, and is input to the motion vector search circuit 717 via the selector switches 714 and 715 a.

【0013】この時、上記一例では入力された所定の範
囲の枠内の各画素とI(t)のブロックAとの差分絶対
値和が演算され、その結果、動きベクトルを決定する。
At this time, in the above example, the sum of absolute differences between each pixel in the input frame within the predetermined range and the block A of I (t) is calculated, and as a result, a motion vector is determined.

【0014】次にブロック化画像データは、減算回路7
03へ入力される。同時に制御回路716の制御によ
り、動きベクトル探索回路717にて求められた動きベ
クトルにて指定される予測値(局部復号済みブロック)
をフレームメモリ711または712から読み出し、セ
レクタスイッチ714および715bを介して減算回路
703へ入力させ、ブロック化回路702からのブロッ
ク化画像データから減算処理する。
Next, the block image data is subtracted from the subtraction circuit 7.
03 is input. At the same time, under the control of the control circuit 716, the predicted value (locally decoded block) specified by the motion vector obtained by the motion vector search circuit 717
Is read out from the frame memory 711 or 712, input to the subtraction circuit 703 via the selector switches 714 and 715b, and subtraction processing is performed from the blocked image data from the blocking circuit 702.

【0015】減算回路703に於ける減算結果は、原画
像のデータの予測誤差として出力された後、直交変換回
路704にて直交変換される。
The result of the subtraction in the subtraction circuit 703 is output as a prediction error of the data of the original image, and is then orthogonally transformed in the orthogonal transformation circuit 704.

【0016】直交変換回路704にて直交変換された予
測誤差は、量子化回路705にて量子化された後、可変
長符号化回路706へ入力され、所定の関数に基づく可
変長符号を付与される。
The prediction error orthogonally transformed by the orthogonal transformation circuit 704 is quantized by a quantization circuit 705 and then input to a variable length encoding circuit 706, where a variable length code based on a predetermined function is added. You.

【0017】一方、量子化処理後の予測誤差は、逆量子
化回路707及び逆直交変換回路708にて、量子化回
路705、直交変換回路704と全く逆の処理を施され
た後、加算回路709にて、減算回路703にて予測誤
差を求める際に使用した値(予測値)と同一の値が加算
され、局部復号化画像データとして、セレクタスイッチ
710を介してフレームメモリ711または712に記
憶される。
On the other hand, the prediction error after the quantization processing is subjected to processing completely opposite to that of the quantization circuit 705 and the orthogonal transformation circuit 704 by the inverse quantization circuit 707 and the inverse orthogonal transformation circuit 708, and then to the addition circuit. At 709, the same value as the value (predicted value) used when the prediction error is obtained by the subtraction circuit 703 is added and stored in the frame memory 711 or 712 via the selector switch 710 as locally decoded image data. Is done.

【0018】フレームメモリ711,712は、前述の
ように局部復号された画像データをフレーム単位で記憶
する機能を持ったフレームメモリである。
The frame memories 711 and 712 are frame memories having a function of storing the locally decoded image data in frame units as described above.

【0019】フレームメモリ711,712に記憶され
た局部復号済みブロックは、前述のように、制御回路7
16の制御により、動きベクトル探索時は、セレクタス
イッチ714,715aを介して動きベクトル探索回路
717へ、予測誤差演算時は、セレクタスイッチ71
4,715bを介して減算回路703へ、同様に局部復
号時はセレクタスイッチ714,715cを介して加算
回路709へ、それぞれ出力される。
The locally decoded blocks stored in the frame memories 711 and 712 are stored in the control circuit 7 as described above.
Under the control of the control unit 16, the motion vector search circuit 717 via the selector switches 714 and 715 a when searching for a motion vector, and the selector switch 71 when calculating a prediction error.
4, 715b to the subtraction circuit 703, and similarly, at the time of local decoding, to the addition circuit 709 via the selector switches 714, 715c.

【0020】[0020]

【発明が解決しようとする課題】以上説明したように、
従来の符号化装置に於いては、原画像データに付随する
情報を利用する機能がない為、MPEG−4に代表され
るように背景領域と対象画像領域とを識別する形状情報
(輪郭情報)のように動き補償に有効な情報を有する画
像を符号化する際でも、前述の情報は利用不可能である
為、符号化処理時間の短縮や動き補償精度の向上のネッ
クとなっていた。
As described above,
Since the conventional encoding apparatus does not have a function of using information accompanying the original image data, shape information (contour information) for identifying a background area and a target image area as represented by MPEG-4. Even when an image having information effective for motion compensation is encoded as described above, the above-mentioned information cannot be used, which has been a bottleneck in shortening the encoding processing time and improving the motion compensation accuracy.

【0021】そこで、本発明は上述の従来例の問題点に
鑑みてなされたものであり、輪郭情報を有する画像の符
号化の際に、この形状情報を用いて符号化を行うこと
で、符号化処理時間や動き補償精度を向上させることを
目的とする。また輪郭情報を有しない画像に対しても、
この画像から輪郭情報を抽出し、この輪郭情報を用いる
ことで、同様に符号化を行えるようにすることを目的と
する。
Therefore, the present invention has been made in view of the above-mentioned problems of the conventional example. When an image having contour information is encoded, the encoding is performed by using this shape information. An object of the present invention is to improve the processing time and the motion compensation accuracy. Also, for images without contour information,
It is an object of the present invention to extract outline information from the image and use the outline information to perform encoding in a similar manner.

【0022】[0022]

【課題を解決するための手段】本発明の目的を達成する
ために、その一つの本発明の符号化装置は、動画像の各
フレームの画像データに対して符号化を行う符号化装置
であって、動画像の各フレームのうち、第1のフレーム
よりも時間的に前のフレームである第2のフレームを格
納する格納手段と、前記第2のフレームを前記格納手段
から読み出し、前記第2のフレームと、第1のフレーム
とを、所定のサイズを有するブロックに分割する分割手
段と、前記分割手段よるブロック毎に、前記第1のフレ
ーム、前記第2のフレームに含まれるオブジェクトの輪
郭情報を抽出する抽出手段と、前記抽出手段により抽出
された、前記第1のフレームに含まれるオブジェクトの
輪郭情報と、前記第2のフレームに含まれるオブジェク
トの輪郭情報とを用いて、前記第2のフレームから前記
第1のフレームへの動きベクトルをブロック単位で算出
すると共に、当該動きベクトルを用いて、前記第1のフ
レームから、前記第1のフレームより時間的に後のフレ
ームである、前記第3のフレームへの動きベクトルをブ
ロック単位で予測する予測手段と、前記第3のフレーム
において、前記予測手段で予測された動きベクトルで示
されるブロックと、当該ブロックに位置的に対応する前
記第1のフレームにおけるブロックとの差分値に対して
符号化を行う符号化手段とを備えることを特徴とする。
In order to achieve the object of the present invention, an encoding apparatus according to the present invention is an encoding apparatus for encoding image data of each frame of a moving image. Storing means for storing a second frame that is temporally earlier than the first frame among the frames of the moving image; and reading out the second frame from the storing means. And a dividing unit for dividing the first frame and the first frame into blocks having a predetermined size, and contour information of objects included in the first frame and the second frame for each block by the dividing unit. Extracting means for extracting the outline information of the object included in the first frame and the outline information of the object included in the second frame, extracted by the extracting means. Then, a motion vector from the second frame to the first frame is calculated in block units, and the motion vector is used to calculate a motion vector temporally later than the first frame from the first frame. A prediction unit that predicts a motion vector to the third frame, which is a frame, in units of blocks; a block indicated by the motion vector predicted by the prediction unit in the third frame; Encoding means for encoding a difference value with respect to a block in the first frame corresponding to the first frame.

【0023】また、その一つの本発明の符号化方法は、
動画像の各フレームの画像データに対して符号化を行う
符号化方法であって、動画像の各フレームのうち、第1
のフレームよりも時間的に前のフレームである第2のフ
レームを所定の格納手段に格納する格納工程と、前記第
2のフレームを前記所定の格納手段から読み出し、前記
第2のフレームと、第1のフレームとを、所定のサイズ
を有するブロックに分割する分割工程と、前記分割工程
よるブロック毎に、前記第1のフレーム、前記第2のフ
レームに含まれるオブジェクトの輪郭情報を抽出する抽
出工程と、前記抽出工程により抽出された、前記第1の
フレームに含まれるオブジェクトの輪郭情報と、前記第
2のフレームに含まれるオブジェクトの輪郭情報とを用
いて、前記フレーム2から前記フレーム1への動きベク
トルをブロック単位で算出すると共に、当該動きベクト
ルを用いて、前記第1のフレームから、前記フレーム1
より時間的に後のフレームである、前記第3のフレーム
への動きベクトルをブロック単位で予測する予測工程
と、前記第3のフレームにおいて、前記予測工程で予測
された動きベクトルで示されるブロックと、当該ブロッ
クに位置的に対応する前記第1のフレームにおけるブロ
ックとの差分値に対して符号化を行う符号化工程とを備
えることを特徴とする。
One of the encoding methods of the present invention is as follows.
An encoding method for encoding image data of each frame of a moving image, comprising:
Storing a second frame, which is a frame temporally earlier than the frame of the second frame, in a predetermined storage unit; reading the second frame from the predetermined storage unit; A dividing step of dividing one frame into blocks having a predetermined size; and an extracting step of extracting contour information of an object included in the first frame and the second frame for each block by the dividing step. From the frame 2 to the frame 1 using the outline information of the object included in the first frame and the outline information of the object included in the second frame extracted in the extraction step. A motion vector is calculated for each block, and the motion vector is used to calculate the frame 1 from the first frame.
A prediction step of predicting a motion vector to the third frame, which is a later frame, in units of blocks, and a block indicated by the motion vector predicted in the prediction step in the third frame. And an encoding step of encoding a difference value between the block and the block in the first frame that corresponds to the block in position.

【0024】また、その一つの本発明の記憶媒体は、動
画像の各フレームの画像データに対して符号化を行う符
号化装置として機能するプログラムコードを格納する記
憶媒体であって、動画像の各フレームのうち、第1のフ
レームよりも時間的に前のフレームである第2のフレー
ムを所定の格納手段に格納する格納工程のプログラムコ
ードと、前記第2のフレームを前記所定の格納手段から
読み出し、前記第2のフレームと、第1のフレームと
を、所定のサイズを有するブロックに分割する分割工程
のプログラムコードと、前記分割工程よるブロック毎
に、前記第1のフレーム、前記第2のフレームに含まれ
るオブジェクトの輪郭情報を抽出する抽出工程のプログ
ラムコードと、前記抽出工程により抽出された、前記第
1のフレームに含まれるオブジェクトの輪郭情報と、前
記第2のフレームに含まれるオブジェクトの輪郭情報
と、を用いて、前記第2のフレームから前記第1のフレ
ームへの動きベクトルをブロック単位で算出すると共
に、当該動きベクトルを用いて、前記第1のフレームか
ら、前記第1のフレームより時間的に後のフレームであ
る、前記第3のフレームへの動きベクトルをブロック単
位で予測する予測工程のプログラムコードと、前記第3
のフレームにおいて、前記予測工程で予測された動きベ
クトルで示されるブロックと、当該ブロックに位置的に
対応する前記第1のフレームにおけるブロックとの差分
値に対して符号化を行う符号化工程のプログラムコード
とを備えることを特徴とする。
A storage medium according to the present invention is a storage medium for storing a program code that functions as an encoding device that encodes image data of each frame of a moving image. A program code for a storage step of storing a second frame, which is a frame temporally earlier than the first frame, in a predetermined storage unit among the frames, and storing the second frame from the predetermined storage unit. A program code of a dividing step of reading and dividing the second frame and the first frame into blocks having a predetermined size; and a program code of the first frame and the second frame for each block by the dividing step. A program code of an extraction step for extracting contour information of an object included in the frame; and a program code included in the first frame extracted in the extraction step. Using the outline information of the object and the outline information of the object included in the second frame, a motion vector from the second frame to the first frame is calculated for each block, and the motion vector is calculated. A program code of a prediction step of predicting a motion vector from the first frame to the third frame, which is a frame temporally later than the first frame, on a block-by-block basis, 3
In the frame of the above, a program for an encoding step of encoding a difference value between a block indicated by a motion vector predicted in the prediction step and a block in the first frame corresponding to the block in position And a code.

【0025】また、その一つの本発明の符号化装置は、
動画像の各フレームの画像データに対して符号化を行う
符号化装置であって、各フレームに含まれるオブジェク
トの輪郭情報を抽出する抽出手段と、前記抽出手段によ
り抽出されたオブジェクトの輪郭情報を用いて符号化対
象フレームの画像データの動きベクトルを検出する検出
手段と、前記検出手段によって検出された動きベクトル
を用いて前記符号化対象フレームの画像データを動き補
償符号化する符号化手段とを備えることを特徴とする。
Also, one of the encoding devices of the present invention is:
What is claimed is: 1. An encoding apparatus for encoding image data of each frame of a moving image, comprising: extracting means for extracting contour information of an object included in each frame; and extracting contour information of the object extracted by the extracting means. Detecting means for detecting a motion vector of image data of the encoding target frame using the encoding means, and encoding means for performing motion compensation encoding of the image data of the encoding target frame using the motion vector detected by the detecting means. It is characterized by having.

【0026】また、その一つの本発明の符号化方法は、
動画像の各フレームの画像データに対して符号化を行う
符号化方法であって、各フレームに含まれるオブジェク
トの輪郭情報を抽出する抽出工程と、前記抽出工程によ
り抽出されたオブジェクトの輪郭情報を用いて符号化対
象フレームの画像データの動きベクトルを検出する検出
工程と、前記検出工程によって検出された動きベクトル
を用いて前記符号化対象フレームの画像データを動き補
償符号化する符号化工程とを備えることを特徴とする。
One of the encoding methods of the present invention is as follows.
An encoding method for encoding image data of each frame of a moving image, comprising: an extraction step of extracting outline information of an object included in each frame; and extracting the outline information of the object extracted by the extraction step. A detection step of detecting a motion vector of the image data of the encoding target frame using the motion vector, and an encoding step of performing motion compensation encoding of the image data of the encoding target frame using the motion vector detected by the detection step. It is characterized by having.

【0027】また、その一つの本発明の記憶媒体は、動
画像の各フレームの画像データに対して符号化を行う符
号化装置として機能するプログラムコードを格納する記
憶媒体であって、各フレームに含まれるオブジェクトの
輪郭情報を抽出する抽出工程のプログラムコードと、前
記抽出工程により抽出されたオブジェクトの輪郭情報を
用いて符号化対象フレームの画像データの動きベクトル
を検出する検出工程のプログラムコードと、前記検出工
程によって検出された動きベクトルを用いて前記符号化
対象フレームの画像データを動き補償符号化する符号化
工程のプログラムコードとを格納したことを特徴とす
る。
One storage medium of the present invention is a storage medium for storing a program code functioning as an encoding device for encoding image data of each frame of a moving image. A program code of an extraction step of extracting contour information of an included object; and a program code of a detection step of detecting a motion vector of image data of an encoding target frame using the contour information of the object extracted in the extraction step. A program code for an encoding step of performing motion compensation encoding on the image data of the encoding target frame using the motion vector detected in the detecting step is stored.

【0028】[0028]

【発明の実施の形態】以下添付図面に従って、本発明を
好適な実施形態に従って詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail according to preferred embodiments with reference to the accompanying drawings.

【0029】[第1の実施形態]本実施形態における符
号化装置の構成を示すブロック図を図1に示す。
[First Embodiment] FIG. 1 is a block diagram showing the configuration of an encoding apparatus according to this embodiment.

【0030】図1に於いて、101は原画像用フレーム
メモリ、102はブロック化回路、103は減算回路、
104は直交変換回路、105は量子化回路、106は
可変長符号化回路、107は逆量子化回路、108は逆
直交変換回路、109は加算回路、110,114,1
15はセレクタスイッチ、111,112はフレームメ
モリ、113は平均値演算回路、116は制御回路、1
17は動き予測回路、118は動きベクトル探索回路、
119は輪郭情報バッファ、120はエッジ検出回路で
ある。なお、本実施形態の符号化装置における処理を図
4に示したフローチャートに従って説明する。
In FIG. 1, reference numeral 101 denotes a frame memory for an original image, 102 denotes a block circuit, 103 denotes a subtraction circuit,
104 is an orthogonal transformation circuit, 105 is a quantization circuit, 106 is a variable length coding circuit, 107 is an inverse quantization circuit, 108 is an inverse orthogonal transformation circuit, 109 is an addition circuit, 110, 114, and 1
15 is a selector switch, 111 and 112 are frame memories, 113 is an average value calculation circuit, 116 is a control circuit,
17 is a motion prediction circuit, 118 is a motion vector search circuit,
119 is an outline information buffer, and 120 is an edge detection circuit. The processing in the encoding device according to the present embodiment will be described with reference to the flowchart shown in FIG.

【0031】図1に於いて、101のフレームメモリに
は、編集作業を経た動画像データ又は各フレームが、複
数の独立した階層で構成される動画像データと前記各原
画像データの各フレームを構成する前記各階層毎に背景
画像領域とオブジェクト画像領域とを識別する為の識別
情報(形状情報)が記憶されている。
In FIG. 1, a frame memory 101 stores moving image data that has been edited and each frame includes moving image data composed of a plurality of independent layers and each frame of the original image data. Identification information (shape information) for identifying a background image area and an object image area is stored for each of the constituent layers.

【0032】まず、制御回路116の制御により、フレ
ームメモリ101から符号化の対象である原画像データ
が選択され、読み出される。ブロック化回路102にお
ける選択された原画像データに対するブロック化処理と
平行して、制御回路116はブロック化回路102から
の各ブロックが位置する階層に対応する形状情報の検出
を実施する。
First, under the control of the control circuit 116, original image data to be encoded is selected from the frame memory 101 and read. In parallel with the blocking process for the selected original image data in the blocking circuit 102, the control circuit 116 detects shape information corresponding to the layer in which each block is located from the blocking circuit 102.

【0033】フレームメモリ101から読み出された各
フレームを構成する各階層の前述の画像に対応する形状
情報の検索を行った結果、階層の前述の画像に対応する
形状情報が検出された場合は、制御回路116の制御に
よって前記各フレームを構成する各階層の画像に対応す
る形状情報をフレームメモリ101から読み出して、輪
郭情報バッファ119へ記憶させる。
When the shape information corresponding to the above-mentioned image of each layer constituting each frame read from the frame memory 101 is searched, and the shape information corresponding to the above-mentioned image of the layer is detected, Under the control of the control circuit 116, the shape information corresponding to the image of each layer constituting each frame is read out from the frame memory 101 and stored in the outline information buffer 119.

【0034】前記形状情報は、制御回路116の制御に
より、前記形状情報に該当する階層の画像が読み出され
るのと並行して、フレーム単位で一括して輪郭情報バッ
ファ119に書き込まれるように構成されており、フレ
ームメモリ101からの前記形状情報の読み出し、及び
輪郭情報バッファ119への書き込みは、階層の画像が
符号化される毎に繰り返される。
Under the control of the control circuit 116, the shape information is written in the outline information buffer 119 in a frame unit in parallel with the reading of the image of the layer corresponding to the shape information. The reading of the shape information from the frame memory 101 and the writing to the contour information buffer 119 are repeated every time a hierarchical image is encoded.

【0035】一方、制御回路116の制御により選択さ
れ、フレームメモリ101から読み出された原画像デー
タは、ブロック化回路102へ入力され、所定のサイズ
(n×m n,m:定数)に分割され、これ以降の処理
はすべて前記ブロックを単位とする。つまり図4に示し
たフローチャートは、ブロック単位での処理のフローチ
ャートである。
On the other hand, original image data selected under the control of the control circuit 116 and read out from the frame memory 101 is input to the blocking circuit 102 and divided into predetermined sizes (n × mn, m: constant). All subsequent processing is performed using the block as a unit. That is, the flowchart shown in FIG. 4 is a flowchart of the processing in block units.

【0036】ブロック単位に分割された原画像データ
(ブロック化画像データ)は、エッジ検出回路120へ
入力される。入力されたブロック化画像データに対する
エッジ検出回路120に於ける処理は、この入力された
ブロック画像データに対応する形状情報の有無によって
異なっており、またエッジ検出については本実施形態で
は図2に示した構造のエッジ検出回路120を用いて行
われる。
The original image data (blocked image data) divided into blocks is input to the edge detection circuit 120. The processing of the input block image data in the edge detection circuit 120 differs depending on the presence or absence of shape information corresponding to the input block image data. In the present embodiment, the edge detection is shown in FIG. This is performed using the edge detection circuit 120 having the above structure.

【0037】よってまず、前述の入力されたブロック画
像データに対応する形状情報の有無を確認する(ステッ
プS402)。
Therefore, first, it is confirmed whether or not there is shape information corresponding to the input block image data (step S402).

【0038】エッジ検出回路120に入力されたブロッ
ク化画像データに対応する形状情報が検出済みで、かつ
輪郭情報バッファ119に記憶されている場合には、エ
ッジ検出回路120に於けるエッジ検出処理は行われな
い。
If the shape information corresponding to the block image data input to the edge detection circuit 120 has been detected and stored in the contour information buffer 119, the edge detection processing in the edge detection circuit 120 Not done.

【0039】一方、エッジ検出回路120に入力された
ブロック化画像データに対応する形状情報が検出されな
かった場合には、エッジ検出回路120は制御回路11
6の制御により、このブロック化画像データをバッファ
201へ記憶させる。
On the other hand, when the shape information corresponding to the block image data input to the edge detection circuit 120 is not detected, the edge detection circuit 120
Under the control of 6, the block image data is stored in the buffer 201.

【0040】ここで、図2を参照しながら、図5(a)
に示したエッジ情報の検出処理のフローチャートに従っ
て、エッジ検出回路120における処理(ステップ40
3)について説明する。
Here, referring to FIG. 2, FIG.
According to the flowchart of the edge information detection process shown in FIG.
3) will be described.

【0041】バッファ201へ記憶されたブロック化画
像データは、適宜DCT(離散コサイン変換)処理回路
202へ入力され(ステップS501a)、DCT係数
に変換される(ステップS502a)。
The block image data stored in the buffer 201 is appropriately input to a DCT (discrete cosine transform) processing circuit 202 (step S501a), and is converted into DCT coefficients (step S502a).

【0042】DCT係数に変換されたブロック化画像デ
ータは、コントローラ206の制御により、選択された
メモリ203のセルへブロック単位で記憶される。以上
の処理は全ブロックについて行われる(ステップS50
3a,ステップS504a)。
The block image data converted into DCT coefficients is stored in the selected cell of the memory 203 in units of blocks under the control of the controller 206. The above processing is performed for all blocks (step S50).
3a, Step S504a).

【0043】メモリ203へ記憶されたブロック毎のD
CT係数は、コントローラ206の制御により読み出さ
れ、エッジ検出部204へ入力される。エッジ検出部2
04は、二次元的に連続する各ブロック化画像データの
周波数スペクトルを評価して(ステップS505a)、
複数ブロックに跨るエッジを推定し、エッジ情報を生成
する(ステップS506a)。生成されたエッジ情報
は、輪郭情報生成回路205へ入力され、原画像の各フ
レームを構成する各階層毎の輪郭情報(エッジマップ)
を形成し(ステップS404)、出力する(ステップS
405)。
D for each block stored in the memory 203
The CT coefficients are read under the control of the controller 206 and input to the edge detection unit 204. Edge detector 2
04 evaluates the frequency spectrum of each two-dimensionally continuous block image data (step S505a),
An edge extending over a plurality of blocks is estimated, and edge information is generated (step S506a). The generated edge information is input to the contour information generating circuit 205, and contour information (edge map) for each layer constituting each frame of the original image.
Is formed (step S404) and output (step S404).
405).

【0044】この時、輪郭情報生成回路205で生成さ
れるエッジマップは、輪郭情報バッファ119と動き予
測回路117へ出力される。輪郭情報バッファ119へ
入力されたエッジマップは、原画像には存在しない形状
情報の代用として記憶され、現在符号化対象となってい
るフレーム(階層)画像が予測参照される場合に利用可
能となっている。
At this time, the edge map generated by the outline information generation circuit 205 is output to the outline information buffer 119 and the motion prediction circuit 117. The edge map input to the contour information buffer 119 is stored as a substitute for shape information that does not exist in the original image, and can be used when a current frame (hierarchical) image to be encoded is referred to by prediction. ing.

【0045】以上の構造を有するエッジ検出回路120
の他にも、図3に示した構造を有するエッジ検出回路3
00を用いてもよい。
Edge detection circuit 120 having the above structure
Besides, the edge detection circuit 3 having the structure shown in FIG.
00 may be used.

【0046】まず、制御回路116の検出処理によっ
て、エッジ検出回路300に入力されたブロック化画像
データに対応する形状情報が検出済みで、かつ輪郭情報
バッファ119に記憶されている場合には、エッジ検出
回路300に於けるエッジ検出処理は行われない。
First, if the shape information corresponding to the block image data input to the edge detection circuit 300 has been detected by the detection processing of the control circuit 116 and stored in the contour information buffer 119, the edge No edge detection processing is performed in the detection circuit 300.

【0047】一方、制御回路116に入力されたブロッ
ク化画像データに対応する形状情報が検出されなかった
場合には、エッジ検出回路300は、制御回路116の
制御により、このブロック化画像データ300をバッフ
ァ301へ記憶させる。
On the other hand, when no shape information corresponding to the block image data input to the control circuit 116 is detected, the edge detection circuit 300 controls the block image data 300 under the control of the control circuit 116. The data is stored in the buffer 301.

【0048】なお、エッジ検出回路300における処理
を示すフローチャートを図5(b)に示し、説明する。
FIG. 5B is a flowchart showing the processing in the edge detection circuit 300, and will be described.

【0049】バッファ301へ記憶されたブロック化画
像データは、適宜読み出されて(ステップS501
b)、総和演算器302へ入力され、入力されたブロッ
ク化画像データを構成する全画素の輝度値の総和を演算
する(ステップS502b)。演算されたブロック毎の
全画素の輝度値の総和は、コントローラ306の制御に
より、選択されたメモリ303のセルへブロック単位で
記憶される。以上の処理は全ブロックについて行われる
(ステップS503b,ステップS504b)。
The block image data stored in the buffer 301 is appropriately read out (step S501).
b), is input to the sum calculator 302, and calculates the sum of the luminance values of all the pixels constituting the input block image data (step S502b). The calculated sum of the luminance values of all pixels for each block is stored in the selected cell of the memory 303 in units of blocks under the control of the controller 306. The above processing is performed for all blocks (step S503b, step S504b).

【0050】メモリ303へ記憶されたブロック毎の全
画素の輝度値の総和は、コントローラ306の制御によ
り読み出され、エッジ検出部304へ入力される。エッ
ジ検出部304では、ブロック毎の全画素の輝度値の総
和をこのブロックの画像に関する空間周波数スペクトル
の直流成分を表すパラメータとして取り扱い、二次元的
に連続するブロック間の直流成分を比較・評価し(ステ
ップS505b)、エッジ検出を行い、エッジ情報を生
成する(ステップS506b)。
The sum of the luminance values of all the pixels for each block stored in the memory 303 is read out under the control of the controller 306 and input to the edge detection unit 304. The edge detection unit 304 treats the sum of the luminance values of all pixels for each block as a parameter representing the DC component of the spatial frequency spectrum related to the image of this block, and compares and evaluates the DC component between two-dimensionally continuous blocks. (Step S505b), edge detection is performed, and edge information is generated (Step S506b).

【0051】生成されたエッジ情報は、輪郭情報生成回
路305へ入力され、原画像の各フレームを構成する各
階層毎の輪郭情報を形成して出力する。
The generated edge information is input to the contour information generating circuit 305, which forms and outputs contour information for each layer constituting each frame of the original image.

【0052】この時、輪郭情報生成回路305で生成さ
れる輪郭情報は、輪郭情報バッファ119と動き予測回
路117へ出力される。以下、図2に示した構成を有す
るエッジ検出回路120の場合と同様に、輪郭情報バッ
ファ119へ入力された輪郭情報は、原画像には存在し
ない形状情報の代用として記憶され、現在符号化対象と
なっているフレーム(階層)画像が予測参照される場合
に利用可能となっている。
At this time, the outline information generated by the outline information generation circuit 305 is output to the outline information buffer 119 and the motion prediction circuit 117. Hereinafter, as in the case of the edge detection circuit 120 having the configuration shown in FIG. 2, the contour information input to the contour information buffer 119 is stored as a substitute for shape information that does not exist in the original image, and Is available when the frame (hierarchical) image is predicted and referenced.

【0053】次に制御回路116は、輪郭情報バッファ
119に記憶されている輪郭情報を読み出して(ステッ
プS406)、動き予測回路117へ入力する。この動
き予測回路117の動作を図6に示し、説明する。
Next, the control circuit 116 reads out the contour information stored in the contour information buffer 119 (step S406) and inputs it to the motion prediction circuit 117. The operation of the motion prediction circuit 117 will be described with reference to FIG.

【0054】前記したように輪郭情報は、原画像に対応
する形状情報が存在した場合は、その形状情報そのもの
であり、存在しなかった場合は、前述のように、エッジ
検出回路120にて生成されたエッジマップ(図6
(a))である。続いて動き予測対象となる画像に対応
するエッジマップ(図6(b))を輪郭情報バッファ1
19から読み出し(ステップS407)、フレーム(又
は階層)単位で比較評価を行い、フレーム(又は階層)
のブロック単位の動きベクトルの予測値MVx(図6
(a)参照)を算出する(ステップS408)。
As described above, the contour information is the shape information itself if the shape information corresponding to the original image exists, and if not, the contour information is generated by the edge detection circuit 120 as described above. Edge map (Fig. 6
(A)). Subsequently, the edge map (FIG. 6B) corresponding to the image to be motion predicted is stored in the contour information buffer 1.
19 (step S407), and a comparative evaluation is performed for each frame (or layer), and the frame (or layer) is evaluated.
The predicted value MVx of the motion vector in block units of FIG.
(See (a)) is calculated (step S408).

【0055】算出された動きベクトルの予測値MVx
は、動きベクトル探索回路118へ入力される。動きベ
クトル探索回路118では、入力された動きベクトル予
測値MVxから、動きベクトル探索開始点(図8(b)
参照)を算出し、算出された動きベクトル探索開始点を
中心として、任意に設定された動きベクトル探索範囲内
で従来例と同様な方法にて動きベクトル探索を行う(ス
テップS409)。なお、本実施形態に於ける動きベク
トル探索開始点は、現在の符号化対象ブロックの位置か
ら動きベクトルの予測値MVxに相当する水平、垂直座
標分オフセットした位置と定義する。
The calculated predicted value MVx of the motion vector
Is input to the motion vector search circuit 118. The motion vector search circuit 118 calculates a motion vector search start point (FIG. 8B) from the input motion vector predicted value MVx.
Then, a motion vector search is performed in the arbitrarily set motion vector search range in the same manner as in the conventional example around the calculated motion vector search start point (step S409). The motion vector search start point in the present embodiment is defined as a position offset from the current position of the current block to be encoded by the horizontal and vertical coordinates corresponding to the predicted value MVx of the motion vector.

【0056】以上のようにして、符号化対象ブロックの
動きベクトルが決定した後に、この動きベクトルを用い
て符号化対象ブロックの符号化を行う処理(ステップS
410)について、図9に示したフローチャートを用い
て説明する。
After the motion vector of the block to be coded is determined as described above, the process of coding the block to be coded using this motion vector (step S
410) will be described with reference to the flowchart shown in FIG.

【0057】以上のようにして、符号化対象ブロックの
動きベクトルが決定した後、制御回路116の制御によ
り、符号化対象ブロックをブロック化回路102から減
算回路103へ入力する。同時に符号化対象ブロックに
対応する参照するフレーム(局部復号化済み)から動き
ベクトルで指定される位置に該当するブロック(予測参
照ブロック)を決定し(ステップS901)、この予測
参照ブロックをフレームメモリ111または112から
読み出して、減算回路103へ入力し、減算回路103
において符号化対象ブロックから予測参照ブロックのそ
れぞれ対応する画素間で減算を行う(ステップS90
2)。
After the motion vector of the encoding target block is determined as described above, the encoding target block is input from the blocking circuit 102 to the subtraction circuit 103 under the control of the control circuit 116. At the same time, a block (prediction reference block) corresponding to the position specified by the motion vector is determined from the reference frame (locally decoded) corresponding to the encoding target block (step S901), and this prediction reference block is stored in the frame memory 111. Or 112, and inputs the result to the subtraction circuit 103,
In step S90, subtraction is performed between the corresponding pixels of the prediction reference block from the encoding target block (step S90).
2).

【0058】これ以降の処理は従来例と同様に、減算回
路103にて算出された差分値(予測誤差)ブロックと
なった符号化対象ブロックを104の直交変換器にて直
交変換係数ブロックに変換する(ステップS903)。
直交変換回路104にて直交変換係数に座標変換された
符号化対象ブロックは量子化回路105に入力され、符
号化対象ブロックの各係数を所定の量子化係数にて量子
化処理する(ステップS904)。量子化係数は、所望
の符号量、画質等の条件により任意に選択、制御可能で
ある。
Subsequent processing is the same as in the conventional example, in which the block to be coded, which is a difference value (prediction error) block calculated by the subtraction circuit 103, is converted into an orthogonal transform coefficient block by the orthogonal transformer 104. (Step S903).
The encoding target block, which has been subjected to the coordinate transformation into the orthogonal transformation coefficient by the orthogonal transformation circuit 104, is input to the quantization circuit 105, and each coefficient of the encoding target block is quantized with a predetermined quantization coefficient (step S904). . The quantization coefficient can be arbitrarily selected and controlled according to conditions such as a desired code amount and image quality.

【0059】量子化処理された符号化対象ブロックは可
変長符号化回路106へ入力され、量子化処理された後
の符号化対象ブロックの各係数に対して可変長符号を付
与して出力される(ステップS905)。
The quantized block to be coded is input to the variable-length coding circuit 106, and a variable-length code is added to each coefficient of the block to be coded after the quantization process, and the resulting block is output. (Step S905).

【0060】同時に量子化処理された符号化対象ブロッ
クは逆量子化回路107へ入力され、量子化処理された
後の符号化対象ブロックの各係数に対して、量子化回路
105で使用した量子化係数を乗算することにより、逆
量子化処理を行う。逆量子化回路107にて逆量子化演
算された符号化対象ブロックを逆直交変換回路108へ
入力し、直交変換回路104における直交変換処理と対
を成す逆直交変換を行い、予測誤差の局部復号済みブロ
ックである局部復号化予測誤差ブロックを生成して、加
算回路109に入力される。加算回路109に入力され
た局部復号化予測誤差ブロックは、減算回路103にて
予測誤差を求める際に使用した予測参照ブロックを制御
回路116の制御により、セレクタスイッチ114,1
15cを介して再度読み出し、局部復号化予測誤差ブロ
ックの対応する画素との加算を行う。
The block to be coded which has been quantized at the same time is input to the inverse quantization circuit 107, and the coefficients used in the block to be coded which have been quantized are used by the quantization circuit 105. An inverse quantization process is performed by multiplying the coefficients. The block to be coded, which has been inversely quantized by the inverse quantization circuit 107, is input to the inverse orthogonal transform circuit 108, which performs inverse orthogonal transform paired with the orthogonal transform process in the orthogonal transform circuit 104, and performs local decoding of the prediction error A local decoding prediction error block, which is a completed block, is generated and input to the adding circuit 109. The local decoding prediction error block input to the addition circuit 109 uses the prediction reference block used for obtaining the prediction error in the subtraction circuit 103 under the control of the control circuit 116 to control the selector switches 114 and 1.
The signal is read out again via the line 15c, and is added to the corresponding pixel of the local decoding prediction error block.

【0061】予測参照ブロックと加算された局部復号化
予測誤差ブロックは、局部復号化ブロックとして,セレ
クタスイッチ110を介してフレームメモリ111また
は112に記憶・保持される。フレームメモリ111,
112は、局部復号された画像データをフレーム単位で
記憶する機能を持ったフレームメモリである。
The local decoding prediction error block added to the prediction reference block is stored and held in the frame memory 111 or 112 via the selector switch 110 as a local decoding block. The frame memory 111,
Reference numeral 112 denotes a frame memory having a function of storing locally decoded image data in frame units.

【0062】フレームメモリ111,112に記憶され
た局部復号化ブロックは、前述のように、制御回路11
6の制御により、動きベクトル探索時は、セレクタスイ
ッチ114,115aを介して動きベクトル探索回路1
17へ、予測誤差演算時は、セレクタスイッチ114,
115bを介して減算回路103へそれぞれ出力され
る。
The local decoding blocks stored in the frame memories 111 and 112 are stored in the control circuit 11 as described above.
6, the motion vector search circuit 1 is connected via the selector switches 114 and 115a during the motion vector search.
17, when the prediction error is calculated, the selector switch 114,
The signals are output to the subtraction circuit 103 via 115b.

【0063】[他の実施形態]なお、上述の実施形態
は、複数の機器(例えばホストコンピュータ、インタフ
ェイス機器、リーダ、プリンタなど)から構成されるシ
ステムに適用しても、一つの機器からなる装置(例え
ば、複写機、ファクシミリ装置など)に適用してもよ
い。
[Other Embodiments] Even if the above-described embodiment is applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), it is composed of one device. The present invention may be applied to an apparatus (for example, a copying machine, a facsimile machine, etc.).

【0064】また、上述の実施形態の目的は、前述した
実施形態の機能を実現するソフトウェアのプログラムコ
ードを記録した記憶媒体(または記録媒体)を、システ
ムあるいは装置に供給し、そのシステムあるいは装置の
コンピュータ(またはCPUやMPU)が記憶媒体に格納され
たプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は上述の実施形態を構成する
ことになる。また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているオペレーテ
ィングシステム(OS)などが実際の処理の一部または全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。
Further, an object of the above-described embodiment is to supply a storage medium (or a recording medium) in which program codes of software for realizing the functions of the above-described embodiment are recorded to a system or an apparatus, and to provide the system or apparatus with the storage medium. It is needless to say that the present invention is also achieved when a computer (or a CPU or an MPU) reads and executes a program code stored in a storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the above-described embodiment. By executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where some or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.

【0065】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
Further, after the program code read from the storage medium is written into the memory provided in the function expansion card inserted into the computer or the function expansion unit connected to the computer, the program code is read based on the instruction of the program code. Needless to say, the CPU included in the function expansion card or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.

【0066】上述の実施形態を上記記憶媒体に適用する
場合、その記憶媒体には、先に説明した(図4及び5に
示す)フローチャートに対応するプログラムコードが格
納されることになる。
When the above embodiment is applied to the storage medium, the storage medium stores program codes corresponding to the above-described flowcharts (shown in FIGS. 4 and 5).

【0067】[0067]

【発明の効果】以上説明したように、本発明によれば、
輪郭情報を有する画像の符号化の際に、この形状情報を
用いて符号化を行うことで、符号化処理時間や動き補償
精度を向上させることができる。また輪郭情報を有しな
い画像に対しても、この画像から輪郭情報を抽出し、こ
の輪郭情報を用いることで、同様に符号化を行うことが
できる。
As described above, according to the present invention,
By performing encoding using this shape information when encoding an image having contour information, encoding processing time and motion compensation accuracy can be improved. Also, for an image having no outline information, encoding can be performed in the same manner by extracting outline information from this image and using this outline information.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態における符号化装置の
構成を示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of an encoding device according to a first embodiment of the present invention.

【図2】エッジ検出回路の構造を示す図である。FIG. 2 is a diagram illustrating a structure of an edge detection circuit.

【図3】エッジ検出回路の構造を示す図である。FIG. 3 is a diagram illustrating a structure of an edge detection circuit.

【図4】本発明における第1の実施形態の符号化装置に
おける処理のフローチャートである。
FIG. 4 is a flowchart of a process in the encoding device according to the first embodiment of the present invention.

【図5】エッジ検出回路における処理のフローチャート
である。
FIG. 5 is a flowchart of a process in an edge detection circuit.

【図6】動き予測回路の動作を示す図である。FIG. 6 is a diagram illustrating the operation of the motion prediction circuit.

【図7】従来の符号化装置の一例を示すブロック図であ
る。
FIG. 7 is a block diagram illustrating an example of a conventional encoding device.

【図8】動きベクトル検索方法を示す図である。FIG. 8 is a diagram showing a motion vector search method.

【図9】符号化対象ブロックの符号化を行う処理のフロ
ーチャートである。
FIG. 9 is a flowchart of a process of encoding a current block.

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK11 MA05 MA23 MB00 MB03 ME01 NN01 NN03 NN21 NN28 NN38 SS20 SS26 SS28 TA61 TC01 TC10 TC34 UA33 5J064 AA02 BA01 BA09 BA16 BB03 BC01 BC16 BC21 BD01 5L096 AA06 BA07 FA06 GA08 GA19 HA04  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C059 KK11 MA05 MA23 MB00 MB03 ME01 NN01 NN03 NN21 NN28 NN38 SS20 SS26 SS28 TA61 TC01 TC10 TC34 UA33 5J064 AA02 BA01 BA09 BA16 BB03 BC01 BC16 BC21 BD01 5L096 AA08 BA07 FA06 GA06

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 動画像の各フレームの画像データに対し
て符号化を行う符号化装置であって、 動画像の各フレームのうち、第1のフレームよりも時間
的に前のフレームである第2のフレームを格納する格納
手段と、 前記第2のフレームを前記格納手段から読み出し、前記
第2のフレームと、第1のフレームとを、所定のサイズ
を有するブロックに分割する分割手段と、 前記分割手段よるブロック毎に、前記第1のフレーム、
前記第2のフレームに含まれるオブジェクトの輪郭情報
を抽出する抽出手段と、 前記抽出手段により抽出された、前記第1のフレームに
含まれるオブジェクトの輪郭情報と、前記第2のフレー
ムに含まれるオブジェクトの輪郭情報とを用いて、前記
第2のフレームから前記第1のフレームへの動きベクト
ルをブロック単位で算出すると共に、当該動きベクトル
を用いて、前記第1のフレームから、前記第1のフレー
ムより時間的に後のフレームである、前記第3のフレー
ムへの動きベクトルをブロック単位で予測する予測手段
と、 前記第3のフレームにおいて、前記予測手段で予測され
た動きベクトルで示されるブロックと、当該ブロックに
位置的に対応する前記第1のフレームにおけるブロック
との差分値に対して符号化を行う符号化手段とを備える
ことを特徴とする符号化装置。
1. An encoding apparatus for encoding image data of each frame of a moving image, wherein the encoding device is a frame which is a temporally earlier frame than a first frame among the frames of the moving image. Storage means for storing the second frame, a division means for reading the second frame from the storage means, and dividing the second frame and the first frame into blocks having a predetermined size; For each block by the dividing means, the first frame,
Extracting means for extracting outline information of an object included in the second frame; outline information of an object included in the first frame extracted by the extracting means; and an object included in the second frame A motion vector from the second frame to the first frame is calculated in block units using the contour information of the first frame, and the first frame is calculated from the first frame using the motion vector. A prediction unit that predicts a motion vector to the third frame, which is a later frame, in units of blocks; and a block indicated by the motion vector predicted by the prediction unit in the third frame. A coding method for coding a difference value between a block in the first frame and a block corresponding to the block in the first frame. Encoding apparatus characterized in that it comprises and.
【請求項2】 前記抽出手段は更に、 前記第1のフレーム、前記第2のフレームにオブジェク
トの輪郭情報が存在するか否かを判断する判断手段と、 前記判断手段により、前記第1のフレーム、前記第2の
フレームにオブジェクトの輪郭情報が存在しない場合、
前記第1のフレーム、前記第2のフレームに対してエッ
ジ検出を行い、当該エッジ検出結果を夫々のフレームの
前記輪郭情報とするエッジ検出手段とを備えることを特
徴とする請求項1に記載の符号化装置。
2. The method according to claim 1, wherein the extracting unit further determines whether or not the contour information of the object exists in the first frame and the second frame. When there is no object contour information in the second frame,
2. An edge detection unit according to claim 1, further comprising: an edge detection unit that performs edge detection on the first frame and the second frame, and uses the edge detection result as the contour information of each frame. Encoding device.
【請求項3】 前記エッジ検出手段は、前記第1のフレ
ーム、前記第2のフレームに対してDCT変換を行い、
夫々のDCT係数を評価することで生成されたエッジ情
報を用いて、夫々のフレームの前記輪郭情報を生成する
ことを特徴とする請求項2に記載の符号化装置。
3. The edge detecting means performs a DCT transform on the first frame and the second frame,
The encoding apparatus according to claim 2, wherein the edge information of each frame is generated using edge information generated by evaluating each DCT coefficient.
【請求項4】 前記エッジ検出手段は、前記第1のフレ
ーム、前記第2のフレーム、夫々の輝度値の総和を求
め、この総和を用いて生成されたエッジ情報を用いて、
夫々のフレームの輪郭情報を生成することを特徴とする
請求項2に記載の符号化装置。
4. The edge detecting means obtains a sum of luminance values of the first frame, the second frame, and each of the brightness values, and uses edge information generated by using the sum,
3. The encoding apparatus according to claim 2, wherein contour information of each frame is generated.
【請求項5】 前記予測手段は更に、 前記第2のフレームから前記第1のフレームへの注目ブ
ロックの動きベクトルに基づいた検索開始点を中心と
し、所定のサイズを有する領域を、前記第3のフレーム
に設定する領域設定手段と、 前記領域設定手段による領域内で、前記注目ブロックと
最も類似した領域を、前記注目ブロックに対する予測ブ
ロックとして特定するブロック特定手段と、 前記注目ブロックから前記ブロック特定手段により特定
された前記予測ブロックへの動きベクトルを算出する算
出手段とを備えることを特徴とする請求項1乃至4のい
ずれか1項に記載の符号化装置。
5. The predicting unit further includes: a search start point based on a motion vector of a block of interest from the second frame to the first frame, and an area having a predetermined size, Area setting means for setting a frame of the target block; a block specifying means for specifying, as a prediction block for the target block, a region most similar to the target block in the region set by the region setting means; and specifying the block from the target block. The encoding apparatus according to any one of claims 1 to 4, further comprising: a calculating unit configured to calculate a motion vector for the prediction block specified by the unit.
【請求項6】 前記各フレームは階層構造を有し、各階
層毎に前記輪郭情報が記憶可能であることを特徴とする
請求項1乃至5のいずれか1項に記載の符号化装置。
6. The encoding apparatus according to claim 1, wherein each frame has a hierarchical structure, and the outline information can be stored for each hierarchical level.
【請求項7】 動画像の各フレームの画像データに対し
て符号化を行う符号化方法であって、 動画像の各フレームのうち、第1のフレームよりも時間
的に前のフレームである第2のフレームを所定の格納手
段に格納する格納工程と、 前記第2のフレームを前記所定の格納手段から読み出
し、前記第2のフレームと、第1のフレームとを、所定
のサイズを有するブロックに分割する分割工程と、 前記分割工程よるブロック毎に、前記第1のフレーム、
前記第2のフレームに含まれるオブジェクトの輪郭情報
を抽出する抽出工程と、 前記抽出工程により抽出された、前記第1のフレームに
含まれるオブジェクトの輪郭情報と、前記第2のフレー
ムに含まれるオブジェクトの輪郭情報と、を用いて、前
記第2のフレームから前記第1のフレームへの動きベク
トルをブロック単位で算出すると共に、当該動きベクト
ルを用いて、前記第1のフレームから、前記第1のフレ
ームより時間的に後のフレームである、前記第3のフレ
ームへの動きベクトルをブロック単位で予測する予測工
程と、 前記第3のフレームにおいて、前記予測工程で予測され
た動きベクトルで示されるブロックと、当該ブロックに
位置的に対応する前記第1のフレームにおけるブロック
との差分値に対して符号化を行う符号化工程とを備える
ことを特徴とする符号化方法。
7. An encoding method for encoding image data of each frame of a moving image, wherein the first frame is a temporally earlier frame than the first frame among the respective frames of the moving image. Storing the second frame in a predetermined storage unit, reading the second frame from the predetermined storage unit, and converting the second frame and the first frame into blocks having a predetermined size. A dividing step of dividing, the first frame for each block by the dividing step,
An extraction step of extracting outline information of an object included in the second frame; an outline information of an object included in the first frame, extracted in the extraction step; and an object included in the second frame. And a motion vector from the second frame to the first frame is calculated in block units using the contour information of the first frame and the first frame is calculated from the first frame using the motion vector. A prediction step of predicting a motion vector to the third frame, which is a frame temporally later than the frame, in units of blocks; and a block indicated by the motion vector predicted in the prediction step in the third frame. And encoding for encoding a difference value between a block in the first frame and a block corresponding to the block in position. Coding method characterized by and a degree.
【請求項8】 前記抽出工程は更に、 前記第1のフレーム、前記第2のフレームにオブジェク
トの輪郭情報が存在するか否かを判断する判断工程と、 前記判断工程により、前記第1のフレーム、前記第2の
フレームにオブジェクトの輪郭情報が存在しない場合、
前記第1のフレーム、前記第2のフレームに対してエッ
ジ検出を行い、当該エッジ検出結果を夫々のフレームの
前記輪郭情報とするエッジ検出工程とを備えることを特
徴とする請求項7に記載の符号化方法。
8. The extracting step further includes: a determining step of determining whether or not contour information of an object exists in the first frame and the second frame; and determining the first frame by the determining step. When there is no object contour information in the second frame,
8. An edge detection step of performing edge detection on the first frame and the second frame, and using the edge detection result as the contour information of each frame. Encoding method.
【請求項9】 前記予測工程は更に、 前記第2のフレームから前記第1のフレームへの注目ブ
ロックの動きベクトルに基づいた検索開始点を中心と
し、所定のサイズを有する領域を、前記第3のフレーム
に設定する領域設定工程と、 前記領域設定工程による領域内で、前記注目ブロックと
最も類似した領域を、前記注目ブロックに対する予測ブ
ロックとして特定するブロック特定工程と、 前記注目ブロックから前記ブロック特定工程により特定
された前記予測ブロックへの動きベクトルを算出する算
出工程とを備えることを特徴とする請求項7又は8に記
載の符号化方法。
9. The predicting step further includes: setting a region having a predetermined size around a search start point based on a motion vector of a block of interest from the second frame to the first frame; An area setting step of setting a frame of the target block; and a block specifying step of specifying, as a prediction block for the target block, a region most similar to the target block in the region set by the target area setting step; The encoding method according to claim 7, further comprising: a calculating step of calculating a motion vector for the predicted block specified in the step.
【請求項10】 動画像の各フレームの画像データに対
して符号化を行う符号化装置として機能するプログラム
コードを格納する記憶媒体であって、 動画像の各フレームのうち、第1のフレームよりも時間
的に前のフレームである第2のフレームを所定の格納手
段に格納する格納工程のプログラムコードと、 前記第2のフレームを前記所定の格納手段から読み出
し、前記第2のフレームと、第1のフレームとを、所定
のサイズを有するブロックに分割する分割工程のプログ
ラムコードと、 前記分割工程よるブロック毎に、前記第1のフレーム、
前記第2のフレームに含まれるオブジェクトの輪郭情報
を抽出する抽出工程のプログラムコードと、 前記抽出工程により抽出された、前記第1のフレームに
含まれるオブジェクトの輪郭情報と、前記第2のフレー
ムに含まれるオブジェクトの輪郭情報と、を用いて、前
記第2のフレームから前記第1のフレームへの動きベク
トルをブロック単位で算出すると共に、当該動きベクト
ルを用いて、前記第1のフレームから、前記第1のフレ
ームより時間的に後のフレームである、前記第3のフレ
ームへの動きベクトルをブロック単位で予測する予測工
程のプログラムコードと、 前記第3のフレームにおいて、前記予測工程で予測され
た動きベクトルで示されるブロックと、当該ブロックに
位置的に対応する前記第1のフレームにおけるブロック
との差分値に対して符号化を行う符号化工程のプログラ
ムコードとを備えることを特徴とする記憶媒体。
10. A storage medium for storing a program code that functions as an encoding device that encodes image data of each frame of a moving image, wherein: A program code for a storage step of storing a second frame, which is a temporally previous frame, in a predetermined storage means; and reading the second frame from the predetermined storage means, A program code for a dividing step of dividing one frame into blocks having a predetermined size; and a first frame for each block by the dividing step.
A program code of an extraction step for extracting outline information of an object included in the second frame; an outline information of an object included in the first frame, extracted in the extraction step; The motion vector from the second frame to the first frame is calculated in block units using the contour information of the included object, and the motion vector is used to calculate the motion vector from the first frame. A program code of a prediction step of predicting a motion vector to the third frame, which is a frame temporally later than the first frame, in block units, and a prediction of the third frame in the prediction step A block indicated by a motion vector and a block in the first frame corresponding to the block in position Storage medium characterized by comprising a program code for a coding step for performing coding on the difference value.
【請求項11】 前記抽出工程のプログラムコードは更
に、 前記第1のフレーム、前記第2のフレームにオブジェク
トの輪郭情報が存在するか否かを判断する判断工程のプ
ログラムコードと、 前記判断工程により、前記第1のフレーム、前記第2の
フレームにオブジェクトの輪郭情報が存在しない場合、
前記第1のフレーム、前記第2のフレームに対してエッ
ジ検出を行い、当該エッジ検出結果を夫々のフレームの
前記輪郭情報とするエッジ検出工程のプログラムコード
とを備えることを特徴とする請求項10に記載の記憶媒
体。
11. The program code of the extracting step further includes: a program code of a determining step of determining whether or not contour information of an object exists in the first frame and the second frame; , When there is no object contour information in the first frame and the second frame,
11. A program code for an edge detection step of performing edge detection on the first frame and the second frame, and using the edge detection result as the contour information of each frame. A storage medium according to claim 1.
【請求項12】 前記予測工程のプログラムコードは更
に、 前記第2のフレームから前記第1のフレームへの注目ブ
ロックの動きベクトルに基づいた検索開始点を中心と
し、所定のサイズを有する領域を、前記第3のフレーム
に設定する領域設定工程のプログラムコードと、 前記領域設定工程による領域内で、前記注目ブロックと
最も類似した領域を、前記注目ブロックに対する予測ブ
ロックとして特定するブロック特定工程のプログラムコ
ードと、 前記注目ブロックから前記ブロック特定工程により特定
された前記予測ブロックへの動きベクトルを算出する算
出工程のプログラムコードとを備えることを特徴とする
請求項10または11に記載の記憶媒体。
12. The program code of the prediction step further includes: setting an area having a predetermined size around a search start point based on a motion vector of a target block from the second frame to the first frame; A program code of an area setting step to be set in the third frame; and a program code of a block specifying step of specifying an area most similar to the target block as a prediction block for the target block in the area in the area setting step The storage medium according to claim 10, further comprising: a program code for calculating a motion vector from the block of interest to the prediction block specified in the block specifying step.
【請求項13】 動画像の各フレームの画像データに対
して符号化を行う符号化装置であって、 各フレームに含まれるオブジェクトの輪郭情報を抽出す
る抽出手段と、 前記抽出手段により抽出されたオブジェクトの輪郭情報
を用いて符号化対象フレームの画像データの動きベクト
ルを検出する検出手段と、 前記検出手段によって検出された動きベクトルを用いて
前記符号化対象フレームの画像データを動き補償符号化
する符号化手段と、を備えることを特徴とする符号化装
置。
13. An encoding device for encoding image data of each frame of a moving image, comprising: extraction means for extracting outline information of an object included in each frame; Detecting means for detecting the motion vector of the image data of the encoding target frame using the contour information of the object; and performing motion compensation encoding on the image data of the encoding target frame using the motion vector detected by the detecting means. An encoding device comprising: an encoding unit.
【請求項14】 動画像の各フレームの画像データに対
して符号化を行う符号化方法であって、 各フレームに含まれるオブジェクトの輪郭情報を抽出す
る抽出工程と、 前記抽出工程により抽出されたオブジェクトの輪郭情報
を用いて符号化対象フレームの画像データの動きベクト
ルを検出する検出工程と、 前記検出工程によって検出された動きベクトルを用いて
前記符号化対象フレームの画像データを動き補償符号化
する符号化工程と、を備えることを特徴とする符号化方
法。
14. An encoding method for encoding image data of each frame of a moving image, comprising: an extraction step of extracting outline information of an object included in each frame; and an extraction method extracted by the extraction step. A detection step of detecting a motion vector of the image data of the encoding target frame using the contour information of the object; and a motion compensation encoding of the image data of the encoding target frame using the motion vector detected in the detection step. An encoding step.
【請求項15】 動画像の各フレームの画像データに対
して符号化を行う符号化装置として機能するプログラム
コードを格納する記憶媒体であって、 各フレームに含まれるオブジェクトの輪郭情報を抽出す
る抽出工程のプログラムコードと、 前記抽出工程により抽出されたオブジェクトの輪郭情報
を用いて符号化対象フレームの画像データの動きベクト
ルを検出する検出工程のプログラムコードと、 前記検出工程によって検出された動きベクトルを用いて
前記符号化対象フレームの画像データを動き補償符号化
する符号化工程のプログラムコードと、を格納したこと
を特徴とする記憶媒体。
15. A storage medium for storing a program code that functions as an encoding device that performs encoding on image data of each frame of a moving image, the extraction medium extracting contour information of an object included in each frame. A program code of a step, a program code of a detecting step of detecting a motion vector of image data of the encoding target frame using the contour information of the object extracted in the extracting step, and a motion vector detected by the detecting step. And a program code for an encoding step for performing motion compensation encoding on the image data of the encoding target frame using the encoding method.
JP2000237505A 2000-08-04 2000-08-04 Coding apparatus, method of coding and storage medium Withdrawn JP2002051342A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000237505A JP2002051342A (en) 2000-08-04 2000-08-04 Coding apparatus, method of coding and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000237505A JP2002051342A (en) 2000-08-04 2000-08-04 Coding apparatus, method of coding and storage medium

Publications (1)

Publication Number Publication Date
JP2002051342A true JP2002051342A (en) 2002-02-15

Family

ID=18729352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000237505A Withdrawn JP2002051342A (en) 2000-08-04 2000-08-04 Coding apparatus, method of coding and storage medium

Country Status (1)

Country Link
JP (1) JP2002051342A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005084005A1 (en) * 2004-02-17 2005-09-09 Koninklijke Philips Electronique N.V. Method of visualizing a large still picture on a small-size display.
JP2006350618A (en) * 2005-06-15 2006-12-28 Kddi Corp Moving image processor
WO2009125561A1 (en) * 2008-04-08 2009-10-15 富士フイルム株式会社 Image processing system, image processing method, and program storage medium
JP2012508479A (en) * 2008-11-07 2012-04-05 オムニヴィジョン テクノロジーズ インコーポレイテッド Modify color and full color channel CFA images
CN104243982A (en) * 2013-06-15 2014-12-24 浙江大学 Video coding and decoding processing method and device
KR101538010B1 (en) * 2012-08-31 2015-07-22 주식회사 에이투텍 Apparatus and Method for Encoding Image, Apparatus and Method for Decoding Image

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005084005A1 (en) * 2004-02-17 2005-09-09 Koninklijke Philips Electronique N.V. Method of visualizing a large still picture on a small-size display.
US7936936B2 (en) 2004-02-17 2011-05-03 Nxp B.V. Method of visualizing a large still picture on a small-size display
JP2006350618A (en) * 2005-06-15 2006-12-28 Kddi Corp Moving image processor
JP4688147B2 (en) * 2005-06-15 2011-05-25 Kddi株式会社 Moving image processing device
WO2009125561A1 (en) * 2008-04-08 2009-10-15 富士フイルム株式会社 Image processing system, image processing method, and program storage medium
JP2009253746A (en) * 2008-04-08 2009-10-29 Fujifilm Corp Image processing system, image processing method, and program
JP2012508479A (en) * 2008-11-07 2012-04-05 オムニヴィジョン テクノロジーズ インコーポレイテッド Modify color and full color channel CFA images
TWI459324B (en) * 2008-11-07 2014-11-01 Omnivision Tech Inc Modifying color and panchromatic channel cfa image
KR101538010B1 (en) * 2012-08-31 2015-07-22 주식회사 에이투텍 Apparatus and Method for Encoding Image, Apparatus and Method for Decoding Image
CN104243982A (en) * 2013-06-15 2014-12-24 浙江大学 Video coding and decoding processing method and device
CN104243982B (en) * 2013-06-15 2018-10-26 浙江大学 A kind of video coding-decoding processing method and device

Similar Documents

Publication Publication Date Title
CA2130779C (en) Method and apparatus for improving motion compensation in digital video coding
KR100355324B1 (en) Picture encoder and picture decoder
EP3043320B1 (en) System and method for compression of 3d computer graphics
JP3847827B2 (en) Motion vector detection method
KR100843112B1 (en) Image matching
US7616782B2 (en) Mesh based frame processing and applications
JP3277418B2 (en) Apparatus and method for detecting motion vector
EP1639829B1 (en) Optical flow estimation method
KR960039997A (en) Method and apparatus for encoding video signal using feature point based motion estimation
JP2671820B2 (en) Bidirectional prediction method and bidirectional prediction device
US20080002772A1 (en) Motion vector estimation method
CN113597764B (en) Video decoding method, system and storage medium
WO2008120867A1 (en) Method of encoding and decoding motion model parameter and video encoding and decoding method and apparatus using motion model parameter
JPH08242453A (en) Movement vector presumption device
KR100994773B1 (en) Method and Apparatus for generating motion vector in hierarchical motion estimation
US9143790B2 (en) Encoding and decoding a video image sequence by image areas
US20100303154A1 (en) method and device for video sequence decoding with error concealment
JP4796696B2 (en) Method and apparatus for computer-aided motion compensation of digitized images and computer-readable recording medium
JP3670566B2 (en) Processing time adaptive image encoding method and program recording medium
US6665340B1 (en) Moving picture encoding/decoding system, moving picture encoding/decoding apparatus, moving picture encoding/decoding method, and recording medium
JP2002051342A (en) Coding apparatus, method of coding and storage medium
JP4898415B2 (en) Moving picture coding apparatus and moving picture coding method
US20090051679A1 (en) Local motion estimation using four-corner transforms
JP6681078B2 (en) Image processing apparatus, image processing method, and image processing program
JPH1042300A (en) Motion vector detection device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20071106