JP2010193401A - Image encoding method and apparatus - Google Patents

Image encoding method and apparatus Download PDF

Info

Publication number
JP2010193401A
JP2010193401A JP2009038434A JP2009038434A JP2010193401A JP 2010193401 A JP2010193401 A JP 2010193401A JP 2009038434 A JP2009038434 A JP 2009038434A JP 2009038434 A JP2009038434 A JP 2009038434A JP 2010193401 A JP2010193401 A JP 2010193401A
Authority
JP
Japan
Prior art keywords
encoding
region
macroblock
motion vector
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009038434A
Other languages
Japanese (ja)
Inventor
Daisuke Sakamoto
大輔 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009038434A priority Critical patent/JP2010193401A/en
Publication of JP2010193401A publication Critical patent/JP2010193401A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To facilitate efficient encoding of pixels which are not displayed on a display. <P>SOLUTION: An image encoding method includes: an area detection step of detecting whether a pixel block for encoding is constituted by a first area which is displayed on an image display and a second area which is not displayed on the image display; and a motion vector detection step of detecting a motion vector only about the first area, when the pixel block for encoding is a pixel block including both the first and second areas as a result of a detection in the area detection step, wherein in an encoding step the pixel block including both the first and second areas is encoded by using the motion vector detected in the motion vector detection step. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は画像符号化方法及び画像符号化装置に関し、特に、画像データの符号化効率を向上させるために用いて好適な技術に関する。   The present invention relates to an image encoding method and an image encoding apparatus, and more particularly to a technique suitable for use in improving the encoding efficiency of image data.

近年、マルチメディアに関連する情報のデジタル化が急進しており、それに伴い映像情報の高画質化に向けた要求が高まっている。具体的な例として、放送メディアにおいては従来の720×480画素のSDから、1920×1080画素のHDへの移行を挙げることができる。しかしながら、この高画質化への要求は、同時にデジタルデータの増大を引き起こすので、従来の性能を上回る圧縮符号化技術及び復号化技術が求められている。   In recent years, the digitalization of information related to multimedia has been rapidly progressing, and the demand for higher image quality of video information has increased accordingly. As a specific example, in the broadcast media, there is a transition from the conventional SD of 720 × 480 pixels to HD of 1920 × 1080 pixels. However, since this demand for higher image quality causes an increase in digital data at the same time, there is a need for compression encoding technology and decoding technology that exceed conventional performance.

これらの要求に対し、ITU−T SG16やISO/IEC JTC1/SC29/WG11の活動で、画像間の相関を利用したフレーム間予測を用いた符号化圧縮方式の標準化作業が進められている。この中でも、現状では最も高能率符号化を実現しているといわれる符号化方式に、H.264/MPEG−4 PART10(AVC、以下H.264と呼ぶ)がある。なお、H.264の符号化・復号化の仕様については、例えば特許文献1などに開示されている。   In response to these demands, standardization of an encoding / compression method using inter-frame prediction using correlation between images is underway by activities of ITU-T SG16 and ISO / IEC JTC1 / SC29 / WG11. Among these, H. is an encoding method that is said to realize the most efficient encoding at present. H.264 / MPEG-4 PART10 (AVC, hereinafter referred to as H.264). H. H.264 encoding / decoding specifications are disclosed in, for example, Patent Document 1.

このH.264で新たに導入された技術のひとつとして、符号化単位となるマクロブロックのパーティション(以下、マクロブロックパーティションと呼ぶ)を複数種類用意しておき、より細かい画素単位で動き量を検出し、符号量をより低減する技術がある。   This H. As one of the technologies newly introduced in H.264, a plurality of types of macroblock partitions (hereinafter referred to as macroblock partitions) serving as encoding units are prepared, the amount of motion is detected in finer pixel units, There is a technology to further reduce the amount.

ここで、図2を用いてマクロブロックパーティションについて詳細に説明する。
H.264は、図2(a)の(1)〜(4)に示すように、MPEG2で用いられているサイズである符号化処理単位となる16×16画素のマクロブロックを分割し、最小8×8画素となる4種類のマクロブロックタイプの中から選ぶことが可能である。
Here, the macroblock partition will be described in detail with reference to FIG.
As shown in (1) to (4) of FIG. 2 (a), H.264 divides a macro block of 16 × 16 pixels, which is an encoding processing unit having the size used in MPEG2, and minimizes the minimum. It is possible to select from four types of macroblock types that are 8 × 8 pixels.

さらに、図2(a)の(4)に示す8×8画素のマクロブロックタイプは、図2(b)の(5)〜(8)に示すように、より細かいサブマクロブロックタイプに分割することができる。最小4×4画素までの4種類のサブマクロブロックタイプのいずれかに分割をすることが可能である。   Further, the 8 × 8 pixel macroblock type shown in (4) of FIG. 2A is divided into smaller sub-macroblock types as shown in (5) to (8) of FIG. 2B. be able to. It is possible to divide into four types of sub-macroblock types up to a minimum of 4 × 4 pixels.

つまり、マクロブロックパーティションは19種類の中から選ぶことになる。すなわち、3(サブマクロブロックパーティションの対象とならないマクロブロックパーティション数)+4(サブマクロブロックパーティションの対象となるマクロブロック数)×4(サブマクロブロックパーティション数)=19種類の中から選ぶことになる。この結果、より細かい画像単位で動き情報を探索することが可能となり、動き情報の精度の向上を実現している。   That is, the macroblock partition is selected from 19 types. That is, 3 (number of macroblock partitions not subject to sub-macroblock partition) +4 (number of macroblocks subject to sub-macroblock partition) × 4 (number of sub-macroblock partitions) = 19 types are selected. . As a result, it becomes possible to search for motion information in finer image units, and the accuracy of motion information is improved.

特開2005−167720号公報JP 2005-167720 A

H.264では、符号化単位となるマクロブロックのサイズが16×16画素である。したがって、1920×1080画素のHD画像を符号化する際には、縦1080画素が16で割り切れないために、画面上部から順に符号化していくと画面下端でディスプレイに表示されない8画素余分に符号化する必要がある(図3参照)。   In H.264, the size of a macroblock serving as a coding unit is 16 × 16 pixels. Therefore, when encoding a 1920 × 1080 pixel HD image, the vertical 1080 pixels are not divisible by 16, so when encoding sequentially from the top of the screen, an extra 8 pixels that are not displayed on the display at the bottom of the screen are encoded. (See FIG. 3).

従来は、ディスプレイに表示されない8画素についても、ディスプレイに表示される画素と同様に符号化していたので、符号化効率を向上させるための妨げになっていた。
本発明は前述の問題点に鑑み、ディスプレイに表示されない画素の符号化を容易にかつ効率的に行うことができるようにすることを目的としている。
Conventionally, since 8 pixels that are not displayed on the display are encoded in the same manner as the pixels that are displayed on the display, it has been an obstacle to improving the encoding efficiency.
An object of the present invention is to make it possible to easily and efficiently perform encoding of pixels that are not displayed on a display in view of the above-described problems.

本発明の画像符号化方法は、符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、符号化対象の画素ブロックが画像表示装置に表示される第1の領域と前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出工程と、前記領域検出工程における検出の結果、前記符号化対象の画素ブロックが前記第1の領域と前記第2の領域の両方を含む画素ブロックである場合には、前記第1の領域についてのみ動きベクトルを検出する動きベクトル検出工程とを有し、前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて前記第1の領域と前記第2の領域の両方を含む画素ブロックを符号化することを特徴とする。
また、本発明の画像符号化方法の他の特徴とするところは、符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、符号化対象のマクロブロックが画像表示装置に表示される第1の領域と、前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出工程を有し、前記領域検出工程において、前記符号化対象のマクロブロックが前記第1の領域と前記第2の領域とから構成されると検出された場合には、前記符号化工程においては、前記第1の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第1の領域で決定した分割方法に従って一意に定まる分割方法を前記第2の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする。
また、本発明の画像符号化方法のその他の特徴とするところは、符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出工程を有し、前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする。
An image encoding method of the present invention is an image encoding method including an encoding step of performing motion compensation encoding by detecting a motion vector for each of a plurality of pixel blocks constituting an encoding target picture. A region detecting step for detecting whether or not each pixel block is composed of a first region displayed on the image display device and a second region not displayed on the image display device, and detection in the region detecting step As a result, when the pixel block to be encoded is a pixel block including both the first region and the second region, a motion vector detection step for detecting a motion vector only for the first region In the encoding step, the first region and the second region are detected using the motion vector detected in the motion vector detection step. Characterized by coding a pixel block containing both pass.
Another feature of the image coding method according to the present invention is that a macroblock constituting a picture to be coded is divided into smaller blocks, and a motion vector is detected for each of the macroblock and the block. In the image encoding method including an encoding step of performing motion compensation encoding, a first area in which a macroblock to be encoded is displayed on the image display device, and a second area that is not displayed on the image display device A region detecting step for detecting whether or not the region is composed of the first region, and in the region detecting step, the macroblock to be encoded is composed of the first region and the second region. In the encoding step, the motion vector and the macroblock division method are determined in accordance with the pixels in the first area. And, wherein applying a dividing method determined uniquely with respect to the second area in accordance with the first dividing method determined in the region, the macroblock of the encoding target, characterized in that encoding.
Another feature of the image coding method of the present invention is that motion compensation coding is performed by detecting a motion vector for each of a plurality of 16 × 16 pixel macroblocks constituting a picture to be coded. In the image encoding method including the encoding step, when the encoding target macroblock is a macroblock located at the lower end of the screen in the encoding target picture, the upper 16 × 8 of the encoding target macroblock A motion vector detecting step of detecting a motion vector by searching with a pixel, and the encoding step encodes the encoding target macroblock using the motion vector detected in the motion vector detecting step; It is characterized by doing.

本発明の画像符号化装置は、符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、符号化対象の画素ブロックが画像表示装置に表示される第1の領域と前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出手段と、前記領域検出手段による検出の結果、前記符号化対象の画素ブロックが前記第1の領域と前記第2の領域の両方を含む画素ブロックである場合には、前記第1の領域についてのみ動きベクトルを検出する動きベクトル検出手段とを有し、前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて前記第1の領域と前記第2の領域の両方を含む画素ブロックを符号化することを特徴とする。
また、本発明の画像符号化装置の他の特徴とするところは、符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、符号化対象のマクロブロックが画像表示装置に表示される第1の領域と、前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出手段を有し、前記領域検出手段において、前記符号化対象のマクロブロックが前記第1の領域と前記第2の領域とから構成されると検出された場合には、前記符号化手段は、前記第1の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第1の領域で決定した分割方法に従って一意に定まる分割方法を前記第2の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする。
また、本発明の画像符号化装置のその他の特徴とするところは、符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出手段を有し、前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする。
特徴とする。
An image encoding apparatus according to the present invention is an image encoding apparatus having encoding means for performing motion compensation encoding by detecting a motion vector for each of a plurality of pixel blocks constituting an encoding target picture. Detection means for detecting whether or not each pixel block is composed of a first area displayed on the image display device and a second area not displayed on the image display device, and detection by the area detection means As a result, when the pixel block to be encoded is a pixel block including both the first region and the second region, a motion vector detection unit that detects a motion vector only for the first region. And the encoding means uses both the first area and the second area using the motion vector detected by the motion vector detecting means. Characterized by coding a pixel block including.
Another feature of the image coding apparatus according to the present invention is that a macroblock constituting a picture to be coded is divided into smaller blocks, and a motion vector is detected for each of the macroblock and the block. In the image coding apparatus having coding means for performing motion compensation coding, a first area in which a macroblock to be coded is displayed on the image display apparatus and a second area that is not displayed on the image display apparatus Region detecting means for detecting whether or not the region is composed of the first region and the second region, wherein the encoding target macroblock is composed of the first region and the second region. The encoding means determines a motion vector and a macroblock division method according to the pixels of the first region, and By applying the dividing method is uniquely determined according to the division method determined in the first region to the second region, the macroblock of the encoding target, characterized in that encoding.
Another feature of the image coding apparatus according to the present invention is that motion compensation coding is performed by detecting a motion vector for each of a plurality of 16 × 16 pixel macroblocks constituting a picture to be coded. In the image encoding device having encoding means, when the encoding target macroblock is a macroblock located at the lower end of the screen in the encoding target picture, the upper 16 × 8 of the encoding target macroblock Motion vector detecting means for detecting a motion vector by searching with pixels, and the encoding means encodes the encoding target macroblock using the motion vector detected by the motion vector detecting means. It is characterized by that.
Features.

本発明によれば、ディスプレイに表示されない部分の画像データの符号化効率を向上させることが可能となり、高い符号化効率を有する画像符号化装置を提供できる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to improve the encoding efficiency of the image data of the part which is not displayed on a display, and can provide the image encoding apparatus which has high encoding efficiency.

本発明の第1の実施形態を示し、画像符号化装置の概略の構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an image encoding device according to a first embodiment of the present invention. 本発明の実施形態におけるマクロブロックパーティション・サブマクロブロックパーティションについて説明するための図である。It is a figure for demonstrating the macroblock partition and submacroblock partition in embodiment of this invention. 本発明の課題説明を示し、画面はみ出し部分のマクロブロックについて説明するための図である。It is a figure for demonstrating the subject of this invention and demonstrating the macroblock of the protrusion part of a screen. 本発明の実施形態を示し、画像符号化装置のインター符号化予測方式の動作を説明するフローチャートである。It is a flowchart which shows embodiment of this invention and demonstrates the operation | movement of the inter coding prediction system of an image coding apparatus.

(第1の実施形態)
以下に、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本実施形態では、図3に示すように、1920×1080画素を符号化するため、画像表示装置の画面下端でディスプレイ31に表示されない8画素余分に符号化する必要があるものとする。また、本実施形態における画像符号化装置は符号化を画面左上から始め、画面右下へ向けて順に符号化していくものとする。
(First embodiment)
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, as shown in FIG. 3, since 1920 × 1080 pixels are encoded, it is necessary to encode 8 pixels that are not displayed on the display 31 at the lower end of the screen of the image display device. In addition, it is assumed that the image encoding device according to the present embodiment starts encoding from the upper left of the screen and sequentially encodes toward the lower right of the screen.

図1は、本実施形態に係る画像符号化装置100の構成例を示すブロック図である。
図1において、1は現在の映像データを入力する画像入力部、2は現在の映像データを一時保存する現在フレーム保存部である。
FIG. 1 is a block diagram illustrating a configuration example of an image encoding device 100 according to the present embodiment.
In FIG. 1, 1 is an image input unit for inputting current video data, and 2 is a current frame storage unit for temporarily storing current video data.

3は後述するブロック境界補正処理が行われた復元画像データを予測画像情報の参照画像として利用するために保持する参照フレーム候補保存部である。4は現在フレーム保存部2に保持された画像データを複数の画素ブロックに分割し、各画素ブロックの画像データをブロック周辺の画素から予測し、予測画像情報を生成するイントラ予測符号化部である。   Reference numeral 3 denotes a reference frame candidate storage unit that holds the restored image data on which block boundary correction processing, which will be described later, has been performed, as a reference image of the predicted image information. 4 is an intra prediction encoding unit that divides image data currently stored in the frame storage unit 2 into a plurality of pixel blocks, predicts image data of each pixel block from pixels around the block, and generates predicted image information. .

5はイントラ予測符号化部4から入力された現在の画像データを複数の画素ブロックに分割する。そして、各画素ブロックにおいて、参照フレーム候補保存部3に保存されている参照フレーム候補と相関の高い位置を検出する動き探索処理を行い、その位置の差分データをフレーム間の動き情報として検出する動き検出部である。   5 divides the current image data input from the intra prediction encoding unit 4 into a plurality of pixel blocks. Then, in each pixel block, a motion search process for detecting a position having a high correlation with the reference frame candidate stored in the reference frame candidate storage unit 3 is performed, and the difference data at the position is detected as motion information between frames. It is a detection unit.

6は参照フレームと動き検出部5から出力される動き情報とから現在の画像データの予測画像情報を生成する動き補償を行うインター予測符号化部である。7は後述する予測画像情報を減算する減算器である。8は予測情報を選択するスイッチ部である。   Reference numeral 6 denotes an inter prediction encoding unit that performs motion compensation for generating predicted image information of the current image data from the reference frame and the motion information output from the motion detection unit 5. Reference numeral 7 denotes a subtracter for subtracting predicted image information to be described later. A switch unit 8 selects prediction information.

9は画像の差分データに対して整数直交変換を行うDCT部である。10は整数直交変換された変換係数に対して所定の量子化スケールで量子化を施す量子化部である。11は量子化部10において量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮するエントロピー符号化部である。   A DCT unit 9 performs integer orthogonal transformation on the difference data of the image. Reference numeral 10 denotes a quantization unit that performs quantization at a predetermined quantization scale on the transform coefficient subjected to integer orthogonal transform. Reference numeral 11 denotes an entropy coding unit that compresses data by performing entropy coding processing on the transform coefficient quantized by the quantization unit 10.

12は量子化部10において量子化された変換係数に対して所定の逆量子化処理を施す逆量子化部である。13は逆量子化部12で逆量子化された変換係数を元の画像データ空間に戻すための逆整数直交変換を行うIDCT部である。14は画像データ空間に戻された画像差分情報に後述する予測画像情報を加算する加算器である。   Reference numeral 12 denotes an inverse quantization unit that performs a predetermined inverse quantization process on the transform coefficient quantized by the quantization unit 10. Reference numeral 13 denotes an IDCT unit that performs inverse integer orthogonal transform for returning the transform coefficient inversely quantized by the inverse quantization unit 12 to the original image data space. Reference numeral 14 denotes an adder for adding predicted image information described later to the image difference information returned to the image data space.

15は後述する予測画像情報により復元された画像データを保持する復号画像保存部である。16は後述する予測画像情報により復元された画像データに対して所定の画素ブロック単位の境界データにおける不連続性を補正するデブロッキングフィルタである。17は画面下端検出部である。画面下端検出部17は、領域検出部として機能し、現在フレーム保存部2から入力されてくる画素ブロックの数を数える。そして、画面下端検出部17は、画像表示装置に表示される第1の領域と画像表示装置には表示されない第2の領域とから構成される画素ブロックに達したか否か、すなわち、画面下端に位置する画素ブロックの符号化処理を行っているか否かを検出する。   Reference numeral 15 denotes a decoded image storage unit that stores image data restored by predicted image information described later. Reference numeral 16 denotes a deblocking filter that corrects discontinuity in boundary data in units of predetermined pixel blocks with respect to image data restored by predicted image information described later. Reference numeral 17 denotes a screen lower end detection unit. The screen lower end detection unit 17 functions as an area detection unit, and counts the number of pixel blocks input from the current frame storage unit 2. Then, the screen lower end detection unit 17 determines whether or not the pixel block composed of the first region displayed on the image display device and the second region not displayed on the image display device has been reached, that is, the screen lower end. It is detected whether or not the pixel block located at is being encoded.

次に、図1のブロック図を参照しながら本実施形態における符号化処理の流れの概略を説明する。
画像入力部1から入力された映像情報の画像データは現在フレーム保存部2に一時保持される。次に、イントラ予測符号化部4において符号化単位となる16×16画素のブロック(マクロブロック)に分割される。次に、イントラ予測符号化部4から減算器7に順次送信され、減算器7において予測画像情報を減算し、符号化対象ピクチャと参照ピクチャの画素の差分情報である、予測画像情報と差分データを生成する。なお、予測画像情報の生成方法については後述する。また、マクロブロックを減算器7に送信したことを示すフラグを現在フレーム保存部2から画面下端検出部17に送信する。
Next, an outline of the flow of the encoding process in the present embodiment will be described with reference to the block diagram of FIG.
Image data of video information input from the image input unit 1 is temporarily stored in the current frame storage unit 2. Next, the intra prediction encoding unit 4 divides the block into 16 × 16 pixel blocks (macroblocks) serving as encoding units. Next, the prediction image information and difference data, which are sequentially transmitted from the intra prediction encoding unit 4 to the subtractor 7, subtract the prediction image information in the subtractor 7, and are difference information between the encoding target picture and the reference picture pixel. Is generated. A method for generating predicted image information will be described later. Further, a flag indicating that the macro block is transmitted to the subtracter 7 is transmitted from the current frame storage unit 2 to the screen lower end detection unit 17.

減算器7から出力される差分データは、DCT部9で整数直交変換が施され、一般の画像空間からエネルギー集中を高めた変換係数の空間に直交変換される。DCT部9において変換された差分データの変換係数は、量子化部10で所定のステップ幅で直交変換成分に応じて量子化される。   The difference data output from the subtracter 7 is subjected to integer orthogonal transformation in the DCT unit 9 and is orthogonally transformed from a general image space to a space of a transformation coefficient with increased energy concentration. The transform coefficient of the difference data transformed by the DCT unit 9 is quantized by the quantization unit 10 according to the orthogonal transform component with a predetermined step width.

量子化部10において量子化された変換係数データは、エントロピー符号化部11で圧縮符号化される。さらに、エントロピー符号化部11では、後述するインター符号化で参照されたフレーム番号の識別子も多重化されて圧縮符号化される。   The transform coefficient data quantized by the quantization unit 10 is compression-encoded by the entropy encoding unit 11. Further, the entropy encoding unit 11 also multiplexes and compresses the identifier of the frame number referred to in inter-encoding described later.

次に、予測画像情報の生成処理について説明する。
予測画像情報は、入力時の現行画像内のデータで生成するイントラ予測符号化方式と、入力時の現行画像以外のフレーム画像データから生成するインター符号化方式とがある。
まず、現行入力画像内で処理が閉じているイントラ符号化予測方式について説明する。
量子化部10において量子化された変換係数に対して、逆量子化部12で変換係数を復元する。そして、復元された変換係数は、IDCT部13で元の画像データ空間に戻され、予測画像情報との差分データとして復元される。
Next, prediction image information generation processing will be described.
Predictive image information includes an intra prediction encoding method that is generated from data in the current image at the time of input, and an inter encoding method that is generated from frame image data other than the current image at the time of input.
First, an intra-coded prediction method in which processing is closed in the current input image will be described.
With respect to the transform coefficient quantized by the quantization unit 10, the inverse quantization unit 12 restores the transform coefficient. Then, the restored transform coefficient is returned to the original image data space by the IDCT unit 13 and restored as difference data from the predicted image information.

IDCT部13において復元された復元差分データに対して、後述する予測画像情報を加算器14で加算することにより、入力画像の復元画像データが得られる。但し、この時点の復元画像データは、後述する予測情報の誤差や、量子化部10において行われる量子化処理における量子化誤差によって、入力画像データよりも僅かに劣化している画像となっている。   By adding predicted image information, which will be described later, to the restored difference data restored in the IDCT unit 13 by the adder 14, restored image data of the input image is obtained. However, the restored image data at this time is an image that is slightly degraded from the input image data due to an error in prediction information described later or a quantization error in the quantization process performed in the quantization unit 10. .

この復元画像データを復号画像保存部15に一旦取り込む。そして、復号画像保存部15に取り込まれた復元画像データに対して、イントラ予測符号化部4で、所定のブロック単位に分割し、各ブロック内の復元画像データを、そのブロックの周辺画素値から予測する。イントラ予測符号化部4は予測値を予測画像情報として算出し、スイッチ8に送出する。   The restored image data is once taken into the decoded image storage unit 15. Then, the intra-prediction encoding unit 4 divides the restored image data captured by the decoded image storage unit 15 into predetermined block units, and the restored image data in each block is determined from the peripheral pixel values of the block. Predict. The intra prediction encoding unit 4 calculates the prediction value as prediction image information and sends it to the switch 8.

スイッチ8では、図示しないコントローラによって、予測画像情報の予測方法に応じて、スイッチを端子8aまたは8bに切り替える。前述してきたイントラ予測符号化方式の場合、スイッチは端子8aに接続され、予測画像情報はイントラ予測方式による算出方法で得られたデータが送出される。このイントラ方式の予測画像情報は、減算器7や加算器14に送られ、復元画像データや予測画像差分データの生成に使われる。   In the switch 8, the switch is switched to the terminal 8a or 8b by a controller (not shown) according to the prediction method of the prediction image information. In the case of the intra prediction encoding method described above, the switch is connected to the terminal 8a, and the data obtained by the calculation method based on the intra prediction method is transmitted as the prediction image information. The intra prediction image information is sent to the subtractor 7 and the adder 14 and is used to generate restored image data and predicted image difference data.

次に、図4のフローチャートを参照しながら、現行入力画像とは別の参照フレーム画像を用いて予測画像情報を生成するインター符号化予測方式について説明する。なお、本実施形態では説明の簡単化のためマクロブロックパーティションをサブマクロブロックタイプまで分割せず8×8マクロブロックタイプを最小のマクロブロックパーティションとする。なお、イントラ予測符号化方式と、加算器14までは同じなので説明を省略する。   Next, an inter-coded prediction method for generating predicted image information using a reference frame image different from the current input image will be described with reference to the flowchart of FIG. In this embodiment, for simplicity of explanation, the macro block partition is not divided into sub macro block types, and the 8 × 8 macro block type is set as the minimum macro block partition. In addition, since it is the same as an intra prediction encoding system and the adder 14, description is abbreviate | omitted.

加算器14で得られた復元画像データは、復号画像保存部15に一旦保存された後、後述するブロック単位の境界におけるデータの不連続性を解消するために、デブロッキングフィルタ16に送られる。   The restored image data obtained by the adder 14 is temporarily stored in the decoded image storage unit 15 and then sent to the deblocking filter 16 in order to eliminate the discontinuity of data at the block unit boundary described later.

デブロッキングフィルタ16では、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。先に述べたように、復元される画像データは入力画像よりも劣化した画像となっており、特に、各処理において所定のブロック単位で処理される画像データは、ブロック境界でデータの不連続性が生じやすくブロック歪として画像認識されてしまう。   The deblocking filter 16 performs a predetermined filter process on pixel data adjacent to the block boundary, and suppresses discontinuity of the data on the block boundary. As described above, the restored image data is a deteriorated image than the input image. In particular, the image data processed in a predetermined block unit in each processing is data discontinuity at the block boundary. Is likely to occur and the image is recognized as block distortion.

そこで、ブロック歪を低減させるために、本実施形態においてはデブロッキングフィルタ16を用いてブロック境界におけるブロック歪を低減させている。デブロッキングフィルタ16で境界処理された復元画像データは、参照フレーム候補保存部3に保存され、動き検出部5で行われる動きベクトル検出のために使用される。   Therefore, in order to reduce the block distortion, in this embodiment, the deblocking filter 16 is used to reduce the block distortion at the block boundary. The restored image data subjected to boundary processing by the deblocking filter 16 is stored in the reference frame candidate storage unit 3 and used for motion vector detection performed by the motion detection unit 5.

動き検出部5では、現在フレーム保存部2から入力されてくる符号化対象マクロブロックと参照フレーム候補保存部3から送信されてくる参照フレームとの相関の強い位置を示す動きベクトルの探索を行う。なお、その際、画面下端か否かに応じて動きベクトル探索方法を切り換える。本実施形態においては、画像の中の各要素を16×16ピクセル1要素として処理して、前後のフレームの画像と比較してどの方向へどの程度動いているかというベクトルデータを検出することにより、動き補償符号化を可能にしている。   The motion detection unit 5 searches for a motion vector indicating a position having a strong correlation between the encoding target macroblock input from the current frame storage unit 2 and the reference frame transmitted from the reference frame candidate storage unit 3. At this time, the motion vector search method is switched according to whether the screen is at the lower end. In the present embodiment, each element in the image is processed as one element of 16 × 16 pixels, and by detecting vector data indicating in which direction and how much the image moves relative to the image of the preceding and following frames, Motion compensation coding is enabled.

まず、図4のステップS401に示すように、符号化対象ピクチャのマクロブロックが画面下端か否かを検出し、画面下端ではない時はステップS402に進み、画面下端であるときはステップS406に進む。
ステップS402で行われる画面下端でない時のベクトル探索は、動きベクトル探索をまず16×16マクロブロックタイプで行い、符号化対象画像と参照フレームの相関の強い位置を探索する。なお、参照フレームとの相関の強い位置を決定する方法については、マクロブロックの各画素と参照フレームの差分を取り、差分の絶対値和が最も小さい個所を相関の強い位置とする方法などが挙げられるが、その方式は問わない。16×16マクロブロックタイプでの探索が終了したら16×8、8×16、8×8と、より小さいマクロブロックタイプでの探索を順次行う。
First, as shown in step S401 of FIG. 4, it is detected whether or not the macroblock of the encoding target picture is the lower end of the screen. If it is not the lower end of the screen, the process proceeds to step S402. .
In the vector search when the screen is not at the lower end performed in step S402, the motion vector search is first performed with a 16 × 16 macroblock type to search for a position having a strong correlation between the encoding target image and the reference frame. As a method for determining a position having a strong correlation with the reference frame, a method of taking a difference between each pixel of the macroblock and the reference frame and setting a position having the smallest absolute value sum of the differences as a position having a strong correlation is cited. However, the method is not limited. When the search with the 16 × 16 macroblock type is completed, the search with the smaller macroblock types such as 16 × 8, 8 × 16, and 8 × 8 is sequentially performed.

次に、ステップS403に進み、マクロブロックタイプごとに最も相関が強いと判断された位置を動きベクトルとして決定する。そして、各マクロブロックタイプの内、最も参照フレームとの相関の強いマクロブロックタイプを符号化対象マクロブロックのマクロブロックタイプとして、上部マクロブロックのベクトル・パーティションを決定する。   Next, proceeding to step S403, the position determined to have the strongest correlation for each macroblock type is determined as a motion vector. Then, among the macroblock types, the macroblock type having the strongest correlation with the reference frame is set as the macroblock type of the macroblock to be encoded, and the vector partition of the upper macroblock is determined.

続いて、ステップS404に進み、ステップS403で決定した動きベクトルをインター予測符号化部6とエントロピー符号化部11に情報を送出する。また、同時に動き情報の生成に使った参照フレームの識別情報もインター予測符号化部6とエントロピー符号化部11に送出する。   Then, it progresses to step S404 and sends information about the motion vector determined in step S403 to the inter prediction encoding unit 6 and the entropy encoding unit 11. At the same time, the reference frame identification information used for generating the motion information is also sent to the inter prediction encoding unit 6 and the entropy encoding unit 11.

インター予測符号化部6は、前述した参照フレーム識別情報に応じた参照フレームの復元画像データを参照フレーム候補保存部3から呼出し、復元画像データと動きベクトルとから、現行画像の予測画像情報を生成する。このように、インター予測符号化では、現行画像とは別のフレームを参照して、予測画像情報を作り出すところが、イントラ予測符号化とは異なる。   The inter prediction encoding unit 6 calls the restored image data of the reference frame corresponding to the reference frame identification information described above from the reference frame candidate storage unit 3, and generates predicted image information of the current image from the restored image data and the motion vector. To do. As described above, inter prediction encoding is different from intra prediction encoding in that prediction image information is generated by referring to a frame different from the current image.

インター予測符号化部6で生成されたインター方式の予測画像情報は、スイッチ8の端子8bを介して減算器7や加算器14に送られ、復元画像データや予測画像差分データの生成に使われる。その後、ステップS405に進み、エントロピー符号化部11において圧縮符号化が行われる。   The inter prediction image information generated by the inter prediction encoding unit 6 is sent to the subtractor 7 and the adder 14 via the terminal 8b of the switch 8, and is used to generate restored image data and predicted image difference data. . Thereafter, the process proceeds to step S405, and the entropy encoding unit 11 performs compression encoding.

一方、ステップS401の検出の結果、符号化対象ピクチャが画面下端に達し、第1の領域と第2の領域の両方を含むマクロブロックである時はステップS406に進む。ステップS406においては、まず、動きベクトル探索を符号化対象画像が存在する上部16×8画素でのみで行い、符号化対象画像と参照フレームの相関の強い位置を探索する。なお、符号化対象マクロブロックの上部16×8画素での探索が終了したら順次、上部16×8を分割した2つの8×8画素での探索を行う。動きベクトル探索が終了したら、次に、ステップS407に進む。   On the other hand, as a result of the detection in step S401, when the encoding target picture reaches the lower end of the screen and is a macroblock including both the first area and the second area, the process proceeds to step S406. In step S406, first, a motion vector search is performed only on the upper 16 × 8 pixels where the encoding target image exists, and a position having a strong correlation between the encoding target image and the reference frame is searched. When the search for the upper 16 × 8 pixels of the encoding target macroblock is completed, the search for two 8 × 8 pixels obtained by dividing the upper 16 × 8 is sequentially performed. When the motion vector search is completed, the process proceeds to step S407.

ステップS407においては、マクロブロックタイプごとに最も相関が強いと判断された位置を動きベクトルとして決定する。次に16×8画素で探索した場合と8×8画素で探索した場合のうち、参照フレームとの相関の強い方の画素での探索で用いた画素サイズを上部マクロブロックタイプと決定する。   In step S407, the position determined to have the strongest correlation for each macroblock type is determined as a motion vector. Next, the pixel size used in the search with the pixel having the stronger correlation with the reference frame is determined as the upper macroblock type between the search with 16 × 8 pixels and the search with 8 × 8 pixels.

続いて、ステップS408において、ステップS407で決定した符号化対象マクロブロックの上部マクロブロックタイプが8×8か否かを判断する。この判断の結果、ステップS407で決定した符号化対象マクロブロックの上部マクロブロックタイプが16×8であった場合にはステップS409に進み、符号化対象マクロブロックのマクロブロックタイプを16×16に決定する。   Subsequently, in step S408, it is determined whether or not the upper macroblock type of the encoding target macroblock determined in step S407 is 8 × 8. As a result of this determination, if the upper macroblock type of the encoding target macroblock determined in step S407 is 16 × 8, the process proceeds to step S409, and the macroblock type of the encoding target macroblock is determined to be 16 × 16. To do.

一方、ステップS408の判断の結果、決定した符号化対象マクロブロックの上部マクロブロックタイプが8×8であった場合にはステップS410に進み、符号化対象マクロブロックのマクロブロックタイプを8×16に決定する。   On the other hand, as a result of the determination in step S408, if the upper macroblock type of the determined encoding target macroblock is 8 × 8, the process proceeds to step S410, and the macroblock type of the encoding target macroblock is set to 8 × 16. decide.

このように、画面下端における動きベクトル及びマクロブロックの分割方法を上部16×8画素のみの探索を行うだけで済ませることができる。具体的に、上部16×8画素で決定されるマクロブロックタイプに従って一意に定まるマクロブロックタイプを下部の16×8画素の領域に対して適用できる。従って、通常の16×16画素で探索を行った場合に比べて探索回数を減らすことができる。また、マクロブロックタイプが16×16あるいは8×16の2つに限定できるので、無駄なパーティション分割に伴うベクトル符号量の発生を抑えることができる。   In this way, the motion vector and macroblock division method at the lower end of the screen can be simply searched for only the upper 16 × 8 pixels. Specifically, a macroblock type uniquely determined according to the macroblock type determined by the upper 16 × 8 pixels can be applied to the lower 16 × 8 pixel region. Therefore, the number of searches can be reduced as compared with the case where the search is performed with normal 16 × 16 pixels. In addition, since the macroblock type can be limited to two of 16 × 16 or 8 × 16, it is possible to suppress the generation of vector code amount due to useless partitioning.

次に、ステップS411に進み、以下の処理を行う。すなわち、ステップS409またはステップS410で決定した動きベクトルをインター予測符号化部6とエントロピー符号化部11に情報を送出する。また、同時に動き情報の生成に使った参照フレームの識別情報もインター予測符号化部6とエントロピー符号化部11に送出する。   Next, it progresses to step S411 and the following processes are performed. That is, the motion vector determined in step S409 or step S410 is sent to the inter prediction encoding unit 6 and the entropy encoding unit 11. At the same time, the reference frame identification information used for generating the motion information is also sent to the inter prediction encoding unit 6 and the entropy encoding unit 11.

インター予測符号化部6では、参照フレーム識別情報に応じた参照フレームの復元画像データを参照フレーム候補保存部3から呼出し、復元画像データと動き情報とから、現行画像の予測画像情報を予測する。また、第1の領域の画素に従って決定されるマクロブロックの分割方法に従って第1の領域を符号化する。さらに、第1の領域のマクロブロック分割方法に従って一意に定まる分割方法を第2の領域に適用して、第2の領域を符号化する。   The inter prediction encoding unit 6 calls the restored image data of the reference frame corresponding to the reference frame identification information from the reference frame candidate storage unit 3, and predicts the predicted image information of the current image from the restored image data and the motion information. Also, the first area is encoded according to the macroblock division method determined according to the pixels of the first area. Further, the second region is encoded by applying a division method uniquely determined according to the macroblock division method of the first region to the second region.

このように、インター予測符号化では、現行画像とは別のフレームを参照して、予測画像情報を作り出すところが、イントラ予測符号化とは異なる。生成されたインター方式の予測画像情報は、スイッチ8で端子8bに接続され、減算器7や加算器14に送られ、復元画像データと予測画像差分データの生成に使われる。   As described above, inter prediction encoding is different from intra prediction encoding in that prediction image information is generated by referring to a frame different from the current image. The generated inter-system prediction image information is connected to the terminal 8b by the switch 8 and is sent to the subtractor 7 and the adder 14, and is used to generate restored image data and predicted image difference data.

前述のように、ユーザの目に触れないので、画質を気にする必要の無い下部16×8画素に関しては差分を0にすることにより無駄な符号量の発生を抑えることができる。なお、本実施形態では下部16×8画素がユーザの目に触れない場合を例として説明したがユーザの目に触れない画素の数及び上部、下部などの位置に係わりなく本発明を適用することができる。   As described above, since the user's eyes are not touched, generation of useless code amount can be suppressed by setting the difference to 0 for the lower 16 × 8 pixels that do not need to worry about image quality. In this embodiment, the case where the lower 16 × 8 pixels are not touched by the user has been described as an example. However, the present invention is applied regardless of the number of pixels not touched by the user and the positions of the upper and lower portions. Can do.

また、本実施形態ではマクロブロックパーティションとして16×16、16×8、8×16、8×8の4種類を使った場合を例として説明したが、マクロブロックパーティションのサイズ及び種類の数に係わりなく本発明を適用することができる。   In this embodiment, the case where four types of 16 × 16, 16 × 8, 8 × 16, and 8 × 8 are used as macroblock partitions has been described as an example. However, the present embodiment relates to the number of macroblock partitions and the number of types. The present invention can be applied.

(本発明に係る他の実施形態)
前述した本発明の実施形態における画像符号化装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the image coding apparatus according to the above-described embodiment of the present invention can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した画像符号化方法における各工程を実行するソフトウェアのプログラム(実施形態では図4に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowchart shown in FIG. 4) for executing each step in the above-described image encoding method is directly or remotely supplied to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。   Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, the present invention includes a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。   In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer may perform part or all of the actual processing. The functions of the above-described embodiments can be realized.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

1 画像入力部
2 現在フレーム保存部
3 参照フレーム候補保存部
4 イントラ予測符号化部
5 動き検出部
6 インター予測符号化部
7 減算器
8 スイッチ部
9 DCT部
10 量子化部
11 エントロピー符号化部
12 逆量子化部
13 IDCT部
14 加算器
15 復号画像保存部
16 デブロッキングフィルタ
17 画面下端検出部
100 画像符号化装置
DESCRIPTION OF SYMBOLS 1 Image input part 2 Current frame preservation | save part 3 Reference frame candidate preservation | save part 4 Intra prediction encoding part 5 Motion detection part 6 Inter prediction encoding part 7 Subtractor 8 Switch part 9 DCT part 10 Quantization part 11 Entropy encoding part 12 Inverse quantization unit 13 IDCT unit 14 Adder 15 Decoded image storage unit 16 Deblocking filter 17 Screen lower end detection unit 100 Image encoding device

Claims (10)

符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、
符号化対象の画素ブロックが画像表示装置に表示される第1の領域と前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出工程と、
前記領域検出工程における検出の結果、前記符号化対象の画素ブロックが前記第1の領域と前記第2の領域の両方を含む画素ブロックである場合には、前記第1の領域についてのみ動きベクトルを検出する動きベクトル検出工程とを有し、
前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて前記第1の領域と前記第2の領域の両方を含む画素ブロックを符号化することを特徴とする画像符号化方法。
In an image encoding method having an encoding step of performing motion compensation encoding by detecting a motion vector for each of a plurality of pixel blocks constituting an encoding target picture,
A region detecting step for detecting whether or not the pixel block to be encoded is composed of a first region displayed on the image display device and a second region not displayed on the image display device;
As a result of the detection in the region detection step, when the pixel block to be encoded is a pixel block including both the first region and the second region, a motion vector is calculated only for the first region. A motion vector detecting step for detecting,
In the encoding step, a pixel block including both the first region and the second region is encoded using the motion vector detected in the motion vector detection step. Method.
前記符号化工程においては、前記第1の領域と前記第2の領域の両方を含む画素ブロックについて、前記第2の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を0にして符号化することを特徴とする請求項1に記載の画像符号化方法。   In the encoding step, for pixel blocks including both the first area and the second area, difference information between a pixel in the second area and a reference picture pixel referred to in the motion compensation encoding The image encoding method according to claim 1, wherein encoding is performed with 0 set to 0. 符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、
符号化対象のマクロブロックが画像表示装置に表示される第1の領域と、前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出工程を有し、
前記領域検出工程において、前記符号化対象のマクロブロックが前記第1の領域と前記第2の領域とから構成されると検出された場合には、前記符号化工程においては、前記第1の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第1の領域で決定した分割方法に従って一意に定まる分割方法を前記第2の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化方法。
An image encoding method including an encoding step of performing motion compensation encoding by dividing a macroblock constituting an encoding target picture into smaller blocks and detecting a motion vector for each of the macroblock and the block. In
An area detection step of detecting whether or not the macroblock to be encoded is composed of a first area displayed on the image display device and a second area not displayed on the image display device;
In the region detection step, when it is detected that the macroblock to be encoded is composed of the first region and the second region, in the encoding step, the first region A motion vector and a macroblock division method are determined in accordance with the pixels of the first pixel, and a division method uniquely determined according to the division method determined in the first region is applied to the second region, An image encoding method, wherein a macroblock is encoded.
前記符号化工程においては、前記第1の領域と前記第2の領域とから構成されるマクロブロックについて、前記第2の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を0にして符号化することを特徴とする請求項3に記載の画像符号化方法。   In the encoding step, a difference between a pixel in the second area and a pixel in a reference picture referred to in the motion compensation encoding for a macroblock composed of the first area and the second area 4. The image encoding method according to claim 3, wherein the information is encoded with 0. 符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、
符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出工程を有し、
前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化方法。
In an image encoding method having an encoding step of performing motion compensation encoding by detecting a motion vector for each of a plurality of 16 × 16 pixel macroblocks constituting an encoding target picture,
When the encoding target macroblock is a macroblock located at the bottom of the screen of the encoding target picture, the motion for detecting the motion vector by searching in the upper 16 × 8 pixels of the encoding target macroblock A vector detection step,
In the encoding step, the macroblock to be encoded is encoded using the motion vector detected in the motion vector detection step.
符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、
符号化対象の画素ブロックが画像表示装置に表示される第1の領域と前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出手段と、
前記領域検出手段による検出の結果、前記符号化対象の画素ブロックが前記第1の領域と前記第2の領域の両方を含む画素ブロックである場合には、前記第1の領域についてのみ動きベクトルを検出する動きベクトル検出手段とを有し、
前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて前記第1の領域と前記第2の領域の両方を含む画素ブロックを符号化することを特徴とする画像符号化装置。
In an image coding apparatus having coding means for performing motion compensation coding by detecting a motion vector for each of a plurality of pixel blocks constituting a picture to be coded,
Area detecting means for detecting whether or not the pixel block to be encoded is composed of a first area displayed on the image display device and a second area not displayed on the image display device;
As a result of detection by the region detection means, when the pixel block to be encoded is a pixel block including both the first region and the second region, a motion vector is calculated only for the first region. Motion vector detecting means for detecting,
The encoding means encodes a pixel block including both the first area and the second area using a motion vector detected by the motion vector detection means. .
前記符号化手段は、前記第1の領域と前記第2の領域の両方を含む画素ブロックについて、前記第2の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を0にして符号化することを特徴とする請求項6に記載の画像符号化装置。   For the pixel block including both the first area and the second area, the encoding means calculates difference information between a pixel in the second area and a reference picture pixel referred to in the motion compensation encoding. The image encoding apparatus according to claim 6, wherein the encoding is performed with 0. 符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、
符号化対象のマクロブロックが画像表示装置に表示される第1の領域と、前記画像表示装置には表示されない第2の領域とから構成されるか否かを検出する領域検出手段を有し、
前記領域検出手段において、前記符号化対象のマクロブロックが前記第1の領域と前記第2の領域とから構成されると検出された場合には、前記符号化手段は、前記第1の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第1の領域で決定した分割方法に従って一意に定まる分割方法を前記第2の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化装置。
Image coding apparatus having coding means for performing motion compensation coding by dividing a macroblock constituting a picture to be coded into smaller blocks and detecting a motion vector for each of the macroblock and the block In
An area detecting means for detecting whether or not the macroblock to be encoded is composed of a first area displayed on the image display device and a second area not displayed on the image display device;
When the area detecting means detects that the macro block to be encoded is composed of the first area and the second area, the encoding means According to pixels, a motion vector and a macroblock division method are determined, and a division method uniquely determined according to the division method determined in the first region is applied to the second region, so that the macro to be encoded An image encoding apparatus that encodes a block.
前記符号化手段は、前記第1の領域と前記第2の領域とから構成されるマクロブロックについて、前記第2の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を0にして符号化することを特徴とする請求項8に記載の画像符号化装置。   The encoding means includes difference information between a pixel of the second region and a pixel of a reference picture referred to in the motion compensation encoding for a macroblock composed of the first region and the second region. The image encoding apparatus according to claim 8, wherein encoding is performed with 0 being set to 0. 符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、
符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出手段を有し、
前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化装置。
In an image encoding device having encoding means for performing motion compensation encoding by detecting a motion vector for each of a plurality of 16 × 16 pixel macroblocks constituting an encoding target picture,
When the encoding target macroblock is a macroblock located at the bottom of the screen of the encoding target picture, the motion for detecting the motion vector by searching in the upper 16 × 8 pixels of the encoding target macroblock Having vector detection means,
The image encoding device, wherein the encoding unit encodes the encoding target macroblock using a motion vector detected by the motion vector detection unit.
JP2009038434A 2009-02-20 2009-02-20 Image encoding method and apparatus Pending JP2010193401A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009038434A JP2010193401A (en) 2009-02-20 2009-02-20 Image encoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009038434A JP2010193401A (en) 2009-02-20 2009-02-20 Image encoding method and apparatus

Publications (1)

Publication Number Publication Date
JP2010193401A true JP2010193401A (en) 2010-09-02

Family

ID=42818928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009038434A Pending JP2010193401A (en) 2009-02-20 2009-02-20 Image encoding method and apparatus

Country Status (1)

Country Link
JP (1) JP2010193401A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214990A (en) * 2009-10-30 2013-10-17 Samsung Electronics Co Ltd Method and apparatus for encoding and decoding coding unit of picture boundary
WO2014106878A1 (en) * 2013-01-07 2014-07-10 日本電気株式会社 Video encoding device, video decoding device, video encoding method, video decoding method, and program
WO2015011752A1 (en) * 2013-07-22 2015-01-29 ルネサスエレクトロニクス株式会社 Moving image encoding apparatus and operation method thereof
JP2015192438A (en) * 2014-03-31 2015-11-02 株式会社メガチップス Moving image encoding processing device, program and integrated circuit
WO2019077751A1 (en) * 2017-10-20 2019-04-25 富士通株式会社 Moving image encoding device, moving image encoding method, moving image encoding computer program, moving image decoding device, moving image decoding method, and moving image decoding computer program
JP2021513792A (en) * 2018-07-02 2021-05-27 テンセント・アメリカ・エルエルシー Methods, equipment, and computer programs for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124564A (en) * 2005-10-31 2007-05-17 Matsushita Electric Ind Co Ltd Image coding apparatus, method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124564A (en) * 2005-10-31 2007-05-17 Matsushita Electric Ind Co Ltd Image coding apparatus, method, and program

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264708B2 (en) 2009-10-30 2016-02-16 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding coding unit of picture boundary
US8842922B2 (en) 2009-10-30 2014-09-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding coding unit of picture boundary
US8582901B2 (en) 2009-10-30 2013-11-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding coding unit of picture boundary
JP2013214990A (en) * 2009-10-30 2013-10-17 Samsung Electronics Co Ltd Method and apparatus for encoding and decoding coding unit of picture boundary
US8837840B2 (en) 2009-10-30 2014-09-16 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding coding unit of picture boundary
US8842926B2 (en) 2009-10-30 2014-09-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding coding unit of picture boundary
US8842925B2 (en) 2009-10-30 2014-09-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding coding unit of picture boundary
JP2013214991A (en) * 2009-10-30 2013-10-17 Samsung Electronics Co Ltd Method and apparatus for encoding and decoding coding unit of picture boundary
JP2015144486A (en) * 2009-10-30 2015-08-06 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding/decoding coding unit of picture boundary
JP2015111895A (en) * 2009-10-30 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding and decoding coding unit of picture boundary
JP2015111894A (en) * 2009-10-30 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding and decoding coding unit of picture boundary
CN104904210A (en) * 2013-01-07 2015-09-09 日本电气株式会社 Video encoding device, video decoding device, video encoding method, video decoding method, and program
US9426485B2 (en) 2013-01-07 2016-08-23 Nec Corporation Video encoding device, video decoding device, video encoding method, video decoding method, and program
WO2014106878A1 (en) * 2013-01-07 2014-07-10 日本電気株式会社 Video encoding device, video decoding device, video encoding method, video decoding method, and program
JPWO2014106878A1 (en) * 2013-01-07 2017-01-19 日本電気株式会社 Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and program
US10356437B2 (en) 2013-07-22 2019-07-16 Renesas Electronics Corporation Moving image encoding apparatus including padding processor for adding padding data to moving image and operation method thereof
JPWO2015011752A1 (en) * 2013-07-22 2017-03-02 ルネサスエレクトロニクス株式会社 Video encoding apparatus and operation method thereof
WO2015011752A1 (en) * 2013-07-22 2015-01-29 ルネサスエレクトロニクス株式会社 Moving image encoding apparatus and operation method thereof
JP2015192438A (en) * 2014-03-31 2015-11-02 株式会社メガチップス Moving image encoding processing device, program and integrated circuit
WO2019077751A1 (en) * 2017-10-20 2019-04-25 富士通株式会社 Moving image encoding device, moving image encoding method, moving image encoding computer program, moving image decoding device, moving image decoding method, and moving image decoding computer program
US11778228B2 (en) 2017-10-20 2023-10-03 Fujitsu Limited Moving image encoding device, moving image encoding method, moving image decoding device, and moving image decoding method
JPWO2019077751A1 (en) * 2017-10-20 2020-11-05 富士通株式会社 Moving image coding device, moving image coding method, moving image coding computer program, moving image decoding device and moving image decoding method, and moving image decoding computer program
US11089326B2 (en) 2017-10-20 2021-08-10 Fujitsu Limited Moving image encoding device, moving image encoding method, moving image decoding device, and moving image decoding method
JP2021185685A (en) * 2017-10-20 2021-12-09 富士通株式会社 Dynamic image decoding device, dynamic image decoding method, and computer program for dynamic image decoding
JP7004001B2 (en) 2017-10-20 2022-01-21 富士通株式会社 Video coding device, video coding method, and computer program for video coding
JP7156471B2 (en) 2017-10-20 2022-10-19 富士通株式会社 Moving image decoding device, moving image decoding method, and computer program for moving image decoding
JP7050942B2 (en) 2018-07-02 2022-04-08 テンセント・アメリカ・エルエルシー Methods, equipment, and computer programs for video coding
JP2021513792A (en) * 2018-07-02 2021-05-27 テンセント・アメリカ・エルエルシー Methods, equipment, and computer programs for video coding

Similar Documents

Publication Publication Date Title
RU2667716C1 (en) Prediction image encoding apparatus, prediction image encoding method, prediction image encoding program, prediction image decoding apparatus, prediction image decoding method and prediction image decoding program
US9083985B2 (en) Motion image encoding apparatus, motion image decoding apparatus, motion image encoding method, motion image decoding method, motion image encoding program, and motion image decoding program
JP4703449B2 (en) Encoding method
US20140105295A1 (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
AU2008258910A1 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP2010016453A (en) Image encoding apparatus and method, image decoding apparatus and method, and program
KR20040105547A (en) Moving picture encoding method and moving picture decoding method
AU2010279841A1 (en) Apparatus and method for deblocking filtering image data and video decoding apparatus and method using the same
KR101496324B1 (en) Method and apparatus for video encoding, and method and apparatus for video decoding
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
TWI511531B (en) Video coding apparatus, video coding method, and video coding program
JP4732184B2 (en) Moving picture encoding apparatus and control method therefor, computer program, and storage medium
JP2010193401A (en) Image encoding method and apparatus
JP2007013298A (en) Image coding apparatus
KR101603414B1 (en) Method and apparatus for encoding of 2demensional video using depth image
JPWO2008136164A1 (en) Decoding circuit, decoding method, and image reproducing apparatus
JP2006295503A (en) Reencoding apparatus and method, and program for reencoding
US20080212886A1 (en) Image processing method, image processing apparatus and image pickup apparatus using the same
JP5937926B2 (en) Image encoding device, image decoding device, image encoding program, and image decoding program
JP4789719B2 (en) Motion vector detection apparatus, motion vector detection method, computer program, and storage medium
KR100801974B1 (en) Low Cost Motion Estimation Device and Motion Estimation Method
JP2006295734A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
KR101390194B1 (en) Method and apparatus for encoding and decoding based on motion estimation
US20210185323A1 (en) Inter prediction method and apparatus, video encoder, and video decoder
JP5235813B2 (en) Moving picture coding apparatus, moving picture coding method, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130723