JP2002027483A - Picture coding system, picture decoding system, and storage media - Google Patents

Picture coding system, picture decoding system, and storage media

Info

Publication number
JP2002027483A
JP2002027483A JP2000209913A JP2000209913A JP2002027483A JP 2002027483 A JP2002027483 A JP 2002027483A JP 2000209913 A JP2000209913 A JP 2000209913A JP 2000209913 A JP2000209913 A JP 2000209913A JP 2002027483 A JP2002027483 A JP 2002027483A
Authority
JP
Japan
Prior art keywords
intra
frame
area
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000209913A
Other languages
Japanese (ja)
Inventor
Kazuhiro Enomoto
和宏 榎本
Masaaki Takizawa
正明 滝沢
Yuji Araki
祐二 荒木
Susumu Takase
晋 高瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2000209913A priority Critical patent/JP2002027483A/en
Publication of JP2002027483A publication Critical patent/JP2002027483A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

PROBLEM TO BE SOLVED: To decrease propagation of data error caused by transmission error and the like in a picture coding using both intra-frame predictive coding and inter-frame predictive coding. SOLUTION: When there is a slice applied by the intra-frame predictive coding in the current frame stored in a buffer a difference detection circuit 2, checks the finite difference between the slice and a slice in the same position in the immediately previous frame stored by itself and notifies a control section 3 of it. For the large finite difference, the control section 3 forcedly applies the intra-frame predictive coding to the slice in the same position in the following frame of the current frame regardless the difference of the reference picture considered by motion compensation notified by a predictive circuit 108 when the following frame becomes the current frame.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、フレーム内予測符
号化とフレーム間予測符号化とを併用する画像符号化方
式において、データ誤りによって生じる画質劣化を軽減
するための技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for reducing image quality degradation caused by a data error in an image coding system using both intra-frame prediction coding and inter-frame prediction coding.

【0002】[0002]

【従来の技術】従来より、フレーム内予測符号化とフレ
ーム間予測符号化とを併用して動画像を符号化する技術
として、MPEG2方式(ISO/IEC 13818-2)が知られ
ている。
2. Description of the Related Art Conventionally, the MPEG2 system (ISO / IEC 13818-2) has been known as a technique for encoding a moving image by using both intra-frame prediction coding and inter-frame prediction coding.

【0003】ここで、フレーム内予測符号化とは、1枚
のフレーム内における画像の空間的冗長性のみを利用し
て、各フレーム内の画像を圧縮符号化する技術であり、
フレーム間予測符号化とは、他のフレームとの相関を利
用して、各フレーム内の画像を圧縮符号化する技術であ
る。なお、フレームとは、動画像を構成する個々の静止
画像を指す。動画像は、例えば、毎秒30枚のフレーム
を順次表示することにより表現される。
[0003] Here, the intra-frame predictive coding is a technique for compressing and coding an image in each frame using only the spatial redundancy of the image in one frame.
The inter-frame predictive coding is a technique for compressing and coding an image in each frame using a correlation with another frame. Note that a frame refers to individual still images that make up a moving image. A moving image is expressed by, for example, sequentially displaying 30 frames per second.

【0004】一般に、一連のシーンを表す動画像では、
動いている領域よりも静止している領域の方が多いの
で、フレーム間の相関が強く、フレーム内予測符号化よ
りもフレーム間予測符号化の方が、より高能率に画像を
圧縮することができる。
Generally, in a moving image representing a series of scenes,
Since there are more stationary areas than moving areas, the correlation between frames is stronger, and inter-frame predictive coding can compress images more efficiently than intra-frame predictive coding. it can.

【0005】さて、MPEG2方式では、時間軸方向の
冗長度を削減するために、動き補償フレーム間予測符号
化を行ない、高い圧縮効率を得ている。動き補償フレー
ム間予測符号化とは、符号化するフレームを16×16
画素からなるマクロブロックに分割し、マクロブロック
毎に、参照画像中の最も近似するマクロブロックを比較
対象マクロブロックとして、その比較対象マクロブロッ
クとの差分画像を求め、これを符号化するものである。
[0005] In the MPEG2 system, motion-compensated inter-frame prediction coding is performed to reduce redundancy in the time axis direction, and high compression efficiency is obtained. Motion-compensated inter-frame predictive coding means that a frame to be coded is 16 × 16
The macroblock is divided into macroblocks composed of pixels, and for each macroblock, a macroblock closest to the reference image is set as a comparison target macroblock, a difference image from the comparison target macroblock is obtained, and this is encoded. .

【0006】MPEG2方式では、このような動き補償
フレーム間予測符号化によって符号化したマクロブロッ
クをノンイントラマクロブロックといい、動き補償フレ
ーム間予測符号化によらず、フレーム内予測符号化によ
って符号化したマクロブロックをイントラマクロブロッ
クという。また、イントラマクロブロックのみで構成さ
れるピクチャをIピクチャといい、参照画像データとし
て表示順で過去のピクチャの画像データのみを使用する
ピクチャをPピクチャといい、そして、参照画像データ
として表示順で過去と未来の両方のピクチャの画像デー
タを使用することができるピクチャをBピクチャとい
う。なお、参照画像データとして使用されるのは、Iピ
クチャとPピクチャの画像データのみである。
In the MPEG2 system, a macroblock coded by such motion-compensated inter-frame predictive coding is called a non-intra macroblock, and is coded by intra-frame predictive coding, not by motion-compensated inter-frame predictive coding. The resulting macro block is called an intra macro block. A picture composed of only intra macroblocks is called an I picture, a picture that uses only image data of a past picture in display order as reference image data is called a P picture, and is referred to as reference image data in display order. A picture in which image data of both past and future pictures can be used is called a B picture. It should be noted that only I-picture and P-picture image data are used as reference image data.

【0007】ところで、動き補償フレーム間予測におい
てデータ誤りが発生すると、復号化の際に、その影響が
次々と以降のフレームに伝播する。そこで、MPEG2
方式では、予め定められた周期、例えば12フレーム毎
に、フレームをIピクチャとして符号化するようにして
いる。
When a data error occurs in the motion-compensated inter-frame prediction, the influence of the error propagates to subsequent frames one after another during decoding. Therefore, MPEG2
In the method, a frame is encoded as an I picture at a predetermined cycle, for example, every 12 frames.

【0008】また、MPEG2方式では、より発生頻度
の高い値をより短い符号語長で表す可変長符号化が採用
されている。このような、可変長符号化によれば、全体
の符号語長を最小にすることができる。
[0008] In the MPEG2 system, variable length coding is employed, in which values having a higher frequency of occurrence are represented by shorter codeword lengths. According to such variable length coding, the entire codeword length can be minimized.

【0009】ところで、可変長符号化においてデータ誤
りが発生すると、符号語と次の符号語との切れ目が分か
らなくなるため、その影響が次々と以降のフレームに伝
播する。そこで、MPEG2方式では、画像信号の先頭
を示す画像先頭信号(PSC:Picture Start Code)と、画
面を横長の長方形に分割することで得られるスライス
(複数のマクロブロックで構成される)の先頭を示すス
ライス先頭信号(スライス ヘッダ)とを、可変長符号語
列中の、フレーム先頭やスライス先頭に対応する位置に
挿入している。これにより、データ誤りが生じても、次
のフレーム先頭やスライス先頭からは、正しく可変長符
号語を検出できるようにし、データ誤りが伝播するのを
防いでいる。なお、MPEG2方式では、各先頭信号と
して、ビット値「0」が23個連続した後にビット値
「1」が続くビット列を用い、一般の符号語では、符号
語と次の符号語との間でビット値「0」が連続するとき
はその連続数が必ず23未満となるようにすることによ
り、各先頭信号を確実に可変長符号語列中から検出でき
るようにしている。
By the way, if a data error occurs in the variable-length coding, a break between the code word and the next code word cannot be recognized, and the effect propagates to subsequent frames one after another. Therefore, in the MPEG2 system, an image head signal (PSC: Picture Start Code) indicating the head of an image signal and the head of a slice (composed of a plurality of macroblocks) obtained by dividing the screen into a horizontally long rectangle are used. The indicated slice head signal (slice header) is inserted at a position corresponding to the frame head or the slice head in the variable-length codeword string. As a result, even if a data error occurs, the variable-length codeword can be correctly detected from the beginning of the next frame or slice, thereby preventing the propagation of the data error. In the MPEG2 system, a bit string in which 23 bit values “0” continue and a bit value “1” is used as each head signal is used. In a general code word, a bit sequence between a code word and a next code word is used. When the bit value “0” is continuous, the number of consecutive bits is always less than 23, so that each head signal can be reliably detected from the variable-length codeword string.

【0010】さて、MPEG2方式において、各フレー
ムを上述したIピクチャ、PピクチャおよびBピクチャ
のいずれにするかの決定については、通常、nフレーム
周期に配置したIピクチャ間に、n/mフレーム周期で
Pピクチャを配置し、このIピクチャとPピクチャとの
間にBピクチャを配置することで行われている(n、m
は自然数の定数)。このようにすることで、Iピクチャ
が周期的に配置されるため、フレーム間予測符号化によ
って蓄積された誤差が、Iピクチャによって周期的に解
消される。
In the MPEG2 system, each frame is determined to be one of the above-described I picture, P picture, and B picture by generally n / m frame periods between I pictures arranged in n frame periods. Is performed by arranging a P picture and a B picture between the I picture and the P picture (n, m
Is a natural number constant). By doing so, the I-pictures are periodically arranged, so that the errors accumulated by the inter-frame prediction coding are periodically eliminated by the I-pictures.

【0011】ところで、符号化対象の動画像を解析し、
その解析結果に応じて、当該動画像を構成する各フレー
ムを、上述したIピクチャ、PピクチャおよびBピクチ
ャのいずれにするかを動的に決定する技術も知られてい
る。例えば、特開平8-65678号公報には、隣接フレーム
間の相関に応じて、定数n、m、すなわち、Iピクチャ
およびPピクチャの周期を切り替える技術が記載されて
いる。また、特開平2000-32474号公報には、動き予測の
効果を推測し、これに応じて入力フレームを、Bピクチ
ャとするか、あるいは、IまたはPピクチャとするかを
決定する技術が記載されている。
By the way, a moving image to be encoded is analyzed,
There is also known a technique of dynamically determining, based on the analysis result, any of the above-described I picture, P picture, and B picture for each frame constituting the moving image. For example, Japanese Patent Application Laid-Open No. 8-65678 describes a technique for switching the constants n and m, that is, the periods of the I picture and the P picture according to the correlation between adjacent frames. Japanese Patent Application Laid-Open No. 2000-32474 describes a technique for estimating the effect of motion prediction and determining whether an input frame is a B picture or an I or P picture in accordance with the effect. ing.

【0012】[0012]

【発明が解決しようとする課題】しかしながら、上記の
従来技術では、動画像を構成する各フレームをMPEG
2方式により圧縮符号化することで得たデータを伝送す
る場合に、伝送誤り等によって生じたデータ誤りの伝播
の可能性を完全に排除することができない。
However, in the above-mentioned prior art, each frame constituting a moving image is stored in an MPEG format.
When transmitting data obtained by compression encoding using two methods, the possibility of propagation of a data error caused by a transmission error or the like cannot be completely excluded.

【0013】例えば、Iピクチャに、伝送誤り等によっ
てデータ誤りが生じた場合、上記の従来技術では、その
データ誤りが生じたフレームに与えられる影響は、次の
Iピクチャまで、次々と伝搬し、動画像の画質を大きく
劣化してしまうことになる。
For example, when a data error occurs in an I-picture due to a transmission error or the like, according to the above-described conventional technique, the effect on a frame in which the data error has occurred is propagated one after another to the next I-picture. The image quality of the moving image will be greatly deteriorated.

【0014】なお、符号化したデータを伝送するシステ
ムにおいて、伝送誤り等によりデータ誤りが発生した時
点で、送信側と受信側とが協調して、フレームの再送等
の処理を行えば、当該データ誤りの伝播による動画像の
画質の劣化を排除することも可能である。しかし、この
ような処理は、リアルタイムに動画像を伝送したい場
合、遅延等の不利益が大きくなる。また、このような、
伝送誤り等によりデータ誤りが発生した時点で送信側と
受信側とが協調して行う処理は、符号化したデータを記
録しその後で再生を行うような場合、すなわち、送信側
の送信処理と受信側での再生処理とが非同期に動作する
ような場合は、適用することができない。
In a system for transmitting encoded data, when a data error occurs due to a transmission error or the like, if the transmitting side and the receiving side cooperate with each other to perform processing such as retransmission of a frame, the data is transmitted. It is also possible to eliminate the deterioration of the image quality of a moving image due to the propagation of an error. However, such processing has a disadvantage such as a delay when transmitting a moving image in real time. Also, like this,
The process performed by the transmitting side and the receiving side in cooperation when a data error occurs due to a transmission error or the like is performed when the encoded data is recorded and then reproduced, that is, the transmitting process and the receiving This cannot be applied when the reproduction process on the side operates asynchronously.

【0015】本発明は、上記事情に鑑みてなされたもの
であり、本発明の目的は、リアルタイムに動画像を伝送
したい場合や、送信側の送信処理と受信側での再生処理
とが非同期に動作するような場合でも、伝送誤り等によ
るデータ誤りの伝播を低減できるようにすることにあ
る。
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a method for transmitting a moving image in real time, or a method for asynchronously performing transmission processing on a transmission side and reproduction processing on a reception side. It is an object of the present invention to reduce the propagation of a data error due to a transmission error or the like even when it operates.

【0016】[0016]

【課題を解決するための手段】上記課題を解決するため
に、本発明は、動画像を構成する複数フレーム各々に対
し、当該フレームの領域全体あるいは当該フレームを複
数に分割することで得られる各領域を単位領域として、
フレーム内予測符号化あるいはフレーム間予測符号化を
適用し、前記動画像を符号化する画像符号化装置に、フ
レーム間予測符号化において参照される可能性のある単
位領域がフレーム内予測符号化により符号化される第1
のイントラ領域に設定されている場合、当該第1のイン
トラ領域を含むフレームの次フレーム中の、前記第1の
イントラ領域と同位置にある単位領域を、フレーム間予
測符号化において参照される可能性のある、フレーム内
予測符号化により符号化される第2のイントラ領域に設
定する、イントラ領域設定手段を設けている。
In order to solve the above-mentioned problems, the present invention provides a method for dividing a whole frame or a plurality of frames into a plurality of frames constituting a moving image. With the area as the unit area,
Applying intra-frame predictive coding or inter-frame predictive coding to an image coding apparatus that codes the moving image, a unit area that may be referred to in the inter-frame predictive coding is obtained by intra-frame predictive coding. The first to be encoded
When the intra-region is set as the intra-region, a unit region located at the same position as the first intra-region in a frame next to the frame including the first intra-region can be referred to in the inter-frame predictive coding. Intra-region setting means for setting a second intra region to be coded by intra-frame predictive coding.

【0017】本発明によれば、フレーム中に前記第1の
イントラ領域が設定されている場合、当該フレームの次
フレーム中の前記第1のイントラ領域と同位置にある単
位領域が前記第2のイントラ領域に設定される。つま
り、連続する2つのフレーム中の同位置にある単位領域
各々が、フレーム間予測符号化において他から参照され
る可能性のある、フレーム内予測符号化が適用されるイ
ントラ領域となる。
According to the present invention, when the first intra area is set in a frame, the unit area located at the same position as the first intra area in the next frame of the frame is the second intra area. It is set in the intra area. That is, each unit area at the same position in two consecutive frames is an intra area to which intra-frame prediction coding is applied, which may be referred to by others in inter-frame prediction coding.

【0018】したがって、例えば、前記単位領域をフレ
ームの全体領域とした場合、復号化側において、このよ
うな連続する2つのフレームのうちの後方フレームに、
伝送誤り等によるデータ誤りが生じた場合、フレーム間
予測符号化においてこの後方フレームを参照フレームと
するフレームに対して、前記2つのフレームのうちの前
方フレームを参照するように変更すれば、以降のフレー
ムに伝播されるデータ誤りの影響を低減できる。なお、
本発明では、上述したように、連続する2つのフレーム
中の同位置にある単位領域が、それぞれ、前記第1、第
2の、フレーム間予測符号化において他から参照される
可能性のあるイントラ領域となる。したがって、フレー
ム間予測符号化での参照領域を、前記第2のイントラ領
域から前記第1のイントラ領域に変更した場合、その影
響は、連続する2つのフレーム間の差分に抑えられる。
通常、連続するフレームは内容が近似していることが期
待できるので、上記の参照領域変更による誤差は小さい
ことが期待できる。
Therefore, for example, when the unit area is the entire area of a frame, the decoding side includes,
If a data error occurs due to a transmission error or the like, a change is made so that a frame that uses this rear frame as a reference frame in the inter-frame prediction coding refers to the front frame of the two frames. The effect of a data error propagated to a frame can be reduced. In addition,
In the present invention, as described above, the unit regions at the same position in two consecutive frames are intra-frames that may be referred to by others in the first and second inter-frame predictive codings, respectively. Area. Therefore, when the reference region in the inter-frame predictive coding is changed from the second intra region to the first intra region, the effect is suppressed to the difference between two consecutive frames.
Normally, it can be expected that the contents of successive frames are similar, so that it is expected that the error due to the change of the reference area is small.

【0019】なお、前記イントラ領域設定手段に、前記
第1のイントラ領域と、前記第1のイントラ領域を含む
フレームより1つ前のフレーム中の、前記第1のイント
ラ領域と同位置にある単位領域との差分の絶対値が、所
定の閾値より大きい場合に、前記第1のイントラ領域を
含むフレームの次のフレーム中の、前記第1のイントラ
領域と同位置にある単位領域を、前記第2のイントラ領
域に設定させるようにするとよい。
The intra-region setting means may include a first intra-region and a unit located at the same position as the first intra-region in a frame immediately before the frame including the first intra-region. When the absolute value of the difference from the area is larger than a predetermined threshold, the unit area located at the same position as the first intra area in a frame next to the frame including the first intra area is referred to as the first area. It is good to set it to 2 intra-areas.

【0020】復号化側において、第1のイントラ領域に
伝送誤り等によるデータ誤りが生じた場合、当該第1の
イントラ領域を含むフレームの1つ前のフレーム中の、
前記第1のイントラ領域と同位置にある単位領域に対す
る復号結果を、当該第1のイントラ領域の復号結果とし
て代用することも可能である。しかし、この場合、前記
第1のイントラ領域と、その1つ前のフレーム中の前記
第1のイントラ領域と同位置にある単位領域との差分が
大きいと、その差分に応じた誤差が以降に伝播してしま
う。
On the decoding side, when a data error occurs due to a transmission error or the like in the first intra area, the data in the frame immediately before the frame including the first intra area is
It is also possible to substitute the decoding result for the unit area located at the same position as the first intra area as the decoding result for the first intra area. However, in this case, if the difference between the first intra area and the unit area located at the same position as the first intra area in the immediately preceding frame is large, an error corresponding to the difference will be made thereafter. Propagate.

【0021】本発明によれば、上記のようにすること
で、前記第1のイントラ領域と、その1つ前のフレーム
中の前記第1のイントラ領域と同位置にある単位領域と
の差分が大きい場合、前記第1のイントラ領域を含むフ
レームの次のフレーム中の、前記第1のイントラ領域と
同位置にある単位領域が、第2のイントラ領域に設定さ
れる。したがって、前記第1のイントラ領域に伝送誤り
等によるデータ誤りが生じた場合でも、前記第1のイン
トラ領域とその1つ前のフレーム中の同位置にある単位
領域との大きな差分に応じた誤差が、以降に伝播するこ
とはない。
According to the present invention, by performing the above, the difference between the first intra area and the unit area at the same position as the first intra area in the immediately preceding frame is reduced. If the size is larger, a unit area at the same position as the first intra area in a frame next to the frame including the first intra area is set as the second intra area. Therefore, even when a data error occurs due to a transmission error or the like in the first intra area, an error corresponding to a large difference between the first intra area and a unit area located at the same position in the immediately preceding frame. But will not be propagated.

【0022】[0022]

【発明の実施の形態】以下、本発明の1実施形態につい
て説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below.

【0023】本実施形態では、上述のMPEG2方式に
従い、フレーム内予測符号化が適用されるIピクチャお
よびフレーム間予測符号化が適用されるPピクチャを用
いて、複数の画像フレームで構成される動画像を符号化
・復号化する場合を例にとり説明する。
In this embodiment, in accordance with the above-described MPEG2 method, a moving picture composed of a plurality of image frames using an I picture to which intra-frame predictive coding is applied and a P picture to which inter-frame predictive coding is applied. A case where an image is encoded and decoded will be described as an example.

【0024】まず、本実施形態が適用される画像符号化
装置について説明する。
First, an image coding apparatus to which the present embodiment is applied will be described.

【0025】図1に本実施形態が適用された画像符号化
装置の構成を示す。
FIG. 1 shows a configuration of an image coding apparatus to which the present embodiment is applied.

【0026】この図において、カメラ101から順次出
力された画像フレーム(現在画像フレーム)は、A/D
変換器102でデジタル化され、バッファ152に一旦
蓄積される。
In this figure, image frames (current image frames) sequentially output from the camera 101 are A / D
The data is digitized by the converter 102 and temporarily stored in the buffer 152.

【0027】予測回路108は、現在、バッファ152
に蓄積されている現在画像フレームより1つ前の画像フ
レーム(参照画像フレーム)を保持しており、この参照
画像フレームを用いて現在画像フレームの各マクロブロ
ックの動き推定処理を行う。そして、現在画像フレーム
の各マクロブロックと自身が保持している参照画像フレ
ーム中の各比較対象マクロブロック(動き補償したマク
ロブロック)との差分の総和を、現在画像フレームの各
スライス毎に算出し、その結果を各マクロブロックの動
き量と共に制御部103に通知する。
The prediction circuit 108 currently has a buffer 152
, The image frame (reference image frame) immediately before the current image frame stored in the current image frame is held, and the motion estimation process of each macro block of the current image frame is performed using the reference image frame. Then, the sum total of the difference between each macroblock of the current image frame and each comparison target macroblock (motion-compensated macroblock) in the reference image frame held by itself is calculated for each slice of the current image frame. The control unit 103 notifies the control unit 103 of the result together with the motion amount of each macroblock.

【0028】これを受けて、制御部103は、前記差分
の総和が所定の閾値(これは、要求される画質や圧縮効
率等に応じて定められる)以下の現在画像フレームのス
ライスに対してはフレーム間予測符号化を適用し、前記
所定の閾値より大きい現在画像フレームのスライスに対
しては、フレーム内予測符号化を適用するように、予測
回路108に通知する。
In response to this, the control unit 103 determines that the slice of the current image frame whose sum of the differences is equal to or less than a predetermined threshold value (which is determined according to the required image quality, compression efficiency, etc.) The prediction circuit 108 is instructed to apply the inter-frame predictive coding and to apply the intra-frame predictive coding to a slice of the current image frame larger than the predetermined threshold.

【0029】これを受けて、予測回路108は、フレー
ム間予測符号化を適用すべき旨の通知を受けた現在画像
フレームのスライスについては、バッファ152から現
在画像フレームの当該スライスをマクロブロック単位で
読み出すと共に、バッファ152から読み出したマクロ
ブロックに対する比較対象マクロブロック(動き補償し
たマクロブロック)を自身が保持している参照画像フレ
ームから読み出す。両者は、減算器151に入力され、
その差分を表す信号が変換器104に入力される。一
方、フレーム内予測符号化を適用すべき旨の通知を受け
た現在画像フレームのスライスについては、バッファ1
52から現在画像フレームの当該スライスをマクロブロ
ック単位で読み出す。この際、自身が保持している参照
画像フレームから比較対象マクロブロックを読み出すこ
とはしない。したがって、バッファ152から読み出さ
れたマクロブロックを表す信号が、減算器151を介し
てそのまま変換器104に入力される。
In response to this, the prediction circuit 108 divides the slice of the current image frame from the buffer 152 into macroblock units for the slice of the current image frame notified of the application of the inter-frame prediction coding. At the same time as reading, the macro block to be compared with the macro block read from the buffer 152 (the motion-compensated macro block) is read from the reference image frame held therein. Both are input to the subtractor 151,
A signal representing the difference is input to converter 104. On the other hand, for the slice of the current image frame that has been notified that intra-frame prediction coding should be applied, the buffer 1
From 52, the relevant slice of the current image frame is read in macroblock units. At this time, the macro block to be compared is not read from the reference image frame held by itself. Therefore, a signal representing a macroblock read from the buffer 152 is directly input to the converter 104 via the subtractor 151.

【0030】上記のようにして減算器151から出力さ
れた画像信号は、変換器104で離散コサイン変換(D
CT)され、量子化器105にて量子化された後、可変
長符号化器109において、イントラ/ノンイントラマ
クロブロックの種別や動き量等を含む管理情報と共に符
号化される。この符号化画像信号は、TS送信生成回路
110に入力されてTSパケットに格納され、図示を省
略した部位から入力する他のメディア(音声やデータ
等)と多重化される。多重化されたTSパケットは、誤
り訂正回路111により誤り訂正符号が付加された後、
伝送路インタフェース112から出力され、受信側の画
像復号化装置に伝送される。
The image signal output from the subtractor 151 as described above is subjected to a discrete cosine transform (D
CT) and quantized by the quantizer 105, and then encoded by the variable-length encoder 109 together with management information including the type and the amount of motion of the intra / non-intra macroblock. This coded image signal is input to the TS transmission generation circuit 110, stored in a TS packet, and multiplexed with other media (such as voice and data) input from a portion not shown. After the multiplexed TS packet is added with an error correction code by the error correction circuit 111,
The data is output from the transmission path interface 112 and transmitted to the image decoding device on the receiving side.

【0031】また、量子化器105にて量子化された信
号は、逆量子化器106にて逆量子化され、その後、逆
変換器107により逆離散コサイン変換される。これに
より、減算器151から出力された信号(ノンイントラ
マクロブロックに対しては当該マクロブロックと比較対
象マクロブロックとの差分信号、イントラマクロブロッ
クに対しては当該マクロブロックを表す信号)が復元さ
れる。予測回路108は、復元された信号がノンイント
ラマクロブロックに対するものである場合、自身が保持
している参照画像フレームからその比較対象マクロブロ
ックを読出し、加算器153に出力する。これにより、
マクロブロックを表す信号を復元する。そして、予測回
路108は、このようにして復元されたマクロブロック
を表す信号を蓄積して画像フレームを復元する。そし
て、当該画像フレームを新たな参照画像フレームとして
保持する。
The signal quantized by the quantizer 105 is inversely quantized by the inverse quantizer 106, and then subjected to inverse discrete cosine transform by the inverse transformer 107. As a result, the signal output from the subtractor 151 (the difference signal between the macroblock and the comparison target macroblock for a non-intra macroblock, and the signal representing the macroblock for an intra macroblock) is restored. You. If the restored signal is for a non-intra macroblock, the prediction circuit 108 reads the comparison target macroblock from the reference image frame held by itself and outputs the read macroblock to the adder 153. This allows
Restore the signal representing the macroblock. Then, the prediction circuit 108 restores the image frame by storing the signal representing the macroblock restored in this way. Then, the image frame is held as a new reference image frame.

【0032】以上の動作は、MPEG2方式が適用され
た通常の画像符号化装置の動作と基本的に同様である。
以上に加えて、本実施形態では、差分検出回路2を新た
に設け、現在画像フレーム中のあるスライスにフレーム
内予測符号化が適用される場合、この差分検出回路2
に、当該スライスと前記現在画像フレームの1つ前の画
像フレーム中の当該スライスと同じ位置にあるスライス
との差分を求めさせ、制御部103に、前記現在画像フ
レームの次の画像フレーム中の当該スライスと同じ位置
にあるスライスに対し、この差分に応じて強制的にフレ
ーム内予測符号化を適用するように決定させている。
The above operation is basically the same as the operation of a normal image coding apparatus to which the MPEG2 system is applied.
In addition to the above, in the present embodiment, the difference detection circuit 2 is newly provided, and when intra-frame prediction coding is applied to a certain slice in the current image frame, the difference detection circuit 2
Causes the control unit 103 to calculate the difference between the current slice and the slice at the same position as the current slice in the image frame immediately before the current image frame. The intra-frame predictive coding is forcibly determined according to the difference for the slice at the same position as the slice.

【0033】すなわち、差分検出回路2は、加算器15
3から出力されたマクロブロックを表す信号を蓄積して
画像フレームを復元し、これを新たな参照画像フレーム
として保持する。また、差分検出回路2は、制御部10
3が予測回路108に通知した、現在画像フレームの各
スライスに適用する予測符号化の種別を監視する。そし
て、現在画像フレーム中に、フレーム内予測符号化が適
用されるスライスがある場合は、バッファ152から現
在画像データの当該スライスを読出し、これと自身が保
持している参照画像フレーム中の同じ位置にあるスライ
スとの差分を求め、これを制御部103に通知する。な
お、差分を通知した場合は、少なくとも、現在画像フレ
ームの次の画像フレームに対しては上記の監視を停止す
るとよい。このようにすると、後述する制御部103で
の処理において、同じ位置のスライスが、3枚以上の画
像フレームに亘って、連続してフレーム内予測符号化を
適用するような事態が多発するのを防げる。
That is, the difference detection circuit 2 includes the adder 15
Then, a signal representing the macroblock output from 3 is accumulated to restore the image frame, and this is held as a new reference image frame. Further, the difference detection circuit 2 includes a control unit 10
3 notifies the prediction circuit 108 of the type of prediction coding applied to each slice of the current image frame. If there is a slice to which intra-frame predictive coding is applied in the current image frame, the slice of the current image data is read from the buffer 152, and the slice is read at the same position in the reference image frame held by itself. Is obtained, and the difference is notified to the control unit 103. When the difference is notified, the above-mentioned monitoring may be stopped at least for the image frame next to the current image frame. In this way, in the processing by the control unit 103 described later, a situation in which slices at the same position frequently apply intra-frame predictive coding continuously over three or more image frames is avoided. Can be prevented.

【0034】制御部103は、差分検出回路2から通知
を受けると、当該通知に示されたあるスライスについて
の差分が所定の閾値(これは、後述する画像復号化装置
でのデータ誤りによる影響の伝播を考慮して決定され
る)より大きいならば、現在画像フレームの次の画像フ
レーム中の当該スライスと同じ位置にあるスライスに対
して、当該次の画像フレームが現在画像フレームとして
処理されるときに予測回路108から通知される差分の
如何にかかわらず、当該予測回路108に、強制的にフ
レーム内予測符号化を適用するように通知する。
Upon receiving the notification from the difference detection circuit 2, the control unit 103 sets the difference for a certain slice indicated in the notification to a predetermined threshold value (this is the influence of the data error in the image decoding device described later). Greater than the current image frame), if the next image frame is processed as the current image frame for a slice at the same position as that slice in the next image frame of the current image frame Irrespective of the difference notified from the prediction circuit 108, the prediction circuit 108 is forcibly notified to apply the intra-frame prediction coding.

【0035】以上の動作により、本実施形態の画像符号
化装置では、フレーム内予測符号化が適用された画像フ
レーム(注目フレーム)のあるスライス(注目スライ
ス)に対し、前記注目スライスと、前記注目フレームよ
り1つ前の画像フレーム中の前記注目スライスと同じ位
置にあるスライスとの差分が大きい場合、必ず、前記注
目フレームの次の画像フレーム中の、前記注目スライス
と同じ位置にあるスライスに対しても、フレーム内予測
符号化が適用されることになる。
With the above operation, in the image coding apparatus of the present embodiment, the slice of interest (slice of interest) and the slice of interest of the image frame (frame of interest) to which intra-frame predictive coding has been applied. If the difference between the slice of interest and the slice at the same position in the image frame immediately before the frame is large, the slice at the same position as the slice of interest in the next image frame of the frame of interest must be used. Even so, intra-frame prediction coding will be applied.

【0036】次に、本実施形態が適用される画像復号化
装置について説明する。
Next, an image decoding apparatus to which the present embodiment is applied will be described.

【0037】図2に、本実施形態が適用された画像復号
化装置の構成を示す。
FIG. 2 shows a configuration of an image decoding apparatus to which the present embodiment is applied.

【0038】この図において、伝送路インターフェース
112から受信したMPEG2 TSパケットは、誤り
訂正回路113により誤り訂正処理が施される。TS受
信解読回路114は、誤り訂正回路113から出力され
たMPEG2 TSパケットを、符号化画像信号を格納
したTSパケットと他のメディア(音声やデータ等)の
データとに分離する。他のメディアのデータは、図示を
省略した部位へ出力される。一方、TSパケットは、T
S受信解読回路114にて、当該パケットのヘッダ情報
等が解析され、そこから符号化画像信号が取り出された
後、可変長復号化器115にて管理情報と画像信号に復
号化される。管理情報は、予測回路118に通知され、
画像信号は、逆量子化器116で逆量子化された後、逆
変換器117で逆離散コサイン変換される。これによ
り、画像信号がイントラマクロブロックについてのもの
である場合は、そのマクロブロックを表す信号が復元さ
れることになる。また、ノンイントラマクロブロックに
ついてのものである場合は、そのマクロブロックとその
マクロブロックの比較対象マクロブロック(動き補償さ
れたマクロブロック)との差分を表す信号が復元される
ことになる。
In the figure, an MPEG2 TS packet received from the transmission line interface 112 is subjected to error correction processing by an error correction circuit 113. The TS reception decoding circuit 114 separates the MPEG2 TS packet output from the error correction circuit 113 into a TS packet storing an encoded image signal and data of another medium (audio, data, etc.). Data of other media is output to a portion not shown. On the other hand, the TS packet
The S-reception decoding circuit 114 analyzes header information and the like of the packet, extracts an encoded image signal therefrom, and decodes the encoded image signal into management information and an image signal by the variable-length decoder 115. The management information is notified to the prediction circuit 118,
The image signal is inversely quantized by the inverse quantizer 116, and then inverse discrete cosine transformed by the inverse transformer 117. As a result, when the image signal is for an intra macroblock, a signal representing the macroblock is restored. In the case of a non-intra macro block, a signal representing a difference between the macro block and a macro block to be compared with the macro block (motion-compensated macro block) is restored.

【0039】予測回路118は、可変長復号化器115
から通知された管理情報を参照する。そして、逆変換器
117から出力される信号がノンイントラマクロブロッ
クについてのものである場合は、自身が保持している参
照画像フレームから比較対象マクロブロック(動き補償
されたマクロブロック)を読出して出力する。一方、イ
ントラマクロブロックについてのものである場合は、比
較対象マクロブロックの出力を行わない。その結果、加
算器161からは、そのマクロブロックを表す信号が出
力されることになる。
The prediction circuit 118 includes a variable length decoder 115
Refer to the management information notified from. If the signal output from the inverse converter 117 is for a non-intra macro block, the macro block to be compared (the macro block whose motion is compensated) is read out from the reference image frame held by itself and output. I do. On the other hand, in the case of an intra macroblock, the comparison target macroblock is not output. As a result, a signal representing the macroblock is output from the adder 161.

【0040】上記のようにして加算器161から出力さ
れた信号は、後述するセレクタ162を介して、D/A
変換器119に入力されアナログ化された後、画像出力
端子120から出力される。また、セレクタ162から
出力された信号は、予測回路118に蓄積される。予測
回路118は、このようにして蓄積したマクロブロック
を表す信号を元に画像フレームを復元し、これを新たな
参照画像フレームとして保持する。
The signal output from the adder 161 as described above is supplied to a D / A
After being input to the converter 119 and converted into an analog signal, it is output from the image output terminal 120. The signal output from the selector 162 is stored in the prediction circuit 118. The prediction circuit 118 restores an image frame based on the signal representing the macroblock thus accumulated, and holds this as a new reference image frame.

【0041】以上の動作は、MPEG2方式が適用され
た通常の画像復号化装置の動作と基本的に同様である。
以上に加えて、本実施形態では、セレクタ162を新た
に設け、予測回路118に、誤り訂正回路113での誤
り訂正結果に基づいて、セレクタ162を以下のように
制御させている。
The above operation is basically the same as the operation of a normal image decoding apparatus to which the MPEG2 system is applied.
In addition to the above, in the present embodiment, the selector 162 is newly provided, and the prediction circuit 118 controls the selector 162 as follows based on the error correction result of the error correction circuit 113.

【0042】すなわち、誤り訂正回路113は、MPE
G2 TSパケットに対する誤り訂正に失敗した場合、
その旨を予測回路118に通知する。これを受けて、予
測回路118は、セレクタ162を制御し、入力を加算
器161側から予測回路118側に切替える。この際、
予測回路118は、誤り訂正できなかったTSパケット
に格納されている符号化画像信号について、可変長復号
化器115から受け取った管理情報がノンイントラマク
ロブロックを示している場合、上述したように、自身が
保持している参照画像フレームから、その管理情報に含
まれる動き量により定まる比較対象マクロブロックを読
出して出力する。
That is, the error correction circuit 113
If error correction for the G2 TS packet fails,
This is notified to the prediction circuit 118. In response to this, the prediction circuit 118 controls the selector 162 to switch the input from the adder 161 to the prediction circuit 118. On this occasion,
When the management information received from the variable-length decoder 115 indicates a non-intra macroblock for the coded image signal stored in the TS packet for which error correction has not been performed, as described above, It reads and outputs a comparison target macroblock determined by the amount of motion included in the management information from the reference image frame held by itself.

【0043】一方、可変長復号化器115から受け取っ
た管理情報がイントラマクロブロックを示している場
合、今までの処理結果(例えばスライス先頭からのマク
ロブロックの処理数)から、誤り訂正できなかったTS
パケットに格納されている符号化画像信号より得られる
マクロブロックのフレーム中における位置を特定し、当
該位置にあるマクロブロックを自身が保持している参照
画像フレームから読出して出力する。
On the other hand, if the management information received from the variable length decoder 115 indicates an intra macroblock, error correction could not be performed based on the processing results up to now (for example, the number of processed macroblocks from the beginning of the slice). TS
The position of the macroblock in the frame obtained from the coded image signal stored in the packet is specified, and the macroblock at the position is read from the reference image frame held by itself and output.

【0044】以上の動作により、本実施形態の画像復号
化装置では、誤り訂正できなかったマクロブロックにつ
いて、それがノンイントラマクロブロックならば、当該
マクロブロックに代えて、当該マクロブロックを含む画
像フレームより1つ前の画像フレーム(参照画像フレー
ム)中にある、動き補償されたマクロブロックを表す信
号がセレクタ162から出力され、イントラマクロブロ
ックならば、当該マクロブロックに代えて、当該マクロ
ブロックを含む画像フレームより1つ前の画像フレーム
中の同じ位置にあるマクロブロックを表す信号がセレク
タ162から出力されることになる。また、予測回路1
18には、セレクタ162から出力された信号を蓄積す
ることで得られる画像フレームが参照画像フレームとし
て保持されるので、誤り訂正できなかったマクロブロッ
クについては、当該マクロブロックに代えて、当該マク
ロブロックを含む画像フレームより1つ前の画像フレー
ム中の同じ位置にあるマクロブロックあるいは動き補償
されたマクロブロックが、参照画像フレームとして保持
されることになる。
According to the above operation, in the image decoding apparatus of the present embodiment, if a macroblock for which error correction was not possible is a non-intra macroblock, the image frame including the macroblock is replaced with the macroblock. A signal representing a motion-compensated macroblock in the immediately preceding image frame (reference image frame) is output from the selector 162. If the signal is an intra macroblock, the signal includes the macroblock instead of the macroblock. A signal representing a macroblock located at the same position in the image frame immediately before the image frame is output from the selector 162. Also, the prediction circuit 1
18 stores the image frame obtained by accumulating the signal output from the selector 162 as a reference image frame. For a macroblock for which error correction has failed, the macroblock is replaced with the macroblock. The macroblock located at the same position or the motion-compensated macroblock in the image frame immediately before the image frame including is held as the reference image frame.

【0045】以上、本発明の1実施形態について説明し
た。
Hereinabove, one embodiment of the present invention has been described.

【0046】本実施形態では、符号化側において、現在
画像フレーム中に、フレーム内予測符号化が適用される
スライスがあり、且つ、当該スライスと、現在画像フレ
ームより1つ前の画像フレーム(参照画像フレーム)中
の前記スライスと同じ位置にあるスライスとの差分が所
定の閾値より大きい場合、現在画像フレームの次の画像
フレーム中の前記スライスと同じ位置にあるスライスに
対して、フレーム内予測符号化が強制的に適用される。
つまり、連続する2つのフレームの同じ位置にあるスラ
イスに対して、フレーム内予測符号化が適用されること
になる。
In the present embodiment, on the encoding side, there is a slice to which intra-frame predictive coding is applied in the current image frame, and the slice and the image frame immediately before the current image frame (see the reference). If the difference between the slice at the same position as the slice in the image frame and the slice at the same position is larger than a predetermined threshold, the intra-frame prediction code Is enforced.
That is, intra-frame prediction coding is applied to slices at the same position in two consecutive frames.

【0047】また、本実施形態では、復号化側におい
て、連続する2つのフレームの同じ位置にある、フレー
ム内予測符号化が適用された2つのスライスにおいて、
後方のスライスに含まれるイントラマクロブロックのデ
ータ誤りを訂正できなかった場合、本来ならばそのイン
トラマクロブロックを参照して復号化される予定のノン
イントラマクロブロックは、前方のスライス中のそのイ
ントラマクロブロックと同じ位置にあるイントラマクロ
ブロックを参照して復号化される。したがって、このよ
うな場合に、データ誤りが生じたイントラマクロブロッ
クを含む画像フレーム以降の画像フレームに伝播される
データ誤りの影響を低減できる。なお、通常、連続する
フレームは内容が近似していることが期待できるので、
ノンイントラブロックの参照対象の変更による影響は、
データ誤りにより生じる影響より小さいことが期待でき
る。
In the present embodiment, on the decoding side, two slices at the same position of two consecutive frames to which intra-frame predictive coding has been applied are:
If the data error of the intra macro block included in the succeeding slice cannot be corrected, the non-intra macro block which is to be decoded by referring to the intra macro block is normally the intra macro block in the preceding slice. Decoding is performed with reference to an intra macroblock located at the same position as the block. Therefore, in such a case, it is possible to reduce the influence of a data error propagated to an image frame after an image frame including an intra macroblock in which a data error has occurred. In addition, usually, since it can be expected that the contents of successive frames are similar,
The effect of changing the reference target of non-intra blocks is
It can be expected to be smaller than the effect caused by data errors.

【0048】なお、本実施形態では、復号化側におい
て、あるマクロブロックにデータ誤りが生じた場合、当
該マクロブロックを含む画像フレームの1つ前のフレー
ムのマクロブロックを、前記データ誤りが生じたマクロ
ブロックの代わりに用いている。したがって、上述のよ
うに、連続する2つのフレームの同じ位置にあるスライ
スに対してフレーム内予測符号化を適用しなくても、あ
るイントラマクロブロックのデータ誤りを訂正できなか
った場合に、そのイントラマクロブロックに代えて、そ
のイントラマクロブロックを含む画像フレームの1つ前
の画像フレーム中の、当該イントラマクロブロックと同
じ位置にあるマクロブロックを利用することで、データ
誤りが生じたイントラマクロブロックを含む画像フレー
ム以降の画像フレームに伝播されるデータ誤りの影響を
低減することが可能である。
In this embodiment, when a data error occurs in a certain macroblock on the decoding side, the data error occurs in the macroblock of the frame immediately before the image frame including the macroblock. Used instead of macroblocks. Therefore, as described above, when a data error of a certain intra macro block cannot be corrected without applying intra-frame prediction coding to slices at the same position of two consecutive frames, By using a macroblock located at the same position as the intra macroblock in the image frame immediately before the image frame including the intra macroblock instead of the macroblock, the intra macroblock in which the data error has occurred can be used. It is possible to reduce the effect of a data error propagated to an image frame after the included image frame.

【0049】しかしながら、この場合、データ誤りが生
じたイントラマクロブロックを含む画像フレームと当該
画像フレームの1つ前のフレームとの差分が大きいと、
その差分に応じた誤差が以降のフレームに伝播してしま
う。そこで、本実施形態では、上述したように、フレー
ム内予測符号化が適用されるスライスと、当該スライス
を含む画像フレームより1つ前の画像フレーム中の前記
スライスと同じ位置にあるスライスとの差分が所定の閾
値より大きい場合、前記スライスを含む画像フレームの
次の画像フレーム中の前記スライスと同じ位置にあるス
ライスに対して、フレーム内予測符号化を強制的に適用
している。このようにすることで、連続する2つのフレ
ームの同じ位置にある、フレーム内予測符号化が適用さ
れた2つのスライスのうち、前方のスライス(当該スラ
イスを含むフレームより1つ前のフレームの同じ位置に
あるスライスとの差分が大きいスライス)については、
原則として、後方のスライスにデータ誤りが生じない限
り、フレーム間予測符号化おいて参照されないようにし
ている。このようにするこで、前方のスライスにデータ
誤りが生じた場合の誤差の影響をより効果的に低減でき
る。
However, in this case, if the difference between the image frame including the intra macroblock in which the data error has occurred and the frame immediately before the image frame is large,
An error according to the difference propagates to subsequent frames. Therefore, in the present embodiment, as described above, the difference between the slice to which intra-frame prediction coding is applied and the slice located at the same position as the slice in the image frame immediately before the image frame including the slice is described. Is larger than a predetermined threshold, intra-frame predictive coding is forcibly applied to a slice at the same position as the slice in an image frame next to the image frame including the slice. By doing so, of the two slices at the same position of two consecutive frames to which intra-frame predictive coding has been applied, the preceding slice (the same as the previous frame from the frame including the slice) Slice with a large difference from the slice at the position)
As a general rule, reference is not made in inter-frame predictive coding unless a data error occurs in a subsequent slice. By doing so, it is possible to more effectively reduce the influence of an error when a data error occurs in the preceding slice.

【0050】本発明は、上記の実施形態に限定されるも
のではなく、その要旨の範囲内で数々の変形が可能であ
る。
The present invention is not limited to the above embodiment, and various modifications are possible within the scope of the invention.

【0051】例えば、上記の実施形態では、符号化側に
おいて、フレーム内予測符号化を適用するか、それとも
フレーム間予測符号化を適用するかの決定を、スライス
単位で行う場合を例にとり説明したが、当然のことなが
ら、本発明は、上記の決定を、画像フレームを単位とし
て行う場合やマクロブロックを単位として行う場合等、
任意の領域を単位で行うことができる。
For example, the above embodiment has been described by taking as an example a case where the coding side determines whether to apply intra-frame prediction coding or inter-frame prediction coding on a slice basis. However, it is needless to say that the present invention performs the above-described determination in a case where the image
Any area can be set as a unit.

【0052】また、上記の実施形態では、復号化側にお
いて、マクロブロックにデータ誤りが検出された場合に
おけるセレクタ162の切換処理を、マクロブロック単
位で行う場合を例にとり説明したが、当然のことなが
ら、本発明は、上記の切換処理を、画像フレームを単位
として行う場合やスライスを単位として行う場合等、任
意の領域を単位として行うことができる。例えば、上記
の切換処理をスライス単位で行う場合、図2において、
逆変換器117と加算器161との間に、1スライス分
の画像信号を蓄積できるバッファを設ける。そして、予
測回路118は、当該バッファに蓄積された1スライス
分の画像信号に対し、誤り訂正回路113からそのうち
のあるマクロブロックについてのデータ誤りが通知され
た場合、前記バッファの内容をクリアすると共に、自身
が保持している参照画像データから前記バッファに蓄積
されていたスライスと同じ位置のスライスを読出し、セ
レクタ162を介して、D/A変換器119に出力させ
ればよい。
In the above-described embodiment, the switching process of the selector 162 when the decoding side detects a data error in a macroblock is performed in units of macroblocks. However, the present invention can perform the above-described switching process in units of arbitrary regions, such as in the case of performing the process in units of image frames or in the case of performing units of slices. For example, when the above switching process is performed in slice units, in FIG.
A buffer that can store one slice of image signal is provided between the inverse transformer 117 and the adder 161. When the error correction circuit 113 notifies the image signal of one slice stored in the buffer of a data error for a certain macroblock, the prediction circuit 118 clears the contents of the buffer and The slice at the same position as the slice stored in the buffer may be read out from the reference image data held by itself, and output to the D / A converter 119 via the selector 162.

【0053】また、上記の実施形態では、MPEG2方
式に従い、IピクチャおよびPピクチャを用いて動画像
を符号化・復号化する場合を例にとり説明したが、本発
明は、フレーム内予測符号化とフレーム間予測符号化と
を併用して動画像を符号化・復号化する場合に広く適用
できる。
Further, in the above embodiment, a case has been described as an example in which a moving picture is coded / decoded using I pictures and P pictures in accordance with the MPEG2 system. The present invention can be widely applied to a case where a moving image is encoded / decoded in combination with inter-frame prediction encoding.

【0054】例えば、MPEG2方式において、従来の
技術の欄で説明したような、所定のルーチンに従いIピ
クチャとPピクチャとBピクチャを配置する場合にも、
適用可能である。この場合、符号化側において、MPE
G2方式に従った符号化処理に先だって以下の処理を行
い、各ピクチャの配置を決定する。
For example, in the MPEG2 system, when an I picture, a P picture and a B picture are arranged according to a predetermined routine as described in the section of the prior art,
Applicable. In this case, on the encoding side, the MPE
Prior to the encoding process according to the G2 system, the following process is performed to determine the arrangement of each picture.

【0055】すなわち、順次入力されるフレームのう
ち、前記所定のルーチンに従った場合にIピクチャとさ
れるフレームについて、表示順序上、そのフレームの直
前に位置するフレームを別途用意したメモリ等に格納し
ておき、両者の差分を調べる。そして、両者の差分が所
定の閾値より大きければ、表示順序上、前記Iピクチャ
とされるフレームの直後のフレームもIピクチャとし、
以降は、再度、前記所定のルーチンに従ってIピクチャ
とPピクチャとBピクチャを配置するようにすればよ
い。例えば、前記所定のルーチンに従った場合に、動画
像を構成する各画像フレームが、I1→B11→P11→B12→P
12→B13→I2→B21→…の順序で各ピクチャに割り当てら
れる場合を想定する。ここで、Iピクチャ(I2)に割り
当てられる画像フレームとBピクチャ(B13)に割り当
てられる画像フレームとの差分が、所定の閾値より大き
い場合、本来ならばBピクチャ(B21)に割り当てられ
る画像フレームがIピクチャ(I2’)に割り当てられ、
その後は前記所定のルーチンに従って再び配置されるこ
とになる。この場合、動画像を構成する各画像フレーム
は、I1→B11→P11→B12→P12→B13→I2→I2’→B21’→
…の順序で各ピクチャに割り当てられることになる。
That is, of the sequentially input frames, for a frame that is determined to be an I picture when the predetermined routine is performed, the frame immediately preceding the frame in the display order is stored in a separately prepared memory or the like. Check the difference between them. If the difference between the two is greater than a predetermined threshold, the frame immediately after the I-picture frame in the display order is also an I-picture,
Thereafter, the I picture, the P picture, and the B picture may be arranged again according to the predetermined routine. For example, when the predetermined routine is followed, each image frame constituting the moving image is represented by I1 → B1 1 → P1 1 → B1 2 → P
It is assumed to be assigned to each picture in 1 2 → B1 3 → I2 → B2 1 → ... order of. Here, if the difference between the image frame assigned to the I picture (I2) and the image frame assigned to the B picture (B1 3 ) is larger than a predetermined threshold, the image originally assigned to the B picture (B2 1 ) A frame is assigned to the I picture (I2 '),
After that, they are arranged again according to the predetermined routine. In this case, each image frame constituting the moving image is I1 → B1 1 → P1 1 → B1 2 → P1 2 → B1 3 → I2 → I2 ′ → B2 1 ′ →
Are assigned to each picture in the order of...

【0056】また、上記の本実施形態において示した画
像符号化装置や画像復号化装置は、ASICやFPGA
などの集積ロジックICによりハード的に実現されるも
のでもよい。あるいは、CPUと、メモリと、ハードデ
ィスク装置などの外部記憶装置と、CD-ROM等の記
憶媒体からデータを読み取る読取装置と、キーボード等
の入力装置と、ディスプレイ等の出力装置と、ネットワ
ーク等の通信媒体を介して他の装置と通信を行うための
通信装置と、これら装置間のデータ送受を司るインター
フェースとを備えた、一般的な構成を有する電子計算機
上に、ソフトウエア的に実現されるものでもよい。この
場合、本実施形態の画像符号化装置や画像復号化装置を
ソフトウエア的に実現するためのプログラムは、読取装
置を介してCD-ROM等の記憶媒体から、あるいは、
通信装置を介してネットワーク等の通信媒体から、外部
記憶装置にインストールされた後、そこからメモリ上に
ロードされてCPUに実行される。
Further, the image encoding device and the image decoding device shown in the above-described embodiment are ASICs or FPGAs.
A hardware realized by an integrated logic IC such as the above may be used. Alternatively, a CPU, a memory, an external storage device such as a hard disk device, a reading device that reads data from a storage medium such as a CD-ROM, an input device such as a keyboard, an output device such as a display, and a communication device such as a network. Software implemented on a computer having a general configuration, including a communication device for communicating with other devices via a medium, and an interface for transmitting and receiving data between these devices. May be. In this case, a program for realizing the image encoding device and the image decoding device of the present embodiment as software is provided from a storage medium such as a CD-ROM via a reading device, or
After being installed in an external storage device from a communication medium such as a network via a communication device, it is loaded onto a memory from there and executed by the CPU.

【0057】[0057]

【発明の効果】以上説明したように、本発明によれば、
リアルタイムに動画像を伝送したい場合や、送信側の送
信処理と受信側での再生処理とが非同期に動作するよう
な場合でも、伝送誤り等によるデータ誤りの伝播を低減
できる。
As described above, according to the present invention,
Even when it is desired to transmit a moving image in real time, or when the transmission process on the transmission side and the reproduction process on the reception side operate asynchronously, propagation of a data error due to a transmission error or the like can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の1実施形態が適用された画像符号化装
置の概略構成図である。
FIG. 1 is a schematic configuration diagram of an image encoding device to which an embodiment of the present invention has been applied.

【図2】本発明の1実施形態が適用された画像復号化装
置の概略構成図である。
FIG. 2 is a schematic configuration diagram of an image decoding device to which an embodiment of the present invention has been applied.

【符号の説明】[Explanation of symbols]

101…カメラ、 102…A/D変換器、 103…
制御部、 104…変換器、 105…量子化器、 1
06、116…逆量子化器、 107、117…逆変換
器、 108、118…予測回路、109…可変長符号
化器、110…TS送信生成回路、 111、113…
誤り訂正回路、 112…伝送路インタフェース、 1
14…TS受信解読回路、 115…可変長復号化器、
119…D/A変換器、120…画面出力端子、 1
51…減算器、 152…バッファ、 161…加算
器、 162…セレクタ
101: camera, 102: A / D converter, 103:
Control unit, 104: Transformer, 105: Quantizer, 1
06, 116: inverse quantizer, 107, 117: inverse transformer, 108, 118: prediction circuit, 109: variable length encoder, 110: TS transmission generation circuit, 111, 113 ...
Error correction circuit, 112 ... transmission line interface, 1
14: TS reception decoding circuit 115: Variable length decoder
119 ... D / A converter, 120 ... Screen output terminal, 1
51: subtractor, 152: buffer, 161: adder, 162: selector

───────────────────────────────────────────────────── フロントページの続き (72)発明者 荒木 祐二 神奈川県横浜市戸塚区戸塚町216番地 株 式会社日立製作所IPシステム事業部内 (72)発明者 高瀬 晋 神奈川県横浜市戸塚区戸塚町216番地 株 式会社日立製作所IPシステム事業部内 Fターム(参考) 5C059 MA00 MA04 MA05 MA23 ME01 NN01 NN26 NN28 NN31 PP04 PP05 RB02 RF01 RF05 RF14 SS20 TA25 TA76 TB06 TC02 TC11 TC31 TD05 TD06 TD12 UA34 5J064 AA01 BA01 BA09 BB03 BB08 BC16  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Yuji Araki 216 Totsuka-cho, Totsuka-ku, Yokohama-shi, Kanagawa Prefecture Within the IP Systems Division of Hitachi, Ltd. (72) Inventor Susumu Takase 216 Totsuka-cho, Totsuka-ku, Yokohama-shi, Kanagawa F-term in the IP Systems Division of Hitachi, Ltd. (Reference) 5C059 MA00 MA04 MA05 MA23 ME01 NN01 NN26 NN28 NN31 PP04 PP05 RB02 RF01 RF05 RF14 SS20 TA25 TA76 TB06 TC02 TC11 TC31 TD05 TD06 TD12 UA34 5J064 AA03

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】動画像を構成する複数フレーム各々に対
し、当該フレームの領域全体あるいは当該フレームを複
数に分割することで得られる各領域を単位領域として、
フレーム内予測符号化あるいはフレーム間予測符号化を
適用し、前記動画像を符号化する画像符号化装置であっ
て、 フレーム間予測符号化において参照される可能性のある
単位領域がフレーム内予測符号化により符号化される第
1のイントラ領域に設定されている場合、当該第1のイ
ントラ領域を含むフレームの次フレーム中の、前記第1
のイントラ領域と同位置にある単位領域を、フレーム間
予測符号化において参照される可能性のある、フレーム
内予測符号化により符号化される第2のイントラ領域に
設定する、イントラ領域設定手段を有することを特徴と
する画像符号化装置。
1. For each of a plurality of frames constituting a moving image, an entire region of the frame or each region obtained by dividing the frame into a plurality is defined as a unit region.
An image encoding apparatus that encodes the moving image by applying intra-frame predictive coding or inter-frame predictive coding, wherein a unit area that may be referred to in inter-frame predictive coding is an intra-frame predictive code. Is set in the first intra region encoded by the encoding, the first intra region in the frame next to the frame including the first intra region is set.
An intra-area setting unit that sets a unit area at the same position as the intra-area of the second intra-area encoded by the intra-frame predictive coding, which may be referred to in the inter-frame predictive coding. An image encoding device, comprising:
【請求項2】請求項1記載の画像符号化装置であって、 前記イントラ領域設定手段は、 前記第1のイントラ領域と、前記第1のイントラ領域を
含むフレームより1つ前のフレーム中の、前記第1のイ
ントラ領域と同位置にある単位領域との差分が、所定の
閾値より大きい場合、前記第1のイントラ領域を含むフ
レームの次フレーム中の、前記第1のイントラ領域と同
位置にある単位領域を、前記第2のイントラ領域を設定
することを特徴とする画像符号化装置。
2. The image encoding apparatus according to claim 1, wherein the intra-region setting means includes a first intra-region and a frame in a frame immediately before a frame including the first intra-region. If the difference between the first intra region and the unit region located at the same position is larger than a predetermined threshold, the difference between the first intra region and the unit region located at the same position as the first intra region in a frame subsequent to the frame including the first intra region The image coding apparatus according to claim 1, wherein the second intra area is set for a unit area of the image encoding apparatus.
【請求項3】請求項1または2記載の画像符号化装置に
より符号化された、複数フレームで構成される動画像を
復号化する画像復号化装置であって、 前記単位領域毎にデータ誤りを検出する誤り検出手段
と、 前記誤り検出手段により前記第2のイントラ領域に設定
された単位領域にデータ誤りが検出された場合、フレー
ム間予測符号化において当該第2のイントラ領域を参照
する予定の単位領域に、当該第2のイントラ領域を含む
フレームより1つ前のフレーム中に設定されている前記
第1のイントラ領域を、参照するように変更する、参照
領域変更手段と、を有することを特徴とする画像復号化
装置。
3. An image decoding device for decoding a moving image composed of a plurality of frames, which is encoded by the image encoding device according to claim 1 or 2, wherein a data error is detected for each unit area. Error detecting means for detecting, when a data error is detected in the unit area set in the second intra area by the error detecting means, the second intra area is to be referred to in inter-frame predictive coding. Reference area changing means for changing the unit area to refer to the first intra area set in the frame immediately before the frame including the second intra area. An image decoding device characterized by the following.
【請求項4】請求項3記載の画像復号化装置であって、 前記誤り検出手段により前記第1あるいは第2のイント
ラ領域に設定された単位領域にデータ誤りが検出された
場合、当該領域の復号結果として、当該領域を含むフレ
ームより1つ前のフレーム中の、当該領域と同位置にあ
る単位領域の復号結果を代用する置換手段を、さらに有
することを特徴とする画像復号化装置。
4. The image decoding apparatus according to claim 3, wherein when the error detection means detects a data error in a unit area set in the first or second intra area, the error of the area is determined. An image decoding apparatus, further comprising: a replacing unit that substitutes, as a decoding result, a decoding result of a unit area located at the same position as the area in a frame immediately before a frame including the area.
【請求項5】動画像を構成する複数フレーム各々に対
し、当該フレームの領域全体あるいは当該フレームを複
数に分割することで得られる各領域を単位領域として、
フレーム内予測符号化あるいはフレーム間予測符号化を
適用し、前記動画像を符号化するための符号化プログラ
ムが記憶された記憶媒体であって、 前記符号化プログラムは、電子計算機に読み取られて実
行されることで、 フレーム間予測符号化において参照される可能性のある
単位領域がフレーム内予測符号化により符号化される第
1のイントラ領域に設定されている場合、当該第1のイ
ントラ領域を含むフレームの次フレーム中の、前記第1
のイントラ領域と同位置にある単位領域を、フレーム間
予測符号化において参照される可能性のある、フレーム
内予測符号化により符号化される第2のイントラ領域に
設定する、イントラ領域設定手段を、当該電子計算機上
に構築することを特徴とする記憶媒体。
5. For each of a plurality of frames constituting a moving image, an entire region of the frame or each region obtained by dividing the frame into a plurality is defined as a unit region.
A storage medium storing an encoding program for applying the intra-frame prediction encoding or the inter-frame prediction encoding and encoding the moving image, wherein the encoding program is read by an electronic computer and executed. By doing so, if a unit area that may be referred to in inter-frame predictive coding is set as a first intra area to be coded by intra-frame predictive coding, the first intra area is The first frame in a frame next to the containing frame.
An intra-area setting unit that sets a unit area at the same position as the intra-area of the second intra-area encoded by the intra-frame predictive coding, which may be referred to in the inter-frame predictive coding. And a storage medium constructed on the computer.
【請求項6】請求項5記載の記憶媒体に記憶された符号
化プログラムにより符号化された、複数フレームで構成
される動画像を復号化するための復号化プログラムが記
憶された記憶媒体であって、 前記復号化プログラムは、電子計算機に読み取られて実
行されることで、 前記単位領域毎にデータ誤りを検出する誤り検出手段
と、 前記誤り検出手段により前記第2のイントラ領域に設定
された単位領域にデータ誤りが検出された場合、フレー
ム間予測符号化において当該第2のイントラ領域を参照
する予定の単位領域に、当該第2のイントラ領域を含む
フレームより1つ前のフレーム中に設定されている前記
第1のイントラ領域を、参照するように変更する、参照
領域変更手段とを、当該電子計算機上に構築することを
特徴とする記憶媒体。
6. A storage medium storing a decoding program for decoding a moving image composed of a plurality of frames, encoded by the encoding program stored in the storage medium according to claim 5. The decoding program is read and executed by an electronic computer, and configured so that an error detection unit that detects a data error for each unit area and the second intra area are set by the error detection unit. When a data error is detected in the unit area, the unit area scheduled to refer to the second intra area in the inter-frame prediction coding is set in a frame one frame before the frame including the second intra area. And a reference area change unit configured to change the first intra area so that the first intra area is referred to, on the computer.
JP2000209913A 2000-07-11 2000-07-11 Picture coding system, picture decoding system, and storage media Pending JP2002027483A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000209913A JP2002027483A (en) 2000-07-11 2000-07-11 Picture coding system, picture decoding system, and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000209913A JP2002027483A (en) 2000-07-11 2000-07-11 Picture coding system, picture decoding system, and storage media

Publications (1)

Publication Number Publication Date
JP2002027483A true JP2002027483A (en) 2002-01-25

Family

ID=18706258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000209913A Pending JP2002027483A (en) 2000-07-11 2000-07-11 Picture coding system, picture decoding system, and storage media

Country Status (1)

Country Link
JP (1) JP2002027483A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009522650A (en) * 2005-12-30 2009-06-11 インテル コーポレイション Hardware motion compensation in video recording
JP2009296104A (en) * 2008-06-03 2009-12-17 Hitachi Kokusai Electric Inc Image encoder
JP2011507348A (en) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド System and method for compressing video based on detected intra-frame motion
US8881215B2 (en) 2002-12-10 2014-11-04 Ol2, Inc. System and method for compressing video based on detected data rate of a communication channel
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9084936B2 (en) 2002-12-10 2015-07-21 Sony Computer Entertainment America Llc System and method for protecting certain types of multimedia data transmitted over a communication channel
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155962B2 (en) 2002-12-10 2015-10-13 Sony Computer Entertainment America Llc System and method for compressing video by allocating bits to image tiles based on detected intraframe motion or scene complexity
US8881215B2 (en) 2002-12-10 2014-11-04 Ol2, Inc. System and method for compressing video based on detected data rate of a communication channel
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9084936B2 (en) 2002-12-10 2015-07-21 Sony Computer Entertainment America Llc System and method for protecting certain types of multimedia data transmitted over a communication channel
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9272209B2 (en) 2002-12-10 2016-03-01 Sony Computer Entertainment America Llc Streaming interactive video client apparatus
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8249140B2 (en) 2005-12-30 2012-08-21 Intel Corporation Direct macroblock mode techniques for high performance hardware motion compensation
JP2009522650A (en) * 2005-12-30 2009-06-11 インテル コーポレイション Hardware motion compensation in video recording
JP2011507348A (en) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド System and method for compressing video based on detected intra-frame motion
JP2009296104A (en) * 2008-06-03 2009-12-17 Hitachi Kokusai Electric Inc Image encoder

Similar Documents

Publication Publication Date Title
JP3923898B2 (en) Image coding method and apparatus
US5737022A (en) Motion picture error concealment using simplified motion compensation
JP3157101B2 (en) Image encoding method and image encoding device
US5847763A (en) Moving picture transmission system and moving picture transmission apparatus
US6744924B1 (en) Error concealment in a video signal
US20020054641A1 (en) Video coding
JP3840020B2 (en) Video encoding device
JP3519441B2 (en) Video transmission equipment
JP2007507128A (en) Video picture encoding and decoding with delayed reference picture refresh
JP2002027483A (en) Picture coding system, picture decoding system, and storage media
JP3245496B2 (en) Image encoding method, image encoding circuit, image encoding device, and playback device
KR20010108077A (en) Method and device for robust decoding of header information in macroblock-based compressed video data
JPH08251597A (en) Moving image encoding and decoding device
JP2002077922A (en) Picture control system and picture decoder
JP2887177B2 (en) Method and apparatus for decoding moving image compression code
JPH0775110A (en) Encoding method for image signal
JP3756901B2 (en) Moving picture decoding apparatus and moving picture decoding method
JP3756902B2 (en) Moving picture decoding apparatus and moving picture decoding method
JP2003274413A (en) Error handling apparatus and method
JP2002354488A (en) Moving picture transmission device
JPH07107458A (en) Picture encoding device
JP2007151163A (en) Image decoding method and apparatus
JP2004328647A (en) Decoding method and decoding apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051101