JP2002290978A - Moving image error recovering method - Google Patents

Moving image error recovering method

Info

Publication number
JP2002290978A
JP2002290978A JP2001086623A JP2001086623A JP2002290978A JP 2002290978 A JP2002290978 A JP 2002290978A JP 2001086623 A JP2001086623 A JP 2001086623A JP 2001086623 A JP2001086623 A JP 2001086623A JP 2002290978 A JP2002290978 A JP 2002290978A
Authority
JP
Japan
Prior art keywords
frame
error
moving image
data
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001086623A
Other languages
Japanese (ja)
Inventor
Mizuho Saijo
瑞穂 西城
Hiroshi Morita
浩史 森田
Muneaki Yamaguchi
宗明 山口
Yoshibumi Fujikawa
義文 藤川
Masao Ishiguro
正雄 石黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Solutions Technology Ltd
Original Assignee
Hitachi Ltd
Hitachi ULSI Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi ULSI Systems Co Ltd filed Critical Hitachi Ltd
Priority to JP2001086623A priority Critical patent/JP2002290978A/en
Publication of JP2002290978A publication Critical patent/JP2002290978A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce distortion as much as possible by omitting wasteful processing in a recovering method in the case of error detection although expanding processing of a moving image is probably disabled when an error is contained in moving image data compressed by an MPEG system. SOLUTION: Even when the error is detected, expanding processing is continued on the basis of the position of a macro block inside a frame, where the error occurs, the rate of error occurrence on lines, the quantity of change from a frame timewisely adjacent with the error occurring frame, the motion vector of each of frames in the past and a position relation between the error fame and a frame which is encoded without referring to the other frames, so that the distortion can be reduced when displaying a moving image. Further, the propagation of the error to the next frame is suppressed and partial noises inside the frame are eliminated as well.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、動画像データをM
PEG方式により圧縮伸張するシステムに係り、圧縮装
置と伸張装置間においてにエラーが発生した場合に、伸
張装置において発生する画像の表示の乱れを極力小さく
抑え、表示する動画像の品質劣化を防ぐのに最も適した
動画像エラー回復方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention
In an PEG compression / expansion system, when an error occurs between a compression device and a decompression device, it is possible to minimize the disturbance of image display that occurs in the decompression device and prevent quality deterioration of a displayed moving image. And a moving image error recovery method most suitable to

【0002】[0002]

【従来の技術】MPEGで使われる動画像データの圧縮
には可変長符号が用いられる。可変長データは複号化す
るまでデータ長が分からず、データ内にエラーが発生し
た場合には以後のデータの切れ目がわからなくなる。そ
して1ビットが誤っただけで個々の符号語が正しく再生
されない、複号化される符号語の数が変化してしまう、
またデコーダが複号不可能な状態に陥るといったことが
発生する。すなわち、いったん伝送誤りが生じると、そ
の誤ったビット以降に受信された情報がすべて正しく複
号できなくなるおそれがある。
2. Description of the Related Art A variable length code is used for compressing moving picture data used in MPEG. The data length of variable-length data is not known until it is decoded, and if an error occurs in the data, the subsequent data breaks cannot be recognized. And the individual codewords are not correctly reproduced because only one bit is wrong, the number of codewords to be decoded changes,
Also, the decoder may fall into a state where decoding is impossible. That is, once a transmission error occurs, there is a possibility that all information received after the erroneous bit cannot be correctly decoded.

【0003】これに対応するため、MPEG−4のデコ
ード方式を規格化した「ISO/IEC 14496−2:1999/Amd.1:
2000(E)」では、発生したエラーを局所化するための方
式が規定されている。
[0003] To cope with this, "ISO / IEC 14496-2: 1999 / Amd.1:
"2000 (E)" specifies a method for localizing an error that has occurred.

【0004】エラーの局所化により、局所化した以後の
データを伸張することが可能となる。
[0004] Localization of errors makes it possible to decompress data after localization.

【0005】また、「IEEE SIGNAL PROCESSING MAGAZIN
E JULY 2000,Error Resilient Video Coding Technique
s」に記載されているようにエラーを検出した時間的、
空間的近傍のデータよりエラーデータの内容を推定する
方法が考えられている。
[0005] Also, "IEEE SIGNAL PROCESSING MAGAZIN"
E JULY 2000, Error Resilient Video Coding Technique
s ”, the time at which the error was detected,
A method of estimating the content of error data from spatially neighboring data has been considered.

【0006】[0006]

【発明が解決しようとする課題】上記エラーの個所を局
所化する従来技術は、MPEG−4のみで規定されており、
この方式を採用していないデコーダあるいはMPEG−1,2
では、エラーの発生により動画像の伸張処理をまったく
できなくなる可能性がある。また、該規格書では局所化
したエラーからどのように回復するかについては規格化
されていない。
The prior art for localizing the above error location is defined only in MPEG-4.
Decoders that do not use this method or MPEG-1,2
In such a case, there is a possibility that a moving image cannot be decompressed at all due to occurrence of an error. In addition, the standard does not standardize how to recover from a localized error.

【0007】また、エラーの局所化によりエラー発生後
すべてのデータを伸張できなくなるということはなくな
るが、エラー発生部のデータに対しては、回復をするす
べがなく、すなわち動画像のフレーム内の一部に適切な
画像データを表示することができなくなる。2番目の従
来技術として記載したように、近傍のデータからエラー
のデータ内容を推定するとあるが具体的な回復方法につ
いては記載されていない。
Further, it is not impossible to decompress all data after an error occurs due to the localization of the error. However, there is no way to recover the data of the error generating portion, that is, there is no way to recover the data in the frame of the moving image. In some cases, it becomes impossible to display appropriate image data. As described in the second related art, the content of the error data is estimated from the neighboring data, but no specific recovery method is described.

【0008】したがって本発明の目的は、エラーを検出
したマクロブロックのフレーム内の位置に応じて、時間
的に隣接するフレーム内の適切なマクロブロックをエラ
ー発生部にコピーする、圧縮装置と伸張装置間のエラー
率に応じてコピーするマクロブロック位置を決定する、
エラーの発生したフレームとマクロブロックのコピー対
象のフレームと差分が大きい場合に他の画像を使用せず
に伸張可能なフレームを伸張表示する、エラーを検出し
たフレームの時間的にあまり離れていない位置に参照デ
ータを必要としないフレームがある場合にはこれを表示
する、あるいはフレームの伸張時に用いた動きベクトル
を保持し、エラーを検出した場合に該マクロブロック以
降、時間的に隣接する1つ前のフレームの該マクロブロ
ックと同位置にあるマクロブロックから、保持していた
動きベクトルの示す領域をコピーし、伸張装置において
発生する画像の表示の乱れを極力小さく抑える動画像デ
ータの圧縮伸張装置を提供することにある。
Accordingly, an object of the present invention is to provide a compression apparatus and a decompression apparatus for copying an appropriate macroblock in a temporally adjacent frame to an error generating unit according to the position of a macroblock in which an error is detected in the frame. Determine the macroblock position to copy according to the error rate between
When the difference between the frame in which the error occurred and the frame to be copied of the macroblock is large, a frame that can be expanded without using other images is expanded and displayed. If there is a frame that does not require reference data, this is displayed, or the motion vector used at the time of decompression of the frame is held. From the macroblock located at the same position as the macroblock of the frame of the frame, a moving image data compression / expansion device which copies the area indicated by the held motion vector and suppresses the display disturbance of the image generated in the expansion device as much as possible. To provide.

【0009】[0009]

【課題を解決するための手段】上記目的を達成するため
に、動画像データをMPEG方式により圧縮する処理装
置と該圧縮したデータを伸張する処理装置をネットワー
クにより接続した動画像データ圧縮伸張システムにおい
て、該データ伸張装置で、動画像の表示単位であるフレ
ーム内においてマクロブロックと呼ばれる処理単位に番
号を付け、圧縮された動画像データを解析する際、デー
タのエラーを検出し、エラーを検出した動画像データ1
フレーム内の位置をマクロブロック単位で特定し、エラ
ーを検出した以降、該フレームの最後までのマクロブロ
ックをすべて、時間的に隣接する1つ前のフレームから
コピーする方法と、エラーが検出されたフレームに対
し、時間的に隣接する1つ前のフレームのすべてのマク
ロブロックをコピーする方法を、フレーム内のエラーを
検出した位置により切替えエラー回復させたフレームを
表示させる。
In order to achieve the above object, in a moving image data compression / decompression system in which a processing device for compressing moving image data by the MPEG system and a processing device for expanding the compressed data are connected by a network. In the data decompression device, a number is assigned to a processing unit called a macroblock in a frame which is a display unit of a moving image, and when analyzing the compressed moving image data, an error of the data is detected and the error is detected. Moving image data 1
A method of identifying a position in a frame in units of macroblocks, and after detecting an error, a method of copying all macroblocks up to the end of the frame from a temporally adjacent previous frame, and detecting an error. The method of copying all the macroblocks of the immediately preceding frame temporally adjacent to the frame is displayed by switching the error recovery position according to the position in the frame where the error is detected.

【0010】これにより、エラーを検出した場合にも伸
張処理を継続することができ、動画像の表示において乱
れを小さくすることができる。そして、無駄なデータの
コピーを防ぐことができる。
Thus, the decompression process can be continued even when an error is detected, and the disturbance in displaying a moving image can be reduced. And useless copying of data can be prevented.

【0011】また、データ伸張装置において、圧縮され
た動画データを取り込む回線の誤り率を記憶し、誤り率
に応じてエラーを検出したマクロブロックからさかのぼ
ってn個のマクロブロックも同様に時間的に隣接する1
つ前のフレームからコピーする。
In the data decompression device, the error rate of the line for taking in the compressed moving image data is stored, and the n macroblocks are similarly temporally traced from the macroblock in which the error is detected according to the error rate. Adjacent one
Copy from previous frame.

【0012】これにより、可変長符号化ではエラーを検
出した場所よりもエラーの発生した場所が多くの場合、
前に存在するので、これに対処することができる。
Thus, in variable-length coding, the number of places where an error occurs is larger than the place where an error is detected,
Because it exists before, this can be dealt with.

【0013】さらに、データ圧縮装置では、動画像のフ
レームを符号化するときに、時間的に隣接する1つ前の
フレームとの変化量を制御データとして符号化・圧縮
し、この動画像の圧縮データを受信するデータ伸張装置
は、該制御データに基づき、変化量が閾値n以下の場合
には、エラーを検出したマクロブロックの位置によりコ
ピーするマクロブロックを特定し、時間的に隣接するフ
レームからマクロブロックをコピーし、閾値nより大き
い場合には、他のフレームの情報を用いないで圧縮した
フレームを次に表示する。
Further, when encoding a frame of a moving image, the data compression apparatus encodes and compresses a change amount from a temporally adjacent frame as control data, and compresses the moving image. Based on the control data, the data decompression device that receives the data specifies the macroblock to be copied based on the position of the macroblock in which the error is detected, if the change amount is equal to or smaller than the threshold n, and determines from the temporally adjacent frame If the macro block is copied and is larger than the threshold value n, the compressed frame is displayed next without using information of other frames.

【0014】これにより、エラーの発生した動画像の表
示において乱れを極力小さくするとともに次のフレーム
へのエラーの伝播を抑制することができる。
[0014] This makes it possible to minimize disturbance in displaying a moving image in which an error has occurred, and to suppress propagation of the error to the next frame.

【0015】そして、データ圧縮装置は、動画像の符号
化を行う時に、他のフレームを参照せずに符号化を行う
フレームが何フレーム毎にあるかを示すフレーム周期を
符号化・圧縮し、データ伸張装置は、フレームカウンタ
を設けフレームを複号する毎にカウントアップし、圧縮
装置より送られたフレーム周期に達した場合に該カウン
タを0にし、エラーを検出した場合に、フレーム周期か
ら該カウンタ値を減算し、該減算結果が閾値n以下の場
合に、マクロブロックの位置により、時間的に隣接する
フレームからデータをコピーし、該減算結果が閾値nよ
り小さい場合に他のフレームを参照せずに符号化した画
像を伸張し表示する。
The data compression apparatus encodes and compresses a frame cycle indicating the number of frames to be encoded without referring to other frames when encoding a moving image. The data decompression device is provided with a frame counter and counts up each time a frame is decoded. When the frame period sent from the compression device is reached, the data decompression device sets the counter to 0. The counter value is subtracted. If the result of the subtraction is equal to or smaller than the threshold value n, data is copied from a temporally adjacent frame according to the position of the macroblock. If the result of the subtraction is smaller than the threshold value n, another frame is referenced. Decompress and display the encoded image without performing it.

【0016】これにより、エラーの発生したフレームの
時間的に近い位置に他のフレームを参照せずに符号化し
た画像がある場合にフレーム内の部分的なノイズをなく
すことができる。
This makes it possible to eliminate partial noise in a frame when there is an image coded without referring to another frame at a position close in time to the frame where the error has occurred.

【0017】また、データ伸張装置において、フレーム
の伸張時に用いた動きベクトルを保持し、エラーを検出
した場合に該マクロブロック以降、時間的に隣接する1
つ前のフレームにおいて該マクロブロックと同位置にあ
るマクロブロックから、保持していた動きベクトルが示
す領域をコピーし、表示する。
In the data decompression device, the motion vector used at the time of decompression of the frame is held.
The region indicated by the held motion vector is copied and displayed from the macroblock located at the same position as the macroblock in the previous frame.

【0018】これにより、エラーの発生した動画像の表
示において乱れを極力小さくするとともに次のフレーム
へのエラーの伝播を抑制することができる。以上により
本発明の目的を達成する。
This makes it possible to minimize disturbance in displaying a moving image in which an error has occurred and to suppress the transmission of the error to the next frame. Thus, the object of the present invention is achieved.

【0019】[0019]

【発明の実施の形態】以下、本発明の実施の形態例を図
面に基づいて詳細に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0020】図1は、本発明の特徴を示す一実施例であ
る動画像データ伸張処理における、エラー検出時の回復
方法を示すフロー図である。
FIG. 1 is a flowchart showing a recovery method when an error is detected in a moving image data decompression process according to an embodiment showing the features of the present invention.

【0021】まず、本処理フロー図を適用するシステム
構成例の図2を用いて概要を説明した後、図1によりエ
ラー検出時の回復方法を詳細に説明する。システム構成
の例を図2に示す。システム構成は動画像データを入力
する画像入力装置(201)、動画像データを圧縮する
圧縮装置(203)、この二つを接続するインタフェー
ス1(202)、圧縮されたデータを伸張する伸張装置
(205)、伸張した動画像データを出力する画像出力
装置(207)、この二つを接続するインタフェース2
(206)から構成する。圧縮装置(203)と伸張装
置(205)はネットワーク(204)を介して接続す
る。画像入力装置(201)の例としてはカメラやDV
Dプレーヤ等が挙げられ、画像出力装置(207)の例
としてはディスプレイ等が挙げられる。
First, an outline will be described with reference to FIG. 2 of a system configuration example to which this processing flow diagram is applied, and then a recovery method at the time of error detection will be described in detail with reference to FIG. FIG. 2 shows an example of the system configuration. The system configuration includes an image input device (201) for inputting moving image data, a compression device (203) for compressing moving image data, an interface 1 (202) connecting the two, and a decompression device for expanding compressed data ( 205), an image output device (207) for outputting expanded moving image data, and an interface 2 for connecting the two.
(206). The compression device (203) and the decompression device (205) are connected via a network (204). Examples of the image input device (201) include a camera and a DV.
Examples of the image output device (207) include a display and the like.

【0022】図3により、圧縮装置(203)及び伸張
装置(205)の構成を説明する。圧縮装置(203)
及び伸張装置(205)は、CPU(301)と、メモ
リ(302)と、入力制御装置(304)と、出力制御
装置(305)と、バス(303)から構成する。CP
U(301)は、圧縮・伸張のための演算処理を行う。
メモリ(302)は、データを格納する。入力制御装置
(304)は、圧縮装置(203)においては画像入力
装置(201)から圧縮装置(203)に動画像データ
を取り込む制御を行い、伸張装置(205)においては
ネットワーク(204)を介して伸張装置(205)に
圧縮データを取り込む制御を行う。出力制御装置(30
5)は、圧縮装置(203)においては圧縮データをネ
ットワーク(204)に出力する制御を行い、伸張装置
(205)においては伸張した動画像データを画像出力
装置(207)へ出力する制御を行う。バス(303)
は、CPU(301)と、メモリ(302)と、入力制
御装置(304)と、出力制御装置(305)のインタ
フェースである。
Referring to FIG. 3, the structures of the compression device (203) and the expansion device (205) will be described. Compression device (203)
The decompression device (205) includes a CPU (301), a memory (302), an input control device (304), an output control device (305), and a bus (303). CP
U (301) performs arithmetic processing for compression / decompression.
The memory (302) stores data. The input control device (304) performs control of taking in moving image data from the image input device (201) to the compression device (203) in the compression device (203), and controls the decompression device (205) through the network (204). Control to take compressed data into the decompression device (205). Output control device (30
5) The compression device (203) performs control to output compressed data to the network (204), and the expansion device (205) performs control to output expanded video data to the image output device (207). . Bus (303)
Is an interface of the CPU (301), the memory (302), the input control device (304), and the output control device (305).

【0023】本実施例では、動画像データを圧縮伸張す
る一方式であるMPEG(Moving Picture Experts Gro
up)方式を前提として説明する。しかし、後述する各フ
レームがフレーム内のみの情報、または他のフレームと
の差分情報により圧縮され、フレーム内がブロックに分
割され、画像データに可変長符号を適用している場合は
有効である。ここで、MPEGの圧縮方式について説明
する。MPEGは、動画像の一画面(以降、フレームと
表記する)に対し、画面内相関関係によるデータ圧縮方
法と、一つ前の画面(以降、参照フレームと表記する)
との画面間相関関係によるデータ圧縮方法を用いる。画
面内相関関係によって圧縮されたフレームデータは、他
のフレームの情報を用いることなく伸張できる。このよ
うなフレームをIフレームと表記する。画面間相関関係
によって圧縮されたフレームをPフレームと表記する。
また、1フレーム内16×16画素のY成分(輝度信
号)、8×8画素のU成分(色差信号)、8×8画素の
V成分(色差信号)を一つの処理単位としてマクロブロ
ック(404)と呼ぶ。マクロブロック内の各画素は、
可変長符号化により符号化を行っている。ここでフレー
ムとマクロブロックの関係について説明する。
In this embodiment, MPEG (Moving Picture Experts Groove) is a method for compressing and expanding moving image data.
up) The method will be described. However, it is effective when each frame described later is compressed by information only in the frame or difference information from other frames, the frame is divided into blocks, and a variable length code is applied to image data. Here, the MPEG compression method will be described. MPEG uses a data compression method based on intra-screen correlation for one screen of a moving image (hereinafter, referred to as a frame) and a previous screen (hereinafter, referred to as a reference frame).
And a data compression method based on an inter-screen correlation with the data. The frame data compressed by the intra-screen correlation can be expanded without using information of other frames. Such a frame is referred to as an I frame. A frame compressed by the inter-screen correlation is referred to as a P frame.
In addition, a macro block (404) uses a Y component (luminance signal) of 16 × 16 pixels, a U component (color difference signal) of 8 × 8 pixels, and a V component (color difference signal) of 8 × 8 pixels in one frame as one processing unit. ). Each pixel in the macroblock is
Encoding is performed by variable length encoding. Here, the relationship between a frame and a macroblock will be described.

【0024】図4により、メモリ(302)に内に設け
る動画像データ1フレーム分を記憶するフレームメモリ
(401・402)の構成を説明する。フレームメモリ
(401・402)はメモリ(302)上にあり、画像
出力装置(207)で動画像を出力するための1フレー
ム分の動画像データを格納する。圧縮データの伸張処理
ではPフレームの場合、次のフレームの伸張処理に参照
フレームのデータを必要とするため、画像出力装置(2
07)による画像出力後も、そのデータを保持しておか
なければならない。したがってメモリ(302)上には
複数のフレームメモリ(401・402)を設ける。画
像出力装置(207)で動画像を出力するためのデータ
を保持するフレームメモリをカレントフレームメモリ
(401)、参照フレームのデータを保持する参照フレ
ームメモリ(402)と表記する。カレントフレームメ
モリ(401)と参照フレームメモリ(402)はマク
ロブロック(404)を単位として構成されており、マ
クロブロック番号は図4のように左上から右下に向かっ
て昇順に割り当てる。後述するように、この番号をカレ
ントフレームメモリ(401)におけるマクロブロック
の位置からコピー対象となる参照フレームメモリ(40
2)のコピー位置を判定する場合に用いる。
Referring to FIG. 4, the structure of the frame memories (401 and 402) for storing one frame of moving image data provided in the memory (302) will be described. The frame memories (401 and 402) are on the memory (302) and store one frame of moving image data for outputting a moving image by the image output device (207). In the case of a P frame in the decompression processing of the compressed data, the data of the reference frame is required for the decompression processing of the next frame.
07), the data must be retained even after the image is output. Therefore, a plurality of frame memories (401 and 402) are provided on the memory (302). A frame memory that holds data for outputting a moving image in the image output device (207) is referred to as a current frame memory (401), and a reference frame memory (402) that holds reference frame data. The current frame memory (401) and the reference frame memory (402) are configured in units of macroblocks (404), and macroblock numbers are assigned in ascending order from upper left to lower right as shown in FIG. As will be described later, this number is copied from the position of the macro block in the current frame memory (401) to the reference frame memory (40) to be copied.
It is used to determine the copy position in 2).

【0025】本システム構成において伸張装置(20
5)は、圧縮データの伸張処理時、ネットワーク(20
4)を介して入力制御装置(304)が圧縮データを取
り込み、バス(303)を介してメモリ(302)に圧
縮データを書き込む。CPU(301)はメモリ(30
2)に書かれた圧縮データをバス(303)を介してマ
クロブロック単位で読み込み、伸張処理を行う。伸張装
置(205)における、入力制御装置(304)のメモ
リ(302)への書き込み処理と、CPU(301)に
よるメモリ(302)への読み込み・伸張処理が並列に
行われている場合について、以下伸張処理の説明を行
う。
In this system configuration, the decompression device (20
5) is a network (20) when decompressing compressed data.
4) The input control device (304) takes in the compressed data via the bus, and writes the compressed data to the memory (302) via the bus (303). The CPU (301) has a memory (30).
The compressed data written in 2) is read in units of macroblocks via the bus (303) and decompressed. The following describes a case where the decompression device (205) performs the writing process on the memory (302) of the input control device (304) and the reading / decompression process on the memory (302) by the CPU (301) in parallel. The expansion process will be described.

【0026】上記システムで実現される、動画像データ
伸張処理における、エラー回復方法の第1の実施例を図
1を用いて具体的に説明する。
A first embodiment of the error recovery method in the moving image data decompression process realized by the above system will be specifically described with reference to FIG.

【0027】はじめに、ステップ101で1フレーム内
のマクロブロックを読み込む毎に、昇順でマクロブロッ
ク番号を割り当てる。ステップ102で、メモリ(30
2)から読み込んだ圧縮データを解析し、エラー検出を
行う。エラーを検出しなかった場合は、ステップ103
で伸張した動画像データをカレントフレームメモリ(4
01)の現在割り当てられているマクロブロック番号と
同じ位置にバス(303)を介して書き込む。ステップ
104で、動画像データの書き込みが1フレーム分行わ
れているかどうかチェックする。1フレーム分の動画像
データの処理が完了していなければ、ステップ101の
マクロブロック番号割り当て処理に戻る。1フレーム分
の動画像データが書き込まれていれば、ステップ109
でカレントフレームメモリ(401)の動画像データを
参照フレームメモリ(402)の同じ位置に全てコピー
する。ステップ110で、出力制御装置(305)はカ
レントフレームメモリ(401)の動画像データを画像
出力装置(207)へ出力し、動画像を表示した後ステ
ップ101へ戻る。
First, each time a macroblock in one frame is read in step 101, a macroblock number is assigned in ascending order. In step 102, the memory (30
The compressed data read from 2) is analyzed to detect an error. If no error is detected, step 103
The moving image data expanded by the current frame memory (4
01) via the bus (303) at the same position as the currently allocated macroblock number. In step 104, it is checked whether writing of moving image data has been performed for one frame. If the processing of the moving image data for one frame has not been completed, the process returns to the macro block number assignment processing of step 101. If moving image data for one frame has been written, step 109
To copy all the moving image data in the current frame memory (401) to the same position in the reference frame memory (402). In step 110, the output control device (305) outputs the moving image data of the current frame memory (401) to the image output device (207), displays the moving image, and returns to step 101.

【0028】ステップ102でエラーを検出した場合、
ステップ105で、マクロブロック番号に従いエラー検
出位置を特定する。ステップ106で、エラー検出をし
たマクロブロック番号と閾値テーブル(501)の、マ
クロブロック番号の閾値(503)を比較する。閾値テ
ーブル(501)はメモリ(302)上にあり、マクロ
ブロック番号と、後述するフレーム変化量、エラー検出
後に最初に現れるIフレームまでの残りフレーム数から
なる項目(502)があり、各項目に対して閾値(50
3)を設定している。エラー検出をしたマクロブロック
番号の値がマクロブロック番号の閾値(503)以下だ
った場合は、ステップ107で参照フレームメモリ(4
02)から動画像データをカレントフレームメモリ(4
01)の同じ位置に全てコピーする。エラー検出をした
マクロブロック番号の値がマクロブロック番号の閾値
(503)より大きい場合は、ステップ108で、参照
フレームメモリ(402)から、エラー検出をしたマク
ロブロック番号位置から最後のマクロブロック番号位置
までの動画像データをカレントフレームメモリ(40
1)の同じ位置にコピーする。そしてステップ109
で、カレントフレームメモリ(401)の動画像データ
を参照フレームメモリ(402)の同じ位置に全てコピ
ーする。ステップ110で、出力制御装置(305)は
カレントフレームメモリ(401)の動画像データを画
像出力装置(207)へ出力し、動画像を表示した後ス
テップ101へ戻る。
If an error is detected in step 102,
In step 105, an error detection position is specified according to the macroblock number. In step 106, the macroblock number at which the error is detected is compared with the threshold value (503) of the macroblock number in the threshold value table (501). The threshold table (501) is stored in the memory (302), and includes an item (502) composed of a macroblock number, a frame change amount described later, and the number of remaining frames up to the first I-frame appearing after error detection. For the threshold (50
3) is set. If the value of the macroblock number where the error is detected is less than or equal to the macroblock number threshold value (503), the reference frame memory (4
02) from the current frame memory (4
01) All copies are made at the same position. If the value of the macroblock number where the error is detected is larger than the macroblock number threshold value (503), in step 108, the last macroblock number position from the error-detected macroblock number position is read from the reference frame memory (402). The moving image data up to the current frame memory (40
Copy to the same location in 1). And step 109
Then, all the moving image data in the current frame memory (401) is copied to the same position in the reference frame memory (402). In step 110, the output control device (305) outputs the moving image data of the current frame memory (401) to the image output device (207), displays the moving image, and returns to step 101.

【0029】以上により、エラーを検出した場合にも伸
張処理を継続することができ、動画像の表示において乱
れを小さくすることができる。そして、無駄なデータの
コピーを防ぐことができる。
As described above, the decompression process can be continued even when an error is detected, and disturbance in displaying a moving image can be reduced. And useless copying of data can be prevented.

【0030】次に図1に示した動画像データ伸張処理に
おいてステップ102でエラー検出した場合に、エラー
を検出したマクロブロックからネットワーク(204)
の誤り率に応じて算出した数値分だけマクロブロックを
さかのぼって参照フレームメモリ(402)の動画像デ
ータをカレントフレームメモリ(401)にコピーする
ことをエラー回復方法とした動画像データ伸張処理を図
6を用いて説明する。
Next, when an error is detected in step 102 in the moving image data decompression processing shown in FIG. 1, the network (204)
A moving image data decompression process is described in which an error recovery method is to copy the moving image data of the reference frame memory (402) to the current frame memory (401) by going back through the macroblock by the numerical value calculated according to the error rate of the current frame memory. 6 will be described.

【0031】ステップ101〜105、109、110
は、図1で示したステップ101〜105、109、1
10の処理内容と同一である。したがって、ステップ1
05におけるエラー検出位置の特定からステップ109
における参照フレームメモリ(401)への動画像デー
タの書き込み処理の間に行うエラー回復処理(ステップ
601〜ステップ603)を説明する。
Steps 101 to 105, 109, 110
Are the steps 101 to 105, 109, 1 shown in FIG.
This is the same as the processing content of No. 10. Therefore, step 1
From the identification of the error detection position in step 05 to step 109
The error recovery process (steps 601 to 603) performed during the process of writing the moving image data to the reference frame memory (401) in step (1) will be described.

【0032】エラーを検出したマクロブロックの位置を
特定した後、ステップ601で誤り率テーブル(70
1)から、ネットワーク(204)の誤り率(703)
を取得する。誤り率テーブル(701)はメモリ(30
2)上にあり、ネットワークの媒体を表わす項目(70
2)に対して誤り率(703)を設定している。次に、
ステップ602で圧縮率テーブル(801)から、圧縮
率(803)を取得する。圧縮率テーブル(801)は
メモリ(302)上にあり、圧縮方式を表わす項目(8
02)に対して圧縮率(803)を設定している。ステ
ップ603で、エラーを検出したマクロブロックからさ
かのぼってn個のマクロブロックも同様に、参照フレー
ムメモリ(402)から動画像データをカレントフレー
ムメモリ(401)の同じ位置にコピーする。マクロブ
ロックをさかのぼる個数nは、ステップ601とステッ
プ602で取得したデータをもとに算出する。例えば、
ステップ601で取得した誤り率(803)を、ある伝
送データビット数当たりの誤伝送ビット数、ステップ6
02で取得した圧縮率(803)を圧縮前のビット数に
対する圧縮後のビット数の割合と定義すると、
After specifying the position of the macroblock in which the error has been detected, in step 601 the error rate table (70
From 1), the error rate of the network (204) (703)
To get. The error rate table (701) is stored in the memory (30
2) Item (70) above and representing the medium of the network
The error rate (703) is set for 2). next,
In step 602, a compression ratio (803) is obtained from the compression ratio table (801). The compression ratio table (801) is stored in the memory (302) and includes an item (8
02) is set to the compression ratio (803). In step 603, moving image data is copied from the reference frame memory (402) to the same position of the current frame memory (401) in the same manner for the n macroblocks that go back from the macroblock where the error is detected. The number n going back to the macroblock is calculated based on the data acquired in steps 601 and 602. For example,
The error rate (803) acquired in step 601 is calculated by dividing the error rate (803) by
02 is defined as the ratio of the number of bits after compression to the number of bits before compression,

【0033】[0033]

【数1】 で与えられるnは、マクロブロック数を単位としたエラ
ー発生頻度を表わす。
(Equation 1) Represents the error occurrence frequency in units of the number of macroblocks.

【0034】そして、ステップ109でカレントフレー
ムメモリ(401)の動画像データを参照フレームメモ
リ(402)に書き込み、ステップ110で出力制御装
置(305)はカレントフレームメモリ(401)の動
画像データを画像出力装置(207)へ出力し、ステッ
プ101へ戻る。
Then, in step 109, the moving image data of the current frame memory (401) is written into the reference frame memory (402), and in step 110, the output control device (305) converts the moving image data of the current frame memory (401) into an image. Output to the output device (207), and return to step 101.

【0035】以上により、可変長符号化ではエラーを検
出した場所よりもエラーの発生した場所が、多くの場合
前に存在するので、これに対処することができる。
As described above, in the variable-length coding, the place where the error occurred is often located before the place where the error was detected, and this can be dealt with.

【0036】次に図1に示した動画像データ伸張処理に
おいて、ステップ102でエラーを検出した場合に、エ
ラー検出をしたフレームと参照フレームとの動画像デー
タの変化量に応じて、参照フレームメモリ(402)の
動画像データをカレントフレームメモリ(401)にコ
ピーするか、Iフレームの伸張処理を行うまでPフレー
ムの画像出力を行わないかを判定しエラー回復を行う動
画像データ伸張処理を図9を用いて説明する。
Next, in the moving picture data decompression processing shown in FIG. 1, when an error is detected in step 102, the reference frame memory is stored in accordance with the amount of change in moving picture data between the frame in which the error is detected and the reference frame. The moving image data decompression processing for judging whether to copy the moving image data of (402) to the current frame memory (401) or not to output the image of the P frame until the decompression processing of the I frame is performed and performing error recovery is illustrated. 9 will be described.

【0037】圧縮装置(203)は動画像のフレームを
符号化する時に時間的に隣接する一つ前のフレームとの
変化量を制御データとして符号化・圧縮し、ネットワー
ク(204)を介して伸張装置(205)へ渡す。フレ
ームの変化量は、現在のフレームと時間的に隣接する一
つ前のフレームとの視覚的変化の度合いを表わすもの
で、数量的にフレーム間の動画像データの差分を用い
る。シーンチェンジや動きの速い動画像等はフレーム変
化量が多いといえる。
When encoding a moving image frame, the compression device (203) encodes and compresses the amount of change from the immediately preceding frame that is temporally adjacent to the immediately preceding frame as control data, and decompresses it via the network (204). Transfer to device (205). The change amount of a frame represents the degree of visual change between the current frame and the immediately preceding frame temporally adjacent thereto, and quantitatively uses a difference in moving image data between frames. Scene changes and fast-moving moving images can be said to have a large amount of frame change.

【0038】図9においてステップ101〜110は、
図1で示したステップ101〜110と処理内容と同一
である。したがって、ここではステップ901〜ステッ
プ903について説明する。
In FIG. 9, steps 101 to 110 are:
The processing contents are the same as steps 101 to 110 shown in FIG. Therefore, steps 901 to 903 will be described here.

【0039】ステップ901では、1フレーム毎の伸張
処理を行うときに、圧縮データから一つ前のフレームと
の変化量を表わすデータを制御データとして取得し、制
御データテーブル(1001)内のフレーム変化量の項
目(1002)に対応する取得データ位置(1003)
に書き込む。制御データテーブル(1001)はメモリ
(302)上にあり、フレーム変化量と、後述するフレ
ーム周期からなる項目(1002)があり、各項目に対
して圧縮データから取得した制御データは取得データ位
置(1003)に書き込む。ステップ902では、ステ
ップ901で取得したフレーム変化量(1003)と、
閾値テーブル(501)のフレーム変化量の閾値(50
3)を比較する。フレーム変化量(1003)がフレー
ム変化量の閾値(503)以下だった場合は、ステップ
105でマクロブロック番号に従いエラー検出位置を特
定し、前記同様の処理を行う。フレーム変化量(100
3)がフレーム変化量の閾値(503)より大きい場合
は、ステップ903で、次フレームの圧縮データから、
そのフレームがIフレームとPフレームどちらであるか
を表わすフレーム情報を取得する。取得したフレーム情
報がPフレームであれば、もう一度ステップ903の処
理を行う。取得したフレーム情報がIフレームであれ
ば、ステップ901に戻り、処理を継続する。ステップ
903の処理を加えることによる、動画像表示処理の流
れを図11に示す。Iフレーム(1101・1105)
の間に表示されるPフレーム(1102〜1103)に
おいて、Pフレーム(1102)でエラーを検出し、フ
レーム変化量(1003)がフレーム変化量の閾値(5
03)より大きい場合は、ステップ903で、次のフレ
ームがPフレームである間ステップ903を繰り返すた
め、Pフレームの動画像を表示をせず、エラー検出後に
最初に現れるIフレーム(1105)を表示する。
In step 901, when decompression processing is performed for each frame, data representing the amount of change from the previous frame is obtained as control data from the compressed data, and the frame change in the control data table (1001) is obtained. Acquisition data position (1003) corresponding to quantity item (1002)
Write to. The control data table (1001) is stored in the memory (302), and includes an item (1002) composed of a frame change amount and a frame period to be described later. 1003). In step 902, the frame change amount (1003) acquired in step 901 is
The threshold value (50) of the frame change amount in the threshold value table (501)
Compare 3). If the frame change amount (1003) is equal to or smaller than the frame change amount threshold (503), an error detection position is specified in step 105 according to the macroblock number, and the same processing as described above is performed. Frame change (100
If 3) is larger than the threshold value of the frame change amount (503), in step 903, the compressed data of the next frame is
Frame information indicating whether the frame is an I frame or a P frame is obtained. If the acquired frame information is a P frame, the process of step 903 is performed again. If the acquired frame information is an I frame, the process returns to step 901 to continue the processing. FIG. 11 shows a flow of the moving image display processing by adding the processing of step 903. I frame (1101 ・ 1105)
In the P frames (1102 to 1103) displayed during the period, an error is detected in the P frame (1102), and the frame change amount (1003) is changed to the frame change amount threshold (5).
If it is larger than 03), step 903 is repeated in step 903 while the next frame is a P frame, so that the moving image of the P frame is not displayed, and the I frame (1105) which appears first after error detection is displayed. I do.

【0040】以上により、エラーの発生した動画像の表
示において乱れを極力小さくするとともに次のフレーム
へのエラーの伝播を抑制することができる。
As described above, it is possible to minimize disturbance in displaying a moving image in which an error has occurred and to suppress the transmission of the error to the next frame.

【0041】次に図1に示した動画像データ伸張処理に
おいて、ステップ102でエラーを検出した場合に、エ
ラー検出後に最初に現れるIフレームまでのフレーム数
に応じて、参照フレームメモリ(402)の動画像デー
タをカレントフレームメモリ(401)にコピーする
か、Iフレームの伸張処理を行うまでPフレームの画像
出力を行わないかを判定する処理を加えエラー回復を行
う動画像データ伸張処理を図12を用いて説明する。
Next, in the moving image data decompression process shown in FIG. 1, when an error is detected in step 102, the reference frame memory (402) is stored in the reference frame memory (402) according to the number of frames up to the first I frame after the error is detected. FIG. 12 shows a moving image data decompression process for performing error recovery by adding a process of determining whether to copy moving image data to the current frame memory (401) or not to output a P frame image until an I frame decompression process is performed. This will be described with reference to FIG.

【0042】圧縮装置(203)は動画像のフレームを
符号化する時にIフレームが何フレーム毎にあるかを示
すフレーム周期を符号化・圧縮し、ネットワーク(20
4)を介して伸張装置(205)へ渡す。
The compression device (203) encodes and compresses a frame cycle indicating how many I frames are present at the time of encoding a moving image frame.
4) to the expansion device (205).

【0043】図12においてステップ101〜110
は、図1で示したステップ101〜110の処理内容と
同一である。したがって、ここではステップ1201〜
ステップ1204について説明する。
In FIG. 12, steps 101-110
Are the same as the processing contents of steps 101 to 110 shown in FIG. Therefore, here, steps 1201 to
Step 1204 will be described.

【0044】ステップ1201では、ステップ101に
先立ち、制御データとしてIフレームの周期数を圧縮デ
ータから取得し、制御データテーブル(1001)のフ
レーム周期の項目(1002)に対応する取得データ位
置(1003)に書き込む。ステップ1202では、1
フレーム分の動画像データの処理を行うときにフレーム
カウンタ(403)の値をカウントアップする。フレー
ムカウンタ(403)はメモリ(302)上にあり、フ
レームカウンタ(403)の値が制御データテーブル
(1001)フレーム周期のデータ値(1003)と等
しくなった場合は、カウンタ値を0にする。ステップ1
203では、制御データテーブル(1001)のフレー
ム周期の値(1003)とフレームカウンタ(403)
の値から残りのPフレーム数を算出し、閾値テーブル
(501)のフレーム周期の閾値(503)を比較す
る。残りのPフレーム数の値が閾値テーブル(501)
のフレーム周期の閾値(503)以下だった場合は、ス
テップ105でマクロブロック番号に従いエラー検出位
置を特定し、前記同様の処理を行う。残りのPフレーム
数の値が閾値テーブル(501)のフレーム周期の閾値
(503)より大きい場合は、ステップ1204で、次
フレームの圧縮データから、そのフレームがIフレーム
とPフレームどちらであるかを表わすフレーム情報を取
得する。取得したフレーム情報がPフレームであれば、
もう一度ステップ1204の処理を行う。取得したフレ
ーム情報がIフレームであればフレームカウンタ(40
3)の値を0にリセットし、ステップ1202に戻り処
理を継続する。ステップ1204の処理内容は図11を
用いて前述したように、エラー検出以降、Iフレームの
処理を行うまでPフレームの動画像を表示しないもので
ある。
In step 1201, prior to step 101, the number of I-frame periods is obtained from the compressed data as control data, and the obtained data position (1003) corresponding to the frame period item (1002) in the control data table (1001) Write to. In step 1202, 1
When processing moving image data for a frame, the value of the frame counter (403) is counted up. The frame counter (403) is in the memory (302). When the value of the frame counter (403) becomes equal to the data value (1003) of the control data table (1001) frame period, the counter value is set to 0. Step 1
At 203, the frame period value (1003) of the control data table (1001) and the frame counter (403)
, The number of remaining P-frames is calculated, and the threshold value (503) of the frame period in the threshold value table (501) is compared. The value of the remaining number of P frames is a threshold value table (501)
If it is less than or equal to the threshold value (503) of the frame period, the error detection position is specified in step 105 according to the macroblock number, and the same processing as described above is performed. If the value of the number of remaining P frames is larger than the threshold value (503) of the frame period in the threshold value table (501), at step 1204, it is determined from the compressed data of the next frame whether the frame is an I frame or a P frame. Obtain frame information to represent. If the acquired frame information is a P frame,
The processing of step 1204 is performed again. If the acquired frame information is an I frame, the frame counter (40
The value of 3) is reset to 0, and the process returns to step 1202 to continue. As described above with reference to FIG. 11, the processing content of step 1204 is that the moving image of the P frame is not displayed until the processing of the I frame is performed after the error detection.

【0045】以上により、エラーの発生したフレームの
時間的に近い位置に他のフレームを参照せずに符号化し
た画像がある場合にフレーム内の部分的なノイズをなく
すことができる。
As described above, when there is an image encoded without referring to another frame at a position near the time of the frame in which the error has occurred, partial noise in the frame can be eliminated.

【0046】次に第2の実施例として第1の実施例で示
した動画像データ伸張処理の内、時間的に隣接する1つ
前のフレームの動きベクトルからエラー回復に使用する
ための動きベクトル情報を算出・保持し、エラーを検出
した場合、参照フレームメモリ(402)におけるカレ
ントフレームメモリ(401)の該マクロブロックと同
位置のマクロブロックから、算出した動きベクトルが示
す画像データをカレントフレームメモリ(401)へコ
ピーし、表示することをエラー回復方法とした、動画像
データ伸張処理を説明する。図13を用いて上記エラー
回復の処理内容を詳細に説明する。
Next, in the moving image data decompression process shown in the first embodiment as a second embodiment, a motion vector for use in error recovery from a motion vector of a temporally adjacent previous frame is extracted. When the information is calculated and stored, and an error is detected, the image data indicated by the calculated motion vector is converted from the macroblock at the same position as the macroblock of the current frame memory (401) in the reference frame memory (402). A moving image data decompression process in which copying to (401) and displaying the image data is an error recovery method will be described. The details of the error recovery process will be described with reference to FIG.

【0047】ステップ101〜105、109、110
は、第一の実施例として示したステップ101〜10
5、109、110と処理内容と同一である。したがっ
て、ここではステップ1301とステップ10302の
説明を行う。ステップ1301では、エラー検出をした
マクロブロック番号位置から最後のマクロブロック番号
位置までの動画像データを、参照フレームメモリ(40
2)から、後述するステップ1303で得た動きベクト
ルテーブル(405)のマクロブロックに対応した動き
ベクトルを用いて決定し、カレントフレームメモリ(4
01)にコピーし、ステップ109へ進み参照フレーム
メモリ(402)へカレントフレームメモリ(401)
の動画像データを書き込み、処理を継続する。
Steps 101 to 105, 109, 110
Are steps 101 to 10 shown as the first embodiment.
5, 109 and 110 are the same as the processing contents. Therefore, steps 1301 and 10302 will be described here. In step 1301, moving image data from the macroblock number position where the error is detected to the last macroblock number position is stored in the reference frame memory (40).
From 2), the current frame memory (4) is determined using the motion vector corresponding to the macroblock of the motion vector table (405) obtained in step 1303 described later.
01) and proceed to step 109 to the reference frame memory (402) to the current frame memory (401).
And the processing is continued.

【0048】コピーする動画像データの決定方法を図1
4を用いて説明する。動きベクトルとは、カレントフレ
ームメモリ(401)上のマクロブロック(1401)
に対して参照フレームメモリ(402)の同位置にある
マクロブロック(1402)と、参照フレームメモリ
(402)におけるカレントフレームメモリ(401)
上のマクロブロック(1401)の動画像データと非常
に似たマクロブロックサイズの領域(1403)の位置
関係を画素単位のベクトル量(1404)を用いて示し
たものである。したがって、カレントフレームメモリ
(401)上のマクロブロック(1401)に対応する
参照フレームメモリ(402)のマクロブロック(14
02)から、動きベクトル(1404)分だけ移動した
場所にあるマクロブロックサイズの領域(1403)が
コピーする動画像データとなる。エラー検出以降、該マ
クロブロックに対して同様の処理を行う。
FIG. 1 shows a method of determining moving image data to be copied.
4 will be described. The motion vector is a macro block (1401) on the current frame memory (401).
Macro block (1402) at the same position in the reference frame memory (402) and the current frame memory (401) in the reference frame memory (402)
A positional relationship of a region (1403) having a macroblock size very similar to the moving image data of the upper macroblock (1401) is shown using a vector amount (1404) in pixel units. Therefore, the macro block (14) of the reference frame memory (402) corresponding to the macro block (1401) on the current frame memory (401)
02), a macroblock-sized area (1403) located at a position shifted by the motion vector (1404) becomes moving image data to be copied. After error detection, similar processing is performed on the macroblock.

【0049】次にステップ1302の説明を行う。ステ
ップ103で伸張した動画像データをカレントフレーム
メモリ(401)の現在割り当てられているマクロブロ
ック番号と同じ位置にバス(303)を介して書き込ん
だ後、ステップ1302で、伸張処理に使用した動きベ
クトル情報をメモリ(302)上の動きベクトルテーブ
ル(405)に保持する。動きベクトルテーブル(40
5)には、1フレーム分のマクロブロックに対応して動
きベクトルを保持する。該フレームがIフレームである
場合は、動きベクトル値を0とする。
Next, step 1302 will be described. After the moving image data expanded in step 103 is written in the current frame memory (401) at the same position as the currently allocated macroblock number via the bus (303), in step 1302, the motion vector used for the expansion processing is written. The information is stored in the motion vector table (405) on the memory (302). Motion vector table (40
5) holds a motion vector corresponding to one frame of macroblock. If the frame is an I frame, the motion vector value is set to 0.

【0050】ここではエラーの発生したマクロブロック
位置に対応する、保持した動きベクトルをそのまま使用
したが、複数フレームに渡って保持した動きベクトルの
平均、あるいは複数領域に区切った同一フレーム内の各
領域の動きベクトルの平均を適用し、コピー領域を決定
することも容易に可能である。
Here, the held motion vector corresponding to the macroblock position where the error has occurred is used as it is. It is also possible to easily determine the copy area by applying the average of the motion vectors.

【0051】以上により、エラーの発生した動画像の表
示において乱れを極力小さくするとともに次のフレーム
へのエラーの伝播を抑制することができる。
As described above, it is possible to minimize the disturbance in displaying a moving image in which an error has occurred and to suppress the transmission of the error to the next frame.

【0052】[0052]

【発明の効果】本発明によれば、エラーの発生したフレ
ーム内のマクロブロックの位置、および回線のエラー発
生率により、時間的に隣接するフレーム内のコピーする
マクロブロックを決定し、該マクロブロックをコピーす
ることによりエラーを検出した場合にも伸張処理を継続
することができ、動画像の表示において乱れを小さくす
ることができる。また、エラーの発生したフレームと時
間的に隣接するフレーム間の変化量に応じて、変化の大
きい場合にエラーフレームのかわりに他のフレームの情
報を参照しないで符号化したフレームを表示すること
で、次のフレームへのエラーの伝播を抑制することがで
きる。さらに、エラーの発生したフレームの時間的に近
い位置に他のフレームを参照せずに符号化した画像があ
る場合にエラー発生フレームのかわりにこれを表示する
ことでフレーム内の部分的なノイズをなくすことができ
る。また、フレームの伸張時に用いた動きベクトル保持
し、時間的に隣接する1つ前のフレームにおけるマクロ
ブロックから保持していた動きベクトルの示す動画像デ
ータ領域を決定し、該マクロブロックにコピーすること
により動画像の表示において乱れを小さくすることがで
き、次のフレームへのエラーの伝播を抑制することがで
きる。
According to the present invention, the macroblock to be copied in a temporally adjacent frame is determined based on the position of the macroblock in the frame where the error has occurred and the error rate of the line. Can be extended even when an error is detected, and the disturbance in displaying a moving image can be reduced. In addition, according to the amount of change between the frame in which the error occurred and the frame temporally adjacent to each other, when the change is large, instead of the error frame, the encoded frame is displayed without referring to the information of the other frame. , The propagation of the error to the next frame can be suppressed. In addition, if there is an image coded without referring to another frame at a position near the time of the frame in which the error occurred, this is displayed instead of the frame in which the error occurred, thereby reducing the partial noise in the frame. Can be eliminated. Also, the motion vector used at the time of decompression of the frame is held, and a moving image data area indicated by the motion vector held from the macroblock in the immediately preceding frame temporally adjacent is determined and copied to the macroblock. As a result, disturbance in the display of a moving image can be reduced, and propagation of an error to the next frame can be suppressed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】MPEG方式の動画像圧縮・伸張システムにお
けるエラー回復フロー図。
FIG. 1 is an error recovery flowchart in an MPEG moving image compression / decompression system.

【図2】ネットワーク構成例を示す図。FIG. 2 is a diagram showing a network configuration example.

【図3】圧縮装置・伸張装置構成例を示す図。FIG. 3 is a diagram showing a configuration example of a compression device / expansion device.

【図4】メモリ上におけるフレームメモリとマクロブロ
ックの関係を示す図。
FIG. 4 is a diagram showing a relationship between a frame memory and a macro block on a memory.

【図5】エラー回復処理で使用する閾値テーブルを示す
図。
FIG. 5 is a diagram showing a threshold table used in the error recovery processing.

【図6】伝送誤り率を利用したエラー回復フロー図。FIG. 6 is an error recovery flowchart using a transmission error rate.

【図7】エラー回復処理で使用する伝送誤り率テーブル
を示す図。
FIG. 7 is a diagram showing a transmission error rate table used in the error recovery processing.

【図8】エラー回復処理で使用する動画像の圧縮率テー
ブルを示す図。
FIG. 8 is a view showing a compression ratio table of a moving image used in the error recovery processing.

【図9】フレーム変化量を利用したエラー回復フロー
図。
FIG. 9 is an error recovery flowchart using a frame change amount.

【図10】エラー回復処理で使用する制御データ格納テ
ーブルを新エス図。
FIG. 10 is a new S diagram of the control data storage table used in the error recovery processing.

【図11】フレーム変化量を利用したエラー回復処理に
よる画像表示の流れを示す図。
FIG. 11 is a diagram showing a flow of image display by an error recovery process using a frame change amount.

【図12】残りのPフレーム数を利用したエラー回復フ
ロー図。
FIG. 12 is an error recovery flowchart using the remaining number of P frames.

【図13】参照フレームの動きベクトルを利用したエラ
ー回復フロー図。
FIG. 13 is an error recovery flowchart using a motion vector of a reference frame.

【図14】参照フレームの動きベクトルとコピー位置の
関係を示す図。
FIG. 14 is a diagram illustrating a relationship between a motion vector of a reference frame and a copy position.

【符号の説明】[Explanation of symbols]

201…画像入力装置、202、206…インタフェー
ス、203…圧縮装置、204…ネットワーク、205
…伸張装置、207…画像出力装置、301…CPU、
302…メモリ、303…バス、304…入力制御装
置、305…出力制御装置、401…カレントフレーム
メモリ、402…参照フレームメモリ、403…フレー
ムカウンタ、404…マクロブロック、405…動きベ
クトルテーブル、501…閾値テーブル、701…誤り
率テーブル、801…圧縮率テーブル、1001…制御
データテーブル。
201 image input device, 202, 206 interface, 203 compression device, 204 network 205
... decompression device, 207 ... image output device, 301 ... CPU,
302 ... memory, 303 ... bus, 304 ... input control device, 305 ... output control device, 401 ... current frame memory, 402 ... reference frame memory, 403 ... frame counter, 404 ... macroblock, 405 ... motion vector table, 501 ... Threshold table, 701: error rate table, 801: compression rate table, 1001: control data table.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 西城 瑞穂 東京都小平市上水本町五丁目22番1号 株 式会社日立超エル・エス・アイ・システム ズ内 (72)発明者 森田 浩史 東京都小平市上水本町五丁目22番1号 株 式会社日立超エル・エス・アイ・システム ズ内 (72)発明者 山口 宗明 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 藤川 義文 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 石黒 正雄 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 Fターム(参考) 5C059 MA00 MC38 ME01 PP05 PP06 PP16 RC02 RC37 RF01 RF09 RF14 UA05 UA33 5J064 AA01 BA01 BB03 BB08 BC01 BC27 BD02 5K014 AA01 FA07 GA02  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Mizuho Saijo 5-2-1-1, Josuihonmachi, Kodaira-shi, Tokyo Inside Hitachi Super-LSI Systems Co., Ltd. (72) Inventor Hiroshi Morita Tokyo 5-22-1, Josuihoncho, Kodaira-shi Within Hitachi Ultra-LII Systems Co., Ltd. Inventor Yoshifumi Fujikawa 1099 Ozenji Temple, Aso-ku, Kawasaki City, Kanagawa Prefecture Inside Hitachi, Ltd.System Development Laboratory (72) Inventor Masao Ishiguro 1099 Ozenji, Aso-ku, Kawasaki City, Kanagawa Prefecture F-term in Hitachi, Ltd. (Reference) 5C059 MA00 MC38 ME01 PP05 PP06 PP16 RC02 RC37 RF01 RF09 RF14 UA05 UA33 5J064 AA01 BA01 BB 03 BB08 BC01 BC27 BD02 5K014 AA01 FA07 GA02

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 動画像データをMPEG方式により圧縮
する処理装置と該圧縮したデータを伸張する処理装置を
ネットワークにより接続した動画像データ圧縮伸張シス
テムにおいて、該データ伸張装置は、(1)画像の表示
単位であるフレーム内においてマクロブロックと呼ばれ
る処理単位に昇順で番号を付ける第1のステップと、
(2)圧縮された動画データを解析する際、データのエ
ラーを検出する第2のステップと、(3)エラーを検出
した動画像データ1フレーム内の位置をマクロブロック
単位で特定する第3のステップと、(4)エラーを検出
した以降、該フレームの最後までのマクロブロックをす
べて、時間的に隣接する1つ前のフレームからコピーす
る第4のステップと、(5)エラーが検出されたフレー
ムに対し、時間的に隣接する1つ前のフレームのすべて
のマクロブロックをコピーする第5のステップと、
(6)フレーム内のエラーを検出した位置をマクロブロ
ック番号として記憶し、エラーを検出した位置のマクロ
ブロック番号が閾値nより大きい場合に前記第4のステ
ップを適用し、閾値n以下の場合に前記第5のステップ
適用する第6のステップと、(7)前記1〜6のステッ
プによりエラー回復させたフレームを表示させる第7の
ステップからなることを特徴とする動画像エラー回復方
法。
In a moving image data compression / expansion system in which a processing device for compressing moving image data by the MPEG system and a processing device for expanding the compressed data are connected by a network, the data expansion device includes: A first step of numbering processing units called macroblocks in a frame as a display unit in ascending order;
(2) a second step of detecting an error in the data when analyzing the compressed moving image data; and (3) a third step of specifying a position in one frame of the moving image data in which the error is detected in macroblock units. A step, (4) a fourth step of copying all macroblocks up to the end of the frame after detecting an error from a temporally adjacent previous frame, and (5) detecting an error. A fifth step of copying all macroblocks of the previous frame temporally adjacent to the frame;
(6) The position where an error is detected in the frame is stored as a macroblock number, and the fourth step is applied when the macroblock number at the position where the error is detected is larger than a threshold value n. A moving image error recovery method, comprising: a sixth step of applying the fifth step; and (7) a seventh step of displaying a frame whose error has been recovered by the steps 1 to 6.
【請求項2】 前記第1項記載の動画像データ圧縮伸張
システムにおいて、データ伸張装置の第4のステップ
は、(1)圧縮された動画データを取り込む回線の誤り
率を記憶する第4−1のステップと、(2)前記第4−
1のステップの誤り率に応じてエラーを検出したマクロ
ブロックからさかのぼってn個のマクロブロックも同様
に時間的に隣接する1つ前のフレームからコピーする第
4−2のステップからなることを特徴とする動画像エラ
ー回復方法。
2. The moving image data compression / decompression system according to claim 1, wherein the fourth step of the data decompression device comprises: (1) storing an error rate of a line for receiving the compressed moving image data; (2) the fourth step;
The n-th macroblock, which is traced back from the macroblock in which an error is detected in accordance with the error rate of one step, also includes a 4-2th step of copying from a temporally adjacent previous frame. Moving image error recovery method.
【請求項3】 前記第1項記載の動画像データ圧縮伸張
システムにおいて、データ圧縮装置は、 動画像のフレームを符号化するときに、時間的に隣接す
る1つ前のフレームとの変化量を制御データとして符号
化・圧縮し、この動画像の圧縮データを受信するデータ
伸張装置は、 該制御データに基づき、変化量が閾値n以下の場合には
前記第1項記載の第1のステップから第7のステップを
実施し、閾値nより大きい場合には前記第4のステップ
から第7のステップのかわりに他のフレームの情報を用
いないで圧縮したフレームを次に表示することを特徴と
する動画像エラー回復方法。
3. The moving image data compression / decompression system according to claim 1, wherein the data compression device calculates a change amount from a temporally adjacent immediately preceding frame when encoding a moving image frame. The data decompression device that encodes and compresses the control data and receives the compressed data of the moving image, based on the control data, when the change amount is equal to or less than a threshold value n, from the first step according to the first item. The seventh step is performed, and when the value is larger than the threshold value n, a frame compressed without using information of another frame is displayed next instead of the fourth to seventh steps. Video error recovery method.
【請求項4】 前記第1項記載の動画像データ圧縮伸張
システムにおいて、データ圧縮装置は、 動画像の符号化を行う時に、他のフレームを参照せずに
符号化を行うフレームが何フレーム毎にあるかを示すフ
レーム周期を符号化・圧縮し、 データ伸張装置は、第1のステップに先立ち、(1)フ
レームカウンタを設けフレームを複号する毎にカウント
アップする第1−1のステップと、(2)圧縮装置より
送られたフレーム周期に達した場合に該カウンタを0に
する第1−2のステップと、(3)エラーを検出した場
合に、フレーム周期から該カウンタ値を減算する第1−
3のステップを実施し、(4)該減算結果が閾値n以上
の場合に、前記第1のステップから第7のステップを実
施し、(5)該減算結果が閾値nより小さい場合に、前
記第4のステップから第7のステップのかわりに他のフ
レームを参照せずに符号化した画像を伸張し表示するこ
とを特徴とする動画像エラー回復方法。
4. The moving picture data compression / decompression system according to claim 1, wherein the data compression apparatus performs a coding of a moving picture by referring to the number of frames to be encoded without referring to another frame. The data decompression apparatus encodes and compresses a frame period indicating whether the frame is present in the frame, and (1) prior to the first step, (1) providing a frame counter and counting up each time a frame is decoded; (2) a 1-2 step for setting the counter to 0 when the frame period sent from the compression device has been reached, and (3) subtracting the counter value from the frame period when an error is detected. No. 1-
Step 3 is performed. (4) When the subtraction result is equal to or larger than the threshold value n, the first to seventh steps are performed. (5) When the subtraction result is smaller than the threshold value n, A moving image error recovery method characterized by expanding and displaying an encoded image without referring to another frame instead of the fourth to seventh steps.
【請求項5】 前記第1項記載の動画像データ圧縮伸張
システムにおいて、データ伸張装置は、 フレームの伸張時に用いた動きベクトルをマクロブロッ
ク対応に保持し、 エラーを検出した場合に、前記第4のステップから第7
のステップのかわりに、該保持した動きベクトルより、
時間的に隣接する1つ前のフレームからエラーの発生し
たフレームにコピーする領域を決定することを特徴とす
る動画像エラー回復方法。
5. The moving image data compression / decompression system according to claim 1, wherein the data decompression device holds the motion vector used at the time of decompression of the frame in correspondence with the macroblock, and when the error is detected, the data decompression device stores the motion vector. Step 7
Instead of the step of
A moving image error recovery method, comprising determining an area to be copied from a temporally adjacent previous frame to a frame in which an error has occurred.
JP2001086623A 2001-03-26 2001-03-26 Moving image error recovering method Withdrawn JP2002290978A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001086623A JP2002290978A (en) 2001-03-26 2001-03-26 Moving image error recovering method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001086623A JP2002290978A (en) 2001-03-26 2001-03-26 Moving image error recovering method

Publications (1)

Publication Number Publication Date
JP2002290978A true JP2002290978A (en) 2002-10-04

Family

ID=18941973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001086623A Withdrawn JP2002290978A (en) 2001-03-26 2001-03-26 Moving image error recovering method

Country Status (1)

Country Link
JP (1) JP2002290978A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042769A (en) * 2006-08-09 2008-02-21 Toshiba Corp Moving image decoder and moving image decoding method
JP2008546228A (en) * 2005-05-11 2008-12-18 クゥアルコム・インコーポレイテッド Temporal error concealment for bi-predictive frames
US8150171B2 (en) 2005-07-08 2012-04-03 Fujitsu Limited Apparatus for and method of decoding moving picture, and computer product

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008546228A (en) * 2005-05-11 2008-12-18 クゥアルコム・インコーポレイテッド Temporal error concealment for bi-predictive frames
US8150171B2 (en) 2005-07-08 2012-04-03 Fujitsu Limited Apparatus for and method of decoding moving picture, and computer product
JP2008042769A (en) * 2006-08-09 2008-02-21 Toshiba Corp Moving image decoder and moving image decoding method

Similar Documents

Publication Publication Date Title
US5146325A (en) Video signal decompression apparatus for independently compressed even and odd field data
US7486734B2 (en) Decoding and coding method of moving image signal, and decoding and coding apparatus of moving image signal using the same
JPH1075457A (en) Moving object detector in moving image
US20080232477A1 (en) Method and Device For Coding and Decoding of Video Error Resilience
JPH0775105A (en) Method and device for encoding and decoding image data
JP3031152B2 (en) Motion prediction processor and motion prediction device
JPH11313332A (en) Video signal compression/release device for even number and odd number field data compressed independently
US20050100099A1 (en) Image decoding method, image decoding apparatus, and data storage medium
US20050138532A1 (en) Apparatus and method for concealing errors in a frame
US6754278B1 (en) Method for recovering moving picture by extending a damaged region in which an error occurs
JP2002290978A (en) Moving image error recovering method
CN113810692B (en) Method for framing changes and movements, image processing device and program product
KR100587274B1 (en) method for concealing error in MPEG-2 decompression system
JP2002281508A (en) Skip area detection type moving image encoder and recording medium
JP2008508787A (en) Error concealment technology for inter-coded sequences
JPH0795536A (en) Device and method for reversely reproducing moving image
US20050259735A1 (en) System and method for video error masking using standard prediction
JP3334384B2 (en) Picture prediction coding method
KR102620281B1 (en) Apparatus and Method for Selecting Skip Frames
KR20050076943A (en) Apparatus and method for error hiding of video decoder
KR100301846B1 (en) method for recovering moving picture in MPEG-2 compression/recovery system
JP3597271B2 (en) Video cut point image detection device
JPH01198884A (en) Picture transmission equipment
KR100275543B1 (en) A high-speed mapping parameter detection device and its detection method
JPH07264594A (en) Motion compensative prediction encoding method for dynamic image

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080603