JP2002354488A - Moving picture transmission device - Google Patents

Moving picture transmission device

Info

Publication number
JP2002354488A
JP2002354488A JP2002129963A JP2002129963A JP2002354488A JP 2002354488 A JP2002354488 A JP 2002354488A JP 2002129963 A JP2002129963 A JP 2002129963A JP 2002129963 A JP2002129963 A JP 2002129963A JP 2002354488 A JP2002354488 A JP 2002354488A
Authority
JP
Japan
Prior art keywords
block
motion compensation
motion
circuit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002129963A
Other languages
Japanese (ja)
Inventor
Noboru Yamaguchi
昇 山口
Hideyuki Ueno
秀幸 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002129963A priority Critical patent/JP2002354488A/en
Publication of JP2002354488A publication Critical patent/JP2002354488A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a moving picture transmission device in which motion compensation is made to be more highly precise by appropriately selecting a candidate of motion compensation prediction to be applied to a block unable to be decoded due to discarded cells or transmission errors from among blocks corresponding to the blocks adjacent to this block. SOLUTION: The device for encoding/decoding a moving picture signal block by block is provided with the following on its transmission side: a means for detecting errors in reception encoded data to output a detected signal, a means for identifying a block to be unable to be decoded on the basis of the detected signal, a means for motion compensation predicting pixel values in the vicinity of block able to be decoded according to each of the motion vectors and a motion compensation method of a plurality of block able to be decoded in the vicinity of the block, a means for calculating respective motion compensation prediction error values of the predicted result, a means for selecting the vector to be applied to the block unable to be decoded from among the plurality of motion vectors on the basis of the error value, and a means for correcting the block able to be decoded by motion compensation using the selected motion vector, etc.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、動画像信号を伝送
する動画像伝送装置に係わり、特にブロック単位で動き
補償予測を用いて符号化・復号化を行うものに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture transmitting apparatus for transmitting a moving picture signal, and more particularly to a moving picture transmitting / receiving apparatus which performs coding / decoding using motion compensation prediction in block units.

【0002】[0002]

【従来の技術】ATM網におけるセルの様なパケットに
画像信号を詰め込んで伝送する場合、セル廃棄が生じる
と可変長復号の同期が回復されるまで画像信号の一部が
復号不可能となり、視覚的に大きな劣化が生じる。また
同様に、伝送路においてビットストリームに誤りが発生
すると、同期が回復されるまで復号が不可能となる。そ
こで、セル廃棄や伝送路誤りによる画質劣化を低減する
ための誤り補償法として、受信側で復号不可能となった
ブロックに復号済みの画像信号を用いて置き換える手法
が検討されている。なお、以下の説明ではセル廃棄の場
合について説明するが、伝送路誤りの場合についても同
様のことが言える。
2. Description of the Related Art When an image signal is packed in a packet such as a cell in an ATM network and transmitted, when a cell is discarded, a part of the image signal cannot be decoded until the synchronization of variable-length decoding is restored. Large deterioration occurs. Similarly, if an error occurs in the bit stream on the transmission path, decoding becomes impossible until synchronization is restored. Therefore, as an error compensation method for reducing image quality deterioration due to cell discard or transmission path error, a method of replacing a block that cannot be decoded on the receiving side with a decoded image signal has been studied. In the following description, a case where a cell is discarded will be described, but the same can be said for a case where a transmission path error occurs.

【0003】一般に、動き補償予測を用いた動画像復号
化装置におけるセル廃棄補償技術は、セル廃棄により失
われた画像信号を、フレームメモリ(あるいはフィール
ドメモリ)に蓄えてある画像信号を用いて置き換えるこ
と(コンシールメントと言う)により実現される。
In general, a cell discard compensation technique in a moving picture decoding apparatus using motion compensation prediction replaces an image signal lost by cell discard with an image signal stored in a frame memory (or a field memory). (Called concealment).

【0004】従来のセル廃棄補償法の一例を図19を用
いて説明する。符号化画像内の、セル廃棄により復号不
可能となったブロックAの画像信号を、ブロックAに隣
接する復号可能なブロック(例えばブロックB)の動き
ベクトルを用いてコンシールメントする。具体的には、
ブロックAに対しブロックBの動きベクトルで指し示さ
れる参照画像内のブロックA´の画像信号を動き補償予
測することによりコンシールメントする。即ち、一般に
隣接するブロック間の動きベクトルの相関が高いため、
セル廃棄により復号不可能となったブロックAを、これ
に隣接するブロックBの動きベクトルを用いて動き補償
予測をすることにより画質劣化が低減される。
An example of a conventional cell loss compensation method will be described with reference to FIG. The image signal of the block A in the coded image, which cannot be decoded due to cell discard, is concealed using the motion vector of a block (for example, block B) adjacent to the block A and which can be decoded. In particular,
Concealment is performed by performing motion compensation prediction on the image signal of block A ′ in the reference image indicated by the motion vector of block B with respect to block A. That is, since the correlation between motion vectors between adjacent blocks is generally high,
A block A that cannot be decoded due to cell discarding is subjected to motion compensation prediction using a motion vector of a block B adjacent to the block A, so that image quality deterioration is reduced.

【0005】例えば、1992年画像符号化シンポジウ
ム(PCSJ92)、6−1、”セル廃棄耐性を有する
ATM画像符号化方式”では、図20(a)に示すよう
に、ブロックAの周囲にコンシールメントに用いる動き
ベクトルの候補(最大8通り)を設定し、水平・垂直方
向独立に動きベクトルの重み付き多数決値をとり、最多
数となる動きベクトルを用いた動き補償予測によりコン
シールメントする。ここで、多数決に用いられる重み
は、図20(b)の様にブロックAに近い動きベクトル
ほど選ばれやすくなるように設定している。また、動き
ベクトル間の相関が低く十分な多数決が行えない場合に
は、図20(c)の様に動きベクトルの候補を増やして
(最大14通り)多数決をとり直す。この場合、例えば
ブロックAの周囲に隣接するブロック1〜8間の動きベ
クトルの相関が低くても、ブロック9、11、12間の
動きベクトルの相関が高い場合には、ブロックAはブロ
ック9、11、12のいずれかの動きベクトルを用いて
コンシールメントされることになる。しかし、ブロック
Aの動きベクトルと、ブロック9、11、12の動きベ
クトルとの間の相関が高いとは限らないため、隣接する
ブロックの動きベクトルの間に相関がない場合には、動
きベクトルの値だけで信頼性の高いコンシールメントに
用いる動きベクトルを選択することは困難である。更
に、動き補償予測のモードが複数ある場合(例えばMP
EGでは、前方、後方、両方向予測がある。参照:安田
浩編著、”マルチメディア符号化の国際標準”、丸善)
には、動き補償予測の自由度が増すため8通りの動き補
償予測の候補から多数決により1つの候補を選択するこ
とは困難となる。
[0005] For example, in the 1992 Image Coding Symposium (PCSJ92), 6-1 "ATM Image Coding System Having Cell Loss Tolerance", as shown in FIG. (Maximum of eight) are set for motion vectors, weighted majority values of motion vectors are obtained independently in the horizontal and vertical directions, and concealment is performed by motion compensation prediction using the largest number of motion vectors. Here, the weight used for the majority decision is set so that a motion vector closer to the block A is more easily selected as shown in FIG. If the correlation between the motion vectors is too low to make a sufficient majority decision, the majority of motion vectors are re-determined by increasing the number of motion vector candidates as shown in FIG. In this case, for example, even if the correlation of the motion vectors between the blocks 1 to 8 adjacent around the block A is low, if the correlation of the motion vectors between the blocks 9, 11, and 12 is high, the block A is the block 9, The concealment is performed using any one of the motion vectors 11 and 12. However, since the correlation between the motion vector of the block A and the motion vector of the blocks 9, 11, and 12 is not always high, if there is no correlation between the motion vectors of the adjacent blocks, It is difficult to select a motion vector used for highly reliable concealment by using only the value. Further, when there are a plurality of motion compensation prediction modes (for example, MP
In EG, there are forward, backward and bidirectional predictions. Reference: Hiroshi Yasuda, "International Standard for Multimedia Coding," Maruzen)
In this case, since the degree of freedom of the motion compensation prediction is increased, it is difficult to select one candidate from the eight motion compensation prediction candidates by majority decision.

【0006】また、1991年画像符号化シンポジウム
(PCSJ91)、9−2、”ATM用画像符号化方式
の検討”では、図21に示すように、ブロックAの上下
に隣接する2つのブロックを組として、直前の再生画像
との間で動きベクトル検出を行い、ブロックAの動き補
償予測に用いる動きベクトルを間接的に検出することに
より、ブロックAをコンシールメントしているため、適
切な画素値がコンシールメントされる。但しこの方法で
は、動きベクトルを検出するために多大な計算量を必要
としてしまう。
Also, in the 1991 Image Coding Symposium (PCSJ91), 9-2, "Study of ATM Image Coding Method", as shown in FIG. Since the motion vector is detected between the immediately preceding reproduced image and the motion vector used for the motion compensation prediction of the block A is indirectly detected, the block A is concealed. Concealed. However, this method requires a large amount of calculation to detect a motion vector.

【0007】更に、シーケンスの最初のIピクチャ(全
てのブロックをフレーム内符号化する画像)でセル廃棄
が生じた場合や、シーンチェンジ後にシーンチェンジ前
の画像を参照画像とする画像でセル廃棄が生じた場合に
は、参照画像内にはコンシールメントに使用すべき画像
データが無いため、上記のような動き補償予測を用いた
コンシールメントはできない。
Furthermore, cell discarding occurs in the first I picture of a sequence (an image in which all blocks are intra-coded), or cell discarding occurs in a picture after a scene change but before a scene change as a reference picture. If this occurs, there is no image data to be used for concealment in the reference image, so concealment using the above-described motion compensation prediction cannot be performed.

【0008】具体的には、シーケンスの最初のIピクチ
ャでセル廃棄が生じた場合や、シーンチェンジ前の画像
(図22(a)のフレーム#n−1)を参照画像として
動き補償予測する画像(図22(a)のフレーム#n)
においてセル廃棄が生じた場合には、コンシールメント
に使用し得る(動き補償に使用し得る)画像信号が無い
ため、動き補償によるコンシールメントができないこと
が問題となる。そこで、図22(b)のように、セル廃
棄により復号不可能となったブロック(斜線部のブロッ
ク)に隣接する復号可能なブロック内の画素値を用い
て、復号不可能なブロック内の画素を内挿することによ
りコンシールメントする。この際、図22(a)のフレ
ーム#nとフレーム#n+1とのフレーム間相関が高く
(動き補償予測誤差がほとんど0となる場合)、帯域の
広いブロックがセル廃棄により復号不可能となった場
合、図23(a)に示すように、受信側のフレーム#n
における画素内挿によりコンシールメントされたブロッ
クは非常に狭い帯域の成分しかなく、これに加えられる
予測誤差信号がほとんど0であるため、受信側のフレー
ム#n+1において上記のコンシールメントされたブロ
ックを参照とした再生画像の帯域は依然として低域の信
号のみである。更に、以後のフレームにおいてもフレー
ム間相関が高い場合には、高域成分が復元されないた
め、帯域の狭いブロックが一部残ってしまうために、視
覚的な劣化が以後のフレームにも続いてしまう問題があ
った。ここで、図23(a)〜(c)における斜線部が
各信号成分である。
[0008] More specifically, an image in which a cell is discarded in the first I picture of the sequence or an image for which motion compensation prediction is performed using an image before a scene change (frame # n-1 in FIG. 22A) as a reference image. (Frame #n in FIG. 22A)
In the case where cell discarding occurs in the above, there is no image signal that can be used for concealment (can be used for motion compensation), so that there is a problem that concealment by motion compensation cannot be performed. Therefore, as shown in FIG. 22B, a pixel value in a non-decodable block is used by using a pixel value in a decodable block adjacent to a block (a shaded block) that has become undecodable due to cell discard. Is concealed by interpolation. At this time, the inter-frame correlation between frame #n and frame # n + 1 in FIG. 22A is high (when the motion compensation prediction error is almost 0), and blocks with a wide band cannot be decoded due to cell discard. In this case, as shown in FIG.
Since the block concealed by pixel interpolation in has only a very narrow band component and the prediction error signal added thereto is almost 0, refer to the above concealed block in frame # n + 1 on the receiving side. The band of the reproduced image is still only a low-frequency signal. Further, if the inter-frame correlation is high even in the subsequent frames, the high-frequency components are not restored, and some blocks with a narrow band remain, so that visual deterioration continues in the subsequent frames. There was a problem. Here, hatched portions in FIGS. 23A to 23C are signal components.

【0009】また、シーケンスの最初のIピクチャや、
シーンチェンジ前の画像を参照画像とする画像ではフレ
ーム内での発生情報量が多いため、他のフレームに比べ
これらのフレームの画像データのセルの数が増加して、
セル廃棄の影響を受けやすい問題がある。
Also, the first I picture of the sequence,
Since the amount of information generated in a frame is large in an image in which an image before a scene change is used as a reference image, the number of image data cells in these frames increases compared to other frames,
There is a problem that is easily affected by cell discard.

【0010】一方、従来のイントラスライスやイントラ
コラムによるリフレッシュでは、図24におけるリフレ
ッシュされた領域2に属するブロックを動き補償予測す
る際には、領域2からみてリフレッシュされていない領
域1に属する画像信号を参照しないように、動きベクト
ルの探索範囲の制限をしていたため、受信側で動きベク
トルを利用したコンシールメントを実行する際に、信頼
性の高い動きベクトルが得られなかった。
[0010] On the other hand, in the conventional refreshing by intra slice or intra column, when motion compensated prediction is performed on a block belonging to the refreshed area 2 in FIG. , The search range of the motion vector is limited so as not to refer to the above. Therefore, when concealment using the motion vector is executed on the receiving side, a highly reliable motion vector cannot be obtained.

【0011】例えば、1992年電子情報通信学会秋季
大会、D−162、”低遅延フレーム間予測符号化の検
討”では、図24に示されるように、強制的にフレーム
内符号化されたブロックのライン(図24の斜線部)を
周期的に設定して(これを、イントラスライスと呼ぶ)
リフレッシュを行い、図24のようにイントラスライス
で囲まれるひし形の領域を領域1及び領域2とすると
(それぞれ、左側の1周期分のイントラスライスを含
む)、領域2に属するブロックを符号化する際に領域1
が参照されないように動きベクトルの探索範囲を制限す
ることにより、領域1において発生した誤りによる画質
劣化が、領域2以降に伝搬することを抑えることができ
る。しかし、誤りにより復号不可能となったブロックを
動きベクトルを利用してコンシールメントする際に、探
索範囲の制限された動きベクトルは、該ブロックの実際
の動きとの相関が高いとは言えないため、コンシールメ
ントによる画質劣化の低減が期待できない。同様に、水
平方向に強制的にフレーム内符号化のラインを設定する
のではなく、垂直方向に強制的にフレーム内符号化のラ
インを設定(これを、イントラコラムと呼ぶ)しても同
様である。また、日経エレクトロニクス1993年5月
10日号(no.580)、pp.63〜64にも示さ
れているように、MPEG2では誤り耐性の機能とし
て、フレーム内符号化されるマクロブロックには、動き
ベクトルを付与することができるようになっている。
For example, in the 1992 Autumn Meeting of the Institute of Electronics, Information and Communication Engineers, D-162, “Study of Low Delay Interframe Predictive Coding”, as shown in FIG. Lines (hatched portions in FIG. 24) are set periodically (this is called an intra slice).
Assuming that a diamond-shaped region surrounded by intra-slices is defined as region 1 and region 2 as shown in FIG. In area 1
By restricting the search range of the motion vector so as not to be referred to, it is possible to suppress the image quality deterioration due to an error occurring in the area 1 from propagating to the area 2 and thereafter. However, when concealing a block that cannot be decoded due to an error using a motion vector, the motion vector whose search range is limited cannot be said to have a high correlation with the actual motion of the block. However, reduction in image quality deterioration due to concealment cannot be expected. Similarly, instead of forcibly setting the intra-frame coding line in the horizontal direction, the same applies when the intra-frame coding line is forcibly set in the vertical direction (this is called an intra column). is there. Also, see Nikkei Electronics May 10, 1993 issue (no. As shown in 63 to 64, in MPEG2, a motion vector can be added to a macroblock to be intra-coded as an error resilience function.

【0012】[0012]

【発明が解決しようとする課題】従来のセル廃棄や伝送
路誤りに対する補償法では、隣接するブロックで用いら
れている動き補償予測の中より、復号不可能なブロック
に対して適切な動き補償予測の候補を選択する際に、隣
接ブロック間の動きベクトルの相関を利用して、周囲の
ブロックの動きベクトルの値のみを比較してコンシール
メントに用いる動きベクトルを選択している。従って、
隣接ブロック間の動きベクトルの相関が小さい場合に
は、適切な動きベクトルが選択されにくくなりセル廃棄
補償の性能が低下する問題があった。
In the conventional method for compensating for cell discards and transmission line errors, a motion compensation prediction suitable for an undecodable block is selected from among motion compensation predictions used in adjacent blocks. When selecting a candidate, a motion vector to be used for concealment is selected by comparing only the values of the motion vectors of the surrounding blocks using the correlation of the motion vectors between adjacent blocks. Therefore,
When the correlation between the motion vectors between adjacent blocks is small, it is difficult to select an appropriate motion vector, and there is a problem that the performance of cell discard compensation is reduced.

【0013】更に、シーケンスの最初のIピクチャ(全
てのブロックをフレーム内符号化する画像)でセル廃棄
が生じた場合や、シーンチェンジ後にシーンチェンジ前
の画像を参照画像とする画像でセル廃棄が生じた場合に
は、参照画像内にはコンシールメントに使用すべき画像
データが無いため、上記のような動き補償予測を用いた
コンシールメントはできない。また、シーケンスの最初
のIピクチャや、シーンチェンジ前の画像を参照画像と
する画像ではフレーム内での発生情報量が多いため、他
のフレームに比べこれらのフレームの画像データのセル
の数が増加して、セル廃棄の影響を受けやすい問題があ
る。
Furthermore, cell discarding occurs in the first I picture of a sequence (image in which all blocks are intra-coded), or cell discarding occurs in a picture after a scene change but before a scene change as a reference picture. If this occurs, there is no image data to be used for concealment in the reference image, so concealment using the above-described motion compensation prediction cannot be performed. In addition, since the amount of information generated in a frame is large in an I-picture at the beginning of a sequence or in an image using an image before a scene change as a reference image, the number of image data cells in these frames increases compared to other frames. Thus, there is a problem that is easily affected by cell discard.

【0014】また、従来のイントラスライスやイントラ
コラムによるリフレッシュでは、リフレッシュ領域に属
するブロックを動き補償予測する際には、リフレッシュ
領域以外の領域に属する画像信号を参照しないように、
動きベクトルの探索範囲の制限をしていたため、受信側
で動きベクトルを利用したコンシールメントを実行する
際に、信頼性の高い動きベクトルが得られなかった。
In conventional refreshing using intra-slices or intra-columns, when motion compensation prediction is performed on a block belonging to a refresh area, an image signal belonging to an area other than the refresh area is not referred to.
Since the search range of the motion vector was limited, a highly reliable motion vector could not be obtained when concealment using the motion vector was performed on the receiving side.

【0015】本発明は上記課題を解決するためになされ
たものであり、その目的は、セル廃棄や伝送路誤りによ
り復号不可能となったブロックを該ブロックに隣接する
他のブロックの動き補償予測を用いて動き補償予測する
動画像伝送装置であって、該復号不可能となったブロッ
クとこれに隣接するブロックとの間の動きベクトルの相
関が低い場合であっても適切な動き補償予測の候補を選
択できるようにして動き補償予測をより高精度にした動
画像伝送装置を提供することにある。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to make a block which cannot be decoded due to cell discard or a transmission path error perform motion compensation prediction of another block adjacent to the block. And a motion-compensation prediction apparatus that performs motion-compensation prediction using a motion-correction prediction method. It is an object of the present invention to provide a moving image transmission apparatus that can select a candidate and makes motion compensation prediction more accurate.

【0016】[0016]

【課題を解決するための手段】上記目的を達成するため
に本発明(請求項1)では、動画像信号をブロック単位
で動き補償予測を用いて符号化したデータを送信する動
画像送信装置と、該符号化データを受信してブロック単
位で復号する動画像受信装置とを備えた動画像伝送装置
において、前記動画像受信装置は、受信した前記符号化
データの誤りを検出して誤り検出信号を出力する誤り検
出手段と、この誤り検出信号に基づいて前記誤りにより
復号不可能となるブロックを識別する識別手段と、この
識別手段によって復号不可能と識別されたブロックの近
傍にある複数の復号可能なブロックの動きベクトルおよ
び動き補償の方法の夫々に従って、該復号不可能と識別
されたブロックの近傍にある復号可能なブロックに属す
る複数の画素値を動き補償予測する動き補償予測手段
と、該動き補償予測の結果夫々について動き補償予測誤
差値を計算する誤差値計算手段と、この動き補償予測誤
差値に基づいて前記複数の動きベクトルおよび動き補償
の方法のうちから前記復号不可能と識別されたブロック
に適用する動きベクトルおよび動き補償の方法を選択す
る選択手段と、この選択された動きベクトルおよび動き
補償の方法を用いて前記復号不可能と識別されたブロッ
クを動き補償により修正する修正手段とを具備すること
を特徴とする。
In order to achieve the above object, according to the present invention (claim 1), there is provided a moving picture transmitting apparatus for transmitting data obtained by coding a moving picture signal in units of blocks using motion compensation prediction. A moving image receiving apparatus that receives the encoded data and decodes the encoded data in block units, wherein the moving image receiving apparatus detects an error in the received encoded data and outputs an error detection signal. , An identification unit for identifying a block that cannot be decoded due to the error based on the error detection signal, and a plurality of decoding units near the block identified as undecodable by the identification unit. According to each of the motion vector of the possible block and the method of motion compensation, a plurality of pixel values belonging to a decodable block near the block identified as undecodable are calculated. Motion compensation prediction means for compensating and predicting, error value calculation means for calculating a motion compensation prediction error value for each of the results of the motion compensation prediction, and the plurality of motion vectors and motion compensation based on the motion compensation prediction error value. Selecting means for selecting a motion vector and a motion compensation method to be applied to the block identified as undecodable among the methods, and identifying the undecodable using the selected motion vector and the motion compensation method. Correction means for correcting the block obtained by motion compensation.

【0017】上記目的を達成するために本発明(請求項
2)では、動画像信号をブロック単位で動き補償予測を
用いて符号化したデータを送信する動画像送信装置と、
該符号化データを受信してブロック単位で復号する動画
像受信装置とを備えた動画像伝送装置において、前記動
画像受信装置は、受信した前記符号化データの誤りを検
出して誤り検出信号を出力する誤り検出手段と、この誤
り検出信号に基づいて前記誤りにより復号不可能となる
ブロックを識別する識別手段と、前記符号化データから
各ブロックの動き補償予測誤差信号ならびに対応する動
きベクトルおよび動き補償の方法を復号する復号手段
と、この復号された動きベクトルおよび動き補償の方法
を用いて対応するブロックの動き補償予測信号を生成す
る動き補償予測手段と、前記動き補償予測誤差信号のア
クティビティを計算する第1の計算手段と、前記動き補
償予測信号のアクティビティを計算する第2の計算手段
と、前記動き補償予測誤差信号のアクティビティと前記
動き補償予測信号のアクティビティとの比を計算する第
3の計算手段と、前記識別手段によって復号不可能と識
別されたブロックの近傍の複数の復号可能なブロックの
動き補償の信頼性を、各ブロックに対する前記アクティ
ビティの比の値に基づいて夫々判定する判定手段と、こ
の判定された信頼性に基づいて前記復号可能なブロック
に対応する動きベクトルおよび動き補償の方法のうちか
ら前記復号不可能と識別されたブロックに適用する動き
ベクトルおよび動き補償の方法を選択する選択手段と、
この選択された動きベクトルおよび動き補償の方法を用
いて前記復号不可能と識別されたブロックを動き補償に
より修正する修正手段とを具備することを特徴とする。
In order to achieve the above object, according to the present invention (claim 2), a moving picture transmitting apparatus for transmitting data obtained by coding a moving picture signal in units of blocks using motion compensation prediction,
A moving image receiving apparatus that receives the encoded data and decodes the encoded data in block units, wherein the moving image receiving apparatus detects an error in the received encoded data and outputs an error detection signal. An error detecting means for outputting, an identifying means for identifying a block which cannot be decoded due to the error based on the error detecting signal, a motion compensation prediction error signal of each block and a corresponding motion vector and motion from the encoded data. Decoding means for decoding a compensation method; motion compensation prediction means for generating a motion compensation prediction signal of a corresponding block using the decoded motion vector and the motion compensation method; and an activity of the motion compensation prediction error signal. First calculating means for calculating, activity calculating means for calculating the activity of the motion compensated prediction signal, and Third calculating means for calculating a ratio between the activity of the error signal and the activity of the motion-compensated prediction signal; and motion compensation of a plurality of decodable blocks near the block identified as undecodable by the identifying means. Determining means for determining the reliability based on the value of the ratio of the activity to each block; and a motion vector and a motion compensation method corresponding to the decodable block based on the determined reliability. Selecting means for selecting a motion vector and a motion compensation method to be applied to the block identified as undecodable,
And a correction means for correcting the block identified as undecodable by motion compensation using the selected motion vector and the method of motion compensation.

【0018】本発明(請求項1)によれば、パケット廃
棄や伝送路誤りにより復号不可能となるブロック(図2
(a)のX)に隣接する復号可能なブロック(図2
(a)のA〜H)で用いられている動き補償予測(前方
予測、後方予測等の予測モードと動きベクトル)を、該
ブロックをコンシールメントする際に用いる動き補償予
測の候補として設定し、該ブロックに用いる適切な動き
補償予測を選択する際に、該ブロックに隣接する復号可
能なブロックの信号を用いて各候補の動き補償予測誤差
を計算し、誤差評価値が最も小さくなる動き補償予測を
選択することで、隣接ブロック間の動きベクトルの相関
が小さい場合でも、動き補償予測の候補の中から適切な
ものが選択されるようになる。従って、該復号不可能な
ブロックをコンシールメントして得られる画像の予測精
度を向上させることができる。
According to the present invention (claim 1), blocks which cannot be decoded due to packet discarding or transmission path errors (FIG. 2)
Decodable blocks adjacent to X) in FIG.
The motion compensation prediction (prediction mode such as forward prediction and backward prediction and motion vector) used in (A) A to H) is set as a candidate of the motion compensation prediction used when concealing the block, When selecting an appropriate motion compensation prediction to be used for the block, a motion compensation prediction error of each candidate is calculated using a signal of a decodable block adjacent to the block, and the motion compensation prediction that minimizes the error evaluation value is calculated. By selecting, even when the correlation between the motion vectors between adjacent blocks is small, an appropriate one is selected from the motion compensation prediction candidates. Therefore, the prediction accuracy of an image obtained by concealing the undecodable block can be improved.

【0019】本発明(請求項2)によれば、パケット廃
棄や伝送路誤りにより復号不可能となるブロック(図2
(a)のX)に隣接する復号可能なブロック(図2
(a)のA〜H)で用いられている動き補償予測(前方
予測、後方予測等の予測モードと動きベクトル)を、該
ブロックをコンシールメントする際に用いる動き補償予
測の候補として設定し、該ブロックに用いる適切な動き
補償予測を選択する際に、該ブロックに隣接する復号可
能なブロックにおける動き補償予測誤差信号のアクティ
ビティと動き補償予測信号のアクティビティとの比を計
算してその動き補償の信頼性を評価し、この信頼性が最
も高くなる動き補償予測を選択することで、隣接ブロッ
ク間の動きベクトルの相関が小さい場合でも、動き補償
予測の候補の中から適切なものが選択されるようにな
る。従って、該復号不可能なブロックをコンシールメン
トして得られる画像の予測精度を向上させることができ
る。
According to the present invention (claim 2), a block which cannot be decoded due to packet discard or transmission path error (FIG. 2)
Decodable blocks adjacent to X) in FIG.
The motion compensation prediction (prediction mode such as forward prediction and backward prediction and motion vector) used in (A) A to H) is set as a candidate of the motion compensation prediction used when concealing the block, When selecting an appropriate motion compensation prediction to be used for the block, a ratio between the activity of the motion compensation prediction error signal and the activity of the motion compensation prediction signal in a decodable block adjacent to the block is calculated, and the motion compensation prediction is performed. By evaluating the reliability and selecting the motion compensation prediction with the highest reliability, even when the correlation between the motion vectors between adjacent blocks is small, an appropriate motion compensation prediction candidate is selected. Become like Therefore, the prediction accuracy of an image obtained by concealing the undecodable block can be improved.

【0020】[0020]

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0021】(第1の実施形態)まず、本発明の第1の
実施形態に係る動画像伝送装置について説明する。図1
は、本実施形態に係る動画像受信装置を示すブロック図
である。
(First Embodiment) First, a moving picture transmission apparatus according to a first embodiment of the present invention will be described. FIG.
1 is a block diagram showing a moving image receiving device according to the present embodiment.

【0022】なお、本実施形態に係わる動画像送信装置
は、ITU(旧CCITT)標準H.26Xのような動
画像をブロック単位で動き補償を用いた符号化装置であ
れば、どのようなものでもかまわない。
The moving picture transmitting apparatus according to the present embodiment is based on ITU (formerly CCITT) standard H.264. Any coding device that uses motion compensation for a moving image such as 26X in block units may be used.

【0023】本実施形態では、まず、パケット廃棄や伝
送路誤りにより復号不可能となるブロック(図2(a)
のX)に隣接する復号可能なブロック(図2(a)のA
〜H)で用いられている動き補償予測(前方予測、後方
予測等の予測モードと動きベクトル)を、コンシールメ
ントに用いる動き補償予測の候補として設定する。次
に、ブロックXに隣接するブロック内の画素値に各動き
補償予測の候補を適用し、各々の候補毎に動き補償予測
誤差値を計算し、誤差評価値が最も小さくなる動き補償
予測を候補の中から選択して、この動き補償予測を用い
てブロックXをコンシールメントする。
In this embodiment, first, a block that cannot be decoded due to packet discard or transmission path error (FIG. 2A)
X) adjacent to a decodable block (A in FIG. 2A).
To H) (motion prediction and prediction modes such as forward prediction and backward prediction) are set as candidates for motion compensation prediction used for concealment. Next, each motion compensation prediction candidate is applied to a pixel value in a block adjacent to the block X, and a motion compensation prediction error value is calculated for each candidate. And concealment of the block X is performed using the motion compensation prediction.

【0024】はじめに、図1の誤り検出回路100の例
を図3を用いて説明する。
First, an example of the error detection circuit 100 shown in FIG. 1 will be described with reference to FIG.

【0025】図3(a)に示されるように、線10を介
してパケットが供給される場合には、パケット分解回路
101においてパケットを分解し、ビットストリームを
デマルチプレクサ・可変長復号回路102に供給すると
共に、パケット廃棄識別情報(ATMセルではシーケン
ス番号)からパケットの廃棄を検出して、パケット廃棄
情報を復号不可能識別情報フラグ回路103に供給す
る。デマルチプレクサ・可変長復号回路102に供給さ
れたビットストリームは、離散コサイン変換(DCT)
係数、サイド情報に分離された後、可変長復号化され、
差分データとして送られてきた信号(例えば動きベクト
ル)に関しては元の形に戻した後、デコーダ110に供
給される。この際、可変長符号テーブルに無い符号が現
れたりするようなビットストリームのシンタックス上の
誤りが検出された場合には、復号不可能識別情報フラグ
回路103にその情報を供給する。復号不可能識別情報
フラグ回路103では、パケット分解回路101および
デマルチプレクサ・可変長復号化回路102において検
出された誤りによって、復号不可能となるブロックには
アドレスと復号不可能識別情報フラグを立てて線20を
介して出力する。
As shown in FIG. 3A, when a packet is supplied via a line 10, the packet is decomposed in a packet decomposing circuit 101 and the bit stream is transmitted to a demultiplexer / variable-length decoding circuit 102. At the same time, the packet discard detection is detected from the packet discard identification information (sequence number in the case of the ATM cell), and the packet discard information is supplied to the non-decodable identification information flag circuit 103. The bit stream supplied to the demultiplexer / variable length decoding circuit 102 is subjected to a discrete cosine transform (DCT).
After being separated into coefficients and side information, variable-length decoding is performed.
The signal (for example, a motion vector) sent as the difference data is returned to the original form and then supplied to the decoder 110. At this time, if an error in the syntax of the bit stream such that a code that does not exist in the variable length code table appears, the information is supplied to the non-decodable identification information flag circuit 103. The undecodable identification information flag circuit 103 sets an address and an undecodable identification information flag for a block that cannot be decoded due to an error detected in the packet decomposing circuit 101 and the demultiplexer / variable-length decoding circuit 102. Output via line 20.

【0026】一方、図3(b)に示されるように、線1
0を介してビットストリームが供給される場合には、誤
り訂正回路104において訂正可能な誤りを訂正したビ
ットストリームをデマルチプレクサ・可変長復号回路1
02に供給する。デマルチプレクサ・可変長復号回路1
02に供給されたビットストリームは、離散コサイン変
換(DCT)係数、サイド情報に分離された後、可変長
復号化され、差分データとして送られてきた信号(例え
ば動きベクトル)に関しては元の形に戻した後、デコー
ダ110に供給される。この際、誤りが訂正しきれなか
ったり、誤訂正をしてしまったことにより、可変長符号
テーブルに無い符号が現れたりするようなビットストリ
ームのシンタックス上の誤りが検出された場合には、復
号不可能となるブロックのアドレスには復号不可能識別
情報フラグをたてて線20を介して出力する。
On the other hand, as shown in FIG.
When the bit stream is supplied via the “0”, the error correcting circuit 104 corrects the correctable error in the bit stream.
02. Demultiplexer / variable length decoding circuit 1
02 is separated into discrete cosine transform (DCT) coefficients and side information, and then subjected to variable-length decoding. A signal (eg, a motion vector) transmitted as differential data is restored to its original form. After returning, it is supplied to the decoder 110. At this time, if an error in the bit stream syntax such that an error cannot be completely corrected or an erroneous correction has been made, and a code not present in the variable length code table appears, the error is detected. An address of a block that cannot be decoded is set with a non-decodable identification information flag and output via a line 20.

【0027】図1のデコーダ110では、誤り検出回路
100より供給されるDCT係数は逆量子化回路111
へ、動きベクトルや動き補償予測モードなどからなるサ
イド情報は線30を介して動き補償予測回路113およ
び動き補償情報メモリ120へ、各々供給される。
In the decoder 110 of FIG. 1, the DCT coefficient supplied from the error detection circuit 100 is
The side information including the motion vector and the motion compensation prediction mode is supplied to the motion compensation prediction circuit 113 and the motion compensation information memory 120 via the line 30.

【0028】逆量子化回路111では逆量子化したDC
T係数を、逆DCT回路112に供給する。一方、動き
補償予測回路113では、ブロック毎に動き補償予測の
モードに合わせてフレームメモリ130から線40を介
して参照画像信号を読み込み、予測値を作成して加算器
114に供給する。ただし、フレーム内符号化のモード
のブロックでは、加算器114に入力する予測値は0と
する。加算器114では、逆DCT回路112より供給
される予測誤差と動き補償予測回路113より供給され
る予測値を加算して、線50を介してフレームメモリ1
30に供給する。
In the inverse quantization circuit 111, the inversely quantized DC
The T coefficient is supplied to the inverse DCT circuit 112. On the other hand, the motion compensation prediction circuit 113 reads a reference image signal from the frame memory 130 via the line 40 in accordance with the mode of motion compensation prediction for each block, creates a prediction value, and supplies the prediction value to the adder 114. However, in the block in the intra-frame encoding mode, the predicted value input to the adder 114 is 0. The adder 114 adds the prediction error supplied from the inverse DCT circuit 112 and the prediction value supplied from the motion compensation prediction circuit 113, and adds the result to the frame memory 1 via a line 50.
30.

【0029】なお、本実施形態のデコーダは動き補償予
測回路113を含んでいれば他の構成でも良い。
The decoder of this embodiment may have another configuration as long as it includes the motion compensation prediction circuit 113.

【0030】コンシールメント回路140において、図
2に示されるブロックXをブロックA〜Hまでの情報を
用いてコンシールメントする時には、動き補償情報メモ
リ120においては、図2(a)のハッチングされたブ
ロックに対して、線30を介して供給される動き補償予
測のモードおよび動きベクトルの値と、誤り検出回路1
00から線20を介して供給される復号不可能識別情報
フラグが蓄えられることになる。また、フレームメモリ
130には、図2(a)でハッチングされたブロックの
画像信号が蓄えられることになる。即ち、ブロックHの
復号が終了し、動き補償情報メモリ120およびフレー
ムメモリ130にブロックHの信号が蓄えられるまで、
ブロックXの信号が遅延された後、コンシールメントさ
れて出力される。但し、線20を介して復号不可能識別
情報フラグが供給され、復号不可能と認識されるブロッ
クの動き補償情報や画像データは書き換える必要はな
い。
When the concealment circuit 140 conceals the block X shown in FIG. 2 using the information of the blocks A to H, the motion compensation information memory 120 stores the hatched block shown in FIG. , The mode of the motion compensation prediction and the value of the motion vector supplied via the line 30 and the error detection circuit 1
The non-decodable identification information flag supplied via line 20 from 00 will be stored. Further, the frame memory 130 stores image signals of the blocks hatched in FIG. That is, until the decoding of the block H is completed and the signal of the block H is stored in the motion compensation information memory 120 and the frame memory 130,
After the signal of block X is delayed, it is concealed and output. However, the non-decodable identification information flag is supplied via the line 20, and it is not necessary to rewrite the motion compensation information and the image data of the block recognized as non-decodable.

【0031】コンシールメント回路140では、まず第
1の動き補償回路141において、動き補償情報メモリ
120に蓄えられているブロックA〜Hの中で復号可能
でありかつフレーム内符号化でないブロックの動き補償
情報を用いてブロックX近傍の画素値に対する予測値を
フレームメモリ130から読み込んだ参照画像から作成
し、誤差評価値計算回路142に供給する。
In the concealment circuit 140, first, in the first motion compensation circuit 141, the motion compensation of the blocks A to H stored in the motion compensation information memory 120 that are decodable and are not intra-frame coded. A prediction value for a pixel value near block X is created from the reference image read from frame memory 130 using the information, and is supplied to error evaluation value calculation circuit 142.

【0032】動き補償誤差評価回路(以下、MC誤差評
価回路と言う)142では、フレームメモリ130から
ブロックX近傍の画素の再生画像を読み込み、第1の動
き補償予測回路141より供給されるブロックX近傍の
画素の予測値との誤差評価値(誤差信号の絶対値和ある
いは2乗和)を計算した後、誤差評価値を選択回路14
3に供給する。但し、ブロックX近傍の画素の中で、復
号不可能なブロックに含まれる画素の動き補償予測誤差
は評価しない。
A motion compensation error evaluation circuit (hereinafter, referred to as an MC error evaluation circuit) 142 reads a reproduced image of a pixel in the vicinity of the block X from the frame memory 130, and outputs the block X supplied from the first motion compensation prediction circuit 141. After calculating an error evaluation value (sum of absolute value or sum of squares of the error signal) with the prediction value of the neighboring pixel, the error evaluation value is selected by the selection circuit 14.
Supply 3 However, among the pixels near the block X, the motion compensation prediction error of the pixels included in the undecodable block is not evaluated.

【0033】選択回路143では、MC誤差評価回路1
42より供給される、誤差評価値の最も小さくなる動き
補償予測を選択し、動き補償情報メモリ120より該当
する動き補償情報を読み込み、第2の動き補償回路14
4に供給する。
In the selection circuit 143, the MC error evaluation circuit 1
The motion compensation prediction which is supplied from 42 and has the smallest error evaluation value is selected, the corresponding motion compensation information is read from the motion compensation information memory 120, and the second motion compensation circuit 14
4

【0034】第2の動き補償回路144では、選択回路
143により選択された最も適切な動き補償予測を用い
てブロックXの動き補償予測値(コンシールメント画
像)を、フレームメモリ130から読み込んだ参照画像
信号から作成し、セレクタ150に供給する。なお、ブ
ロックXに隣接するブロックが復号不可能であったり、
動き補償のモードではない(例えば、フレーム内符号化
のモード)ブロックであるため動き補償情報が得られな
い場合には、例えば、フレームメモリ130に蓄えられ
ている参照画像内のブロックXと同じ位置にあるブロッ
クの画像データを読み込みセレクタ150に供給すれば
よい。
The second motion compensation circuit 144 uses the most appropriate motion compensation prediction selected by the selection circuit 143 to read the motion compensation prediction value (concealment image) of the block X from the frame memory 130 as a reference image. It is created from the signal and supplied to the selector 150. Note that a block adjacent to block X cannot be decoded,
If motion compensation information cannot be obtained because the block is not a motion compensation mode (for example, an intra-frame encoding mode), for example, the same position as the block X in the reference image stored in the frame memory 130 is used. May be read and supplied to the selector 150.

【0035】セレクタ150では、動き補償情報メモリ
120より供給される復号不可能識別情報フラグにより
該ブロック(ブロックX)が復号可能なブロックであれ
ば、フレームメモリ130に蓄えられているブロックX
に該当する信号を線60を介して出力し、復号不可能な
ブロックであれば、第2の動き補償予測回路144より
供給されるコンシールメント画像を線60を介して出力
する。ここで、ブロックHの符号化が終了して、その情
報がフレームメモリ130および動き補償情報メモリ1
20に蓄えられた後に、セレクタ150より線60を介
してブロックXの画像が遅延されて出力されることにな
る。
In the selector 150, if the block (block X) is a decodable block based on the non-decodable identification information flag supplied from the motion compensation information memory 120, the block X stored in the frame memory 130
Is output via a line 60, and if the block cannot be decoded, the concealment image supplied from the second motion compensation prediction circuit 144 is output via a line 60. Here, the encoding of the block H is completed, and the information is stored in the frame memory 130 and the motion compensation information memory 1.
After being stored in the block 20, the image of the block X is delayed and output from the selector 150 via the line 60.

【0036】以上により、線60を介して出力される誤
り補償された画像信号が、次のフレームの参照画像とし
てフレームメモリ130に蓄えられる。
As described above, the error-compensated image signal output via the line 60 is stored in the frame memory 130 as a reference image of the next frame.

【0037】なお、上記の実施形態におけるブロックX
近傍の画素として、ブロックA〜H内に含まれる全ての
画素の動き補償予測誤差値を評価しないで、図2(b)
のようにブロックXに近い(画素間相関の強い)画素の
集まり(画素群)を用いて、ハード規模を小さくするこ
とが出来る。但し、誤りの影響は水平方向に伝搬するの
で、ブロックXが誤りにより復号不可能な場合は、ブロ
ックDやEも復号不可能な場合が多いため、これらのブ
ロック内の画素だけで誤差を評価しない方がよい。
Note that the block X in the above embodiment is
FIG. 2B does not evaluate the motion compensation prediction error values of all pixels included in blocks A to H as neighboring pixels.
The hardware scale can be reduced by using a group of pixels (pixel group) close to the block X (having a strong correlation between pixels). However, since the influence of an error propagates in the horizontal direction, when the block X cannot be decoded due to an error, the blocks D and E are also often undecodable, and the error is evaluated only with the pixels in these blocks. Better not.

【0038】コンシールメント回路140の他の実施形
態としては、以下のようなものが考えられる。すなわ
ち、図4に示すように画素値内挿回路145とモード判
定回路146を設け、上記実施形態と同様に第2の動き
補償回路144でブロックXを動き補償予測した出力
と、該画素値内挿回路145においてブロックX近傍の
画素値を用いてブロックX内を内挿予測した出力とを、
各々セレクタ147に供給し、モード判定回路146に
てブロックXをコンシールメントするのに適切と判定さ
れた出力をセレクタ147を介して出力する。具体的に
は画素値内挿回路145においては、例えばフレームメ
モリ130に蓄えられているブロックA〜Hのブロック
Xに隣接する画素値(ブロックサイズをn×n画素とし
たとき各ブロック共にn画素、n:整数、図2(c)の
斜線で示される画素)をフレームメモリ130から読み
込み、各画素値の線形結合によりブロックX内の画素値
を画素間距離に応じた重み付け内挿することで内挿画像
を作成する。但し、復号不可能なブロック内の画素値
は、ブロックXの内挿画像を作成する際に用いない。ブ
ロックXの内挿画像作成法には、周囲のブロックの平均
値を使用する等、他の内挿法を用いても良い。また、モ
ード判定回路146においては、所定の場合、例えば動
き補償情報メモリ120に蓄えられている復号可能なブ
ロックの動き補償のモードが全てフレーム内符号化であ
った場合には、セレクタ147に画素値内挿回路145
の出力を選択する信号を供給する。
As another embodiment of the concealment circuit 140, the following is conceivable. That is, as shown in FIG. 4, a pixel value interpolation circuit 145 and a mode determination circuit 146 are provided, and an output obtained by performing motion compensation prediction on the block X by the second motion compensation circuit 144 in the same manner as in the above embodiment, An output obtained by interpolating and predicting the inside of the block X using the pixel values near the block X in the insertion circuit 145 is
Each of the outputs is supplied to the selector 147, and an output determined to be appropriate for concealing the block X by the mode determination circuit 146 is output via the selector 147. Specifically, in the pixel value interpolation circuit 145, for example, a pixel value adjacent to the block X of the blocks A to H stored in the frame memory 130 (when the block size is n × n pixels, each block has n pixels) , N: integers, pixels indicated by oblique lines in FIG. 2C) from the frame memory 130, and weighting and interpolating the pixel values in the block X by linear combination of the pixel values according to the distance between the pixels. Create an interpolated image. However, the pixel values in the undecodable block are not used when creating an interpolated image of the block X. As an interpolation image creation method for the block X, another interpolation method such as using an average value of surrounding blocks may be used. Further, in the mode determination circuit 146, in a predetermined case, for example, when all the motion compensation modes of the decodable blocks stored in the motion compensation information memory 120 are the intra-frame encoding, the selector 147 Value interpolation circuit 145
Supplies a signal that selects the output of

【0039】また、動き補償誤差値を評価する画素を設
定する他の実施形態としては、図5に示す様にコンシー
ルメント回路140内に属性判定回路148を設け、こ
こで動き補償誤差値を評価する画素群の輝度勾配(例え
ばエッジ)を検出し、輝度勾配の大きな領域(例えばエ
ッジ部)の画素群を用いて第1の動き補償予測回路14
1とMC誤差評価回路142により動き補償予測誤差評
価値を求めても良い。具体的な例としては、ブロックA
〜H内のエッジを検出し、エッジを含むブロック内の画
素を用いて動き補償予測誤差を評価する。また、上述し
た図4の実形態と同様に、第2の動き補償予測回路14
4の出力と画素値内挿回路145の出力とを切り換える
ような構成にしても良い。
As another embodiment for setting a pixel for evaluating a motion compensation error value, an attribute determination circuit 148 is provided in a concealment circuit 140 as shown in FIG. The first motion compensation prediction circuit 14 detects a luminance gradient (for example, an edge) of a pixel group to be used and uses a pixel group in a region (for example, an edge portion) having a large luminance gradient.
1 and the MC error evaluation circuit 142 may be used to obtain a motion compensation prediction error evaluation value. As a specific example, block A
HH are detected, and the motion compensation prediction error is evaluated using the pixels in the block including the edge. Further, as in the embodiment of FIG. 4 described above, the second motion compensation prediction circuit 14
4 and the output of the pixel value interpolation circuit 145 may be switched.

【0040】(第2の実施形態)次に、本発明の第2の
実施形態に係る動画像伝送装置について説明する。図6
は、本実施形態に係わる動画像受信装置を示すブロック
図である。
(Second Embodiment) Next, a moving image transmission apparatus according to a second embodiment of the present invention will be described. FIG.
1 is a block diagram illustrating a moving image receiving device according to the present embodiment.

【0041】図6において、誤り検出回路100では、
第1の実施形態と同様に線10を介して供給された符号
化データが、離散コサイン変換(DCT)係数、サイド
情報に分離された後、可変長復号化され、DCT係数は
逆量子化回路111に、動きベクトル(以下、MVと言
う)等の動き補償情報は、第1の動き補償予測回路22
0および動き補償情報メモリ240に供給される。ま
た、復号不可能となるブロックにはアドレスと復号不可
能識別情報フラグを立てて線20を介して出力する。
Referring to FIG. 6, in the error detection circuit 100,
As in the first embodiment, the coded data supplied via the line 10 is separated into discrete cosine transform (DCT) coefficients and side information, and then subjected to variable length decoding. 111, the motion compensation information such as a motion vector (hereinafter referred to as MV) is stored in the first motion compensation prediction circuit 22.
0 and the motion compensation information memory 240. In addition, an address and an undecodable identification information flag are set for a block that cannot be decoded and are output via a line 20.

【0042】逆量子化回路111では逆量子化したDC
T係数を、逆DCT回路112に供給する。逆DCT回
路112より出力された予測誤差信号は、第1のアクテ
ィビティ計算回路200に供給され、予測誤差信号のア
クティビティ(2乗和あるいは絶対値和など、信号に含
まれる情報量の指標となる値)が計算される。第2のア
クティビティ計算回路210では、第1の動き補償予測
回路220により、第1のアクティビティ計算回路20
0でアクティビティが計算されたブロックと同じブロッ
クの予測信号が供給され、この信号のアクティビティ
(平均値を分離した信号の2乗和あるいは絶対値和)が
計算される。
In the inverse quantization circuit 111, the inversely quantized DC
The T coefficient is supplied to the inverse DCT circuit 112. The prediction error signal output from the inverse DCT circuit 112 is supplied to the first activity calculation circuit 200, and the activity of the prediction error signal (such as the sum of squares or the sum of absolute values) is used as an index of the amount of information included in the signal. ) Is calculated. In the second activity calculation circuit 210, the first activity compensation circuit 20
A predicted signal of the same block as the block whose activity is calculated at 0 is supplied, and the activity of this signal (the sum of squares or the sum of absolute values of signals obtained by separating the average value) is calculated.

【0043】信頼性判定回路230では、アクティビテ
ィ計算回路200および210で計算された、予測誤差
信号のアクティビティと予測信号のアクティビティが各
々供給され、MVの信頼性が判定される。例えば、予測
誤差信号の電力が小さくても予測信号の輝度勾配が小さ
い場合には、送信側でのMV検出時にノイズの影響等で
MVの検出ミスが発生している恐れがある。一方、予測
信号の輝度勾配が大きい場合には、予測誤差信号の電力
が極端に大きくない限りMVの信頼性は高い。従って、
予測誤差信号のアクティビティE(200の出力)と予
測信号のアクティビティP(210の出力)との比E/
Pが小さいほどMVの信頼性が高いと仮定して、この値
を動き補償情報メモリ240に供給する。
The reliability determination circuit 230 receives the activity of the prediction error signal and the activity of the prediction signal calculated by the activity calculation circuits 200 and 210, respectively, and determines the reliability of the MV. For example, when the luminance gradient of the prediction signal is small even if the power of the prediction error signal is small, there is a possibility that an MV detection error may occur due to noise or the like at the time of MV detection on the transmission side. On the other hand, when the luminance gradient of the prediction signal is large, the reliability of the MV is high unless the power of the prediction error signal is extremely large. Therefore,
The ratio E / of the activity E of the prediction error signal (output of 200) and the activity P of the prediction signal (output of 210)
This value is supplied to the motion compensation information memory 240, assuming that MV is more reliable as P is smaller.

【0044】図2に示されるブロックXの動き補償情報
をブロックA〜Hまでの動き補償情報を用いて推定する
時には、動き補償情報メモリ240においては、図2
(a)のハッチングされたブロックに対して、線30を
介して供給される動き補償予測のモードおよび動きベク
トルの値と、誤り検出回路100から線20を介して供
給される復号不可能識別情報フラグと、信頼性判定回路
230より供給されるMVの信頼性が蓄えられることに
なる。ここで、該ブロック(ブロックX)が復号可能な
ブロックであれば、該ブロックの動き補償情報を第2の
動き補償予測回路113に供給し、該ブロックが復号不
可能な場合には、ブロックA〜Hの中で最も信頼性の高
いMVを有するブロックの動き補償情報を第2の動き補
償予測回路113に供給する。また、ブロックA〜Hの
ブロックの中で、最も信頼性の高いMVと2番目に信頼
性の高いMVの平均値を第2の動き補償予測回路113
に供給しても良い。
When estimating the motion compensation information of the block X shown in FIG. 2 using the motion compensation information of the blocks A to H, the motion compensation information memory 240
For the hatched block (a), the mode of motion compensation prediction and the value of the motion vector supplied via the line 30 and the undecodable identification information supplied via the line 20 from the error detection circuit 100 The flag and the reliability of the MV supplied from the reliability determination circuit 230 are stored. Here, if the block (block X) is a decodable block, the motion compensation information of the block is supplied to the second motion compensation prediction circuit 113. If the block is not decodable, the block A The motion compensation information of the block having the MV with the highest reliability among H to H is supplied to the second motion compensation prediction circuit 113. The average value of the MV with the highest reliability and the average value of the MV with the second highest reliability among the blocks A to H are calculated by the second motion compensation prediction circuit 113.
May be supplied.

【0045】第2の動き補償予測回路113では、ブロ
ック毎に動き補償情報メモリ240より供給される動き
補償予測のモードに合わせてフーレムメモリ130から
参照画像信号を読み込み、予測値を作成して加算器11
4に供給する。ただし、フレーム内符号化のモードのブ
ロックでは、加算器114に入力する予測値は0とす
る。
The second motion compensation prediction circuit 113 reads a reference image signal from the Fourem memory 130 in accordance with the mode of motion compensation prediction supplied from the motion compensation information memory 240 for each block, creates a prediction value, and generates an adder. 11
4 However, in the block in the intra-frame encoding mode, the predicted value input to the adder 114 is 0.

【0046】加算器114では、第2の動き補償予測回
路113よりブロックXの値が供給される時に、動き補
償情報メモリ240にブロックHまでの値が蓄えられる
まで、遅延回路250において逆DCT回路112の出
力を遅延させた後、値を加算してフレームメモリ130
に供給する。但し、該ブロックが復号不可能な場合には
遅延回路250において、予測誤差信号の値がリセット
される。
In the adder 114, when the value of the block X is supplied from the second motion compensation prediction circuit 113, the inverse DCT circuit is added to the delay circuit 250 until the value up to the block H is stored in the motion compensation information memory 240. After delaying the output of 112, the value is added and the frame memory 130
To supply. However, if the block cannot be decoded, the delay circuit 250 resets the value of the prediction error signal.

【0047】(第3の実施形態)次に、本発明の第3の
実施形態に係る動画像伝送装置について説明する。図7
は、本実施形態に係わる動画像受信装置を示すブロック
図である。
(Third Embodiment) Next, a moving picture transmission apparatus according to a third embodiment of the present invention will be described. FIG.
1 is a block diagram illustrating a moving image receiving device according to the present embodiment.

【0048】図7において、誤り検出回路100では、
第1の実施形態と同様に線10を介して供給された符号
化データが、離散コサイン変換(DCT)係数、サイド
情報に分離された後、可変長復号化され、DCT係数は
逆量子化回路111に、MV等の動き補償情報は動き補
償情報メモリ300に供給される。また、復号不可能と
なるブロックにはアドレスと復号不可能識別情報フラグ
をたてて線20を介して出力する。
In FIG. 7, in the error detection circuit 100,
As in the first embodiment, the coded data supplied via the line 10 is separated into discrete cosine transform (DCT) coefficients and side information, and then subjected to variable length decoding. At 111, motion compensation information such as MV is supplied to the motion compensation information memory 300. Further, an address and a non-decodable identification information flag are set for the non-decodable block and output via a line 20.

【0049】図2に示されるブロックXの動き補償情報
をブロックA〜Hまでの動き補償情報を用いて推定する
時には、動き補償情報メモリ300においては、図2
(a)のハッチングされたブロックに対して、線30を
介して供給される動き補償予測のモードおよび動きベク
トルの値と、誤り検出回路100から線20を介して供
給される復号不可能識別情報フラグが蓄えられることに
なる。ここで、動き補償推定回路310では、該ブロッ
ク(ブロックX)が復号可能なブロックであれば該ブロ
ックの動き補償情報を、該ブロックが復号不可能なブロ
ックであれば動き補償情報メモリ300に蓄えられてい
るブロックA〜Hの動き補償情報の中から適切な動き補
償を選択し、動き補償予測回路113に動き補償情報を
供給する。
When the motion compensation information of the block X shown in FIG. 2 is estimated using the motion compensation information of the blocks A to H, the motion compensation information memory 300
For the hatched block (a), the mode of motion compensation prediction and the value of the motion vector supplied via the line 30 and the undecodable identification information supplied via the line 20 from the error detection circuit 100 The flag will be stored. Here, the motion compensation estimating circuit 310 stores the motion compensation information of the block (block X) in the motion compensation information memory 300 if the block is a decodable block and stores the motion compensation information of the block if the block is a non-decodable block. An appropriate motion compensation is selected from the motion compensation information of the blocks A to H, and the motion compensation information is supplied to the motion compensation prediction circuit 113.

【0050】逆量子化回路111では逆量子化したDC
T係数を、逆DCT回路112に供給する。逆DCT回
路112より出力された予測誤差信号は、第2の実施形
態と同様に遅延回路350で遅延された後、加算回路1
14に供給され、動き補償予測回路113より供給され
る予測信号と加算された後、フレームメモリ130に供
給される。ここで、遅延回路320において復号不可能
なブロックの予測誤差信号は0にリセットされる。
In the inverse quantization circuit 111, the inversely quantized DC
The T coefficient is supplied to the inverse DCT circuit 112. The prediction error signal output from the inverse DCT circuit 112 is delayed by the delay circuit 350 as in the second embodiment,
The signal is supplied to the frame memory 130 after being added to the prediction signal supplied from the motion compensation prediction circuit 113. Here, the prediction error signal of the block that cannot be decoded in the delay circuit 320 is reset to zero.

【0051】画素値内挿回路330では、第1の実施形
態で説明した図4の回路と同様に、例えばフレームメモ
リ130に蓄えられているブロックA〜HのブロックX
に隣接する画素値(ブロックサイズをn×n画素とした
とき各ブロック共にn画素、n:整数)をフレームメモ
リ130から読み込み、各画素値の線形結合によりブロ
ックX内の画素値を画素間距離に応じた重み付け内挿す
ることで内挿画像を作成し、重み付け平均回路350に
供給する。
In the pixel value interpolation circuit 330, similarly to the circuit of FIG. 4 explained in the first embodiment, for example, the block X of the blocks A to H stored in the frame memory 130 is used.
Are read from the frame memory 130 (when the block size is n × n pixels, n pixels for each block, n is an integer), and the pixel values in the block X are determined by the linear combination of the pixel values. An interpolation image is created by performing weighted interpolation according to, and is supplied to the weighted averaging circuit 350.

【0052】重み付け平均回路350では、フレームメ
モリ130より供給される信号と、画素値内挿回路33
0より供給される内挿信号との重み付け平均値がモード
判定回路340より供給される信号に基づいて計算され
る。例えば、モード判定回路340において、動き補償
情報メモリ300に蓄えられているブロックXが復号可
能であると判定された場合には、フレームメモリ130
からの入力を、ブロックXが復号不可能であり、これに
隣接するブロックA〜Hの中で復号可能なブロックの動
き補償のモードが全てフレーム内符号化であると判定さ
れた場合には、画素値内挿回路330からの入力を、そ
の他の場合には、フレームメモリ130からの入力と画
素値内挿回路からの入力の平均値を、重み付け平均回路
350内で計算した後、線40を介して出力すると共
に、フレームメモリ130にも供給する。
In the weighted averaging circuit 350, the signal supplied from the frame memory 130 and the pixel value interpolation circuit 33
A weighted average value with the interpolation signal supplied from 0 is calculated based on the signal supplied from the mode determination circuit 340. For example, when the mode determination circuit 340 determines that the block X stored in the motion compensation information memory 300 is decodable, the frame memory 130
When the input from is determined that the block X cannot be decoded and the modes of motion compensation of the blocks that can be decoded among the blocks A to H adjacent thereto are all intra-frame coding, After calculating the input from the pixel value interpolation circuit 330 and, in other cases, the average of the input from the frame memory 130 and the input from the pixel value interpolation circuit in the weighted averaging circuit 350, the line 40 is The data is output to the frame memory 130 as well as output through the frame memory 130.

【0053】以上により、復号不可能なブロックを動き
補償によりコンシールメントした際に、隣接するブロッ
クとの低域成分の相関が小さく、ブロック状の歪が発生
してしまう場合でも、画素値内挿回路330において作
成される隣接するブロックとブロック境界部が滑らかに
つながっている信号との平均値を取ることで、ブロック
状の歪が低減される。
As described above, when a block that cannot be decoded is concealed by motion compensation, even if the correlation of the low-frequency component with an adjacent block is small and block-like distortion occurs, pixel value interpolation is performed. By taking an average value of an adjacent block created in the circuit 330 and a signal whose block boundary is smoothly connected, block-like distortion is reduced.

【0054】また、前述した図4に示すコンシールメン
ト回路140を図8の様に変更し、モード判定回路14
6において、ブロックXに隣接するブロックA〜Hの中
で復号可能なブロックの動き補償のモードが全てフレー
ム内符号化であると判定された場合には、画素値内挿回
路330からの入力を、その他の場合には、フレームメ
モリ130からの入力と画素値内挿回路からの入力の平
均値を、重み付け平均回路350内で計算した後、セレ
クタ150に出力することでも同じ効果が得られる。
The concealment circuit 140 shown in FIG. 4 is changed as shown in FIG.
In 6, when it is determined that all of the motion compensation modes of the blocks that can be decoded among the blocks A to H adjacent to the block X are the intra-frame coding, the input from the pixel value interpolation circuit 330 is input. In other cases, the same effect can be obtained by calculating the average value of the input from the frame memory 130 and the input from the pixel value interpolation circuit in the weighted averaging circuit 350 and outputting the result to the selector 150.

【0055】(第4の実施形態)次に、本発明の第4の
実施形態に係る動画像伝送装置について説明する。図9
は、本実施形態に係わる動画像受信装置を示すブロック
図である。
(Fourth Embodiment) Next, a moving picture transmission apparatus according to a fourth embodiment of the present invention will be described. FIG.
1 is a block diagram illustrating a moving image receiving device according to the present embodiment.

【0056】図9において、誤り検出回路100では、
第1の実施形態と同様に線10を介して供給された符号
化データが、離散コサイン変換(DCT)係数、サイド
情報に分離された後、可変長復号化され、DCT係数は
逆量子化回路111に、MV等の動き補償情報は動き補
償情報メモリ400に供給される。また、復号不可能と
なるブロックにはアドレスと復号不可能識別情報フラグ
をたてて線20を介して出力する。
In FIG. 9, in the error detection circuit 100,
As in the first embodiment, the coded data supplied via the line 10 is separated into discrete cosine transform (DCT) coefficients and side information, and then subjected to variable length decoding. At 111, motion compensation information such as MV is supplied to the motion compensation information memory 400. Further, an address and a non-decodable identification information flag are set for the non-decodable block and output via a line 20.

【0057】図2に示されるブロックXの動き補償情報
をブロックA〜Hまでの動き補償情報を用いて推定する
時には、動き補償情報メモリ300においては、図2
(a)のハッチングされたブロックに対して、線30を
介して供給される動き補償予測のモードおよび動きベク
トルの値と、誤り検出回路100から線20を介して供
給される復号不可能識別情報フラグが蓄えられることに
なる。ここで、動き補償推定回路410では、該ブロッ
ク(ブロックX)が復号可能なブロックであれば該ブロ
ックの動き補償情報を、該ブロックが復号不可能なブロ
ックであれば動き補償情報メモリ400に蓄えられてい
るブロックA〜Hの動き補償情報の中から適切な動き補
償を選択し、動き補償予測回路113に動き補償情報を
供給する。
When estimating the motion compensation information of block X shown in FIG. 2 using the motion compensation information of blocks A to H, the motion compensation information memory 300
For the hatched block (a), the mode of motion compensation prediction and the value of the motion vector supplied via the line 30 and the undecodable identification information supplied via the line 20 from the error detection circuit 100 The flag will be stored. Here, the motion compensation estimation circuit 410 stores the motion compensation information of the block (block X) in the motion compensation information memory 400 if the block is a decodable block and stores the motion compensation information in the motion compensation information memory 400 if the block is a non-decodable block. An appropriate motion compensation is selected from the motion compensation information of the blocks A to H, and the motion compensation information is supplied to the motion compensation prediction circuit 113.

【0058】逆量子化回路111では逆量子化したDC
T係数を、逆DCT回路112に供給する。逆DCT回
路112より出力された予測誤差信号は、第2の実施形
態と同様に遅延回路420で遅延された後、加算回路1
14に供給され、動き補償予測回路113より供給され
る予測信号と加算された後、フレームメモリ130に供
給される。ここで、遅延回路420において復号不可能
なブロックの予測誤差信号は0にリセットされる。
In the inverse quantization circuit 111, the inversely quantized DC
The T coefficient is supplied to the inverse DCT circuit 112. The prediction error signal output from the inverse DCT circuit 112 is delayed by the delay circuit 420 in the same manner as in the second embodiment.
The signal is supplied to the frame memory 130 after being added to the prediction signal supplied from the motion compensation prediction circuit 113. Here, the prediction error signal of the block that cannot be decoded by the delay circuit 420 is reset to zero.

【0059】低次係数予測回路430では、文献:H.Su
n,K.Challapali,J.Zdepski, ERRORCONCEALMENT IN DIGI
TAL SIMULCAST AD-HDTV DECODER”,IEEE Trans.Consume
r Electoronics,Vol.38,No.3,Aug.1992,(図10参照)
に示されるように、DCTブロックの平均値(DC1〜
DC9)を用いて、DC5に対応するDCTブロックの
低次係数(AC01,AC10,AC02,AC11,AC20)
を、画面上の振幅変化を2次曲面で近似するという条件
で予測している。ここでDC5,DC6,DC8,DC
9を含むマクロブロックが復号不可能な場合には、隣接
するマクロブロック内のDCの値(DC2,DC3等)
を用いて双1次内挿予測する。なお、図10(a)の点
線は、DCTブロックの境界を示し、実線は、マクロブ
ロックの境界を示す。
In the low-order coefficient prediction circuit 430, reference: H. Su
n, K.Challapali, J.Zdepski, ERRORCONCEALMENT IN DIGI
TAL SIMULCAST AD-HDTV DECODER ”, IEEE Trans.Consume
r Electoronics, Vol. 38, No. 3, Aug. 1992, (see FIG. 10)
, The average value of the DCT block (DC1 to DC1)
Using DC9), low-order coefficients (AC01, AC10, AC02, AC11, AC20) of the DCT block corresponding to DC5
Is predicted on the condition that the amplitude change on the screen is approximated by a quadratic surface. Where DC5, DC6, DC8, DC
If the macroblock including 9 cannot be decoded, the value of DC in an adjacent macroblock (DC2, DC3, etc.)
Is used to perform bilinear interpolation prediction. Note that the dotted line in FIG. 10A indicates the boundary between DCT blocks, and the solid line indicates the boundary between macro blocks.

【0060】一方、係数分離・合成回路440では、モ
ード判定回路450において、動き補償情報メモリ40
0に蓄えられているブロックXに隣接するブロックA〜
Hの中で復号可能なブロックの動き補償のモードが全て
フレーム内符号化であると判定された場合には、低次係
数予測回路430からの入力のみを出力し、その他の場
合には、DCT回路460より供給されるフレームメモ
リ130より読み出されたブロックXの信号をDCT係
数に変換した信号の低次係数を、低次係数予測回路43
0より供給される計数と置き換えた信号を出力する。係
数分離・合成回路440の出力は、逆DCT回路470
において逆変換された後、セレクタ480に供給され
る。セレクタ480では、ブロックXが復号可能なブロ
ックであれば線40を介して、フレームメモリから供給
されるブロックXの信号を出力し、ブロックXが復号不
可能な場合には、逆DCT回路より供給される信号を線
40を介して出力すると共に、フレームメモリ130に
線40の出力を供給する。
On the other hand, in the coefficient separation / synthesis circuit 440, in the mode determination circuit 450, the motion compensation information memory 40
Blocks A to A adjacent to the block X stored at 0
If it is determined that the motion compensation modes of the blocks that can be decoded in H are all intra-frame coding, only the input from the low-order coefficient prediction circuit 430 is output. The low-order coefficient of the signal obtained by converting the signal of the block X read from the frame memory 130 supplied from the circuit 460 into the DCT coefficient is converted into a low-order coefficient prediction circuit 43
A signal replaced with the count supplied from 0 is output. The output of the coefficient separating / combining circuit 440 is output to the inverse DCT circuit 470
, And is supplied to the selector 480. The selector 480 outputs a signal of the block X supplied from the frame memory via the line 40 if the block X is a decodable block, and supplies a signal from the inverse DCT circuit if the block X is not decodable. The resulting signal is output via line 40 and the output of line 40 is provided to frame memory 130.

【0061】以上により、復号不可能なブロックを動き
補償によりコンシールメントした際に、隣接するブロッ
クとの低域成分の相関が小さく、ブロック状の歪が発生
しても、DCTの低次係数を低次係数予測回路430に
おいて隣接するブロックとブロック境界部が滑らかにつ
ながる様に予測した係数に置き換えているため、ブロッ
ク状の歪が低減される。
As described above, when a block that cannot be decoded is concealed by motion compensation, the low-order component of the DCT is reduced even if block-like distortion occurs due to a low correlation between adjacent blocks. Since the low-order coefficient prediction circuit 430 replaces the block with a coefficient predicted so as to smoothly connect an adjacent block and a block boundary, block-like distortion is reduced.

【0062】また、前述した図4に示すコンシールメン
ト回路140を図11の様に変更し、係数分離・合成回
路440では、モード判定回路146において、ブロッ
クXに隣接するブロックA〜Hの中で復号可能なブロッ
クの動き補償のモードが全てフレーム内符号化であると
判定された場合には、低次係数予測回路430からの入
力をそのまま出力し、その他の場合には、DCT回路4
60より供給されるフレームメモリ130より読み出さ
れたブロックXの信号をDCT係数に変換した信号の低
次係数を、低次係数予測回路430より供給される係数
と置き換えた信号を出力し、逆DCT回路470におい
て逆変換した後、セレクタ150に出力することでも同
じ効果が得られる。
The concealment circuit 140 shown in FIG. 4 described above is modified as shown in FIG. 11, and in the coefficient separation / combination circuit 440, in the mode determination circuit 146, among the blocks A to H adjacent to the block X, When it is determined that the motion compensation modes of the decodable blocks are all intra-frame coding, the input from the low-order coefficient prediction circuit 430 is output as it is, and in other cases, the DCT circuit 4
60, a signal obtained by replacing the low-order coefficient of the signal obtained by converting the signal of the block X read from the frame memory 130 supplied from the frame memory 130 into a DCT coefficient with the coefficient supplied from the low-order coefficient prediction circuit 430 is output. The same effect can be obtained by performing an inverse transform in the DCT circuit 470 and outputting the result to the selector 150.

【0063】なお、低次係数予測回路430、DCT回
路460、逆DCT回路470を、それぞれDCT以外
の直交変換あるいは帯域分割フィルタに合わせた回路に
置き換えても良い。
The low-order coefficient prediction circuit 430, DCT circuit 460, and inverse DCT circuit 470 may be replaced by circuits other than DCT and adapted to orthogonal transform or band division filters.

【0064】(第5の実施形態)次に、本発明の第5の
実施形態に係る動画像伝送装置について説明する。図1
2は、本実施形態に係わる動画像送信装置を示すブロッ
ク図である。
(Fifth Embodiment) Next, a moving picture transmission apparatus according to a fifth embodiment of the present invention will be described. FIG.
FIG. 2 is a block diagram showing a moving image transmitting apparatus according to the present embodiment.

【0065】図12において、入力画像は複数のフレー
ムメモリ500に蓄えられる。動きベクトル検出回路5
10では、フレームメモリ500に蓄えられているフレ
ーム間の動きベクトルを検出した後、ブロック毎に誤差
信号の絶対値和(動きベクトル検出時に求まる)と該フ
レームが他のフレームを動き補償する際の参照画像とな
るか否かを識別する信号をシーンチェンジ検出回路52
0に供給する。
In FIG. 12, an input image is stored in a plurality of frame memories 500. Motion vector detection circuit 5
In 10, after detecting a motion vector between frames stored in the frame memory 500, the sum of the absolute value of the error signal (determined at the time of detecting the motion vector) for each block and the time when the frame performs motion compensation on another frame are detected. A signal for identifying whether or not to be a reference image is sent to a scene change detection circuit 52.
Supply 0.

【0066】シーンチェンジ検出回路520では、フレ
ームメモリ500から供給される入力画像のアクティビ
ティ(例えば交流成分の絶対値和)を計算し、動きベク
トル検出回路510より供給される誤差信号の絶対値和
と比較する。ここで、例えば後者の値が大きくなるブロ
ックの数がフレーム内の全ブロック数の半分以上なら
ば、シーンチェンジが発生したと判定し、該フレームが
他のフレームの参照画像となる場合には、シーンチェン
ジ識別信号を解像度変換回路530とエンコーダ540
にそれぞれ供給する。
The scene change detection circuit 520 calculates the activity of the input image supplied from the frame memory 500 (for example, the sum of absolute values of AC components), and calculates the sum of the absolute value of the error signal supplied from the motion vector detection circuit 510 and Compare. Here, for example, if the number of blocks in which the latter value is larger is half or more of the total number of blocks in the frame, it is determined that a scene change has occurred, and if the frame is a reference image of another frame, The scene change identification signal is converted into a resolution conversion circuit 530 and an encoder 540.
Respectively.

【0067】なお、シーンチェンジ検出の実施形態は上
記の方法だけに依らず、他の方法を用いても良い。
Note that the embodiment of the scene change detection is not limited to the above method, and another method may be used.

【0068】解像度変換回路530では、シーンチェン
ジ検出回路520より供給されるシーンチェンジ識別信
号がイネーブルの場合には、該フレームに0次位相の低
域通過フィルタをかけて解像度を落とした画像信号をエ
ンコーダ540に供給する。
In the resolution conversion circuit 530, when the scene change identification signal supplied from the scene change detection circuit 520 is enabled, an image signal whose resolution has been reduced by applying a low-pass filter of the 0th order to the frame is output. It is supplied to the encoder 540.

【0069】エンコーダ540では、解像度変換回路5
30より供給される画像信号をブロックに分割し、動き
ベクトル検出回路510より供給される動きベクトルを
用いて、ブロック毎に動き補償予測符号化をした後、符
号化された画像信号を出力する。
In the encoder 540, the resolution conversion circuit 5
The image signal supplied from 30 is divided into blocks, and motion compensated prediction encoding is performed for each block using the motion vector supplied from the motion vector detection circuit 510, and then the encoded image signal is output.

【0070】シーンチェンジ直後のフレームの空間解像
度を落とす他の実施形態として、図15に示すように、
解像度変換回路530で空間解像度を落とすのではな
く、シーンチェンジ検出回路520より供給されるシー
ンチェンジ識別信号がイネーブルの場合には、エンコー
ダ560では、該フレームのブロックを全てフレーム内
符号化し、高次係数を切り捨てて、例えば図10(b)
に示されるような低次係数のみを符号化することで空間
解像度を落としても良い。
As another embodiment for reducing the spatial resolution of a frame immediately after a scene change, as shown in FIG.
Instead of lowering the spatial resolution by the resolution conversion circuit 530, if the scene change identification signal supplied from the scene change detection circuit 520 is enabled, the encoder 560 encodes all the blocks of the frame in a frame, The coefficient is discarded, for example, as shown in FIG.
The spatial resolution may be reduced by encoding only low-order coefficients as shown in FIG.

【0071】また、シーンチェンジ識別フラグ(1ビッ
ト)をフレーム毎に付加してもよい。
A scene change identification flag (1 bit) may be added for each frame.

【0072】同様に、図13においては、解像度変換回
路530の代わりにダイナミックレンジ変換回路535
において、シーンチェンジ検出回路520より供給され
るシーンチェンジ識別信号がイネーブルの場合には、次
式により該フレームのダイナミックレンジを落とした画
像信号をエンコーダ540に供給する。 x′ = α・( x− 128 ) + 128 0 < α < 1 ここで、xは該フレームの画素値であり、x′はダイナ
ミックレンジが落とされた画素値である。
Similarly, in FIG. 13, instead of the resolution conversion circuit 530, a dynamic range conversion circuit 535 is used.
In the case where the scene change identification signal supplied from the scene change detection circuit 520 is enabled, an image signal with a reduced dynamic range of the frame is supplied to the encoder 540 according to the following equation. x ′ = α · (x−128) +128 0 <α <1 Here, x is a pixel value of the frame, and x ′ is a pixel value with a reduced dynamic range.

【0073】ダイナミックレンジを落とす他の実施形態
として、上式における128の代わりにxの平均値を用
いても良い。この平均値は、該フレーム全体の平均値で
も、あるいはxを含む小領域の平均値でも良い。
As another embodiment for reducing the dynamic range, an average value of x may be used instead of 128 in the above equation. This average value may be the average value of the entire frame or the average value of the small area including x.

【0074】更に、振幅値をα倍するのではなく、リミ
ッタにより振幅値のダイナミックレンジを制限しても良
い。
Further, instead of multiplying the amplitude value by α, the dynamic range of the amplitude value may be limited by a limiter.

【0075】以上述べた、帯域およびダイナミックレン
ジを落とす領域は、該フレーム全体でも良く、あるいは
空間内挿により情報が大幅に失われる領域のみでも良
い。後者の場合、エッジ部あるいは高域成分のパワーが
大きい領域を検出する必要があるので、図14のように
エッジ部検出回路550を追加するのが好ましい。この
場合、エッジ部検出回路550は、フレームメモリ50
0より供給される該フレームの信号にエッジ検出フィル
タをかけてエッジ部を検出し、エッジ部を含む領域を識
別する信号をダイナミックレンジ変換回路535に供給
する。ダイナミックレンジ変換回路535では、エッジ
部検出回路550によりエッジ部と判定された領域の
み、ダイナミックレンジを落とす。
The region in which the band and the dynamic range are reduced as described above may be the entire frame, or may be only the region in which information is largely lost due to spatial interpolation. In the latter case, it is necessary to detect an edge portion or a region where the power of the high frequency component is large. Therefore, it is preferable to add an edge portion detection circuit 550 as shown in FIG. In this case, the edge part detection circuit 550
An edge detection filter is applied to the signal of the frame supplied from 0 to detect an edge portion, and a signal for identifying a region including the edge portion is supplied to the dynamic range conversion circuit 535. In the dynamic range conversion circuit 535, the dynamic range is reduced only in the area determined to be an edge by the edge detection circuit 550.

【0076】なお、動画像受信装置は第1〜第4の実施
形態と同じ構成を取っていれば実現できる。例えば、図
4のモード判定回路146においては、ブロックA〜H
の中で復号可能なブロックが全てフレーム内符号化であ
ればシーンチェンジが発生したと判定し、セレクタ14
7を介して画素値内挿回路145からの信号を出力する
ようにすれば良い。また、図16に示すように、送信側
よりシーンチェンジ識別フラグが送られてきた場合に
は、モード判定回路146ではセレクタ147に対し
て、必ず画素値内挿回路145からの入力が出力される
ような信号を供給するように構成すれば良い。
The moving image receiving apparatus can be realized if it has the same configuration as the first to fourth embodiments. For example, in the mode determination circuit 146 of FIG.
If all of the decodable blocks in the block are intra-frame coded, it is determined that a scene change has occurred, and the selector 14
7, the signal from the pixel value interpolation circuit 145 may be output. As shown in FIG. 16, when the scene change identification flag is sent from the transmission side, the input from the pixel value interpolation circuit 145 is always output to the selector 147 in the mode determination circuit 146. What is necessary is just to comprise so that such a signal may be supplied.

【0077】(第6の実施形態)次に、本発明の第6の
実施形態に係る動画像伝送装置について説明する。図1
7は、本実施形態に係わる動画像送信装置を示すブロッ
ク図である。
(Sixth Embodiment) Next, a moving picture transmission apparatus according to a sixth embodiment of the present invention will be described. FIG.
FIG. 7 is a block diagram showing a moving image transmitting apparatus according to the present embodiment.

【0078】図17において、入力画像は複数のフレー
ムメモリ500に蓄えられる。動きベクトル検出回路5
10では、フレームメモリ500に蓄えられているフレ
ーム間の動きベクトルを検出した後、ブロック毎に誤差
信号の絶対値和(動きベクトル検出時に求まる)と該フ
レームが他のフレームを動き補償する際の参照画像とな
るか否かを識別する信号をシーンチェンジ検出回路52
0に供給する。
In FIG. 17, an input image is stored in a plurality of frame memories 500. Motion vector detection circuit 5
In 10, after detecting a motion vector between frames stored in the frame memory 500, the sum of the absolute value of the error signal (determined at the time of detecting the motion vector) for each block and the time when the frame performs motion compensation on another frame are detected. A signal for identifying whether or not to be a reference image is sent to a scene change detection circuit 52.
Supply 0.

【0079】シーンチェンジ検出回路520では、フレ
ームメモリ500から供給される入力画像のアクティビ
ティ(例えば交流成分の絶対値和)を計算し、動きベク
トル検出回路510より供給される誤差信号の絶対値和
と比較する。ここで、例えば後者の値が大きくなるブロ
ックの数がフレーム内の全ブロック数の半分以上なら
ば、シーンチェンジが発生したと判定し、該フレームが
他のフレームの参照画像となる場合には、シーンチェン
ジ識別信号をエンコーダ600に供給する。エッジ部検
出回路550は、フレームメモリ500より供給される
該フレームの信号にエッジ検出フィルタをかけてエッジ
部を検出し、ブロック毎に該ブロックがエッジ部を含む
領域に属しているかを識別する信号をエンコーダ600
に供給する。
The scene change detection circuit 520 calculates the activity of the input image supplied from the frame memory 500 (for example, the sum of the absolute values of AC components), and calculates the sum of the absolute value of the error signal supplied from the motion vector detection circuit 510 and Compare. Here, for example, if the number of blocks in which the latter value is larger is half or more of the total number of blocks in the frame, it is determined that a scene change has occurred, and if the frame is a reference image of another frame, The scene change identification signal is supplied to the encoder 600. The edge portion detection circuit 550 applies an edge detection filter to the signal of the frame supplied from the frame memory 500 to detect an edge portion, and for each block, identifies whether the block belongs to a region including the edge portion. The encoder 600
To supply.

【0080】エンコーダ600では、フレームメモリ5
00より供給される画像信号をブロックに分割し、動き
ベクトル検出回路510より供給される動きベクトルを
用いて、ブロック毎に動き補償予測符号化をした後、符
号化された画像信号を出力する。ここで、シーンチェン
ジ検出回路520より供給されるシーンチェンジ識別信
号がイネーブルとなる場合(例えば、図22(a)のフ
レーム#n)には、該フレームのブロックを全てフレー
ム内符号化する。また、このフレームを動き補償予測の
参照画像として用いるフレーム(例えば、図22(a)
のフレーム#n+1)では、エッジ検出回路550で該
フレームがエッジ部に属すると判定されたブロックを強
制的にフレーム内符号化する。
In the encoder 600, the frame memory 5
The image signal supplied from 00 is divided into blocks, and motion-compensated prediction encoding is performed for each block using the motion vector supplied from the motion vector detection circuit 510, and then the encoded image signal is output. Here, when the scene change identification signal supplied from the scene change detection circuit 520 is enabled (for example, frame #n in FIG. 22A), all the blocks of the frame are intra-coded. Also, a frame using this frame as a reference image for motion compensation prediction (for example, FIG.
In frame # n + 1), the block in which the edge detection circuit 550 determines that the frame belongs to the edge portion is forcibly intra-coded.

【0081】なお、動画像受信装置は第1〜第4の実施
形態と同じ構成を取っていれば実現できる。例えば、図
4のモード判定回路146においてブロックA〜Hの中
で復号可能なブロックが全てフレーム内符号化であれば
シーンチェンジが発生したと判定し、セレクタ147を
介して画素値内挿回路145からの信号を出力するよう
にすれば良い。また、図16に示すように送信側よりシ
ーンチェンジ識別フラグが送られてきた場合には、モー
ド判定回路146ではセレクタ147に対して、必ず画
素値内挿回路145からの入力が出力されるような信号
を供給するようにすれば良い。
The moving image receiving apparatus can be realized if it has the same configuration as the first to fourth embodiments. For example, if all of the decodable blocks among the blocks A to H are intra-frame coded in the mode determination circuit 146 of FIG. 4, it is determined that a scene change has occurred, and the pixel value interpolation circuit 145 is output via the selector 147. It is sufficient to output a signal from When the scene change identification flag is sent from the transmission side as shown in FIG. 16, the mode determination circuit 146 always outputs the input from the pixel value interpolation circuit 145 to the selector 147. What is necessary is just to supply a suitable signal.

【0082】この様に、例えば、図22(a)のフレー
ム#nでセル廃棄が発生し、空間内挿によるコンシール
メントにより空間解像度が落ちてエッジ部がボケても、
フレーム#n+1においてエッジ部を強制的にフレーム
内符号化することにより、エッジボケが解消される。
As described above, for example, even if cell discarding occurs in frame #n in FIG. 22A and concealment by spatial interpolation lowers the spatial resolution and the edge is blurred,
In the frame # n + 1, the edge portion is forcibly encoded in the frame, thereby eliminating the edge blur.

【0083】なお、以上述べた第1〜第7の実施形態に
おいて、入力画像がインタレース信号であった場合に
は、フィールド毎にコンシールメントの種類を切り換え
ても良い。
In the first to seventh embodiments described above, if the input image is an interlaced signal, the type of concealment may be switched for each field.

【0084】なお、以上のべた全て(第1〜第6)の実
施形態において、MPEGにこれらの実施形態を適用し
た場合には、コンシールメントに係わる動き補償回路
(141、144、220)に関しては、1/2画素動
き補償やBピクチャの補間予測モード等で必要となる画
素平均値計算回路を省略する(例えば、動きベクトルを
1画素単位に丸める、Bピクチャの補間予測モードが選
択された場合には前方予測のみを用いてコンシールメン
トする)ことで回路規模を削減することもできる。
In all of the above (first to sixth) embodiments, when these embodiments are applied to MPEG, the motion compensation circuits (141, 144, 220) related to concealment are Omits the pixel average value calculation circuit required for 1/2 pixel motion compensation, B picture interpolation prediction mode, etc. (for example, when the motion vector is rounded by one pixel, when the B picture interpolation prediction mode is selected) Concealment using only forward prediction) can also reduce the circuit scale.

【0085】(第7の実施形態)次に、本発明の第7の
実施形態に係る動画像伝送装置について説明する。図1
8は、本実施形態に係る動画像送信装置を示すブロック
図である。
(Seventh Embodiment) Next, a moving image transmission apparatus according to a seventh embodiment of the present invention will be described. FIG.
FIG. 8 is a block diagram illustrating the moving image transmitting apparatus according to the present embodiment.

【0086】図18(a)において、まず、第1のフレ
ームメモリ700には、フレーム毎に供給された映像信
号が蓄えられる。次に、動きベクトル検出回路710で
は、第1のフレームメモリ700と局部復号画像を蓄え
ている第2のフレームメモリ720とからMVを検出し
て、動き補償予測回路730に供給する。動き補償予測
回路730では、動きベクトル検出回路710より供給
されたMVを用いて第2のフレームメモリ720から予
測画像信号を作成し、符号化制御回路740とフレーム
内/フレーム間切り換え回路750に供給する。
In FIG. 18A, first, the first frame memory 700 stores the video signal supplied for each frame. Next, the motion vector detection circuit 710 detects the MV from the first frame memory 700 and the second frame memory 720 storing the local decoded image, and supplies the MV to the motion compensation prediction circuit 730. The motion compensation prediction circuit 730 creates a prediction image signal from the second frame memory 720 using the MV supplied from the motion vector detection circuit 710, and supplies the prediction image signal to the encoding control circuit 740 and the intra-frame / inter-frame switching circuit 750. I do.

【0087】フレーム内/フレーム間切り換え回路75
0では、フレーム間符号化が選択された場合には、動き
補償予測回路730で作成された最適な予測値を、フレ
ーム内符号化が選択された場合には、予測値を0として
減算器760と加算器770に供給する。
Intra-frame / inter-frame switching circuit 75
At 0, the subtractor 760 sets the optimum prediction value created by the motion compensation prediction circuit 730 when the inter-frame coding is selected, and sets the prediction value to 0 when the intra-frame coding is selected. Is supplied to the adder 770.

【0088】減算器760では、入力画像と予測信号と
の誤差信号が作成され、DCT回路780に供給され
る。DCT回路780において変換係数に変換された予
測誤差信号は、量子化器790に供給される。量子化器
790において量子化された変換係数は、逆量子化器8
00において逆量子化された変換係数は、逆DCT回路
810に供給される。逆DCT回路810では、変換係
数を予測誤差信号に逆変換して加算器770に供給す
る。加算器770では、予測誤差信号と予測値とを加算
して局部復号画像を作成し第2のフレームメモリ720
に供給する。更に、量子化器790において量子化され
た変換係数は、可変長符号化回路820にも供給され
る。
In the subtracter 760, an error signal between the input image and the prediction signal is created and supplied to the DCT circuit 780. The prediction error signal converted into the transform coefficient in the DCT circuit 780 is supplied to the quantizer 790. The transform coefficient quantized by the quantizer 790 is output to the inverse quantizer 8
The transform coefficient inversely quantized in 00 is supplied to the inverse DCT circuit 810. In the inverse DCT circuit 810, the transform coefficient is inversely transformed into a prediction error signal and supplied to the adder 770. The adder 770 adds the prediction error signal and the prediction value to create a locally decoded image, and generates a locally decoded image.
To supply. Further, the transform coefficients quantized by the quantizer 790 are also supplied to the variable length coding circuit 820.

【0089】可変長符号化回路820では、量子化器7
90において量子化された変換係数をMVを含めた付加
情報と共に可変長符号化した後、多重化回路830に供
給する。
In the variable length coding circuit 820, the quantizer 7
At 90, the quantized transform coefficient is subjected to variable-length coding together with additional information including MV, and then supplied to a multiplexing circuit 830.

【0090】多重化回路830では、可変長符号化回路
820より供給された可変長符号を多重化し、出力バッ
ファ840を介して符号化ビットストリームを出力す
る。また、出力バッファ840では、バッファ内での符
号化ビットストリームの滞留量を符号化制御回路740
に供給する。
The multiplexing circuit 830 multiplexes the variable length code supplied from the variable length coding circuit 820, and outputs a coded bit stream via the output buffer 840. In the output buffer 840, the amount of stay of the coded bit stream in the buffer is determined by the coding control circuit 740.
To supply.

【0091】符号化制御回路740では、動き補償予測
回路730より供給された予測画像信号と第1のフレー
ムメモリ700より供給された入力画像信号とを用い
て、最適な予測の方法(例えば、前方予測、後方予測
等)の判定やフレーム内符号化とフレーム間符号化の判
定がブロック毎に行われ、予測モードが決定される。こ
こで、図24において領域2に属するブロックを動き補
償予測する際に、領域1に属する画像信号が参照されて
いる場合には、強制的にフレーム内予測モードにする。
ここで、誤り耐性が必要な場合には、フレーム内予測符
号化において動きベクトルを付与するモードに切り換
え、動きベクトル情報も可変長符号化回路820に供給
される。
The encoding control circuit 740 uses the predicted image signal supplied from the motion compensation prediction circuit 730 and the input image signal supplied from the first frame memory 700 to perform an optimal prediction method (for example, forward prediction). The prediction mode is determined for each block, and the prediction mode is determined. Here, in FIG. 24, when an image signal belonging to the area 1 is referred to when performing motion compensation prediction on a block belonging to the area 2, the intra-frame prediction mode is forcibly set.
Here, when error resilience is required, the mode is switched to a mode in which a motion vector is added in intra-frame prediction coding, and the motion vector information is also supplied to the variable length coding circuit 820.

【0092】以上により、決定されたフレーム内/フレ
ーム間の判定情報は、フレーム内/フレーム間切り換え
回路750に供給される。また、出力バッファ840よ
り供給される符号化ビットストリームの滞留量より、設
定符号量に適応するように量子化ステップサイズを決定
し、量子化器790および逆量子化器800に供給す
る。
As described above, the determined intra-frame / inter-frame determination information is supplied to the intra-frame / inter-frame switching circuit 750. Also, the quantization step size is determined from the staying amount of the encoded bit stream supplied from the output buffer 840 so as to adapt to the set code amount, and is supplied to the quantizer 790 and the inverse quantizer 800.

【0093】[0093]

【発明の効果】本発明によると、パケット廃棄や伝送路
誤りにより復号不可能となったブロックをコンシールメ
ントする際に、隣接ブロック間の動きベクトルの相関が
小さい場合でも該復号不可能となるブロックに適用する
動き補償予測を該ブロックに隣接する復号可能なブロッ
クに対応するもののなかから適切に選択できる。これに
よって、該復号不可能となるブロックをコンシールメン
トして得られる画像の予測精度を向上させることができ
る。
According to the present invention, when concealing a block that cannot be decoded due to packet discarding or a transmission path error, the block that cannot be decoded even if the correlation between motion vectors between adjacent blocks is small. Can be appropriately selected from those corresponding to decodable blocks adjacent to the block. This makes it possible to improve the prediction accuracy of an image obtained by concealing the block that cannot be decoded.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態に係る動画像受信装置
の要部構成を示すブロック図
FIG. 1 is a block diagram showing a main configuration of a moving image receiving apparatus according to a first embodiment of the present invention.

【図2】コンシールメントに用いるデータを説明する図FIG. 2 is a diagram for explaining data used for concealment;

【図3】図1の誤り検出回路の構成例を示すブロック図FIG. 3 is a block diagram illustrating a configuration example of an error detection circuit in FIG. 1;

【図4】図1のコンシールメント回路の他の構成例を示
すブロック図
FIG. 4 is a block diagram showing another configuration example of the concealment circuit of FIG. 1;

【図5】図1のコンシールメント回路のさらに他の構成
例を示すブロック図
FIG. 5 is a block diagram showing still another configuration example of the concealment circuit of FIG. 1;

【図6】本発明の第2の実施形態に係る動画像受信装置
の要部構成を示すブロック図
FIG. 6 is a block diagram showing a main configuration of a moving image receiving apparatus according to a second embodiment of the present invention.

【図7】本発明の第3の実施形態に係る動画像受信装置
の要部構成を示すブロック図
FIG. 7 is a block diagram showing a main configuration of a moving image receiving apparatus according to a third embodiment of the present invention.

【図8】本発明の第3の実施形態に係る動画像受信装置
の他の構成例を示すブロック図
FIG. 8 is a block diagram showing another configuration example of the moving image receiving apparatus according to the third embodiment of the present invention.

【図9】本発明の第4の実施形態に係る動画像受信装置
の要部構成を示すブロック図
FIG. 9 is a block diagram showing a main configuration of a moving image receiving apparatus according to a fourth embodiment of the present invention.

【図10】DCT係数の予測法を説明する図FIG. 10 is a diagram for explaining a DCT coefficient prediction method.

【図11】本発明の第4の実施形態に係る動画像受信装
置の他の構成例を示すブロック図
FIG. 11 is a block diagram showing another configuration example of the moving image receiving apparatus according to the fourth embodiment of the present invention.

【図12】本発明の第5の実施形態に係る動画像受信装
置の要部構成を示すブロック図
FIG. 12 is a block diagram showing a main configuration of a moving image receiving apparatus according to a fifth embodiment of the present invention.

【図13】本発明の第5の実施形態に係る動画像受信装
置の他の構成例を示すブロック図
FIG. 13 is a block diagram showing another configuration example of the moving image receiving apparatus according to the fifth embodiment of the present invention.

【図14】本発明の第5の実施形態に係る動画像受信装
置のさらに他の構成例を示すブロック図
FIG. 14 is a block diagram showing still another configuration example of the moving image receiving device according to the fifth embodiment of the present invention.

【図15】本発明の第5の実施形態に係る動画像受信装
置のさらに他の構成例を示すブロック図
FIG. 15 is a block diagram showing still another configuration example of the moving image receiving apparatus according to the fifth embodiment of the present invention.

【図16】本発明の第5の実施形態に係る動画像受信装
置のさらに他の構成例を示すブロック図
FIG. 16 is a block diagram showing still another configuration example of the moving image receiving device according to the fifth embodiment of the present invention.

【図17】本発明の第6の実施形態に係る動画像受信装
置の要部構成を示すブロック図
FIG. 17 is a block diagram showing a main configuration of a moving image receiving apparatus according to a sixth embodiment of the present invention.

【図18】本発明の第7の実施形態に係る動画像受信装
置の要部構成を示すブロック図
FIG. 18 is a block diagram showing a main configuration of a moving image receiving apparatus according to a seventh embodiment of the present invention.

【図19】従来のパケット廃棄補償の原理を説明する図FIG. 19 is a diagram illustrating the principle of conventional packet discard compensation.

【図20】従来の動きベクトルの選択法を説明する図FIG. 20 is a view for explaining a conventional method of selecting a motion vector.

【図21】従来のパケット廃棄補償の一例を説明する図FIG. 21 is a diagram illustrating an example of conventional packet discard compensation.

【図22】フレーム内での空間内挿によるコンシールメ
ントを説明する図
FIG. 22 is a view for explaining concealment by spatial interpolation in a frame;

【図23】図22における送信側でのフレーム#nの帯
域が受信側でのフレーム#n+1の帯域に与える影響を
説明する図
23 is a view for explaining the effect of the band of frame #n on the transmission side in FIG. 22 on the band of frame # n + 1 on the reception side;

【図24】フレーム内にイントラスライスを設定して動
きベクトルの探索範囲を制限する手法を説明する図
FIG. 24 is a view for explaining a method of setting an intra slice in a frame to limit a search range of a motion vector.

【符号の説明】[Explanation of symbols]

100…誤り検出回路 101…パケット分解回路 102…デマルチプレクサ・可変長復号回路 103…復号不可能識別フラグ回路 104…誤り訂正回路 110…デコーダ 111…逆量子化回路 112,470…逆DCT回路 113,141,144,220…動き補償回路 114…加算器 120,240,300,400…動き補償情報メモリ 130,500…フレームメモリ 140…コンシールメント回路 142…動き補償誤差評価回路 143…選択回路 145,330…画素値内挿回路 146,340,450…モード判定回路 148…属性判定回路 150,147,480…セレクタ 200,210…アクティビティ計算回路 230…信頼性判定回路 250,320,420…遅延回路 310,410…動き補償推定回路 350…遅延回路 430…低次係数予測回路 440…係数分離・合成回路 460…DCT回路 510…動きベクトル検出回路 520…シーンチェンジ検出回路 530…解像度変換回路 535…ダイナミックレンジ変換回路 540,560,600…エンコーダ 550…エッジ部検出回路 700,720…のフレームメモリ 710…動きベクトル検出回路 730…動き補償予測回路 740…符号化制御回路 750…フレーム内/フレーム間切り換え回路 760…減算器 770…加算器 780…離散コサイン変換回路 790…量子化器 800…逆量子化器 810…逆離散コサイン変換回路 820…可変長符号化回路 830…多重化回路 840…出力バッファ REFERENCE SIGNS LIST 100 error detection circuit 101 packet disassembly circuit 102 demultiplexer / variable-length decoding circuit 103 undecodable identification flag circuit 104 error correction circuit 110 decoder 111 inverse quantization circuit 112, 470 inverse DCT circuit 113 141, 144, 220 ... motion compensation circuit 114 ... adder 120, 240, 300, 400 ... motion compensation information memory 130, 500 ... frame memory 140 ... concealment circuit 142 ... motion compensation error evaluation circuit 143 ... selection circuit 145, 330 ... Pixel value interpolation circuit 146,340,450 ... Mode judgment circuit 148 ... Attribute judgment circuit 150,147,480 ... Selector 200,210 ... Activity calculation circuit 230 ... Reliability judgment circuit 250,320,420 ... Delay circuit 310, 410: Motion compensation estimation time Path 350 delay circuit 430 low-order coefficient prediction circuit 440 coefficient separation / synthesis circuit 460 DCT circuit 510 motion vector detection circuit 520 scene change detection circuit 530 resolution conversion circuit 535 dynamic range conversion circuit 540, 560, 600: encoder 550: edge portion detection circuit 700, 720 frame memory 710: motion vector detection circuit 730: motion compensation prediction circuit 740: coding control circuit 750: intra-frame / inter-frame switching circuit 760: subtractor 770: addition Unit 780: discrete cosine transform circuit 790: quantizer 800: inverse quantizer 810: inverse discrete cosine transform circuit 820: variable length coding circuit 830: multiplexing circuit 840: output buffer

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 MA00 MA23 MC11 ME01 PP06 PP07 RB02 RF02 RF07 SS06 TA06 TA61 TA76 TB08 TC03 TC10 TC14 TC42 TD06 UA02 UA05 5J064 AA01 BA09 BA13 BA16 BB03 BC01 BC02 BC08 BC14 BC25 BD02  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C059 MA00 MA23 MC11 ME01 PP06 PP07 RB02 RF02 RF07 SS06 TA06 TA61 TA76 TB08 TC03 TC10 TC14 TC42 TD06 UA02 UA05 5J064 AA01 BA09 BA13 BA16 BB03 BC01 BC02 BC08 BC14 BC25 BD02

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】動画像信号をブロック単位で動き補償予測
を用いて符号化したデータを送信する動画像送信装置
と、該符号化データを受信してブロック単位で復号する
動画像受信装置とを備えた動画像伝送装置において、 前記動画像受信装置は、 受信した前記符号化データの誤りを検出して誤り検出信
号を出力する誤り検出手段と、 この誤り検出信号に基づいて前記誤りにより復号不可能
となるブロックを識別する識別手段と、 この識別手段によって復号不可能と識別されたブロック
の近傍にある複数の復号可能なブロックの動きベクトル
および動き補償の方法の夫々に従って、該復号不可能と
識別されたブロックの近傍にある復号可能なブロックに
属する複数の画素値を動き補償予測する動き補償予測手
段と、 該動き補償予測の結果夫々について動き補償予測誤差値
を計算する誤差値計算手段と、 この動き補償予測誤差値に基づいて前記複数の動きベク
トルおよび動き補償の方法のうちから前記復号不可能と
識別されたブロックに適用する動きベクトルおよび動き
補償の方法を選択する選択手段と、 この選択された動きベクトルおよび動き補償の方法を用
いて前記復号不可能と識別されたブロックを動き補償に
より修正する修正手段とを具備することを特徴とする動
画像伝送装置。
A moving picture transmitting apparatus for transmitting data obtained by coding a moving picture signal in units of blocks using motion compensation prediction, and a moving picture receiving apparatus for receiving the coded data and decoding the blocks in block units. In the moving picture transmission apparatus, the moving picture receiving apparatus detects an error in the received coded data and outputs an error detection signal. Identification means for identifying a block that can be decoded; and a motion vector and a motion compensation method for a plurality of decodable blocks near the block identified as undecodable by the identification means. Motion compensation prediction means for motion compensation prediction of a plurality of pixel values belonging to a decodable block near the identified block, and a result of the motion compensation prediction, Error value calculating means for calculating a motion compensated prediction error value, and a motion to be applied to the block identified as undecodable among the plurality of motion vectors and motion compensation methods based on the motion compensated prediction error value. Selecting means for selecting a vector and a method of motion compensation; and correcting means for correcting the block identified as undecodable by motion compensation using the selected motion vector and the method of motion compensation. Characteristic moving image transmission device.
【請求項2】動画像信号をブロック単位で動き補償予測
を用いて符号化したデータを送信する動画像送信装置
と、該符号化データを受信してブロック単位で復号する
動画像受信装置とを備えた動画像伝送装置において、 前記動画像受信装置は、 受信した前記符号化データの誤りを検出して誤り検出信
号を出力する誤り検出手段と、 この誤り検出信号に基づいて前記誤りにより復号不可能
となるブロックを識別する識別手段と、 前記符号化データから各ブロックの動き補償予測誤差信
号ならびに対応する動きベクトルおよび動き補償の方法
を復号する復号手段と、 この復号された動きベクトルおよび動き補償の方法を用
いて対応するブロックの動き補償予測信号を生成する動
き補償予測手段と、 前記動き補償予測誤差信号のアクティビティを計算する
第1の計算手段と、 前記動き補償予測信号のアクティビティを計算する第2
の計算手段と、 前記動き補償予測誤差信号のアクティビティと前記動き
補償予測信号のアクティビティとの比を計算する第3の
計算手段と、 前記識別手段によって復号不可能と識別されたブロック
の近傍の複数の復号可能なブロックの動き補償の信頼性
を、各ブロックに対する前記アクティビティの比の値に
基づいて夫々判定する判定手段と、 この判定された信頼性に基づいて前記復号可能なブロッ
クに対応する動きベクトルおよび動き補償の方法のうち
から前記復号不可能と識別されたブロックに適用する動
きベクトルおよび動き補償の方法を選択する選択手段
と、 この選択された動きベクトルおよび動き補償の方法を用
いて前記復号不可能と識別されたブロックを動き補償に
より修正する修正手段とを具備することを特徴とする動
画像伝送装置。
2. A moving image transmitting apparatus for transmitting data obtained by encoding a moving image signal in units of blocks using motion compensation prediction, and a moving image receiving apparatus for receiving the encoded data and decoding the blocks in units of blocks. In the moving picture transmission apparatus, the moving picture receiving apparatus detects an error in the received coded data and outputs an error detection signal. Identification means for identifying a possible block; decoding means for decoding the motion compensation prediction error signal of each block and the corresponding motion vector and motion compensation method from the encoded data; and the decoded motion vector and motion compensation Motion-compensated prediction means for generating a motion-compensated predicted signal of a corresponding block using the method of Second calculating a first calculating means for calculating the activity of the motion compensated prediction signal
Calculating means for calculating the ratio of the activity of the motion-compensated prediction error signal to the activity of the motion-compensated prediction signal; and Determining means for respectively determining the reliability of the motion compensation of the decodable block based on the value of the ratio of the activity to each block; and the motion corresponding to the decodable block based on the determined reliability. Selecting means for selecting a motion vector and a motion compensation method to be applied to the block identified as undecodable from vectors and motion compensation methods, and using the selected motion vector and motion compensation method, Correction means for correcting a block identified as undecodable by motion compensation. Transmission equipment.
JP2002129963A 1993-02-26 2002-05-01 Moving picture transmission device Pending JP2002354488A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002129963A JP2002354488A (en) 1993-02-26 2002-05-01 Moving picture transmission device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP3723393 1993-02-26
JP5-37233 1993-02-26
JP2002129963A JP2002354488A (en) 1993-02-26 2002-05-01 Moving picture transmission device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP31340593A Division JP3519441B2 (en) 1993-02-26 1993-12-14 Video transmission equipment

Publications (1)

Publication Number Publication Date
JP2002354488A true JP2002354488A (en) 2002-12-06

Family

ID=26376354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002129963A Pending JP2002354488A (en) 1993-02-26 2002-05-01 Moving picture transmission device

Country Status (1)

Country Link
JP (1) JP2002354488A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5152189B2 (en) * 2007-09-26 2013-02-27 富士通セミコンダクター株式会社 Video decoder and digital broadcast receiver
US8559527B2 (en) 2006-04-17 2013-10-15 Hitachi Consumer Electronics Co., Ltd. Image display apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559527B2 (en) 2006-04-17 2013-10-15 Hitachi Consumer Electronics Co., Ltd. Image display apparatus
JP5152189B2 (en) * 2007-09-26 2013-02-27 富士通セミコンダクター株式会社 Video decoder and digital broadcast receiver

Similar Documents

Publication Publication Date Title
US5737022A (en) Motion picture error concealment using simplified motion compensation
JP3933718B2 (en) System for processing signals representing images
JP3593988B2 (en) Moving picture signal compression apparatus and method
KR100587280B1 (en) apparatus and method for concealing error
EP1010330B1 (en) Transcoding
US5453799A (en) Unified motion estimation architecture
EP1993292B1 (en) Dynamic image encoding method and device and program using the same
US6489996B1 (en) Moving-picture decoding method and apparatus calculating motion vectors to reduce distortion caused by error propagation
US6415055B1 (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
US5500689A (en) System for detecting a video signal image intensity gradient
US6704363B1 (en) Apparatus and method for concealing error in moving picture decompression system
JP2005318620A (en) Motion vector detection employing adaptive temporal prediction
JP3519441B2 (en) Video transmission equipment
US8199817B2 (en) Method for error concealment in decoding of moving picture and decoding apparatus using the same
KR20010080299A (en) Image decoding device
KR19980017213A (en) Image Decoding System with Compensation Function for Degraded Image
US20050013496A1 (en) Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
JP2002027483A (en) Picture coding system, picture decoding system, and storage media
JPH07193818A (en) Method and device for processing picture
KR20020057525A (en) Apparatus for transcoding video
JP2002354488A (en) Moving picture transmission device
KR100454526B1 (en) Error concealment method of Itra coded frame by spatio-temporal information
JPH09322175A (en) Method and device for decoding time varying image
KR100228684B1 (en) A temporal predictive error concealment method and apparatus based on the motion estimation
JP3197868B2 (en) Image encoding method, intra encoding control method, and data recording medium