JP2003023641A - Moving picture encoder - Google Patents
Moving picture encoderInfo
- Publication number
- JP2003023641A JP2003023641A JP2002133197A JP2002133197A JP2003023641A JP 2003023641 A JP2003023641 A JP 2003023641A JP 2002133197 A JP2002133197 A JP 2002133197A JP 2002133197 A JP2002133197 A JP 2002133197A JP 2003023641 A JP2003023641 A JP 2003023641A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- moving picture
- circuit
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、階層符号化方式に
おいて、符号の冗長化を防止でき且つ、高品質の画像を
再生できる動画像符号化装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding apparatus capable of preventing code redundancy and reproducing a high quality picture in a hierarchical coding system.
【０００２】[0002]
【従来の技術】次世代の低帯域通信網としてＡＴＭ（As
yncronous Transffer Mode）を利用したＢ−ＩＳＤＮが
有望視されている。また、ＡＴＭを用いるテレビ会議な
どの動画像を伝送する方式として、セル廃棄に耐性のあ
る階層符号化方式が検討されている。階層符号化方式の
一例としては、ＰＣＳＪ９０（ピクチャー・コーディン
グ・シンポジウム・ジャパン′９０）に発表された「Ａ
ＴＭ用動画像符号化方式に関する一検討」（９−３）の
例がある。2. Description of the Related Art ATM (As
B-ISDN using synchronous transfer mode) is considered promising. Further, as a method of transmitting a moving image in a video conference using ATM, a hierarchical coding method resistant to cell discard is under study. As an example of the layered coding system, "A" announced in PCSJ90 (Picture Coding Symposium Japan '90).
A study on moving picture coding system for TM "(9-3).
【０００３】上記「ＡＴＭ用動画像符号化方式に関する
検討」に記載の動画像符号化の再生装置の送信器の構造
を図７に示す。図８は、階層符号化方式に利用されるデ
ータ構造（ＣＩＦフォーマット）の説明図である。FIG. 7 shows the structure of the transmitter of the reproducing apparatus for moving picture coding described in "Study on moving picture coding method for ATM". FIG. 8 is an explanatory diagram of a data structure (CIF format) used in the hierarchical encoding method.
【０００４】まず、データ構造について示すと、図８に
おいて、一画面に相当するフレーム１は１２のグループ
２に分割され、各グループ２は３３のマクロブロック
（ＭＢ）３に分割される。各マクロブロック３は８×８
の輝度ブロック４の４個の集合から成る。各マクロブロ
ック３に対しては８×８のＵ成分色差ブロック５とｖ成
分色差ブロック６とが対応され、各色差ブロック５、６
はそれぞれ２倍（１６×１６）化されてマクロブロック
３に重ね合わされる。First, regarding the data structure, in FIG. 8, a frame 1 corresponding to one screen is divided into 12 groups 2, and each group 2 is divided into 33 macro blocks (MB) 3. Each macroblock 3 is 8x8
It consists of four sets of luminance blocks 4. An 8 × 8 U-component color difference block 5 and a v-component color difference block 6 correspond to each macroblock 3, and each color difference block 5, 6
Are doubled (16 × 16) and superposed on the macroblock 3.
【０００５】次に、送信器の構造を示すと、図７におい
て、送信器７の入力端子８は、フレーム内符号化情報
（以下、イントラ（ｉｎｔｒａ）情報と称す）を入力す
るイントラ端子９と、減算器１０と、動き補償回路（Mo
tion Compensation）１１とに分岐されて接続されてい
る。減算器１０は、前記イントラ情報に対応するフレー
ム間符号化情報であるインター（ｉｎｔｅｒ）情報を入
力するインター端子１２と接続されている。イントラ端
子９とインター端子１２は、切換えスイッチＳＷ１を介
して変換回路（ＤＣＴ）１３と接続されるようになって
いる。変換回路１３は、量子化回路（Ｑｕａｎｔ．）１
４と接続され、この量子化回路１４は、第１ＶＬＣ回路
１５と、第２ＶＬＣ回路１６と接続される誤差量子化回
路１７と接続されている。量子化回路１４はステップサ
イズ設定端子１８と接続される。誤差量子化回路１７
は、ステップサイズ設定端子１９と接続される。各ＶＬ
Ｃ回路１５、１６はそれぞれの出力端子２０、２１と接
続される。Next, showing the structure of the transmitter, in FIG. 7, an input terminal 8 of the transmitter 7 is an intra terminal 9 for inputting intra-frame coding information (hereinafter referred to as intra information). , The subtractor 10 and the motion compensation circuit (Mo
11 Computation) 11. The subtractor 10 is connected to an inter terminal 12 which inputs inter information which is interframe coding information corresponding to the intra information. The intra terminal 9 and the inter terminal 12 are connected to the conversion circuit (DCT) 13 via the changeover switch SW1. The conversion circuit 13 includes a quantization circuit (Quant.) 1.
4, the quantization circuit 14 is connected to the first VLC circuit 15 and the error quantization circuit 17 connected to the second VLC circuit 16. The quantization circuit 14 is connected to the step size setting terminal 18. Error quantization circuit 17
Is connected to the step size setting terminal 19. Each VL
The C circuits 15 and 16 are connected to the respective output terminals 20 and 21.
【０００６】さらに、前記量子化回路１４は、逆量子化
回路（Ｄｅｑｕａｎｔ．）２２、逆変換回路２３、加算
器２４の直列回路と接続される。加算器２４の出力端
は、前述の動き補償回路１１とも接続されるフレームメ
モリ２５と接続される。フレームメモリ２５の出力端は
前記減算器１０の入力端と接続されている。また、フレ
ームメモリ２５の出力端はインター端子２６と接続され
ている。このインター端子２６と空端子２７は前記切換
えスイッチＳＷ１と連動操作される切換えスイッチＳＷ
２を介して前記加算器２４の入力端と接続されるように
なっている。Further, the quantization circuit 14 is connected to a series circuit of an inverse quantization circuit (Dequant.) 22, an inverse conversion circuit 23, and an adder 24. The output terminal of the adder 24 is connected to the frame memory 25 which is also connected to the motion compensation circuit 11 described above. The output terminal of the frame memory 25 is connected to the input terminal of the subtractor 10. The output terminal of the frame memory 25 is connected to the inter terminal 26. The inter-terminal 26 and the empty terminal 27 have a changeover switch SW that is operated in conjunction with the changeover switch SW1.
It is adapted to be connected to the input terminal of the adder 24 via 2.
【０００７】送信器７の作用を示すと、まずイントラ情
報ではスイッチＳＷ１、ＳＷ２は端子９、２７とそれぞ
れ接続され、入力端子８から入力されたデータは変換回
路を介してブロック単位で量子化回路１４に入力され、
ステップサイズＱで量子化され、第１ＶＬＣ回路１５を
介して可変長符号化され出力端子２０から通信網へ出力
される。以上が階層符号化の第１段階である。量子化回
路１４で発生された誤差は誤差量子化回路１７において
ステップサイズＱｅ（Ｑｅ＜Ｑ）で量子化され、第２Ｖ
ＬＣ回路１６を介して端子２１から出力される。以上が
階層符号化の第２段階で、この符号化方式は２段階から
成る階層符号化方式である。The operation of the transmitter 7 will be described. First, in the intra information, the switches SW1 and SW2 are connected to the terminals 9 and 27, respectively, and the data input from the input terminal 8 passes through the conversion circuit to the quantization circuit in block units. Entered in 14,
It is quantized with the step size Q, variable-length coded through the first VLC circuit 15, and output from the output terminal 20 to the communication network. The above is the first stage of hierarchical encoding. The error generated in the quantization circuit 14 is quantized in the error quantization circuit 17 with the step size Qe (Qe <Q), and the second V
It is output from the terminal 21 via the LC circuit 16. The above is the second stage of the hierarchical coding, and this coding system is a hierarchical coding system consisting of two stages.
【０００８】一方、インター情報では、ステッチＳＷ
１、ＳＷ２は端子１２、２６と接続される。入力画像は
マクロブロック３に分けられて減算器１０で前フレーム
との差分をとり、変換回路１３において離散コサイン変
換され、量子化回路１４においてステップサイズＱで量
子化される。この情報は逆量子化回路２２と逆変換回路
２３を経て加算器２４で前フレームの参照分を加算され
てフレームメモリ２５に蓄えられ、前記減算器１０の入
力端に入力される。よって、減算器１０は画像の変化分
のみを出力することができる。動き補償回路１１は動き
ベクトルゼロのとき、出力をゼロとさせることができ
る。通信網では、第２段階の符号化情報セルを第１段階
のものに優先して廃棄することにより、フレーム間予測
及び動き補償時のエラー伝搬を極力おさえることができ
る。On the other hand, in the inter information, the stitch SW
1 and SW2 are connected to terminals 12 and 26. The input image is divided into macroblocks 3, the subtractor 10 takes the difference from the previous frame, the transform circuit 13 performs discrete cosine transform, and the quantizer circuit 14 quantizes with a step size Q. This information passes through the inverse quantization circuit 22 and the inverse conversion circuit 23, is added with the reference portion of the previous frame by the adder 24, is stored in the frame memory 25, and is input to the input terminal of the subtractor 10. Therefore, the subtractor 10 can output only the change amount of the image. The motion compensation circuit 11 can set the output to zero when the motion vector is zero. In the communication network, the coded information cells of the second stage are preferentially discarded over those of the first stage, so that error propagation during inter-frame prediction and motion compensation can be suppressed as much as possible.
【０００９】同様の効果をもつ方式として、他に変換回
路１３による変換後の変換係数を低域部と高域部に分
け、低域部を第１段階、高域部を第２段階として伝送す
る方式などがある（参考：真鍮他、「Ｈ２６１を基本と
した可変ルート階層符号化方式の検討」ピクチヤー・コ
ーテイング・シンポジウム・ジャパン″９０）（９−
６）。これらの符号化方式は、いずれも第１段階までの
情報即ち低域変換係数を用いたぼやけた画像を参照フレ
ームとしてフレーム間予測又は動き補償を行うものであ
った。As a system having the same effect, the conversion coefficient after conversion by the conversion circuit 13 is divided into a low band part and a high band part, and the low band part is transmitted as the first stage and the high band part is transmitted as the second stage. (Reference: Brass et al., “V261-based variable root layer coding method”, Picture Coating Symposium Japan “90) (9-
6). In all of these encoding methods, inter-frame prediction or motion compensation is performed using a blurry image using the information up to the first stage, that is, the low-frequency transform coefficient as a reference frame.
【００１０】[0010]
【発明が解決しようとする課題】セル廃棄対策のない通
常の方式では、伝送したい情報の全てをつかった参照フ
レームを用いてフレーム間予測や動き補償をおこなうの
で、一度高域まで送られた部分は、特に変化がない限
り、再び情報を伝送する必要がない。よって背景部分な
どは一度に伝送されると以後殆ど更新の必要がない。し
かし上記に説明したように、セル廃棄対策のため一部の
段階まのでの情報を用いた低域のみの画像を参照フレー
ムとして用いる従来方式では、低域交換係数を用いたぼ
やけた画像を参照フレームとしてフレーム問予測または
動き補償を行うものであったため、フレーム間差分をと
る毎に高域成分があらわれると、毎フレームについてこ
の高域情報を伝送し直さなければならない。つまり符合
量を増加させている。また、動きベクトルがゼロの場合
にはその画像を全て伝送しないような方式であったた
め、動きベクトルが送信画像とぼやけた像との間で算出
されているような場合、本来の動きゼロの状態が確実に
捉えられておらず、送るべき画像を送らない状態が生
じ、伝送品質を低下させているという問題があった。In the normal system without measures for cell discard, inter-frame prediction and motion compensation are performed using a reference frame that uses all the information to be transmitted, so that a part that has been once transmitted to a high frequency band is used. Does not need to transmit information again unless there is a change. Therefore, once the background portion is transmitted at one time, there is almost no need to update it. However, as explained above, in the conventional method that uses a low-frequency-only image that uses information up to some stages as a reference frame as a cell discard measure, a blurred image that uses a low-frequency exchange coefficient is referred to. Since frame prediction or motion compensation is performed as a frame, if a high frequency component appears each time a difference between frames is taken, this high frequency information must be retransmitted for each frame. That is, the amount of matching is increased. In addition, when the motion vector is zero, all the images are not transmitted. Therefore, when the motion vector is calculated between the transmitted image and the blurred image, the original zero motion state is assumed. However, there is a problem in that the transmission quality is deteriorated due to a situation in which the image that should be transmitted is not transmitted because it has not been reliably captured.
【００１１】そこで、本発明は、動画像の背景部分な
ど、実質的に動きの無い画像を含む動画像に対し、例え
高域の多い画像でも不要に符合量を多くすること無く必
要情報を送ることができ、受信側で高品質の画像を再生
することができる動画像符号化装置を提供することを目
的とする。Therefore, according to the present invention, necessary information is sent to a moving image including a substantially static image such as a background portion of the moving image even if the image has many high frequencies without unnecessarily increasing the code amount. It is an object of the present invention to provide a moving picture coding device capable of reproducing a high quality image on the receiving side.
【００１２】[0012]
【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の特徴は、動画像のフレームを所定数
の画像ブロックに分けた後、各ブロックを低周波成分の
第１階層と、その他の第２階層とに別けて階層符号化し
て送信する動画像符号化装置において、前記動画像のフ
レームを所定数の画像ブロックと前記第１階層で符号化
されたブロックを復号化して得た画像ブロックとの差分
をとる差分手段と、前記差分手段により得られた差分を
符号化して送信する符号化送信手段とを具備することに
ある。In order to achieve the above object, a first feature of the present invention is that a frame of a moving image is divided into a predetermined number of image blocks, and then each block is divided into first low frequency components. In a moving picture coding apparatus for separately coding and transmitting a hierarchy and a second hierarchy, a frame of the moving picture is decoded by a predetermined number of image blocks and blocks coded by the first hierarchy. It is provided with a difference means for obtaining a difference from the image block thus obtained, and an encoding / transmission means for encoding and transmitting the difference obtained by the difference means.
【００１３】上記発明によれば、前記動画像のフレーム
を所定数の画像ブロックと前記第１の階層で符号化され
たブロックを復号化して得た画像ブロックとの差分をと
り、得られた差分を符号化して送信する。動画像が変化
したフレームでも、静止画像部分のように変化していな
い部分を重複送信することがなくなり、符号化して送信
する符合量を低減させつつ、再生側（受信側）は実質的
に動きの無い画像についてのみ前フレームの画像を用い
て再生するため、再生画像を高品質とすることができ
る。According to the above invention, the difference between the predetermined number of image blocks of the moving image frame and the image block obtained by decoding the block encoded in the first layer is calculated, and the obtained difference is obtained. Is encoded and transmitted. Even if a frame in which a moving image has changed, the portion that has not changed, such as a still image portion, is not redundantly transmitted, and the amount of code to be encoded and transmitted is reduced, while the playback side (reception side) moves substantially. Since the image of the previous frame is used to reproduce only the image having no image, the reproduced image can have high quality.
【００１４】[0014]
【発明の実施の形態】以下、添付図面を参照して本発明
の実施例を説明する。図１は本発明の一実施例に係る動
画像符号化装置の送信部分のブロック図、図２はその受
信器部分のブロック図を示す。図１において、図７で示
した送信器７の各部材と同一機能を果す部材には同一符
号を用いて示す。また、データ構造は図８のものを用い
るものとする。DETAILED DESCRIPTION OF THE INVENTION Embodiments of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is a block diagram of a transmission part of a moving picture coding apparatus according to an embodiment of the present invention, and FIG. 2 is a block diagram of a receiver part thereof. 1, members having the same functions as those of the transmitter 7 shown in FIG. 7 are designated by the same reference numerals. The data structure shown in FIG. 8 is used.
【００１５】本例の送信器２８は、図７に示す送信器７
に対し、変換回路１３の出力端に減算器２９が接続さ
れ、その出力端に誤差量子化回路３０が接続され、その
出力端は前記第２ＶＬＣ回路１６に接続されている。ま
た、この誤差量子化回路３０の出力端には、逆量子化回
路３１は加算器３２と逆変換回路３３と加算器３４と第
２フレームメモリ３５と減算器３６の直列回路が接続さ
れている。前記加算器３２の一入力端には前記逆量子化
回路２２の出力端と接続されている。逆量子化回路２２
の出力は前記減算器２９の一入力端にも出力される。前
記スイッチＳＷ２から入力される信号は前記加算器３４
に入力されるようになっている。The transmitter 28 of this example is the transmitter 7 shown in FIG.
On the other hand, the subtractor 29 is connected to the output end of the conversion circuit 13, the error quantization circuit 30 is connected to the output end thereof, and the output end thereof is connected to the second VLC circuit 16. In addition, a series circuit of an adder 32, an inverse transform circuit 33, an adder 34, a second frame memory 35, and a subtractor 36 is connected to the output terminal of the error quantization circuit 30. . One input end of the adder 32 is connected to the output end of the inverse quantization circuit 22. Inverse quantization circuit 22
Is also output to one input terminal of the subtractor 29. The signal input from the switch SW2 is the adder 34
It is designed to be input to.
【００１６】さらに、前記フレームメモリ２５を第１フ
レームメモリとして、その後段には帝域フイルタ３７が
介在されている。そして、前記減算器３６、動き補償回
路１１、量子化回路１４の各出力端は、実質的に動きの
無いブロック（無意ブロック）を検出して、これを送信
しないよう量子化回路１４、誤差量子化回路３０を制御
する無意ブロック判別制御回路（Significant ＭＢ）Ｓ
ＭＢと接続されている。各ＶＬＣ回路の後段にはバッフ
ァ３８、３９が設けられている。Further, the frame memory 25 is used as a first frame memory, and an imperial area filter 37 is provided at the subsequent stage. Then, the output terminals of the subtractor 36, the motion compensation circuit 11, and the quantization circuit 14 detect a block (involuntary block) having substantially no motion, and the quantization circuit 14 and the error quantum circuit prevent the block from being transmitted. Block control circuit (Significant MB) S for controlling the digitization circuit 30
It is connected to MB. Buffers 38 and 39 are provided at the subsequent stage of each VLC circuit.
【００１７】以上の送信器２８の構成において、イント
ラ情報では、スイッチＳＷ１、ＳＷ２は端子９、２７と
それぞれ接続されている。送信ブロックは離散コサイン
変化を行う変換回路１３及び量子化回路１４を介して第
１ＶＬＣ回路１５に入力され、可変長符号化される。In the configuration of the transmitter 28 described above, the switches SW1 and SW2 are connected to the terminals 9 and 27, respectively, in the intra information. The transmission block is input to the first VLC circuit 15 via the conversion circuit 13 and the quantization circuit 14 that perform the discrete cosine change, and is variable-length coded.
【００１８】インター情報に対してはスイッチＳＷ１、
ＳＷ２は端子１２、２６とそれぞれ接続され、減算器１
０を介して差分信号が出力され可変長符号化される。た
だし現マクロブロックが無意ブロックの場合は、変換係
数はゼロクリアされる。無意ブロックの判別方式につい
ては図３以下で詳述する。量子化回路１４で量子化され
たマクロブロック３は、第１ＶＬＣ回路１５において可
変長符号化され伝送される。また逆量子化と逆変換が回
路２２、２３において行われ、加算器２４を介して第１
フレームメモリ２５に蓄えられる。For inter information, switch SW1,
SW2 is connected to terminals 12 and 26, respectively, and subtractor 1
The difference signal is output via 0 and variable length coded. However, when the current macroblock is an insignificant block, the transform coefficient is cleared to zero. The method of discriminating the insignificant block will be described in detail with reference to FIG. The macroblock 3 quantized by the quantization circuit 14 is variable-length coded and transmitted by the first VLC circuit 15. In addition, inverse quantization and inverse transformation are performed in the circuits 22 and 23, and the first
It is stored in the frame memory 25.
【００１９】第２段階の符号化方式を説明する。第２段
階では、減算器２９において、変換回路１３で変換され
た計数値と、量子化回路１４で量子化され逆量子化回路
２２で逆量子化された量子化値との差分がとられ、誤差
量子化回路３０において任意の方法で再び量子化され
る。ただし送信ブロックが無意ブロックの場合、差分は
ゼロクリアされる。さらに第２ＶＬＣ回路１６において
可変長符号化され伝送される。また逆量子化回路３１、
逆変換回路３３において第１段階の情報をも合わせた情
報が逆量子化及び逆変換され、加算器３４を介して第２
フレームメモリ３５に蓄えられる。ただし送信ブロック
が無意の場合は書き替えを行わない。The encoding method of the second stage will be described. At the second stage, the subtracter 29 takes the difference between the count value converted by the conversion circuit 13 and the quantized value quantized by the quantization circuit 14 and inversely quantized by the inverse quantization circuit 22, The error quantization circuit 30 quantizes again by an arbitrary method. However, if the transmission block is an insignificant block, the difference is cleared to zero. Further, it is variable length coded in the second VLC circuit 16 and transmitted. The inverse quantization circuit 31,
The information including the information of the first stage is inversely quantized and inversely transformed in the inverse transformation circuit 33, and the second information is obtained through the adder 34.
It is stored in the frame memory 35. However, if the transmission block is insignificant, it is not rewritten.
【００２０】一方、図２に示すように受信器３０は、前
記出力端子２０、２１から出力され、ＡＴＭ網を介して
入力されだデータをそれぞれ入力するデータ入力端子４
０、４１を有し、各端子に、復合回路４２、４３と、逆
量子化回路４４、４５の直列回路がそれぞれ接続されて
いる。逆量子化回路４４の出力端は逆変換回路４６と接
続され、他方の逆量子化回路４５は加算器４７を介して
他の逆変換回路４８と接続されている。この加算器４７
には逆量子化回路４４の出力情報が入力され、逆量子化
回路４５の出力と加算されて逆変換回路４８に入力され
る。On the other hand, as shown in FIG. 2, the receiver 30 has a data input terminal 4 for receiving the data outputted from the output terminals 20 and 21 and inputted through the ATM network.
0 and 41, and the series circuits of the decompression circuits 42 and 43 and the dequantization circuits 44 and 45 are connected to the respective terminals. The output terminal of the inverse quantization circuit 44 is connected to the inverse conversion circuit 46, and the other inverse quantization circuit 45 is connected to another inverse conversion circuit 48 via the adder 47. This adder 47
The output information of the inverse quantization circuit 44 is input to the input terminal, and is added to the output of the inverse quantization circuit 45 and input to the inverse conversion circuit 48.
【００２１】前記逆変換回路４６の出力端は加算器４９
と接続されている。この加算器４９の出力端は第３フレ
ームメモリ５０とフィルタ回路５１の直列回路と接続さ
れている。このフイルタ回路５１の出力端子５２は、切
換えスイッチＳＷ３を介して前記加算器４９の一入力端
と接続されている。スイッチＳＷ３はイントラ情報では
端子５３側にインター情報に対しては前記端子５２側に
切換えられるものである。The output terminal of the inverse conversion circuit 46 is an adder 49.
Connected with. The output terminal of the adder 49 is connected to the series circuit of the third frame memory 50 and the filter circuit 51. The output terminal 52 of the filter circuit 51 is connected to one input end of the adder 49 via the changeover switch SW3. The switch SW3 is switched to the terminal 53 side for intra information and to the terminal 52 side for inter information.
【００２２】前記スイッチＳＷ３と切換え接続される端
子５３は、前記逆変換回路４８の出力端と接続される加
算器５４の一入力端と接続される。加算器５４の出力端
にはスイッチ操作回路５５と切換え端子５６が接続さ
れ、このスイッチ操作回路５５で切換え操作されるスイ
ッチＳＷ４を介してディスプレイ５７と接続される。前
記スイッチＳＷ４は、前記端子５６または他の端子５８
側と接続されるようになっており、この端子５８と前記
スイッチＳＷ４との間には、スイッチＳＷ４が端子５８
と接続されたとき、前記ディスプレイ５７に対し前フレ
ームの出力信号をそのまま出力するための第４フレーム
メモリ５９が接続されている。A terminal 53 which is switch-connected to the switch SW3 is connected to one input end of an adder 54 which is connected to an output end of the inverse conversion circuit 48. A switch operating circuit 55 and a switching terminal 56 are connected to the output end of the adder 54, and are connected to a display 57 via a switch SW4 that is switched by the switch operating circuit 55. The switch SW4 has the terminal 56 or another terminal 58.
The switch SW4 is connected between the terminal 58 and the switch SW4.
When connected to the display 57, a fourth frame memory 59 for outputting the output signal of the previous frame as it is to the display 57 is connected.
【００２３】以上の構成の受信器３９において、スイッ
チＳＷ３はイントラ情報に対しては端子５３と接続さ
れ、インター情報に対して端子５２と接続されている。
また、スイッチＳＷ４は、前述の無意情報に対しては端
子５８と接続されるが、有意ブロック情報に対しては端
子５６と接続されている。In the receiver 39 having the above configuration, the switch SW3 is connected to the terminal 53 for intra information and connected to the terminal 52 for inter information.
The switch SW4 is connected to the terminal 58 for the insignificant information described above, but is connected to the terminal 56 for the significant block information.
【００２４】従って、イントラ情報に関しては、加算器
５４で全段階の情報が加算されてデイスブレイ表示され
る。また、インター情報では、第１段階の符号化情報は
逆量子化回路４４、逆変換回路４６を経たのち第３フレ
ームメモリ５０に蓄えられる。第２段階の符号化情報は
復号回路４３、逆量子化回路４５を経たのち第１段階の
情報と合わせて逆変換回路４８において逆変換され、参
照画像であるフレームメモリ５０の内容を加算し、第４
フレームメモリ５９に蓄えられる。ただし、符号化情報
即ちフレーム間差分情報や動きベクトル情報がないマク
ロブロックの場合には、第４フレームメモリ５９を書き
替えない。また画面の該当部分も更新しない。Therefore, with respect to the intra information, the information of all stages is added by the adder 54, and the information is displayed in the delay time display. In the inter information, the first-stage encoded information is stored in the third frame memory 50 after passing through the inverse quantization circuit 44 and the inverse conversion circuit 46. The encoded information in the second stage passes through the decoding circuit 43 and the inverse quantization circuit 45, and then is inversely transformed in the inverse transform circuit 48 together with the information in the first stage, and the contents of the frame memory 50 as the reference image are added, Fourth
It is stored in the frame memory 59. However, the fourth frame memory 59 is not rewritten in the case of a macroblock having no coding information, that is, inter-frame difference information or motion vector information. Also, the corresponding part of the screen is not updated.
【００２５】誤差について補足すると、本発明方式で
は、誤差は送信ブロックから前フレームの該当ブロック
（低域のみ）を差し引いたフレーム問予測誤差と、送信
ブロックから前フレームの該当ブロックと動きベクトル
の合成値を引いた動き補償後の誤差と、送信ブロックか
ら前フレームのきれいな該当ブロック（低域成分と他の
成分の合成値）を引いた有意／無意判定のための誤差の
３種類に分けられる。To supplement the error, in the method of the present invention, the error is the frame prediction error obtained by subtracting the corresponding block (only the low frequency band) of the previous frame from the transmission block, and the synthesis of the corresponding block of the previous frame and the motion vector from the transmission block. The error is divided into three types: an error after motion compensation after subtracting a value and an error for significant / involuntary judgment obtained by subtracting a corresponding block (combined value of a low frequency component and other components) of a preceding frame from the transmission block.
【００２６】ここに、通常の方式では、動きベクトルと
動き補償後の誤差を送る。または動き補償後の誤差がゼ
ロのとき動きベクトルのみ送る。または動きベクトルが
ゼロのときフレーム間予測誤差を送る。または動きベク
トルのフレーム間予測誤差もゼロのとき何も送らない。In the normal method, the motion vector and the error after motion compensation are sent. Alternatively, only the motion vector is sent when the error after motion compensation is zero. Alternatively, when the motion vector is zero, the inter-frame prediction error is sent. Or, if the inter-frame prediction error of the motion vector is also zero, nothing is sent.
【００２７】これに対し、発明方式の場合は、動きベク
トルがゼロのときフレーム間予測を送る場合について、
有意／無意判定のための誤差を特に計算して有意／無意
判定を行う。無意ならば強制的に何も送らないこととし
てしまうことで、高域の送り直しを防ぎ、本当に動いて
いるものの他、動きはないが何かの変化が起きている有
意ブロックのみを残している。On the other hand, in the case of the inventive method, when the inter-frame prediction is sent when the motion vector is zero,
Significance / insignificance determination is performed by particularly calculating an error for significance / insignificance determination. By not sending anything if it is unwilling, it prevents re-sending in the high range and leaves only significant blocks that are not moving but something is changing, in addition to those that are really moving. .
【００２８】図３は無意ブロックの判別制御手段ＳＭＢ
における無意ブロック判別方式の一例を示すロフーチヤ
ートである。ステップ３０１では、イントラ情報または
インター情報が判別される。ステップ３０２では、動き
ベクトルがゼロであるか否かが判別される。ステップ３
０３では、送信ブロックと第２フレームメモリ３５との
差分の２乗平均値σ2 を閾値Ｔｈｒと比較する。インタ
ー情報で、動きベクトルがゼロで、かつσ2＜Ｔｈｒの
とき、当該送信ブロックは無意情報（無意ブロック）で
あると判別する。その他の送信ブロックはステップ３０
５で全て有意情報（有意ブロック）であるとする。無意
ブロックは、実質的に動きの無いブロックであることを
意味する。FIG. 3 is a block control unit SMB for discriminating insignificant blocks.
2 is a lophochart showing an example of the indiscriminate block discrimination method in. In step 301, intra information or inter information is discriminated. In step 302, it is judged if the motion vector is zero. Step 3
In 03, the mean square value σ 2 of the difference between the transmission block and the second frame memory 35 is compared with the threshold value Thr. In the inter information, when the motion vector is zero and σ 2 <Thr, it is determined that the transmission block is insignificant information (insignificant block). Step 30 for other transmission blocks
It is assumed that all of 5 are significant information (significant blocks). The insignificant block means a block that does not substantially move.
【００２９】一般に、動きベクトルは、ぼやけた画像と
送信画像との問で算出されるので、実質的に動きの有る
ブロックを動きが無いと判別してしまう。これに対し、
本例では、ステップ３０３を追加しσ2＜Ｔｈｒのと
き、無意ブロックであると判別するので、より確実に実
際動作を検出し、受信器３９において高品質の画像を再
生できる。In general, the motion vector is calculated by the question of the blurred image and the transmitted image, so that a block having a substantial motion is discriminated as having no motion. In contrast,
In this example, step 303 is added and when σ 2 <Thr, it is determined that the block is an insignificant block. Therefore, the actual operation can be detected more reliably, and the receiver 39 can reproduce a high-quality image.
【００３０】即ち、受信器３９のスイッチ操作回路５５
は、有意または無意ブロックに応じてスイッチＳＷ４を
操作し、有意ブロックについては加算器５４の出力をそ
のままデイスプレイ５７に表示し、力、つ第４フレーム
メモリに蓄積する。そして、無意ブロックでは、スイッ
チＳＷ４を端子５８に接続し、第４フレームメモリ５９
の記憶内容を充当する。That is, the switch operation circuit 55 of the receiver 39
Operates the switch SW4 in accordance with the significant or insignificant block, and displays the output of the adder 54 as it is on the display 57 for the significant block and stores it in the fourth frame memory. Then, in the insignificant block, the switch SW4 is connected to the terminal 58, and the fourth frame memory 59 is connected.
Appropriate memory contents of.
【００３１】図４は他の無意ブロック判別方式を示す。
ステップ４０１、４０２はステップ３０１、３０２と同
様である。ステップ４０３は、送信ブロックと第２フレ
ームメモリ３５との差分を離散コサイン変換し、所定の
ステップサイズで量子化すると非ゼロになる係数が存在
するか否かを判別するものである。有ればステップ４０
５へ移行してこれは有意ブロックであるとする。動きベ
クトルがゼロで、かつ非ゼロ係数が無しの場合、これは
無意ブロックであるとする。これにより、より確実に動
きの無い画像を検出し、高品質の画像を再生できる。FIG. 4 shows another indiscriminate block discrimination method.
Steps 401 and 402 are the same as steps 301 and 302. In step 403, the difference between the transmission block and the second frame memory 35 is subjected to discrete cosine transform, and it is determined whether or not there is a coefficient that becomes non-zero when quantized with a predetermined step size. Step 40 if there is
Go to 5 and assume that this is a significant block. If the motion vector is zero and there are no non-zero coefficients, then this is an insignificant block. As a result, it is possible to more reliably detect a motionless image and reproduce a high-quality image.
【００３２】図５は、ａを変換回路１３において離散コ
サイン変換を行う情報の２乗平均値、または量子化回路
１４において量子化を行った後の情報の２乗平均値と
し、ｂを送信ブロックと第２フレーム３５との差分の２
乗平均値（σ2）とし、ａ≧ｂで無意ブロックを判別す
るものである。In FIG. 5, a is the root mean square value of the information for which the discrete cosine transform is performed in the transform circuit 13 or the root mean square value of the information after being quantized in the quantization circuit 14, and b is the transmission block. 2 of the difference between the second frame 35 and
A mean value (σ 2 ) is set, and an insignificant block is discriminated when a ≧ b.
【００３３】図６は、さらに他の無意ブロック判別方式
を示すフローチャートである。本例では、ステップ６０
３で量子化回路１４で量子化後、全ての係数の量子化値
がゼロとなる場合を判別し、これがゼロの場合に当該ブ
ロックを無意ブロックであるとするものである。FIG. 6 is a flow chart showing another insignificant block discrimination method. In this example, step 60
After the quantization is performed by the quantization circuit 14 in 3, the case where the quantized values of all the coefficients are zero is discriminated, and when the quantized values are all zero, the block is regarded as an insignificant block.
【００３４】図４〜図６の判別方式を採用する場合に
は、図２に示す無意ブロック判別制御回路ＳＭＢの信号
入力線を適宜接続変更すれば良い。また、図３〜図６の
ステップ３０４、４０４、５０４、６０４に示す判別方
式は、適宜組み合わせて使用することができる。When the discrimination system of FIGS. 4 to 6 is adopted, the connection of the signal input line of the insignificant block discrimination control circuit SMB shown in FIG. 2 may be changed appropriately. Further, the determination methods shown in steps 304, 404, 504, and 604 of FIGS. 3 to 6 can be used in combination as appropriate.
【００３５】以上により、本例の動画像符号化装置によ
れば、第１、第２の量子化回路１４、３０を介して低域
及び高域の画像を階層符号化方式にて符号化し送信する
のでセル廃棄対策に対し対応でき、かつインター情報に
おいて動きベクトルがゼロである場合には、ステップ３
０４、４０４、５０４、６０４に示した判別を追加する
ことにより実質的に動きの無い画像についてのみ前フレ
ームの画像を用いることができ、セル廃棄対策のため生
じた符号の冗長性をなくし、対策のない場合とほぼ同等
の画質が得られる。As described above, according to the moving picture coding apparatus of the present example, the low band and high band images are coded by the hierarchical coding method via the first and second quantizing circuits 14 and 30 and transmitted. Therefore, when it is possible to deal with the cell discard measure and the motion vector is zero in the inter information, step 3
By adding the discrimination shown in 04, 404, 504, and 604, the image of the previous frame can be used only for the image having substantially no motion, and the redundancy of the code generated for the cell discard measure is eliminated, and the measure is taken. The image quality is almost the same as that without.
【００３６】本発明は、上記実施例に限定されるもので
はなく、本発明の要旨を逸脱しない範囲で適宜変形して
実施し得る。The present invention is not limited to the above-described embodiments, but may be modified and carried out without departing from the scope of the present invention.
【００３７】[0037]
【発明の効果】以上詳細に説明したように、本発明によ
れば、動画像が変化した場合、変化のある高周波成分の
み送信し、背景などの動きのない部分の重複送信を避け
ることにより、実質的に動きの無い画像を含む動画像に
対し、例え高域の多い画像でも不要に符合量を多くする
こと無く必要情報を送ることができ、受信側で高品質の
画像を再生することができる。As described in detail above, according to the present invention, when a moving image changes, only high-frequency components that change are transmitted, and by avoiding redundant transmission of a non-moving part such as a background, For moving images including images that do not substantially move, it is possible to send the necessary information without unnecessarily increasing the amount of coding, even for images with a lot of high frequencies, and the receiving side can reproduce high-quality images. it can.
【図１】本発明の一実施例に係る動画像符号化装置の送
信部分の構成を示すブロック図。FIG. 1 is a block diagram showing a configuration of a transmission part of a moving picture coding apparatus according to an embodiment of the present invention.
【図２】上記動画像符号化装置の受信器部分の構成を示
すブロック図。FIG. 2 is a block diagram showing a configuration of a receiver portion of the moving picture coding device.
【図３】上記送信器の無意ブロック判別制御回路の無意
ブロック判別方式を示すフローチャート。FIG. 3 is a flowchart showing an insignificant block determination method of the indeterminate block determination control circuit of the transmitter.
【図４】他の無意ブロック判別方式を示すフローチャー
ト。FIG. 4 is a flowchart showing another insignificant block determination method.
【図５】その他の無意ブロック判別方式を示すフロート
チャート。FIG. 5 is a float chart showing another indiscriminate block determination method.
【図６】さらに他の無意ブロック判別方式を示すフロー
チャート。FIG. 6 is a flowchart showing still another insignificant block determination method.
【図７】従来の動画像符号化装置の一例を示すブロック
図。FIG. 7 is a block diagram showing an example of a conventional moving image encoding device.
【図８】ＣＩＦフオーマットによるデータ構造を示す説
明図。FIG. 8 is an explanatory diagram showing a data structure in CIF format.
３ マルチブロック １１ 動き補償回路 １３ 変換回路 １４ 量子化回路 ２２、３１ 逆量子化回路 ２５ 第１フレームメモリ ２３、３３ 逆変換回路 ３０ 誤差量子化回路 ３５ 第２フレームメモリ ５０ 第３フレームメモリ ５５ スイッチ操作回路 ５９ 第４フレームメモリ ＳＭＢ 無意ブロック判別制御回路 3 multi-block 11 Motion compensation circuit 13 Conversion circuit 14 Quantization circuit 22, 31 Inverse quantization circuit 25 First frame memory 23, 33 Inverse conversion circuit 30 Error quantization circuit 35 Second Frame Memory 50 Third Frame Memory 55 Switch operation circuit 59 Fourth Frame Memory SMB indiscriminate block discrimination control circuit
フロントページの続き Ｆターム(参考） 5C059 MA05 MA23 MA32 MC11 MC38 ME01 PP04 PP16 RB02 RB14 RB17 SS07 TA21 TB07 TC02 TC03 TC04 TC06 TC12 TC13 TC27 TD03 TD05 TD12 UA02 UA05 UA33 5J064 AA01 BA13 BA16 BB01 BC01 BC08 BC14 BC16 BD02 BD03Continued front page F-term (reference) 5C059 MA05 MA23 MA32 MC11 MC38 ME01 PP04 PP16 RB02 RB14 RB17 SS07 TA21 TB07 TC02 TC03 TC04 TC06 TC12 TC13 TC27 TD03 TD05 TD12 UA02 UA05 UA33 5J064 AA01 BA13 BA16 BB01 BC01 BC08 BC14 BC16 BD02 BD03
Claims (2)
クに分けた後、各ブロックを低周波成分の第１階層と、
その他の第２階層とに別けて階層符号化して送信する動
画像符号化装置において、 前記動画像のフレームを所定数の画像ブロックと前記第
１階層で符号化されたブロックを復号化して得た画像ブ
ロックとの差分をとる差分手段と、 前記差分手段により得られた差分を符号化して送信する
符号化送信手段と、 を具備することを特徴とする動画像符号化装置。1. After dividing a frame of a moving image into a predetermined number of image blocks, each block is a first layer of low frequency components,
In a moving picture coding apparatus that performs layer coding separately from the other second layer and transmits, a frame of the moving picture is obtained by decoding a predetermined number of image blocks and blocks coded in the first layer. A moving picture coding apparatus, comprising: a difference means for calculating a difference from an image block; and a coding / transmitting means for coding and transmitting the difference obtained by the difference means.
クに分けた後、各画像ブロックを直交変換符号化して、
低周波成分の第１階層とその他の第２階層とに分離して
送信する動画像符号化装置において、 前記直交変換された画像ブロックと前記第１階層の画像
信号として直交変換後、量子化された画像ブロックを逆
量子化して得られた画像ブロックとの差分を得る差分手
段と、 前記差分手段により得られた差分画像を前記第２階層の
画像信号として送信する送信手段と、 を具備することを特徴とする動画像符号化装置。2. A frame of a moving image is divided into a predetermined number of image blocks, and each image block is subjected to orthogonal transform coding,
In a moving picture coding apparatus for transmitting a low-frequency component in a first layer and another second layer separately, the orthogonally transformed image block and the first layer image signal are orthogonally transformed and then quantized. A difference unit that obtains a difference from the image block obtained by dequantizing the image block obtained by the above-described image processing; and a transmission unit that transmits the difference image obtained by the difference unit as the image signal of the second layer. And a moving picture coding device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002133197A JP2003023641A (en) | 2002-05-08 | 2002-05-08 | Moving picture encoder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002133197A JP2003023641A (en) | 2002-05-08 | 2002-05-08 | Moving picture encoder |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3131432A Division JPH04357788A (en) | 1991-06-03 | 1991-06-03 | Moving picture encoding device and moving picture reproducing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003023641A true JP2003023641A (en) | 2003-01-24 |
Family
ID=19194412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002133197A Pending JP2003023641A (en) | 2002-05-08 | 2002-05-08 | Moving picture encoder |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003023641A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010016841A (en) * | 2005-08-26 | 2010-01-21 | Electrosonic Ltd | Data transmitting method and compressing method |
| JP2011004322A (en) * | 2009-06-22 | 2011-01-06 | Kddi R & D Laboratories Inc | Moving image encoding apparatus and decoding apparatus |
| US9992252B2 (en) | 2015-09-29 | 2018-06-05 | Rgb Systems, Inc. | Method and apparatus for adaptively compressing streaming video |
-
2002
- 2002-05-08 JP JP2002133197A patent/JP2003023641A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010016841A (en) * | 2005-08-26 | 2010-01-21 | Electrosonic Ltd | Data transmitting method and compressing method |
| EP2928191A1 (en) * | 2005-08-26 | 2015-10-07 | RGB Systems, Inc. | Image data processing |
| US9204170B2 (en) | 2005-08-26 | 2015-12-01 | Rgb Systems, Inc. | Method for image data processing utilizing multiple transform engines |
| US9924199B2 (en) | 2005-08-26 | 2018-03-20 | Rgb Systems, Inc. | Method and apparatus for compressing image data using compression profiles |
| US9930364B2 (en) | 2005-08-26 | 2018-03-27 | Rgb Systems, Inc. | Method and apparatus for encoding image data using wavelet signatures |
| US10051288B2 (en) | 2005-08-26 | 2018-08-14 | Rgb Systems, Inc. | Method and apparatus for compressing image data using a tree structure |
| US10244263B2 (en) | 2005-08-26 | 2019-03-26 | Rgb Systems, Inc. | Method and apparatus for packaging image data for transmission over a network |
| JP2011004322A (en) * | 2009-06-22 | 2011-01-06 | Kddi R & D Laboratories Inc | Moving image encoding apparatus and decoding apparatus |
| US9992252B2 (en) | 2015-09-29 | 2018-06-05 | Rgb Systems, Inc. | Method and apparatus for adaptively compressing streaming video |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022022297A1 (en) | Video decoding method and apparatus, video encoding method and apparatus, device, and storage medium | |
| JP4603695B2 (en) | Video coding | |
| RU2409005C2 (en) | Method of scalable coding and decoding of video signal | |
| AU684901B2 (en) | Method and circuit for estimating motion between pictures composed of interlaced fields, and device for coding digital signals comprising such a circuit | |
| JP4537583B2 (en) | Error concealment of video signal | |
| JP3419042B2 (en) | Error masking method in transmission system | |
| JPH0686262A (en) | Apparatus for encoding of image | |
| JP2000333163A (en) | Decoder, its method, coder, its method, image processing system and image processing method | |
| JP4201849B2 (en) | Video encoding method and apparatus, and corresponding decoding apparatus | |
| JPH0775111A (en) | Digital signal encoder | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| JP2003023641A (en) | Moving picture encoder | |
| JPS63232691A (en) | System for encoding image | |
| WO2022022299A1 (en) | Method, apparatus, and device for constructing motion information list in video coding and decoding | |
| JPH04357788A (en) | Moving picture encoding device and moving picture reproducing device | |
| JP2507199B2 (en) | Image coding method and apparatus | |
| JPH06319131A (en) | Video decoder | |
| JPH07107464A (en) | Picture encoding device and decoding device | |
| JP3382292B2 (en) | Image encoding apparatus and method | |
| JP2776424B2 (en) | Cell loss compensation image decoding method | |
| JP2004356857A (en) | Image data encoder | |
| JP4000581B2 (en) | Image coding apparatus and method | |
| JP3197893B2 (en) | Wireless image communication terminal | |
| JPH06217296A (en) | Image signal coding device based on adaptive intramode/intermode compression | |
| JP3197892B2 (en) | Image coding device |