JP2002077910A - Variable image rate encoder, variable image rate decoder, variable image rate encoding method and variable image rate decoding method - Google Patents
Variable image rate encoder, variable image rate decoder, variable image rate encoding method and variable image rate decoding methodInfo
- Publication number
- JP2002077910A JP2002077910A JP2000255170A JP2000255170A JP2002077910A JP 2002077910 A JP2002077910 A JP 2002077910A JP 2000255170 A JP2000255170 A JP 2000255170A JP 2000255170 A JP2000255170 A JP 2000255170A JP 2002077910 A JP2002077910 A JP 2002077910A
- Authority
- JP
- Japan
- Prior art keywords
- image
- rate
- image rate
- predetermined
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像を再生画質を
低下させることなく効率的に伝送、蓄積、表示するため
に、走査線構造を切り替えて単位時間あたりの画像数を
変化させ、画像情報をより少ない符号量でディジタル信
号にする高能率符号化する符号化処理、及びその符号化
処理に適した復号化処理に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for changing the number of images per unit time by changing a scanning line structure in order to efficiently transmit, store, and display images without deteriorating reproduction quality. The present invention relates to an encoding process for performing high-efficiency encoding for converting a digital signal into a digital signal with a smaller code amount, and a decoding process suitable for the encoding process.
【０００２】[0002]
【従来の技術】＜可変画像レート符号化＞動画像符号化
では、６４ｋｂｐｓなど特に低い転送ビットレートで符
号化する場合、入来するフレーム(画像)のすべてを符号
化せず、間引いた一部の画像のみを符号化する場合があ
る。元の画像が３０フレーム／秒（ｆｐｓ）であると、
間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどと
なる。この場合、間引きにより動きのスムーズさは損な
われることになるが、被符号化フレームが減るので発生
符号量は少なくすることができる。ＭＰＥＧ方式では、
画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれ
る片側方向予測と、Ｂピクチャーと呼ばれる双方向予測
が使われる。ここで、Ｂピクチャーは、他の画像の参照
画像にならないので、削除しても他の画像には影響しな
い。これにより、一度符号化された符号列から、Ｂピク
チャーの符号列のみを削除することで画像レートを変更
できる。この場合、Ｐピクチャーが３フレーム毎に設定
されていると、３０フレーム／秒が１０フレーム／秒に
なる。2. Description of the Related Art <Variable image rate coding> In moving image coding, when coding is performed at a particularly low transfer bit rate such as 64 kbps, all incoming frames (images) are not coded but are partially thinned out. May be encoded only. If the original image is 30 frames per second (fps),
15 fps, 10 fps, 5 fps, etc. are obtained by thinning. In this case, although the smoothness of the motion is impaired by the thinning-out, the number of frames to be encoded is reduced, so that the generated code amount can be reduced. In the MPEG system,
There are two types of inter-picture prediction methods. One-way prediction called a P picture and bi-directional prediction called a B picture are used. Here, since the B picture does not become a reference image of another image, even if it is deleted, it does not affect other images. As a result, the image rate can be changed by deleting only the code sequence of the B picture from the code sequence once coded. In this case, if the P picture is set every three frames, 30 frames / sec becomes 10 frames / sec.
【０００３】＜従来例可変画像レート符号化装置＞図７
は可変画像レート符号化装置の従来例構成を示したもの
である。画像入力端子７１より入来する３０フレーム／
秒(ｆｐｓ)の動画像信号は、フレーム間引器７２で、画
像レート制御器７３から与えられる画像レート情報に従
って、３０ｆｐｓのままとするか、１／２ないし１／３
に間引かれ１５ｆｐｓないし１０ｆｐｓの動画像信号と
なり、減算器４に与えられる。動画像信号は、減算器４
において動き補償予測器６５から与えられる予測信号が
減算され、予測残差となってＤＣＴ５に与えられる。Ｄ
ＣＴ５は予測残差に対してＤＣＴ(Discrete Cosine Tra
nsform)の変換処理を行い、得られた係数を量子化器６
に与える。量子化器６は所定のステップ幅で係数を量子
化し、固定長の符号となった係数を可変長符号化器１０
と逆量子化器９に与える。可変長符号化器１０は、固定
長の予測残差を可変長符号で圧縮し、できた符号は出力
端子１６から出力される。符号量観測器７４は、可変長
符号化器１０で発生する符号量を入力し、所定ビットレ
ートでの出力を仮定して仮想バッファ充足度を求め、画
像レート制御器７３に与える。仮想バッファ容量は所定
ビットレートの０.２秒分程度である。一方、逆量子化
器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆
処理が行われ、予測残差を再生する。得られた再生予測
残差は加算器１３で予測信号が加算され再生画像とな
り、画像間予測器７５に与えられる。画像間予測器７５
は、再生画像を１フレーム分蓄え、再生画像から予測信
号形成して減算器４と加算器１３に与える。画像レート
制御器７４は、仮想バッファ充足度に応じて画像レート
を制御する。発生符号量が多くて残留符号が多い場合は
画像レートを下げ、発生符号量が少なく残留符号が少な
い場合は画像レートを上げる。 ＜従来例可変フレームレート復号化装置＞ 図８は、図７の可変レート符号化装置に対応する復号化
装置の従来例構成を示したものである。符号入力端子２
７より入来する符号列は、可変長復号化器２４で予測残
差の可変長符号が固定長の符号に戻され、逆量子化器９
に与えられる。固定長符号は逆量子化器９で予測残差の
再生ＤＣＴ係数値となり、逆ＤＣＴ１４に与えられる。
逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変
換し、加算器１３に与える。加算器１３では再生予測残
差信号に、画像間予測器８２から与えられる予測信号が
加算され、再生画像となる。この様にして得られた再生
画像信号は、画像間予測器８２に与えられる共にフレー
ム補間器８１に与えられる。画像間予測器８２は、蓄積
されている画像から予測信号を形成し、加算器１３に与
える。フレーム補間器８１は、再生画像を保持し、次の
再生画像が与えられるまでの間、３０ｆｐｓで繰り返し
同一の再生画像を画像出力端子２３から出力する。<Conventional Variable Image Rate Coding Apparatus> FIG.
1 shows a configuration of a conventional example of a variable image rate encoding device. 30 frames coming in from image input terminal 71 /
The moving image signal of second (fps) is kept at 30 fps or な い し to で according to the image rate information given from the image rate controller 73 by the frame thinning unit 72.
And a moving image signal of 15 fps to 10 fps is provided to the subtractor 4. The moving image signal is subtracted by the subtractor 4
In, the prediction signal provided from the motion compensation predictor 65 is subtracted and provided as a prediction residual to the DCT 5. D
CT5 uses DCT (Discrete Cosine Tra
nsform), and the obtained coefficients are quantized by the quantizer 6.
Give to. The quantizer 6 quantizes the coefficient with a predetermined step width, and converts the fixed-length code into a variable-length encoder 10.
To the inverse quantizer 9. The variable-length encoder 10 compresses the fixed-length prediction residual with a variable-length code, and outputs the resulting code from an output terminal 16. The code amount observer 74 receives the code amount generated by the variable length encoder 10, obtains a virtual buffer sufficiency assuming an output at a predetermined bit rate, and provides the virtual buffer sufficiency to the image rate controller 73. The virtual buffer capacity is about 0.2 seconds of the predetermined bit rate. On the other hand, in the inverse quantizer 9 and the inverse DCT 14, the inverse processing of the DCT 5 and the quantizer 6 is performed to reproduce the prediction residual. The obtained prediction prediction residual is added with a prediction signal by an adder 13 to form a reproduction image, which is provided to an inter-image predictor 75. Inter-picture predictor 75
Stores a reproduced image for one frame, forms a prediction signal from the reproduced image, and provides the predicted signal to the subtractor 4 and the adder 13. The image rate controller 74 controls the image rate according to the virtual buffer sufficiency. When the generated code amount is large and the residual code is large, the image rate is lowered. When the generated code amount is small and the residual code is small, the image rate is raised. <Conventional Variable Frame Rate Decoding Apparatus> FIG. 8 shows a conventional configuration of a decoding apparatus corresponding to the variable rate encoding apparatus in FIG. Sign input terminal 2
7, the variable-length decoder 24 returns the variable-length code of the prediction residual to a fixed-length code in the variable-length decoder 24.
Given to. The fixed-length code becomes a reproduced DCT coefficient value of the prediction residual in the inverse quantizer 9 and is provided to the inverse DCT 14.
The inverse DCT 14 converts the 8 × 8 coefficients into a reproduction prediction residual signal and supplies the signal to the adder 13. The adder 13 adds the prediction signal supplied from the inter-picture predictor 82 to the reproduction prediction residual signal, thereby forming a reproduction image. The reproduced image signal thus obtained is supplied to the inter-picture predictor 82 and also to the frame interpolator 81. The inter-picture predictor 82 forms a prediction signal from the stored pictures and supplies the prediction signal to the adder 13. The frame interpolator 81 holds the reproduced image and repeatedly outputs the same reproduced image from the image output terminal 23 at 30 fps until the next reproduced image is given.
【０００４】[0004]
【発明が解決しようとする課題】従来の可変画像レート
符号化装置は、被符号化画像が飛越し走査画像の場合、
フィールドを間引くと垂直解像度が低下することにな
り、フレームを間引くとフレーム補間で時間逆転が起こ
ることになる。従って、飛越し走査画像符号化ではフレ
ームやフィールドを間引く可変画像レートの適用が困難
であった。一方、順次走査画像符号化では可変画像レー
トの適用が可能であるが、飛越し走査での再生は走査線
が破棄されることになり、走査線の情報及び符号化復号
化処理が冗長になっていた。また、発生符号量により画
像レートが変化するので、動きの大きなシーンで画像レ
ートが低下しやすく、再生画像で動きの不自然さが目立
った。本発明は以上の点に着目してなされたもので、画
像の部分により所定画像レートのままでは飛越し走査符
号化とし、画像レートを下げる部分では順次走査符号化
とすることで、解像度の低下や時間逆転なしに可変画像
レートを実現する動画像符号化装置、復号化装置、符号
化方法、及び復号化方法を提供することを目的とする。The conventional variable image rate coding apparatus has a problem that when an image to be coded is an interlaced image,
If the field is thinned out, the vertical resolution is reduced, and if the frame is thinned out, a time inversion occurs in the frame interpolation. Therefore, it is difficult to apply a variable image rate for thinning out frames or fields in interlaced scan image coding. On the other hand, although variable image rates can be applied in progressive scan image coding, scan lines are discarded in interlaced playback, making information on scan lines and encoding / decoding processing redundant. I was In addition, since the image rate changes depending on the amount of generated codes, the image rate tends to decrease in a scene with large motion, and unnatural motion is noticeable in the reproduced image. The present invention has been made by paying attention to the above points, and it is assumed that interlaced scan coding is performed at a predetermined image rate at an image portion, and sequential scan encoding is performed at a portion at which the image rate is reduced, so that the resolution is reduced. It is an object of the present invention to provide a moving image encoding device, a decoding device, an encoding method, and a decoding method that realize a variable image rate without time or time inversion.
【０００５】[0005]
【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、以下の装置及び方法を提供するも
のである。 ［１］（図１に対応） 所定画像レートの入来順次走査画像の動きの程度または
前記入来順次走査画像の符号化時の符号化パラメータに
応じて、画像の部分毎に符号化画像レートを設定する画
像レート設定手段と、（８、１１） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来順次走査画像の走査線を間引
いて飛越し走査画像を形成し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
符号化画像レートに応じて前記入来順次走査画像のフレ
ームを間引いて順次走査画像を形成する画像形成手段
と、（２、７、３） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記画像形成手段で形成された前記飛
越し走査画像を飛越し走査符号化し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記画像形成手段で形成された前記順次走査画像を
順次走査符号化して動画像符号列を得る符号化手段と、
（４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［２］（図２に対応） 動画像符号列から所定画像レートの順次走査画像を再生
する復号化装置において、前記動画像符号列から符号化
画像レートに関する情報を得て、画像の部分毎に復号化
画像レートを設定する画像レート設定手段と、（２９） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、（２４、９，１４，１３） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像の走査線を補間し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた復号画像のフレームを補間
して前記所定画像レートの再生順次走査画像を得る復号
化手段と、（２１，２６，２２） を備えたことを特徴とする可変画像レート復号化装置。 ［３］（図３に対応） 所定画像レートの入来飛越し走査画像の動きの程度また
は前記入来飛越し走査画像の符号化時の符号化パラメー
タに応じて、画像の部分毎に符号化画像レートを設定す
る画像レート設定手段と、（３３、３４） 前記入来飛越し走査画像を順次走査画像に変換する走査
構造変換手段と、（３１） 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記符号化画像レートに応じて前記
順次走査画像のフレームを間引いて間引き動画像を得る
画像間引き手段と、（２） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来飛越し走査画像をそのまま飛
越し走査符号化し、設定された前記符号化画像レートが
前記所定画像レートより低い場合には、前記間引き動画
像を順次走査符号化して動画像符号列を得る符号化手段
と、（３、４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［４］（図４に対応） 動画像符号列から所定画像レートの飛越し走査画像を再
生する復号化装置において、前記動画像符号列から符号
化画像レートに関する情報を得て、画像の部分毎に復号
化画像レートを設定する画像レート設定手段と、（２
９） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、（２４、９、１４、１３） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像をそのまま出力し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた前記復号画像から飛越し走
査画像の複数フィールドを得て所定画像レートの飛越し
走査画像を出力する復号化手段と、（２６、４１、２
２） を備えたことを特徴とする可変画像レート復号化装置。 ［５］（図１に対応） 所定画像レートの入来動画像の動きの程度を検出する動
き量検出手段と、（８） 検出された前記動きの程度が大きな部分では画像レート
が高く、検出された前記動きの程度が小さな部分では画
像レートが低くなるように符号化画像レートを設定する
画像レート設定手段と、（１１） 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記入来動画像を前記符号化画像レ
ートに応じて画像を間引いて可変画像レートの動画像を
得る画像形成手段と、（７、３） 前記可変画像レートの動画像を符号化し動画像符号列を
得る符号化手段と、（４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［６］ 所定画像レートの入来順次走査画像の動きの程
度または前記入来順次走査画像の符号化時の符号化パラ
メータに応じて、画像の部分毎に符号化画像レートを設
定し、設定された前記符号化画像レートが前記所定画像
レートと同じ場合には、前記入来順次走査画像の走査線
を間引いて飛越し走査画像を形成し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記符号化画像レートに応じて前記入来順次走査画
像のフレームを間引いて順次走査画像を形成し、設定さ
れた前記符号化画像レートが前記所定画像レートと同じ
場合には、前記画像形成手段で形成された前記飛越し走
査画像を飛越し走査符号化し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
画像形成手段で形成された前記順次走査画像を順次走査
符号化して動画像符号列を得、設定された前記符号化画
像レートに関する情報と前記動画像符号列とを多重化す
る、ことを特徴とする可変画像レート符号化方法。 ［７］ 動画像符号列から所定画像レートの順次走査画
像を再生する復号化方法において、前記動画像符号列か
ら符号化画像レートに関する情報を得て、画像の部分毎
に復号化画像レートを設定し、設定された前記復号化画
像レートが前記所定画像レートと同じ場合には、飛越し
走査復号化して復号画像を得、設定された前記復号化画
像レートが前記所定画像レートより低い場合には、順次
走査復号化して復号画像を得、設定された前記復号化画
像レートが前記所定画像レートと同じ場合には、前記飛
越し走査復号化により得られた復号画像の走査線を補間
し、設定された前記復号化画像レートが前記所定画像レ
ートより低い場合には、前記順次走査復号化により得ら
れた復号画像のフレームを補間して前記所定画像レート
の再生順次走査画像を得る、ことを特徴とする可変画像
レート復号化方法。 ［８］ 所定画像レートの入来飛越し走査画像の動きの
程度または前記入来飛越し走査画像の符号化時の符号化
パラメータに応じて、画像の部分毎に符号化画像レート
を設定し、前記入来飛越し走査画像を順次走査画像に変
換し、設定された前記符号化画像レートが前記所定画像
レートより低い場合には、前記符号化画像レートに応じ
て前記順次走査画像のフレームを間引いて間引き動画像
を得、設定された前記符号化画像レートが前記所定画像
レートと同じ場合には、前記入来飛越し走査画像をその
まま飛越し走査符号化し、設定された前記符号化画像レ
ートが前記所定画像レートより低い場合には、前記間引
き動画像を順次走査符号化して動画像符号列を得、設定
された前記符号化画像レートに関する情報と前記動画像
符号列とを多重化する、ことを特徴とする可変画像レー
ト符号化方法。 ［９］ 動画像符号列から所定画像レートの飛越し走査
画像を再生する復号化方法において、前記動画像符号列
から符号化画像レートに関する情報を得て、画像の部分
毎に復号化画像レートを設定し、設定された前記復号化
画像レートが前記所定画像レートと同じ場合には、飛越
し走査復号化して復号画像を得、設定された前記復号化
画像レートが前記所定画像レートより低い場合には、順
次走査復号化して復号画像を得、設定された前記復号化
画像レートが前記所定画像レートと同じ場合には、前記
飛越し走査復号化により得られた復号画像をそのまま出
力し、設定された前記復号化画像レートが前記所定画像
レートより低い場合には、前記順次走査復号化により得
られた前記復号画像から飛越し走査画像の複数フィール
ドを得て所定画像レートの飛越し走査画像を出力する、
ことを特徴とする可変画像レート復号化方法。 ［１０］ 所定画像レートの入来動画像の動きの程度を
検出し、検出された前記動きの程度が大きな部分では画
像レートが高く、検出された前記動きの程度が小さな部
分では画像レートが低くなるように符号化画像レートを
設定し、設定された前記符号化画像レートが前記所定画
像レートより低い場合には、前記入来動画像を前記符号
化画像レートに応じて画像を間引いて可変画像レートの
動画像を得、前記可変画像レートの動画像を符号化し動
画像符号列を得、設定された前記符号化画像レートに関
する情報と前記動画像符号列とを多重化する、ことを特
徴とする可変画像レート符号化方法。Accordingly, in order to solve the above-mentioned problems, the present invention provides the following apparatus and method. [1] (corresponding to FIG. 1) The coded image rate for each part of the image according to the degree of motion of the incoming progressively scanned image at a predetermined image rate or the encoding parameter at the time of encoding the incoming progressively scanned image. And (8, 11) when the set encoded image rate is the same as the predetermined image rate, skips scanning lines of the incoming sequentially scanned image to form an interlaced scanned image. Image forming means for forming and forming a sequentially scanned image by thinning out the frames of the incoming sequentially scanned image according to the encoded image rate when the set encoded image rate is lower than the predetermined image rate (2, 7, 3), when the set encoded image rate is the same as the predetermined image rate, the interlaced scan image formed by the image forming means is interlaced scan-encoded and set. Before When coding image rate is lower than the predetermined image rate, and coding means for obtaining a video code stream by sequentially scanning coding the progressive scan image formed by the image forming means,
(4, 5, 6, 10) a variable image rate code comprising: (15) multiplexing means for multiplexing information on the set encoded image rate and the moving image code sequence. Device. [2] (corresponding to FIG. 2) In a decoding device that reproduces a progressively scanned image at a predetermined image rate from a moving image code sequence, information on an encoded image rate is obtained from the moving image code sequence, and Image rate setting means for setting a decoded image rate; and (29) if the set decoded image rate is the same as the predetermined image rate, interlaced scan decoding to obtain a decoded image;
If the set decoded image rate is lower than the predetermined image rate, decoding means for sequentially scanning and decoding to obtain a decoded image; and (24, 9, 14, 13) the set decoded image rate Is the same as the predetermined image rate, interpolate the scan lines of the decoded image obtained by the interlaced scan decoding, if the set decoded image rate is lower than the predetermined image rate, the A variable image rate comprising: decoding means for interpolating a frame of a decoded image obtained by progressive scanning decoding to obtain a reproduced progressively scanned image at the predetermined image rate; and (21, 26, 22). Decryption device. [3] (corresponding to FIG. 3) Encoding is performed for each part of the image in accordance with the degree of movement of the incoming interlaced scanning image at a predetermined image rate or the encoding parameter when encoding the incoming interlaced scanning image. An image rate setting means for setting an image rate; (33, 34) a scanning structure converting means for converting the incoming interlaced scanning image into a sequentially scanned image; and (31) the encoded image rate being set to the predetermined value. If the image rate is lower than the image rate, image thinning means for thinning out the frames of the progressively scanned image in accordance with the encoded image rate to obtain a thinned moving image; and (2) setting the encoded image rate to the predetermined image When the rate is the same as the rate, the incoming interlaced scan image is directly interlaced scan-encoded, and when the set encoded image rate is lower than the predetermined image rate, the thinned-out moving image is sequentially encoded. Encoding means for obtaining a moving image code string by scan encoding, and (3, 4, 5, 6, 10) multiplexing means for multiplexing the information on the set encoded image rate and the moving image code string And (15). A variable image rate encoding device, comprising: [4] (corresponding to FIG. 4) In a decoding device for reproducing an interlaced scan image of a predetermined image rate from a moving image code sequence, information on the coded image rate is obtained from the moving image code sequence, and Image rate setting means for setting the decoded image rate to (2)
9) when the set decoded image rate is the same as the predetermined image rate, interlaced scan decoding is performed to obtain a decoded image;
If the set decoded image rate is lower than the predetermined image rate, decoding means for sequentially scanning and decoding to obtain a decoded image; and (24, 9, 14, 13) the set decoded image rate If the predetermined image rate is the same as the predetermined image rate, the decoded image obtained by the interlaced scanning decoding is output as it is. If the set decoded image rate is lower than the predetermined image rate, the sequential scanning is performed. Decoding means for obtaining a plurality of fields of an interlaced scan image from the decoded image obtained by decoding and outputting an interlaced scan image at a predetermined image rate; (26, 41, 2);
2) A variable image rate decoding device comprising: [5] (corresponding to FIG. 1) A motion amount detecting means for detecting a degree of movement of an incoming moving image at a predetermined image rate, and (8) a part where the detected degree of movement is large has a high image rate, and Image rate setting means for setting an encoded image rate such that the image rate is reduced in a portion where the degree of the motion is small, and (11) when the set encoded image rate is lower than the predetermined image rate. Image forming means for thinning out the incoming moving image in accordance with the encoded image rate to obtain a moving image at a variable image rate; and (7, 3) encoding the moving image at the variable image rate to obtain a moving image. Encoding means for obtaining a code string; (4, 5, 6, 10) multiplexing means for multiplexing information on the set encoded image rate and the moving picture code string; Can be characterized by Picture rate coding device. [6] The coded image rate is set for each part of the image according to the degree of movement of the incoming progressively scanned image at a predetermined image rate or the encoding parameter at the time of encoding the incoming progressively scanned image. If the coded image rate is the same as the predetermined image rate, a skip scanning image is formed by thinning out the scanning lines of the incoming sequentially scanned image, and the set coded image rate is equal to the predetermined image rate. In the case of being lower, the frames of the incoming sequentially scanned image are thinned out in accordance with the encoded image rate to form a sequentially scanned image, and when the set encoded image rate is the same as the predetermined image rate, The interlaced scan image formed by the image forming unit is interlaced scan encoded, and when the set encoded image rate is lower than the predetermined image rate, the interlaced scan image is formed by the image forming unit. A moving image code sequence by sequentially scanning encoding the obtained progressively scanned image, and multiplexing the moving image code sequence with information on the set encoded image rate. Method. [7] In a decoding method for reproducing a progressively scanned image having a predetermined image rate from a moving image code sequence, information on an encoded image rate is obtained from the moving image code sequence, and a decoded image rate is set for each image portion. Then, when the set decoded image rate is the same as the predetermined image rate, an interlaced scan decoding is performed to obtain a decoded image, and when the set decoded image rate is lower than the predetermined image rate, In the case where the decoded image is obtained by performing sequential scan decoding and the set decoded image rate is the same as the predetermined image rate, a scan line of the decoded image obtained by the interlaced scan decoding is interpolated and set. If the decoded image rate obtained is lower than the predetermined image rate, the reproduced progressive scan image at the predetermined image rate is interpolated by interpolating the frame of the decoded image obtained by the progressive scan decoding. And a variable image rate decoding method. [8] setting an encoded image rate for each part of the image according to the degree of movement of the incoming interlaced scanning image at a predetermined image rate or an encoding parameter at the time of encoding the incoming interlaced scanning image; The incoming interlaced scan image is converted into a progressive scan image, and when the set encoded image rate is lower than the predetermined image rate, the frames of the progressive scan image are thinned out according to the encoded image rate. When the coded image rate set is the same as the predetermined image rate, the incoming interlaced scan image is interlaced scan-coded as it is, and the set coded image rate is If the image rate is lower than the predetermined image rate, the thinned-out moving image is sequentially scan-encoded to obtain a moving image code sequence, and information on the set encoded image rate and the moving image code sequence are multiplexed. A variable image rate encoding method. [9] In a decoding method for reproducing an interlaced scan image of a predetermined image rate from a moving image code sequence, information on an encoded image rate is obtained from the moving image code sequence, and the decoded image rate is determined for each image portion. Set, and when the set decoded image rate is the same as the predetermined image rate, an interlaced scan decoding is performed to obtain a decoded image, and when the set decoded image rate is lower than the predetermined image rate, Obtains a decoded image by sequential scan decoding, and when the set decoded image rate is the same as the predetermined image rate, outputs the decoded image obtained by the interlaced scan decoding as it is, and sets the decoded image. If the decoded image rate is lower than the predetermined image rate, a plurality of fields of an interlaced scan image are obtained from the decoded image obtained by the progressive scan decoding to obtain a predetermined image rate. Output the interlaced scan image of the
A variable image rate decoding method, characterized in that: [10] The degree of motion of the incoming moving image at a predetermined image rate is detected, and the image rate is high in a portion where the detected degree of motion is large, and the image rate is low in a portion where the detected degree of motion is small. When the coded image rate is set to be lower than the predetermined image rate, the incoming moving image is decimated according to the coded image rate to obtain a variable image. Obtaining a moving image of a rate, encoding the moving image of the variable image rate to obtain a moving image code sequence, and multiplexing the information on the set encoded image rate and the moving image code sequence, Variable image rate encoding method.
【０００６】[0006]
【発明の実施の形態】本発明は、所定画像レートの入来
動画像の動きの程度または前記入来動画像の符号化時の
符号化パラメータに応じて、画像の部分毎に符号化画像
レートを設定し、設定された符号化画像レートが前記所
定画像レートと同じ場合には飛越し走査符号化とし、設
定された符号化画像レートが前記所定画像レートよりも
低い場合には順次走査符号化とする。飛越し走査符号化
された部分は飛越し走査での再生ではそのままで、順次
走査での再生では走査線を補間することで適正な再生画
像が得られる。一方、画像レートを下げて順次走査符号
化された部分は、順次走査での再生では単純にフレーム
を繰り返すことで所定画像レートにし、飛越し走査での
再生では順次走査の１フレームを偶数フィールドと奇数
フィールドに分解し、それぞれを繰り返す。いずれの場
合も、不連続な動きとなることなくスムーズな再生画像
が得られる。前記所定画像レートの場合は飛越し走査と
して符号化し、画像レートが下がる場合は順次走査符号
化なので、符号化する情報が少なく、符号化効率がよ
い。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention relates to a method for encoding an incoming video at a predetermined image rate or a coding rate at the time of encoding the incoming video. If the set coded image rate is the same as the predetermined image rate, interlaced scan coding is performed.If the set coded image rate is lower than the predetermined image rate, progressive scan coding is performed. And An interlaced scan-encoded portion remains as it is in interlaced scanning reproduction, and an appropriate reproduced image can be obtained by interpolating scanning lines in progressive scanning reproduction. On the other hand, the portion which has been sequentially scanned and coded at a reduced image rate is set to a predetermined image rate by simply repeating the frame in the reproduction by the progressive scan, and one frame of the progressive scan is regarded as an even field in the reproduction by the interlaced scan. Decompose into odd fields and repeat each. In either case, a smooth reproduced image can be obtained without discontinuous movement. In the case of the predetermined image rate, encoding is performed as interlaced scanning, and in the case where the image rate decreases, sequential scanning encoding is performed. Therefore, information to be encoded is small and encoding efficiency is high.
【０００７】＜可変画像レート符号化装置の第１の実施
例＞本発明における可変画像レート符号化装置の第１の
実施例について説明する。図１は、その構成を示したも
ので、図７の従来例と同一構成要素には同一付番を記し
てある。図１には、図７と比較して符号量観測器６４が
なく、走査線間引き器２、動きベクトル（ＭＶ）検出器
８、スイッチ３が追加されている。また、画像レート設
定器１１とフレーム間引き器７の動作が異なる。実施例
において、従来例と異なるのは、前処理による画像間予
測での画像構成である。予測残差に対する符号化方法は
同じである。順次走査画像入力端子１より入来する６０
ｆｐｓの順次走査画像信号は、走査線間引き器２、フレ
ーム間引き器７、ＭＶ検出器８に与えられる。走査線間
引き器２は、走査線を１本おきに間引き飛越し走査の信
号を形成し、スイッチ３に与える。画像レートは６０ｆ
ｐｓのままである。フレーム間引き器７は、順次走査の
フレームを間引き、６０ｆｐｓから３０ｆｐｓ、２０ｆ
ｐｓ、１５ｆｐｓへと低下させ、画像レートが低下した
順次走査画像をスイッチ３に与える。スイッチ３は、画
像レート設定器１１から与えられる画像レート情報によ
り、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像
である走査線間引き器２の出力を選択し、３０ｆｐｓ以
下の場合は、３０ｆｐｓ以下の順次走査画像であるフレ
ーム間引き器７の出力を選択する。スイッチ３で選択さ
れた動画像信号は、減算器４において画像間予測器１２
から与えられる予測信号が減算され、予測残差となって
ＤＣＴ５に与えられる。ＤＣＴ５は、予測残差にＤＣＴ
の変換処理を行い、得られた係数を量子化器６に与え
る。量子化器６は所定のステップ幅で係数を量子化し、
固定長の符号となった係数を可変長符号化器１０と逆量
子化器９に与える。可変長符号化器１０は、固定長の予
測残差を可変長符号で圧縮し、できた符号列は多重化器
１５に与えられる。一方、逆量子化器９及び逆ＤＣＴ１
４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測
残差を再生する。得られた再生予測残差は加算器１３で
予測信号が加算され再生画像となり、画像間予測器１２
に与えられる。画像間予測器１２は、蓄えられている再
生画像信号から予測信号を作り、減算器４と加算器１３
に与える。その際、スイッチ３の動作と連動して、画像
レートが６０ｆｐｓでは、飛越し走査用の画像間予測を
行い、３０ｆｐｓ以下では順次走査用の画像間予測を行
う。一方、ＭＶ検出器８は、入来動画像の１フレーム間
の空間移動量を１６×１６画素ブロック毎に求めて、Ｍ
Ｖとして画像レート設定器１１に与える。画像レート設
定器１１はＭＶから画像レートを設定する。６０ｆｐ
ｓ、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ
のうちのひとつが設定される。それぞれのレートの様子
を図９に示す。画像レート設定器１１から出力される画
像レートの情報は、フレーム間引き器７、スイッチ３、
画像間予測器１２の他に多重化器１５にも与えられ、多
重化器１５で主符号列と多重化される。その際、そのま
ま画像レート値を情報としても良いが、各フレーム（フ
ィールド）のフレーム（フィールド）番号をレートに応
じて間引く形にしても良い。<First Embodiment of Variable Image Rate Coding Apparatus> A first embodiment of a variable image rate coding apparatus according to the present invention will be described. FIG. 1 shows the configuration, and the same components as those in the conventional example of FIG. 7 are denoted by the same reference numerals. FIG. 1 does not include a code amount observer 64 as compared with FIG. 7, and additionally includes a scanning line thinning unit 2, a motion vector (MV) detector 8, and a switch 3. Further, the operations of the image rate setting device 11 and the frame thinning device 7 are different. In the embodiment, what differs from the conventional example is the image configuration in the inter-picture prediction by the preprocessing. The coding method for the prediction residual is the same. 60 coming from the progressive scan image input terminal 1
The fps progressively scanned image signal is supplied to the scanning line thinning unit 2, the frame thinning unit 7, and the MV detector 8. The scanning line thinning unit 2 forms a thinning interlaced scanning signal for every other scanning line and supplies the signal to the switch 3. Image rate is 60f
ps remains. The frame thinning-out unit 7 thins out the frames of the progressive scan, from 60 fps to 30 fps, 20 fps.
ps, 15 fps, and the sequentially scanned image whose image rate is reduced is given to the switch 3. The switch 3 selects the output of the scanning line thinning device 2 which is an interlaced scanning image of 60 fps at 60 fps, and 30 fps or less at 30 fps or less, based on the image rate information given from the image rate setting device 11. The output of the frame thinning unit 7, which is a progressively scanned image, is selected. The moving image signal selected by the switch 3 is output to the subtractor 4 by the inter-image predictor 12.
Is subtracted, and the result is given to the DCT 5 as a prediction residual. DCT5 is the DCT
And the obtained coefficient is given to the quantizer 6. The quantizer 6 quantizes the coefficient with a predetermined step width,
The coefficient having the fixed length code is provided to the variable length encoder 10 and the inverse quantizer 9. The variable-length encoder 10 compresses the fixed-length prediction residual with a variable-length code, and the resulting code string is provided to the multiplexer 15. On the other hand, the inverse quantizer 9 and the inverse DCT 1
In 4, the inverse processing of the DCT 5 and the quantizer 6 is performed to reproduce the prediction residual. The obtained prediction prediction residual is added with a prediction signal by an adder 13 to form a reproduction image.
Given to. The inter-picture predictor 12 generates a prediction signal from the stored reproduced image signal, and generates a prediction signal from the subtractor 4 and the adder 13.
Give to. At this time, inter-picture prediction for interlaced scanning is performed at an image rate of 60 fps, and inter-picture prediction for progressive scanning is performed at an image rate of 30 fps or less in conjunction with the operation of the switch 3. On the other hand, the MV detector 8 obtains the spatial movement amount between one frame of the incoming moving image for each 16 × 16 pixel block,
V is given to the image rate setting unit 11. The image rate setting unit 11 sets an image rate from the MV. 60fp
s, 30fps, 20fps, 15fps, 10fps
One of them is set. The state of each rate is shown in FIG. The information on the image rate output from the image rate setting unit 11 is output from the frame thinning unit 7, the switch 3,
It is also provided to a multiplexer 15 in addition to the inter-picture predictor 12, and is multiplexed with the main code string by the multiplexer 15. At this time, the image rate value may be used as it is, or the frame (field) number of each frame (field) may be thinned out according to the rate.
【０００８】＜画像レート設定と間引き処理＞次に画像
レートの設定について説明する。画像レートは従来例と
同様に発生符号量を観測して、仮想バッファの充足度に
より制御することも可能である。この場合、設定される
画像レートは従来例と類似したものとなる。さらに、量
子化ステップ幅や符号化モードなど他の符号化パラメー
タの情報を用いて、量子化が粗くなるなど画質が劣化し
やすい場合に画像レートを低下させてもよい。一方、次
に説明するような入来動画像の動きの程度により設定す
ると、視覚的に適切な転送レートが設定される。符号化
パラメータと入来画像の動きの程度は、片方のみ使用す
ることもできるが、両方の情報を用いて制御することも
可能である。入来動画像の動きの程度により画像レート
を設定する場合について説明する。動画像信号は毎秒６
０フレーム(フィールド)が基本であるが、この値は面フ
リッカの検知限界から来るものであり、画像のすべての
動きでそれが必要なわけではない。実際、映画フィルム
が２４ｆｐｓであることからも推測できるが、３０ｆｐ
ｓで動きの劣化(不自然さ)が検知されるのは早い動きの
場合のみで、通常２０ｆｐｓでも大きな劣化とはならな
い。しかし、それより低下すると静止に近い場合以外で
動きの劣化が気になる。従って、早い動きがある場合の
み６０ｆｐｓとし、動きが多い場合は３０ｆｐｓ、動き
が少ない場合は２０ｆｐｓ、動きがほとんどない場合に
１０〜１５ｆｐｓとする。この制御を適切に行うこと
で、動き劣化がほとんど気にならない再生画像が得られ
る。具体的にはＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成
分ＭＶｙ(ｉ,ｊ)から求める。なお、ＭＶｘ(ｉ,ｊ)、Ｍ
Ｖｙ(ｉ,ｊ)の値は１画素の動きが１.０、ｉは１フレー
ム内のブロック水平位置、ｊは１フレーム内のブロック
垂直位置とする。１フレームが７２０×４８０画素の場
合、画面全体の動きアクティビティＭＡを次式で求め、
その値と閾値から画像レートＲを決める。<Image Rate Setting and Thinning-Out Process> Next, the setting of the image rate will be described. The image rate can also be controlled by observing the generated code amount and by the sufficiency of the virtual buffer as in the conventional example. In this case, the set image rate is similar to the conventional example. Furthermore, the image rate may be reduced by using information of other encoding parameters such as a quantization step width and an encoding mode when the image quality is easily deteriorated due to coarse quantization. On the other hand, if the setting is made according to the degree of movement of the incoming moving image as described below, a visually appropriate transfer rate is set. The coding parameter and the degree of movement of the incoming image can be used alone, but can also be controlled using both information. A case where an image rate is set according to the degree of movement of an incoming moving image will be described. Video signal is 6 per second
0 frames (fields) are fundamental, but this value comes from the detection limit of surface flicker, and it is not necessary for every motion of the image. In fact, it can be inferred from the fact that movie films are 24 fps,
The deterioration (unnaturalness) of the motion is detected only in the case of the fast motion in s, and it does not become large even at 20 fps. However, if it is lower than that, motion deterioration will be a concern except in the case where it is close to stationary. Accordingly, the speed is set to 60 fps only when there is fast movement, 30 fps when there is much movement, 20 fps when there is little movement, and 10 to 15 fps when there is little movement. By appropriately performing this control, it is possible to obtain a reproduced image in which the motion degradation is hardly noticeable. Specifically, it is obtained from the horizontal component MVx (i, j) and the vertical component MVy (i, j). Note that MVx (i, j), M
As for the value of Vy (i, j), the motion of one pixel is 1.0, i is the horizontal position of the block in one frame, and j is the vertical position of the block in one frame. If one frame is 720 × 480 pixels, the motion activity MA of the entire screen is obtained by the following equation.
The image rate R is determined from the value and the threshold.
【数１】 数１においてｋは標準値を１とするが、量子化ステップ
幅のパラメータなどにより変更しても良い。(Equation 1) In Equation 1, k has a standard value of 1, but may be changed by a parameter of the quantization step width or the like.
【０００９】＜可変画像レート復号化装置の第１の実施
例＞図１に示した第１の実施例の可変画像レート符号化
装置に対応する可変画像レート復号化装置の第１の実施
例について説明する。その構成を図２に示す。図８の従
来例と同一構成要素には同一付番を記してある。図２に
は、図８と比較して、多重化分離器２８、走査線補間器
２１、スイッチ２２が追加されている。また、フレーム
補間器２６の動作が異なる。符号入力端子２７より入来
する符号列は、多重化分離器２８で主たる符号列と画像
レートに関する情報に分離され、主たる符号列は可変長
復号化器２３へ、画像レートに関する情報は画像レート
設定器２９に与えられる。画像レート設定器２９は、フ
レーム（フィールド）番号等から画像レートを判断し、
設定した画像レートを画像間予測器２５、フレーム補間
器２６、スイッチ２２へ与る。可変長復号化器２４は可
変長符号を固定長の符号に戻し、固定長符号は逆量子化
器９に与えられる。固定長符号は逆量子化器９で係数値
となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８
×８個の係数を再生予測残差信号に変換し、加算器１３
に与える。加算器１３では再生予測残差信号に予測信号
が加算され、再生画像となる。この様にして得られた再
生画像信号は、画像間予測器２５と走査線補間器２１、
さらにフレーム補間器２６に与えられる。画像間予測器
２５は、メモリに蓄積されている復号画像から予測信号
を形成し、得られた予測信号は加算器１３に与えられ
る。その際、画像レートが６０ｆｐｓのときは飛越し走
査の予測信号を、３０ｆｐｓ以下のときは順次走査の予
測信号とする。一方、走査線補間器２１は飛越し走査で
間引かれている走査線を補間して、６０ｆｐｓの順次走
査画像を形成し、スイッチ２２に与える。フレーム補間
器２６は間引かれている順次走査画像のフレームを補間
し、６０ｆｐｓの順次走査画像としてスイッチ２２に与
える。処理は画像レートにより異なり、３０ｆｐｓの場
合は２フレームが繰り返され、２０ｆｐｓの場合は３フ
レームが、１５ｆｐｓの場合は４フレームが、１０ｆｐ
ｓの場合は６フレームが繰り返される。この様子を図１
１に示す。スイッチ２２は画像レートにより、６０ｆｐ
ｓの場合は、走査線補間器２１の出力を選択し、３０ｆ
ｐｓ以下の場合はフレーム補間器２６の出力を選択す
る。選択された信号はいずれも６０ｆｐｓの順次走査画
像であり、順次走査画像出力端子２３より、出力され
る。<First Embodiment of Variable Picture Rate Decoding Apparatus> A first embodiment of a variable picture rate decoding apparatus corresponding to the variable picture rate encoding apparatus of the first embodiment shown in FIG. explain. The configuration is shown in FIG. The same components as those in the conventional example of FIG. 8 are denoted by the same reference numerals. 2, a demultiplexer 28, a scanning line interpolator 21, and a switch 22 are added to FIG. Also, the operation of the frame interpolator 26 is different. The code string coming from the code input terminal 27 is separated by the demultiplexer 28 into the main code string and information on the image rate, the main code string is sent to the variable length decoder 23, and the information on the image rate is set in the image rate setting. To the vessel 29. The image rate setting unit 29 determines an image rate from a frame (field) number or the like,
The set image rate is given to the inter-picture predictor 25, the frame interpolator 26, and the switch 22. The variable length decoder 24 returns the variable length code to a fixed length code, and the fixed length code is provided to the inverse quantizer 9. The fixed-length code becomes a coefficient value in the inverse quantizer 9 and is provided to the inverse DCT 14. The inverse DCT14 is 8
× 8 coefficients are converted into a reproduction prediction residual signal,
Give to. The adder 13 adds the prediction signal to the reproduction prediction residual signal to form a reproduction image. The reproduced image signal obtained in this manner is inter-image predictor 25 and scanning line interpolator 21,
It is further provided to a frame interpolator 26. The inter-picture predictor 25 forms a prediction signal from the decoded image stored in the memory, and the obtained prediction signal is provided to the adder 13. At this time, when the image rate is 60 fps, the interlaced scanning prediction signal is used, and when the image rate is 30 fps or less, the sequential scanning prediction signal is used. On the other hand, the scanning line interpolator 21 forms a 60 fps progressively scanned image by interpolating the scanning lines thinned out in the interlaced scanning, and gives it to the switch 22. The frame interpolator 26 interpolates the thinned-out frame of the progressively scanned image and supplies the frame to the switch 22 as a 60 fps progressively scanned image. The processing differs depending on the image rate. Two frames are repeated at 30 fps, three frames at 20 fps, four frames at 15 fps, and 10 fp.
In the case of s, six frames are repeated. Figure 1 shows this situation.
It is shown in FIG. The switch 22 is set to 60 fp depending on the image rate.
In the case of s, the output of the scanning line interpolator 21 is selected and 30f
In the case of ps or less, the output of the frame interpolator 26 is selected. Each of the selected signals is a 60 fps progressive scan image, which is output from the progressive scan image output terminal 23.
【００１０】＜可変画像レート符号化装置の第２の実施
例＞本発明の可変画像レート符号化装置の第２の実施例
について説明する。図３は、その構成を示したもので、
図１に示した第１の実施例と同一構成要素には同一付番
を記してある。図３には、図１と比較して、順次走査画
像入力端子１の変わりに飛越し走査画像入力端子３２が
あり、走査線間引器２がなく、走査線補間器３１があ
る。可変画像レート符号化装置の第２の実施例におい
て、第１の実施例と異なるのは入力信号とそれに対する
被符号化動画像の形成であり、予測残差に対する符号化
処理は基本的に同じであるので、異なる部分のみ説明す
る。第１の実施例においては順次走査画像を入力してい
たが、第２の実施例では飛越し走査画像を入力する。飛
越し走査画像入力端子３２より入来する６０ｆｐｓの飛
越し走査画像信号は、走査線補間器３１、スイッチ３、
動きベクトル（ＭＶ）検出器３３に与えられる。走査線
補間器３１は、飛越し走査で消失している走査線を補間
して順次走査の信号を形成し、フレーム間引き器７に与
える。走査線補間器３１から出力される画像レートは、
６０ｆｐｓのままでもよいが、フレーム間引き器７で少
なくとも３０ｆｐｓ以下にされるので、この出力段階で
３０ｆｐｓとしても良い。フレーム間引き器７は、画像
レート設定器３４から与えられる画像レート情報に従っ
て順次走査のフレームを間引き、３０ｆｐｓ、２０ｆｐ
ｓ、１５ｆｐｓ、１０ｆｐｓへと低下させ、画像レート
が低下した順次走査画像をスイッチ３に与える。スイッ
チ３は、画像レート情報により、６０ｆｐｓの場合は、
６０ｆｐｓの飛越し走査画像である入来信号を選択し、
３０ｆｐｓ以下の場合は３０ｆｐｓ以下の順次走査画像
であるフレーム間引き器７の出力を選択する。以下の減
算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長
符号化器１０、画像間予測器１２、加算器１３、逆ＤＣ
Ｔ１４、多重化器１５の動作は第１の実施例と同じであ
る。一方、ＭＶ検出器３３は、図１のＭＶ検出器８と動
作が多少異なり、飛越し走査画像に対しての動きベクト
ル検出処理となる。なお、画像レート設定器３４は、本
質的には図１の画像レート設定器１１と同じであるが、
ＭＶ検出器３３で求められる動きベクトルの大きさが、
ＭＶ検出器８で求められる動きベクトルと異なるので、
その分を補正して計算する。<Second Embodiment of Variable Picture Rate Coding Apparatus> A second embodiment of the variable picture rate coding apparatus according to the present invention will be described. FIG. 3 shows the configuration.
The same components as those in the first embodiment shown in FIG. 1 are denoted by the same reference numerals. FIG. 3 is different from FIG. 1 in that an interlaced scanning image input terminal 32 is provided instead of the sequential scanning image input terminal 1, and a scanning line interpolator 31 is provided without the scanning line thinning unit 2. In the second embodiment of the variable picture rate coding apparatus, the difference from the first embodiment is the formation of an input signal and a coded moving picture corresponding thereto, and the coding processing for the prediction residual is basically the same. Therefore, only different parts will be described. In the first embodiment, a sequentially scanned image is input. In the second embodiment, an interlaced image is input. The 60 fps interlaced scanning image signal coming from the interlaced scanning image input terminal 32 is supplied to the scanning line interpolator 31, switch 3,
The motion vector (MV) is supplied to a detector 33. The scanning line interpolator 31 interpolates the scanning lines that have disappeared in the interlaced scanning to form a sequential scanning signal, and supplies the signal to the frame thinning unit 7. The image rate output from the scanning line interpolator 31 is
Although it may be kept at 60 fps, it is set to at least 30 fps or less by the frame thinning-out unit 7, so it may be set to 30 fps at this output stage. The frame thinning-out unit 7 thins out progressively scanned frames in accordance with the image rate information given from the image rate setting unit 34, and outputs 30 fps and 20 fps.
s, 15 fps, and 10 fps, and the sequentially scanned image with the reduced image rate is given to the switch 3. When the switch 3 is set to 60 fps according to the image rate information,
Select the incoming signal, which is a 60 fps interlaced image,
In the case of 30 fps or less, the output of the frame thinning unit 7 which is a progressively scanned image of 30 fps or less is selected. The following subtractor 4, DCT 5, quantizer 6, inverse quantizer 9, variable-length encoder 10, inter-picture predictor 12, adder 13, inverse DC
The operations of T14 and the multiplexer 15 are the same as in the first embodiment. On the other hand, the operation of the MV detector 33 is slightly different from that of the MV detector 8 in FIG. The image rate setting device 34 is essentially the same as the image rate setting device 11 of FIG.
The magnitude of the motion vector obtained by the MV detector 33 is
Since it is different from the motion vector obtained by the MV detector 8,
The amount is corrected and calculated.
【００１１】＜可変画像レート復号化装置の第２の実施
例＞本発明の可変画像レート復号化装置の第２の実施例
について説明する。その構成を図４に示す。図２の第１
の実施例と同一構成要素には同一付番を記してある。図
４には、図２と比較して、走査線補間器２１がなく走査
線間引き器４１が追加されている。可変画像レート復号
化装置の第２の実施例において、第１の実施例と異なる
のは出力信号とその形成であり、復号化処理は基本的に
同じであるので、異なる部分のみ説明する。第１の実施
例においては順次走査画像を出力していたが、第２実施
例では飛越し走査画像を出力する。符号入力端子２７、
多重化分離器２８、可変長復号化器２４、逆量子化器
９、逆ＤＣＴ１４、加算器１３、画像間予測器２５の動
作は図２の第１の実施例と同じである。得られた再生画
像信号は、フレーム補間器２６とスイッチ２２に与えら
れる。フレーム補間器２６は間引かれている順次走査画
像のフレームを補間し、６０ｆｐｓの順次走査画像とし
てスイッチ２２に与える。処理は画像レートにより異な
り、３０ｆｐｓの場合は２フレームが繰り返され、２０
ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フ
レームが、１０ｆｐｓの場合は６フレームが繰り返され
る。フレーム補間器２６から出力される６０ｆｐｓの順
次走査画像は、走査線間引き器４１で走査線が間引か
れ、飛越し走査の各フィールドとなる。従って、走査線
間引き器４１からは６０ｆｐｓの飛越し走査画像が出力
される。なお、走査線間引き器４１の処理はフレーム補
間器２６の処理と一体化することで、高速な６０ｆｐｓ
の順次走査画像の入出力をしなくて済む。スイッチ２２
は画像レート情報により、６０ｆｐｓの場合は、加算器
１３の出力を選択し、３０ｆｐｓ以下の場合は走査線間
引き器４１の出力を選択する。選択された信号はいずれ
も６０ｆｐｓの飛越し走査画像であり、飛越し画像出力
端子２３より出力される。この復号処理の様子は図１２
に示される。<Second Embodiment of Variable Picture Rate Decoding Apparatus> A second embodiment of the variable picture rate decoding apparatus according to the present invention will be described. The configuration is shown in FIG. First of FIG.
The same reference numerals are given to the same components as those of the embodiment. FIG. 4 is different from FIG. 2 in that the scanning line interpolator 21 is not provided and a scanning line thinning unit 41 is added. In the second embodiment of the variable image rate decoding device, the difference from the first embodiment is the output signal and its formation, and the decoding process is basically the same, so only the different parts will be described. In the first embodiment, a sequentially scanned image is output. In the second embodiment, an interlaced scanned image is output. Sign input terminal 27,
The operations of the demultiplexer 28, the variable length decoder 24, the inverse quantizer 9, the inverse DCT 14, the adder 13, and the inter-picture predictor 25 are the same as those in the first embodiment shown in FIG. The obtained reproduced image signal is supplied to the frame interpolator 26 and the switch 22. The frame interpolator 26 interpolates the thinned-out frame of the progressively scanned image and supplies the frame to the switch 22 as a 60 fps progressively scanned image. The processing differs depending on the image rate. In the case of 30 fps, two frames are repeated, and
Three frames are repeated at fps, four frames at 15 fps, and six frames at 10 fps. The 60 fps progressively scanned image output from the frame interpolator 26 has the scanning lines thinned out by the scanning line thinning unit 41 to form each field of the interlaced scanning. Therefore, the scanning line thinning device 41 outputs a 60 fps interlaced scanning image. In addition, the processing of the scanning line thinning unit 41 is integrated with the processing of the frame interpolator 26, so that the high-speed 60 fps
It is not necessary to input / output the sequential scanning image. Switch 22
According to the image rate information, the output of the adder 13 is selected at 60 fps, and the output of the scanning line thinning unit 41 is selected at 30 fps or less. Each of the selected signals is a 60 fps interlaced scanning image, and is output from the interlaced image output terminal 23. This decoding process is shown in FIG.
Is shown in
【００１２】＜可変画像レート符号化装置の第３の実施
例＞本発明の可変画像レート符号化装置の第３の実施例
について説明する。図５は、その構成を示したもので、
図１の第１の実施例と同一構成要素には同一付番を記し
てある。図５には、図１と比較して、双方向予測フレー
ムの符号化系であるフレーム遅延器５２、減算器５７、
ＤＣＴ５９、量子化器６０、可変長符号化器５５があ
り、フレーム間引器５６、走査線間引器５８の動作が異
なる。第３の実施例において、第３の実施例は、双方向
予測を用いて、双方向予測フレーム（Ｂピクチャー）の
みに間引き処理を適用するものである。また、走査線間
引きは予測残差に適用される。画像入力端子１より入来
する６０ｆｐｓの順次走査画像信号は、スイッチ５１に
より、６フレーム毎に１フレーム設定されるＩピクチャ
ー（フレーム内符号化画面）及びＰピクチャーでは減算
器４に、Ｂピクチャーではフレーム遅延器５２に与えら
れる。Ｐ(Ｉ)ピクチャーにおいては、動画像信号は減算
器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符
号化器１０、加算器１３、逆ＤＣＴ１４で、第１の実施
例と同様に符号化され、符号列が多重化器５３に与えら
れる。Ｂピクチャーにおいては、動画像信号は、フレー
ム遅延器５２で先行するＰ(Ｉ)ピクチャーの符号化が完
了するまで待機させられる。Ｐ(Ｉ)ピクチャーが６フレ
ーム毎なら、５フレーム分の画像信号が、６フレームの
間保持される。その後、フレーム間引き器５６に与えら
れる。フレーム間引き器５６は、画像レート情報に応じ
てＢピクチャーのフレームを間引くが、その際にＰ(Ｉ)
ピクチャーは必ず存在することを考慮して、符号化され
るフレームが均等間隔になるようにする。その様子を図
１０に示す。ここで、第１の実施例で使われている１５
ｆｐｓは、残存するフレームがＰ(Ｉ)ピクチャーと同期
しなくなるので、設定しない。間引かれたＢピクチャー
の動画像は減算器５７に与えられる。減算器５７は画像
間予測器から与えられる予測信号を減算し、予測残差を
走査線間引き器５８に与える。走査線間引き器５８で
は、画像レートが６０ｆｐｓの場合のみ飛越し走査の各
フィールドに走査線が間引かれ、予測残差は飛越し走査
の形で残り、ＤＣＴ５９に与えられる。ＤＣＴ５９、量
子化器６０、可変長符号化器５５の動作は、ＤＣＴ５、
量子化器６、可変長符号化器１０と基本的に同じで、量
子化のパラメータのみ異なる。このようにして得られた
符号列は多重化器５３でＰ(Ｉ)ピクチャーの符号列と多
重化される。画像レート設定器１４から出力される画像
レートの情報も多重化される。画像間予測器５４は、Ｐ
(Ｉ)ピクチャーでは第１の実施例と同様に減算器４と加
算器１３に予測信号を出力するが、Ｂピクチャーでは前
後２画像から予測信号を形成し、減算器５７に与える。
ただし、実施例１や２と異なり順次走査の予測信号のみ
を形成する。ＭＶ検出器８、画像レート設定器１１の動
作は第１の実施例と同じである。ただし、１５ｆｐｓは
設定されない。<Third Embodiment of Variable Picture Rate Coding Apparatus> A third embodiment of the variable picture rate coding apparatus according to the present invention will be described. FIG. 5 shows the configuration.
The same components as those in the first embodiment of FIG. 1 are denoted by the same reference numerals. FIG. 5 is different from FIG. 1 in that a frame delay unit 52, a subtractor 57,
There are a DCT 59, a quantizer 60, and a variable-length encoder 55, and the operations of a frame thinner 56 and a scanning line thinner 58 are different. In the third embodiment, in the third embodiment, the thinning process is applied only to a bidirectional predicted frame (B picture) using bidirectional prediction. Also, scan line thinning is applied to the prediction residual. The 60 fps progressively scanned image signal coming from the image input terminal 1 is switched by the switch 51 to the subtractor 4 for an I picture (intra-frame coded screen) and a P picture, which are set for every six frames, and to a B picture for the B picture. It is provided to a frame delay unit 52. In the P (I) picture, the moving image signal is subtracted by a DCT 5, a DCT 5, a quantizer 6, an inverse quantizer 9, a variable length encoder 10, an adder 13, and an inverse DCT 14, as in the first embodiment. The encoded data is similarly encoded, and is supplied to the multiplexer 53. In the B picture, the moving picture signal is made to wait until the encoding of the preceding P (I) picture is completed by the frame delay unit 52. If the P (I) picture is every six frames, an image signal for five frames is held for six frames. Thereafter, it is provided to the frame thinning unit 56. The frame thinning unit 56 thins out the frame of the B picture in accordance with the image rate information.
Considering that there is always a picture, the frames to be coded are set at equal intervals. This is shown in FIG. Here, 15 used in the first embodiment is used.
fps is not set because the remaining frame is not synchronized with the P (I) picture. The moving picture of the decimated B picture is supplied to the subtractor 57. The subtracter 57 subtracts the prediction signal provided from the inter-picture predictor, and supplies the prediction residual to the scanning line thinner 58. In the scanning line thinning unit 58, the scanning lines are thinned out in each field of the interlaced scanning only when the image rate is 60 fps, and the prediction residual remains in the form of the interlaced scanning and is given to the DCT 59. The operations of the DCT 59, the quantizer 60, and the variable-length encoder 55 are as follows.
It is basically the same as the quantizer 6 and the variable-length encoder 10 except for the quantization parameters. The code sequence thus obtained is multiplexed by the multiplexer 53 with the code sequence of the P (I) picture. Image rate information output from the image rate setting unit 14 is also multiplexed. The inter-picture predictor 54 calculates P
(I) For the picture, the prediction signal is output to the subtractor 4 and the adder 13 as in the first embodiment, but for the B picture, the prediction signal is formed from the two preceding and succeeding images, and is provided to the subtractor 57.
However, unlike the first and second embodiments, only a prediction signal for sequential scanning is formed. The operations of the MV detector 8 and the image rate setting unit 11 are the same as in the first embodiment. However, 15 fps is not set.
【００１３】＜可変画像レート復号化装置の第３の実施
例＞図５に示した可変画像レート符号化装置の第３の実
施例に対応する可変画像レート復号化装置の第３の実施
例について説明する。その構成を図６に示す。図２の可
変画像レート復号化装置の第１の実施例と同一構成要素
には同一付番を記してある。図６には、図２と比較し
て、スイッチ２２がなく走査線補間器６１、フレーム補
間器６２の位置及び動作が異なる。可変画像レート復号
化装置の第３の実施例において、第１の実施例と異なる
のは画像間予測処理と補間方法で、予測残差信号の復号
化処理は基本的に同じなので、異なる部分のみ説明す
る。符号入力端子２７、多重化分離器２８、可変長復号
化器２４、逆量子化器９、逆ＤＣＴ１４の動作は、すべ
てのピクチャーに共通であり、図２の第１の実施例と基
本的に同じである。得られた予測残差は走査線補間器６
１に与えられる。走査線補間器６１は、画像レートが６
０ｆｐｓの場合のみ、飛越し走査で間引かれているＢピ
クチャーの予測残差を補間する。順次走査の予測残差は
加算器１３に与えられる。加算器１３は画像間予測器６
３から与えられる予測信号を加算して、フレーム補間器
６２と画像間予測器６３に与える。画像間予測器６３
は、ＢピクチャーとＰ(Ｉ)ピクチャーで異なった予測信
号を形成するが、いずれも順次走査である。フレーム補
間器６２は間引かれている順次走査画像のフレームを補
間し、６０ｆｐｓの順次走査画像とする。処理は画像レ
ートにより異なり、３０ｆｐｓの場合は２フレームが繰
り返され、２０ｆｐｓの場合は３フレームが、１０ｆｐ
ｓの場合は６フレームが繰り返される。ここで、Ｂピク
チャーとＰ(Ｉ)ピクチャーは順番が逆転しているので、
Ｐ(Ｉ)ピクチャーはすぐに出力せず、順番を補正して出
力する。フレーム補間器６２から出力される６０ｆｐｓ
の順次走査画像は、順次走査画像出力端子２３より出力
される。<Third Embodiment of Variable Picture Rate Decoding Apparatus> A third embodiment of the variable picture rate decoding apparatus corresponding to the third embodiment of the variable picture rate encoding apparatus shown in FIG. explain. FIG. 6 shows the configuration. The same components as those in the first embodiment of the variable image rate decoding device in FIG. 2 are denoted by the same reference numerals. 6, the position and operation of the scanning line interpolator 61 and the frame interpolator 62 are different from those of FIG. The third embodiment of the variable picture rate decoding apparatus differs from the first embodiment in the inter-picture prediction processing and the interpolation method, and the decoding processing of the prediction residual signal is basically the same. explain. The operations of the code input terminal 27, the demultiplexer 28, the variable length decoder 24, the inverse quantizer 9, and the inverse DCT 14 are common to all pictures, and are basically the same as those in the first embodiment of FIG. Is the same. The obtained prediction residual is used as the scanning line interpolator 6.
Given to one. The scanning line interpolator 61 has an image rate of 6
Only at 0 fps, the prediction residual of the B picture thinned out by the interlaced scanning is interpolated. The prediction residual of the progressive scanning is supplied to the adder 13. The adder 13 is an inter-picture predictor 6
3 are added, and the result is added to the frame interpolator 62 and the inter-picture predictor 63. Inter-picture predictor 63
Forms different prediction signals for the B picture and the P (I) picture, but both are progressive scans. The frame interpolator 62 interpolates the thinned-out frame of the progressively scanned image to obtain a 60 fps progressively scanned image. The processing differs depending on the image rate. In the case of 30 fps, two frames are repeated, and in the case of 20 fps, three frames are reduced to 10 fp.
In the case of s, six frames are repeated. Here, since the order of the B picture and the P (I) picture is reversed,
The P (I) picture is not output immediately, but is output after correcting the order. 60 fps output from the frame interpolator 62
Are output from the progressive scanning image output terminal 23.
【００１４】[0014]
【発明の効果】以上の通り、本発明の符号化装置、符号
化方法は、所定画像レートの入来動画像の動きの程度ま
たは前記入来動画像の符号化時の符号化パラメータに応
じて、画像の部分毎に符号化画像レートを設定し、設定
された符号化画像レートが前記所定画像レートと同じ場
合には飛越し走査符号化とし、設定された符号化画像レ
ートが前記所定画像レートよりも低い場合には順次走査
符号化とするので、画像レートを微妙に調節でき、動き
の視覚的検知能力に対して過不足のない画像レートが得
られる。再生画像の視覚的品質を同様に保ちながらより
低い転送ビットレートが実現される。また、転送レート
を同一とすれば、間引かれずに残った画像により多くの
ビットが配分されることになり、再生画像の品質が向上
する。一方、本発明の復号化装置、復号化方法は、飛越
し走査符号化された部分は飛越し走査での再生ではその
ままで、順次走査での再生では走査線を補間する。画像
レートを下げて順次走査符号化された部分は、順次走査
での再生では単純にフレームを繰り返すことで所定画像
レートにし、飛越し走査での再生では順次走査の１フレ
ームを偶数フィールドと奇数フィールドに分解し、それ
ぞれを繰り返す。いずれの場合も、不連続な動きとなる
ことなくスムーズな再生画像が得られ、動きの不自然さ
は最小限となる。As described above, the coding apparatus and the coding method according to the present invention can be used in accordance with the degree of movement of an incoming video at a predetermined image rate or the coding parameters at the time of coding the incoming video. Setting an encoded image rate for each part of an image, and if the set encoded image rate is the same as the predetermined image rate, interlaced scan encoding is performed; and the set encoded image rate is set to the predetermined image rate. If it is lower than this, progressive scan coding is used, so that the image rate can be finely adjusted, and an image rate that is not too small or too small for the ability to visually detect motion can be obtained. A lower transfer bit rate is achieved while maintaining the visual quality of the reproduced image as well. Also, if the transfer rate is the same, more bits are allocated to the remaining image without being thinned, and the quality of the reproduced image is improved. On the other hand, the decoding apparatus and the decoding method of the present invention interpolate the scanning lines in the interlaced scan reproduction in the interlaced scan reproduction and in the progressive scan reproduction. The portion scanned and encoded by lowering the image rate is set to a predetermined image rate by simply repeating the frame in the reproduction by the sequential scanning, and one frame of the sequential scanning is converted into the even field and the odd field by the interlaced reproduction. And repeat each. In any case, a smooth reproduced image is obtained without discontinuous movement, and the unnaturalness of the movement is minimized.
【図１】可変画像レート符号化装置の第１の実施例の構
成例を示す図である。FIG. 1 is a diagram illustrating a configuration example of a first embodiment of a variable image rate encoding device.
【図２】可変画像レート復号化装置の第１の実施例の構
成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of a first embodiment of a variable image rate decoding device.
【図３】可変画像レート符号化装置の第２の実施例の構
成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a second embodiment of the variable image rate encoding device.
【図４】可変画像レート復号化装置の第２の実施例の構
成例を示す図である。FIG. 4 is a diagram illustrating a configuration example of a second embodiment of the variable image rate decoding device.
【図５】可変画像レート符号化装置の第３の実施例の構
成例を示す図である。FIG. 5 is a diagram illustrating a configuration example of a third embodiment of the variable image rate encoding device.
【図６】可変画像レート復号化装置の第３の実施例の構
成例を示す図である。FIG. 6 is a diagram illustrating a configuration example of a third embodiment of the variable image rate decoding device.
【図７】従来の可変画像レート符号化装置の構成例を示
す図である。FIG. 7 is a diagram illustrating a configuration example of a conventional variable image rate encoding device.
【図８】従来の可変画像レート復号化装置の構成例を示
す図である。FIG. 8 is a diagram illustrating a configuration example of a conventional variable image rate decoding device.
【図９】フレームや走査線の削減の様子を示す図であ
る。FIG. 9 is a diagram showing how frames and scanning lines are reduced.
【図１０】可変画像レート符号化装置の第３の実施例で
のＢピクチャー削減の様子を示す図である。FIG. 10 is a diagram illustrating a state of B picture reduction in a third embodiment of the variable image rate encoding device.
【図１１】可変画像レート復号化装置の第１の実施例で
の補間の様子を示す図である。FIG. 11 is a diagram illustrating a state of interpolation in the first embodiment of the variable image rate decoding device.
【図１２】可変画像レート復号化装置の第２の実施例で
の補間の様子を示す図である。FIG. 12 is a diagram illustrating a state of interpolation in a second embodiment of the variable image rate decoding device.
１ 順次走査画像入力端子 ２、４１、５８ 走査線間引き器 ３、２２、５１ スイッチ ４、５７ 減算器 ５、５９ ＤＣＴ ６、６０ 量子化器 ７、５６、７２ フレーム間引き器 ８、３３ ＭＶ検出器 ９ 逆量子化器 １０、５５ 可変長符号化器 １１、２９、３４ 画像レート設定器 １２、２５、５４、６３、７５、８２ 画像間予測器 １３ 加算器 １４ 逆ＤＣＴ １５、５３ 多重化器 １６ 符号列出力端子 ２１、３１、６１ 走査線補間器 ２３ 順次走査画像出力端子 ２４ 可変長復号化器 ２６、６２、８１ フレーム補間器 ２７ 符号列入力端子 ２８ 多重化分離器 ３２ 飛越し走査画像入力端子 ４２ 飛越し走査画像出力端子 ５２ フレーム遅延器 ７３ 画像レート制御器 ７４ 符号量観測器 DESCRIPTION OF SYMBOLS 1 Sequential scanning image input terminal 2, 41, 58 Scan line thinning-out device 3, 22, 51 Switch 4, 57 Subtractor 5, 59 DCT 6, 60 Quantizer 7, 56, 72 Frame thinning-out device 8, 33 MV detector Reference Signs List 9 inverse quantizer 10, 55 variable length encoder 11, 29, 34 image rate setting unit 12, 25, 54, 63, 75, 82 inter-image predictor 13 adder 14 inverse DCT 15, 53 multiplexer 16 Code string output terminal 21, 31, 61 Scan line interpolator 23 Progressive scan image output terminal 24 Variable length decoder 26, 62, 81 Frame interpolator 27 Code string input terminal 28 Demultiplexer 32 Interlaced scan image input terminal 42 interlaced scanning image output terminal 52 frame delay unit 73 image rate controller 74 code amount observer
Claims (10)
の程度または前記入来順次走査画像の符号化時の符号化
パラメータに応じて、画像の部分毎に符号化画像レート
を設定する画像レート設定手段と、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来順次走査画像の走査線を間引
いて飛越し走査画像を形成し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
符号化画像レートに応じて前記入来順次走査画像のフレ
ームを間引いて順次走査画像を形成する画像形成手段
と、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記画像形成手段で形成された前記飛
越し走査画像を飛越し走査符号化し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記画像形成手段で形成された前記順次走査画像を
順次走査符号化して動画像符号列を得る符号化手段と、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、を備えたこと
を特徴とする可変画像レート符号化装置。An image for setting an encoded image rate for each part of an image according to a degree of movement of an incoming progressively scanned image at a predetermined image rate or an encoding parameter at the time of encoding the incoming progressively scanned image. Rate setting means, when the set encoded image rate is the same as the predetermined image rate, skips scan lines of the incoming sequential scan image to form an interlaced scan image, and sets the set encoded image rate. When the image rate is lower than the predetermined image rate, image forming means for forming a sequentially scanned image by thinning out the frames of the incoming sequentially scanned image according to the encoded image rate; and setting the encoded image. If the rate is the same as the predetermined image rate, the interlaced scan image formed by the image forming means is interlaced and coded, and the set coded image rate is set to the predetermined image rate. Encoding means for sequentially scanning and encoding the progressively scanned image formed by the image forming means to obtain a moving image code sequence; information on the set encoded image rate and the moving image A variable image rate encoding device, comprising: multiplexing means for multiplexing a code sequence.
査画像を再生する復号化装置において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定する画像
レート設定手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像の走査線を補間し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた復号画像のフレームを補間
して前記所定画像レートの再生順次走査画像を得る復号
化手段と、を備えたことを特徴とする可変画像レート復
号化装置。2. A decoding apparatus for reproducing a progressively scanned image having a predetermined image rate from a moving image code sequence, comprising: obtaining information on an encoded image rate from the moving image code sequence; Image rate setting means for setting, if the set decoded image rate is the same as the predetermined image rate, interlaced scan decoding to obtain a decoded image,
When the set decoded image rate is lower than the predetermined image rate, decoding means for sequentially scanning and decoding to obtain a decoded image, and when the set decoded image rate is the same as the predetermined image rate, Interpolates the scan lines of the decoded image obtained by the interlaced scan decoding, and when the set decoded image rate is lower than the predetermined image rate, the decoding obtained by the progressive scan decoding. Decoding means for interpolating a frame of an image to obtain a reproduced progressively scanned image at the predetermined image rate.
きの程度または前記入来飛越し走査画像の符号化時の符
号化パラメータに応じて、画像の部分毎に符号化画像レ
ートを設定する画像レート設定手段と、 前記入来飛越し走査画像を順次走査画像に変換する走査
構造変換手段と、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記符号化画像レートに応じて前記
順次走査画像のフレームを間引いて間引き動画像を得る
画像間引き手段と、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来飛越し走査画像をそのまま飛
越し走査符号化し、設定された前記符号化画像レートが
前記所定画像レートより低い場合には、前記間引き動画
像を順次走査符号化して動画像符号列を得る符号化手段
と、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、を備えたこと
を特徴とする可変画像レート符号化装置。3. An encoded image rate is set for each part of an image in accordance with a degree of movement of an incoming interlaced scanning image at a predetermined image rate or an encoding parameter at the time of encoding the incoming interlaced scanning image. Image rate setting means for performing scanning, and a scanning structure converting means for converting the incoming interlaced scanning image into a sequentially scanned image; and, if the set encoded image rate is lower than the predetermined image rate, the encoded image Image thinning means for thinning out the frames of the progressively scanned image in accordance with the rate to obtain a thinned moving image, and when the set encoded image rate is the same as the predetermined image rate, the incoming interlaced scanned image is If the encoded image rate set is lower than the predetermined image rate as it is, the code for sequentially scanning-encoding the thinned-out moving image to obtain a moving image code sequence Variable picture rate coding device comprising means, further comprising a multiplexing means for multiplexing information and said video code stream regarding the encoded image rate set.
走査画像を再生する復号化装置において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定する画像
レート設定手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像をそのまま出力し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた前記復号画像から飛越し走
査画像の複数フィールドを得て所定画像レートの飛越し
走査画像を出力する復号化手段と、を備えたことを特徴
とする可変画像レート復号化装置。4. A decoding apparatus for reproducing an interlaced scanning image of a predetermined image rate from a moving image code sequence, comprising: obtaining information on an encoded image rate from the moving image code sequence; Image rate setting means for setting a rate, and when the set decoded image rate is the same as the predetermined image rate, interlaced scan decoding to obtain a decoded image;
When the set decoded image rate is lower than the predetermined image rate, decoding means for sequentially scanning and decoding to obtain a decoded image, and when the set decoded image rate is the same as the predetermined image rate, Directly outputs the decoded image obtained by the interlaced scan decoding, and when the set decoded image rate is lower than the predetermined image rate, the decoded image obtained by the progressive scan decoding. And decoding means for obtaining a plurality of fields of the interlaced scan image from the image data and outputting an interlaced scan image at a predetermined image rate.
を検出する動き量検出手段と、 検出された前記動きの程度が大きな部分では画像レート
が高く、検出された前記動きの程度が小さな部分では画
像レートが低くなるように符号化画像レートを設定する
画像レート設定手段と、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記入来動画像を前記符号化画像レ
ートに応じて画像を間引いて可変画像レートの動画像を
得る画像形成手段と、 前記可変画像レートの動画像を符号化し動画像符号列を
得る符号化手段と、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、を備えたこと
を特徴とする可変画像レート符号化装置。5. A motion amount detecting means for detecting a degree of movement of an incoming moving image at a predetermined image rate, wherein an image rate is high in a portion where the detected degree of movement is large, and the detected degree of movement is small. Image rate setting means for setting an encoded image rate so that an image rate is reduced in a small portion; and when the set encoded image rate is lower than the predetermined image rate, the incoming moving image is encoded with the code. Image forming means for obtaining a moving image at a variable image rate by thinning out an image in accordance with an encoded image rate; encoding means for encoding a moving image at the variable image rate to obtain a moving image code sequence; A variable image rate encoding device, comprising: multiplexing means for multiplexing information on an image rate and the moving image code sequence.
の程度または前記入来順次走査画像の符号化時の符号化
パラメータに応じて、画像の部分毎に符号化画像レート
を設定し、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来順次走査画像の走査線を間引
いて飛越し走査画像を形成し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
符号化画像レートに応じて前記入来順次走査画像のフレ
ームを間引いて順次走査画像を形成し、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記画像形成手段で形成された前記飛
越し走査画像を飛越し走査符号化し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記画像形成手段で形成された前記順次走査画像を
順次走査符号化して動画像符号列を得、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する、ことを特徴とする可変画像
レート符号化方法。6. An encoded image rate is set for each part of an image in accordance with a degree of motion of an incoming progressively scanned image at a predetermined image rate or an encoding parameter at the time of encoding the incoming progressively scanned image. When the set encoded image rate is the same as the predetermined image rate, interlaced scan images are formed by thinning out the scanning lines of the incoming sequential scan image, and the set encoded image rate is the predetermined image rate. If the image rate is lower than the predetermined image rate, a frame of the incoming sequentially scanned image is thinned out to form a sequentially scanned image according to the encoded image rate, and the set encoded image rate is the same as the predetermined image rate. Interlaced scanning encoding of the interlaced scanning image formed by the image forming unit, and when the set encoded image rate is lower than the predetermined image rate, the image forming unit A variable image rate, wherein the formed progressively scanned image is sequentially scanned and encoded to obtain a moving image code sequence, and information on the set encoded image rate and the moving image code sequence are multiplexed. Encoding method.
査画像を再生する復号化方法において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定し、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像の走査線を補間し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた復号画像のフレームを補間
して前記所定画像レートの再生順次走査画像を得る、こ
とを特徴とする可変画像レート復号化方法。7. A decoding method for reproducing a progressively scanned image at a predetermined image rate from a moving image code sequence, comprising: obtaining information on an encoded image rate from the moving image code sequence; If the set decoded image rate is the same as the predetermined image rate, interlaced scan decoding to obtain a decoded image,
When the set decoded image rate is lower than the predetermined image rate, sequential scan decoding is performed to obtain a decoded image. When the set decoded image rate is the same as the predetermined image rate, the skipping is performed. Then, the scanning lines of the decoded image obtained by the scan decoding are interpolated, and when the set decoded image rate is lower than the predetermined image rate, the frame of the decoded image obtained by the progressive scan decoding is interpolated. A variable image rate decoding method, characterized in that a reproduced progressively scanned image at the predetermined image rate is obtained by interpolation.
きの程度または前記入来飛越し走査画像の符号化時の符
号化パラメータに応じて、画像の部分毎に符号化画像レ
ートを設定し、 前記入来飛越し走査画像を順次走査画像に変換し、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記符号化画像レートに応じて前記
順次走査画像のフレームを間引いて間引き動画像を得、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来飛越し走査画像をそのまま飛
越し走査符号化し、設定された前記符号化画像レートが
前記所定画像レートより低い場合には、前記間引き動画
像を順次走査符号化して動画像符号列を得、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する、ことを特徴とする可変画像
レート符号化方法。8. An encoded image rate is set for each part of an image according to a degree of movement of an incoming interlaced scanning image at a predetermined image rate or an encoding parameter at the time of encoding the incoming interlaced scanning image. And converting the incoming interlaced scan image into a progressive scan image, and when the set encoded image rate is lower than the predetermined image rate, the frame of the progressive scan image according to the encoded image rate. In the case where the set encoded image rate is the same as the predetermined image rate, the incoming interlaced scan image is interlaced scan-encoded as it is, and the set encoded image is set. When the rate is lower than the predetermined image rate, the thinned-out moving image is sequentially scan-coded to obtain a moving image code sequence, and information on the set encoded image rate and the moving image code sequence are obtained. A variable image rate encoding method, comprising multiplexing.
走査画像を再生する復号化方法において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定し、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像をそのまま出力し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた前記復号画像から飛越し走
査画像の複数フィールドを得て所定画像レートの飛越し
走査画像を出力する、ことを特徴とする可変画像レート
復号化方法。9. A decoding method for reproducing an interlaced scanning image of a predetermined image rate from a moving image code sequence, wherein information on an encoded image rate is obtained from the moving image code sequence, and a decoded image is obtained for each image portion. Setting a rate, if the set decoded image rate is the same as the predetermined image rate, interlaced scan decoding to obtain a decoded image;
When the set decoded image rate is lower than the predetermined image rate, sequential scan decoding is performed to obtain a decoded image. When the set decoded image rate is the same as the predetermined image rate, the skipping is performed. The decoded image obtained by the scan decoding is output as it is, and if the set decoded image rate is lower than the predetermined image rate, the interlaced scanning is performed from the decoded image obtained by the progressive scan decoding. A variable image rate decoding method, comprising: obtaining a plurality of fields of an image and outputting an interlaced image at a predetermined image rate.
度を検出し、 検出された前記動きの程度が大きな部分では画像レート
が高く、検出された前記動きの程度が小さな部分では画
像レートが低くなるように符号化画像レートを設定し、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記入来動画像を前記符号化画像レ
ートに応じて画像を間引いて可変画像レートの動画像を
得、 前記可変画像レートの動画像を符号化し動画像符号列を
得、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する、ことを特徴とする可変画像
レート符号化方法。10. A method for detecting a degree of motion of an incoming moving image having a predetermined image rate, wherein an image rate is high in a portion where the detected degree of motion is large, and an image rate is detected in a portion where the detected degree of motion is small. The encoded image rate is set to be lower, and when the encoded image rate set is lower than the predetermined image rate, the incoming moving image is thinned out according to the encoded image rate. Obtaining a moving image at a variable image rate, encoding the moving image at the variable image rate to obtain a moving image code sequence, and multiplexing the moving image code sequence with information on the set encoded image rate. Characteristic variable image rate encoding method.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255170A JP3859118B2 (en) | 2000-08-25 | 2000-08-25 | Variable image rate encoding apparatus, variable image rate decoding apparatus, variable image rate encoding method, and variable image rate decoding method |
| US09/805,255 US6940911B2 (en) | 2000-03-14 | 2001-03-14 | Variable picture rate coding/decoding method and apparatus |
| US11/178,386 US7860170B2 (en) | 2000-03-14 | 2005-07-12 | Variable picture rate coding/decoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255170A JP3859118B2 (en) | 2000-08-25 | 2000-08-25 | Variable image rate encoding apparatus, variable image rate decoding apparatus, variable image rate encoding method, and variable image rate decoding method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002077910A true JP2002077910A (en) | 2002-03-15 |
| JP3859118B2 JP3859118B2 (en) | 2006-12-20 |
Family
ID=18744007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000255170A Expired - Fee Related JP3859118B2 (en) | 2000-03-14 | 2000-08-25 | Variable image rate encoding apparatus, variable image rate decoding apparatus, variable image rate encoding method, and variable image rate decoding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3859118B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193850A (en) * | 2002-12-10 | 2004-07-08 | Sony Corp | Encoding control method and encoding control program |
| JP2006303638A (en) * | 2005-04-15 | 2006-11-02 | Sony Corp | Video processor |
| JP2012175613A (en) * | 2011-02-24 | 2012-09-10 | Sony Corp | Image transmission device, image transmission method, and program |
-
2000
- 2000-08-25 JP JP2000255170A patent/JP3859118B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193850A (en) * | 2002-12-10 | 2004-07-08 | Sony Corp | Encoding control method and encoding control program |
| JP2006303638A (en) * | 2005-04-15 | 2006-11-02 | Sony Corp | Video processor |
| JP4497019B2 (en) * | 2005-04-15 | 2010-07-07 | ソニー株式会社 | Video processing device |
| JP2012175613A (en) * | 2011-02-24 | 2012-09-10 | Sony Corp | Image transmission device, image transmission method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3859118B2 (en) | 2006-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3164031B2 (en) | Moving image encoding / decoding device, moving image encoding / decoding method, and moving image encoded recording medium | |
| US7860170B2 (en) | Variable picture rate coding/decoding method and apparatus | |
| US5689305A (en) | System for deinterlacing digitally compressed video and method | |
| JP3360586B2 (en) | Scan conversion apparatus and method | |
| JP3649370B2 (en) | Motion compensation coding apparatus and motion compensation coding method | |
| JPH07212761A (en) | Hierarchical coder and hierarchical decoder | |
| JP2002523947A (en) | Method and apparatus for reducing the amount of buffer memory required to perform MPEG data decoding and scan conversion | |
| JP2003333540A (en) | Frame rate converting apparatus, video display apparatus using the same, and a television broadcast receiving apparatus | |
| JP2000036963A (en) | Image coder, image coding method and image decoder | |
| JP3859118B2 (en) | Variable image rate encoding apparatus, variable image rate decoding apparatus, variable image rate encoding method, and variable image rate decoding method | |
| JP2002218472A (en) | Device and method for decoding variable image rate | |
| JP4320509B2 (en) | Video re-encoding apparatus and method | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP3164056B2 (en) | Moving image encoding / decoding device, moving image encoding / decoding method, and moving image code recording medium | |
| JP2002010267A (en) | Motion vector conversion apparatus and its method | |
| JP2001258039A (en) | Variable image rate encoder, variable image rate decoder, variable image rate coding method, and variable image rate decoding method | |
| JP4035808B2 (en) | Moving image scanning structure conversion apparatus and moving image scanning structure conversion method | |
| JPH10126749A (en) | Sequential scanning conversion device | |
| JP3289695B2 (en) | Video encoding method and apparatus | |
| KR19980054366A (en) | Device and method for implementing PIP of digital TV | |
| JP4078803B2 (en) | Interlace / progressive conversion method and conversion apparatus | |
| JPH08237599A (en) | Inter-frame band compression signal switching circuit | |
| KR100215789B1 (en) | Apparatus and method for driving pip in digital tv | |
| JP3968528B2 (en) | Image signal encoding method and apparatus | |
| JPH08265759A (en) | Compression signal switching device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060914 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |