JP2000188760A - Method and device for converting video code - Google Patents

Method and device for converting video code

Info

Publication number
JP2000188760A
JP2000188760A JP36516098A JP36516098A JP2000188760A JP 2000188760 A JP2000188760 A JP 2000188760A JP 36516098 A JP36516098 A JP 36516098A JP 36516098 A JP36516098 A JP 36516098A JP 2000188760 A JP2000188760 A JP 2000188760A
Authority
JP
Japan
Prior art keywords
frame
intra
code
dct
video code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP36516098A
Other languages
Japanese (ja)
Inventor
Junichi Kimura
淳一 木村
Hitoshi Takaya
仁志 貴家
Taizo Kinoshita
泰三 木下
Satoru Date
哲 伊達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP36516098A priority Critical patent/JP2000188760A/en
Publication of JP2000188760A publication Critical patent/JP2000188760A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce a circuit scale by performing an inter-frame-to-intra-frame conversion with a DCT area as it is and using an input video signal as it is when conversion is not needed. SOLUTION: An intra-frame signal 102 outputted by an inter-frame and intra-frame conversion circuit 101 is a DCT coefficient string when each block of an image is subjected to DCT transformation. A BUF 105 is used to meet an input video code 2 to time delay in the circuit 101. The video code 2 stored in the BUF 105 is read to be a video code 103. A synthetic circuit 104 performs variable length coding of a selected signal in accordance with an externally inputted intra-frame/inter-frame selection signal 106 when it is the intra-frame signal 102 and further adds information such as a header. The signal 102 becomes a video code for intra-frame coding by that and is outputted as a video code 7. When the selected signal is the video code 103, the video code 103 is outputted as the video code 7 as it is.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像を圧縮符号化
する技術に係り、特にフレーム間符号化した画像をフレ
ーム内符号化画像に変換する映像符号変換方法及び装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for compressing and coding an image, and more particularly to a video code conversion method and apparatus for converting an inter-frame coded image into an intra-frame coded image.

【0002】[0002]

【従来の技術】動画像は、その情報量が膨大であり、デ
ジタル化して伝送、蓄積するために高能率符号化によっ
て情報量を圧縮することが必要となる。高能率符号化の
国際標準が国際電気通信連合の電気通信標準化部門(I
TU−T)や国際標準化機構(ISO)及び国際電気標
準会議(IEC)の連合によって幾つか設定されてお
り、例えば、ITU−Tによる狭帯域伝送を対象にした
H.261及びH.263やISO/IECによる一般
的なMPEG1及び適用範囲を広くしたMPEG2等が
ある。
2. Description of the Related Art A moving image has an enormous amount of information, and it is necessary to compress the amount of information by high-efficiency coding in order to transmit the digital image and store it. The International Standard for High Efficiency Coding is the International Telecommunication Union Telecommunication Standardization Sector (I
TU-T), the International Organization for Standardization (ISO) and the International Electrotechnical Commission (IEC). 261 and H.E. H.263 and general MPEG1 according to ISO / IEC, and MPEG2 whose application range is widened.

【0003】これらの国際標準方式には、いずれも動き
補償フレーム間予測符号化によるフレーム間符号化技術
が用いられ、これにフレーム単独で即ちフレームの画面
内で符号化を行なうフレーム内符号化技術が併用され
る。
All of these international standard systems use an inter-frame coding technique based on motion-compensated inter-frame predictive coding, and include an intra-frame coding technique for coding a frame alone, that is, within a frame screen. Are used together.

【0004】図22に符号化した動画像のフレーム構成
を示す。まず、第1のフレームは、フレーム内符号化で
符号化され、Iピクチャとなる。フレーム内符号化は、
先に挙げた国際標準のいずれにおいても、直交変換の一
種である離散コサイン変換(以下「DCT(Discrete co
sine transform)」という)によって行なわれる。画像
の8画素×8画素のブロック単位にDCTが適用され
る。ブロックの64の画素は、DCTによって64個の
周波数成分(DCT係数)に変換される。DCT係数
は、続いて可変長符号によって符号化される。
FIG. 22 shows a frame configuration of an encoded moving image. First, the first frame is coded by intra-frame coding to become an I picture. Intra-frame encoding is
In any of the international standards mentioned above, a discrete cosine transform (hereinafter referred to as “DCT (Discrete
sine transform) ”). DCT is applied to each block of 8 × 8 pixels of an image. The 64 pixels of the block are transformed by DCT into 64 frequency components (DCT coefficients). The DCT coefficients are subsequently encoded by a variable length code.

【0005】第2フレーム以降は、多くのフレームが
(方式によっては全てのフレームが)直前の符号化画像
を参照画像として利用して予測符号化を行なうフレーム
間符号化によって符号化され、Pピクチャとなる。具体
的には、画像の16画素×16画素のマクロブロック単
位に参照画像から16×16画素の予測画像を抽出し、
符号化するマクロブロックと予測画像との差を取る、即
ち対応する画素毎に差をとることにより生成した16×
16画素の差分画像を符号化する。差分画像の符号化
は、フレーム内符号化と同様に、分割した8×8画素毎
にDCTを施すことによって行なわれる。なお、フレー
ム間符号化が行なわれても、フレーム内の一部に適応的
にフレーム内符号化が行なわれれる場合があるが、フレ
ーム内符号化を含んでも総称して「フレーム間符号化」
と云うこととする。
[0005] From the second frame onward, many frames (all frames depending on the system) are coded by inter-frame coding for performing predictive coding using the immediately preceding coded image as a reference image. Becomes Specifically, a prediction image of 16 × 16 pixels is extracted from the reference image in macroblock units of 16 × 16 pixels of the image,
The difference between the macroblock to be coded and the predicted image, that is, 16 × generated by taking the difference for each corresponding pixel
The difference image of 16 pixels is encoded. The encoding of the difference image is performed by applying DCT to each divided 8 × 8 pixel, as in the intra-frame encoding. In addition, even if the inter-frame coding is performed, the intra-frame coding may be adaptively performed on a part of the frame. However, the term “inter-frame coding” includes the intra-frame coding.
I will say.

【0006】上記の予測画像の抽出は、参照画像上で、
符号化するマクロブロックと同じ画面位置周辺から最適
な(通常は予測誤差が最小となる)部分を探し出すこと
によってなされる。この予測画像の参照画像上での位置
を表すために、符号化するマクロブロックの画面位置か
らの動きベクトル(垂直水平の2次元)を用いる。この
ようにして動き補償フレーム間符号化により、符号化さ
れた差分画像と動きベクトルが生成され、これらから映
像符号が生成される。
[0006] The above-described extraction of a predicted image is performed by extracting
This is done by searching for an optimal (usually the smallest prediction error) part around the same screen position as the macroblock to be coded. In order to represent the position of the predicted image on the reference image, a motion vector (vertical and horizontal two-dimensional) from the screen position of the macroblock to be encoded is used. In this way, the encoded difference image and the motion vector are generated by the motion compensation inter-frame coding, and the video code is generated from these.

【0007】復号は、Iピクチャから出発し、これにフ
レームが進む毎に差分画像を累積していくことによって
参照画像を生成していき、前のフレームの参照画像から
動きベクトルによって位置が修正された予測画像を取り
出し、その予測画像に現在のフレームの差分画像を加え
て再生画像を得ることによって行なわれる。
Decoding starts from an I picture, and a reference image is generated by accumulating a difference image each time a frame advances, and the position is corrected by a motion vector from the reference image of the previous frame. This is performed by taking out the predicted image thus obtained and adding the difference image of the current frame to the predicted image to obtain a reproduced image.

【0008】動きベクトルの精度には、整数画素精度の
場合と予測精度の向上を目的とした半画素精度(ハーフ
ペル)との場合の2種類がある。整数画素精度の場合に
は、動きベクトルの示す各画素が予測画像となるが、ハ
ーフペルの場合は、詳細説明を省略するが、動きベクト
ルの示す半画素を、2画素間又は4画素間の平均とす
る。
There are two types of motion vector precision: integer pixel precision and half-pixel precision (half-pel) for the purpose of improving prediction precision. In the case of integer pixel precision, each pixel indicated by the motion vector becomes a prediction image. In the case of half pel, detailed description is omitted, but half pixels indicated by the motion vector are averaged between two pixels or four pixels. And

【0009】以上は輝度信号の符号化方法であるが、2
成分の色信号(色差信号)についても同様の処理が行わ
れる。但し、色差信号の解像度(画素数)が垂直、水平
とも輝度信号の1/2であるため、動き補償が8×8画
素単位で輝度信号と連動して行なわれる。
The above is a method of encoding a luminance signal.
Similar processing is performed on the color signals (color difference signals) of the components. However, since the resolution (the number of pixels) of the color difference signal is の of the luminance signal in both the vertical and horizontal directions, motion compensation is performed in units of 8 × 8 pixels in conjunction with the luminance signal.

【0010】また、標準方式によっては、時間的に前後
のフレームから予測(前方向予測/後方向予測/双方向
予測切換)を行うBなピクチャも存在するが、これはP
ピクチャの処理の延長として処理ができるので説明を省
略する。
Further, depending on the standard system, there is a B-picture in which prediction (forward prediction / reverse prediction / bidirectional prediction switching) is performed from frames preceding and succeeding in time.
Since the processing can be performed as an extension of the processing of the picture, the description is omitted.

【0011】以上のように、動き補償フレーム間符号化
によって生成されるPピクチャは、差分画像の累積によ
って生成される。従って、直前の参照画像がないとPピ
クチャを復号化・再生することができない。例えば、図
22の6番目のフレーム(Pピクチャ)を復号化しよう
とすると、第1フレームからの累積によらないと、即ち
第1フレームまで遡らないと復号化することができな
い。先に挙げたMPEG1,MPEG2では、通常0.
5秒周期(15フレーム周期)程度でIピクチャが挿入
されるが、H.261,H.263を用いたリアルタイ
ムの通信等では、通常、第1フレームがIピクチャとし
て符号化された後は全てPピクチャ(又はBピクチャ)
として符号化されることが多い。
As described above, the P picture generated by the motion compensation interframe coding is generated by accumulating the difference images. Therefore, the P picture cannot be decoded and reproduced without the immediately preceding reference image. For example, when trying to decode the sixth frame (P picture) in FIG. 22, it cannot be decoded without accumulating from the first frame, that is, going back to the first frame. In the case of MPEG1 and MPEG2 described above, the normal value is 0.1.
An I picture is inserted at a period of about 5 seconds (15 frame periods). 261, H .; In real-time communication using H.263, all P-pictures (or B-pictures) are usually used after the first frame is encoded as an I-picture.
Is often encoded as

【0012】そこで、図22に示したフレーム構成の映
像符号が、例えばディジタル放送によるもので、その映
像の途中から、例として第5フレームから録画すると
き、そのまま録画したのではそれ以前の第1〜第4フレ
ームの映像が録画されないので第1フレームのIピクチ
ャが欠落し、録画した映像を再生することができない。
従って、録画に先立って録画開始の第5フレームをIピ
クチャに変換しておく必要がある。即ち、I1,P2,P
3,P4,P5,P6のように構成されている映像符号をI
1,P2,P3,P4,I5,P6の構成に変える必要があ
る。
Therefore, when the video code of the frame configuration shown in FIG. 22 is, for example, a digital broadcast, and the video is recorded from the fifth frame, for example, in the middle of the video, if the video is recorded as it is, the first video before it is recorded. Since the video of the fourth frame is not recorded, the I picture of the first frame is lost, and the recorded video cannot be reproduced.
Therefore, it is necessary to convert the fifth frame at the start of recording into an I-picture before recording. That is, I1, P2, P
The video code configured as 3, P4, P5, P6 is represented by I
It is necessary to change the configuration to 1, P2, P3, P4, I5, P6.

【0013】このような変換が必要になる場合は、その
他に、シーン変化の大きい静止画(フレーム)を取り出
し、それを縮小画像にして一画面中に並べる場合やフレ
ームを間引きして早送り再生を行なう場合など多数あ
る。
When such conversion is required, a still image (frame) having a large scene change is taken out and arranged in one screen as a reduced image, or a frame is thinned out to perform fast forward reproduction. There are many cases such as performing.

【0014】さて、映像符号の途中のPピクチャをIピ
クチャに変換する従来の装置の例として、図23に示す
符号変換装置1がある。入力された映像符号2(符号レ
ベルの信号)は、復号化回路3において復号化処理さ
れ、一旦、再生映像4になる。同時に復号化回路3は、
復号化処理時に用いた動きベクトル5を出力する。再生
映像4は、画素レベルの信号であり、そのまま表示可能
となる信号である。
As an example of a conventional apparatus for converting a P picture in the middle of a video code into an I picture, there is a code conversion apparatus 1 shown in FIG. The input video code 2 (code-level signal) is decoded by the decoding circuit 3 and becomes a reproduced video 4 once. At the same time, the decoding circuit 3
The motion vector 5 used in the decoding process is output. The reproduced video 4 is a pixel-level signal that can be displayed as it is.

【0015】再生映像4を再び符号化する過程で、途中
がIピクチャとして符号化され、その他がPピクチャと
して符号化され、それによって変換が行なわれる。Iピ
クチャとしての符号化は、外部からの選択信号106によ
る制御のもとで行なわれる。選択信号106は、上記の例
では、録画開始を示す信号やシーン変化信号などであ
る。再生映像4の符号化は、再符号化回路6によって行
なわれ、変換された映像符号7(符号レベルの信号)が
出力される。
In the process of encoding the reproduced video 4 again, the middle is encoded as an I picture, and the others are encoded as P pictures, thereby performing conversion. Encoding as an I picture is performed under the control of a selection signal 106 from the outside. In the above example, the selection signal 106 is a signal indicating the start of recording, a scene change signal, or the like. Encoding of the reproduced video 4 is performed by the re-encoding circuit 6, and the converted video code 7 (code-level signal) is output.

【0016】復号化回路3の詳細を図24に示す。この
回路は一般的に用いられる標準的な復号化回路である。
入力された映像符号2は、可変長復号化回路(VLD)
20において解読される。解読された符号化差分画像の
DCT係数21は、逆量子化回路(iQ)22に入力さ
れる。また、同時に解読された動きベクトル5は、動き
補償回路(MC)28に与えられるとともに復号化回路
外へ送られる。DCT係数21は、逆量子化回路22に
よって逆量子化されて差分DCT係数23となり、係数
23は続いて逆DCT変換(iDCT)回路24に入力
され、差分画像25となる。
The details of the decoding circuit 3 are shown in FIG. This circuit is a commonly used standard decoding circuit.
The input video code 2 is converted into a variable length decoding circuit (VLD).
Decoded at 20. The DCT coefficient 21 of the decoded coded difference image is input to an inverse quantization circuit (iQ) 22. The motion vector 5 decoded at the same time is supplied to a motion compensation circuit (MC) 28 and sent out of the decoding circuit. The DCT coefficient 21 is inversely quantized by an inverse quantization circuit 22 to become a differential DCT coefficient 23. The coefficient 23 is subsequently input to an inverse DCT transform (iDCT) circuit 24 to become a differential image 25.

【0017】フレームメモリ(FM)26にはその直前
に復号化した参照画像が格納されており、動き補償回路
28は、動きベクトル5の値に応じて画像信号27をフ
レームメモリ26から読み出し、予測信号29を出力す
る。動きベクトルが整数精度の場合は、8×8画素の予
測画像29に対し8×8個の画素の画像信号27を読み
出し、ハーフペルの場合は、8×8画素の予測画像29
に対し、ハーフペルの計算に必要な個数、即ち9×8、
8×9又は9×9個のいずれかの画素の画像信号27を
読み出す。
The frame memory (FM) 26 stores a reference image decoded immediately before. The motion compensation circuit 28 reads an image signal 27 from the frame memory 26 in accordance with the value of the motion vector 5 and performs prediction. The signal 29 is output. When the motion vector has integer precision, the image signal 27 of 8 × 8 pixels is read from the predicted image 29 of 8 × 8 pixels, and when the motion vector is half-pel, the predicted image 29 of 8 × 8 pixels is read.
In contrast, the number required for calculating the half pel, that is, 9 × 8,
The image signal 27 of either 8 × 9 or 9 × 9 pixels is read.

【0018】差分画像25と予測画像29は、加算回路
30にて画素毎に加算され、画素レベルの再生画像4と
なる。再生画像4は、フレームメモリ26に書き込ま
れ、次のフレームの参照画像となる。
The difference image 25 and the predicted image 29 are added for each pixel by an adding circuit 30 to form a reproduced image 4 at a pixel level. The reproduced image 4 is written into the frame memory 26 and becomes a reference image of the next frame.

【0019】次に、再符号化回路6の詳細を図25に示
す。この回路も、制御回路71に選択信号106を入力す
ることの他は、一般的に用いられる標準的な符号化回路
である。入力された再生画像4は、差分回路40で予測
画像41との差分がとられ、差分画像42が生成され
る。
Next, details of the re-encoding circuit 6 are shown in FIG. This circuit is also a commonly used standard encoding circuit except that the selection signal 106 is input to the control circuit 71. The difference between the input reproduced image 4 and the predicted image 41 is obtained by a difference circuit 40, and a difference image 42 is generated.

【0020】フレーム間予測モードにしてPピクチャを
出力するときは、スイッチ70が閉じられ、参照画像か
らの予測画像41が差分回路40に供給される。予測画
像41は、参照画像が格納されているフレームメモリ5
4から読み出した信号に対して動き補償回路56が位置
の修正を行なったものである。回路56は、動きベクト
ル5を使って位置の修正を行なう。
When a P picture is output in the inter-frame prediction mode, the switch 70 is closed, and the predicted image 41 from the reference image is supplied to the difference circuit 40. The predicted image 41 is stored in the frame memory 5 in which the reference image is stored.
The motion compensation circuit 56 corrects the position of the signal read from No. 4. The circuit 56 corrects the position using the motion vector 5.

【0021】一方、フレーム内予測モードにしてIピク
チャを出力するときは、スイッチ70が切られ、予測画
像41は、差分回路40に送られず、加算回路にも送ら
れない。そのため、差分回路40及び加算回路52の出
力信号は、差分ではなく、画像そのもとなる。
On the other hand, when the I picture is output in the intra-frame prediction mode, the switch 70 is turned off, and the prediction image 41 is not sent to the difference circuit 40 and is not sent to the addition circuit. Therefore, the output signals of the difference circuit 40 and the addition circuit 52 are not a difference but an image.

【0022】スイッチ70は制御回路71により制御さ
れる。制御回路には選択信号106が入力される。選択信
号106がフレーム内符号化を指示したときには、スイッ
チ70は切断状態になり、映像信号はIピクチャにな
る。フレーム間符号化を行なうときは、制御回路71
は、画像の状況により適宜接続/切断を選択する。
The switch 70 is controlled by a control circuit 71. The selection signal 106 is input to the control circuit. When the selection signal 106 instructs intra-frame encoding, the switch 70 is turned off, and the video signal becomes an I picture. When performing inter-frame encoding, the control circuit 71
Selects connection / disconnection as appropriate depending on the state of the image.

【0023】フレーム間符号化のときの差分画像42
は、DCT回路43にてDCT係数44に変換される。
DCT係数44は、量子化回路45にて量子化されたD
CT係数46となり、続いてDCT係数46は、可変長
符号化回路47にて動きベクトル5及び符号化モード等
の情報と共に符号化され、映像符号7が出力される。
Difference image 42 at the time of inter-frame encoding
Are converted into DCT coefficients 44 by the DCT circuit 43.
The DCT coefficient 44 is obtained by quantizing the DT
The DCT coefficients 46 become the CT coefficients 46, and then the DCT coefficients 46 are encoded by the variable length encoding circuit 47 together with information such as the motion vector 5 and the encoding mode, and the video code 7 is output.

【0024】一般に、画像信号は、その周波数成分が低
周波成分に偏る性質がある。そのため、量子化されたD
CT係数の高次部分は、0である確率が非常に高い。こ
の性質を利用して大幅な情報量削減が行なわれる。量子
化回路45によって量子化されたDCT係数46は、逆
量子化回路48にて逆量子化され、続いて逆DCT変換
回路50を経て再生差分画像51となる。再生差分画像
51は、加算回路52にて先の予測画像41と加算さ
れ、再生画像53となる。再生画像53は、次のフレー
ムの符号化時の参照画像としてフレームメモリ54に格
納される。
Generally, an image signal has a property that its frequency component is biased toward a low frequency component. Therefore, the quantized D
The higher order part of the CT coefficient has a very high probability of being zero. By utilizing this property, the amount of information can be significantly reduced. The DCT coefficient 46 quantized by the quantization circuit 45 is inversely quantized by the inverse quantization circuit 48, and subsequently becomes the reproduced difference image 51 via the inverse DCT transformation circuit 50. The reproduced difference image 51 is added to the previous predicted image 41 by the adding circuit 52 to form a reproduced image 53. The reproduced image 53 is stored in the frame memory 54 as a reference image at the time of encoding the next frame.

【0025】フレーム内符号化のときは、差分回路40
及び逆DCT変換回路50の出力は画像となり、情報量
削減がフレーム面内で行なわれる。こうした処理により
映像符号の中の符号化のモードを変更することができ
る。具体的には、符号中のPピクチャをIピクチャに変
更することができる。
At the time of intra-frame encoding, the difference circuit 40
The output of the inverse DCT transform circuit 50 is an image, and the amount of information is reduced in the frame plane. Through such processing, the encoding mode in the video code can be changed. Specifically, the P picture in the code can be changed to an I picture.

【0026】[0026]

【発明が解決しようとする課題】上記のPピクチャをI
ピクチャに変換する映像符号変換装置には、以下の問題
点がある。第1は、画素レベルまで復号化することによ
って情報量が増大した後で再符号化を行なうため、処理
量が多くなって回路規模が増大するという問題点であ
る。第2は、変換された映像符号を送信する送信装置と
同装置からの映像符号を受ける複数の受信装置とによっ
て構成される映像システムの問題点で、そのようなシス
テムでは受信装置が個々独立に映像符号変換を要求する
(選択信号を発信する)ので、受信装置毎に映像符号変
換装置を設けざるを得なく、システムの回路規模増大が
避けられないという問題点である。
The above-mentioned P picture is represented by I
The video code conversion device for converting a picture has the following problems. The first problem is that re-encoding is performed after the amount of information is increased by decoding to the pixel level, so that the processing amount is increased and the circuit scale is increased. Second, there is a problem in a video system including a transmitting device that transmits a converted video code and a plurality of receiving devices that receive the video code from the video device. In such a system, the receiving devices are individually independent. Since a video code conversion is requested (a selection signal is transmitted), a video code conversion device must be provided for each receiving device, and an increase in the circuit scale of the system is inevitable.

【0027】本発明の目的は、従来技術の前記問題点を
解決し、回路規模の小さい新規の映像符号変換方法及び
装置を提供することにある。
An object of the present invention is to solve the above-mentioned problems of the prior art and to provide a novel video code conversion method and apparatus having a small circuit scale.

【0028】[0028]

【課題を解決するための手段】上記の従来の変換過程
は、符号化されているDCT領域の符号レベルの信号を
逆DCT変換によって一旦画素レベルの信号にし、この
画素レベル信号を再びDCT変換してDCT領域の符号
レベル信号にする過程になっている。一方、DCT領域
のままフレーム間フレーム内変換を行なう処理のアルゴ
リズム及びその構成が電子情報通信学会主催の第12回
ディジタル信号処理シンポジウム第C7−4号第597
頁〜第602頁(平成9年11月)に記載のDCT領域
での解像度変換法の中に見られる。
In the above-mentioned conventional transforming process, the signal of the code level in the DCT area to be encoded is once converted to a pixel level signal by inverse DCT transform, and the pixel level signal is again subjected to DCT transform. To a code level signal in the DCT region. On the other hand, the algorithm and the configuration of the processing for performing the intra-frame intra-frame conversion in the DCT region are the same as those of the 12th Digital Signal Processing Symposium No. C7-4 No. 597 sponsored by the Institute of Electronics, Information and Communication Engineers.
This is found in the resolution conversion method in the DCT domain described on pages 602 to 602 (November 1997).

【0029】本発明者は、この処理手法を利用すること
により、一旦画素レベルにすることなくDCT領域のま
まフレーム間フレーム内変換を行ない、変換の必要がな
いときは入力の映像符号をそのまま用いることによって
映像符号変換装置を構成可能であることを見い出した。
この構成により、全ての映像符号を一旦画素レベルの再
生画像にしてから再び符号化を行なう従来の方法に比
べ、回路規模を著しく低減することができる。即ち、本
発明の映像符号変換装置は、映像符号に対してDCT領
域で動き補償フレーム間フレーム内変換を行なう変換回
路と、映像符号を一時保持することによって映像符号を
所定の時間遅らせるバッファと、変換回路とバッファの
出力信号を選択して切り換える合成回路とをもって構成
することを特徴とする。
The inventor of the present invention uses this processing technique to perform inter-frame intra-frame conversion without changing the pixel level to the DCT region, and to use the input video code as it is when conversion is not necessary. As a result, it has been found that a video transcoder can be configured.
With this configuration, the circuit scale can be significantly reduced as compared with the conventional method in which all video codes are once reproduced at the pixel level and then re-encoded. That is, a video code conversion apparatus of the present invention includes a conversion circuit that performs intra-frame conversion between motion compensation frames in a DCT domain on a video code, a buffer that temporarily holds the video code to delay the video code by a predetermined time, It is characterized by comprising a conversion circuit and a synthesis circuit for selecting and switching the output signal of the buffer.

【0030】なお、変換回路とバッファの出力信号は、
常に同時に存在するので、複数の受信装置を配置する場
合、複数の受信装置でフレーム間フレーム内変換回路を
共有し、受信装置毎に備えるのを合成回路のみとするこ
とが可能になる。これによって、回路規模低減の効果を
一層高めることができる。
The output signals of the conversion circuit and the buffer are
Since a plurality of receivers are always present at the same time, when a plurality of receivers are arranged, the plurality of receivers can share the inter-frame intra-frame conversion circuit, and each receiver can include only a combining circuit. Thereby, the effect of reducing the circuit scale can be further enhanced.

【0031】[0031]

【発明の実施の形態】以下、本発明に係る映像符号変換
方法及び装置を図面に示した幾つかの実施例による発明
の実施の形態を参照して更に詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a video code conversion method and apparatus according to the present invention will be described in more detail with reference to embodiments of the present invention according to several embodiments shown in the drawings.

【0032】[0032]

【実施例】<実施例1>図1において、101は、入力の
映像符号2に対してフレーム間フレーム内変換を行なう
回路、105は、映像符号2を一時保持することによって
同映像符号を所定の時間遅らせるバッファ、104は、フ
レーム間フレーム内変換回路101の出力信号であるフレ
ーム内信号102とバッファ105の出力信号である映像符号
103のいずれかを選択して映像符号7を出力する合成回
路、100は、回路101,104,105からなる映像符号変換装
置を示す。
<Embodiment 1> In FIG. 1, reference numeral 101 denotes a circuit for performing an inter-frame intra-frame conversion on an input video code 2, and reference numeral 105 designates a video code 2 by temporarily storing the video code 2. A buffer 104 for delaying the time is a signal 102 in the frame which is an output signal of the intra-frame conversion circuit 101 and a video code which is an output signal of the buffer 105.
A synthesizing circuit 100 for selecting any one of 103 and outputting the video code 7, and 100 is a video code conversion device including the circuits 101, 104 and 105.

【0033】フレーム間フレーム内変換回路101の出力
するフレーム内信号102は、具体的には、画面を8×8
のブロックに分割し、各ブロックをDCTで変換したと
きのDCT係数列である。なお、変換回路101の変換処
理で時間遅れが生じるので、バッファ105は、入力の映
像符号2をその遅れに合わせるために用いられる。バッ
ファ105に格納された映像符号2が読み出されて映像符
号103になる。合成回路104は、外部から入力されるフレ
ーム内/フレーム間の選択信号106に応じて、フレーム
内信号102と映像符号103のいずれかを選択し、選択した
信号がフレーム内信号102の場合はそれを可変長符号化
し、更にヘッダ等の情報を付加する。それによってフレ
ーム内信号102は、フレーム内符号化の映像符号にな
り、映像符号7として出力される。選択した信号が映像
符号103の場合は、映像符号103がそのまま映像符号7と
して出力される。
The intra-frame signal 102 output from the inter-frame intra-frame conversion circuit 101 is, specifically, an 8 × 8
Is a DCT coefficient sequence when each block is divided by DCT. Since a time delay occurs in the conversion process of the conversion circuit 101, the buffer 105 is used to adjust the input video code 2 to the delay. The video code 2 stored in the buffer 105 is read and becomes the video code 103. The synthesizing circuit 104 selects either the intra-frame signal 102 or the video code 103 according to the intra-frame / inter-frame selection signal 106 input from the outside, and if the selected signal is the intra-frame signal 102, Is variable-length encoded, and information such as a header is added. As a result, the intra-frame signal 102 becomes a video code for intra-frame encoding, and is output as the video code 7. When the selected signal is the video code 103, the video code 103 is output as it is as the video code 7.

【0034】フレーム間フレーム内変換回路101の詳細
構成を図2に示す。入力された映像符号2は、可変長復
号化回路20にて復号化され、DCT係数21になる。
DCT係数21は、逆量子化回路22の処理で差分DC
T係数23になる。
FIG. 2 shows a detailed configuration of the inter-frame intra-frame conversion circuit 101. The input video code 2 is decoded by the variable length decoding circuit 20, and becomes a DCT coefficient 21.
The DCT coefficient 21 is a difference DC
The T coefficient becomes 23.

【0035】DCT領域動き補償回路(DCT−MC)
201は、以下に述べるDCT領域の予測画像、即ち予測
DCT係数202を出力するもので、図24の動き補償回
路28の動作をDCT領域で行なう。動きベクトル5
は、動き補償回路201に供給される。なお、動き補償回
路201の詳細構成を後で説明する。補償回路201は、動き
ベクトル5の値に応じて、参照画像のDCT係数(参照
画像をフレーム内符号化したときのDCT係数列)が格
納されているフレームメモリ205から、予測画像の処理
部分のDCT係数206を読み出し、これに対して後述す
る変換を施すことによって予測DCT係数(8×8画素
の予測画像をDCT変換した信号)202を出力する。
DCT area motion compensation circuit (DCT-MC)
Reference numeral 201 denotes a DCT area prediction image described below, that is, a predicted DCT coefficient 202, and the operation of the motion compensation circuit 28 shown in FIG. 24 is performed in the DCT area. Motion vector 5
Is supplied to the motion compensation circuit 201. The detailed configuration of the motion compensation circuit 201 will be described later. In accordance with the value of the motion vector 5, the compensating circuit 201 reads a DCT coefficient of the reference image (a DCT coefficient sequence when the reference image is intra-frame coded) from the frame memory 205, A DCT coefficient 206 is read, and a transform described below is performed on the DCT coefficient 206 to output a predicted DCT coefficient (a signal obtained by performing a DCT on a predicted image of 8 × 8 pixels) 202.

【0036】差分DCT係数23と予測DCT係数202
は、その周波数成分毎に加算回路203で加算され、再生
DCT係数となる。この再生DCT係数は、動き補償を
施された後のDCT係数であるから、再生画像にDCT
変換を施した信号、即ち上記のフレーム内信号102であ
る。
The difference DCT coefficient 23 and the predicted DCT coefficient 202
Are added by the addition circuit 203 for each frequency component, and become a reproduction DCT coefficient. Since the reproduced DCT coefficient is a DCT coefficient after motion compensation, the DCT coefficient
The converted signal, that is, the above-described intra-frame signal 102.

【0037】DCT領域動き補償回路201の詳細構成を
説明する前に、その処理のアルゴリズムを説明する。こ
の変換アルゴリズムは、前掲の文献に示されているもの
を使用した。
Before describing the detailed configuration of the DCT area motion compensation circuit 201, an algorithm of the processing will be described. The conversion algorithm used in the above-mentioned document was used.

【0038】アルゴリズムの理解を容易にするために、
まず、画素領域における処理内容を図3,4を用いて説
明し、次にそれらをDCT係数領域に適用した場合の方
法を説明する。現在フレームにおける8×8画素のブロ
ックに対応する予測画像の生成には、参照画像のブロッ
クが重なる4つの符号化するブロック(図3の左側参
照)の信号を利用する。その重なる位置は、動きベクト
ルの大きさによって変化する。即ち、動きベクトルによ
ってどのように重なるかが定まる。従って、参照画像の
ブロックを動きベクトルを用いてずらし、符号化するブ
ロックに完全に重なるようにすれば補償が行なわれたこ
とになる。
To make the algorithm easier to understand,
First, processing contents in the pixel area will be described with reference to FIGS. 3 and 4, and then a method in a case where they are applied to the DCT coefficient area will be described. To generate a predicted image corresponding to an 8 × 8 pixel block in the current frame, signals of four blocks to be encoded (see the left side of FIG. 3) in which reference image blocks overlap are used. The overlapping position changes depending on the magnitude of the motion vector. That is, how they overlap is determined by the motion vector. Therefore, if the block of the reference image is shifted using the motion vector so as to completely overlap the block to be coded, the compensation has been performed.

【0039】なお、利用するブロックの数は、ベクトル
の水平又は垂直成分が8の整数倍である場合は、2又は
1に縮退するが、以下の説明ではより一般的な場合、即
ち各成分とも8の整数倍でない場合を仮定して説明を行
う。
The number of blocks to be used is reduced to 2 or 1 when the horizontal or vertical component of the vector is an integral multiple of 8, but in the following description, a more general case, that is, each component The description will be made assuming that it is not an integral multiple of 8.

【0040】この場合、画素領域において、4つのブロ
ックB1〜B4の縦横斜め線を施した部分が用いられ
る。B1〜B4を図3の右側に示したBref1〜Bref4
のようにそれぞれ平行移動し、不要画素部分に0を補填
した後、Bref1〜Bref4を加え合わせることにより、
完全に重なった(画素領域での)予測画像のブロック
(以下に述べるBref)が求まり、予測画像が生成され
る。
In this case, in the pixel area, the portions of the four blocks B1 to B4 which are provided with oblique vertical and horizontal lines are used. Bref1 to Bref4 shown on the right side of FIG.
After parallel movement as shown in FIG. 3 and supplementing 0 to unnecessary pixel portions, Bref1 to Bref4 are added,
Completely overlapping blocks (in the pixel area) of the predicted image (Bref described below) are determined, and a predicted image is generated.

【0041】BからBrefへの変換は、図4に示すよう
に、変換を施す部分のサイズ(図4の例ではw×h画
素)に応じたマトリクスを2回乗ずることにより実現す
る。サイズは、動きベクトルに対応している。図4の例
では、図の下部分にあるマトリクスV(h)をB1の左
から乗じ、更に、右からマトリクスH(w)を乗ずるこ
とにより、Bref1が生成される。同様にして、Bref2
〜Bref4が式(1)のように記述される。
As shown in FIG. 4, the conversion from B to Bref is realized by multiplying a matrix corresponding to the size of the part to be converted (w × h pixels in the example of FIG. 4) twice. The size corresponds to the motion vector. In the example of FIG. 4, Bref1 is generated by multiplying the matrix V (h) in the lower part of the figure from the left of B1, and further multiplying the matrix H (w) from the right. Similarly, Bref2
To Bref4 are described as in equation (1).

【0042】[0042]

【数1】 (Equation 1)

【0043】こうして生成されたBref1〜Bref4をマ
トリクス加算(以下単に「加算」又は「和」という)す
ることにより、4つのブロックに分割されていた画素を
一つのブロックBrefにまとめることができる。Brefか
ら予測画像が生成される。
By performing matrix addition (hereinafter simply referred to as "addition" or "sum") on the Bref1 to Bref4 generated in this way, the pixels divided into four blocks can be combined into one block Bref. A predicted image is generated from Bref.

【0044】以上は画素領域での処理であるが、DCT
領域では式(1)最終式の両辺にDCTを施すことによ
って実現される。具体的には、式(2)に示すように、
Bref1〜Bref4をDCTで変換した係数の和となる。
和のDCT(Bref)がDCT領域の処理で得られること
を以下に述べる。
The processing in the pixel area has been described above.
In the area, this is realized by applying DCT to both sides of the final equation (1). Specifically, as shown in equation (2),
It is the sum of the coefficients obtained by transforming Bref1 to Bref4 by DCT.
The fact that the sum DCT (Bref) is obtained by processing in the DCT region will be described below.

【0045】[0045]

【数2】 (Equation 2)

【0046】まず、式(1)の例えば最上式のBref1に
ついては、Bref1にDCT変換を施したDCT(Bref
1)が、結局V(h),B1,H(w)の各々にDCTを
施した後にそれぞれを乗ずることによって得られること
が式(3)に示される。
First, for example, with respect to Bref1 of the uppermost expression in Expression (1), DCT (Bref
Equation (3) shows that 1) is eventually obtained by applying DCT to each of V (h), B1, and H (w) and then multiplying each.

【0047】次に、Bref2〜Bref4についても同様
に、マトリクス及びブロックの各々にDCTを施した後
にそれぞれを乗ずることにより、それらのDCT変換が
得られることが示される。
Next, for Bref2 to Bref4, similarly, it is shown that by applying DCT to each of the matrix and the block and then multiplying each, the DCT transform can be obtained.

【0048】[0048]

【数3】 (Equation 3)

【0049】一方、DCT(V(h)),DCT(H(w))
等は、hやwが定まれば決まる固定マトリクスであり、
h,wの値はそれぞれ1〜7の範囲をとるため、DCT
(V(h))及びDCT(H(w))等としてそれぞれ7種類
合計14種類のマトリクスを用意すればよい。
On the other hand, DCT (V (h)), DCT (H (w))
Are fixed matrices determined when h and w are determined,
Since the values of h and w each range from 1 to 7, the DCT
It is sufficient to prepare a total of 14 types of matrices for each of (V (h)) and DCT (H (w)).

【0050】以上から、B1〜B4のDCT係数である
DCT(B1)〜DCT(B4)を記憶しておくことによ
り、それぞれにDCT(V(h)),DCT(H(w))等を
乗じてDCT(Bref1)〜DCT(Bref4)が得られ、
これらを加算することよってDCT(Bref)が得られる
ことが分かる。DCT(B1)〜DCT(B4)は、DC
T領域の信号であり、従って、DCT領域で、即ちDC
Tの逆変換を行わなくても予測DCT係数を生成するこ
とができることが分かる。
From the above, by storing DCT coefficients (B1) to DCT (B4), which are DCT coefficients of B1 to B4, DCT (V (h)), DCT (H (w)) and the like are respectively stored. DCT (Bref1) to DCT (Bref4) are obtained by multiplication,
It can be seen that DCT (Bref) is obtained by adding these. DCT (B1) to DCT (B4) are DC
Signal in the T domain, and therefore in the DCT domain, ie, DC
It can be seen that the predicted DCT coefficients can be generated without performing the inverse transform of T.

【0051】上記の説明は、動きベクトルの精度が整数
精度の場合である。詳細な説明を省略するが、予測画像
にハーフペルが用いられる場合も、8×8画素の予測画
像生成に9×9画素の信号を利用して同様に予測DCT
係数が生成される。
The above description is for the case where the precision of the motion vector is integer precision. Although a detailed description is omitted, when a half pel is used for a prediction image, a prediction DCT is similarly performed using a signal of 9 × 9 pixels to generate a prediction image of 8 × 8 pixels.
A coefficient is generated.

【0052】図2に示したのDCT領域動き補償回路20
1は、上記のアルゴリズムを実現する回路で、その詳細
を図5に示す。入力されたフレームメモリ205出力のD
CT係数206即ちDCT(B1)〜DCT(B4)は、一旦
メモリ120に蓄積される。一方、DCT_Hテーブル133
及びDCT_Vテーブル137には、動きベクトルに対応
したDCT係数のマトリクス、例えばDCT(H
(w)),DCT(V(h))等が格納されている。また、
コントロール回路140は、動きベクトル5に応じてメモ
リ120,124,130及びテーブル133,137の動作を制御す
る。
The DCT area motion compensation circuit 20 shown in FIG.
1 is a circuit for realizing the above algorithm, the details of which are shown in FIG. D of the input frame memory 205 output
The CT coefficients 206, that is, DCT (B1) to DCT (B4) are temporarily stored in the memory 120. On the other hand, the DCT_H table 133
And a DCT_V table 137, a matrix of DCT coefficients corresponding to the motion vector, for example, DCT (H
(w)), DCT (V (h)), and the like. Also,
The control circuit 140 controls the operations of the memories 120, 124, 130 and the tables 133, 137 according to the motion vector 5.

【0053】上記の2つのマトリクスの各要素は、動き
ベクトル5が入力されたときのコントロール回路140の
制御により、後述する順序で読み出される。まず、メモ
リ120から読み出されたDCT係数206と、テーブル133
からのマトリクス要素とが積和演算器122によって積演
算され、結果がメモリ124の値に累積され、続いて累積
結果が入力に戻されて積演算に加算される。この一連の
演算により、例えば、式(3)のDCT(B1)・DCT
(H(w))に相当する部分の演算が完了する。
Each element of the two matrices is read out in the order described below under the control of the control circuit 140 when the motion vector 5 is input. First, the DCT coefficient 206 read from the memory 120 and the table 133
Is multiplied by the product-sum calculator 122, the result is accumulated in the value of the memory 124, and the accumulated result is returned to the input and added to the product operation. By this series of operations, for example, DCT (B1) · DCT of Expression (3)
The operation corresponding to (H (w)) is completed.

【0054】同様に積和演算器126とメモリ130により、
式(3)のDCT(V(h))との演算に相当する演算が行
われ、メモリ130にDCT(Bref1)が蓄えられる。次の
B2に関する演算のときに、蓄えられているDCT(Bre
f1)に演算結果を累積し、DCT(Bref1)+DCT(Br
ef2)を得、続いてそれにB3,B4に関する演算結果
を累積する。このようにして、式(2)の加算を同時に
実行することができる。
Similarly, by the product-sum operation unit 126 and the memory 130,
An operation corresponding to the operation with DCT (V (h)) in Expression (3) is performed, and DCT (Bref1) is stored in the memory 130. At the time of the next operation relating to B2, the stored DCT (Bre
f1), the calculation result is accumulated, and DCT (Bref1) + DCT (Br
ef2), and then accumulate the operation results on B3 and B4. In this way, the addition of equation (2) can be performed simultaneously.

【0055】図6は、積和演算器122,126に入力するデ
ータの順番を示した図である。同図の上部に、マトリク
スAとマトリクスBのマトリクス積算を行ない、マトリ
クスCを得る例を示している。ここで、例えばAH1
は、左側のマトリクスAの第1行目の8データを左から
順番に処理することを表わし、BV1は、右側マトリク
スBの第1列目の8データを上から順番に処理すること
を表わしている。図6の下部には各データの読出タイミ
ングを示している。まず、マトリクスAの第1行(AH
1)とマトリクスBの第1列(BV1)のデータを順に
読出し、順次AH1のデータとBV1の対応するデータ
同士を積算・累積することによりC11が得られ、メモ
リ124に格納される。以下、BV1は同じデータを繰
り返し使用し、マトリクスAはAH2,AH3,…と順
次データを読み出し演算を行なうことにより、C21〜
C81のデータが得られる。同様の処理をBV2,BV
3,…に対して行なうことにより、全てのマトリクスC
の要素が得られる。
FIG. 6 is a diagram showing the order of data input to the product-sum calculators 122 and 126. In the upper part of the figure, an example is shown in which matrix A and matrix B are integrated to obtain a matrix C. Here, for example, AH1
Indicates that 8 data in the first row of the left matrix A are processed in order from the left, and BV1 indicates that 8 data in the first column of the right matrix B are processed in order from the top. I have. The lower part of FIG. 6 shows the read timing of each data. First, the first row (AH
1) and the data of the first column (BV1) of the matrix B are read out in order, and the data of AH1 and the corresponding data of BV1 are sequentially accumulated and accumulated to obtain C11, which is stored in the memory 124. Hereinafter, BV1 repeatedly uses the same data, and matrix A sequentially reads out data from AH2, AH3,.
The data of C81 is obtained. BV2, BV
By performing on 3, 3,...
Is obtained.

【0056】図6に示した演算は、マトリクスAの全て
の要素を用いて計算しているが、先に触れたように、画
像信号のDCT係数の有効成分(非零の係数)は、DC
T係数206が図6のマトリクスAであるとして、図6の
マトリクスAの左上即ち低域成分に集中する傾向があ
り、逆にマトリクスAの右下方は、全て0である確率が
高い。例えば,AH7,AH8が全て0であったときに
は、図6にてAH7,AH8の部分の演算結果は必ず0
になるため、処理を省略することができる。それによっ
て総演算時間を短縮することができる。同様にAV7,
AV8(マトリクスAの右側2列)が0の場合はAH1
〜8の最後の2要素に関する演算結果は必ず0となるた
め、AH1〜8のの演算を先頭の6要素だけ行なうこと
により処理時間を短縮することができる。
Although the calculation shown in FIG. 6 is performed using all the elements of the matrix A, as mentioned above, the effective component (non-zero coefficient) of the DCT coefficient of the image signal is the DCT coefficient.
Assuming that the T coefficient 206 is the matrix A in FIG. 6, the upper left of the matrix A in FIG. 6, that is, the low-frequency component tends to be concentrated, and the lower right of the matrix A has a high probability of being all zero. For example, when AH7 and AH8 are all 0, the operation result of AH7 and AH8 in FIG.
Therefore, the processing can be omitted. Thereby, the total operation time can be reduced. Similarly, AV7,
AH1 when AV8 (the right two columns of matrix A) is 0
Since the operation results for the last two elements of .about.8 are always 0, the processing time can be reduced by performing the operations of AH1.about.8 for only the first six elements.

【0057】次に、図1の合成回路104の詳細を図7に
示す。入力されたフレーム内信号102は、可変長符号化
回路111においてフレーム内可変長符号化される。即
ち、フレーム内符号化された映像符号112に変換され
る。可変長符号回路111は、フレーム内符号化用の符号
のみを持つ。映像符号112は、所定の時間遅延した入力
の映像符号2である映像符号103と共に選択回路115に入
力される。選択回路115は、選択信号106の指示に従っ
て、フレーム内符号化された映像符号112と、映像符号1
03即ちフレーム間符号化による映像符号103とをフレー
ム単位に切り替えて映像符号7として出力する。
Next, FIG. 7 shows details of the synthesizing circuit 104 of FIG. The input intra-frame signal 102 is subjected to intra-frame variable-length encoding in a variable-length encoding circuit 111. That is, it is converted into an intra-frame encoded video code 112. The variable length code circuit 111 has only a code for intra-frame coding. The video code 112 is input to the selection circuit 115 together with the video code 103 that is the input video code 2 delayed by a predetermined time. The selection circuit 115 includes an intra-frame encoded video code 112 and a video code 1
03, ie, the video code 103 by inter-frame coding is switched in frame units and output as the video code 7.

【0058】このようにして、フレーム間符号化による
フレーム(Pピクチャ)の内、選択信号106によって選
択されたフレームがフレーム内符号化されたIピクチャ
に変換され、途中の一部がIピクチャになったフレーム
のシーケンス(列)が合成される。
In this way, of the frames (P pictures) obtained by the inter-frame coding, the frame selected by the selection signal 106 is converted into an intra-frame coded I picture, and a part of the frame is converted into an I picture. The sequence (sequence) of the changed frames is synthesized.

【0059】なお、このようなフレームのシーケンスか
らなる映像符号7が正しく復号化されるために、映像符
号103の情報を映像符号112に反映させる必要がある。こ
の処理を制御回路113が行なう。制御回路113は、映像符
号103の中から必要な情報を取り出し、制御信号114を介
して可変長符号化回路111に通知する。
It should be noted that the information of the video code 103 needs to be reflected on the video code 112 in order for the video code 7 composed of such a sequence of frames to be correctly decoded. This process is performed by the control circuit 113. The control circuit 113 extracts necessary information from the video code 103 and notifies the variable-length coding circuit 111 via the control signal 114.

【0060】これらの情報の例として、フレームの時間
情報(復号時刻や再生時刻の管理のためのタイムスタン
プ等)、画像サイズ、画像の構成(アスペクトレシオ、
インタレース/プログレッシブ等)、色信号の特性(変
換法、サンプリング位置等)等のシーケンス全体に共通
な項目がある。中でも画像サイズとフレームの時間情報
は必須の情報である。画像サイズの情報は、変換装置10
0の処理過程で必須であるため、可変長符号回路111へ別
途通知することができるが、フレームの時間情報は制御
回路113にて通知する必要がある。フレーム内符号化さ
れたフレームが、シーケンスの途中からアクセスされた
り、このフレーム以前のフレームを破棄して新たに先頭
フレームとするような操作を行なう必要がある場合に
は、シーケンス全体に共通な項目をフレーム内符号化に
よる映像符号112の各フレームの先頭部に付加する必要
がある。
Examples of such information include frame time information (such as a time stamp for managing decoding time and reproduction time), image size, and image configuration (aspect ratio,
There are items common to the entire sequence, such as interlace / progressive, color signal characteristics (conversion method, sampling position, etc.). Among them, the image size and the time information of the frame are essential information. The image size information is stored in the converter 10
Since it is indispensable in the process of 0, it can be separately notified to the variable length coding circuit 111, but the time information of the frame needs to be notified by the control circuit 113. If the intra-coded frame is accessed from the middle of the sequence, or if it is necessary to perform an operation to discard the frame before this frame and make a new first frame, items common to the entire sequence Must be added to the head of each frame of the video code 112 by intra-frame coding.

【0061】なお、以上のフレーム間フレーム内変換が
行なわれると、変換したフレームの符号量が異なること
になる。一般的に、フレーム内符号化の方が予測効率が
低いため、上記の変換処理により符号量が増大する傾向
にある。一方、フレーム内信号102即ち再生DCT信号
に逆DCT変換を適用することにより再生画像が得られ
るが、得られた画像(フレーム内再生画像)は、フレー
ム内変換をせずにそのまま復号化した場合の画像(フレ
ーム間再生画像)とほぼ同じになる。従って、ほぼ同じ
再生画像でありながらフレーム内符号化の変換によって
符号量が増えることになり、符号量の削減が望まれる。
When the above-described inter-frame intra-frame conversion is performed, the code amount of the converted frame differs. In general, the prediction efficiency is lower in intra-frame coding, and thus the code amount tends to increase by the above-described conversion processing. On the other hand, a reproduced image can be obtained by applying an inverse DCT transform to the intra-frame signal 102, that is, the reproduced DCT signal, and the obtained image (intra-frame reproduced image) is directly decoded without performing the intra-frame conversion. (Image reproduced between frames). Therefore, even though the reproduced images are substantially the same, the amount of codes increases due to the conversion of intra-frame coding, and it is desired to reduce the amount of codes.

【0062】フレーム内符号化後の符号量を削減する方
法として、フレーム間フレーム内変換回路101が出力す
るフレーム内信号102(再生DCT信号)を量子化をし
たり、同信号の高周波成分を0に置き換えたりする手法
がある。但し、これらの符号量削減によって画質が変化
する場合がある。また、この手法による画像を最初の予
測信号として用いると、以降のフレームの画像は、全て
本来のフレーム間再生画像とは異なることになる。この
ように画質の変化は、引き続くフレーム間符号化の画像
に継承されるが、変化は引き続くフレーム毎に一定であ
り、累積されることがないため、画質を大きく劣化させ
ることはない。この画質の変化は、量子化の粗さの程度
に依存する。
As a method of reducing the code amount after the intra-frame encoding, the intra-frame signal 102 (reproduced DCT signal) output from the inter-frame intra-frame conversion circuit 101 is quantized, and the high-frequency component of the signal is reduced to 0. There is a method to replace it. However, the image quality may change due to the reduction of the code amount. Also, when an image according to this method is used as the first prediction signal, the images of subsequent frames are all different from the original inter-frame reproduced image. As described above, the change in image quality is inherited by the succeeding inter-frame encoded image, but the change is constant for each successive frame and is not accumulated, so that the image quality does not significantly deteriorate. This change in image quality depends on the degree of quantization roughness.

【0063】なお、次にフレーム内符号化変換を選択す
るときには、その前の符号化変換の画質の変化が影響し
ない。そのため、次のフレーム内符号化選択時に画質の
変化が表われないように符号化変換を行なうことも可能
である。このように、フレーム間フレーム内変換回路10
1から出力されるフレーム内信号102を符号化変換後に量
子化したり、高周波成分を0に置き換えたりする場合も
本発明に包含される。
When the next intra-frame coding conversion is selected, a change in image quality of the preceding coding conversion does not affect the selection. Therefore, it is also possible to perform coding conversion so that a change in image quality does not appear when the next intra-frame coding is selected. Thus, the inter-frame intra-frame conversion circuit 10
The present invention also includes the case where the intra-frame signal 102 output from 1 is quantized after encoding conversion, or the high-frequency component is replaced with 0.

【0064】<実施例2>符号蓄積機能を持つ映像符号
変換装置の実施例を図8に示す。同図において、303
は、フレーム間フレーム内変換回路101の出力のフレー
ム内信号102を蓄積する蓄積装置、305は、バッファ105
の出力の映像符号103を蓄積する蓄積装置、301は、蓄積
装置303,305によって時間の遅れを持った映像符号7を
出力する映像符号変換部、300は、映像符号変換部301及
び蓄積装置303,305からなる、蓄積機能を有する映像符
号変換装置である。なお、蓄積装置303に書き込まれ、
読み出されるフレーム内信号102を改めてフレーム内符
号302といい、蓄積装置305に書き込まれ、読み出される
映像符号103を改めてフレー間符号304ということとす
る。
<Embodiment 2> FIG. 8 shows an embodiment of a video code converter having a code storage function. In the figure, 303
Is a storage device for storing the intra-frame signal 102 output from the inter-frame intra-frame conversion circuit 101, and 305 is a buffer 105
The storage device 301 for storing the video code 103 output from the storage device 301 is a video code conversion unit that outputs the video code 7 with a time delay by the storage devices 303 and 305, and the video signal conversion unit 300 is a video code conversion unit 301 and a storage device 303. , 305 having a storage function. It is written in the storage device 303,
The read intra-frame signal 102 is referred to as an intra-frame code 302 again, and the video code 103 written to and read from the storage device 305 is referred to as an inter-frame code 304 again.

【0065】図9は、映像符号変換部301の詳細図であ
る。同図において、310は、フレーム内信号102を蓄積装
置302にフレーム内符号302として入力すると共に蓄積装
置303から読み出したフレーム内符号302を合成回路104
へ供給する切り換えスイッチ、312は、映像符号103を蓄
積装置305にフレーム間符号304として入力すると共に蓄
積装置305から読み出したフレーム間符号304を合成回路
104へ供給する切り換えスイッチである。変換部301は、
スイッチ310,312がある他は図1に示した映像符号化変
換装置100と同じである。
FIG. 9 is a detailed diagram of the video code conversion unit 301. In the figure, reference numeral 310 denotes an in-frame signal 302 input to a storage device 302 as an intra-frame code 302 and an intra-frame code 302 read from the storage device 303 to a combining circuit 104
A switch 312 for supplying the video code 103 to the storage device 305 as the inter-frame code 304 and the inter-frame code 304 read from the storage device 305 to the combining circuit
This is a changeover switch to be supplied to 104. The conversion unit 301
Except for switches 310 and 312, the configuration is the same as that of the video encoding / conversion apparatus 100 shown in FIG.

【0066】符号蓄積時にスイッチ310,312は、それぞ
れ左側へ接続され、フレーム内信号102即ちフレーム内
符号302が蓄積装置303に供給され、更に映像符号103即
ちフレーム間符号304が蓄積装置305へ書き込まれる。蓄
積後の適当な時刻の読出時に、スイッチ310,312はそれ
ぞれ右側へ接続され、蓄積されていたフレーム内信号10
2及び映像符号103が合成回路104に供給される。合成回
路104は、読み出されたフレーム内信号102を可変長符号
化し、その映像符号及びフレーム間符号304のいずれか
を選択して映像符号7を合成する。
At the time of code storage, the switches 310 and 312 are connected to the left side, and the intra-frame signal 102, that is, the intra-frame code 302, is supplied to the storage device 303, and the video code 103, that is, the inter-frame code 304, is written into the storage device 305. It is. At the time of reading at an appropriate time after the accumulation, the switches 310 and 312 are connected to the right side, respectively, and the accumulated in-frame signal 10
2 and the video code 103 are supplied to the synthesis circuit 104. The synthesizing circuit 104 performs variable-length coding on the read intra-frame signal 102, selects one of the video code and the inter-frame code 304, and synthesizes the video code 7.

【0067】映像符号変換装置300の動作の例を図10
に示す。数字はフレーム番号を表わし、添字のiは、I
ピクチャに変換されたフレームであることを表わす。入
力された映像符号2は、図10上部のフレーム内符号30
2、フレーム間符号304に示すように蓄積される。即ち、
フレーム間符号は、全フレームが蓄積装置305に蓄積さ
れ、フレーム内符号は、フレーム1,6,11が蓄積装
置303に蓄積される。このように蓄積された信号を読み
出し合成する例を図10下部に映像出力符号7例として
5通りを示す。
FIG. 10 shows an example of the operation of the video code converter 300.
Shown in The number represents the frame number, and the subscript i is I
Indicates that the frame has been converted to a picture. The input video code 2 is the intra-frame code 30 in the upper part of FIG.
2. Accumulated as indicated by the inter-frame code 304. That is,
All frames of the inter-frame code are stored in the storage device 305, and frames 1, 6, and 11 of the intra-frame code are stored in the storage device 303. In the lower part of FIG. 10, five examples of seven video output codes are shown as examples of reading and synthesizing the signals thus accumulated.

【0068】映像符号7例1:フレーム間符号をそのま
ま出力、 映像符号7例2:シーケンス途中(6番目)から始まる
シーケンスを出力、 映像符号7例3:シーケンス途中(11番目)から始ま
るシーケンスを出力、 映像符号7例4:シーケンス途中でフレーム内符号され
たフレームを含むシーケンスを出力(この場合はシーケ
ンスのランダムアクセスが容易となる)、 映像符号7例5:フレーム内符号のみから構成されるシ
ーケンスを出力。
Video code 7 example 1: Output inter-frame code as it is, video code 7 example 2: Output a sequence starting in the middle of the sequence (6th), Video code 7 example 3: Output a sequence starting in the middle of the sequence (11th) Output, video code 7 example 4: Output a sequence including a frame that is intra-frame coded in the middle of the sequence (in this case, random access of the sequence is easy), video code 7 example 5: Consist of only intra-frame code Output sequence.

【0069】なお、以下の変形例も本発明に包含される
ことが明白である。蓄積装置303,305に適用可能な具体
的な媒体として、VTR、ハードディスク、光ディス
ク、DVD−RAM、CD−R、DRAMやフラッシュ
メモリ等の半導体メモリ、磁気記憶装置などがある。蓄
積装置303及び蓄積装置305は、同一の媒体でも、別の媒
体でも構わない。更に、蓄積装置303,305は、単一の蓄
積装置を共用しても構わない。また、蓄積装置303,305
が同時に読み書きすることができる機能を持つ場合に
は、符号302,304を双方向の信号とし、スイッチ310,3
12を同時に双方向に信号伝送をする機能を持つスイッチ
とすることにより、符号を記録しながら、同時に読み出
し変換を行なうことが可能になる。更に、蓄積装置の数
に拘らず、符号302,304やスイッチ310,312からの符号3
11,313(図9参照)等は、物理的に1つの信号線に時
分割多重することも可能である。
It is apparent that the following modifications are also included in the present invention. Specific media applicable to the storage devices 303 and 305 include VTRs, hard disks, optical disks, DVD-RAMs, CD-Rs, semiconductor memories such as DRAMs and flash memories, and magnetic storage devices. The storage device 303 and the storage device 305 may be the same medium or different media. Further, the storage devices 303 and 305 may share a single storage device. The storage devices 303 and 305
Have the function of reading and writing at the same time, the codes 302 and 304 are bidirectional signals, and the switches 310 and 3
By setting 12 as a switch having a function of simultaneously transmitting signals in both directions, it is possible to simultaneously perform read conversion while recording codes. Further, regardless of the number of storage devices, reference numerals 302 and 304 and switches 310 and 312
11, 313 (see FIG. 9) and the like can also be physically time-division multiplexed on one signal line.

【0070】蓄積装置303へフレーム内信号102である再
生DCT符号を入力するときに、同再生DCT符号を可
変長符号化して情報量を圧縮し、映像符号化した後に記
録しても構わない。情報量圧縮により少ない容量の蓄積
装置を適用することができ、より多くの画像を記録する
ことが可能となる。なお、この記録時の可変長符号化に
よる符号構成は、合成回路104内の可変長符号回路111
(図7参照)の符号化による符号構成とは異なっていて
も、また、同じでも構わない。同じ場合は、可変長符号
回路111の大部分の回路や処理を省略することができ、
制御情報114による符号修正だけが必要になる。更に、
この符号修正(符号化するフレームの時間情報等)を蓄
積装置303へ記録するときに付加することにより、合成
回路104内の可変長符号回路111を全て削除することもで
きる。
When the reproduced DCT code, which is the intra-frame signal 102, is input to the storage device 303, the reproduced DCT code may be variable-length coded to compress the amount of information, and may be recorded after video coding. A storage device having a small capacity can be applied by the information amount compression, and more images can be recorded. Note that the code configuration by the variable-length encoding at the time of recording is performed by the variable-length encoding circuit
The code configuration by encoding (see FIG. 7) may be different or the same. In the same case, most circuits and processes of the variable length code circuit 111 can be omitted,
Only the sign correction by the control information 114 is required. Furthermore,
By adding this code correction (time information of the frame to be coded) to the storage device 303, the variable length coding circuit 111 in the synthesizing circuit 104 can be entirely deleted.

【0071】スイッチ310,312は、それぞれの3接点の
うち任意の2点を接続する構成でも構わない。即ち、変
換部301は、先に説明した動作に加え、信号102と符号10
3を合成回路104に直接供給するように切り換える機能を
持つことになる。こうすることにより、変換部301は、
図1の変換装置100と同じ動作をすることができる。更
に、スイッチ310及びスイッチ312は、先の説明では常に
連携して動作することを前提としていたが、それぞれが
独立に動作しても構わない。
The switches 310 and 312 may be connected to any two of the three contacts. That is, the conversion unit 301 includes the signal 102 and the code 10 in addition to the operation described above.
3 is provided so as to be directly supplied to the synthesis circuit 104. By doing so, the conversion unit 301
The same operation as the conversion device 100 of FIG. 1 can be performed. Further, in the above description, the switch 310 and the switch 312 always operate in cooperation with each other, but they may operate independently.

【0072】入力の映像符号2を蓄積装置305に蓄積す
る場合には、バッファ105を取り除いても構わない。但
し、符号302と符号304の各フレームの対応付けを行なう
機能が必要となる。
When the input video code 2 is stored in the storage device 305, the buffer 105 may be omitted. However, a function for associating each of the frames 302 and 304 is required.

【0073】先の説明では、変換時にはフレーム内符号
302とフレーム間符号304の双方を読出し、合成回路104
の内部で選択/破棄を行なっていたが、選択信号106を
蓄積装置303,305の制御に適用することにより、破棄対
象の信号を蓄積装置303,305から読み出さないようにし
てもよい。こうした構成をとることにより、蓄積装置30
3,305を1つで共有した場合には、蓄積装置の読み書き
速度が遅くなって遅いアクセス速度の媒体を使用するこ
とができるようになるため、蓄積媒体の選択の幅が増え
る効果や、より高いビットレートの符号の蓄積が可能に
なる効果、或いは蓄積装置の構成が簡単になる効果があ
る。同様に、符号302,304等を時分割多重している場合
も、破棄する信号の読出を予め中止することにより、伝
送線路の伝送速度を低減したり或いはバス幅を低減した
りすることができるようになり、回路規模を低減する効
果を得ることができる。
In the above description, the intra-frame code
Both the 302 and the inter-frame code 304 are read out, and the
Although the selection / discarding is performed inside the storage device, the signal to be discarded may not be read from the storage devices 303 and 305 by applying the selection signal 106 to the control of the storage devices 303 and 305. With this configuration, the storage device 30
In the case where 3,305 is shared by one, the read / write speed of the storage device is slowed, and a medium with a low access speed can be used. This has the effect that codes with a high bit rate can be stored, or the structure of the storage device is simplified. Similarly, when the codes 302, 304, etc. are time-division multiplexed, the transmission speed of the transmission line or the bus width can be reduced by stopping the reading of the signal to be discarded in advance. As a result, the effect of reducing the circuit scale can be obtained.

【0074】<実施例3>図9の変換部301に解像度変
換機能を持たせた実施例を図11に示す。同図におい
て、402は、フレーム内信号である再生DCT信号に対
して解像度変換を施す回路、401は、解像度変換回路402
を備えた映像符号変換部である。解像度変換回路402の
構成を図12に示す。スイッチ310からのフレーム内符
号302である符号311(再生DCT信号)は、スイッチ41
0を介して解像度変換後の再生DCT信号403となる。制
御回路411は、入力された再生DCT信号のDCT係数
のマトリクス位置から、解像度を変換するために使用し
ない位置のDCT係数をスイッチ410を開にして切断す
る。使用しない位置のDCT係数を除くことによって解
像度変換が行なわれ、解像度変換後の信号が再生DCT
信号403として得られる。
<Embodiment 3> FIG. 11 shows an embodiment in which the conversion unit 301 in FIG. 9 has a resolution conversion function. In the figure, reference numeral 402 denotes a circuit for performing resolution conversion on a reproduced DCT signal which is an intra-frame signal, and reference numeral 401 denotes a resolution conversion circuit 402.
Is a video code conversion unit provided with. FIG. 12 shows the configuration of the resolution conversion circuit 402. The code 311 (reproduced DCT signal) which is the intra-frame code 302 from the switch 310 is
It becomes a reproduced DCT signal 403 after resolution conversion via 0. The control circuit 411 cuts off the DCT coefficient at a position not used for converting the resolution by opening the switch 410 from the matrix position of the DCT coefficient of the input reproduced DCT signal. Resolution conversion is performed by removing DCT coefficients at unused positions, and the signal after resolution conversion is reproduced DCT.
Obtained as signal 403.

【0075】DCT係数の選択の例を図13に示す。8
×8のDCT係数は、図13の左端図のように表わすこ
とができる。同図の1つの小さな四角は、1つのDCT
係数を表わす。64個の係数を同図のように配置した場
合、左上のDCT係数は直流成分、右側が水平高周波成
分、下側が垂直高周波成分となる。
FIG. 13 shows an example of the selection of the DCT coefficient. 8
The × 8 DCT coefficient can be represented as shown in the left end diagram of FIG. One small square in the figure is one DCT
Indicates a coefficient. When 64 coefficients are arranged as shown in the figure, the DCT coefficient at the upper left is a DC component, the right is a horizontal high frequency component, and the lower is a vertical high frequency component.

【0076】8×8のDCT係数を8×8の逆DCTに
て変換すると、例えば中央の左側図の8×8再生画像が
得られる。8×8のDCT係数の低周波側(同左側図の
左上部)の4×4のみを取り出し、これに対し4×4の
逆DCTを行なうと、右端図のように4×4に縮小され
た再生画像が得られる。
When an 8 × 8 DCT coefficient is transformed by an 8 × 8 inverse DCT, for example, an 8 × 8 reproduced image shown in the center left figure is obtained. By extracting only 4 × 4 on the low frequency side (upper left of the same figure on the left side) of the 8 × 8 DCT coefficient, and performing 4 × 4 inverse DCT on this, it is reduced to 4 × 4 as shown on the right end figure. A reproduced image is obtained.

【0077】このようにして低周波側のDCT係数のみ
を選択することにより、N/8倍(N=1,2,・・
・,7)に画像を縮小することができる。図12の制御
回路411では、入力される64個のDCT係数のうち、
所望の解像度に必要なN×N個のDCT係数のみを選択
するように動作する。
By selecting only the DCT coefficient on the low frequency side in this manner, N / 8 times (N = 1, 2,...)
The image can be reduced in (7). In the control circuit 411 of FIG. 12, among the 64 input DCT coefficients,
It operates so as to select only N × N DCT coefficients necessary for a desired resolution.

【0078】なお、N>8として、N×NのDCT係数
の低周波部分8×8に入力のDCT係数をそのまま配置
し、残りの部分(N×N−64個)のDCT係数を0と
することにより、画像拡大の解像度変換を実施すること
ができる。そのようにして生成したN×NのDCT係数
に逆DCT変換を施すことによって拡大した画像を得る
ことができる。また、N=8とする場合には、スイッチ
410は閉じたままとなり、解像度変換が行なわれない。
Assuming that N> 8, the input DCT coefficients are directly arranged in the low frequency portion 8 × 8 of the N × N DCT coefficients, and the DCT coefficients of the remaining portion (N × N−64) are set to 0. By doing so, resolution conversion for image enlargement can be performed. An enlarged image can be obtained by performing an inverse DCT transform on the N × N DCT coefficients generated in this manner. When N = 8, the switch
410 remains closed and no resolution conversion is performed.

【0079】映像符号変換部401の動作の例を図14に
示す。入力されたフレーム間符号の映像符号2は、その
全てのフレームがフレーム内符号302(再生DCT信
号)に変換される。変換された再生DCT信号は、元の
解像度の信号として蓄積されており、合成時に解像度変
換回路402により元の大きさ又は縮小され、可変長符号
化される。図14の映像符号7の例1では、元の大きさ
のフレーム内符号(1i)の直後に縮小されたフレーム
内符号(1s)が挿入され、以降はフレーム間符号化さ
れたフレームが続いている。例1のような符号では、受
信側にて通常に再生しつつ、部分的に(例えばフレーム
1)送られてくる縮小画像を記録あるいは検索等の目的
で記録しておくことができる。また、このストリームが
放送形態で常時伝送されてくる場合には、受信端末がこ
の縮小画像のみを抽出し、画面に表示し、番組の概要を
伝えることにより視聴者の利便を図ることができる。特
に、縮小画像を送ることにより、受信端末にて画像縮小
処理を行なう必要がなくなるため、受信端末の回路規
模、動作速度を低速化することが可能となる。なお、図
14の例1の符号を受信して動画として再生するには、
受信端末に縮小画像部分の符号を除去する機能を持つ必
要がある。こうした受信端末も本発明に含まれることは
明白である。
FIG. 14 shows an example of the operation of the video code conversion unit 401. All the frames of the input inter-frame video code 2 are converted into intra-frame codes 302 (reproduced DCT signals). The converted reproduced DCT signal is stored as a signal of the original resolution, and is reduced or converted to the original size by the resolution conversion circuit 402 at the time of synthesis, and is subjected to variable-length encoding. In the example 1 of the video code 7 in FIG. 14, the reduced intra-frame code (1s) is inserted immediately after the intra-frame code (1i) of the original size, and thereafter, the inter-frame encoded frame follows. I have. With the code as in Example 1, the reduced image transmitted partially (for example, frame 1) can be recorded for the purpose of recording or searching while reproducing normally on the receiving side. When the stream is constantly transmitted in the form of a broadcast, the receiving terminal extracts only the reduced image, displays the reduced image on the screen, and informs the outline of the program, thereby improving the viewer's convenience. In particular, by transmitting the reduced image, the receiving terminal does not need to perform the image reduction processing, so that the circuit scale and operation speed of the receiving terminal can be reduced. In order to receive the code of Example 1 in FIG. 14 and reproduce it as a moving image,
It is necessary for the receiving terminal to have a function of removing the code of the reduced image portion. Obviously, such a receiving terminal is also included in the present invention.

【0080】縮小画像符号と縮小画像の符号が挿入され
ていない符号である動画符号とは、システムレイヤで多
重化して伝送することが可能である。システムレイヤと
してはISO/IEC 11172-1(MPEG1システム)、ISO/I
EC 13818-1(MPEG2システム)、ITU-T H.221(I
SDNテレビ電話用多重化)、ITU-T H.223(アナログ
モデム向けテレビ電話用多重化)、ITU-T H.225(LA
N向けテレビ電話用多重化)等の国際標準がある。シス
テムレイヤでの多重化伝送には、その他にIP(Intern
et Protocol)パケットやATM(Asynchronous Transf
er Mode)セル等のパケット伝送を適用することができ
る。
The reduced image code and the moving image code having no reduced image code inserted therein can be multiplexed and transmitted in the system layer. ISO / IEC 11172-1 (MPEG1 system) as system layer, ISO / I
EC 13818-1 (MPEG2 system), ITU-T H.221 (I
SDN videophone multiplexing), ITU-T H.223 (videophone multiplexing for analog modems), ITU-T H.225 (LA
There are international standards such as multiplexing for videophones for N). For multiplex transmission at the system layer, IP (Intern
et Protocol) packets and ATM (Asynchronous Transf)
er Mode) Packet transmission of cells or the like can be applied.

【0081】このとき、受信端末側では、該当するシス
テムレイヤから所望の符号を分離する分離回路を備える
ことにより、通常の再生回路(動画像に挿入された縮小
画像を除去する機能のない再生回路)を用いて動画を再
生することが可能となる。以上に関係する種々の装置、
即ち、縮小画像符号と動画符号をシステムレイヤで多重
化する多重装置や変換装置及び多重伝送装置、多重化し
た符号を受ける受信端末、縮小画像符号と動画符号をシ
ステムレイヤで多重化して伝送する画像伝送システム及
び画像通信システムは、本発明に包含される。
At this time, the receiving terminal is provided with a separating circuit for separating a desired code from a corresponding system layer, so that a normal reproducing circuit (a reproducing circuit having no function of removing a reduced image inserted in a moving image) is provided. ) Can be used to play back moving images. Various devices related to the above,
That is, a multiplexing device, a conversion device, and a multiplexing transmission device that multiplex the reduced image code and the moving image code in the system layer, a receiving terminal that receives the multiplexed code, and an image that multiplexes the reduced image code and the moving image code in the system layer and transmits the multiplexed code. The transmission system and the image communication system are included in the present invention.

【0082】図14の映像符号7の例2は、フレーム間
符号の各フレームを縮小画像のフレーム内符号に変換し
た例である。一般にフレーム内符号は、フレーム間符号
よりも再生処理が簡単であり、しかも例2の場合には画
像サイズが小さいためさらに再生に必要な処理量は少な
くて済む。従って、例2の符号の受信再生装置は、通常
の再生装置に比較してはるかに簡単になり、例えば低速
のプロセッサによるソフトウェア処理が可能になった
り、プロセッサが複数の処理を同時に(時分割で)行な
っている場合に他の処理に十分な処理量を割り当てた上
で再生を行なうことができる利点がある。
Example 2 of the video code 7 in FIG. 14 is an example in which each frame of the inter-frame code is converted into the intra-frame code of the reduced image. Generally, the intra-frame code is easier to reproduce than the inter-frame code, and in the case of Example 2, the image size is small, so that the amount of processing required for reproduction is further reduced. Accordingly, the apparatus for receiving and reproducing the code of Example 2 is much simpler than an ordinary reproducing apparatus. For example, software processing by a low-speed processor becomes possible, or the processor performs a plurality of processings simultaneously (by time division). In this case, there is an advantage that the reproduction can be performed after a sufficient processing amount is allocated to other processing.

【0083】図14の出力符号7の例3は、例2の符号
のフレームを幾つか間引くことにより、更に再生時の処
理量、伝送符号量を削減したものである。なお、例2、
例3の符号も例1の場合の変形例として用いることが可
能である。
In the example 3 of the output code 7 in FIG. 14, some frames of the code of the example 2 are thinned to further reduce the processing amount at the time of reproduction and the transmission code amount. Example 2,
The reference numeral of Example 3 can be used as a modification of the case of Example 1.

【0084】<実施例4>図11に示した変換部401を
有する映像符号変換装置300の変形例を図15に示す。
同図において、551は、フレーム内符号302から映像シー
ケンスのシーンチェンジ個所を検出し、選択信号106を
出力する認識回路、550は、映像符号変換装置300に認識
回路551を加えた映像符号変換装置である。図11の変
換部401を有する変換装置300では、外部からの選択信号
106によって選択されフレーム、即ちユーザが指定した
フレームがフレーム内符号に変換されたが、本実施例の
変換装置550では、変換装置内にて自動的にフレーム内
符号にするフレームを決定し、変換を行なう。具体的に
は、映像シーケンスのシーンチェンジ個所を検出し、新
たなシーンの第1フレームをフレーム内符号に変換す
る。
<Embodiment 4> FIG. 15 shows a modification of the video code conversion apparatus 300 having the conversion section 401 shown in FIG.
In the figure, reference numeral 551 denotes a recognition circuit that detects a scene change point of a video sequence from the intra-frame code 302 and outputs a selection signal 106. Reference numeral 550 denotes a video code conversion device obtained by adding the recognition circuit 551 to the video code conversion device 300. It is. In the conversion device 300 having the conversion unit 401 shown in FIG.
Although the frame selected by 106, that is, the frame specified by the user, is converted into an intra-frame code, the conversion device 550 of the present embodiment automatically determines a frame to be an intra-frame code in the conversion device and performs conversion. Perform Specifically, a scene change portion of the video sequence is detected, and the first frame of the new scene is converted into an intra-frame code.

【0085】入力された映像符号2は、図11の場合と
同様、変換部401にてフレーム内符号(再生DCT信
号)302に変換されて蓄積装置303に蓄積される一方、時
間の遅れを持った元のフレーム間符号304となって蓄積
装置305に蓄積される。再生DCT信号302は、蓄積され
ると同時に認識回路551に入力され、シーンチェンジが
検出される。シーンチェンジと判定された場合は、選択
信号106によってシーンチェンジ直後のフレームに対し
てフレーム内符号が選択される。
The input video code 2 is converted into an intra-frame code (reproduced DCT signal) 302 by the conversion section 401 and stored in the storage device 303, as in the case of FIG. 11, but has a time delay. The original inter-frame code 304 is stored in the storage device 305. The reproduced DCT signal 302 is input to the recognition circuit 551 at the same time as being stored, and a scene change is detected. If it is determined that a scene change has occurred, the selection signal 106 selects an intra-frame code for the frame immediately after the scene change.

【0086】このように、各シーンの先頭フレームをフ
レーム内符号化することにより、各シーンを独立に再生
することができ、ランダムアクセスや検索等の用途で利
便が図れる。
As described above, by encoding the first frame of each scene in a frame, each scene can be reproduced independently, which is convenient for applications such as random access and retrieval.

【0087】図16は、認識回路551の詳細図である。
入力された再生DCT信号302は、メモリ560に格納され
ている前のフレームの再生DCT信号561と比較回路562
によって比較され、比較結果が選択信号106として出力
される。比較される再生DCT信号302は、同時にメモ
リ560に記憶され、次のフレームの比較で再生DCT信
号561として用いられる。
FIG. 16 is a detailed diagram of the recognition circuit 551.
The input reproduced DCT signal 302 is compared with the reproduced DCT signal 561 of the previous frame stored in the memory 560 and the comparison circuit 562.
And the comparison result is output as the selection signal 106. The reproduced DCT signal 302 to be compared is simultaneously stored in the memory 560, and is used as the reproduced DCT signal 561 in the next frame comparison.

【0088】なお、比較の尺度として、時間的に異なる
2つのフレームの中の空間的に対応する信号同士の差分
の大きさが用いられる。差分の大きさは、具体的には、
同じ画面位置のブロックの直流成分の差分の絶対値又は
二乗値を累積することによって求められる。差分の大き
さの求め方は、その他に、差分が所定の値より大きいブ
ロックの個数を計数したり、対応するブロックの周波数
分布(有効なDCT係数の分布する範囲)の差異を調べ
ること等がある。
As a measure of comparison, the magnitude of the difference between spatially corresponding signals in two temporally different frames is used. The magnitude of the difference is, specifically,
It is obtained by accumulating the absolute value or the square value of the difference between the DC components of the blocks at the same screen position. Other methods of calculating the magnitude of the difference include counting the number of blocks in which the difference is larger than a predetermined value, and examining the difference in the frequency distribution of the corresponding block (the range in which valid DCT coefficients are distributed). is there.

【0089】こうした比較は、画素領域でも可能である
が、先に延べた手法のようにDCT係数領域、即ち周波
数領域で比較を行なうことにより、より精度の高い比較
を行うことができる。
Although such a comparison can be made in the pixel area, a more accurate comparison can be made by performing the comparison in the DCT coefficient area, that is, the frequency domain as in the above-mentioned method.

【0090】シーンチェンジの比較結果による符号変換
の例を図17に示す。例1は、シーンチェンジ直後のフ
レーム(5、9)をフレーム内符号に変換した例、例2
は、シーンチェンジ直後のフレームをフレーム内符号に
変換した上で、記録、検索用にその縮小画像を挿入した
例、例3は、フレーム内符号には変換せずに、縮小画像
のみを挿入した例である。いずれの場合も先の図14の
例に対する変形例として用いることができる。
FIG. 17 shows an example of code conversion based on the result of comparing scene changes. Example 1 is an example in which frames (5, 9) immediately after a scene change are converted into intra-frame codes, Example 2
Is an example in which a frame immediately after a scene change is converted into an intra-frame code, and the reduced image is inserted for recording and retrieval. In Example 3, only the reduced image is inserted without conversion into an intra-frame code. It is an example. Either case can be used as a modification to the example of FIG.

【0091】なお、シーンチェンジが発生すると、その
部分においてフレーム間の相関が少なくなるため、フレ
ーム間符号化を行なうよりもフレーム内符号化を行なう
方が発生符号量が少なくなることがある。例えば、例1
の符号の符号量(ビットレート)が元の符号304の符号
量よりも少なくなる場合がある。
When a scene change occurs, the correlation between frames at that portion is reduced. Therefore, the amount of generated codes may be smaller when intra-frame encoding is performed than when inter-frame encoding is performed. For example, Example 1
May be smaller than the code amount of the original code 304 in some cases.

【0092】図15では、再生DCT信号302及び符号3
04は、それぞれ蓄積装置303,305に蓄積した上で処理を
行なっているが、リアルタイムで処理する場合等では、
同蓄積装置としてバッファ(メモリ)を用いることによ
り、変換装置550がより簡単な構成になる。また、認識
結果を別の蓄積装置、蓄積装置303又は蓄積装置305のい
ずれかに記憶し、蓄積装置から符号を読み出し、合成す
るときには認識処理を行なわない手法も本発明に含まれ
る。
In FIG. 15, the reproduced DCT signal 302 and code 3
04 is processed after being stored in storage devices 303 and 305, respectively.
By using a buffer (memory) as the storage device, the conversion device 550 has a simpler configuration. The present invention also includes a method of storing the recognition result in another storage device, one of the storage device 303 and the storage device 305, reading the code from the storage device, and performing no recognition process when combining the codes.

【0093】認識回路551は、シーンチェンジを検出す
ることを前提としたが、逆にシーンに変化がないところ
(静止画)を検出し、これらに対してフレーム内符号又
は縮小画像フレーム内符号を多重、挿入することによっ
て伝送シーケンスの概要を容易に再生、検索することが
可能となる。
The recognition circuit 551 is premised on detecting a scene change. Conversely, the recognition circuit 551 detects a place where there is no change in a scene (a still image), and converts an intra-frame code or a reduced-image intra-frame code into them. By multiplexing and inserting, the outline of the transmission sequence can be easily reproduced and searched.

【0094】<実施例5>図11及び図15に示した映
像符号変換部401が出力する映像符号7即ち縮小画像を
含む動画符号を受信するための受信装置の構成例を図1
8に示す。入力された映像符号7は、符号分離回路601
にて解読され、動画符号(縮小画像でない部分)602と
縮小画像符号612に分離され、それぞれスイッチ603,61
3を介して蓄積装置620,630に記録される。記録された
信号は各記録装置から読み出され、スイッチ603,613を
介してそれぞれ復号化回路605及び復号化回路615に入力
され、再生される。
<Embodiment 5> FIG. 1 shows an example of the configuration of a receiving apparatus for receiving the video code 7 output from the video code conversion unit 401 shown in FIGS. 11 and 15, that is, a moving image code including a reduced image.
FIG. The input video code 7 is converted to a code separation circuit 601.
, And are separated into a moving image code (a part which is not a reduced image) 602 and a reduced image code 612, and switches 603 and 61, respectively.
The data is stored in the storage devices 620 and 630 via 3. The recorded signal is read from each recording device, input to the decoding circuit 605 and the decoding circuit 615 via the switches 603 and 613, respectively, and reproduced.

【0095】復号化回路605は、図24に示した復号化
回路3と同じ構成であり、一般の動画像符号の復号化を
行う。復号化回路615は、縮小フレーム内符号を復号す
るため、図24の復号化回路3が有するのと同じ可変長
復号化回路20及び逆量子化回路22と、逆DCT変換
回路24と類似のN×Nデータの逆DCT変換を行なう
回路とから構成される。
The decoding circuit 605 has the same configuration as the decoding circuit 3 shown in FIG. 24, and decodes a general moving image code. The decoding circuit 615 decodes the reduced intra-frame code, and has the same variable length decoding circuit 20 and inverse quantization circuit 22 as the decoding circuit 3 of FIG. And a circuit for performing an inverse DCT transform of × N data.

【0096】復号化回路605,615の出力は、それぞれ再
生画像606及び縮小再生画像616であり、双方とも選択表
示回路607に入力される。縮小再生画像616は、同時にメ
モリ(図示せず)にも記憶され、複数の縮小再生画像を
表示するときには同メモリに記憶された信号を読み出
す。選択表示回路607では、外部からの選択信号609によ
っていずれかの画像が選択され、画像信号608となる。
画像信号608が表示装置(図示せず)に送られ、画像表
示される。選択表示回路607が画面の画素単位で選択を
行なうことにより、以下のような画像表示を行うことが
できる。
The outputs of the decoding circuits 605 and 615 are a reproduced image 606 and a reduced reproduced image 616, respectively, and both are inputted to the selection display circuit 607. The reduced reproduction image 616 is simultaneously stored in a memory (not shown), and when displaying a plurality of reduced reproduction images, the signal stored in the memory is read. In the selection display circuit 607, one of the images is selected by an external selection signal 609, and becomes an image signal 608.
The image signal 608 is sent to a display device (not shown) and is displayed as an image. When the selection display circuit 607 performs selection on a screen-by-pixel basis, the following image display can be performed.

【0097】例1 動画像のみ表示 例2 動画像を背景として、縮小画像を画面の一部に表
示 例3 縮小画像を1枚以上表示 例4 縮小画像を1枚以上表示し、それら画像の一部又
は全部を定期的に更新することによる疑似動画の表示 なお、動画をリアルタイムで表示する場合には、受信装
置600は、蓄積装置620又は蓄積装置630を省いた構成と
することが可能である。更に、復号化回路605,615を統
合し、一つの復号化回路を時分割によって動画像と縮小
画像で共用するようにしても構わない。
Example 1 Only a moving image is displayed. Example 2 A reduced image is displayed on a part of the screen with a moving image as a background. Example 3 One or more reduced images are displayed. Example 4 One or more reduced images are displayed and one of the images is displayed. Display of pseudo-moving image by updating part or all periodically Note that, when displaying a moving image in real time, the receiving device 600 can have a configuration in which the storage device 620 or the storage device 630 is omitted. . Further, the decoding circuits 605 and 615 may be integrated, and one decoding circuit may be shared by the moving image and the reduced image by time division.

【0098】<実施例6>本発明を画像伝送システムに
適用した例を図19に示す。同図において、700は、図
11の変換部401を有する映像符号変換装置300と図18
の受信装置600を用いた画像伝送システムである。送信
する画像は、送信装置701において映像信号からフレー
ム間符号に符号化される。送信装置701の構成は、図2
5に示した再符号化回路6とほぼ同じである。符号化さ
れた画像の映像符号710は、中継装置702を経由して受信
装置704-1〜704-Nへ伝送される。
<Embodiment 6> FIG. 19 shows an example in which the present invention is applied to an image transmission system. In FIG. 18, reference numeral 700 denotes a video code conversion device 300 having the conversion unit 401 of FIG.
An image transmission system using the receiving device 600 of FIG. The image to be transmitted is encoded by the transmission device 701 from the video signal into an inter-frame code. The configuration of the transmitting device 701 is shown in FIG.
5 is almost the same as the re-encoding circuit 6 shown in FIG. The video code 710 of the encoded image is transmitted to the receiving devices 704-1 to 704-N via the relay device 702.

【0099】中継装置702は、フレーム間フレーム内変
換を行なう映像符号装置300の回路を備えており、各受
信装置から送られるてくる選択信号106-1〜106-Nに応じ
た映像符号7-1〜7-Nを出力する。中継装置702内の変
換装置703は、図11に示したフレーム間フレーム内変
換回路101、バッファ105、スイッチ310,312、解像度変
換回路402及び図8に示した蓄積装置303,305の各1台
と、N台の合成回路104とからなる。合成回路104は、各
受信装置毎に設けているが、その他の回路は、それぞれ
N個の受信装置に共用で使われる。従来の中継装置では
その他の回路がそれぞれN台必要であり、従って、本発
明により回路規模が大幅に低減される。
The relay apparatus 702 includes a circuit of the video coding apparatus 300 for performing intra-frame intra-frame conversion. The video coding apparatus 7- according to the selection signals 106-1 to 106-N sent from each receiving apparatus. Outputs 1 to 7-N. The conversion device 703 in the relay device 702 is one of the inter-frame conversion circuit 101, the buffer 105, the switches 310 and 312, the resolution conversion circuit 402 shown in FIG. 11, and the storage devices 303 and 305 shown in FIG. And N synthesis circuits 104. The combining circuit 104 is provided for each receiving device, but the other circuits are used in common for N receiving devices. In the conventional relay device, each of the other circuits requires N units. Therefore, the present invention greatly reduces the circuit scale.

【0100】図19の画像伝送システム700では、視聴
者は、中継装置702内の変換装置703に貯えられた符号の
任意の部分から再生することができる。また、縮小画像
等を含む符号を選択し、受信装置600内にて自由な画面
配置で表示することが可能となる。
In the image transmission system 700 shown in FIG. 19, the viewer can reproduce from an arbitrary part of the code stored in the conversion device 703 in the relay device 702. Further, it is possible to select a code including a reduced image or the like and display the code in the receiving device 600 in a free screen arrangement.

【0101】なお、上記画像伝送システムでは、中継装
置702に入力されるフレーム間符号の映像符号2は1種
類であったが、複数種類(M種類)の映像符号を伝送す
るようにシステムを構成することが可能である。それに
は、M台の中継装置702を用意し、M種類の映像符号
(番組)をそれぞれの中継装置に入力し、各受信装置が
M台の中継装置のいずれかを選択することができるよう
に各受信装置に切り換え回路を備えればよい。
In the above image transmission system, the video code 2 of the inter-frame code input to the relay device 702 is one type, but the system is configured to transmit a plurality of types (M types) of video codes. It is possible to To do so, M relay devices 702 are prepared, M kinds of video codes (programs) are input to each relay device, and each receiving device can select any of the M relay devices. What is necessary is just to provide each receiving device with a switching circuit.

【0102】また、映像符号7-1〜7-Nは、それぞれが
独立の伝送路を介して各受信装置に伝送されても構わな
い、N未満の伝送路を用い、幾つかの映像符号を多重化
して伝送しても構わない。
The video codes 7-1 to 7-N may be transmitted to the respective receiving devices via independent transmission paths. It may be multiplexed and transmitted.

【0103】<実施例7>本発明を多地点画像通信に応
用した例を図20に示す。多地点画像通信システム800
は、受信装置600の他に送信装置802を持つ端末802-1〜8
02-Nと、複数の地点に配置した端末810-1〜810-Nの相互
通信の制御を行なう多地点通信制御装置803と、端末810
-1〜810-Nの送信装置802-1〜802-Nが出力するフレーム
間符号化した映像符号710-1〜710-Nの映像符号変換を行
なう変換装置804-1〜804-Nとからなる。
Embodiment 7 FIG. 20 shows an example in which the present invention is applied to multipoint image communication. Multipoint image communication system 800
Are terminals 802-1 to 80-8 having a transmitting device 802 in addition to the receiving device 600.
02-N, a multipoint communication control device 803 that controls intercommunication between terminals 810-1 to 810-N arranged at a plurality of points, and a terminal 810.
-1 to 810-N transmission devices 802-1 to 802-N output from inter-frame coded video codes 710-1 to 710-N and perform conversion from video conversion devices 804-1 to 804-N. Become.

【0104】変換装置804-1〜804-Nは、図1及び図11
に示した変換装置100,300と同様の処理を行なう装置
で、フレーム間符号103-1〜103-Nと、フレーム内符号10
2-1〜102-Nと、縮小画像フレーム内符号403-1〜403-Nを
出力する。これら映像符号は、多地点通信制御装置803
に入力される。
The conversion devices 804-1 to 804-N are shown in FIGS.
Are devices that perform the same processing as the conversion devices 100 and 300 shown in FIG.
2-1 to 102-N and the reduced image frame codes 403-1 to 403-N are output. These video codes are transmitted to the multipoint communication controller 803.
Is input to

【0105】多地点通信制御装置803は、ある1台の端
末(例えば810-1)に対して、通信を行なっている相手
(複数、例えば810-2〜810-N)の映像符号の内、フレー
ム間符号、フレーム内符号、縮小画像フレーム内符号の
いずれかを通信者の指示(選択信号106-1)に従って選
択し、通信者へ伝送する。
The multipoint communication control device 803 includes, among the video codes of the other party (eg, 810-2 to 810-N) communicating with one terminal (eg, 810-1), One of the inter-frame code, intra-frame code, and reduced image intra-frame code is selected according to the instruction of the communication party (selection signal 106-1), and transmitted to the communication equipment.

【0106】図20の多地点画像通信システム800の動
作例及びその動作時の表示画面を図21に示す。図21
下部のタイムチャートは、複数の相手(7地点)と多地
点テレビ会議を行なっている場合を取上げ、複数の映像
符号(動画3,静止画4)を多重化して1つの映像符号
として受け取るときの符号構成を示している。通信者
は、最初の時点(タイムチャート左端)ではA,B,C
の3地点から動画を受け取り、残りの4地点からは静止
画(準動画)を受け取っている。その場合の表示画面を
図21の上部左に示す。次に通信者は、タイムチャート
に示すように、通信の途中で選択信号106を用いてC地
点の動画をD地点の動画に変更し、また、B地点の動画
をE地点の動画に変更する。動画の変更時には新しい地
点から符号の先頭はフレーム内符号化となる。この結
果、受信画面は、映像が途切れたり、大きく乱れたりす
ることなく、図21の上部右に示す画面に切り替わる。
FIG. 21 shows an operation example of the multipoint image communication system 800 of FIG. 20 and a display screen during the operation. FIG.
The lower time chart shows a case where a multipoint videoconference is being held with a plurality of parties (seven points) and a plurality of video codes (moving image 3 and still image 4) are multiplexed and received as one video code. The code configuration is shown. Correspondents are A, B, C at the first time (left end of the time chart).
, And still images (quasi-moving images) are received from the remaining four points. The display screen in that case is shown in the upper left of FIG. Next, as shown in the time chart, the communication person changes the moving image at the point C to the moving image at the point D using the selection signal 106 during the communication, and changes the moving image at the point B to the moving image at the point E. . When a moving image is changed, the head of the code is an intra-frame coding from a new point. As a result, the reception screen is switched to the screen shown in the upper right part of FIG. 21 without the video being interrupted or greatly disturbed.

【0107】なお、以下の変形例も本発明に含まれる。
選択している相手先の画面であることを示す文字、記号
又は符号等を画面に表示することにより、容易に選択先
を確認することができる。また、表示する動画の選択先
を変更した場合(例えばC→D)、画面の切り替わりを
知らせるために、特殊な画像、例えば青一色の画像をC
とDの画像の間に挿入したり、Dの画像に切り替わって
からしばらくの間、画面が切り替わったことが分かる表
示をする、例えば切換を示す文字、記号、符号を表示し
たり、画面枠部分を特定の色にする又は輝度の枠を付加
するなどをすることにより、画面の内容が切り替わった
ことを明確に通知することができる。
Note that the following modifications are also included in the present invention.
By displaying characters, symbols, symbols, or the like on the screen indicating that the screen is the screen of the selected partner, the selected party can be easily confirmed. When the selection destination of the moving image to be displayed is changed (for example, C → D), a special image, for example, a blue-only image is displayed in order to notify the screen switching.
To insert between the image of D and the image of D, or to display that the screen has been switched for a while after being switched to the image of D, for example, display a character, a symbol, or a sign indicating switching, or a screen frame portion By changing to a specific color or adding a luminance frame, it is possible to clearly notify that the content of the screen has been switched.

【0108】図20の構成は、多地点テレビ会議を実施
するシステムであるが、同様の構成で多地点の監視シス
テムを実現することもできる。例えば、端末810-1を監
視センタ、他の端末810-2〜810-Nを監視カメラにしてシ
ステムを構成することができる。その場合、監視センタ
の端末810-1の送信装置802-1及び他の端末810-2〜810-N
の受信装置600-2〜600-Nは、削除することが可能であ
る。
Although the configuration shown in FIG. 20 is a system for conducting a multipoint video conference, a multipoint monitoring system can be realized with the same configuration. For example, a system can be configured by using the terminal 810-1 as a monitoring center and the other terminals 810-2 to 810-N as monitoring cameras. In that case, the transmitting device 802-1 of the terminal 810-1 of the monitoring center and the other terminals 810-2 to 810-N
Of the receiving devices 600-2 to 600-N can be deleted.

【0109】[0109]

【発明の効果】本発明によれば、映像符号のフレーム間
フレーム内変換をDCTの領域で行ない、変換を行なわ
ない場合は、映像符号をそのまま出力するので、変換の
有無に拘らず一旦画素レベルの再生画像にしてから再び
符号化を行なう従来に比べ、回路規模を著しく低減する
ことができる。また、複数の受信装置でフレーム間フレ
ーム内変換回路を共有することが可能となるので、多数
の受信装置を配置する場合に回路規模低減の効果を一層
高めることができる。なお、フレーム間フレーム内変換
回路にはDCT領域での解像度変換回路を採用可能であ
り、画像の縮小拡大の機能を容易に付加することができ
る。
According to the present invention, the intra-frame conversion of the video code is performed in the DCT area, and when the conversion is not performed, the video code is output as it is. Circuit size can be remarkably reduced as compared with the related art in which encoding is performed again after the reproduced image is reproduced. In addition, since the inter-frame intra-frame conversion circuit can be shared by a plurality of receiving apparatuses, the effect of reducing the circuit scale can be further enhanced when a large number of receiving apparatuses are arranged. It should be noted that a resolution conversion circuit in the DCT region can be adopted as the inter-frame intra-frame conversion circuit, and a function of reducing and enlarging an image can be easily added.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る映像符号変換装置の第1の実施例
を説明するためのブロック図。
FIG. 1 is a block diagram for explaining a first embodiment of a video transcoder according to the present invention.

【図2】第1の実施例のフレーム間フレーム内変換回路
を説明するためのブロック図。
FIG. 2 is a block diagram for explaining an inter-frame intra-frame conversion circuit according to the first embodiment;

【図3】DCT領域における動き補償を説明するための
図。
FIG. 3 is a diagram for explaining motion compensation in a DCT domain.

【図4】DCT領域における動き補償の変換の手順を説
明するための図。
FIG. 4 is a view for explaining a procedure of a motion compensation conversion in a DCT domain.

【図5】第1の実施例のフレーム間フレーム内変換回路
に用いるDCT領域動き補償回路を説明するためのブロ
ック図。
FIG. 5 is a block diagram for explaining a DCT area motion compensation circuit used in the inter-frame intra-frame conversion circuit according to the first embodiment;

【図6】図5のDCT領域動き補償回路の処理手順を説
明するための図。
FIG. 6 is an exemplary view for explaining a processing procedure of the DCT area motion compensation circuit of FIG. 5;

【図7】第1の実施例の合成回路を説明するためのブロ
ック図。
FIG. 7 is a block diagram illustrating a synthesis circuit according to the first embodiment;

【図8】本発明の第2の実施例を説明するためのブロッ
ク図。
FIG. 8 is a block diagram for explaining a second embodiment of the present invention.

【図9】第2の実施例の映像符号変換部を説明するため
のブロック図。
FIG. 9 is a block diagram illustrating a video code converter according to a second embodiment;

【図10】第2の実施例の映像符号変換部の動作を説明
するための図。
FIG. 10 is a diagram for explaining the operation of the video code converter according to the second embodiment.

【図11】本発明の第3の実施例を説明するためのブロ
ック図。
FIG. 11 is a block diagram for explaining a third embodiment of the present invention.

【図12】第3の実施例の解像度変換回路を説明するた
めのブロック図。
FIG. 12 is a block diagram illustrating a resolution conversion circuit according to a third embodiment.

【図13】解像度変換を説明するための図。FIG. 13 is a view for explaining resolution conversion.

【図14】第3の実施例の解像度変換回路の動作を説明
するための図。
FIG. 14 is a diagram for explaining the operation of the resolution conversion circuit according to the third embodiment.

【図15】本発明の第4の実施例を説明するためのブロ
ック図。
FIG. 15 is a block diagram for explaining a fourth embodiment of the present invention.

【図16】第4の実施例の認識回路を説明するためのブ
ロック図。
FIG. 16 is a block diagram illustrating a recognition circuit according to a fourth embodiment;

【図17】第4の実施例の動作を説明するための図。FIG. 17 is a diagram for explaining the operation of the fourth embodiment.

【図18】本発明の第5の実施例を説明するためのブロ
ック図。
FIG. 18 is a block diagram for explaining a fifth embodiment of the present invention.

【図19】本発明の第6の実施例を説明するためのブロ
ック図。
FIG. 19 is a block diagram for explaining a sixth embodiment of the present invention.

【図20】本発明の第7の実施例を説明するためのブロ
ック図。
FIG. 20 is a block diagram for explaining a seventh embodiment of the present invention.

【図21】第7の実施例の動作を説明するための図。FIG. 21 is a diagram for explaining the operation of the seventh embodiment.

【図22】動き補償フレーム間予測符号化の概念を説明
するための図。
FIG. 22 is a diagram for explaining the concept of motion-compensated inter-frame prediction coding.

【図23】従来の映像符号変換装置を説明するためのブ
ロック図。
FIG. 23 is a block diagram for explaining a conventional video code conversion device.

【図24】従来の映像符号変換装置の復号化回路を説明
するためのブロック図。
FIG. 24 is a block diagram for explaining a decoding circuit of a conventional video code conversion device.

【図25】従来の映像符号変換装置の再符号化回路を説
明するためのブロック図。
FIG. 25 is a block diagram for explaining a re-encoding circuit of a conventional video code conversion device.

【符号の説明】[Explanation of symbols]

2,7,103…映像符号、20…可変長復号回路、22
…逆量子化回路、100…映像符号変換装置、101…フレー
ム間フレーム内変換回路、102…フレーム内信号(再生
DCT信号)、104…合成回路、105…バッファ、106…
選択信号、111…可変長符号化回路、113…制御回路、11
5…選択回路、201…DCT領域動き補償回路、203…加
算回路、205…フレームメモリ、402…解像度変換回路。
2, 7, 103: video code, 20: variable length decoding circuit, 22
... Inverse quantization circuit, 100 ... Video code converter, 101 ... Inter-frame intra-frame conversion circuit, 102 ... Intra-frame signal (reproduced DCT signal), 104 ... Synthesis circuit, 105 ... Buffer, 106 ...
Selection signal, 111 ... variable length coding circuit, 113 ... control circuit, 11
5: selection circuit, 201: DCT area motion compensation circuit, 203: addition circuit, 205: frame memory, 402: resolution conversion circuit.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 伊達 哲 東京都国分寺市東恋ヶ窪一丁目280番地 株式会社日立製作所中央研究所内 Fターム(参考) 5C057 AA01 AA06 CC04 EA02 EA07 EB18 ED01 ED07 EJ02 EK02 EL01 EM02 EM04 EM07 EM14 GF07 GG01 GL00 5C059 KK38 LB05 MA05 MA23 MC00 MC34 PP05 PP06 SS02 SS07 SS13 TA19 TA47 TB04 TC01 UA34  ────────────────────────────────────────────────── ─── Continuing from the front page (72) Inventor Tetsu Date 1-280 Higashi Koigabo, Kokubunji-shi, Tokyo F-term in Central Research Laboratory, Hitachi, Ltd. 5C057 AA01 AA06 CC04 EA02 EA07 EB18 ED01 ED07 EJ02 EK02 EL01 EM02 EM04 EM07 EM14 GF07 GG01 GL00 5C059 KK38 LB05 MA05 MA23 MC00 MC34 PP05 PP06 SS02 SS07 SS13 TA19 TA47 TB04 TC01 UA34

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 DCT(Discrete cosine transform)
変換によってフレーム内符号化された少なくとも1個の
フレームと、DCT変換及び動き補償の組合わせによっ
てフレーム間符号化された複数のフレームとからなる動
画像の映像符号を入力し、フレーム間符号化された複数
のフレームの中の一部をフレーム内符号化されたフレー
ムに変換して出力する変換方法であって、 前記フレーム間符号化された複数のフレームをDCT領
域でフレーム内符号化フレームに変換する工程と、前記
映像符号を一時保持する工程と、フレーム間フレーム内
符号変換工程によって得た映像符号と一時保持した映像
符号のいずれか一方を選択して出力する工程とからなる
ことを特徴とする映像符号変換方法。
1. DCT (Discrete cosine transform)
A video code of a moving image composed of at least one frame that is intra-coded by transform and a plurality of frames that are inter-coded by a combination of DCT transform and motion compensation is input, and inter-frame coded. Converting a part of the plurality of frames into an intra-coded frame and outputting the converted frame, wherein the plurality of inter-coded frames are converted into an intra-coded frame in a DCT domain. And temporarily storing the video code, and selecting and outputting any one of the video code obtained by the inter-frame intra-frame code conversion process and the temporarily stored video code. Video code conversion method.
【請求項2】 DCT(Discrete cosine transform)
変換によってフレーム内符号化された少なくとも1個の
フレームと、DCT変換及び動き補償の組合わせによっ
てフレーム間符号化された複数のフレームとからなる動
画像の映像符号を入力し、フレーム間符号化された複数
のフレームの中の一部をフレーム内符号化されたフレー
ムに変換して出力する変換装置であって、 前記フレーム間符号化された複数のフレームをDCT領
域でフレーム内符号化フレームに変換するフレーム間フ
レーム内符号変換回路と、前記映像符号を一時保持する
バッファと、フレーム間フレーム内符号変換回路の出力
の映像符号とバッファ内の映像符号のいずれか一方を選
択して出力する合成回路とをもって構成することを特徴
とする映像符号変換装置。
2. DCT (Discrete cosine transform)
A video code of a moving image composed of at least one frame that is intra-coded by transform and a plurality of frames that are inter-coded by a combination of DCT transform and motion compensation is input, and inter-frame coded. And converting a part of the plurality of frames into an intra-coded frame and outputting the frame, wherein the plurality of inter-coded frames are converted into an intra-coded frame in a DCT domain. Inter-frame intra-frame code conversion circuit, a buffer for temporarily holding the video code, and a synthesizing circuit for selecting and outputting one of the video code output from the inter-frame intra-frame code conversion circuit and the video code in the buffer And a video transcoder.
【請求項3】 前記フレーム間フレーム内符号変換回路
と前記合成回路との間にフレーム間フレーム内符号変換
回路の出力の映像符号の解像度を変化させる解像度変換
回路を更に付加してなり、当該解像度変換回路は、解像
度変化によってサイズが任意に縮小拡大した画像の映像
符号を出力するものであり、合成回路が選択するフレー
ム間フレーム内符号変換回路の出力の映像符号が解像度
変換回路を経た映像符号であることを特徴とする請求項
2に記載の映像符号変換装置。
3. A resolution conversion circuit for changing a resolution of a video code output from the inter-frame intra-frame code conversion circuit is further provided between the inter-frame intra-frame code conversion circuit and the synthesizing circuit. The conversion circuit outputs a video code of an image whose size is arbitrarily reduced or enlarged by a change in resolution, and the video code output from the intra-frame intra-frame conversion circuit selected by the synthesis circuit is a video code passed through the resolution conversion circuit. The video transcoder according to claim 2, wherein:
JP36516098A 1998-12-22 1998-12-22 Method and device for converting video code Pending JP2000188760A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36516098A JP2000188760A (en) 1998-12-22 1998-12-22 Method and device for converting video code

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36516098A JP2000188760A (en) 1998-12-22 1998-12-22 Method and device for converting video code

Publications (1)

Publication Number Publication Date
JP2000188760A true JP2000188760A (en) 2000-07-04

Family

ID=18483578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36516098A Pending JP2000188760A (en) 1998-12-22 1998-12-22 Method and device for converting video code

Country Status (1)

Country Link
JP (1) JP2000188760A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304511A (en) * 2002-01-30 2003-10-24 Ntt Docomo Inc Communication terminal, server apparatus, relay apparatus, broadcast communication system, broadcast communication method, and program
US8259797B2 (en) 2008-09-15 2012-09-04 Florida Atlantic University Method and system for conversion of digital video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304511A (en) * 2002-01-30 2003-10-24 Ntt Docomo Inc Communication terminal, server apparatus, relay apparatus, broadcast communication system, broadcast communication method, and program
JP4649091B2 (en) * 2002-01-30 2011-03-09 株式会社エヌ・ティ・ティ・ドコモ Communication terminal, server device, relay device, broadcast communication system, broadcast communication method, and program
US8259797B2 (en) 2008-09-15 2012-09-04 Florida Atlantic University Method and system for conversion of digital video

Similar Documents

Publication Publication Date Title
EP0661888B1 (en) Multiplexing/demultiplexing method for superimposing sub- images on a main image
US5923375A (en) Memory reduction in the MPEG-2 main profile main level decoder
KR100256005B1 (en) Image signal compression device
KR960002730B1 (en) High efficiency coding signal processing apparatus
JP3942630B2 (en) Channel buffer management in video decoder
US9071817B2 (en) Picture coding method and picture decoding method
US6141059A (en) Method and apparatus for processing previously encoded video data involving data re-encoding.
KR0134871B1 (en) High efficient encoding and decoding system
US5453799A (en) Unified motion estimation architecture
US20010055336A1 (en) Compressed-video reencoder system for modifying the compression ratio of digitally encoded video programs
US6415055B1 (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
US6256348B1 (en) Reduced memory MPEG video decoder circuits and methods
JPH10257502A (en) Hierarchical image encoding method, hierarchical image multiplexing method, hierarchical image decoding method and device therefor
US20020039385A1 (en) Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display
US5739862A (en) Reverse playback of MPEG video
JPH10145791A (en) Digital video decoder and method for decoding digital video signal
KR100312421B1 (en) A conversion method of the compressed moving video on the video communication system
US7593463B2 (en) Video signal coding method and video signal encoder
EP0714208B1 (en) Method and system for decoding coded video signals
JP2898413B2 (en) Method for decoding and encoding compressed video data streams with reduced memory requirements
JP3623056B2 (en) Video compression device
KR100364748B1 (en) Apparatus for transcoding video
JPH08237666A (en) Inter-frame band comprssion signal processor
US20040190628A1 (en) Video information decoding apparatus and method
JP2000188760A (en) Method and device for converting video code