JP2001298735A - Low delay video image transmission system - Google Patents

Low delay video image transmission system

Info

Publication number
JP2001298735A
JP2001298735A JP2000113449A JP2000113449A JP2001298735A JP 2001298735 A JP2001298735 A JP 2001298735A JP 2000113449 A JP2000113449 A JP 2000113449A JP 2000113449 A JP2000113449 A JP 2000113449A JP 2001298735 A JP2001298735 A JP 2001298735A
Authority
JP
Japan
Prior art keywords
field
delay
mpeg
decoding
transmission system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000113449A
Other languages
Japanese (ja)
Inventor
Tomonori Ishii
友規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000113449A priority Critical patent/JP2001298735A/en
Publication of JP2001298735A publication Critical patent/JP2001298735A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To solve the problem of delay time caused by compression and decoding processing of a video signal, by reducing the processing time while maintaining reproduced video image quality, in the case that a conventional video transmission system in compliance with the MPEG standards (ISO 13818-2, ISO 11172-2) that are the international standards of video image compression is used for a 2-way application for a video conference or the like. SOLUTION: The low delay video image transmission system is provided with an MPEG coding section 10 consisting of an encode section 11 that encodes a received input video signal while its coding unit is fixed to fields only and generates and outputs an MPEG stream, of a matrix memory 12 that stores the priority of slices and blocks for encoding, and of a VBV delay comparison section 13 and with an MPEG decoder 20 consisting of a decode section 21 that receives and decodes an MPEG stream and outputs decoding end position information, of a field memory 22 that outputs desired supplement data according to the decoding end position information, and of a supplement section 23 that superimposes decoded field data ad the supplement data.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【発明の属する技術分野】本発明は、低遅延映像伝送シ
ステムに関し、特に、MPEG規格に準拠した映像圧縮
における、映像処理の低遅延化に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a low-delay video transmission system, and more particularly to a low-delay video processing in video compression based on the MPEG standard.

【0001】[0001]

【従来の技術】映像圧縮の国際標準であるMPEG規格
(ISO13818-2,ISO11172-2)に準拠した映像伝送システム
を、テレビ会議等の双方向アプリケーションとして用い
る場合、映像信号の圧縮、及び復号処理により生じる遅
延時間が問題となる。この処理時間を短縮する為の方策
として、VBVバッファサイズの削減、双方向予測の禁
止、シンプルプロファイルへの切換等が実用化されてい
る。また、GOP構造を持たないPフレームを連続して
送信するストリーム構成を取ることによって、低遅延化
を実現する方法も考えられるが、シーンチェンジ時等に
予測誤差の増大による著しい画質劣化を引き起こす。こ
れを回避し画質を守る為に、シーンチェンジ検出時に強
制的にIフレームを挿入し、GOP構造を復元する処理
方法も考えられるが、この場合、イントラ符号化による
発生符号量が増大し、低遅延符号化/復号化動作が間に
合わなくなってしまう為、低遅延に対応した復号器でフ
レーム欠落に対する誤り隠蔽処理を行う必要がある。ま
た、低遅延化を行う為のもうひとつの方法としては、M
PEG規格で定められた低遅延モードを用いる方法もあ
り、この場合、符号化器は、符号化/復号化が間に合わ
ないと判断したフレームをスキップすることが許され
る。この場合も、低遅延に対応した復号器は、復号/表
示するフレームの欠落を検出し、誤り隠蔽処理を行う必
要がある。復号器の誤り隠蔽処理としては、直前に復号
したフレームの再表示が現在知られている。
2. Description of the Related Art The MPEG standard which is an international standard for video compression
When a video transmission system conforming to (ISO13818-2, ISO11172-2) is used as a bidirectional application such as a video conference, a delay time caused by a video signal compression and decoding process poses a problem. As measures for reducing the processing time, reduction of the VBV buffer size, prohibition of bidirectional prediction, switching to a simple profile, and the like have been put to practical use. A method of realizing a low delay by adopting a stream configuration for continuously transmitting P frames having no GOP structure is also conceivable. However, when a scene is changed, a significant deterioration in image quality due to an increase in prediction error is caused. In order to avoid this and protect the image quality, a processing method for forcibly inserting an I-frame at the time of detecting a scene change and restoring the GOP structure can be considered, but in this case, the amount of codes generated by intra-encoding increases, and Since the delay encoding / decoding operation cannot be performed in time, it is necessary to perform an error concealment process for a frame loss by a decoder that supports low delay. Another method for reducing the delay is to use M
There is also a method using a low-delay mode defined by the PEG standard. In this case, the encoder is allowed to skip a frame that has been determined to be too late for encoding / decoding. Also in this case, it is necessary for the decoder corresponding to the low delay to detect the loss of the frame to be decoded / displayed and perform the error concealment process. As error concealment processing of a decoder, redisplay of a frame decoded immediately before is currently known.

【0002】[0002]

【発明が解決しようとする課題】現在実用化されている
ようなフレーム単位の符号化処理システムで低遅延を行
おうとした場合、符号化器/復号化器において、符号化
単位であるフレームに基づいて算出されたVBVディレ
イによるバッファ遅延が発生し、低遅延化の律速条件と
なる。また、復号器において、フレームの復号あるいは
表示が間に合わなかった場合の誤り隠蔽処理として、直
前の復号画面を繰り返す方法は、フィールドベースの符
号化/復号化システムにおいては、フィールドの入れ替
わりが生じ、見る者に違和感を感じさせる。
When an attempt is made to achieve a low delay in a frame-based coding processing system that is currently in practical use, an encoder / decoder uses a frame as a coding unit based on a frame. A buffer delay occurs due to the VBV delay calculated in this manner, and the rate-determining condition for reducing the delay occurs. Further, as a method of repeating a previous decoding screen as an error concealment process when decoding or display of a frame is not in time in a decoder, in a field-based encoding / decoding system, field switching occurs, and Makes people feel uncomfortable.

【0003】[0003]

【課題を解決するための手段】この問題を解決する為
に、本発明の請求項1にかかる低遅延映像伝送システム
は、映像信号をMPEG符号化し、MPEGストリーム
を生成するMPEG符号化器と、上記生成されたMPE
Gストリームを復号し、映像信号を再生するMPEG復
号器とを有する、ことを特徴とするものである。本発明
の請求項2にかかる低遅延映像伝送システムは、請求項
1記載の低遅延映像伝送システムにおいて、上記MPE
G符号化器は、入力映像信号を符号化単位をフィールド
のみに固定して符号化し、MPEGストリームを生成し
て出力する低遅延出力を行う、フィールド固定符号化,
エンコード部を有する、ことを特徴とするものである。
In order to solve this problem, a low-delay video transmission system according to claim 1 of the present invention comprises: an MPEG encoder for encoding a video signal to generate an MPEG stream; MPE generated above
And an MPEG decoder for decoding the G stream and reproducing the video signal. The low-delay video transmission system according to claim 2 of the present invention is the low-delay video transmission system according to claim 1, wherein the MPE
The G encoder encodes the input video signal by fixing the encoding unit to only the field, generates an MPEG stream, and performs low-delay output for outputting the MPEG stream.
It has an encoding part.

【0004】本発明の請求項3にかかる低遅延映像伝送
システムは、請求項1記載の低遅延映像伝送システムに
おいて、上記MPEG符号化器は、入力映像信号を符号
化単位をフィールドのみに固定して符号化し、MPEG
ストリームを生成して出力する低遅延出力を行い、か
つ、MPEG符号化を行う過程において符号化対象のフ
ィールドに対するVBVディレイ値を計算し、これを現
在のVBVディレイ値として出力するエンコード部、を
有する、ことを特徴とするものである。
According to a third aspect of the present invention, there is provided the low-delay video transmission system according to the first aspect, wherein the MPEG encoder fixes the input video signal to a coding unit of only a field. MPEG
An encoder for calculating a VBV delay value for a field to be encoded in the process of performing MPEG encoding, performing a low delay output for generating and outputting a stream, and outputting the calculated VBV delay value as a current VBV delay value; It is characterized by the following.

【0005】本発明の請求項4にかかる低遅延映像伝送
システムは、請求項3に記載の低遅延映像伝送システム
において、上記MPEG符号化器は、さらに、上記エン
コード部で符号化を行う際のスライス、ブロック等の優
先度を記憶するマトリクスメモリと、上記エンコード部
から出力される現在のVBVディレイ値と、外部から指
定されるVBVディレイ上限値とを比較するVBVディ
レイ比較部と、を有する、ことを特徴とするものであ
る。
According to a fourth aspect of the present invention, there is provided the low-delay video transmission system according to the third aspect, wherein the MPEG encoder further includes: A matrix memory for storing priorities of slices, blocks, and the like; and a VBV delay comparing unit for comparing a current VBV delay value output from the encoding unit with an externally specified VBV delay upper limit value. It is characterized by the following.

【0006】本発明の請求項5にかかる低遅延映像伝送
システムは、請求項3または4に記載の低遅延映像伝送
システムにおいて、上記MPEG符号化器のエンコード
部は、さらに、外部から入力されるフィールド閉鎖命令
を受けたとき、現在符号化中のフィールドの符号化を最
小符号化単位で中断し、符号化が完了した部分のみをM
PEGシンタックスを整えた上でMPEGストリームと
して出力するフィールド閉鎖動作、上記フィールドの符
号化を中断したときに符号化出来なかった範囲がフィー
ルドのどこにあたるかの情報と当該フィールドの種別と
を、優先度情報として外部に出力する中断情報出力動
作、外部または内部の記憶手段に記憶された上記優先度
情報に従って、フィールド内の範囲の上記符号化できな
かった部分を優先的に符号化する優先度付きフィールド
符号化動作、及び、MPEG規格に準拠して入力映像信
号を符号化し、MPEGストリームとして出力するMP
EGストリーム出力動作、を行うことを特徴とするも
の、としたものである。
A low-delay video transmission system according to a fifth aspect of the present invention is the low-delay video transmission system according to the third or fourth aspect, wherein the encoding unit of the MPEG encoder is further externally input. When a field closing command is received, the coding of the field currently being coded is suspended in the minimum coding unit, and only the portion where the coding is completed is M
A field closing operation of outputting an MPEG stream after adjusting the PEG syntax, giving priority to the information on where the range that could not be encoded when the encoding of the field was interrupted falls within the field and the type of the field. Interrupt information output operation to output to the outside as degree information, with priority to preferentially encode the unencoded portion of the range in the field according to the priority information stored in the external or internal storage means Field encoding operation and MP for encoding an input video signal in accordance with the MPEG standard and outputting it as an MPEG stream
An EG stream output operation is performed.

【0007】本発明の請求項6にかかる低遅延映像伝送
システムは、請求項1ないし5のいずれかに記載の低遅
延映像伝送システムにおいて、上記MPEG復号器は、
上記MPEGストリームを受信しデコードを行うととも
に、復号完了位置情報を出力するデコード部と、上記復
号完了位置情報に従って、所望の補完データを出力する
フィールドメモリと、上記復号フィールドデータと上記
補完データとを重畳する補完部と、を有する、ことを特
徴とするものである。
A low-delay video transmission system according to claim 6 of the present invention is the low-delay video transmission system according to any one of claims 1 to 5, wherein the MPEG decoder comprises:
A decoding unit that receives and decodes the MPEG stream and outputs decoding completion position information, a field memory that outputs desired complementary data according to the decoding completion position information, and a decoding unit that decodes the decoding field data and the complementing data. And a complementary unit for superimposition.

【0008】本発明の請求項7にかかる低遅延映像伝送
システムは、請求項6に記載の低遅延映像伝送システム
において、上記MPEG復号器のデコード部は、さら
に、符号化がスキップされたフィールド、及び途中まで
符号化された不完全なフィールドを検出する不完全フィ
ールド検出動作、MPEGストリームが不完全に符号化
されたフィールドを含んでいた場合に復号可能な部分の
みを復号し、復号フィールドデータとして出力する不完
全フィールド復号動作、MPEGストリームが不完全に
符号化されたフィールドを含んでいた場合に復号可能な
部分のみを復号し、復号が出来なかった範囲の位置情報
とフィールド種別とを含んだ復号完了位置情報として出
力する復号完了位置情報出力動作、及び、入力されたM
PEGストリームをMPEG規格に準拠して復号する復
号動作、を行うものである、ことを特徴とするものであ
る。
According to a seventh aspect of the present invention, there is provided the low-delay video transmission system according to the sixth aspect, wherein the decoding unit of the MPEG decoder further comprises: And an incomplete field detection operation for detecting an incompletely coded incomplete field, decoding only a decodable part when the MPEG stream includes an incompletely coded field, and Incomplete field decoding operation to output, decoding only the decodable part when the MPEG stream contains incompletely coded fields, including the position information and field type of the undecodable range A decoding completion position information output operation for outputting as decoding completion position information;
A decoding operation for decoding a PEG stream in accordance with the MPEG standard.

【0009】本発明の請求項8にかかる低遅延映像伝送
システムは、請求項7に記載の低遅延映像伝送システム
において、上記フィールドメモリは、再生映像信号をフ
ィールド毎に分離できる形で記憶し、入力された上記復
号完了位置情報からフィールド種別の特定と、復号出来
なかった範囲の決定とを行い、予め記憶された記憶内容
から、上記フィールド種別に一致するフィールド記憶デ
ータ中の上記復号できなかった範囲に一致する部分のデ
ータを取り出し、補完データとして出力するものであ
る、ことを特徴とするものである。
According to an eighth aspect of the present invention, there is provided a low-delay video transmission system according to the seventh aspect, wherein the field memory stores the reproduced video signal in a form capable of being separated for each field, The field type is specified from the input decoding completion position information and the range in which decoding was not possible is determined. From the storage contents stored in advance, the decoding in the field storage data matching the field type was not performed. It is characterized in that data of a portion that matches the range is extracted and output as complementary data.

【0010】本発明の請求項9にかかる低遅延映像伝送
システムは、請求項8に記載の低遅延映像伝送システム
において、上記補完部は、部分的に復号された復号フィ
ールドデータである上記復号フィールドデータと、上記
フィールドメモリから読み出した上記補完データとか
ら、完全なフィールドの再生映像信号を生成するもので
ある、ことを特徴とするものである。これらの構成によ
り、映像圧縮の国際標準であるMPEG規格に準拠した
映像伝送システムを用いてテレビ会議等の双方向アプリ
ケーションを構成する場合に問題となる処理遅延時間
を、符号化器でのフィールド固定での符号化、さらに
は、VBVディレイ上限値を設定しての符号化打ち切り
(フィールド閉鎖)と、復号器での不完全フィールド検
出、及びフィールド補完処理とを用いて可変することに
より、該処理遅延時間を再生映像品質の劣化を最小限に
保ったままで短縮することが可能となる。また、符号化
単位を低遅延化を達成する目的でフィールドに固定する
ことにより、細かい時間間隔で符号化を行うことが出
来、VBVディレイに起因する符号化器/復号器で生じ
るバッファ遅延を一層短くすることが出来、また符号化
器の後段に置くシステムエンコーダにおける処理遅延も
符号化単位の細分化によって削減することができる。
[0010] According to a ninth aspect of the present invention, in the low delay video transmission system according to the eighth aspect of the present invention, the complementary section may be partially decoded field data. A complete field reproduction video signal is generated from the data and the complementary data read from the field memory. With these configurations, the processing delay time, which is a problem when a two-way application such as a video conference is configured using a video transmission system compliant with the MPEG standard, which is the international standard for video compression, can be fixed by a field in the encoder , And further, the coding is terminated by setting the upper limit of the VBV delay.
By using (field closure), incomplete field detection in the decoder, and field complementation processing, the processing delay time can be reduced while minimizing the degradation of playback video quality. Becomes Also, by fixing the coding unit to a field for the purpose of achieving a low delay, coding can be performed at fine time intervals, and the buffer delay generated in the encoder / decoder due to the VBV delay can be further reduced. This can be shortened, and the processing delay in the system encoder placed downstream of the encoder can be reduced by subdividing the coding units.

【0011】また、本発明にかかる低遅延映像伝送シス
テムは、従来のVBVバッファサイズの削減や、双方向
予測の禁止等の手段と併用してこれを用いることが可能
であり、上記符号化単位の細分化によって、再生映像品
質の劣化を最小限に保ったままで、処理遅延時間の短縮
を実現することが可能となる
Further, the low-delay video transmission system according to the present invention can be used in combination with the conventional means for reducing the VBV buffer size and prohibiting bidirectional prediction. Makes it possible to reduce the processing delay time while minimizing the degradation of the playback video quality

【0012】さらに、本発明にかかる低遅延映像伝送シ
ステムは、低遅延化の為に復号が間に合わなくなる状態
をも検出するもので、この為に、更にVBVディレイの
上限を指定することにより、予め復号器に無駄なデータ
を送ることが避けられ、また符号化器においても、無駄
な処理を中断して次の処理にかかることが可能となる。
Further, the low-delay video transmission system according to the present invention also detects a state in which decoding cannot be performed in time due to low delay. For this purpose, the upper limit of the VBV delay is specified in advance. It is possible to avoid sending useless data to the decoder, and it is also possible for the encoder to interrupt the useless processing and start the next processing.

【0013】以上要するに、本発明は、入力された入力
映像信号を、符号化単位をフィールドのみに固定して符
号化し、MPEGストリームを生成して出力するエンコ
ード部と、符号化を行うスライスやブロックの優先度を
記憶するマトリクスメモリと、VBVディレイ比較部
と、から構成されるMPEG符号化部と、MPEGスト
リームを受信しデコードを行うとともに、復号完了位置
情報を出力するデコード部と、復号完了位置情報に従っ
て所望の補完データを出力するフィールドメモリと、復
号フィールドデータと補完データとを重畳する補完部
と、から構成されるMPEG復号化器とを有するもので
ある。
In summary, the present invention provides an encoding section for encoding an input video signal by fixing the encoding unit to only fields, generating and outputting an MPEG stream, and a slice or block for encoding. An MPEG encoding unit composed of a matrix memory for storing the priority of the MPEG-2 stream, a VBV delay comparing unit, a decoding unit for receiving and decoding the MPEG stream and outputting decoding completion position information, It has an MPEG decoder composed of a field memory for outputting desired complementary data according to information, and a complementer for superimposing decoded field data and complementary data.

【0014】この構成によって、エンコード部に注入さ
れた入力映像信号は、符号化単位をフィールドに固定さ
れた上でMPEG規格に準拠して符号化される。エンコ
ード部は指定されたVBVバッファサイズを基に、フィ
ールド単位でのMPEG符号化を行う過程を通じてVB
Vディレイ値を積算し、現在のVBVディレイ値として
VBVディレイ比較部に出力する。また、エンコード部
はマトリクスメモリから読み出した優先度情報に従っ
て、優先度の高いフィールド内のデータ部分を優先的に
符号化する。VBV比較部は指定されたVBVディレイ
上限値と、エンコード部から通知される現在のVBVデ
ィレイ値とを逐次比較し、両者が一致した場合は符号化
器に対してフィールド閉鎖命令を発行する。フィールド
閉鎖命令を受けたエンコード部はその時点で符号化して
いる最小符号化単位(スライス、マクロブロック等)を
最後に符号化処理を打ち切り、フィールドデータとして
のMPEGシンタックスを整えた上でMPEGストリー
ムとして出力する。これにより、符号化器は低遅延時間
でMPEGストリームを生成できるとともに、MPEG
復号器での復号化処理において復号時間が不足するフィ
ールドデータの出力を概ね抑えることができる。またエ
ンコード部はマトリクスメモリ上の不完全フィールドと
なった為に符号化されなかった最小符号化単位の位置や
範囲とフィールド種別を含んだ情報をマトリクスメモリ
に出力し、マトリクスメモリはこれを記憶する。これは
続く符号化処理における当該部分の符号化優先度を上げ
る為に利用され復号器での再生映像信号の品質劣化を防
止する。すなわち、MPEG復号器はデコード部とフィ
ールドメモリと補完部23とから構成され、デコード部
は入力されたMPEGストリームに対しMPEG規格に
従ってフィールドを復号し再生映像信号として出力する
処理を繰り返す。但し、処理過程で復号が間に合わない
場合にはその時点で復号を諦め、復号が完了した最後の
スライス迄の復号データを復号フィールドデータとして
補完部に出力するとともに、フィールドメモリに対して
復号が完了した範囲とトップフィールド、ボトムフィー
ルドの区別とを含む復号完了位置情報を出力してフィー
ルドメモリに記憶されている復号完了した過去のフィー
ルドデータの読み出しをかける。またデコード部はMP
EGストリーム中にフィールドがスキップされているこ
とを検出した場合にも復号完了位置をフィールド全体と
する復号完了位置情報とフィールド種別からなる復号完
了位置情報とをフィールドメモリに対して出力し、記憶
されている同種類のフィールド用の記憶データを読み出
す。フィールドメモリは補完部から出力される再生フィ
ールドデータをトップフィールドとボトムフィールドに
分離できる形で記憶するとともに、デコード部から復号
完了位置情報が出力された場合には復号完了位置情報か
らフィールド種別と復号できていない範囲がどこである
かとを検出し、記憶された同種フィールド用のフィール
ドデータ中の該当する範囲のデータを読み出し、補完部
に出力する。補完部はデコード部から出力される復号フ
ィールドデータとフィールドメモリから出力される補完
データとを組み合わせて完全なフィールド信号としたも
のを再生映像信号として出力する。表示装置は、MPE
G復号器から出力される再生映像信号を表示する。
With this configuration, the input video signal injected into the encoding unit is encoded according to the MPEG standard after the encoding unit is fixed to a field. The encoding unit encodes the VBV through a process of performing MPEG encoding in field units based on the designated VBV buffer size.
The V delay value is integrated and output to the VBV delay comparing section as the current VBV delay value. Further, the encoding unit preferentially encodes a data portion in a high priority field according to the priority information read from the matrix memory. The VBV comparison unit sequentially compares the designated VBV delay upper limit value and the current VBV delay value notified from the encoding unit, and issues a field closing instruction to the encoder when the two match. Upon receiving the field closing instruction, the encoding unit terminates the encoding process at the end of the minimum encoding unit (slice, macroblock, etc.) currently encoded, prepares the MPEG syntax as field data, and outputs the MPEG stream. Output as This allows the encoder to generate an MPEG stream with low delay time,
In the decoding process in the decoder, the output of the field data for which the decoding time is insufficient can be substantially suppressed. The encoding unit outputs to the matrix memory information including the position and range of the minimum coding unit and the field type that have not been coded due to the incomplete field on the matrix memory, and the matrix memory stores the information. . This is used to increase the encoding priority of the relevant part in the subsequent encoding processing, and prevents the quality of the reproduced video signal from being degraded at the decoder. That is, the MPEG decoder includes a decoding unit, a field memory, and a complementing unit 23, and the decoding unit repeats a process of decoding a field with respect to an input MPEG stream according to the MPEG standard and outputting it as a reproduced video signal. However, if the decoding cannot be completed in the process, the decoding is abandoned at that point, and the decoded data up to the last slice where decoding is completed is output to the complementing section as decoded field data, and decoding is completed in the field memory. The decoding completion position information including the extracted range and the distinction between the top field and the bottom field is output, and the decoding-completed past field data stored in the field memory is read. The decoding unit is MP
Even when it is detected that the field is skipped in the EG stream, the decoding completion position information including the decoding completion position as the whole field and the decoding completion position information including the field type are output to the field memory and stored. The stored data for the same type of field is read out. The field memory stores the reproduction field data output from the complement unit in a form that can be separated into a top field and a bottom field, and when decoding completion position information is output from the decoding unit, decodes the field type and decoding from the decoding completion position information. It detects where the unsuccessful range is, reads out the data of the corresponding range in the stored field data for the same type of field, and outputs the data to the complementing unit. The complementing unit combines the decoded field data output from the decoding unit with the complementary data output from the field memory to output a complete field signal as a reproduced video signal. The display device is MPE
The reproduced video signal output from the G decoder is displayed.

【0015】[0015]

【発明の実施の形態】(実施の形態1)以下、本発明の
請求項1に対応する実施の形態1による低遅延映像伝送
システムについて、図1、図2、図3、図4を参照しな
がら説明する。MPEG符号化器10に入力された入力
映像信号aは、エンコード部11でMPEG規格に準拠
して圧縮され、MPEGストリームbが生成されるが、
このとき符号化単位は、フィールドに固定される。この
際、更に低遅延化の効果を大きくする為に、VBVディ
レイの最大値に関与するVBVバッファサイズの指定を
小さい適当な値、例えば規格最大値の35%に設定し、
且つ双方向予測を禁止したほうが良い。さらに、図2
(a)に示すように、VBVディレイ上限値dを、適当
な値、例えば上記設定したVBVバッファサイズから導
かれる最大値の50%、に設定する。エンコード部11
は、各入力フィールドに対して符号化処理を行う過程
で、現在のVBVディレイ値cを算出し、VBVディレ
イ比較部13に送る。VBVディレイ比較部13は、エ
ンコード部11から逐次送られてくる現在のVBVディ
レイ値cを、上記予め設定したVBVディレイ上限値d
と比較し、図2(b)に示すように、両者が一致した場
合にのみ、フィールド閉鎖命令eをエンコード部11に
送る。
(Embodiment 1) Hereinafter, a low-delay video transmission system according to Embodiment 1 of the present invention will be described with reference to FIGS. 1, 2, 3, and 4. FIG. I will explain it. The input video signal a input to the MPEG encoder 10 is compressed by the encoding unit 11 according to the MPEG standard to generate an MPEG stream b.
At this time, the coding unit is fixed to the field. At this time, in order to further increase the effect of reducing the delay, the designation of the VBV buffer size related to the maximum value of the VBV delay is set to a small appropriate value, for example, 35% of the standard maximum value.
It is better to prohibit bidirectional prediction. Further, FIG.
As shown in (a), the VBV delay upper limit value d is set to an appropriate value, for example, 50% of the maximum value derived from the set VBV buffer size. Encoding unit 11
Calculates the current VBV delay value c and sends it to the VBV delay comparison unit 13 in the process of performing the encoding process on each input field. The VBV delay comparator 13 compares the current VBV delay value c sequentially transmitted from the encoder 11 with the preset VBV delay upper limit d.
The field closing instruction e is sent to the encoding unit 11 only when they match with each other as shown in FIG.

【0016】図2(c)に示すように、フィールド閉鎖
命令eを受信したエンコード部11は、その時点で符号
化している適切な符号化単位、例えばスライス単位,の
符号化を完了した時点で、符号化処理を打ち切り、フィ
ールドとしてのMPEGシンタックスを調整し、図2
(d)に示すように、MPEGストリームbとして送出
する。このとき、当該フィールド部分のMPEGデータ
に含まれるべきスライスデータは、途中までしか存在せ
ず、フィールド構造が閉じられて、次のフィールドのヘ
ッダとなる。もちろん、符号発生量が少なく、VBVデ
ィレイ上限値dに達しないままフィールドの符号化が完
了した場合は、フィールド閉鎖命令eは発行されず、フ
ィールドとして完全なものとなる。符号化打ち切りが発
生した場合、符号化されなかった部分のデータは送信さ
れない為、これが度重なると、復号化器20における予
測誤差が増大し、画質劣化の原因となる。これを防ぐ
為、マトリクスメモリ12による優先度付き符号化を行
う。マトリクスメモリ12は、トップフィールド、ボト
ムフィールドとして認識できる形態で、フィールドの位
置情報を記憶する。符号化打ち切りが発生すると、エン
コード部11は、フィールド中で符号化が完了した位置
と、フィールド種別とを、マトリクスメモリ12に送
る。マトリクスメモリ12では、図3に示すように、こ
の情報に従って送出されなかった3つのスライス位置に
チェックが入れられ、これらのスライスの符号化優先度
が上げられる。エンコード部11は、符号化開始時にマ
トリクスメモリ12から優先度情報fを読み取り、優先
度の高いスライスを出来るだけ符号化できるように、フ
ィールド内の符号化構成を調整する。MPEG復号化器
20に印加されたMPEGストリームbは、デコード部
21においてMPEG規格に準拠して、復号化処理が施
される。MPEGストリーム中に復号化対象となるフィ
ールドを再生する為の完全なスライスデータが存在すれ
ば、従来の復号化器として動作し、再生映像信号として
表示装置等30に出力する。また、再生映像信号を出力
する際、フィールドメモリ22の該当フィールドの信号
を記憶している領域に再生されたフィールドのデータを
記憶する。もし、復号処理中に不完全な状態で閉じられ
ているフィールドや、スキップされているフィールドを
シンタックス的に検出すると、フィールド補完処理を開
始する。デコード部21は復号可能な部分のみを復号
し、復号フィールドデータgとして補完部23に送り、
復号出来なかった範囲とフィールド種別を、復号完了位
置情報hとしてフィールドメモリ22に送る。フィール
ドメモリ22は、デコード部21において復号を諦めた
部分のデータを、どこから読み出すべきかを、復号完了
位置情報hから決定し、補完データiを読み出し、補完
部23に送る。補完部23はデコード部20から受け取
った復号フィールドデータgを、フィールドメモリ22
から受け取った補完データiで補完し、1枚の完全なフ
ィールドとして出力する。またこのとき、上記と同様
に、フィールドメモリ22上の適切な位置に、出力デー
タ(再生映像信号j)を格納記憶して、続くフィールド
補完処理で利用出来るようにする。また、もうひとつの
例は、MPEG符号化器10から送られてきたフィール
ドデータは完全であるが、復号処理に時間を要する為
に、規定のVBVディレイで復号しても表示が間に合わ
ない場合である。この場合も、MPEG復号化器20
は、上記と同様のフィールド補完処理を行い、再生映像
信号jの品質を確保する。不完全フィールドに対する補
完の模様を、図4に示す。
As shown in FIG. 2C, when the encoding unit 11 receives the field closing command e, the encoding unit 11 completes the encoding of the appropriate encoding unit currently encoded, for example, the slice unit. , The encoding process was terminated, and the MPEG syntax as a field was adjusted.
As shown in (d), it is transmitted as an MPEG stream b. At this time, the slice data to be included in the MPEG data of the field portion exists only halfway, and the field structure is closed to become the header of the next field. Of course, if the encoding of the field is completed without reaching the VBV delay upper limit value d and the code generation amount is small, the field closing instruction e is not issued and the field becomes complete. When the coding is aborted, the data of the uncoded portion is not transmitted. Therefore, if this is repeated, the prediction error in the decoder 20 increases, which causes image quality deterioration. To prevent this, encoding with priority by the matrix memory 12 is performed. The matrix memory 12 stores field position information in a form that can be recognized as a top field and a bottom field. When the coding is discontinued, the encoding unit 11 sends the position in the field where the coding is completed and the field type to the matrix memory 12. In the matrix memory 12, as shown in FIG. 3, a check is made on three slice positions that have not been transmitted according to this information, and the encoding priority of these slices is raised. The encoding unit 11 reads the priority information f from the matrix memory 12 at the start of encoding, and adjusts the encoding configuration in the field so that a slice with a high priority can be encoded as much as possible. The MPEG stream b applied to the MPEG decoder 20 is subjected to a decoding process in the decoding unit 21 in accordance with the MPEG standard. If there is complete slice data for reproducing the field to be decoded in the MPEG stream, it operates as a conventional decoder and outputs it to the display device 30 as a reproduced video signal. When outputting a reproduced video signal, the reproduced field data is stored in an area of the field memory 22 where the signal of the corresponding field is stored. If a partially closed field or a skipped field is syntactically detected during the decoding process, the field complementing process is started. The decoding unit 21 decodes only the decodable part and sends it to the complementing unit 23 as decoded field data g.
The range and field type that could not be decoded are sent to the field memory 22 as decoding completion position information h. The field memory 22 determines from the decoding completion position information h where to read the data of the part that has given up decoding in the decoding unit 21, reads the complementary data i, and sends it to the complementing unit 23. The complementing unit 23 stores the decoded field data g received from the decoding unit 20 in the field memory 22.
And completes with the supplementary data i received from the server and outputs it as one complete field. At this time, similarly to the above, the output data (reproduced video signal j) is stored and stored at an appropriate position on the field memory 22 so that it can be used in the subsequent field complementing process. Another example is a case where the field data sent from the MPEG encoder 10 is complete, but the decoding process takes time, so that the display cannot be made in time even if decoding is performed with a specified VBV delay. is there. Also in this case, the MPEG decoder 20
Performs the same field complementing process as described above to ensure the quality of the reproduced video signal j. FIG. 4 shows a pattern of complementation for an incomplete field.

【0017】図4では簡単の為、ボトムフィールドを省
略してあるが、実際には、通常、トップフィールドとボ
トムフィールドが交互に現れる為、時間的には1つ飛ば
しとなっている。図4(a)のPフィールド1は、1行
目のスライスがイントラ符号化されたが、4行目のスラ
イス符号化中にフィールド閉鎖命令eが発行された為、
4行目のスライスの符号化完了と同時に、Pフィールド
1は強制的に閉じられ、5〜7行目のスライスは符号化
されない不完全フィールドとして送信されたものであ
る。この為、図4(b)に示すマトリクスメモリ12の
該当位置(5〜7行目のスライス位置)にチェックが入
れられ、優先度が1だけ上げられる。このとき、図4
(c)に示すMPEG復号化器20の出力である再生映
像信号jのPフィールド1は、スライス5〜7に対して
フィールドメモリ22の該当位置から検索され読み出さ
れた補完データiによって補完される。次のPフィール
ド2では、2行目のスライスをイントラ符号化せずに、
マトリクスメモリ22の優先度情報fに従ってスライス
5からイントラ符号化を開始するが、6行目のスライス
を符号化中にフィールド閉鎖命令eを受けた為、6行目
のスライスの符号化完了と同時に、Pフィールド2は強
制的に閉じられ、7行目のスライスは符号化されない不
完全フィールドとして送信されたものである。これを反
映して、マトリクスメモリ22上のスライス5〜6のチ
ェックは削除され、代わりに、符号化出来なかった7行
目のスライス位置に、再び、チェックが入れられ、優先
度が更に1だけ上げられる。次のPフィールド3は、完
全なフィールドとして符号化可能であった為、マトリク
スメモリ22のチェックは全て削除された状態となる。
次に、符号化されるPフィールド4は、マトリクスメモ
リ22が空の為、Pフィールド1に続く位置のイントラ
符号化を継続すれば良い。
Although the bottom field is omitted in FIG. 4 for simplicity, in practice, the top field and the bottom field usually appear alternately, so that one is skipped in time. In the P field 1 in FIG. 4A, the slice in the first row is intra-coded, but the field closing instruction e is issued during the slice coding in the fourth row.
Simultaneously with the completion of the encoding of the slice in the fourth row, the P field 1 is forcibly closed, and the slices in the fifth to seventh rows are transmitted as incomplete fields that are not encoded. Therefore, the corresponding position (the slice position on the fifth to seventh rows) of the matrix memory 12 shown in FIG. 4B is checked, and the priority is increased by one. At this time, FIG.
The P field 1 of the reproduced video signal j which is the output of the MPEG decoder 20 shown in (c) is complemented by the complementary data i retrieved and read from the corresponding position in the field memory 22 for the slices 5 to 7. You. In the next P field 2, the slice in the second row is not intra-coded,
Intra-coding is started from slice 5 in accordance with the priority information f of the matrix memory 22, but since the field closing instruction e is received while coding the slice in the sixth row, the coding of the slice in the sixth row is completed at the same time. , P field 2 are forcibly closed, and the slice in the seventh row is transmitted as an uncoded incomplete field. Reflecting this, the check of the slices 5 to 6 on the matrix memory 22 is deleted, and instead, the slice position of the 7th row that could not be coded is checked again, and the priority is further reduced by one. Can be raised. Since the next P field 3 can be encoded as a complete field, all the checks in the matrix memory 22 are deleted.
Next, in the P field 4 to be encoded, since the matrix memory 22 is empty, the intra encoding at the position following the P field 1 may be continued.

【0018】このように本実施の形態1による低遅延映
像伝送システムは、システム構成要素として、MPEG
符号化器と、MPEG復号器とを有し、上記MPEG符
号化器によって生成されるMPEGストリームを、上記
MPEG復号器で復号する構成としたものである。すな
わち、エンコード部11に入力された入力映像信号は符
号化単位をフィールドに固定した上でMPEG規格に準
拠して符号化し、その際エンコード部11は指定された
VBVバッファサイズを基にフィールド単位でのMPE
G符号化を行う過程を通じてVBVディレイ値を積算し
て現在のVBVディレイ値としてVBVディレイ比較部
13に出力し、またエンコード部11はマトリクスメモ
リ12から読み出した優先度情報に従って優先度の高い
フィールド内のデータ部分を優先的に符号化し、VBV
比較部13は指定されたVBVディレイ上限値とエンコ
ード部11から通知される現在のVBVディレイ値とを
逐次比較して両者が一致した場合は符号化器11に対し
てフィールド閉鎖命令を発行し、フィールド閉鎖命令を
受けたエンコード部11はその時点で符号化しているス
ライス、マクロブロック等の最小符号化単位を最後に符
号化処理を打ち切り、フィールドデータとしてのMPE
Gシンタックスを整えた上でMPEGストリームとして
出力するものとしたもので、これにより、符号化器10
は低遅延時間でMPEGストリームを生成できるととも
に、MPEG復号器20での復号化処理において復号時
間が不足するフィールドデータの出力を概ね抑えること
ができる。またエンコード部11はマトリクスメモリ1
2上の不完全フィールドとなった為に符号化されなかっ
た最小符号化単位の位置や範囲とフィールド種別を含ん
だ情報をマトリクスメモリ12に出力し、マトリクスメ
モリ12はこれを記憶し、これを続く符号化処理におけ
る当該部分の符号化優先度を上げる為に利用することに
より、復号器での再生映像信号の品質劣化の防止を図る
ことができる。即ち、デコード部21とフィールドメモ
リ22と補完部23とから構成されるMPEG復号器2
0においては、デコード部21は入力されたMPEGス
トリームに対しMPEG規格に従ってフィールドを復号
し再生映像信号として出力する処理を繰り返し、但し処
理過程で復号が間に合わない場合にはその時点で復号を
諦め、復号が完了した最後のスライス迄の復号データを
復号フィールドデータとして補完部23に出力するとと
もに、フィールドメモリ22に対して、復号が完了した
範囲、及びトップフィールド、ボトムフィールドの区別
を含む復号完了位置情報を出力してフィールドメモリ2
2に記憶されている復号完了した過去のフィールドデー
タの読み出しを行い、またデコード部21はMPEGス
トリーム中にフィールドがスキップされていることを検
出した場合にも、復号完了位置をフィールド全体とする
復号完了位置情報、及びフィールド種別からなる復号完
了位置情報をフィールドメモリ22に対して出力し、記
憶されている同種類のフィールド用の記憶データを読み
出し、フィールドメモリ22は、補完部23から出力さ
れる再生フィールドデータをトップフィールドとボトム
フィールドに分離できる形で記憶するとともに、デコー
ド部21から復号完了位置情報が出力された場合には復
号完了位置情報からフィールド種別、及び復号できてい
ない範囲がどこであるか、を検出し、記憶された同種フ
ィールド用のフィールドデータ中の該当する範囲のデー
タを読み出して補完部23に出力するようにし、補完部
23はデコード部21から出力される復号フィールドデ
ータとフィールドメモリ22から出力される補完データ
とを組み合わせて完全なフィールド信号としたものを再
生映像信号として出力し、表示装置30はMPEG復号
器20から出力される再生映像信号を表示するものであ
り、これにより、上述したように、復号器での再生映像
信号の品質劣化を防止することができる。
As described above, the low-delay video transmission system according to the first embodiment uses MPEG as a system component.
It has an encoder and an MPEG decoder, and is configured to decode the MPEG stream generated by the MPEG encoder with the MPEG decoder. That is, the input video signal input to the encoding unit 11 is encoded in accordance with the MPEG standard after the encoding unit is fixed to a field, and at that time, the encoding unit 11 performs the encoding on a field basis based on the specified VBV buffer size. MPE
Through the process of performing G encoding, the VBV delay value is integrated and output as the current VBV delay value to the VBV delay comparing unit 13. The encoding unit 11 stores the high-priority field in the high-priority field according to the priority information read from the matrix memory 12. , The data part is encoded with priority, and VBV
The comparing unit 13 sequentially compares the specified VBV delay upper limit value and the current VBV delay value notified from the encoding unit 11 and issues a field closing instruction to the encoder 11 when both match, Upon receiving the field closing instruction, the encoding unit 11 terminates the encoding process at the end of the minimum encoding unit such as a slice or a macroblock which is being encoded at that time, and outputs the MPE as field data.
After the G syntax has been adjusted, the stream is output as an MPEG stream.
Can generate an MPEG stream with a low delay time, and can substantially suppress the output of field data for which the decoding time is insufficient in the decoding process in the MPEG decoder 20. The encoding unit 11 is a matrix memory 1
2 and outputs the information including the position and range of the minimum coding unit and the field type which have not been coded due to the incomplete field on the matrix memory 12, and the matrix memory 12 stores the information. By using it to raise the encoding priority of the part in the subsequent encoding process, it is possible to prevent the quality of the reproduced video signal from being degraded at the decoder. That is, the MPEG decoder 2 composed of the decoding unit 21, the field memory 22, and the complementing unit 23
0, the decoding unit 21 repeats the process of decoding the input MPEG stream according to the MPEG standard and decoding the field according to the MPEG standard and outputting it as a reproduced video signal. However, if the decoding cannot be completed in the process, the decoding unit gives up decoding at that time. The decoded data up to the last slice for which decoding has been completed is output to the complementing unit 23 as decoded field data, and the decoding completion position including the range in which decoding has been completed and the distinction between the top field and the bottom field are stored in the field memory 22. Output information to field memory 2
The decoding unit 21 reads out the decoded past field data stored in 2 and decodes the decoding completion position as the whole field even when the decoding unit 21 detects that the field is skipped in the MPEG stream. Completion position information and decoding completion position information including a field type are output to the field memory 22, and stored data for the same type of stored field is read out. The field memory 22 is output from the complementing unit 23. The reproduction field data is stored in a form that can be separated into a top field and a bottom field, and when decoding completion position information is output from the decoding unit 21, where is the field type from the decoding completion position information and the range where decoding is not possible? Is detected, and the stored field for the same type of field is detected. The data in the corresponding range in the field data is read out and output to the complementing unit 23. The complementing unit 23 combines the decoded field data output from the decoding unit 21 with the complementary data output from the field memory 22 to complete the data. The display device 30 displays the reproduced video signal output from the MPEG decoder 20 and outputs the reproduced video signal from the MPEG decoder 20 as described above. Signal quality deterioration can be prevented.

【0019】従って、本発明の実施の形態1による低遅
延映像伝送システムにおいては、映像圧縮の国際標準で
あるMPEG規格に準拠した映像伝送システムを用い
て、テレビ会議等の双方向アプリケーションを構成する
場合に問題となる処理遅延時間を、符号化器での、フィ
ールド固定、及びVBVディレイ上限値を設定しての符
号化打ち切りと、復号器での、不完全フィールド検出、
及びフィールド補完処理、とを用いて可変するものとし
たことにより、該処理遅延時間を再生映像品質の劣化を
最小限に保ったままで短縮することが可能となる。ここ
で、MPEG規格では、入力映像信号の動きの激しさに
応じて符号化単位を適応的にフレームからフィールド
へ、またはフィールドからフレームへと切り換えられる
機構があるが、これは、フィールドが激しい動きの映像
の符号化に適している為であり、再生映像品質の向上を
目的とするものであったが、これに鑑みても、上記フィ
ールド固定機能を有することにより、上記処理遅延時間
を再生映像品質の劣化を最小限に保ったまま短縮可能で
あることが可能となるものである
Therefore, in the low-delay video transmission system according to the first embodiment of the present invention, a two-way application such as a video conference is configured using a video transmission system conforming to the MPEG standard which is an international standard for video compression. The processing delay time, which is a problem in such a case, is determined by fixing the field in the encoder, stopping the encoding by setting the VBV delay upper limit, detecting the incomplete field in the decoder,
And the field complementing process, the processing delay time can be reduced while minimizing the degradation of the reproduced video quality. Here, in the MPEG standard, there is a mechanism in which a coding unit can be adaptively switched from a frame to a field or from a field to a frame according to the intensity of the movement of an input video signal. The purpose of this is to improve the quality of the reproduced video because it is suitable for encoding of the video, but in view of this, by having the field fixing function, the processing delay time can be reduced by the reproduction video. It is possible to be able to shorten it while keeping quality deterioration to a minimum

【0020】また、本発明の実施の形態1においては、
符号化器における符号化単位を低遅延化を達成する目的
でフィールドに固定することができ、これにより、フレ
ームベースの約半分の細かい時間間隔で符号化を行うこ
とが出来、VBVディレイに起因する符号化器/復号器
で生じるバッファ遅延を、一層短くすることができ、し
かも、符号化器の後段に、複数のMPEGストリームを
多重伝送したり、パケット化したりする目的で置くシス
テムエンコーダにおける処理遅延も、符号化単位の細分
化によって、削減することができる。
In the first embodiment of the present invention,
The coding unit in the coder can be fixed to the field for the purpose of achieving a low delay, so that the coding can be performed at a fine time interval of about half of the frame base, resulting from the VBV delay. The buffer delay occurring in the encoder / decoder can be further reduced, and the processing delay in the system encoder placed at the subsequent stage of the encoder for the purpose of multiplexing or packetizing a plurality of MPEG streams. Can also be reduced by subdividing the coding units.

【0021】なお、本発明の低遅延映像伝送システムに
おいては、もちろん従来のVBVバッファサイズの削減
や双方向予測の禁止等の手段と相容れないものではな
く、併用することが可能である。特に、従来よりVBV
バッファサイズを指定する方法は存在し、これは復号器
でのバッファ量の適正化の目的で用いられるものであり
VBVディレイの算出に関係するものであったが、この
場合、符号化器はVBVバッファサイズから導かれるV
BVディレイをVBVディレイの最大値として符号化を
行うが、しかしながら、復号器のバッファが適正に処理
される場合でも低遅延という目的の為に復号が間に合わ
ない場合が生じうる。しかし、本発明は、このような場
合にも適用でき、効果を発揮するものである。
The low-delay video transmission system of the present invention is not incompatible with the conventional means for reducing the VBV buffer size and prohibiting bidirectional prediction, and can be used in combination. In particular, VBV
There is a method of specifying the buffer size, which is used for the purpose of optimizing the buffer amount in the decoder and relates to the calculation of the VBV delay. In this case, the encoder uses the VBV delay. V derived from buffer size
Encoding is performed with the BV delay as the maximum value of the VBV delay. However, even if the decoder buffer is properly processed, decoding may not be performed in time for the purpose of low delay. However, the present invention can be applied to such a case and exerts its effects.

【0022】さらに本発明の低遅延映像伝送システム
は、低遅延化の為に復号が間に合わなくなるような場合
にはこれを検出するもので、このためには更にVBVデ
ィレイの上限を指定する必要があるが、このVBVディ
レイの上限の指定により、予め復号器に無駄なデータを
送ることが避けられ、また符号化器においても無駄な処
理を中断し次の処理にかかることが可能となる。またこ
の場合に、符号化器は、中断したフィールドを無条件に
スキップするだけでなく、符号化が完了した時点までの
符号化データを最小符号化単位を単位として送出する構
成とすることができ、復号化器では、不完全な符号化デ
ータを受けた場合に復号可能な部分を復号するととも
に、不足した部分は過去の復号データと組み合わせて表
示する構成とすることができる。
Further, the low-delay video transmission system of the present invention detects a situation in which decoding cannot be performed in time due to a reduction in delay. For this purpose, it is necessary to further specify an upper limit of a VBV delay. However, by specifying the upper limit of the VBV delay, it is possible to avoid sending unnecessary data to the decoder in advance, and to interrupt the unnecessary processing in the encoder and start the next processing. In this case, the encoder can not only skip the interrupted field unconditionally, but also transmit the encoded data up to the time when the encoding is completed in units of the minimum encoding unit. The decoder can be configured to decode a decodable portion when receiving incomplete coded data, and display a deficient portion in combination with past decoded data.

【0023】また復号化器において、フィールドの復号
が間に合わない場合にも復号可能な部分のみを復号し、
不足した部分は過去の復号データと組み合わせて表示す
る構成とすることができる。ここで過去の復号データと
は、既に復号/表示を完了し記憶手段上に記憶している
フィールドデータの内、データの不足したフィールドに
対応した位置の復号データを指す。この場合、フィール
ドメモリから補完されるべきデータは、被補完フィール
ドと同種のフィールドに対応するものでなければならな
いが、この一連の機構によって、フィールドスキップや
不完全フィールドが発生した場合でも、再生画像の違和
感を最小限に抑えることが出来るものである。
In the decoder, even when the field cannot be decoded in time, only the decodable part is decoded,
The missing portion may be displayed in combination with the past decoded data. Here, the past decoded data refers to decoded data at a position corresponding to a field with a lack of data among field data already decoded / displayed and stored in the storage means. In this case, the data to be complemented from the field memory must correspond to the same type of field as the field to be complemented. However, even if a field skip or incomplete field occurs due to this series of Can minimize discomfort.

【0024】[0024]

【発明の効果】以上のように、本発明にかかる低遅延映
像伝送システムによれば、映像圧縮の国際標準であるM
PEG規格に準拠した映像伝送システムを用いてテレビ
会議等の双方向アプリケーションを構成する場合におい
て、映像信号をMPEG符号化し、MPEGストリーム
を生成するMPEG符号化器と、上記生成されたMPE
Gストリームを復号し、映像信号を再生するMPEG復
号器とを有する構成をもち、符号化、及び復号化におけ
る処理遅延時間を、符号化器での、フィールド固定、及
びVBVディレイ上限値を設定しての符号化打ち切り
と、復号器での、不完全フィールド検出、及びフィール
ド補完処理、とを用いて可変するものとしたので、該処
理遅延時間を、再生映像品質の劣化を最小限に保ったま
まで、短縮することが可能となる効果が得られる。
As described above, according to the low-delay video transmission system according to the present invention, M which is an international standard for video compression.
When an interactive application such as a video conference is configured using a video transmission system conforming to the PEG standard, an MPEG encoder that encodes a video signal to generate an MPEG stream, and an MPE generated as described above.
An MPEG decoder for decoding a G stream and reproducing a video signal is provided. The processing delay time in encoding and decoding is set in the encoder, the field is fixed, and the VBV delay upper limit value is set. In this case, the processing delay time is kept to a minimum while maintaining the reproduction video quality at a minimum. The effect that can be shortened is obtained.

【0025】また、本発明にかかる低遅延映像伝送シス
テムによれば、符号化器における符号化単位を、低遅延
化を達成する目的でフィールドに固定することができ、
これにより、細かい時間間隔(フレームベースの約半
分)で符号化を行うことが出来、VBVディレイに起因
する符号化器/復号器で生じるバッファ遅延を一層短く
することが出来、また符号化器の後段に置くシステムエ
ンコーダにおける処理遅延も符号化単位の細分化によっ
て削減することができる。
According to the low-delay video transmission system of the present invention, the coding unit in the encoder can be fixed to a field for the purpose of achieving a low delay.
As a result, encoding can be performed at a fine time interval (about half of the frame base), the buffer delay caused by the encoder / decoder due to the VBV delay can be further reduced, and the encoder can be encoded at a shorter time. The processing delay in the system encoder placed at the subsequent stage can also be reduced by subdividing the coding units.

【0026】また、本発明にかかる低遅延映像伝送シス
テムは、従来のVBVバッファサイズの削減や、双方向
予測の禁止等の手段と併用してこれを用いることが可能
であり、上記符号化単位の細分化によって、再生映像品
質の劣化を最小限に保ったままで、処理遅延時間の短縮
を実現することが可能となる。
Further, the low-delay video transmission system according to the present invention can be used in combination with the conventional means for reducing the VBV buffer size and prohibiting bidirectional prediction. The subdivision makes it possible to reduce the processing delay time while minimizing the degradation of the reproduced video quality.

【0027】また、本発明にかかる低遅延映像伝送シス
テムは、低遅延化の為に復号が間に合わなくなる状態を
も検出するもので、この為に、更にVBVディレイの上
限を指定することにより、予め復号器に無駄なデータを
送ることが避けられ、また符号化器においても、無駄な
処理を中断して次の処理にかかることが可能となる。
The low-delay video transmission system according to the present invention also detects a state in which decoding cannot be performed in time due to a low delay. For this purpose, the upper limit of the VBV delay is further specified by specifying the upper limit of the VBV delay. It is possible to avoid sending useless data to the decoder, and it is also possible for the encoder to interrupt the useless processing and start the next processing.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態1による低遅延映像伝送シ
ステムの構成図。
FIG. 1 is a configuration diagram of a low-delay video transmission system according to a first embodiment of the present invention.

【図2】本発明の実施の形態1による低遅延映像伝送シ
ステムにおける符号化過程を説明する図。
FIG. 2 is a diagram for explaining an encoding process in the low-delay video transmission system according to the first embodiment of the present invention.

【図3】本発明の実施の形態1による低遅延映像伝送シ
ステムにおけるマトリクスメモリを説明する図。
FIG. 3 is a diagram for explaining a matrix memory in the low-delay video transmission system according to the first embodiment of the present invention.

【図4】本発明の実施の形態1による低遅延映像伝送シ
ステムにおける符号化過程、及び復号化過程を説明する
図。
FIG. 4 is a diagram for explaining an encoding process and a decoding process in the low-delay video transmission system according to the first embodiment of the present invention.

【符号の説明】[Explanation of symbols]

10 MPEG符号化器 11 エンコード部 12 マトリクスメモリ 13 VBVディレイ比較部 20 MPEG復号器 21 デコード部 22 フィールドメモリ 23 補完部 30 表示装置 a 入力映像信号 b MPEGストリーム c 現在のVBVディレイ値 d VBVディレイ上限値 e フィールド閉鎖命令 f 優先度情報 g 復号フィールドデータ h 復号完了位置情報 i 補完データ j 再生映像信号 Reference Signs List 10 MPEG encoder 11 Encoding unit 12 Matrix memory 13 VBV delay comparing unit 20 MPEG decoder 21 Decoding unit 22 Field memory 23 Complementary unit 30 Display device a Input video signal b MPEG stream c Current VBV delay value d VBV delay upper limit value e Field closing instruction f Priority information g Decoding field data h Decoding completion position information i Complementary data j Reproduction video signal

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 映像信号をMPEG符号化し、MPEG
ストリームを生成するMPEG符号化器と、 上記生成されたMPEGストリームを復号し、映像信号
を再生するMPEG復号器とを有する、 ことを特徴とする低遅延映像伝送システム。
1. A video signal is MPEG-encoded, and MPEG
A low-delay video transmission system, comprising: an MPEG encoder that generates a stream; and an MPEG decoder that decodes the generated MPEG stream and reproduces a video signal.
【請求項2】 請求項1に記載の低遅延映像伝送システ
ムにおいて、 上記MPEG符号化器は、 入力映像信号を符号化単位をフィールドのみに固定して
符号化し、MPEGストリームを生成して出力する低遅
延出力を行う、フィールド固定符号化,エンコード部を
有する、 ことを特徴とする低遅延映像伝送システム。
2. The low-delay video transmission system according to claim 1, wherein the MPEG encoder encodes the input video signal by fixing an encoding unit to only a field, and generates and outputs an MPEG stream. A low-delay video transmission system, comprising: a field fixed encoding / encoding unit that performs low-delay output.
【請求項3】 請求項1に記載の低遅延映像伝送システ
ムにおいて、 上記MPEG符号化器は、 入力映像信号を符号化単位をフィールドのみに固定して
符号化し、MPEGストリームを生成して出力する低遅
延出力を行い、かつ、MPEG符号化を行う過程におい
て符号化対象のフィールドに対するVBVディレイ値を
計算し、これを現在のVBVディレイ値として出力する
エンコード部、を有する、 ことを特徴とする低遅延映像伝送システム。
3. The low-delay video transmission system according to claim 1, wherein the MPEG encoder encodes the input video signal by fixing an encoding unit to only a field, and generates and outputs an MPEG stream. An encoding unit that calculates a VBV delay value for a field to be encoded in a process of performing low-delay output and performing MPEG encoding, and outputting the calculated VBV delay value as a current VBV delay value. Delayed video transmission system.
【請求項4】 請求項3に記載の低遅延映像伝送システ
ムにおいて、 上記MPEG符号化器は、さらに、 上記エンコード部で符号化を行う際のスライス、ブロッ
ク等の優先度を記憶するマトリクスメモリと、 上記エンコード部から出力される現在のVBVディレイ
値と、外部から指定されるVBVディレイ上限値とを比
較するVBVディレイ比較部と、を有する、 ことを特徴とする低遅延映像伝送システム。
4. The low-delay video transmission system according to claim 3, wherein said MPEG encoder further comprises a matrix memory for storing priorities of slices, blocks, and the like when encoding is performed by said encoding unit. A low-delay video transmission system, comprising: a VBV delay comparing unit that compares a current VBV delay value output from the encoding unit with an externally specified VBV delay upper limit value.
【請求項5】 請求項3または4に記載の低遅延映像伝
送システムにおいて、 上記MPEG符号化器のエンコード部は、さらに、 外部から入力されるフィールド閉鎖命令を受けたとき、
現在符号化中のフィールドの符号化を最小符号化単位で
中断し、符号化が完了した部分のみをMPEGシンタッ
クスを整えた上でMPEGストリームとして出力するフ
ィールド閉鎖動作、 上記フィールドの符号化を中断したときに符号化出来な
かった範囲がフィールドのどこにあたるかの情報と当該
フィールドの種別とを、優先度情報として外部に出力す
る中断情報出力動作、 外部または内部の記憶手段に記憶された上記優先度情報
に従って、フィールド内の範囲の上記符号化できなかっ
た部分を優先的に符号化する優先度付きフィールド符号
化動作、及び、 MPEG規格に準拠して入力映像信号を符号化し、MP
EGストリームとして出力するMPEGストリーム出力
動作、を行うものである、 ことを特徴とする低遅延映像伝送システム。
5. The low-delay video transmission system according to claim 3, wherein the encoding unit of the MPEG encoder further comprises:
Field closing operation of interrupting the encoding of the field currently being encoded in the minimum encoding unit, outputting only the completed portion as an MPEG stream after adjusting the MPEG syntax, and interrupting the encoding of the above fields The interruption information output operation of outputting information as to where in the field the range that could not be coded at the time of performing and the type of the field as priority information to the outside, the priority information stored in the external or internal storage means, Priority field encoding operation for preferentially encoding the unencoded portion of the range in the field according to the degree information, and encoding the input video signal in accordance with the MPEG standard,
And performing an MPEG stream output operation for outputting as an EG stream.
【請求項6】 請求項1ないし5のいずれかに記載の低
遅延映像伝送システムにおいて、 上記MPEG復号器は、 上記MPEGストリームを受信しデコードを行うととも
に、復号完了位置情報を出力するデコード部と、 上記復号完了位置情報に従って、所望の補完データを出
力するフィールドメモリと、 上記復号フィールドデータと上記補完データとを重畳す
る補完部と、を有する、 ことを特徴とする低遅延映像伝送システム。
6. The low-delay video transmission system according to claim 1, wherein the MPEG decoder receives and decodes the MPEG stream, and outputs decoding completion position information. A low-delay video transmission system, comprising: a field memory that outputs desired complementary data according to the decoding completion position information; and a complementing unit that superimposes the decoded field data and the complementary data.
【請求項7】 請求項6に記載の低遅延映像伝送システ
ムにおいて、 上記MPEG復号器のデコード部は、さらに、 符号化がスキップされたフィールド及び途中まで符号化
された不完全なフィールドを検出する不完全フィールド
検出動作、 MPEGストリームが不完全に符号化されたフィールド
を含んでいた場合に復号可能な部分のみを復号し、復号
フィールドデータとして出力する不完全フィールド復号
動作、 MPEGストリームが不完全に符号化されたフィールド
を含んでいた場合に復号可能な部分のみを復号し、復号
が出来なかった範囲の位置情報とフィールド種別とを含
んだ復号完了位置情報として出力する復号完了位置情報
出力動作、及び、 入力されたMPEGストリームをMPEG規格に準拠し
て復号する復号動作、 を行うものである、 ことを特徴とする低遅延映像伝送システム。
7. The low-delay video transmission system according to claim 6, wherein the decoding unit of the MPEG decoder further detects a skipped field and an incomplete field partially encoded. Incomplete field detection operation, Incomplete field decoding operation of decoding only the decodable part when the MPEG stream contains incompletely encoded fields and outputting it as decoded field data, MPEG stream incomplete A decoding completion position information output operation of decoding only a decodable portion when the encoded field is included, and outputting as decoding completion position information including position information and a field type of a range that cannot be decoded, And a decoding operation for decoding the input MPEG stream in accordance with the MPEG standard. A low-delay video transmission system, characterized in that:
【請求項8】 請求項7に記載の低遅延映像伝送システ
ムにおいて、 上記フィールドメモリは、 再生映像信号をフィールド毎に分離できる形で記憶し、
入力された上記復号完了位置情報からフィールド種別の
特定と、復号出来なかった範囲の決定とを行い、 予め記憶された記憶内容から、上記フィールド種別に一
致するフィールド記憶データ中の上記復号できなかった
範囲に一致する部分のデータを取り出し、補完データと
して出力するものである、 ことを特徴とする低遅延映像伝送システム。
8. The low-delay video transmission system according to claim 7, wherein the field memory stores the reproduced video signal in a form that can be separated for each field.
The field type is specified from the inputted decoding completion position information, and the range in which decoding was not possible is determined. From the stored contents stored in advance, the decoding was not performed in the field storage data matching the field type. A low-delay video transmission system for extracting data corresponding to a range and outputting the data as complementary data.
【請求項9】 請求項8に記載の低遅延映像伝送システ
ムにおいて、 上記補完部は、 部分的に復号された復号フィールドデータである上記復
号フィールドデータと、上記フィールドメモリから読み
出した上記補完データとから、完全なフィールドの再生
映像信号を生成するものである、 ことを特徴とする低遅延映像伝送システム。
9. The low-delay video transmission system according to claim 8, wherein the complementing unit comprises: the decoding field data that is partially decoded field data; and the complementing data read from the field memory. A low-delay video transmission system for generating a full-field reproduced video signal from a video signal.
JP2000113449A 2000-04-14 2000-04-14 Low delay video image transmission system Pending JP2001298735A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000113449A JP2001298735A (en) 2000-04-14 2000-04-14 Low delay video image transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000113449A JP2001298735A (en) 2000-04-14 2000-04-14 Low delay video image transmission system

Publications (1)

Publication Number Publication Date
JP2001298735A true JP2001298735A (en) 2001-10-26

Family

ID=18625411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000113449A Pending JP2001298735A (en) 2000-04-14 2000-04-14 Low delay video image transmission system

Country Status (1)

Country Link
JP (1) JP2001298735A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100391252C (en) * 2003-01-14 2008-05-28 三星电子株式会社 Data memory unit for image compressing appts

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100391252C (en) * 2003-01-14 2008-05-28 三星电子株式会社 Data memory unit for image compressing appts

Similar Documents

Publication Publication Date Title
KR100931873B1 (en) Video Signal Encoding/Decoding Method and Video Signal Encoder/Decoder
US8107539B2 (en) Method for error concealment in video sequences
KR100495820B1 (en) Video coding
JP4468800B2 (en) Random access points in video coding
US20120200663A1 (en) Method and Apparatus For Improving The Average Image Refresh Rate in a Compressed Video Bitstream
ZA200208713B (en) Video error resilience.
JP2002158969A (en) Moving image encoded data converter and its method
US7924916B2 (en) Method and apparatus for decoding encoded groups of pictures of a video sequence and presenting said video sequence and said groups of pictures in temporally backward direction
JP2658832B2 (en) Video decoding controller
KR100215824B1 (en) The frame memory and image data decoding method in mpeg decoder
US7848410B2 (en) Video decoding methods and devices
WO2002051162A1 (en) Method and apparatus for decoding motion video image
JP2005072742A (en) Coder and coding method
JP3976942B2 (en) Image processing apparatus and method, and computer-readable recording medium on which an image processing program is recorded
JP5068316B2 (en) Video encoding
JPH11275580A (en) Image data processor, image data decoder, image data coder and their methods
JP4174728B2 (en) Information processing apparatus, information processing method, recording medium, and program
JP2005124091A (en) Decoding apparatus and decoding method
JP2001298735A (en) Low delay video image transmission system
JP2010004142A (en) Moving picture encoder, decoder, encoding method, and decoding method
JP2002300528A (en) Method and device for editing video stream
JP2002199408A (en) Moving image coding method and moving image coder
JP3888848B2 (en) Image decoding device
US20070147496A1 (en) Hardware implementation of programmable controls for inverse quantizing with a plurality of standards
JP2002171530A (en) Re-encoder provided with superimpose function and its method