JP2001285861A - 画像信号符号化装置 - Google Patents

画像信号符号化装置

Info

Publication number
JP2001285861A
JP2001285861A JP2000091014A JP2000091014A JP2001285861A JP 2001285861 A JP2001285861 A JP 2001285861A JP 2000091014 A JP2000091014 A JP 2000091014A JP 2000091014 A JP2000091014 A JP 2000091014A JP 2001285861 A JP2001285861 A JP 2001285861A
Authority
JP
Japan
Prior art keywords
bit stream
code
stuff
difference
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000091014A
Other languages
English (en)
Inventor
Satoru Kumaki
哲 熊木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000091014A priority Critical patent/JP2001285861A/ja
Priority to US09/784,064 priority patent/US6816550B2/en
Publication of JP2001285861A publication Critical patent/JP2001285861A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 ビットストリームバッファのデータ転送能力
が小さくても、大量に発生するスタッフバイトを、容易
に出力ビットストリームに挿入する。 【解決手段】 スタッフコード挿入器(12)を用いて
挿入すべきスタッフバイトの数を差検出回路(6)で算
出してスタッフコードとして符号化データのビットスト
リームに挿入してビットストリームバッファ(2)に格
納する。ビットストリームバッファから読出された多重
化ビットストリームにおいてこのスタッフコードを検出
し、符号化ビットストリームの読込を停止し、代わりに
スタッフバイトをスタッフコードが示すバイト数分挿入
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は画像信号符号化装
置に関し、特に、MPEG(Moving Picture Experts G
roup)規格に従って動画像データを実時間で符号化して
出力するための符号化装置に関する。
【0002】
【従来の技術】大量の情報を含む動画像データを効率的
に符号化するために、一般に、MPEG1またはMPE
G2規格に従って圧縮処理が行なわれる。このMPEG
規格においては、以下の処理が行なわれる。フィールド
またはフレームのピクチャを、マクロブロックと呼ばれ
る圧縮単位に分割する。現ピクチャの対象マクロブロッ
クと最も相関度の高い参照ピクチャのマクロブロックを
検出し、このもっとも相関度の高いマクロブロックの各
画素との差分値を求め、この差分値を符号化する。この
MPEG規格においては、動画像情報の冗長性および人
間の視覚特性を利用し、冗長な情報および視覚特性上重
要でない情報を削除することにより、動画像情報を圧縮
している。この圧縮の結果得られるデジタル情報(ビッ
トストリーム)の符号量は、同一圧縮条件下でも、ピク
チャ(フレームまたはフィールド)間の相関度および高
空間周波数成分量などの入力画像の性質により大きく変
化する。したがって、1ピクチャ期間内においても、圧
縮の結果得られる符号量は変化する。通常、このピクチ
ャ(画像)ごとに符号量の目標を定め、符号量がこの目
標値に一致するように圧縮パラメータを制御する。
【0003】符号化された画像情報は、伝送路を介して
復号化装置へ伝達する必要がある。このようなビットス
トリームを、データ転送レートが一定の伝送路を介して
伝送するために、ビットストリームバッファが用いられ
る。符号量が多い期間は伝送容量を超える符号をビット
ストリームバッファに格納して伝送量を制限し、一方符
号量の少ない期間は、このビットストリームバッファか
ら符号を読出して所定のデータ転送レートで転送する。
ビットストリームバッファを利用して、データ転送レー
トの平滑化処理を行なうことにより、一定転送レートで
の符号化データの伝送が可能になる。
【0004】図14は、従来の動画像信号処理装置の出
力部の構成を概略的に示す図である。図14において、
動画像信号処理装置は、フィールドまたはフレームのピ
クチャのマクロブロック単位で与えられるDCT(離散
コサイン変換)係数データを受けて量子化処理を行なう
量子化回路901と、量子化回路901により量子化さ
れたDCT係数データに対したとえばジグザグスキャン
方式に従ってそのスキャン順序を変換するスキャン順変
換回路902と、スキャン順変換回路902によりスキ
ャン順序が変換された量子化データを可変長符号化する
可変長符号化回路903と、可変長符号化回路903か
らの可変長符号を格納するビットストリームバッファ9
04と、ビットストリームバッファ904に格納された
データを順次読出して一定のデータ転送速度で出力する
出力制御回路905を含む。可変長符号化回路903に
おいては、スキャン順変換回路902から与えられた量
子化DCT係数データが可変長符号化されて、情報量の
圧縮が行なわれる。
【0005】この画像信号符号化装置は、さらに、可変
長符号化回路903の生成する符号量をマクロブロック
単位で集計する符号量集計回路906と、符号量集計回
路906からの集計値に従って、量子化回路901の量
子化スケールを調整して発生符号量を制御するレート制
御回路907を含む。このレート制御回路907は、通
常、符号量集計回路906の集計値に従って、次のピク
チャでの発生符号量の目標値を設定し、次のピクチャに
おいて実際に発生する符号量が目標値に一致するように
量子化回路901における量子化スケールを調整する。
このレート制御回路907は、可変長符号化回路903
から出力される符号量の平均値が出力制御回路905か
ら出力されるビットストリームを伝送する伝送路の伝送
レートと一致するようマクロブロック単位で発生符号量
を調整する。このフレームの1ピクチャのマクロブロッ
ク単位の符号化処理が、入力画像の1画面周期内で逐次
実行される。
【0006】
【発明が解決しようとする課題】ピクチャ(画像:フィ
ールドまたはフレーム)の符号化時において、発生符号
量が目標値に到達しない場合には、スタッフバイトと呼
ばれる“0”のバイトデータを生成し、このスタッフバ
イトを符号化データに付加して、ピクチャの発生符号量
を目標値に一致させている。「スタッフィング」は、ス
タッフバイトをビットストリームに挿入する操作であ
る。このスタッフバイトは、復号処理で廃棄される。再
生画像に何ら影響を与えることなく、発生符号量の目標
値に対する不足分をスタッフバイトにより埋め合せるこ
とができる。
【0007】このスタッフィングは、MPEG2方式で
は、GOP(グループ・オブ・ピクチャ)、ピクチャお
よびスライス単位で行なうことが可能であり、またMP
EG1規格では、GOP、ピクチャ、スライス、および
マクロブロック単位でスタッフィングを行なうことがで
きる。一般に、ピクチャ単位またはシーケンス単位でス
タッフィングが行なわれることが多い。マクロブロック
単位でスタッフィングを行なった場合、個々のマクロブ
ロックの符号量が制限されるため、画質が劣化するため
である。たとえばピクチャ単位でスタッフィングするこ
とにより、個々のマクロブロックには、個々のマクロブ
ロックの画像の複雑さに応じて符号量を割当てることが
できる。
【0008】ピクチャ単位のスタッフィングを行なう場
合、1ピクチャの符号化処理を完了し、この1ピクチャ
の符号量を集計値を算出した後にスタッフィングが実行
される。
【0009】図15(A)および(B)は、1ピクチャ
の符号化データ量が、目標値に近い場合のスタッフバイ
ト量とマクロブロックの発生符号量との分布を概略的に
示す図である。図15(A)に示すように、1ピクチャ
の符号化データの配置領域の後にスタッフバイトが挿入
される。1ピクチャの符号化データ量が目標値に近い場
合、図15(B)に示すように、マクロブロックの各符
号量は、比較的大きく、スタッフバイト量は少ない。ス
タッフバイトを1ピクチャ符号化データ格納領域の後に
挿入する場合、図14に示す符号量集計回路906で発
生符号量を集計し、その集計結果に従って、スタッフバ
イトを生成して、符号化データと多重化して生成したス
タッフバイトをビットストリームバッファ904へ書込
む。この場合、スタッフバイトの発生量は少ないため、
ビットストリームバッファ904へ、余裕を持って必要
なスタッフバイトを発生して書込むことができる。
【0010】図16(A)および(B)は、1ピクチャ
の発生符号量が極めて少ない場合の符号およびスタッフ
バイトの分布を概略的に示す図である。図16(A)に
おいて、1ピクチャの符号化データが極めて少ない。こ
れは、予測符号化方式において、ピクチャの動きが極め
て小さい場合などに生じる。図16(B)に示すよう
に、マクロブロックの発生符号量が小さいため、1ピク
チャの符号化データ量よりも数十倍の量のスタッフバイ
トを生成する必要がある。
【0011】このスタッフバイトの生成およびビットス
トリームバッファ904への書込は、ピクチャとピクチ
ャの間の期間、たとえば垂直帰線期間内において実行さ
れる。ビットストリームの伝送レートが数十Mbps
(ビット/秒)というように高い場合には、この伝送レ
ートに適合して符号化データを転送するため、極めて大
量のスタッフバイトを挿入する必要がある。しかしなが
ら、ビットストリームバッファ904は、通常RAM
(ランダム・アクセス・メモリ)で構成されており、そ
のデータ転送レートは限られている。したがって、数十
Mbpsの転送レートに対しても対応するために大量の
スタッフバイトをビットストリームバッファ904に書
込むためにビットストリームバッファ904のデータ転
送能力を十分大きくとる必要があり、このビットストリ
ームバッファ904が高価となる。または、この高いデ
ータ転送能力にビットストリームバッファ904が対応
することができなくなり、十分に必要な量のスタッフバ
イトを挿入することができず、データ転送レートを平滑
化することができなくなり、復号化装置において処理破
綻が生じるなどの問題がある。
【0012】すなわち、1画像処理時間内で、1画面の
画像データの符号化処理を逐次実行しているため、この
ビットストリームバッファ904への符号化データの書
込も逐次発生する(マクロブロック単位で発生する)。
この1画面(1ピクチャ)の符号化終了時に発生するス
タッフバイトの転送が、1ピクチャの符号化終了後に実
行されるため、符号化データの書込よりもより高速でス
タッフバイトを発生して書込む必要がある。したがっ
て、単に、スタッフバイト挿入のために、符号化データ
の転送レートの平滑化のために必要とされるデータ転送
速度よりも高いデータ転送速度を有するメモリを、ビッ
トストリームバッファ904として利用する必要があ
り、必要以上に転送レートの高いメモリを使用する必要
があり、この符号化装置の価格が高くなるという問題が
あった。
【0013】それゆえ、この発明の目的は、ビットスト
リームバッファメモリのデータ転送能力を低減すること
のできる画像信号符号化装置を提供することである。
【0014】この発明の他の目的は、スタッフィング処
理をビットストリーム転送レートと同程度のデータ転送
能力を有するメモリを用いて実現することのできる画像
信号符号化装置を提供することである。
【0015】この発明の他の目的は、大量のスタッフバ
イトを短期間に発生する必要のない画像信号符号化装置
を提供することである。
【0016】この発明のさらに他の目的は、データ転送
能力の低いメモリをビットストリームバッファとして用
いてもオーバーフロー/アンダーフローの生じることが
なく正確にデータ転送の平滑化処理を行なうことのでき
る画像信号符号化装置を提供することである。
【0017】
【課題を解決するための手段】この発明に係る画像信号
符号化装置は、画像信号を符号化して符号化画像データ
のビットストリームを生成するためのビットストリーム
生成手段と、このビットストリーム生成手段からのビッ
トストリームの予め定められた処理単位区間ごとに符号
化画像データのビット数を算出し、該算出したビット数
と予め定められた基準ビット数との差を求める差検出手
段と、この差検出手段の検出した差を示す差コードとこ
の差コードの挿入位置を示すスタッフスタートコードと
を生成し、対応の処理単位区間に該生成した差コードお
よびスタッフスタートコードを挿入して多重化ビットス
トリームを生成して出力する挿入手段と、この挿入手段
により生成されたビットストリームを格納するためのビ
ットストリームメモリと、ビットストリームメモリから
読出されたビットストリームからスタッフスタートコー
ドおよび差コードを抽出し、抽出したこれらのコードに
従って対応の処理単位区間に差コードが示す数のスタッ
フビットをスタッフスタートコードが示す位置から挿入
して出力する出力手段と、ビットストリームメモリに書
込まれるデータビット量と差コードが示すデータビット
量とを加算する加算手段と、出力手段の差コード抽出
時、加算手段の出力値から出力手段により挿入されるス
タッフビット量を減算して出力する減算手段とを備え
る。
【0018】この減算手段は、好ましくは、差コードお
よびスタッフスタートコードのデータビット量をさらに
加算手段の出力値から減算する手段を備える。
【0019】スタッフスタートコードは、また1つの観
点においては、差コードに付加されるフラグであり、こ
のフラグにより、対応のコードが差コードであることが
識別される。
【0020】また、この発明の別の観点に従う画像信号
符号化装置は、画像信号を符号化して符号化画像データ
のビットストリームを生成するビットストリーム生成手
段と、このビットストリーム生成手段からのビットスト
リームの予め定められた単位処理区間ごとに符号化画像
データのビット数を算出し、該算出したビット数と予め
定められた基準ビット数との差を求める差検出手段と、
この差検出手段の検出した差を示す差コードを生成し、
ビットストリームの単位処理区間各々において所定ビッ
ト単位で符号化データを整列されかつ各所定ビット単位
に第1のロジック状態のフラグを付加して並列に出力し
かつさらに各処理単位区間ごとに差コードを所定ビット
単位幅のデータに変換しかつフラグを第2のロジック状
態にセットして付加して出力する挿入手段と、この挿入
手段により生成されたビットストリームを格納するため
のビットストリームメモリと、ビットストリームメモリ
から読出されたビットストリームからフラグに従って差
コードを抽出し、該抽出した差コードに従って対応の処
理単位区間にこの差コードが示す数のスタッフビットを
フラグが示す位置から挿入して出力する手段とを備え
る。
【0021】この発明のさらに別の観点に従う画像信号
符号化装置は、画像信号を符号化して符号化画像データ
のビットストリームを生成するためのビットストリーム
生成手段と、このビットストリーム生成手段からのビッ
トストリームの予め定められた処理単位区間ごとに符号
化画像データのビット数を算出し、該算出したビット数
と予め定められた基準ビット数との差を求める差検出手
段と、この差検出手段の検出した差を示す差コードと差
コードの挿入位置を示すスタッフ挿入位置指示コードと
を生成し、対応の処理単位区間に生成したコードおよび
スタッフ挿入位置指示コードとを挿入して多重化ビット
ストリームを生成する挿入手段と、この挿入手段により
生成されたビットストリームを格納するビットストリー
ムメモリと、ビットストリームメモリから読出されたビ
ットストリームから差コードを抽出し、抽出した差コー
ドに従って対応の処理単位区間にこの差コードが示す数
のスタッフビットをスタッフ挿入位置指示コードが示す
位置から挿入して出力する出力手段とを備える。
【0022】ビットストリームメモリには、スタッフビ
ット(スタッフバイト)は格納されず、スタッフバイト
(ビット)数を示す差コードが格納される。したがっ
て、短期間で大量のスタッフビットを生成する必要がな
く、ビットストリームメモリには高い転送レートは必要
ではない。また、大量のスタッフビットを短期間に発生
する必要もなく、画像の性質に応じて発生符号量が異な
る場合でも、正確に対応することができる。また、ビッ
トストリームを復号化装置に転送する場合に、この差コ
ードに従って実際にスタッフビットを挿入しており、確
実に一定のデータ転送レートでビットストリームを転送
することができる。
【0023】また、差コードを用い、仮想的にスタッフ
ビットをビットストリームメモリに格納しており、この
ビットストリームメモリの現実のスタッフビットを格納
する場合のビットストリームメモリの記憶データ量を検
出することにより、発生符号量を、スタッフビットをビ
ットストリームバッファメモリに格納する場合と同様に
して調整することができる。
【0024】
【発明の実施の形態】[実施の形態1]図1は、この発
明の実施の形態1に従う画像信号符号化装置の要部の構
成を概略的に示す図である。図1において、この画像信
号符号化装置は、マクロブロックの符号化データを受け
てビットストリームを生成するビットストリーム生成部
1と、ビットストリーム生成部1により生成されたビッ
トストリームを格納しかつ読出すビットストリームバッ
ファ2と、ビットストリームバッファ2から読出された
データからスタッフコードを検出しかつ解析し、その解
析結果に基づいてスタッフバイトを挿入するビットスト
リーム整形部3と、ビットストリーム整形部3により生
成されたビットストリームを一定の転送レートで出力す
る出力制御回路4を含む。
【0025】ビットストリーム生成部1は、たとえばス
キャン変換処理された量子化DCT係数データをマクロ
ブロック単位で受け、このマクロブロックの量子化DC
T係数を可変長符号に変換する可変長符号化器11と、
たとえばピクチャである単位処理区間の符号に対しスタ
ッフコードを挿入するスタッフコード挿入器12と、可
変長符号化器11およびスタッフコード挿入器12の出
力の一方を選択してビットストリームとしてビットスト
リームバッファ2へ与えるマルチプレクサ(MUX)1
3を含む。この可変長符号化器11は、従来と同様の構
成である。
【0026】スタッフコード挿入器12は、スタッフバ
イト(スタッフビット)を生成せず、挿入すべきスタッ
フビット(スタッフビットは本実施の形態1ではバイト
単位で挿入されるため、以下、単にスタッフバイトと称
す)数を示すスタッフコードを生成し、かつスタッフコ
ードを挿入した位置を示すスタッフ挿入指示コードを生
成する。
【0027】マルチプレクサ13は、可変長符号化器1
1からのピクチャの符号データのビットストリームの後
にこのスタッフコード挿入器12からのスタッフ挿入指
示コードおよびスタッフコードを挿入し(多重化し)、
ビットストリームバッファ2へこの多重化されたビット
ストリームを与える。
【0028】スタッフコード挿入器12の動作を制御す
るために、可変長符号化器11の生成する符号量を算出
し、レジスタ5に格納される単位処理区間のたとえばピ
クチャ単位の目標符号量の差を検出する差検出回路6
と、可変長符号化器11からの出力ビットに応じて、こ
の可変長符号化器11の単位処理区間の1ピクチャの符
号の最終位置を検出し、スタッフコード挿入器12およ
びマルチプレクサ13の動作を制御する制御回路7が設
けられる。
【0029】1つのピクチャの終了は、たとえば、マク
ロブロック数をカウントすることにより算出される。差
検出回路6は、マクロブロック単位で、発生符号量を累
算し、1つのピクチャについての発生符号量を算出す
る。ここで、処理単位区間としてピクチャを用いている
が、他のGOP、シーケンスなどのスタッフバイトを挿
入することが許されるレイヤーであれば、本発明は適用
可能である。ここでは、単に処理単位区間の一例として
ピクチャを用いる。
【0030】したがって、ビットストリーム生成部1か
らは、画像信号符号のビットストリームと、そのピクチ
ャの終了部に挿入される挿入スタッフバイト数を示すス
タッフコードと、スタッフコードの挿入位置を示すスタ
ッフ挿入指示コードとが多重化されてビットストリーム
バッファ2へ与えられる。
【0031】ビットストリーム整形部3は、ビットスト
リームバッファ2から読出された多重化ビットストリー
ムから、スタッフ挿入指示コードを検出すると、それに
付随して転送されるスタッフコードを解析し、このスタ
ッフコードが示す数のスタッフバイトを、スタッフ挿入
指示コードの位置からこのビットストリームに挿入す
る。ビットストリームバッファ2は、たとえばファース
トイン・ファーストアウトの構成を有する。出力制御回
路4は、このビットストリーム整形部3により生成され
た整形ビットストリームを、所定の伝送レートで出力す
る。
【0032】図2は、図1に示すビットストリーム生成
部1の動作を示すフロー図である。以下、図2を参照し
て、図1に示すビットストリーム生成部1の動作につい
て説明する。図2においては、符号化画像信号は、単位
処理区間がスライスまたはピクチャの場合を示す。
【0033】ジグザグスキャンまたはオルタネートスキ
ャンなどのスキャン変換操作を受けた符号化画像信号
(DCT係数データ)が、可変長符号化器11へ与えら
れる。この可変長符号化器11において単位処理区間の
スライス(またはピクチャ)の最終マクロブロック(M
B)の符号化が完了すると(ステップS1)、可変長符
号化器11の出力ビットバイトアライメントを行なう
(ステップS2)。
【0034】このバイトアライメントにおいては、可変
長符号化器11からの可変長符号をバイト単位で整列さ
せる。バイトアライメントにおいて最終の可変長符号の
バイト領域に空きが生じた場合には、“0”が挿入され
る。このバイトアライメント完了後、次いで、差検出回
路6により検出された目標値に対する差(バイト単位)
を示すデータがスタッフコード挿入器12へ与えられ
る。スタッフコード挿入器12は、まず、スタッフ挿入
指示コードを生成し(ステップS3)、次いで、スタッ
フ挿入指示コードに続いて、差検出回路6により検出さ
れた差を示すスタッフコードを生成する(ステップS
4)。このスタッフコードは、バイト単位で挿入すべき
スタッフビットの数を示す。
【0035】マルチプレクサ13は、この可変長符号化
器11からの最終マクロブロック(MB)の符号を出力
した後、このスタッフコード挿入器12からのスタッフ
挿入指示コードおよびスタッフバイト数指示コードを選
択して、ビットストリームバッファ2へ与える。この
後、再び、マルチプレクサ13は、可変長符号化器11
からの可変長符号を選択する状態に、制御回路7により
設定される。
【0036】したがって、単に、スタッフ挿入指示コー
ドおよびスタッフバイト数指示コードが可変長符号に続
いてビットストリームに挿入されて(多重化されて)ビ
ットストリームバッファ2へ与えられるだけであり、発
生符号量調節のためにスタッフバイトを挿入する必要は
なく、あるピクチャにおいて発生符号量が少ない場合に
おいても、容易に、このスタッフ挿入指示コードおよび
スタッフバイト指示コードを可変長符号のビットストリ
ームに多重化することができる。
【0037】図3(A)−(B)は、このビットストリ
ーム生成部1の具体的動作を示す図である。この図3
(A)−(B)においては、スタッフ挿入指示コードと
して、“000001C0(H)”を使用し、スタッフ
バイト数を示すスタッフコードを格納するフィールドと
して、4バイトのフィールドを利用する。
【0038】まず、図3(A)において、可変長符号化
器11からの可変長符号のバイトアライメントが行なわ
れる。このバイトアライメントにおいては、最上位ビッ
ト位置側から、バイト境界の位置合せが行なわれる。
【0039】次いで図3(B)に示すように、最終符号
のバイトの空き領域に、バイトアライメントを行なうた
めに“0”のビットが挿入される。通常、復号化器にお
いては、復号開始は、バイト境界から行なうことが定め
られており、したがって、このバイトアライメントのた
めの“0”の充填を行なっても、この挿入された“0”
は復号化器においては、廃棄される。
【0040】次いで、このバイトアライメントを行なっ
た後、実際の発生符号量と目標値とのバイト単位での差
が求められ、まず、図3(C)に示すように、スタッフ
バイトの挿入を開始する位置に、スタッフコードを挿入
したことを示すスタッフ挿入指示コードが挿入される。
8バイトのフィールドが用いられるが、スタッフ挿入指
示コードとしては、符号化された画像信号のビットスト
リームなかに必ず存在しないコードを用いる必要があ
る。たとえば、MPEG2規格のビデオ符号化方式(ビ
デオES)のシンタクスにおいては、バイトアライメン
ト上での“0000 01(H)+8バイトのコード”
を「スタートコード」として扱い、このスタートコード
は、符号化データ内に存在しないユニークコードである
と位置付けている。このスタートコードのうち、将来の
拡張のためにリザーブされているコードをスタッフ挿入
指示コードとして使用する。また、このスタッフ挿入指
示コードは、符号化器内部でのみ使用されるものであ
り、後に説明するように、ビットストリーム整形部3に
おいて廃棄されるため、最終的に出力される符号化ビッ
トストリームに対して何ら障害を与えない。
【0041】なお、スタッフ挿入指示コードに続いて挿
入されるスタッフバイト数を示すスタッフコードに対し
ては、4バイトのフィールドスタッフコード領域として
確保されている。このスタッフコードは、図3(C)に
おいては、“00FF(H)”である。このスタッフコ
ードは、バイトアライメントにおいて、空き領域を生じ
させないサイズに設定される。
【0042】可変長符号化器11からの符号化ビットス
トリームが完了すると、マルチプレクサ13が、スタッ
フコード挿入器12からのスタッフ挿入指示コードとス
タッフコードを選択して順次出力する。したがって、図
3(D)に示すように、ビットストリームバッファ2へ
与えられるビットストリームにおいては、符号化データ
のビットストリームとそれに続くスタッフ挿入指示コー
ドおよびスタッフコードが多重化されて順次伝達され
る。挿入スタッフバイト数を示すスタッフコードの次
に、次の単位処理区間であるスライス(ピクチャ)のビ
ットストリームが与えられる。次のスライス(またはピ
クチャ)のビットストリームの開始は、スライス(また
はピクチャ)スタートコードにより識別される。
【0043】図3(D)に示すように、ビットストリー
ム中においては、可変長符号化器出力のビットストリー
ムと異なり、スタッフバイトの挿入位置を識別するのが
困難である。しかしながら、スタッフ挿入指示コードを
挿入しておくことにより、容易にスタッフコードの識別
およびスタッフバイト挿入位置を識別することができ
る。
【0044】図4は、図1に示すビットストリーム整形
部3の動作を示すフロー図である。以下、図4を参照し
て、図1に示すビットストリーム整形部3の動作につい
て説明する。
【0045】まず、ビットストリームバッファ2から読
出されるビットストリームのビットパターンを解析し、
スタッフ挿入指示コードが与えられたか否かを判定す
る。このスタッフ挿入指示コードが検出されると(ステ
ップS10)、続いて所定のバイト幅のフィールドのス
タッフコードを解析し、挿入スタッフバイト数を検出す
る(ステップS11)。スタッフ挿入指示コードおよび
スタッフコードが検出されると、これらのスタッフ挿入
指示コードおよびスタッフコードを、ビットストリーム
から分離する(ステップS12)。
【0046】次いで、図5に示すように、このスタッフ
コードにより指示されたスタッフバイト数の“0”バイ
トのデータを、このスタッフ挿入指示コードが挿入され
た位置から挿入する。先に、スタッフコードが、スタッ
フバイト数として、“00FF”を示しているため、F
F(H)のバイト分の“0”データがビットストリーム
中に挿入される。このスタッフバイトの挿入が完了する
と、続いて次の単位処理区間のシーケンス(またはピク
チャ)の符号化ビットストリームが順次出力される。
【0047】したがって、ビットストリームバッファ内
においては、このFFバイトの“0”を格納して次いで
読出す必要はなく、比較的低速でビットストリームの書
込/読出を行なうことができる。またスタッフ挿入指示
コードをビットストリームに挿入しており、容易にビッ
トストリームから、スタッフバイト挿入位置を識別で
き、またスタッフコードにより、挿入スタッフバイト数
を識別することができる。
【0048】また、このスタッフ挿入指示コードおよび
スタッフコードは、ビットストリーム整形部3により廃
棄されており、何ら受信部へ伝達されるビットストリー
ムには含まれておらず、再生画像には悪影響は及ぼさな
い。
【0049】このビットストリーム整形部3の処理は、
ソフトウェアにより実現されてもよいが、図6に示すよ
うにハードウェアで構成されてもよい。
【0050】図6は、図1に示すビットストリーム整形
部3の構成を概略的に示す図である。図6において、こ
のビットストリーム整形部3は、ビットストリームバッ
ファから読出されたビットストリームをバッファ処理す
るバッファ3aと、常時“0”を発生するゼロ発生器3
bと、ビットストリームバッファから読出されたビット
ストリームのコードを解析するコード解析部3cと、バ
ッファ3aおよび零発生器3bの出力ビットの一方を選
択するためのマルチプレクサ(MUX)3dと、コード
解析器3cの出力信号に従ってマルチプレクサ3dの選
択経路を切換える切換制御回路3eを含む。
【0051】コード解析器3cは、スタッフ挿入指示コ
ードを検出するためのコード検出器3caと、コード検
出器3caからのコード検出信号に応答して起動され、
続いて与えられるスタッフコードをデコードし、スタッ
フバイト数を検出するデコーダ3cbを含む。切換制御
回路3eはコード検出器3caからのコード検出信号お
よびデコーダ3cbからのスタッフバイト数情報に従っ
て、マルチプレクサ3dを、スタッフバイト挿入期間零
発生器3bの出力を選択する状態に設定する。
【0052】バッファ3aは、FIFO構成であり、与
えられたビットストリームを順次出力する。零発生器3
bは、たとえば接地線などで構成され、“0”バイトデ
ータを生成する。
【0053】コード解析器3cにおいては、ビットスト
リームバッファから読出されたビットストリームのコー
ドをコード検出器3caがモニタし、スタッフ挿入指示
コードが与えられると、コード検出器3caが検出信号
を発生し、デコーダ3cbおよび切換制御回路3eへ与
える。切換制御回路3eは、このコード検出器3caか
らの検出信号が与えられるまでは、マルチプレクサ3d
にバッファ3aの出力ビット(バイト)を選択させる。
コード検出器3caから検出信号が与えられると、切換
制御回路3eは、マルチプレクサ3dに零発生器3bの
出力ビット(バイト)を選択させる。これにより、バッ
ファ3aから出力されるビットストリームにおいて、ス
タッフ挿入指示コードおよびスタッフコードが廃棄され
る。またバッファ3aにビットストリームバッファ2か
らのビットストリームの読込みを停止させる。デコーダ
3cbは、コード検出器3caから検出信号が与えられ
ると、続いて与えられるスタッフコードをデコードし、
スタッフバイト数を検出する。この検出したスタッフバ
イト数の期間、切換制御回路3eは、マルチプレクサ3
dに零発生器3bの出力ビット(バイト)を選択させ
る。デコーダ3cbの指定する期間が経過すると、切換
制御回路3eは、マルチプレクサ3dに、バッファ3a
の出力ビット(バイト)を選択させる。したがって、マ
ルチプレクサ3dからのビットストリーム出力において
は、符号化データと続いて与えられる“0”データのス
タッフバイトが挿入されて出力される。スタッフバイト
が終了すると、続いて次のスライス(またはピクチャ)
の符号化データがマルチプレクサ3dにより選択されて
出力される。スタッフバイト挿入期間の検出は、たとえ
ば、転送バイトまたはビットストリーム転送用クロック
信号をカウントすることにより行なわれる。
【0054】以上のように、この発明の実施の形態1に
従えば、ビットストリームバッファへの書込時に、スタ
ッフ挿入指示コードとスタッフバイト数を示すスタッフ
コードを書込んでおり、スタッフバイト数の大小にかか
わらず、一定のサイズの特殊コードを書込むだけでよ
く、小さな転送能力を有するメモリをビットストリーム
バッファとして利用することができる。
【0055】[実施の形態2]今、図7(A)に示すよ
うに、ビットストリームバッファ2内の符号化データお
よびスタッフ用コード(スタッフ挿入指示コードおよび
バイト数指示用のスタッフコマンド)の記憶量がそれぞ
れAおよびBであるとする。この場合、ビットストリー
ムバッファ2の現実のデータ蓄積量がA+Bである。こ
のスタッフ用コードにより、仮想的に挿入すべきスタッ
フバイトがビットストリームバッファ2に格納されてい
る。したがって、実際にビットストリームとして、受信
側へ送出すべきデータの蓄積量は、図7(B)に示すよ
うに、符号化データとスタッフバイトの和である。した
がって、この場合、送出すべき符号化データの蓄積量
は、A+C−Bとなる。
【0056】一方、ビットストリーム整形部で、スタッ
フバイトの挿入が開始されると、そのときには、ビット
ストリームバッファ2から既に、スタッフバイトがすべ
て読出されたことを意味している。したがって、この場
合、ビットストリームバッファ2における送出すべき符
号化データのバイト単位の蓄積量は、図7(C)に示す
ように、そのときの蓄積量Dからスタッフバイトの数C
を減算した値となる。蓄積量Dにおいては、既にスタッ
フ用コードは読出されている。すなわち、この蓄積量D
においてスタッフ用コードの減算は行なわれており、挿
入すべきスタッフバイト数をそのときのビットストリー
ムバッファ2の蓄積量から減算するだけで、このビット
ストリームバッファ2において蓄積される送信すべき符
号化データの蓄積量は、求められる。したがって、ビッ
トストリームバッファ2の送信すべき符号の蓄積量は、
スタッフバイト挿入時においては、蓄積量D−Cとな
り、スタッフバイト挿入前においては、A+C−Bとな
る。
【0057】ビットストリームバッファ2における真の
送信すべき符号化データの蓄積量を検出して、発生すべ
き符号量を調整する。このビットストリームバッファ2
は、受信側へ一定の転送レートでビットストリームを転
送するために設けられており、受信側においても、通
常、ビデオバッファ検証器(VBV)が設けられてお
り、この受信側におけるVBVのアンダーフロー/オー
バーフローが生じるか否かの判定が行なわれる。受信側
のアンダーフロー/オーバーフローの防止のために、ビ
ットストリームバッファ2における真の符号化データの
蓄積量に応じて、発生符号量を調整する。
【0058】図8は、この発明の実施の形態2に従う画
像信号符号化装置の要部の構成を概略的に示す図であ
る。図8において、画像信号符号化装置は、ビットスト
リームバッファ2のデータ蓄積量とスタッフコード挿入
器12からの転送スタッフバイト数に関連する情報とビ
ットストリーム整形部3からの生成スタッフバイト数情
報とに従って、ビットストリームバッファ2の真の符号
蓄積量を示す情報を算出する蓄積量算出回路20を含
む。スタッフコード挿入器12からは、転送スタッフバ
イト数に関連する情報として、転送スタッフバイト数か
らスタッフコードサイズ(バイト単位)とスタッフバイ
ト挿入指示コードサイズ(バイト単位)を減算した値
が、転送スタッフバイト数関連情報として蓄積量算出回
路20へ与えられる。
【0059】ビットストリーム整形部3は、スタッフコ
ードを検出するとそのデコード結果に従って挿入すべき
スタッフバイト数を蓄積量算出器20へ与える。
【0060】蓄積量算出回路20は、ビットストリーム
バッファ2からの蓄積量情報とスタッフコード挿入器1
2からの転送スタッフバイト数関連情報とを加算する加
算器20aと、加算器20aからの加算結果値からビッ
トストリーム整形部3からの挿入スタッフバイト数を減
算する減算器20bを含む。この減算器20bから、ビ
ットストリームバッファ2に格納される送信すべき符号
化データ量を示す真の蓄積量が与えられる。
【0061】ビットストリームバッファ2のデータ蓄積
量については、たとえばビットストリームバッファ2が
FIFO(ファーストイン・ファーストアウト)構成で
あり、読出アドレスと書込アドレスとに基づいてそのデ
ータ蓄積量が算出される。加算器20aにより、ビット
ストリームバッファ2におけるスタッフバイト挿入前の
データ蓄積量が算出される。ビットストリーム整形部3
からの挿入スタッフバイト数が与えられると、このビッ
トストリームバッファ2からはスタッフバイトがすべて
読出されたと判断し、挿入スタッフバイト数を加算器2
0aからの加算結果値から減算する。
【0062】この蓄積量算出回路20からの真の蓄積量
データは、符号量制御回路25へ与えられる。可変長符
号化器11の前段には、DCT係数データを量子化する
量子化回路15と、量子化回路15からの量子化DCT
係数データをたとえばジグザグスキャンまたはオルタネ
ートスキャンするスキャン順変換回路16とが設けられ
る。先の図1に示す差検出回路6、レジスタ5および制
御回路7を、図8においてはスタッフィング制御回路2
2として示す。
【0063】このスタッフィング制御回路22からの各
マクロブロック単位の符号量データと単位処理区間(ス
ライスまたはピクチャ)の発生符号量データとが、符号
量制御回路25へ与えられる。この符号量制御回路25
は、蓄積量算出回路20からの真の蓄積量データとスタ
ッフィング制御回路22からの各単位処理区間における
発生符号量とに従って、量子化回路15の量子化スケー
ルの制御またはDCT係数データの発生停止などの処理
を行なって発生符号量を調整する。したがって、この符
号量制御回路25は、蓄積量算出回路20からの真の蓄
積量データを用いているため、ビットストリームバッフ
ァ2にスタッフバイトが格納されたときと同様の符号化
制御を行なうことができる。
【0064】図9は、ビットストリームバッファ2の真
の蓄積量と見かけの蓄積量との関係を概略的に示す図で
ある。時間が経過するにつれて、徐々に、ビットストリ
ームバッファ2に、符号化データが格納される。1つの
スライスまたはピクチャなどの単位処理区間の符号化処
理が完了すると、スタッフ挿入指示コードの書込および
スタッフコードの書込が行なわれる。このスタッフ挿入
指示コードおよびスタッフコードは、予め定められたサ
イズ(バイト単位)を有している。挿入すべきスタッフ
バイトの数が多い場合、このビットストリームバッファ
2に格納される送信すべきビットストリームの蓄積量
は、スタッフコードが示すスタッフバイト数に応じて急
激に増加する。以降、次の単位処理区間(スライスまた
はピクチャなど)の符号化データのビットストリーム
が、ビットストリームバッファ2に格納され、またこの
ビットストリームバッファ2からは、格納された符号化
データが順次読出される。
【0065】ビットストリーム整形部3において、スタ
ッフ挿入指示コードが検出されると、続いてスタッフコ
ードの解析が行なわれ、スタッフバイトの挿入が行なわ
れる。この状態は、ビットストリームバッファ2に格納
されたスタッフバイトがすべて読出されてビットストリ
ーム整形部3に転送されている状態に相当する。したが
って、このスタッフコード検出時においては、符号化ビ
ットストリームの見かけの蓄積量と真の蓄積量が一致す
る。真の蓄積量を利用して、符号量制御回路25により
発生符号量を抑制することにより、このビットストリー
ムバッファ2および受信側のVBVのオーバーフロー/
アンダーフローの発生を防止することができる。
【0066】なお、図8に示す構成においては、符号量
制御回路25は、DCT係数データの発生停止および量
子化回路15の量子化ファクタの調整を行なっている。
しかしながら、発生符号量を調整する構成としては、さ
らに、量子化回路15からの量子化値を最小値に設定す
る(可変長符号化器の発生する可変長符号のサイズ(ビ
ット数)を最小値に設定する)などの処理が行なわれて
もよい。
【0067】また、スタッフ用コードのサイズが小さく
無視しても問題がない場合は、スタッフバイト数の加減
のみが行なわれてもよい。
【0068】以上のように、実施の形態2に従えば、ビ
ットストリームバッファの符号化データの蓄積量とし
て、常に真の蓄積量を求めるように構成しているため、
スタッフバイトをコード化してビットストリームバッフ
ァ2に格納しても、従来と同様、スタッフバイトを直接
ビットストリームバッファ2に蓄積する方式と比較して
も何ら遜色のない符号化制御を行なうことができる。
【0069】[実施の形態3]図10(A)−(D)
は、この発明の実施の形態3に従う画像信号符号化装置
のビットストリーム生成部の動作を示す図である。この
図10(A)に示すように、符号化データに対し、フラ
グビットを付ける。符号化データの場合にはフラグビッ
トは“0”にたとえば設定される。
【0070】次いで図10(B)に示すようにバイトア
ライメントのために、“0”を可変長符号化器の出力符
号の空き領域に充填する。この場合も、データは、符号
化画像データであり、すべてフラグビットを“0”に設
定する。
【0071】符号化データに続いて、挿入バイト数を示
すスタッフコードを挿入し、またフラグビットFBを、
スタッフコードであることを示すために“1”に設定す
る。この状態で、ビットストリームとして、ビットスト
リームバッファへ格納する。次いで、図10(D)に示
すように、次の単位処理区間のピクチャ(またはスライ
ス)のビットストリームの符号化データがビットストリ
ームとして出力される。各符号化データのフラグビット
FBは符号化データであることを示すため“0”に設定
される。
【0072】このフラグビットFBを用いた場合、単に
このフラグビットFBの“0”および“1”により、ス
タッフコードであるか否かの識別を容易に行なうことが
できる。
【0073】図11は、この発明の実施の形態3におけ
るビットストリーム整形部の動作を模式的に示す図であ
る。図11において、フラグビットFBが“1”である
と、その位置のフラグコードをデコードし、挿入すべき
スタッフバイト数を検出する。符号化データの転送を禁
止し、このスタッフコードが示す数分、スタッフバイト
を生成してビットストリームに挿入する。図11におい
てはFFバイトの“0”データが挿入されている。した
がって、単にフラグビットFBをモニタするだけで、ス
タッフバイトの挿入位置を容易に識別することができ、
実施の形態1と同様の効果を得ることができる。
【0074】図12は、この発明の実施の形態3の画像
信号符号化装置のビットストリーム生成部30の構成を
概略的に示す図である。図12において、ビットストリ
ーム生成部30は、マクロブロックデータ(量子化DC
T係数)を可変長符号に変換する可変長符号化器31
と、可変長符号化器31の出力コードのバイトアライメ
ントを行ないかつバイトアライメント時に“0”での充
填を行なうバイトアライナ32と、可変長符号化器31
からの符号ビット数を累算し、目標値(図示しないレジ
スタに格納されている)との差をバイト単位で算出する
差算出器33と、差算出器33からの差情報に従って挿
入すべきスタッフバイト数を示すスタッフコードを生成
するスタッフコード挿入器34と、フラグFBを格納す
るフラグレジスタ36と、可変長符号化器31からの出
力ビットに従って単位処理区間(スライスまたはピクチ
ャ等)の終了時に、差算出器33およびスタッフコード
挿入器34の動作を活性化しかつマルチプレクサ(MU
X)35の接続経路を設定するとともにフラグレジスタ
36のフラグ値を決定する制御回路37を含む。
【0075】マルチプレクサ35は、制御回路37の制
御の下に、符号化データを出力する場合にはバイトアラ
イナ32からの符号化データを選択し、スタッフバイト
挿入時においてはスタッフコード挿入器34からのスタ
ッフコードを選択する。フラグレジスタ36からのフラ
グFBは、マルチプレクサ35により選択されたビット
ストリームと並列にビットストリームバッファへ与えら
れる。
【0076】この制御回路37は、可変長符号化器31
の出力に従って、1つの単位処理区間の終了時には、フ
ラグレジスタ36の出力するフラグFBを“1”に設定
する。また、差算出器33は、可変長符号化器31から
の符号ビット数を累算して、目標値との差を算出する。
スタッフコード挿入器34は、この差算出器33からの
差情報に従ってスタッフコードを生成する。フラグレジ
スタ36からのフラグFBはマルチプレクサ35からの
符号化データおよびスタッフコードと同期して内部バス
を転送されてビットストリームバッファへ与えられる。
【0077】なお、この図12に示す構成において、バ
イトアライナ32は可変長符号化器31のデータのバイ
トアライメントを行ない、空き領域に“0”を挿入す
る。この構成において、差算出器33はバイトアライナ
32の出力バイトを累算し、目標値との差を算出するよ
うに構成されてもよい。この経路を図12において破線
で示す。
【0078】また、スタッフコード挿入器34も、この
バイトアライナ32が0充填を行なうときに活性化され
て、差算出器33からの出力をコード化するように構成
されてもよい。
【0079】なお、図12に示すビットストリーム生成
部30の構成において、バイトアライナ32が、予め
“0”に固定されたビットをフラグFBとして、バイト
アライメントを行なった符号化データに追加してフラグ
付符号付バイトデータを生成するように構成されてもよ
く、またスタッフコード挿入器34が、“1”に固定さ
れる固定値をフラグFBとして、このスタッフコード生
成時に付加してフラグ付スタッフコードを発生し、マル
チプレクサ35がバイトアライナ32およびスタッフコ
ード挿入器34の出力の一方を選択するように構成され
てもよい。
【0080】図13は、この発明の実施の形態3におけ
るビットストリーム整形部の構成を概略的に示す図であ
る。この図13に示すビットストリーム整形部3の構成
においては、図6に示すコード検出器3caに代えて、
フラグ検出器3cdが用いられる。他の構成は、図6に
示す構成と同じであり、対応する部分には同一参照番号
を付し、その詳細説明は省略する。
【0081】この図13に示すビットストリーム整形部
3の構成においては、ビットストリームバッファから読
出されたビットストリームからフラグFBが、フラグ検
出器3cdへ与えられる。フラグ検出器3cdは、フラ
グFBが“1”のときには、切換制御回路3eにスタッ
フコード検出信号を与えて、マルチプレクサ3dに零発
生器3bの出力を選択させる。バッファ3aは、このフ
ラグ検出器3cdのスタッフバイトフラグ(フラグFB
が“1”)の検出時、ビットストリームバッファからの
符号化データの読込みを停止する。デコーダ3cbが、
このフラグ検出器3cdのスタッフバイトフラグ検出時
(フラグFBが“1”)、ビットストリームに与えられ
るスタッフコードをデコードし、挿入すべきスタッフバ
イトの期間、切換制御回路3eにスタッフバイト指示信
号を与え、マルチプレクサ3dに零発生器からの“0”
バイトデータを選択させる。スタッフバイト挿入期間の
完了時または前に、このデコーダ3cbは、バッファ3
aに次の符号化データの読込を開始させる。挿入すべき
スタッフバイトの挿入が完了すると、切換制御回路3e
は、マルチプレクサ3dにバッファ3aの出力する符号
化データを選択させる。
【0082】したがって、単に、このビットストリーム
整形部においては、フラグ検出器3cdがフラグFBの
“0”および“1”を検出しているだけであり、回路構
成が簡略化される。
【0083】以上のように、この発明の実施の形態3に
従えば、フラグを用いてスタッフバイト挿入位置および
スタッフコード挿入位置を識別するように構成してお
り、簡易な回路構成で容易にスタッフコードの挿入位置
を識別でき、回路構成が簡略化される。また実施の形態
1と同様の効果を得ることができる。
【0084】なお、この図12および図13に示すこの
発明の実施の形態3に従う画像信号符号化装置の構成
は、実施の形態2と組合せても用いることができる。
【0085】なお、単位処理区間としては、上述の例に
おいては、スライスまたはピクチャを示している。しか
しながら、スタッフバイトを挿入することのできるレイ
ヤーであれば、いずれのレイヤーが単位処理区間として
用いられてもよい。
【0086】
【発明の効果】以上のように、この発明に従えば、ビッ
トストリームバッファに、スタッフバイトに代えて挿入
するべきスタッフバイトの数を示すスタッフコードを格
納しており、スタッフバイト数の大小にかかわらず、一
定の速度でビットストリームバッファに仮想的にスタッ
フバイトを格納でき、メモリの転送能力を大きくする必
要がなく、確実にスタッフバイトの挿入を行なってビッ
トストリームを一定の転送レートで転送することができ
る。
【0087】また、ビットストリームメモリに格納され
る送信制御符号化データおよびスタッフバイト情報を加
減算手段を用いて抽出しており、スタッフバイトをビッ
トストリームメモリに格納する方式と同じ発生符号量制
御を行なうことができる。
【0088】また、ビットストリームメモリの記憶量算
出時、スタッフスタートコードのデータビット量および
差コードのデータビット量を減算しており、正確に、こ
のビットストリームメモリに格納されるデータ量を算出
することができ、正確な発生符号量の制御を行なうこと
ができる。
【0089】また、フラグをスタックスタートコードと
して利用することにより、このスタッフコードの位置お
よびスタッフバイト挿入位置を容易に検出することがで
きる。
【0090】また、ビットストリームの単位処理区間そ
れぞれにバイトアライメント処理を施して各データに、
フラグを追加し、スタッフコードについては、フラグを
立てることにより、容易にバイト単位で挿入すべきスタ
ッフバイト数を検出でき、またスタッフバイト挿入位置
も容易に識別することができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1に従う画像信号符号
化装置の要部の構成を概略的に示す図である。
【図2】 図1に示すビットストリーム生成部の動作を
示すフロー図である。
【図3】 (A)−(D)は、図1に示すビットストリ
ーム生成部の動作を具体的に示す図である。
【図4】 図1に示すビットストリーム整形部の動作を
示すフロー図である。
【図5】 図1に示すビットストリーム整形部の具体的
動作を示す図である。
【図6】 図1に示すビットストリーム整形部の構成の
一例を概略的に示す図である。
【図7】 (A)−(C)は、この発明の実施の形態2
におけるデータ蓄積量を例示的に示す図である。
【図8】 この発明の実施の形態2に従う画像信号符号
化装置の要部の構成を概略的に示す図である。
【図9】 この発明の実施の形態2におけるビットスト
リームバッファの蓄積量の時間変化の一例を示す図であ
る。
【図10】 (A)−(D)は、この発明の実施の形態
3に従うビットストリーム生成部の動作の一例を示す図
である。
【図11】 この発明の実施の形態3に従うビットスト
リーム整形部の動作の一例を具体的に示す図である。
【図12】 この発明の実施の形態3に従うビットスト
リーム生成部の構成を概略的に示す図である。
【図13】 この発明の実施の形態3に従うビットスト
リーム整形部の構成を概略的に示す図である。
【図14】 従来の画像信号符号化装置の構成を概略的
に示す図である。
【図15】 (A)および(B)は、従来の画像信号符
号化装置のスタッフバイト量の一例を示す図である。
【図16】 (A)および(B)は、従来の画像信号符
号化装置におけるスタッフバイト量の他の例を示す図で
ある。
【符号の説明】
1 ビットストリーム生成部、2 ビットストリームバ
ッファ、3 ビットストリーム整形部、4 出力制御回
路、5 レジスタ、6 差検出回路、11 可変長符号
化器、12 スタッフコード挿入器、13 マルチプレ
クサ、20 蓄積量算出回路、22 スタッフィング制
御回路、25 符号量制御回路、30ビットストリーム
生成器、31 可変長符号化器、32 バイトアライ
ナ、33差算出器、34 スタッフコード挿入器、35
マルチプレクサ、36 フラグレジスタ、37 制御
回路、3cd フラグ検出器。

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 画像信号を符号化して符号化画像データ
    のビットストリームを生成するためのビットストリーム
    生成手段、 前記ビットストリーム生成手段からのビットストリーム
    の予め定められた処理単位区間ごとに符号化画像データ
    のビット数を算出し、該算出したビット数と予め定めら
    れた基準値との差を求める差検出手段、 前記差検出手段の検出した差を示す差コードと前記差コ
    ードの挿入位置を示すスタッフスタートコードとを生成
    し、該生成した差コードおよびスタッフスタートコード
    をそれぞれ対応の処理単位区間に挿入する挿入手段、 前記挿入手段により生成されたビットストリームを格納
    するビットストリームメモリ、 前記ビットストリームメモリから読出されたビットスト
    リームから前記スタッフスタートコードおよび前記差コ
    ードを抽出し、該抽出した差コードに従って対応の処理
    単位区間に前記差コードが示す数のスタッフビットを前
    記スタッフスタートコードが示す位置から挿入して多重
    化ビットストリームを生成して出力する出力手段、 前記ビットストリームメモリに書込まれるデータビット
    量と前記差コードの示すデータビット量とを加算する加
    算手段、および前記出力手段の差コード抽出時、前記加
    算手段の出力値から前記出力手段により挿入されるスタ
    ッフビット量を減算し、前記ビットストリームメモリの
    仮想記憶データ量を示す情報を生成する減算手段を備え
    る、画像信号符号化装置。
  2. 【請求項2】 前記減算手段は、前記差コードおよび前
    記スタッフスタートコードのデータビット量をさらに前
    記加算手段の出力値から減算する手段を備える、請求項
    1記載の画像信号符号化装置。
  3. 【請求項3】 前記スタッフスタートコードは、前記差
    コードに付加されるフラグである、請求項1記載の画像
    信号符号化装置。
  4. 【請求項4】 画像信号を符号化して符号化画像データ
    のビットストリームを生成するためのビットストリーム
    生成手段、 前記ビットストリーム生成手段からのビットストリーム
    の予め定められた単位処理区間ごとに符号化画像データ
    のビット数を算出し、該算出したビット数と予め定めら
    れた基準ビット数との差を求める差検出手段、 前記差検出手段の検出した差を示す差コードを生成し、
    前記ビットストリームの前記単位処理区間各々において
    所定ビット単位で符号化画像データを整列させて各前記
    所定ビット単位に第1の論理状態のフラグを付加して並
    列に出力しかつさらに前記差コードを前記所定ビット単
    位幅のデータに変換しかつフラグを第2の論理状態にセ
    ットして付加して出力する挿入手段、 前記挿入手段により生成されたビットストリームを格納
    するビットストリームメモリ、および前記ビットストリ
    ームメモリから読出されたビットストリームから前記フ
    ラグに従って前記差コードを抽出し、該抽出した差コー
    ドに従って対応の処理単位区間に前記差コードが示す数
    のスタッフビットを前記フラグが示す位置から挿入して
    出力する手段を備える、画像信号符号化装置。
  5. 【請求項5】 画像信号を符号化して符号化画像データ
    のビットストリームを生成するためのビットストリーム
    生成手段、 前記ビットストリーム生成手段からのビットストリーム
    の予め定められた処理単位区間ごとに前記符号化画像デ
    ータのビット数を算出し、該算出したビット数と予め定
    められた基準ビット数との差を求める差検出手段、 前記差検出手段の検出した差を示す差コードと前記差コ
    ードの挿入位置を示すスタッフ挿入位置指示コードとを
    生成し、対応の処理単位区間に生成したコードおよび前
    記スタッフ挿入位置指示コードを挿入して多重化ビット
    ストリームを生成して出力する挿入手段、 前記挿入手段により生成されたビットストリームを格納
    するビットストリームメモリ、および前記ビットストリ
    ームメモリから読出されたビットストリームから前記ス
    タッフ挿入位置指示コードおよび前記差コードを抽出
    し、該抽出した差コードに従って対応の処理単位区間に
    前記差コードが示す数のスタッフビットを前記スタッフ
    挿入位置指示コードが示す位置から挿入して出力する出
    力手段を備える、画像信号符号化装置。
JP2000091014A 2000-03-29 2000-03-29 画像信号符号化装置 Withdrawn JP2001285861A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000091014A JP2001285861A (ja) 2000-03-29 2000-03-29 画像信号符号化装置
US09/784,064 US6816550B2 (en) 2000-03-29 2001-02-16 Image signal coding apparatus with bit stream buffer of reduced storage capacity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000091014A JP2001285861A (ja) 2000-03-29 2000-03-29 画像信号符号化装置

Publications (1)

Publication Number Publication Date
JP2001285861A true JP2001285861A (ja) 2001-10-12

Family

ID=18606532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000091014A Withdrawn JP2001285861A (ja) 2000-03-29 2000-03-29 画像信号符号化装置

Country Status (2)

Country Link
US (1) US6816550B2 (ja)
JP (1) JP2001285861A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522665B2 (en) 2002-07-04 2009-04-21 Lg Electronics Inc. Mobile terminal with camera
JP2012182797A (ja) * 2002-01-22 2012-09-20 Microsoft Corp 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム
JP2015519810A (ja) * 2012-04-24 2015-07-09 マグナム セミコンダクター, インコーポレイテッド ビットストリームビットスタッフィングのための装置および方法
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456742B1 (en) * 1999-04-16 2002-09-24 Mustek Systems, Inc. Method for image processing
US7149360B2 (en) * 2002-01-09 2006-12-12 Hewlett-Packard Development Company, L.P. Method for using a JPEG engine to assist in efficiently constructing MPEG I-frames
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
US8427494B2 (en) * 2004-01-30 2013-04-23 Nvidia Corporation Variable-length coding data transfer interface
US8565321B2 (en) * 2004-03-29 2013-10-22 Broadcom Corporation Method and system for efficient packing of data across queue blocks in a satellite
KR100608061B1 (ko) * 2004-07-12 2006-08-02 삼성전자주식회사 전송 스트림 생성을 위한 다중화 방법 및 그 장치
US7415041B2 (en) * 2004-12-31 2008-08-19 Motorola, Inc. Method and apparatus for decoding data in a wireless communication system
US20060256868A1 (en) * 2005-05-16 2006-11-16 Ensequence, Inc. Methods and systems for repositioning mpeg image content without recoding
US8737469B1 (en) * 2007-04-03 2014-05-27 Mediatek Inc. Video encoding system and method
US8725504B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Inverse quantization in audio decoding
US8726125B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Reducing interpolation error
US8477852B2 (en) * 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
US8849051B2 (en) * 2007-09-17 2014-09-30 Nvidia Corporation Decoding variable length codes in JPEG applications
US8502709B2 (en) * 2007-09-17 2013-08-06 Nvidia Corporation Decoding variable length codes in media applications
US8687875B2 (en) * 2007-12-03 2014-04-01 Nvidia Corporation Comparator based acceleration for media quantization
US8704834B2 (en) * 2007-12-03 2014-04-22 Nvidia Corporation Synchronization of video input data streams and video output data streams
US8934539B2 (en) * 2007-12-03 2015-01-13 Nvidia Corporation Vector processor acceleration for media quantization
US9307267B2 (en) * 2008-12-11 2016-04-05 Nvidia Corporation Techniques for scalable dynamic data encoding and decoding
JP5576781B2 (ja) * 2010-12-16 2014-08-20 株式会社メガチップス 画像処理システム、画像処理システムの動作方法、ホスト装置、プログラム、およびプログラムの作成方法
JP5685683B2 (ja) * 2011-10-28 2015-03-18 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法
CN107577429A (zh) * 2017-08-31 2018-01-12 郑州云海信息技术有限公司 一种数据存储与恢复方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0684712B1 (en) * 1994-05-17 2005-05-04 Nippon Telegraph And Telephone Corporation Line terminating equipment in SDH networks, using forward error correcting codes
US6571361B1 (en) * 1995-09-29 2003-05-27 Kabushiki Kaisha Toshiba Encoder and decoder
US5862153A (en) * 1995-09-29 1999-01-19 Kabushiki Kaisha Toshiba Coding apparatus and decoding apparatus for transmission/storage of information
JPH09298748A (ja) 1996-05-02 1997-11-18 Matsushita Electric Ind Co Ltd Mpegビットストリームにおいてスタッフィングビットの代わりにプライベートデータを送る方法および装置
JPH11234671A (ja) 1998-02-12 1999-08-27 Hitachi Ltd 信号処理装置
JPH11251922A (ja) 1998-02-27 1999-09-17 Sony Corp 圧縮符号化装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182797A (ja) * 2002-01-22 2012-09-20 Microsoft Corp 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム
US7522665B2 (en) 2002-07-04 2009-04-21 Lg Electronics Inc. Mobile terminal with camera
JP2015519810A (ja) * 2012-04-24 2015-07-09 マグナム セミコンダクター, インコーポレイテッド ビットストリームビットスタッフィングのための装置および方法
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention

Also Published As

Publication number Publication date
US6816550B2 (en) 2004-11-09
US20010026585A1 (en) 2001-10-04

Similar Documents

Publication Publication Date Title
JP2001285861A (ja) 画像信号符号化装置
EP1102493B1 (en) Video data formatting and storage
EP1467563A1 (en) Editing device and method
US20040120403A1 (en) Method and apparatus for altering the picture updating frequency of a compressed video data stream
US8131135B2 (en) MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
JPH08505512A (ja) 映像デコーダにおけるチャンネル・バッファの管理
KR19990082456A (ko) 영상 데이터 압축 장치 및 그 방법
JPH10257502A (ja) 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
JPH0974566A (ja) 圧縮符号化装置及び圧縮符号化データの記録装置
US8295347B2 (en) Information processing apparatus and information processing method, recording medium, and program
US6333950B1 (en) Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded
KR20050020710A (ko) 부호화 장치 및 부호화 방법
JP2002027469A (ja) ビットストリーム変換方法、ビットストリーム変換装置およびプログラム記録媒体
JP4114210B2 (ja) 映像データ圧縮装置およびその方法
JP3679606B2 (ja) 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体
JP2894958B2 (ja) 画像復号化方式および装置
JP4120934B2 (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4032446B2 (ja) 映像データ圧縮装置およびその方法
JP3990011B2 (ja) 復号画像変換回路および復号画像変換装置
JP2002199408A (ja) 動画像符号化方法および動画像符号化装置
JP4193224B2 (ja) 動画像符号化装置及び方法並びに動画像復号装置及び方法
JP3709835B2 (ja) 符号量変換方法及び装置
JP3141149B2 (ja) 画像符号化装置
JP3307367B2 (ja) 可変転送レート符号化装置
JP2004241879A (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070605