JP2001285868A - 動画像符号列切替装置及び動画像符号列切替方法 - Google Patents

動画像符号列切替装置及び動画像符号列切替方法

Info

Publication number
JP2001285868A
JP2001285868A JP2000090606A JP2000090606A JP2001285868A JP 2001285868 A JP2001285868 A JP 2001285868A JP 2000090606 A JP2000090606 A JP 2000090606A JP 2000090606 A JP2000090606 A JP 2000090606A JP 2001285868 A JP2001285868 A JP 2001285868A
Authority
JP
Japan
Prior art keywords
code string
code
moving image
image
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000090606A
Other languages
English (en)
Inventor
Kenji Sugiyama
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2000090606A priority Critical patent/JP2001285868A/ja
Priority to US09/816,335 priority patent/US6798835B2/en
Publication of JP2001285868A publication Critical patent/JP2001285868A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Abstract

(57)【要約】 【課題】 画像間予測符号化により符号化された複数の
符号列を切り替えて出力する動画像符号列切替装置及び
動画像符号列切替方法に関し、特に、符号列の切替点後
においても途切れのない再生画像の得られる装置及び方
法を提供すること。 【解決手段】 符号列切替点でのバッファ充足度のずれ
を、符号列切替点前後における参照画像とならいないB
ピクチャーの符号列を間引くこと(符号量を削減するこ
と)により解消するので、間引かれた部分の画像レート
は低下するものの、参照画像となるP及びIピクチャー
の符号列はそのまま残る。よって、本発明においては符
号列の切替点後においても再生画像が途切れることなく
連続して得られる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像を効率的に伝
送、蓄積、表示するために、画像情報をより少ない符号
量でディジタル信号にする高能率符号化、特にMPEG
方式の様に異なった画像間予測タイプを持つ画像間予測
符号化により符号化された複数の符号列を切り替えて出
力する動画像符号列切替装置及び動画像符号列切替方法
に関する。そして、この発明は特に、符号列の切替点後
においても途切れのない再生画像の得られる動画像符号
列切替装置及び動画像符号列切替方法を提供することを
目的としている。
【0002】
【従来の技術】<符号列切り替え>既に符号化されてい
る動画像符号列のディジタル放送や画像伝送において、
番組や伝送内容の変更に伴い、動画像符号列を切り替え
る必要がある。また、そのような符号列の画像編集にお
いても複数の符号列を編集してひとつの符号列とする必
要がある。これらの場合、出力される符号列は復号装置
において正常に復号されるものでなければならない。M
PEG等の画像間予測が行われる動画像符号化は、参照
画像がないと復号が出来ないので、符号化時には当然、
周期的に画像内で独立に符号化するIピクチャー(画像
内独立符号化画像)を設けておく必要がある。符号列切
り替えでは、後続する符号列は、そのIピクチャーから
始まるように符号列を切り替える必要がある。なお、M
PEG方式の動画像符号化では、画像間予測方法に基づ
く画像(ピクチャー)タイプを3種類持ち、上述のIピク
チャーと呼ばれる画像内独立符号化される画像、Pピク
チャーと呼ばれる片側方向画像間予測符号化される画像
と、Bピクチャーと呼ばれる双方向画像間予測符号化さ
れる画像がある。ここで、Bピクチャーは、他の画像の
参照画像にならない。
【0003】一方、画像間予測符号化では画像毎の発生
符号量が大きく異なるので、出力前に所定容量のバッフ
ァを設け、発生符号量がそのバッファの許容範囲内に収
まるように符号化を制御する。つまり所定範囲内でバッ
ファ充足度が随時変動する形となる。この様な符号列を
切り替えると、前符号列の最後のバッファ充足度と、後
符号列の最初のバッファ充足度は異なっているので、そ
のまま連続した符号列として扱うと符号量の変化がバッ
ファの許容範囲内に収まらなくなる。その場合、前符号
列の最後のバッファ充足度と、後符号列の最初のバッフ
ァ充足度との差分を埋め合わせるため、スタッフデータ
を入れて実効符号量を増やすか、中身のない空フレーム
を挿入して、実効符号量を減らす必要がある。前者の場
合は再生画像に影響はないが、後者の場合は空フレーム
が挿入されている時間、再生画像が得られなくなる。な
お、符号列を切り替える場合、後続する符号列はIピク
チャーから始まるように設定されており、Iピクチャー
の発生符号量は多いので、符号列切替点で空フレームを
挿入する可能性が高い。
【0004】<従来例の動画像符号化列切替装置>図3
は従来の動画像符号列切替装置の構成を示したものであ
る。符号列A入力端子1より入来する動画像符号列A及
び符号列B入力端子7より入来する動画像符号列Bは、
符号列スイッチ2に与えられる。各動画像符号列は、M
PEG-2でP(I)周期6フレームで符号化された48
0p画像(720×480画素、毎秒60フレームの順
次走査の画像)とする。符号列スイッチ2では、外部よ
り与えられるタイミングに従って符号列Aから符号列B
へと符号列が切り替えられる。しかし、画像間予測符号
化で符号化された動画像符号列の場合、任意のフレーム
で符号列を切り替えることは出来ない。符号列切替点よ
り前の符号列はPピクチャーで終了する必要があり、符
号列切替点よりも後の符号列はIピクチャーで始まる必
要がある。従って、符号列スイッチ2では、入来符号列
のフレーム同期の他にその画像タイプも認識し、前記条
件を満たすように符号列を切り替える。この様子を図5
に示す。その際、与えられた切り替えのタイミングに対
して、数フレームのずれを生じることになる。このよう
にして得られた符号列は、バッファ充足度が切替点で不
連続となっており、このままでは復号装置のバッファで
オーバーフローまたはアンダーフローを起こしてしま
う。そこで、符号列スイッチ2の出力符号列はブランク
挿入器31に与えられる。
【0005】ブランク挿入器31では、ブランク制御器
32にから与えられる制御情報により、スタッフビット
または空フレームが符号列に入れられる。スタッフビッ
トは実際に使われないビットであり、所定再生時間当た
りのビット数を増やすためのものである。一方、空フレ
ームは中身のないフレームヘッダーであり、所定再生時
間当たりのビット数を減らすものである。空フレーム挿
入は、実質上、後符号列の再生開始タイミングの先送り
となる。ここで制御される符号量はバッファ容量に対応
するが、通常バッファ容量は0.2〜0.5秒間程度の転
送ビット量に相当するのである。従って、最大0.2〜
0.5秒間程度画像が再生されないこともある。ブラン
ク挿入器31で処理された符号列はバッファ5に与えら
れる。バッファ5は間欠入力される符号列を保持し、所
定転送ビットレートで出力する。さらにバッファ5で
は、符号量がどのように変化したかを調べ、その情報を
ブランク制御器32に与える。一方、多重化分離器8
は、MPEGではVBV(Video Buffering Verifier)と
して、設定されるバッファ充足度BO(Buffer Occupanc
y)を各フレームで求め、ブランク制御器32に与える。
ブランク制御器32は、充足度の切替点でのずれを求
め、そのずれが解消されるまで、スタッフビットや空フ
レームの挿入を行うようにブランク挿入器31を制御す
る。
【0006】図7にその様子を示すが、図でバッファ充
足度BOはフレーム単位の変化のみが示されている。ま
た、バッファ充足度BOは、MPEG規格に習いデコー
ダ側のバッファ充足度で示されるので、各フレームの符
号量が多いと下がり、少ないと上がる。但し、上がる方
の変化は転送ビットレートでの変化が最高である。2つ
の符号列A,Bはそれぞれ独立した充足度の値を持つの
で、前述した画像タイプの条件で符号列を切り替える
と、充足度は当然不連続になる。切替点に空フレームを
挿入していくと、そこは符号量が0なので、充足度は転
送ビットレートで上昇する。ただし、この修正はフレー
ム単位なので、それより細かな量はスタッフビットの挿
入により調整し、2つの符号列の充足度が連続する様に
する(前符号列Aの最後のバッファ充足度と、後符号列
Bの最初のバッファ充足度との差分を埋め合わせるよう
にする。)。図7についてより詳しく説明する。符号列
切替点において、符号列Aのバッファ充足度(前符号列
の最後のバッファ充足度)がaであり、元の符号列Bの
バッファ充足度がb(後符号列の最初のバッファ充足
度)であったとする。符号列切替点でのバッファ充足度
の差分は(b−a)となる。符号列スイッチ2から出力
された符号列をそのまま連続した符号列として扱うと、
切り替え後の符号列B(即ち符号列スイッチ2から出力
された符号列B)のバッファ充足度は、符号列切替点で
のバッファ充足度の差分(b−a)だけ下がったものと
なる。このとき、元符号列Bのc点付近のバッファ充足
度は、切り替え後の符号列Bではd点付近のバッファ充
足度となり、バッファの許容範囲の下限内に収まらなく
なる(アンダーフローとなる)。そこで、符号列切替点
でのバッファ充足度の差分(b−a)に相当する空フレ
ームを符号列切替点直後に挿入して、符号列切替点での
バッファ充足度の差分を解消するようにする。これによ
って、空フレーム挿入前の符号列Bでのd点付近のバッ
ファ充足度は、空フレーム挿入したことによりe点付近
のバッファ充足度となり(元符号列Bのc点付近のバッ
ファ充足度にもどり)、符号列Aと符号列Bとを連続し
た符号列として扱っても、符号量の変化がバッファの許
容範囲内に収まるようになる。
【0007】
【発明が解決しようとする課題】従来の動画像符号列切
替装置は、符号列切替点でのバッファ充足度のずれを、
後符号列の再生開始タイミングの先送りとなる空フレー
ムの挿入で解消するので、復号時に切替点の後しばらく
再生する画像がなくなり、動画像が途切れることにな
る。本発明は以上の点に着目してなされたもので、符号
列切替点でのバッファ充足度のずれを、符号列切替点前
後における参照画像とならいない画像(MPEG方式で
はBピクチャー)の符号列を間引きくことにより解消
し、符号列の切替点後においても途切れのない再生画像
の得られる動画像符号列切替装置及び動画像符号列切替
方法を提供することを目的としている。
【0008】
【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、 [1] 画像間予測の参照画像となる第1の画像の符号
列と、前記第1の画像以外の第2の画像の符号列とを有
する動画像符号列が複数入来し、前記複数の入来動画像
符号列を切り替えて連続したひとつの動画像符号列とす
る符号列切替手段を有する動画像符号列切替装置におい
て、前記符号列切替手段から出力される動画像符号列か
ら各画像でのバッファ充足度の情報を得る情報分離手段
と、(8)前記符号列切替手段から出力される動画像符
号列における符号列切替点直前のバッファ充足度と符号
列切替点直後のバッファ充足度との差分を、前記情報分
離手段から供給されるバッファ充足度の情報により求
め、そのバッファ充足度の差分に応じて、前記符号列切
替点前後における動画像符号列の第2の画像の間引き率
及び間引き適用期間を、間引き後の動画像符号列におけ
るバッファ充足度が前記符号列切替点で連続するように
設定する間引き制御手段と、(9)前記間引き制御手段
での間引き設定に応じて、前記符号列切替手段から出力
される動画像符号列から第2の画像の符号列のみを間引
いて削除し、バッファ充足度が修正された修正動画像符
号列を得る符号列間引き手段と、(4)を設けたことを
特徴とする動画像符号列切替装置。 [2] 前記[1]記載の動画像符号列切替装置におい
て、前記符号列切替手段から出力される動画像符号列か
ら動きアクティビティ情報を得る動き量検出手段を設
け、(21,22)前記間引き制御手段(23)における
前記間引き率の設定条件に、この動きアクティビティ情
報を加えることを特徴とする動画像符号列切替装置。 [3] 画像間予測の参照画像となる第1の画像の符号
列と、前記第1の画像以外の第2の画像の符号列とを有
する動画像符号列が複数入来し、前記複数の入来動画像
符号列を切り替えて連続したひとつの動画像符号列とす
る動画像符号列切替方法において、前記連続した符号列
とされた動画像符号列から各画像でのバッファ充足度の
情報を得、前記連続した符号列とされた動画像符号列に
おける符号列切替点直前のバッファ充足度と符号列切替
点直後のバッファ充足度との差分を、前記バッファ充足
度の情報により求め、そのバッファ充足度の差分に応じ
て、前記符号列切替点前後における動画像符号列の第2
の画像の間引き率及び間引き適用期間を、間引き後の動
画像符号列におけるバッファ充足度が前記符号列切替点
で連続するように設定し、この間引き設定に応じて、前
記連続した符号列とされた動画像符号列から第2の画像
の符号列のみを間引いて削除し、バッファ充足度が修正
された修正動画像符号列を得る、ことを特徴とする動画
像符号列切替方法。 [4] 前記[3]記載の動画像符号列切替方法におい
て、前記連続した符号列とされた動画像符号列から動き
アクティビティ情報を得て、前記間引き率の設定条件
に、この動きアクティビティ情報を加えることを特徴と
する動画像符号列切替方法。を提供するものである。
【0009】
【発明の実施の形態】本発明は、符号列切替点でのバッ
ファ充足度のずれを、符号列切替点前後における参照画
像とならいない画像(MPEG方式ではBピクチャー)
の符号列を間引くこと(符号量を削減すること)により
解消するので、間引かれた部分の画像レートは低下する
ものの、参照画像となる画像(MPEG方式ではP及び
Iピクチャー)の符号列はそのまま残る。よって、本発
明においては符号列の切替点後においても再生画像が途
切れることなく連続して得られる。さらに、動きアクテ
ィビティを求めて、動きアクティビティの低いところで
参照画像とならいない画像(MPEG方式ではBピクチ
ャー)の符号列の間引きを多く行うようにすれば、間引
きによる動きのスムーズさの劣化も僅かにできる。
【0010】<動画像符号列切替装置の第1の実施例>
本発明の動画像符号列切替装置の第1の実施例について
説明する。図1は、その構成を示したものであり、図3
の従来例と同一構成要素には同一付番を記してある。図
1には、図3と比較してブランク挿入器31の代わりに
符号列間引き器4、ブランク制御器32の代わりに間引
き制御器9があり、符号列遅延器3が追加されている。
第1の実施例において、従来例と異なるのは符号列切替
点でのバッファ充足度差分(ずれ)の解消方法であり、基
本的な画像タイプに応じた切り替え処理は同じである。
(符号列切替点より前の符号列はPピクチャーで終了
し、符号列切替点よりも後の符号列はIピクチャーで始
まるようにする切り替え処理は従来と同様である。)
【0011】<主符号列に対する処理>符号列A入力端
子1より入来する動画像符号列A及び符号列B入力端子
7より入来する動画像符号列Bは、符号列スイッチ2に
与えられる。各動画像符号列は、MPEG-2方式、P
(I)周期6フレームで符号化された480p画像(72
0×480画素、毎秒60フレームの順次走査画像)と
する。符号列スイッチ2では、外部より与えられるタイ
ミングに従って、符号列Aから符号列Bへと符号列が切
り替えられる。しかし、画像間予測符号化で符号化され
た動画像符号列の場合、任意のフレームで符号列を切り
替えることは出来ない。前の符号列はPピクチャーで終
了する必要があり、後の符号列はIピクチャーで始まる
必要がある。従って、符号列スイッチ2では、入来符号
列のフレーム同期の他にその画像タイプも認識し、前記
条件を満たすように符号列を切り替える。この様子を図
5に示す。その際、与えられた切り替えのタイミングに
対して、数フレームのずれを生じることになる。このよ
うにして得られた符号列は符号列遅延器3に与えられる
が、この段階での符号列は、バッファ充足度が切替点で
不連続となっており、このままでは復号装置のバッファ
でオーバーフローまたはアンダーフローを起こしてしま
う。
【0012】符号列遅延器3は、10〜20フレーム程
度の間符号列を遅延させ、そのまま符号列間引き器4に
与える。符号列間引き器4は、所定周期でBピクチャー
の符号列を間引く。符号列遅延器3で遅延しているの
で、切替点後のフレームのみならず、切替点前のフレー
ムも間引かれる。間引き率は、例えば画像レートRが3
0fps(frame per second)になるように1フレームお
きに間引く。60fpsが30fpsになると、速い動
きの画像では動きのスムーズさが多少損なわれるが、通
常の動きの画像ではさほど気にならない。符号列の変更
点は通常シーンチェンジとなるので、その前後は視覚的
に微妙な劣化が検知され難くなっている。さらに、シー
ンチェンジ直後0.1秒程度は、視覚的に劣化が特に認
識されにくいので、切替点直後から0.1秒は、間引き
率をさらに上げ、20fpsないし、10fpsとして
もよい。各フレームレートとBピクチャー間引きの様子
を図4に示す。P(I)ピクチャーは必ず残されるので、
P(I)ピクチャーと残ったBピクチャーが均等間隔にな
るように間引かれる。Bピクチャーの間引かれた符号列
は、バッファ5に与えられる。バッファ5は間欠入力さ
れる符号列を蓄え、所定転送レートで出力する。また、
同時にバッファ充足度(間引きにより修正された符号量)
を観測し、その情報を間引き制御器9に与える。
【0013】<間引き制御>間引き制御器9は、Bピク
チャーの間引き期間を制御する。切替点における充足度
のずれ量を求め、それに応じて間引きの開始点を決め
る。アンダーフローとなる方向にずれが大きく、符号の
必要削減量が多い場合は早めに間引きを開始し、少ない
場合は切替点まじかで開始する。但し、早くても符号列
遅延器3の遅延による先行分までである。間引きは充足
度のずれが解消されるまで続けられる。また、符号量を
減らす必要がない場合は、間引きは行われない。また、
この修正はフレーム単位なので、それより細かな量はス
タッフビットの挿入により調整し、2つの符号列の充足
度が連続する様にする。ここで、多重化分離器8は、M
PEGではVBV(Video Buffering Verifier)として、
設定されるバッファ充足度BO(Buffer Occupancy)を各
フレームで求め、間引き制御器9に与える。間引き制御
器9は、充足度の符号列切替点でのずれを求め、そのず
れに応じて間引き率を設定し、設定した間引き率を符号
列間引き器4に供給する。そして、間引き制御器9はバ
ッファ5から供給される間引きにより修正されたバッフ
ァ充足度(修正符号量)に基づき、前記バッファ充足度の
ずれが解消されるまで、符号列間引き器4で間引き動作
を行わせる。
【0014】この間引き制御によるバッファ充足度の補
正を図6を用いて説明する。なお、ここでは第2実施例
で説明する動き量検出に基づく制御は行われないものと
して説明する。図でバッファ充足度BOはフレーム単位
の変化のみが示されている。また、バッファ充足度BO
は、MPEG規格に習いデコーダ側のバッファ充足度で
示されるので、各フレームの符号量が多いと下がり、少
ないと上がる。符号列切替点において、符号列Aのバッ
ファ充足度(前符号列の最後のバッファ充足度)がaで
あり、元の符号列Bのバッファ充足度がb(後符号列の
最初のバッファ充足度)であったとする。符号列切替点
でのバッファ充足度の差分は(b−a)となる。符号列
スイッチ2から出力された符号列をそのまま連続した符
号列として扱うと、切り替え後の符号列B(即ち符号列
スイッチ2から出力された符号列B)のバッファ充足度
は、符号列切替点でのバッファ充足度の差分(b−a)
だけ下がったものとなる。このとき、元符号列Bのc点
付近のバッファ充足度は、切り替え後の符号列Bではd
点付近のバッファ充足度となり、バッファの許容範囲の
下限内に収まらなくなる(アンダーフローとなる)。そ
こで、符号列切替点でのバッファ充足度の差分(b−
a)を間引き制御器9で求め、そのずれに応じて間引き
率を設定し、符号列切替点より前の符号列Aの所定部分
から間引きを開始する。そして、バッファ5から供給さ
れる間引きにより修正されたバッファ充足度(修正符号
量)に基づき、前記バッファ充足度のずれが解消される
まで符号列Bに対して間引きを行う。これによって、間
引き前の符号列Bでのd点付近のバッファ充足度は、間
引きによりe点付近のバッファ充足度となり、符号列A
と符号列Bとを連続した符号列として扱っても、符号量
の変化がバッファの許容範囲内に収まるようになる。
【0015】Bピクチャーの間引きでは、符号量は従来
例の空フレーム挿入の様に0にはならないので、間引き
の適用される時間は、空フレーム挿入より長くなる。符
号量のずれが、0.1秒の転送符号量相当とすると、従
来例の場合は0.1秒間の空フレーム挿入である。一
方、本実施例の符号量削減量は、従来例の1/4の25
%程度なので、0.1秒の4倍の0.4秒間程度に渡って
行われることになる。Bピクチャーの間引きは符号列切
替点に先行して行われるので、切替点の段階でかなり充
足度の補正が進んでいるが、場合により必ずしも十分符
号量が削減できず、切替点以降でアンダーフローとなる
可能性がある。その様な場合は、従来例の空フレーム挿
入を併用することになるが、その場合も空フレーム数は
従来例より大幅に少ない。
【0016】<動画像符号列切替装置の第2の実施例>
動画像符号列切替装置の第2の実施例について説明す
る。図2は、その構成を示したもので、図1の第1の実
施例と同一構成要素には同一付番を記してある。図2に
は、図1と比較して動き量検出器22が追加されてお
り、多重化分離器21及び間引き制御器23の動作が異
なる。以下、第1の実施例と動作が異なる部分のみ説明
する。
【0017】<動き量検出>多重化分離器21は、符号
列からバッファ充足度の情報のみならず、画像間予測で
使われる動きベクトル(MV)の情報も抽出する。バッフ
ァ充足度の情報(修正符号量)は間引き制御器23に、
MV情報は動き量検出器22に与える。動き量検出器2
2は入来するMV情報から動きアクティビティを検出す
る。動きアクティビティの検出はひとつのPピクチャー
とPピクチャーの間(セグメントと呼ぶ)、時間にして
0.1秒単位に行われる。設定の元となる情報は、Pピ
クチャーの予測に使われるMVである。得られた動きア
クティビティは、間引き制御器23に与えられる。具体
的にはPピクチャーの符号化で用いるMVの水平成分M
Vx(i,j)、垂直成分MVy(i,j)から求める。な
お、MVx(i,j)、MVy(i,j)の値は1画素の動き
が1.0、iは1フレーム内のブロック水平位置、jは
1フレーム内のブロック垂直位置とする。画面全体の動
きアクティビティMA(Motion Activity)を次式で求め
る。
【0018】
【数1】
【0019】入来符号列では、Iピクチャーや、Pピク
チャーでも独立符号化ブロックで、MV情報がないブロ
ックがある。Iピクチャーは、その前のBピクチャーの
動きベクトルを距離補正して代用し、独立符号化ブロッ
クは、変化の激しいブロックと見なされるので、比較的
大きな所定MV値を与えて、MAの算出を行う。
【0020】<動き量による間引き制御>間引き制御器
23は、単に間引きを行うかどうかの制御でなく、各セ
グメントでの画像レートR(間引き率)の制御を行い、そ
の情報を符号列間引き器4に与える。符号列間引き器4
は、指定された画像レート(間引き率)で画像を間引くこ
とになる。動画像信号は毎秒60フレーム(フィールド)
が基本であるが、この値は面フリッカの検知限界から来
るものであり、画像のすべての動きでそれが必要なわけ
ではない。実際、映画フィルムが24fpsであること
からも推測できるが、30fpsで動きの劣化(不自然
さ)が検知されるのは早い動きの場合のみで、20fp
sでも大きな劣化とはならない。しかし、10fpsは
静止に近い場合以外で動きの劣化が気になる。従って、
早い動きがある場合のみ間引きなしの60fpsとし、
動きが多い場合は30fps、動きが少ない場合は20
fps、動きがほとんどない場合に10fpsとする。
この制御を適切に行うことで、動き劣化がほとんど気に
ならない再生画像が得られる。そこで、動きアクティビ
ティMAと画像レートRとの関係は以下の様にする。 R=60fps ・・・・ 64< MA R=30fps ・・・・ 8< MA ≦64 R=20fps ・・・・ 1< MA ≦8 R=10fps ・・・・ MA ≦1
【0021】結果的に削減されるBピクチャーの数は、
第1の実施例の場合より大目になる。これは、画像レー
トが下げられるMAの小さなセグメントは、Bピクチャ
ーの符号量がそもそも少ない場合が多いためである。こ
の様な処理の様子が図6に示されている。図で、符号列
スイッチで切り替えられた符号列は、間引き適用期間内
で動きアクティビティMAに応じて画像レート(間引き
率)Rが設定され、Bピクチャーが間引かれる。それに
より間引き適用期間でバッファ充足度が破線の様に修正
され、ふたつの符号列が連続的につながる。間引き適用
期間外は、元の符号列のままである。間引き適用期間
は、第1の実施例と同様、符号列切替点でのバッファ充
足度のずれ量及び修正後符号量に基づき間引き制御器9
により制御する。
【0022】
【発明の効果】以上の通り、本発明は、符号列切替点で
のバッファ充足度のずれを、符号列切替点前後の参照画
像とならいない画像(MPEG方式ではBピクチャー)
の符号列を間引くことにより符号量を削減することで解
消するので、その部分の再生画像レートは低下するもの
の、切替点の後でも画像が途切れることなく再生画像が
得られる。よって、本発明を用いれば、バッファの破綻
や画像が途切れることなく、通常のシーンチェンジと同
様な自然な形で符号列の切り替えが可能になる。さら
に、動きアクティビティを求めて、動きアクティビティ
の低いところで参照画像とならない画像の符号列の間引
きを行うようにした場合には、間引きによる再生画像の
動きのスムーズさの劣化も僅かになる。符号列切替点は
一般的に大きな画像変化を伴うシーンチェンジとなるの
で、符号列切替点直後は間引きによる画質劣化が視覚的
に目立ち難いが、動きアクティビティに応じて間引くこ
とにより、より一層間引きによる画質劣化が目立ち難く
なる。
【図面の簡単な説明】
【図1】動画像符号列切替装置の第1実施例の構成例を
示す図である。
【図2】動画像符号列切替装置の第2実施例の構成例を
示す図である。
【図3】従来の動画像符号列切替装置の構成例を示す図
である。
【図4】間引き率とBピクチャー削除の様子を示す図で
ある。
【図5】画像タイプと符号列切り替えタイミングの例を
示す図である。
【図6】本発明での画像間引きとバッファ充足度の変化
例を示す図である。
【図7】従来の空フレーム挿入とバッファ充足度の変化
例を示す図である。
【符号の説明】
1 符号列A入力端子 2 符号列スイッチ 3 符号列遅延器 4 符号列間引器 5 バッファ 6 符号列出力 7 符号列B入力端子 8、21 多重化分離器 9、23 間引き制御器 22 動き量検出器 31 ブランク挿入器 32 ブランク制御器

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】画像間予測の参照画像となる第1の画像の
    符号列と、前記第1の画像以外の第2の画像の符号列と
    を有する動画像符号列が複数入来し、前記複数の入来動
    画像符号列を切り替えて連続したひとつの動画像符号列
    とする符号列切替手段を有する動画像符号列切替装置に
    おいて、 前記符号列切替手段から出力される動画像符号列から各
    画像でのバッファ充足度の情報を得る情報分離手段と、 前記符号列切替手段から出力される動画像符号列におけ
    る符号列切替点直前のバッファ充足度と符号列切替点直
    後のバッファ充足度との差分を、前記情報分離手段から
    供給されるバッファ充足度の情報により求め、そのバッ
    ファ充足度の差分に応じて、前記符号列切替点前後にお
    ける動画像符号列の第2の画像の間引き率及び間引き適
    用期間を、間引き後の動画像符号列におけるバッファ充
    足度が前記符号列切替点で連続するように設定する間引
    き制御手段と、 前記間引き制御手段での間引き設定に応じて、前記符号
    列切替手段から出力される動画像符号列から第2の画像
    の符号列のみを間引いて削除し、バッファ充足度が修正
    された修正動画像符号列を得る符号列間引き手段と、を
    設けたことを特徴とする動画像符号列切替装置。
  2. 【請求項2】請求項1記載の動画像符号列切替装置にお
    いて、 前記符号列切替手段から出力される動画像符号列から動
    きアクティビティ情報を得る動き量検出手段を設け、 前記間引き制御手段における前記間引き率の設定条件
    に、この動きアクティビティ情報を加えることを特徴と
    する動画像符号列切替装置。
  3. 【請求項3】画像間予測の参照画像となる第1の画像の
    符号列と、前記第1の画像以外の第2の画像の符号列と
    を有する動画像符号列が複数入来し、前記複数の入来動
    画像符号列を切り替えて連続したひとつの動画像符号列
    とする動画像符号列切替方法において、 前記連続した符号列とされた動画像符号列から各画像で
    のバッファ充足度の情報を得、 前記連続した符号列とされた動画像符号列における符号
    列切替点直前のバッファ充足度と符号列切替点直後のバ
    ッファ充足度との差分を、前記バッファ充足度の情報に
    より求め、 そのバッファ充足度の差分に応じて、前記符号列切替点
    前後における動画像符号列の第2の画像の間引き率及び
    間引き適用期間を、間引き後の動画像符号列におけるバ
    ッファ充足度が前記符号列切替点で連続するように設定
    し、 この間引き設定に応じて、前記連続した符号列とされた
    動画像符号列から第2の画像の符号列のみを間引いて削
    除し、バッファ充足度が修正された修正動画像符号列を
    得る、ことを特徴とする動画像符号列切替方法。
  4. 【請求項4】請求項3記載の動画像符号列切替方法にお
    いて、 前記連続した符号列とされた動画像符号列から動きアク
    ティビティ情報を得て、前記間引き率の設定条件に、こ
    の動きアクティビティ情報を加えることを特徴とする動
    画像符号列切替方法。
JP2000090606A 2000-03-29 2000-03-29 動画像符号列切替装置及び動画像符号列切替方法 Pending JP2001285868A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000090606A JP2001285868A (ja) 2000-03-29 2000-03-29 動画像符号列切替装置及び動画像符号列切替方法
US09/816,335 US6798835B2 (en) 2000-03-29 2001-03-26 Apparatus and method of switching moving-picture bitstream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000090606A JP2001285868A (ja) 2000-03-29 2000-03-29 動画像符号列切替装置及び動画像符号列切替方法

Publications (1)

Publication Number Publication Date
JP2001285868A true JP2001285868A (ja) 2001-10-12

Family

ID=18606194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000090606A Pending JP2001285868A (ja) 2000-03-29 2000-03-29 動画像符号列切替装置及び動画像符号列切替方法

Country Status (2)

Country Link
US (1) US6798835B2 (ja)
JP (1) JP2001285868A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278012A (ja) * 2007-04-26 2008-11-13 Matsushita Electric Ind Co Ltd ビットストリーム差替装置
JP2009200672A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像信号処理装置、画像信号処理方法、およびプログラム
JP2010245822A (ja) * 2009-04-06 2010-10-28 Hitachi Ltd 動画像符号化装置および動画像符号化方法
JP2013214894A (ja) * 2012-04-03 2013-10-17 Mitsubishi Electric Corp 画像符号化装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954499B2 (en) * 2000-03-15 2005-10-11 Victor Company Of Japan, Ltd Moving picture coding, coded-moving picture bitstream conversion and coded-moving picture bitstream multiplexing
KR100612829B1 (ko) * 2001-07-07 2006-08-18 삼성전자주식회사 그래픽 애니메이션 데이터의 키 부호화 장치와 그 방법
KR100480787B1 (ko) * 2001-11-27 2005-04-07 삼성전자주식회사 좌표 인터폴레이터의 키 값 데이터 부호화/복호화 방법 및 장치
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
US20040146211A1 (en) * 2003-01-29 2004-07-29 Knapp Verna E. Encoder and method for encoding
EP1638333A1 (en) * 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
WO1999005870A2 (en) * 1997-07-22 1999-02-04 Koninklijke Philips Electronics N.V. Method of switching between video sequences and corresponding device
JPH11167767A (ja) 1997-09-30 1999-06-22 Victor Co Of Japan Ltd 情報編集システム及びこれに用いる高能率符号化装置
JP4275746B2 (ja) * 1998-02-03 2009-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 符号化ビデオシーケンスの切り替え方法及びこれに対応する装置
US6678332B1 (en) * 2000-01-04 2004-01-13 Emc Corporation Seamless splicing of encoded MPEG video and audio

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278012A (ja) * 2007-04-26 2008-11-13 Matsushita Electric Ind Co Ltd ビットストリーム差替装置
JP2009200672A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像信号処理装置、画像信号処理方法、およびプログラム
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
JP2010245822A (ja) * 2009-04-06 2010-10-28 Hitachi Ltd 動画像符号化装置および動画像符号化方法
JP2013214894A (ja) * 2012-04-03 2013-10-17 Mitsubishi Electric Corp 画像符号化装置

Also Published As

Publication number Publication date
US6798835B2 (en) 2004-09-28
US20020031183A1 (en) 2002-03-14

Similar Documents

Publication Publication Date Title
JP4232209B2 (ja) 圧縮画像データの編集装置及び圧縮画像データの編集方法
US8320451B2 (en) Replacement of frame data in a video stream signal
KR100538135B1 (ko) 정보 스트림 프레임 동기 방법 및 장치
US6819714B2 (en) Video encoding apparatus that adjusts code amount by skipping encoding of image data
JP3360586B2 (ja) スキャン変換装置及び方法
JP3091393B2 (ja) 符号化されたビデオ信号をスプライシングする方法
US20040120403A1 (en) Method and apparatus for altering the picture updating frequency of a compressed video data stream
JP4649615B2 (ja) 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
JP4402219B2 (ja) ビデオ・データ中のフラッシュ・フレームの検出および符号化
KR100301826B1 (ko) 비디오디코더
JP3560217B2 (ja) データ符号化装置、データ符号化方法及びデータ伝送方法
US7333711B2 (en) Data distribution apparatus and method, and data distribution system
JP2001285868A (ja) 動画像符号列切替装置及び動画像符号列切替方法
JP4223567B2 (ja) 符号化ビデオシーケンスの切り替え方法及び装置
JP2002218472A (ja) 可変画像レート復号化装置及び可変画像レート復号化方法
JP2000244872A (ja) トランスコーダ装置
JP4320509B2 (ja) 映像再符号化装置および方法
WO2006059796A1 (ja) 符号化装置および方法、並びにプログラム
KR20180101607A (ko) 영상 전환 장치를 구비한 부호화 장치 및 영상 전환 검지 방법을 포함하는 부호화 방법
JP2001128165A (ja) 映像信号切替え装置及びその映像信号切替え方式
JP3888848B2 (ja) 画像復号装置
JPH10126792A (ja) 画像符号化方法および装置
JP2000295626A (ja) 多段画像符号化装置
JP4867872B2 (ja) 画像処理装置、この画像処理装置の制御方法、及び、プログラム
KR100215822B1 (ko) 비트스트림 오버플로우를 방지하는 영상디코딩방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050712