JP2000515711A - ビデオシーケンス切替方法、その切替装置及び復号化システム - Google Patents
ビデオシーケンス切替方法、その切替装置及び復号化システムInfo
- Publication number
- JP2000515711A JP2000515711A JP10542105A JP54210598A JP2000515711A JP 2000515711 A JP2000515711 A JP 2000515711A JP 10542105 A JP10542105 A JP 10542105A JP 54210598 A JP54210598 A JP 54210598A JP 2000515711 A JP2000515711 A JP 2000515711A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sequence
- switching
- old
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000007562 laser obscuration time method Methods 0.000 claims 1
- 239000000872 buffer Substances 0.000 description 52
- 230000004044 response Effects 0.000 description 12
- 230000007704 transition Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
本発明は、MPEG規格で規定するスプライシングポイントのような特定のアクセスポイントが形成されるのを回避するために切替ポイントにおいて2シーケンス間でkの画像の追加のシーケンスを挿入する、第1ビデオシーケンスから第2ビデオシーケンスに切り替える方法に関するものである。減少したビット数で符号化される意味でミニマルであるこれら画像を、例えば、一様なカラー画像又は単一の以前のI又はP画像の受信とする。用途:ある番組から他の番組に切り替える装置を有する復号化システム。
Description
【発明の詳細な説明】
ビデオシーケンス切替方法、その切替装置及び復号化システム
本発明は、第1ビデオシーケンスから第2ビデオシーケンスに切り替える切替
方法であって、タイプT=I,P又はBの画像が独立して符号化され、前のI又
はP画像から予測され、又は前及び後のP画像及び/又はI画像から双方向で予
測されることに基づいて、旧シーケンス及び新シーケンスを前記画像から構成す
る、切替方法に関するものである。また、本発明は、この切替方法を実施する装
置及びこのような装置を有する復号化システムに関するものである。本発明を、
例えば、全国ネットのテレビ番組から地方ネットのテレビ番組に切り替えるのに
用いることができ、特に、MPEG規格に関して有用である。
国際標準化機構(ISO)のエムペグ(MPEG)によって採用されていると
ともに複数の文献に記載されている上記規格の原理は、例えば、1995年12
月に刊行されたSMPTE JournalのVol.104,no.12の788〜802ページに記載さ
れた"Switchlng facilities in MPEG-2:necessary but not sufficient"に記載
されている。
この文献で説明されているように、切替は、(ビデオ、音声及び関連のデータ
を有する)番組セグメント又は完全な番組のスプライシングを意味し、すなわち
、実際には相違する基本ストリームの連結を意味する。以下、簡単のために、本
明細書を二つの相違するビットストリームの場合に限定し、それは、相違する位
置及び/又は相違する時間に発生してもよく、それらが発生したときに互いに接
合することを本来意図するものではない。
これらストリームの構成それ自体を考察すると、圧縮ビデオシーケンスが相違
するタイプの符号化された画像I,P及びBを具える画像群(GOP)からなる
ことを想起する必要がある。I(内部符号化)画像は(内部フレーム技術のみに
よって、以前の情報を必要とせず、すなわち、他の画像を参照することなく)独
立して符号化され、それに対して、P(予測符号化)画像は前のI画像又は前の
P画像から予測され、B(双方向予測符号化)画像は、前の及び後のP画像及び
/又はI画像から双方向的に予測される。
これら相違するタイプの予測によれば、画像はある程度の効率で符号化される
(I画像は最も悪い効率で符号化され、P画像は更に効率的であり、B画像は最
も効率的に符号化される。)。画像を符号化するのに必要なビット数は一定でな
いので、復号化が規則的な期間T(V)で行われる場合、符号化された画像のビ
ットは、デコーダのバッファ中で同一時間を費やさない。
MPEG規格は、ビデオバッファ検孔機(VBV)と称されるとともに理想的
なバッファリング及び遅延要求でMPEGビットストリームが復号化可能である
ことを確証するのに用いられる復号化の抽象モデルを特徴づける。バッファの占
有によって、ビットストリームに制限が課され、その結果、復号化がアンダーフ
ロー又はオーバーフローなしに行われる。いわゆるvbv遅延は、符号化画像の
第1ビットによってデコーダのバッファで費やされる時間を表す。抑制された第
1の「旧」画像のvbv遅延と送信された「新」画像のvbv遅延とが相違する
場合(所定のポイントから新画像に置換されるものを旧画像と称する。これに関
して、旧ビットストリームに属するデータと新ビットストリームに属するデータ
との間の境界をスプライスと称する。)、上記期間T(V)で規則的に復号化さ
れる画像を用いた切替の実行は不可能である。さらに、置換された画像のサイズ
と挿入された画像のサイズとが相違するので、デコーダのバッファのアンダーフ
ロー又はオーバーフローが生じるおそれがある。したがって、二つの符号化ビデ
オシーケンスの簡単な切替は一般的に不可能である。
ディスプレイ側の任意の表示の不連続を回避する(データのフローの目に見え
る中断がないために、観察者が連続的なものと感じる)ために、復号化の不連続
がないことが必要であり、それは、スプライスが継目ない場合、すなわち、円滑
に流れるビットストリームが得られる場合のみ可能となる。これは、新ストリー
ムの第1アクセスユニットの復号化時間がスプライスに先行する旧ストリームの
アクセスユニットの復号化時間に一致することを意味し、それは、スプライシン
グポイントと称されるとともにビットストリームの特定のフィールドに示される
適切なロケーションを除いては一般にあり得ない。このようなアクセスポイント
は、二つの符号化画像間に配置され、このようなポイントに続く第1ビットの固
定された規格化vbv遅延値や、いわゆるスプライス復号化遅延を規定する(ス
プライスポイントの構成は、旧シーケンスと新シーケンスとの間の遷移の際にオ
ーバーフローを生じさせないことも保証する。)。同一スプライシングポイント
が新シーケンスと旧シーケンスの両方に存在する場合のみ切替動作を行うことが
できる。しかしながら、近年、これらポイントが完全に正式なものとなり、少数
の復号化遅延値のみが規定され、それを実行できる符号化システムがない。さら
に、ビデオシーケンスの置換の(すなわち、第1のものが旧シーケンスから新シ
ーケンスへの順方向の遷移を有し、第2のものが新シーケンスから旧シーケンス
に戻す逆方向の遷移を有する)場合、逆方向の切替に対応する旧スプライシング
ポイント及び新スプライシングポイントの一時的な位置が予測可能であるととも
に適合したものである場合にのみ、スプライシングポイントを用いることができ
る。これは、二つのビデオシーケンスに対する規則的で標準化されたGOP構造
を意味するが、この要求は一般的に満足されていない。
したがって、本発明の目的は、スプライシングポイント形成の制約のないビデ
オシーケンス切替を許容する方法を提案することである。
このために、本発明は、明細書の冒頭で説明するとともに追加のkシーケンス
の画像を、二つのシーケンス間の切替ポイントで挿入し、kが、適合したシーケ
ンスを有するのに十分な値を有し、前記追加の画像を、少数のビットを用いて符
号化することを特徴とする切替方法に関するものである。
この方法によれば、新ビデオシーケンスは、vbv遅延が適合可能になるまで
期間k.T(V)だけ遅延される。この遅延によって、デコーダは、旧ビデオシ
ーケンスと新ビデオシーケンスとの間にkの画像が欠落し、kの画像の追加のシ
ーケンスによってこれが起こる。デコーダは、旧シーケンスの画像、kのミニマ
ル画像及び新シーケンスの画像を連続的に表示する。
本発明の他の目的は、上記切替方法を実施する装置を提案することである。
このために、本発明は、他の任意の画像を参照することなく符号化される場合
や、先の内部の若しくは予測された画像から移動補償された予測によって予測さ
れ又は先及び後の画像から双方向に補間されるということに基づいて予測され若
しくは補間される場合に、画像内部のビデオシーケンスに対応するnの並列なビ
デオビットストリームを復号化する復号化システムであって、このようなシステ
ムに関連して、切替装置が、上記切替方法にしたがって復号化する必要があるビ
ットストリームの選択的な切替を行う選択手段を具えることを特徴とする切替装
置に関するものである。
本発明の他の目的は、このような切替装置を有する復号化システムを提案する
ことである。
このために、本発明は、他の任意の画像を参照することなく符号化される場合
や、先の内部の若しくは予測された画像から移動補償された予測によって予測さ
れ又は先及び後の画像から双方向に補間されるということに基づいて予測され若
しくは補間される場合、画像内部のビデオシーケンスに対応するnの並列なビデ
オビットストリームを復号化する復号化システムであって、そのシステムが切替
装置を具え、その切替装置が、復号化すべきビットストリームを選択する選択手
段と、これに縦続するとともに選択したビットストリームを復号化する復号化手
段とを有し、前記選択手段が、上記方法の実施の観点から、復号化する必要があ
るビットストリームの選択的な切替を行う制御手段を具えることを特徴とする復
号化システムに関するものである。
本発明の特徴及び利点を、添付図面を参照して明らかにする。
図1及び2は、本発明によらない時間に対するデコーダのバッファ充填のグラ
フ及び本発明を実施する場合の時間に対するデコーダのバッファ充填のグラフで
ある。
図3は、バッファオーバーフローのあり得る問題を示し、図4は、本発明によ
って提案される解決を示す。
図5は、本発明による切替方法の連続的なステップを示すフローチャートであ
る。
図6は、本発明による切替装置を有する復号化システムの実施の形態を示す。
本発明の原理を更に理解するために、切替時に生じる一部の問題を想起する必
要がある。第1の切替問題を、時間に対するデコーダのバッファ充填DBFのグ
ラフである図1に示す。第1ラインR(OLD)は、旧シーケンスの第1の置換
した画像に関連するビットストリームに対応し、新シーケンスによって置換され
る必要がある旧シーケンスのビデオビットレートを表す。切替のない(すなわち
、置換されない)この最終画像は、時間TD(0)で復号化される。切替が行わ
れると、新シーケンスの最初に送信される画像(ラインR(NEW)は、この最
初に送信ささた画像に関連するビットストリームに対応し、R(NEW)は、こ
の新シーケンスのビデオビットレートを表す。)は、同一時間TD(0)で復号
化される。地方ネットのビデオビットレートR(NEW)が全国ネットのビデオ
ビットレートR(OLD)より低く、したがって、VBVが各画像と対応する時
間TS(OLD)及びTS(NEW)にそれぞれ関連したVBV(OLD)及び
VBV(NEW)を遅延させると考えられるので(この場合、TS(OLD)=
旧シーケンスの最初に置換される画像の第1ビットがデコーダのバッファに入力
する時間=TD(OLD)−VBV(OLD);TS(NEW)=新シーケンス
の最初に置換される画像の第1ビットがデコーダのバッファに(理論的に)入力
する時間=TD(NEW)−VBV(NEW);TD(OLD)及びTD(NE
W)=最初に置換される画像及び最初に送信される画像が復号化される時間)、
実際にはTS(NEW)がTS(OLD)前に発生し、したがって、旧シーケン
スの最後に送信される画像のビット及び新シーケンスの最初に送信される画像の
ビットを同時に送信することは不可能と考えられる。
本発明によれば(後に更に詳細に説明する図2参照)、(旧シーケンスから新
シーケンスに切り替える際の)順方向の遷移時にk画像の追加のシーケンスを挿
入して、k.T(V)期間だけ新シーケンスを遅延させることを決定する。数k
は、TS(OLD)後にTS(NEW)を発生させることができるようにするの
に十分であり、k画像は、それを容易に符号化できる特性を有する(それは小数
のビットによって表され、したがって、本明細書中ではミニマル画像と称する。
)。
ミニマル画像の目的は、新シーケンスが遅延される間デコーダのバッファをで
きるだけ空にすることである。このような追加のシーケンスを構成する方法は、
例えば、kの一様なカラー画像(以下UC画像と称する)のシーケンスを考察す
ることであり、この場合、全ての画素を同一にする(例えば、I画像及び(k−
1)のP画像)。他の解決は、例えば、k.T(V)秒中に旧シーケンスの最後
のI又はP画像をデコーダに対してフリーズする同等の以前のI又はP画像のコ
ピーとして小シーケンスの画像を考察することによって、kのP画像のシーケン
スを考察することである。
kのUC画像の場合、全ての画像が同一であるので、P画像を、小さいビット
数を有する最初のI画像のコピーとして圧縮構文中で表すことができる。したが
って、UCシーケンスを符号化するのに要求される追加の処理ステップは、この
シーケンスの最初のI画像の符号化に制限される。
kのP画像の場合、これら画像は以前のもののコピーとしてMPEG−2構文
によって表される。実際には、このような技術的な解決の遷移に対する影響によ
って、k.T(V)秒中にUC画像を有する代わりに同一期間中に旧シーケンス
の最終画像をフリーズする。
いずれの場合も、VBV遅延を考察するために、最小数のミニマル画像を、(
図1を参照してわかるように)考察した遷移に挿入する必要がある。UC画像の
場合の最小数の決定の観点において、以下の(ビット)表示が選択される。
D(I)=UC画像シーケンスのI画像のサイズ
D(P)=UC画像シーケンスのP画像のサイズ
S(MAX)=デコーダのバッファのサイズ
最小数kは、旧シーケンスの最初に置換される画像の特性及び新画像の最初に挿
入される画像の特性に依存する。画像が一定期間T(V)で復号化されることを
知ると、番号kをTS(OLD)とTS(NEW)との間にする必要があり、k
のUC画像の全てのビットが送信される。これは、
TS(NEW)-TS(OLD)>(D(I)+(K-1).D(P))/R(OLD)) (1)
である場合、すなわち、TS(NEW)−TS(OLD)がビットレートR(O
LD)でのミニマル画像の送信に必要な時間より大きい場合には可能である。こ
の考察によって、関係(2)によって与えられる最小値に対するkは次のように
なる。VBV(NEW)がS(MAX)/R(NEW)によってオーバーバウンドされ
る(over−bounded)ので、kが
のようなk(MAX)によって近似的にオーバーバウンドされる。
kのP画像の場合の最小数の決定の観点から、関係(2)は、以下の関係(4
)によって置換される。
提案された解決を、上記解決が実現される時間に対するデコーダのバッファの
充填DBFの変形したグラフである図2に示す。この場合、TS(NEW)はT
S(OLD)の後に発生し、旧シーケンスの最後に送信される画像は、VBV(
OLD)の値を考察すると、TD(−1)で復号化され、新シーケンスの最初に
送信される画像は、VBV(NEW)の値を考察すると、TD(2)で復号化さ
れ、これら最初に置換される画像と最後に送信される画像との間で、ミニマル画
像がTS(OLD)とTS(NEW)との間に送信されるとともに、TD(0)
及びTS(1)で復号化される。
さらに、送信されるレートR(OLD)及びR(NEW)が一般に相違するの
で、切替遷移が生じると、デコーダのバッファに入力される入力レートは、任意
の切替なく入力されるものとは相違し、入力レートが高くなるとバッファがオー
バーフローするおそれがある。その結果、オーバーフローがないことを確認する
必要がある。デコーダのバッファの充填を、時間TS(NEW)から時間TD(
OLD)まで演算する必要がある。オーバーフローになり得る場合、ミニマル画
像を、オーバーフローでない状態を確認するまで、すなわち、TS(NEW)が
TD(OLD)より高くなるまで挿入する必要がある。この最後の状態を確認す
るミニマル画像の数kを、TD(OLD)−TS(NEW)<0となるようにし
、これによって、k>(VBV(NEW)/T(V))+1となる。VBV(N
EW)がS(MAX)/R(NEW)によってオーバーバウンドされるので、k
を、
のようなk(MAX)によってオーバーバウンドすることができる。
R(NEW)がR(OLD)より高いときのあり得るバッファオーバーフロー
のこのような問題を、デコーダのバッファの充填S(t)の展開を示す図3で明
らかにすることができる(S(MAX)はS(t)の最大値を表す。)。ライン
L(OS)を、旧シーケンスのみに対するバッファ充填の時間TD(−7),T
D(−6),...,TD(−2),TD(−1)での時間tごとの状態に対応
し、旧シーケンスの画像が復号化され、その間、バッファ充填はビットレートR
(OLD)に従って増大する(VBR(OLD)の値は、送信後符号化すべき第
1ビットがデコーダのバッファに格納されるときを表す。)。同様に、ラインL
(NS)は新シーケンスのみに対するバッファ充填の状態に対応し、時間TD(
0),TD(1),TD(2)等に、新シーケンスの画像が復号化され、その間
、バッファ充填はビットレートR(NEW)に従って増大する(同様に、VBV
(NEW)の値は、復号化すべき第1ビットがデコーダのバッファに格納される
ときを表す。)。ラインL(SW0)は、切替が行われるとき及び新シーケンス
に対応する復号化データがバッファに入力する前のバッファの実際の状態に対応
する。復号化時の充填の減少は、旧シーケンスに対するものと同一であるが、復
号化データはバッファに入力しない。ラインL(SWN)は、新シーケンスに対
応する復号化データがバッファに入力するときのバッファの実際の状態に対応す
る。本例では時間TD(−1)でオーバーフローになる。
提案された方法は、図4から明らかなようにこの問題を解決する。図3と同様
に、ラインL(0S)は、任意の変更がない場合には旧シーケンスに対するバッ
ファ充填の状態に対応する。ラインL(SW0)は本来、切替が行われるときの
バッファの状態に対応し、本発明による変更が切替時に開始され、この際、追加
のミニマル画像AMPが旧シーケンス後にレートR(OLD)で挿入される。こ
のミニマル画像によって、新シーケンスの記憶ステップ(全ラインL(NS)は
、一つの追加のミニマル画像に対して1期間T(V)だけ遅延される。)及びこ
の新シーケンスの(瞬時の)復号化時間を1期間T(V)だけ遅延させることが
でき、この場合、これはバッファのオーバーフローを防止するのに十分である。
実際には、この遅延は、デコーダのバッファ充填が図3で生じるオーバーフロー
を
回避するように十分減少させることができる。明らかに、更に多くのミニマル画
像を導入することができ、その最小数kのみが既に説明したようにして評価され
る。
本発明による切替方法の全体を、図5に示すように及び位置“START”で
初期設定される以下のステップに従って実現することができる。
(1)切替が要求されたか?SW?によって示されたこの質問に対して、応答
は、
(a)no:手続は再初期化される。
(b)yes:kの値は0に初期化され(k=0)、第2ステップを実行
することができる。
(2)I又はP画像が旧シーケンスで検出されたか?OLD:IorPによっ
て示されたこの質問に対して、応答は、
(c)no:I又はP画像が実際に存在し又は検出されるまでループする
。
(d)yes:(STOP−OLDで示したように)旧シーケンスの送信
を停止し、すなわち、復号化ステップを継続する間デコーダのバッフ
ァにビットが入力せず、第3ステップを実行することができる。
(3)I画像が新シーケンスで準備できている?NEW:I?で示したこの質
問に対して、応答は、
(e)no:kを1増分し(k=k+1)、ミニマル画像を速度R(OL
D)で送信し、第4ステップを実行することができる。
(f)yes:第4ステップを直接実行することができる。
(4)VBV(NEW)がVBV(OLD)+k.T(V)より大きい?VB
Vで示したこの質問に対して、応答は、
(g)yes:(COMP k’によって示したように)挿入すべきミニ
マル画像の数k’を演算し、第5ステップを実行することができる。
(h)no:第5ステップを直接実行することができる。
(5)R(NEW)がR(OLD)よりも大きい?R(NEW)/R(OLD
)で示したこの質問に対して、応答は、
(i)yes:(COMP k”によって示したように)あり得るオーバ
ーフローを回避するようにな数k”を演算し、第6及び第7ステップ
を実行することができる。
(j)no:第6及び第7ステップを直接実行することができる。
(6)kの値を式:k=k+max(k’,k”)に従って増大させ、kのミ
ニマル画像をレートR(OLD)で送信する。
(7)(TRANS−NEWで示したように)t=TD(NEW)−VBV(
NEW)、すなわち、t=TD(OLD)+k.T(V)−VBV(NE
W)のような時間tで新シーケンスの送信を開始する。
明らかに、最初の切替点で、TS(OLD)前に、デコーダのバッファはアン
ダーフローもオーバーフローもしない。その理由は、旧ビデオシーケンスが適切
に圧縮されたビデオシーケンスだからである(すなわち、デコーダのバッファ充
填は符号化プロセスによって正確に行われる。)。TS(OLD)とTD(OL
D)との間では、バッファ中で(旧ビデオシーケンスの画像又はUC画像のいず
れかに)復号化する画像のビットが常に存在するので、デコーダのバッファはア
ンダーフローせず、適切に圧縮されたビデオシーケンスのビットレートであるR
(OLD)以下のレートでUC画像のビットが入力するので、デコーダのバッフ
ァはオーバーフローしない。TD(OLD)とTD(NEW)との間では、バッ
ファ中で(UC画像又は新ビデオシーケンスの画像のいずれかに)複合化する画
像のビットが常に存在するので、デコーダのバッファはアンダーフローせず、(
ビット数を考慮する際に)UC画像が非常に短いために、TD(NEW)での充
填よりもバッファ充填が小さく、それ自体は、適切に圧縮されたビデオシーケン
スに関連した充填であり、デコーダのバッファはオーバーフローしない。TD(
NEW)後、新ビデオシーケンスが、適切に圧縮されたビデオシーケンスである
ので、デコーダのバッファは明らかにオーバーフローもアンダーフローもしない
。
明らかに、本発明は単一のビデオ切替の場合に限定されるものではない。例え
ば、(明細書の開始で説明したような)ビデオシーケンス置換の場合は、2度の
切替を行うのと同等である。1回目の切替は、旧シーケンスをミニマル画像に置
換するとともにそのミニマル画像を第2シーケンスに置換するときであり、2回
目の切替は、第2シーケンスをミニマル画像に切り替えるとともにそのミニマル
画像を元の旧シーケンスに切り替えるときである。このような状況において、2
回目に挿入すべきミニマル画像の最小数を、再び送信すべき第1の旧画像がI画
像となるように選択する必要があり、それは、ミニマル画像の第2の数が固定さ
れないがGOP構造に依存することを意味する。GOPを以下のように構成でき
ることも既知である。
−B0,B1,I2,B3,B4,P5,B6,B7,P8,...,の表示
順序
−I2,B0,B1,P5,B3,B4,P8,B6,B7,...,の送信
順序
B画像の規定のために、画像B0及びB1は、12及びいわゆる閉じられていな
いGOPを規定する以前のGOPの最後のP画像からの予測を用いて符号化され
る。完全に相違するシーケンスのP画像からの予測を用いて送信の際に最初のB
画像が符号化されるために生じる問題を解決するために、このような閉じられて
いないGOPの最初のB画像を送信時にミニマル画像に置換する。この場合、こ
れらミニマル画像を双方向予測符号化画像とし、この場合には、各スライスの最
初及び最後のマクロブロック(macroblock)が、順方向予測を用いる
が空の順方向ベクトルで誤り予測を用いることなく符号化される(他のマクロブ
ロックは上記スキップマクロブロックとなる。)。したがって、デコーダは、ミ
ニマル画像を最後に表したI又はP画像のコピーと考える。
この解決を、対応する追加のステップが設けられた図5にも示す。
(8)新シーケンスの最初のGOPが閉じたGOPである?GOP?で示した
この質問に対して、応答は、
(k)yes:本発明による方法の実行を完了する(“END”)。
(l)no:第9ステップを実行することができる。
(9)最初のI画像後に新シーケンスで画像が検出された?PICTURE?
で示したこの質問に対して、応答は、
(m)no:画像が実際に存在し及び検出するまでループで待機する。
(n)yes:第10ステップを実行することができる。
(10)検出した画像がB画像である?B:PICTURE?で示したこの質
問に対して、応答は、
(o)yes:そのB画像をB最ミニマル画像BMPに置換する。
(p)no:方法の実行を完了する(“END”)。
明らかに、本発明は上記方法に限定されるものではなく、上記切替方法を実施
する装置及びこのような装置を有する復号化システムに関するものである。少な
くとも2回復号化し及び好適にはタイプT=I,P又はBの画像のビデオシーケ
ンスに対応するnの並列なビットストリームのシステムは、例えば、欧州−PC
T出願第0783817号(PHF95003)に記載されている。図6に示す
ようなこのようなシステムは、複数(一般的にはn)本実施の形態では2)のビ
デオビットストリームを有する入力ビットストリームIBを受信するデマルチプ
レクサ60を具え、その出力(図6の場合には二つ)は、本例ではそれと同数(
2個)のバッファ(71及び72)を具える記憶手段70に送信される。
切替動作が制御手段81で行われ、その制御手段81は、復号化される選択し
たビットストリームに対応するバッファ、例えば、バッファ72を選択し、同時
に、(例えばユーザ動作によって選択されなかったために復号化する必要がない
瞬時の)他のビットストリームの他のバッファ71への転送を制御する。並列な
バッファ71及び72の出力部で、制御手段80を構成する制御ユニット81に
よって制御されるスイッチ82は、適切なバッファ出力信号を選択し、それをデ
コーダ90に送信する。このデコーダは、例えば、(復号化すべき信号及び関連
の移動ベクトルを分離する)デマルチプレクサ91と、可変長デコーダ92と、
デクオンタイザ(dequantizer)93と、直交逆変換回路94と、メ
モリ95を具える予測回路と、(上記移動ベクトルを受信する)移動補償回路9
6と、表示すべき出力復号化信号DSを発生させる加算器97とを具える(この
ようなデコーダは通常のものであり、これ以上詳細に説明しない。)。本発明は
、上記制御手段によって構成したような切替装置及びこのような切替装置を具え
る復号化システムに関するものである。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,CY,
DE,DK,ES,FI,FR,GB,GR,IE,I
T,LU,MC,NL,PT,SE),CN,JP,K
R
Claims (1)
- 【特許請求の範囲】 1.第1ビデオシーケンスから第2ビデオシーケンスに切り替える切替方法であ って、タイプT=I,P又はBの画像が、独立して符号化され、前のI又はP 画像から予測され、又は前及び後のP画像及び/又はI画像から双方向で予測 されることに基づいて、旧シーケンス及び新シーケンスを前記画像から構成す る、切替方法において、k画像の追加のシーケンスを、二つのシーケンス間の 切替点で挿入し、kが、適合したシーケンスを有するのに十分な値を有し、追 加の画像を、小数のビットを用いて符号化することを特徴とする切替方法。 2.(a)新シーケンスに置換すべき旧シーケンスを、第1切替ポイントにおい てP画像でカットし、kの小P画像のシーケンスを挿入するステップと、 (b)前記追加の画像のシーケンスの後、第2切替ポイントにおいて前記新 シーケンスを挿入するステップとを順次実行することを特徴とする請求の範囲 1記載の切替方法。 3.前記シーケンスを、kの一様なカラー画像のシーケンスとすることを特徴と する請求の範囲2記載の切替方法。 4.前記シーケンスを、以前のI又はP画像のコピーである画像のシーケンスと したことを特徴とする請求の範囲2記載の切替方法。 5.前記ステップ(a)及び(b)の後に、 (c)前記第2シーケンスを第3切替ポイントでカットして、第1シーケン スに置換するステップと、 (d)前記第3切替ポイントで、発生する第1旧画像がI画像になるまで前 記追加の画像を同様に挿入し、第1旧シーケンスを再挿入するステップとを更 に実行することを特徴とする請求の範囲2から4のうちのいずれかに記載の切 替方法。 6.画像の同一グループに含まれないP画像からB画像が予測される度に、画像 の任意のグループの第1B画像を遷移時に小B画像に置換することを特徴とす る請求の範囲1から5のうちのいずれかに記載の切替方法。 7.前記旧及び新ビデオシーケンスを、いわゆるMPEG−2規格に従って符号 化したビットストリームとすることを特徴とする請求の範囲1から6のうちの いずれかに記載の切替方法。 8.他の任意の画像を参照することなく符号化される場合や、先の内部の若しく は予測された画像から移動補償された予測によって予測され又は先及び後の画 像から双方向に補間されるということに基づいて予測され若しくは補間される 場合に、画像内部のビデオシーケンスに対応するnの並列なビデオビットスト リームを復号化する復号化システムであって、そのシステムが切替装置を具え 、その切替装置が、復号化すべきビットストリームを選択する選択手段と、こ れに縦続するとともに選択したビットストリームを復号化する復号化手段とを 有し、前記選択手段が、請求の範囲1から7のいずれかによる方法の実施の観 点から、復号化する必要があるビットストリームの選択的な切替を行う制御手 段を具えることを特徴とする復号化システム。 9.他の任意の画像を参照することなく符号化される場合や、先の内部の若しく は予測された画像から移動補償された予測によって予測され又は先及び後の画 像から双方向に補間されるということに基づいて予測され若しくは補間される 場合に、画像内部のビデオシーケンスに対応するnの並列なビデオビットスト リームを復号化する復号化システムであって、このようなシステムに関連して 、切替装置が、請求の範囲1から7のうちのいずれかに記載されたような切替 方法に従って復号化する必要があるビットストリームの選択的な切替を行う選 択手段を具えることを特徴とする切替装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP97401160.3 | 1997-05-27 | ||
EP97401160 | 1997-05-27 | ||
EP97403137.9 | 1997-12-23 | ||
EP97403137 | 1997-12-23 | ||
PCT/IB1998/000797 WO1998054910A2 (en) | 1997-05-27 | 1998-05-25 | Method of switching video sequences and corresponding switching device and decoding system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000515711A true JP2000515711A (ja) | 2000-11-21 |
Family
ID=26147823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10542105A Pending JP2000515711A (ja) | 1997-05-27 | 1998-05-25 | ビデオシーケンス切替方法、その切替装置及び復号化システム |
Country Status (6)
Country | Link |
---|---|
US (2) | US6393055B1 (ja) |
EP (1) | EP0916227A2 (ja) |
JP (1) | JP2000515711A (ja) |
KR (1) | KR20000029596A (ja) |
CN (1) | CN1234945A (ja) |
WO (1) | WO1998054910A2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1004207A1 (en) | 1998-02-03 | 2000-05-31 | Koninklijke Philips Electronics N.V. | Method of switching of coded video sequences and corresponding device |
GB2347812A (en) * | 1999-03-08 | 2000-09-13 | Nds Ltd | Real time splicing of video signals |
FR2795272B1 (fr) * | 1999-06-18 | 2001-07-20 | Thomson Multimedia Sa | Procede de commutation de flux mpeg |
US6765963B2 (en) * | 2001-01-03 | 2004-07-20 | Nokia Corporation | Video decoder architecture and method for using same |
US20020122491A1 (en) | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
US6920175B2 (en) * | 2001-01-03 | 2005-07-19 | Nokia Corporation | Video coding architecture and methods for using same |
US7693220B2 (en) * | 2002-01-03 | 2010-04-06 | Nokia Corporation | Transmission of video information |
US7327784B2 (en) * | 2003-02-24 | 2008-02-05 | Vixs Systems, Inc. | Method and system for transcoding video data |
US7830959B2 (en) * | 2003-12-26 | 2010-11-09 | Electronics And Telecommunications Research Institute | Apparatus and method for performing intra prediction for image decoder |
GB0413723D0 (en) * | 2004-06-18 | 2004-07-21 | Nds Ltd | A method of dvr seamless splicing |
WO2007047851A2 (en) * | 2005-10-19 | 2007-04-26 | Pulsar Vascular, Inc. | Methods and systems for endovascularly clipping and repairing lumen and tissue defects |
US20080298232A1 (en) * | 2007-05-30 | 2008-12-04 | Silicon Storage Technology, Inc. | Systems and methods for wireless transmission and reception of data including processing and buffering features |
US20080298242A1 (en) * | 2007-05-30 | 2008-12-04 | Yi Fan | Systems and methods for transmission and reception of data including processing and buffering features |
US20100118941A1 (en) * | 2008-04-28 | 2010-05-13 | Nds Limited | Frame accurate switching |
US10631037B2 (en) * | 2015-03-02 | 2020-04-21 | Nec Corporation | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein |
MX371468B (es) | 2015-03-02 | 2020-01-29 | Nec Corp | Dispositivo de descodificación, dispositivo de recepción, dispositivo de transmisión, sistema de transmisión/recepción, método de descodificación y medio de almacenamiento que tiene programa de descodificación almacenado en el mismo. |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0134299B1 (ko) | 1994-07-11 | 1998-04-29 | 김광호 | 가변장디코딩장치의 동기 복원방법 및 장치 |
US5534944A (en) * | 1994-07-15 | 1996-07-09 | Matsushita Electric Corporation Of America | Method of splicing MPEG encoded video |
EP0692911B1 (en) * | 1994-07-15 | 2000-03-08 | Matsushita Electric Industrial Co., Ltd. | Method of splicing MPEG encoded video |
GB2307613B (en) * | 1995-08-31 | 2000-03-22 | British Broadcasting Corp | Switching bit-rate reduced signals |
US6137834A (en) * | 1996-05-29 | 2000-10-24 | Sarnoff Corporation | Method and apparatus for splicing compressed information streams |
US5917830A (en) * | 1996-10-18 | 1999-06-29 | General Instrument Corporation | Splicing compressed packetized digital video streams |
-
1998
- 1998-05-25 WO PCT/IB1998/000797 patent/WO1998054910A2/en not_active Application Discontinuation
- 1998-05-25 KR KR1019997000659A patent/KR20000029596A/ko not_active Application Discontinuation
- 1998-05-25 JP JP10542105A patent/JP2000515711A/ja active Pending
- 1998-05-25 CN CN98801060A patent/CN1234945A/zh active Pending
- 1998-05-25 EP EP98919412A patent/EP0916227A2/en not_active Withdrawn
- 1998-05-27 US US09/085,668 patent/US6393055B1/en not_active Expired - Fee Related
-
2002
- 2002-02-15 US US10/076,331 patent/US20020097801A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN1234945A (zh) | 1999-11-10 |
EP0916227A2 (en) | 1999-05-19 |
US20020097801A1 (en) | 2002-07-25 |
WO1998054910A2 (en) | 1998-12-03 |
WO1998054910A3 (en) | 1999-03-18 |
US6393055B1 (en) | 2002-05-21 |
KR20000029596A (ko) | 2000-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4223567B2 (ja) | 符号化ビデオシーケンスの切り替え方法及び装置 | |
US6611624B1 (en) | System and method for frame accurate splicing of compressed bitstreams | |
EP0690392B1 (en) | Method and device for transcoding a sequence of coded digital signals | |
EP1791369B1 (en) | Video encoder and method of encoding video | |
EP0923243B1 (en) | Editing device, editing method, splicing device, splicing method, encoding device, and encoding method | |
US6314138B1 (en) | Method of switching between video sequencing and corresponding device | |
JP2000515711A (ja) | ビデオシーケンス切替方法、その切替装置及び復号化システム | |
US6351564B1 (en) | Method of switching of coded video sequences and corresponding device | |
US6628712B1 (en) | Seamless switching of MPEG video streams | |
US20060120463A1 (en) | Video coding, decoding and hypothetical reference decoder | |
JP2002510947A (ja) | 圧縮ビデオ・データのバースト状データ伝送 | |
JP2001326940A (ja) | 符号化動画像ビットストリーム処理方法、及び装置、並びに符号化動画像ビットストリーム処理プログラムを格納した記録媒体 | |
US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
US6271774B1 (en) | Picture data processor, picture data decoder and picture data encoder, and methods thereof | |
Wee et al. | Splicing MPEG video streams in the compressed domain | |
JP2002320228A (ja) | 信号処理装置 | |
JP2002199392A (ja) | 映像符号化方法および装置 | |
JPH08251582A (ja) | 符号化データ編集装置 | |
JP2002218472A (ja) | 可変画像レート復号化装置及び可変画像レート復号化方法 | |
JPH08307860A (ja) | シーン再エンコード装置 | |
JP2000197010A (ja) | 画像デ―タ編集装置 | |
KR100205019B1 (ko) | 엠이피지 부호화 시스템에서의 폐 영상그룹 구현 방법 | |
JP2002262295A (ja) | 動画像復号装置及び動画像符号化装置 | |
JP5359724B2 (ja) | ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム |