JP2006211476A - データ多重化装置 - Google Patents
データ多重化装置 Download PDFInfo
- Publication number
- JP2006211476A JP2006211476A JP2005022838A JP2005022838A JP2006211476A JP 2006211476 A JP2006211476 A JP 2006211476A JP 2005022838 A JP2005022838 A JP 2005022838A JP 2005022838 A JP2005022838 A JP 2005022838A JP 2006211476 A JP2006211476 A JP 2006211476A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- buffer
- stream
- virtual
- limit value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000872 buffer Substances 0.000 claims abstract description 176
- 238000000034 method Methods 0.000 claims description 12
- 238000012856 packing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 2
- 101100454361 Arabidopsis thaliana LCB1 gene Proteins 0.000 description 1
- 101100171146 Oryza sativa subsp. japonica DREB2C gene Proteins 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/04—Distributors combined with modulators or demodulators
- H04J3/047—Distributors with transistors or integrated circuits
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
システムストリーム生成時のオーディオストリーム多重化のために無効パックなどを挿入することにより、ビットレートの効率が低下していた。。
【解決手段】
本発明の1態様によるデータ多重化装置は、ビデオストリームおよびオーディオストリームをそれぞれパック化し、それらのパックを多重化してシステムストリームを生成するデータ多重化装置であって、前記ビデオストリームを一時保持する復号化ビデオバッファの占有量を仮想的に計算する仮想復号化ビデオバッファ占有量計算部と、前記オーディオストリームを一時保持する復号化オーディオバッファの占有量を仮想的に計算する仮想復号化オーディオバッファ占有量計算部と、オーバーフロー制限値を設定するペイロード長設定部とを有し、前記ペイロード長設定部は、前記オーバーフロー制限値として、オーディオフレームのフレーム長の整数倍の値を設定することを特徴とする。
【選択図】 図3
Description
以下に図面を参照して本発明の実施の形態1について説明する。図1は、実施の形態1のデータ多重化装置の全体構成を示す図である。図1に示したデータ多重化装置において図8に示した構成要件と同じものに関しては、同一の符号を付し、その説明を省略する。本発明のデータ多重化装置は、図8に示したデータ多重化装置における多重化制御部106が異なり多重化制御部106'となっている。図1に示す多重化制御部106'も、ビデオおよびオーディオのストリーム量を管理し、多重化するタイミングなどの決定を行う部分である。図2にこの多重化制御部の詳細を示す。
そのため、仮想復号化オーディオバッファは、18バイト占有された状態となる(図3(d)、t2参照)。
図5は、本発明の実施の形態2に関する仮想復号化オーディオバッファの占有量を示す図である。以下、図5を用いて実施の形態2のデータ多重化装置について詳細に説明する。
(1)バッファ占有量+1パックの最大ペイロード長(LP)>オーバーフロー制限値BfMax'
(2)バッファ占有量−オーディオフレーム長(LF)<0
つまり、実施の形態1では、RAP直前ではなく、通常の多重化動作時には、ペイロード長は最大ペイロード長LPに設定されている。この場合、上記(1)の条件が成立していれば、オーディオパックの多重化を行うことは出来ない。また上記(2)の条件が成立していた場合、次に固定フレーム長LFが減算された場合に仮想復号化オーディオバッファがアンダーフローしてしまう。
(3)オーディオフレーム長(LF)+最大ペイロード長(LP)>オーバーフロー制限値(BfMax')
実施の形態1、2においてはオーバーフロー制限値BfMax'として設定する値についてはオーディオフレームのフレーム長の整数倍のみを示し、常にオーバーフロー制限値を超えない範囲でオーディオパックの多重化の制御を行う場合について示している。
(4)BfMax−BfMax'>m*(Bfmax'/LB)・・・(m:自然数)
2 仮想復号化ビデオバッファ占有量計算部
3 仮想復号化ビデオバッファ
4 符号化オーディオストリーム量記憶部
5 仮想復号化オーディオバッファ占有量計算部
6 仮想復号化オーディオバッファ
7 制御信号生成部
8 多重化データ決定部
9 ペイロード長設定部
101 ビデオ符号化部
102 符号化ビデオバッファ
103 オーディオ符号化部
104 符号化オーディオバッファ
105 多重化部
106、106' 多重化制御部
201 符号化ビデオストリーム量記憶部
202 仮想復号化ビデオバッファ占有量計算部
203 仮想復号化ビデオバッファ
204 仮想復号化オーディオバッファ占有量計算部
204 符号化オーディオストリーム量記憶部
205 仮想復号化オーディオバッファ占有量計算部
206 仮想復号化オーディオバッファ
207 制御信号生成部
208 多重化データ決定部
BfMax' オーバーフロー制限値
LF オーディオフレーム長
LP 最大ストリーム長(最大ペイロード長)
Claims (8)
- ビデオストリームおよびオーディオストリームをそれぞれパック化し、それらのパックを多重化してシステムストリームを生成するデータ多重化装置であって、
前記ビデオストリームを一時保持する復号化ビデオバッファの占有量を仮想的に計算する仮想復号化ビデオバッファ占有量計算部と、
前記オーディオストリームを一時保持する復号化オーディオバッファの占有量を仮想的に計算する仮想復号化オーディオバッファ占有量計算部と、
前記仮想復号化オーディオバッファ占有量計算部の計算結果を保持する仮想復号化オーディオバッファと、
前記仮想復号化オーディオバッファに対してオーバーフロー制限値を設定するペイロード長設定部とを有し、
前記ペイロード長設定部は、前記オーバーフロー制限値として、オーディオフレームのフレーム長の整数倍の値を設定することを特徴とするデータ多重化装置。 - 前記オーバーフロー制限値は、前記仮想復号化オーディオバッファの設定容量よりも小さな値であることを特徴とする請求項1記載のデータ多重化装置。
- 前記ペイロード長設定部は、前記オーバーフロー制限値と前記仮想復号化オーディオバッファの占有量との差に基づいて、オーディオパックのペイロード長を設定することを特徴とするデータ多重化装置。
- ビデオストリームおよびオーディオストリームをそれぞれパック化し、それらのパックを多重化してシステムストリームを生成するデータ多重化方法であって、
前記システムストリームがランダムアクセスポイント直前であるかどうかを判定し、
前記オーディオストリームを一時保持する復号化オーディオバッファの占有量を仮想計算し、
オーディオフレームの整数倍であるオーバーフロー制限値と、前記計算によって得られたオーディオバッファの仮想占有量とを比較し、
前記比較結果に基づいて生成するオーディオパックのペイロード長を設定するデータ多重化方法。 - 前記データ多重化方法は、
前記復号化オーディオバッファの占有量を仮想計算した計算結果を仮想復号化オーディオバッファによって保持し、
前記オーバーフロー制限値は、前記仮想復号化オーディオバッファの容量よりも小さな値であることを特徴とする請求項4記載のデータ多重化方法。 - 前記オーディオバッファの占有量に対して、最大ペイロード長を加算した結果が、前記オーバーフロー制限値を超える場合に、前記ペイロード長を前記オーバーフロー制限値と前記オーディオバッファの占有量との差の値とすることを特徴とする請求項4あるいは5に記載のデータ多重化方法。
- 前記オーバーフロー制限値と、前記オーディオバッファの容量との差は、
前記オーバーフローバッファに保持可能なフレーム数に、最大フレーム長と最小フレーム長の差を乗じた値以上であることを特徴とする請求項4乃至6のいずれか1項に記載のデータ多重化方法。 - ストリームデータをパック化し、それらのパックを多重化するデータ多重化装置であって、
前記ストリームデータを一時保持する復号化バッファの占有量を仮想的に計算する仮想復号化バッファ占有量計算部と、
前記仮想復号化バッファ占有量計算部の計算結果を保持する仮想復号化バッファと、
前記仮想復号化バッファに対してオーバーフロー制限値を設定するペイロード長設定部とを有し、
前記ペイロード長設定部は、前記オーバーフロー制限値として、前記ストリームデータのフレーム長の整数倍の値を設定することを特徴とするデータ多重化装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005022838A JP4717452B2 (ja) | 2005-01-31 | 2005-01-31 | データ多重化装置 |
US11/341,529 US8249433B2 (en) | 2005-01-31 | 2006-01-30 | Data multiplexing apparatus |
US13/548,868 US20120277895A1 (en) | 2005-01-31 | 2012-07-13 | Data multiplexing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005022838A JP4717452B2 (ja) | 2005-01-31 | 2005-01-31 | データ多重化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006211476A true JP2006211476A (ja) | 2006-08-10 |
JP4717452B2 JP4717452B2 (ja) | 2011-07-06 |
Family
ID=36756511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005022838A Active JP4717452B2 (ja) | 2005-01-31 | 2005-01-31 | データ多重化装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US8249433B2 (ja) |
JP (1) | JP4717452B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011193445A (ja) * | 2010-02-09 | 2011-09-29 | Canon Inc | データストリーム転送用のパケット内で利用可能な空間を計算する方法及び装置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200828934A (en) * | 2006-12-21 | 2008-07-01 | Realtek Semiconductor Corp | Audio data transmission method for transmitting encrypted audio data and audio processing system and computer system thereof |
JP4900945B2 (ja) * | 2007-01-18 | 2012-03-21 | キヤノン株式会社 | 記録装置、及び記録方法 |
CN102318345B (zh) * | 2009-02-27 | 2014-07-30 | 富士通株式会社 | 动态图像编码装置、动态图像编码方法 |
JP2013026696A (ja) * | 2011-07-15 | 2013-02-04 | Sony Corp | 送信装置、送信方法および受信装置 |
US8817725B2 (en) * | 2012-01-13 | 2014-08-26 | Blackberry Limited | Scheduling transmission of traffic treated less preferentially despite timing requirements |
KR20140070896A (ko) * | 2012-11-29 | 2014-06-11 | 삼성전자주식회사 | 비디오 스트리밍 방법 및 그 전자 장치 |
US10055242B2 (en) * | 2015-10-16 | 2018-08-21 | Microsoft Technology Licensing, Llc | Virtualizing audio decoding hardware |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0898160A (ja) * | 1994-09-28 | 1996-04-12 | Victor Co Of Japan Ltd | データ多重化装置 |
JPH08335371A (ja) * | 1995-06-08 | 1996-12-17 | Toshiba Corp | ストリーム多重装置、ストリーム多重方法及び蓄積メディア |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5802068A (en) * | 1995-06-30 | 1998-09-01 | Nippon Steel Corporation | Multiplexing apparatus of a plurality of data having different bit rates |
US6198728B1 (en) * | 1996-12-19 | 2001-03-06 | Phillips Electronics North America Corp. | Medium access control (MAC) protocol for wireless ATM |
US6021440A (en) * | 1997-05-08 | 2000-02-01 | International Business Machines Corporation | Method and apparatus for coalescing and packetizing data |
US6421720B2 (en) * | 1998-10-28 | 2002-07-16 | Cisco Technology, Inc. | Codec-independent technique for modulating bandwidth in packet network |
US6993081B1 (en) * | 1999-11-23 | 2006-01-31 | International Business Machines Corporation | Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream |
US6856613B1 (en) * | 1999-12-30 | 2005-02-15 | Cisco Technology, Inc. | Method and apparatus for throttling audio packets according to gateway processing capacity |
JP4538908B2 (ja) * | 2000-06-14 | 2010-09-08 | ソニー株式会社 | データ変換装置及び方法 |
US7778281B2 (en) * | 2001-04-27 | 2010-08-17 | Panasonic Corporation | Wireless communication apparatus |
US7395208B2 (en) * | 2002-09-27 | 2008-07-01 | Microsoft Corporation | Integrating external voices |
-
2005
- 2005-01-31 JP JP2005022838A patent/JP4717452B2/ja active Active
-
2006
- 2006-01-30 US US11/341,529 patent/US8249433B2/en active Active
-
2012
- 2012-07-13 US US13/548,868 patent/US20120277895A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0898160A (ja) * | 1994-09-28 | 1996-04-12 | Victor Co Of Japan Ltd | データ多重化装置 |
JPH08335371A (ja) * | 1995-06-08 | 1996-12-17 | Toshiba Corp | ストリーム多重装置、ストリーム多重方法及び蓄積メディア |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011193445A (ja) * | 2010-02-09 | 2011-09-29 | Canon Inc | データストリーム転送用のパケット内で利用可能な空間を計算する方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US8249433B2 (en) | 2012-08-21 |
JP4717452B2 (ja) | 2011-07-06 |
US20060171446A1 (en) | 2006-08-03 |
US20120277895A1 (en) | 2012-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4717452B2 (ja) | データ多重化装置 | |
EP0663774B1 (en) | Adaptive bit stream demultiplexing apparatus in a decoding system | |
US7983500B2 (en) | Encoding method, encoding apparatus, decoding method, and decoding apparatus | |
KR20030012761A (ko) | 데이터 다중화 방법, 데이터 기록 매체, 데이터 기록 장치및 데이터 기록 프로그램 | |
CN100369481C (zh) | 代码变换方法及其装置 | |
US20110280320A1 (en) | Encoding apparatus and the method | |
KR100629093B1 (ko) | 디코딩 장치 및 디코딩 방법 | |
US8369456B2 (en) | Data processing apparatus and method and encoding device | |
JP5052220B2 (ja) | 動画像符号化装置 | |
US7873263B2 (en) | Multiplexing method preventing overflow of audio decoder buffer | |
JP2006074703A (ja) | 動画像符号化装置、符号化動画像編集装置、動画像符号化方法、符号化動画像編集方法及び動画像データ | |
JP4900945B2 (ja) | 記録装置、及び記録方法 | |
JPH0898160A (ja) | データ多重化装置 | |
JP2009147827A (ja) | 記録装置、その制御方法、プログラム | |
JP3599035B2 (ja) | 映像信号符号化装置 | |
JP4750759B2 (ja) | 映像音声再生装置 | |
JP4608831B2 (ja) | データ多重化装置およびデータ多重化方法 | |
JP2002199356A (ja) | Ps多重化システム及びps多重化方法 | |
JPH08335371A (ja) | ストリーム多重装置、ストリーム多重方法及び蓄積メディア | |
JP3083788B2 (ja) | データ復号装置 | |
JP2008136001A (ja) | 符号化方式変換装置 | |
JP2005311697A (ja) | メディア再生装置 | |
JP2001136520A (ja) | 動画像符号化装置および動画像復号化システム | |
JP2005243083A (ja) | ディスクドライブ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4717452 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |