JP2011109665A - コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置 - Google Patents
コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置 Download PDFInfo
- Publication number
- JP2011109665A JP2011109665A JP2010256962A JP2010256962A JP2011109665A JP 2011109665 A JP2011109665 A JP 2011109665A JP 2010256962 A JP2010256962 A JP 2010256962A JP 2010256962 A JP2010256962 A JP 2010256962A JP 2011109665 A JP2011109665 A JP 2011109665A
- Authority
- JP
- Japan
- Prior art keywords
- list
- timing information
- elementary stream
- header
- dts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
Abstract
【解決手段】各々が次のアクセス・ユニット(AU)のタイミング情報を得ることができるように先読みできるn個のAUをリストに構成する。このリストからAUのスタートを指示するポイントをスタートし、リストからAUのスタートを繰り返しチェックする。リストの最高のAUからタイミング情報を計算してヘッダを構成して、TS内に上記ヘッダを書き込む。TSの残りのバイトをエレメンタリ・ストリームからのデータで埋める。
【選択図】図3
Description
(1)トランスポート・ストリーム(TS)を生成するためにコード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする方法であって;各々が次のアクセス・ユニット(AU)のタイミング情報を得ることができるように先読みできるn個のAUをリストに構成し;上記リストからAUのスタートを指示するポイントを開始し;上記リストからAUのスタートを繰り返しチェックし;上記リストの最高のAUからタイミング情報を計算してヘッダを構成し;上記TS内に上記ヘッダを書き込み;上記TSの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める方法。
(2)上記n個のアクセス・ユニットを構成するステップは;上記スタートから上記エレメンタリ・ストリームを読み出す一方、単一のAUを形成するまでエレメンタリ・ストリームをパケット化エレメンタリ・ストリーム(PES)に変換し、そのスタート及びエンド・ポイントを注意し;上記形成した単一のAUを上記リストにプッシュし;上記リストにプッシュされた上記AUでコード化された1次ピクチャの形式をチェックし;プレゼンテーション・タイム・スタンプ(PTS)及びデコード・タイム・スタンプ(DTS)を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート(tc)を導出し;上記1次ピクチャ・コード化形式がBフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し;Bフレームのpts及びdtsの間の任意のオフセットを含むことなく同時点にBフレームをデコードすると共に表示し;上記1次ピクチャ・コード化形式がI又はPフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のI又はPフレームが発生する前に先立つBフレームの数(pts_offset)用の次のアクセス・ユニットをチェックし;タイミング情報を計算するためのステップを繰り返すために次のAUを構成して上記次のAUを上記リストにプッシュすることを特徴とする概念1の方法。
(3)上記高分解能エレメンタリ・ストリームは、H.264/AVCビデオ・エレメンタリ・ストリームである概念1の方法。
(4)上記TSは、MPEG−2TSである概念1の方法。
(5)上記マルチプレクスは、コード化されたNAL/VCL−HRDパラメータ(シーケンス・パラメータ・セットのVUI情報の一部として)又はサプレメンタル・エンハンスメント情報(SEI)のいずれもないH.264ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念1の方法。
(6)ピクチャ形式(B、P又はI)情報を用いて、パケット化エレメンタリ・ストリーム(PES)のPTS及びDTS値を計算する概念2の方法。
(7)可変tcは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念2の方法。
(8)PESパケットが固定188バイトTSパケットに分解される概念2の方法。
(9)トランスポート・ストリーム(TS)を生成するためにコード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする装置であって;各々が次のアクセス・ユニット(AU)のタイミング情報を得ることができるように先読みできるn個のAUをリストに構成する手段と;上記リストからAUのスタートを指示するポイントを開始えする手段と;上記リストからAUのスタートを繰り返しチェックする手段と;上記リストの最高のAUからタイミング情報を計算してヘッダを構成する手段と;上記TS内に上記ヘッダを書き込む手段と;上記TSの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める手段とを具えた装置。
(10)上記n個のアクセス・ユニットを構成する手段は;上記スタートから上記エレメンタリ・ストリームを読み出す一方、単一のAUを形成するまでエレメンタリ・ストリームをパケット化エレメンタリ・ストリーム(PES)に変換し、そのスタート及びエンド・ポイントを注意し;上記形成した単一のAUを上記リストにプッシュし;上記リストにプッシュされた上記AUでコード化された1次ピクチャの形式をチェックし;プレゼンテーション・タイム・スタンプ(PTS)及びデコード・タイム・スタンプ(DTS)を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート(tc)を導出し;上記1次ピクチャ・コード化形式がBフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し;Bフレームのpts及びdtsの間の任意のオフセットを含むことなく同時点にBフレームをデコードすると共に表示し;上記1次ピクチャ・コード化形式がI又はPフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のI又はPフレームが発生する前に先立つBフレームの数(pts_offset)用の次のアクセス・ユニットをチェックし;タイミング情報を計算するためのステップを繰り返すために次のAUを構成して上記次のAUを上記リストにプッシュすることを特徴とする概念9の装置。
(11)上記高分解能エレメンタリ・ストリームは、H.264/AVCビデオ・エレメンタリ・ストリームである概念9の装置。
(12)上記TSは、MPEG−2TSである概念9の装置。
(13)上記マルチプレクスは、コード化されたNAL/VCL−HRDパラメータ(シーケンス・パラメータ・セットのVUI情報の一部として)又はサプレメンタル・エンハンスメント情報(SEI)のいずれもないH.264ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念9の装置。
(14)ピクチャ形式(B、P又はI)情報を用いて、上記パケット化エレメンタリ・ストリーム(PES)の上記PTS及びDTS値を計算する概念10の装置。
(15)可変tcは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念10の装置。
(16)PESパケットが固定188バイトTSパケットに分解される概念10の装置。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Bフレームのpts及びdtsの間にいなかるオフセットを含むことなく、同時点にBフレームをデコードし表示する。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc
次に、次のI又はPフレームが生じる前に先んずるBフレームの数(pts_offset)に対してアクセス・ユニットをチェックする。
図3は本発明の実施例による先読み方法の流れ図を示す。この先読み方法は、n個のアクセス・ユニット(AU)のリストを維持し、アクティブAUをマルチプレクスに用いる。ステップ301及び開始において、リストを空にする。エレメンタリ・ストリームをパケット化エレメンタリ・ストリームに変換する間、スタート・ポイントに注意する。ステップ302にて、単一のアクセス・ユニットを形成するまで、エレメンタリ・ストリームをスタートから読み出す。ステップ302にてエンド・ポイントにも注意する。
tc=num_units_in_tick/time_scale,
n=0,
dts(n-1)=0
pts(n-1)=0(アクセスAUリストが空のため)
「num_units_in_tick」及び「time_scale」は、アクティブ・シーケンス・パラメータ・セットのビデオ・ユーザビリティ情報の一部である。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Bフレームを同時にコード化し、表示する。Bフレームのpts及びdtsの間にオフセットがない。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc
[読み取りバイト]=188−[TSヘッダ・サイズ]−[PESヘッダ・サイズ]
ステップ409にて、読み取りバイトをファイルからTSパケットに書き込む。アクティブAUリストのトップ・エレメントからのPTS及びDTS値により、PESヘッダを構成する。このPESヘッダがTSペイロードに含まれる。TSペイロードの残りのバイトをH.264アクセス・ユニットで埋める。よって、ステップ410にて、最上AUのエンドをチェックする。最上AUのエンドが真であると、ステップ411にてAUのスタートを偽に設定し、TS構成の1つの繰り返しを終わらせる。その後の繰り返しに対して、ステップ411にてn(図4ではNにて示す)の値を1だけ増分して(N=N=1)、ステップ401〜410を繰り返す。
[読み取りバイト]=188−[TSヘッダ・サイズ]−[PESヘッダ・サイズ]
回路502は、更に読み取りバイトがファイルからTSパケットに書き込まれるように付勢する。アクティブAUリストのトップ要素からのPTS及びDTSにより、PESヘッダを構成する。このPESヘッダがTSペイロードに含まれる。そして、TSペイロードの残りのバイトは、H.264アクセス・ユニットにより埋める。よって、最上位AUのエンドをチェックする。この最上位AUのエンドが真であると、装置の回路502により、AUのスタートを偽に設定してTS構成の1つの繰り返しを終了する。その後の繰り返しとTS構成のために、nの値を1だけ増分する。
ここで説明した種々の実施例を用いて、H.264エレメンタリ・ストリームの有効なマルチプレクスを行って、MPEG−2トランスポート・ストリーム(TS)を発生できる。これらをH.264ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスにて適用できる。これは、コード化NAL/VCL−HRDパラメータ(シーケンス・パラメータ・セットのVUI情報の一部として)又はサプレメンタル・エンハンスメント情報(SEI:Supplemental Enhancement Information)のいずれもない。H.264エレメンタリ・ストリームの各アクセス・ユニット(AU)は、ファイル内の次のアクセス・ユニットのピクチャ形式に関する情報に対して先読みできる。このピクチャ形式情報を用いて、パケット化エレメンタリ・ストリーム(PES)のPTS及びDTS値を計算できる。次に、各AUをPESパケットにパケット化して、TSパケットのストリームに分解できる。
202 パケット化手段
203 トランスポート・ストリーム・マルチプレクサ
502 回路
Claims (2)
- コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム(TS)を生成する方法であって、
各々が次のアクセス・ユニット(AU)のタイミング情報を得ることができるように先読みできるn個のAUをリストに構成し、
上記リストからAUのスタートを指示するポイントを開始し、
上記リストからAUのスタートを繰り返しチェックし、
上記リストの最高のAUからタイミング情報を計算してヘッダを構成し、
上記TS内に上記ヘッダを書き込み、
上記TSの残りのバイトを上記エレメンタリ・ストリームからのデータで埋めることを特徴とする方法。 - コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム(TS)を生成する装置であって、
各々が次のアクセス・ユニット(AU)のタイミング情報を得ることができるように先読みできるn個のAUをリストに構成する手段と、
上記リストからAUのスタートを指示するポイントを開始する手段と、
上記リストからAUのスタートを繰り返しチェックする手段と、
上記リストの最高のAUからタイミング情報を計算してヘッダを構成する手段と、
上記TS内に上記ヘッダを書き込む手段と、
上記TSの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める手段と
を具えた装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN2669/MUM/2009 | 2009-11-18 | ||
IN2669MU2009 | 2009-11-18 | ||
INMU26692009 | 2010-10-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011109665A true JP2011109665A (ja) | 2011-06-02 |
JP5896596B2 JP5896596B2 (ja) | 2016-03-30 |
Family
ID=44000380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010256962A Expired - Fee Related JP5896596B2 (ja) | 2009-11-18 | 2010-11-17 | コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2346261A1 (ja) |
JP (1) | JP5896596B2 (ja) |
CN (1) | CN102065319B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015507407A (ja) * | 2011-12-28 | 2015-03-05 | インテル コーポレイション | ビデオエンコーディングシステムにおける集積メタデータ挿入システム及び方法 |
JP2015226305A (ja) * | 2014-05-30 | 2015-12-14 | 三菱電機株式会社 | 符号化装置 |
CN112272316A (zh) * | 2020-10-29 | 2021-01-26 | 广东博华超高清创新中心有限公司 | 一种基于视频显示时间戳的多传输码流同步udp分发方法和系统 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2813075A1 (en) * | 2012-02-08 | 2014-12-17 | Thomson Licensing | Method and apparatus for using an ultra-low delay mode of a hypothetical reference decoder |
KR20130116782A (ko) | 2012-04-16 | 2013-10-24 | 한국전자통신연구원 | 계층적 비디오 부호화에서의 계층정보 표현방식 |
US10110890B2 (en) * | 2012-07-02 | 2018-10-23 | Sony Corporation | Video coding system with low delay and method of operation thereof |
CN103596043B (zh) * | 2013-11-14 | 2017-05-10 | 上海电力学院 | 一种数字电视中ts流转化为ps流的方法 |
JP5708866B1 (ja) * | 2014-04-10 | 2015-04-30 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
CN108933768B (zh) * | 2017-05-27 | 2021-06-08 | 成都鼎桥通信技术有限公司 | 视频帧的发送帧率的获取方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08205146A (ja) * | 1995-01-25 | 1996-08-09 | Hitachi Denshi Ltd | 符号化伝送方式におけるタイムスタンプ値演算方法 |
JPH09247670A (ja) * | 1996-03-13 | 1997-09-19 | Toshiba Corp | 情報多重化装置 |
JPH1118083A (ja) * | 1997-06-25 | 1999-01-22 | Sony Corp | ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法 |
WO2000046995A1 (en) * | 1999-02-05 | 2000-08-10 | Sony Corporation | Encoding system, encoding method, decoding system, decoding method, multiplexing device, multiplexing method, display system and display method |
JP2000228768A (ja) * | 1999-02-05 | 2000-08-15 | Sony Corp | デジタル信号伝送装置および方法、並びに提供媒体 |
JP2000341685A (ja) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | 動画像圧縮符号化方法及びその装置、並びに動画像圧縮符号化/復号化システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7787539B2 (en) * | 2002-07-17 | 2010-08-31 | Broadcom Corporation | Decoding and presentation time stamps for MPEG-4 advanced video coding |
WO2005071970A1 (en) * | 2004-01-16 | 2005-08-04 | General Instrument Corporation | Method and apparatus for determining timing information from a bit stream |
-
2010
- 2010-11-15 EP EP10191166A patent/EP2346261A1/en not_active Withdrawn
- 2010-11-17 JP JP2010256962A patent/JP5896596B2/ja not_active Expired - Fee Related
- 2010-11-18 CN CN201010549093.5A patent/CN102065319B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08205146A (ja) * | 1995-01-25 | 1996-08-09 | Hitachi Denshi Ltd | 符号化伝送方式におけるタイムスタンプ値演算方法 |
JPH09247670A (ja) * | 1996-03-13 | 1997-09-19 | Toshiba Corp | 情報多重化装置 |
JPH1118083A (ja) * | 1997-06-25 | 1999-01-22 | Sony Corp | ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法 |
WO2000046995A1 (en) * | 1999-02-05 | 2000-08-10 | Sony Corporation | Encoding system, encoding method, decoding system, decoding method, multiplexing device, multiplexing method, display system and display method |
JP2000228768A (ja) * | 1999-02-05 | 2000-08-15 | Sony Corp | デジタル信号伝送装置および方法、並びに提供媒体 |
JP2000341685A (ja) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | 動画像圧縮符号化方法及びその装置、並びに動画像圧縮符号化/復号化システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015507407A (ja) * | 2011-12-28 | 2015-03-05 | インテル コーポレイション | ビデオエンコーディングシステムにおける集積メタデータ挿入システム及び方法 |
JP2015226305A (ja) * | 2014-05-30 | 2015-12-14 | 三菱電機株式会社 | 符号化装置 |
CN112272316A (zh) * | 2020-10-29 | 2021-01-26 | 广东博华超高清创新中心有限公司 | 一种基于视频显示时间戳的多传输码流同步udp分发方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5896596B2 (ja) | 2016-03-30 |
CN102065319A (zh) | 2011-05-18 |
EP2346261A1 (en) | 2011-07-20 |
CN102065319B (zh) | 2015-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9456209B2 (en) | Method of multiplexing H.264 elementary streams without timing information coded | |
JP5896596B2 (ja) | コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置 | |
JP6966581B2 (ja) | 送信方法、受信方法、送信装置及び受信装置 | |
US9900363B2 (en) | Network streaming of coded video data | |
US8503541B2 (en) | Method and apparatus for determining timing information from a bit stream | |
CN112369042B (zh) | 用于自适应流传输对齐的帧转换 | |
KR20100132985A (ko) | 트랜스포트 데이터 스트림내에서 참조하는 유연성 있는 서브스트림 | |
JP7200329B2 (ja) | 送信方法、受信方法、送信装置及び受信装置 | |
JP6846629B2 (ja) | 送信方法、受信方法、送信装置及び受信装置 | |
KR20170065568A (ko) | 샘플 메타데이터와 미디어 샘플들의 결합 | |
JP7361287B2 (ja) | 送信方法及び送信装置 | |
CN114930829A (zh) | 视频编码中的子图片信令 | |
KR101824278B1 (ko) | 단일 디코더로 채널 변경을 가능하게 하기 위한 수신기 및 수신기에서의 방법 | |
WO2012077855A1 (ko) | 비디오 스트림의 패킷화 방법 및 장치 | |
JP2022069536A (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
JP7257646B2 (ja) | 送信方法、受信方法、送信装置及び受信装置 | |
JP2011078068A (ja) | 映像伝送方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20121219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140421 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140424 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140520 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140523 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140620 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140625 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150407 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150706 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150806 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150907 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5896596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |