JP2008118221A - 復号装置及び復号方法 - Google Patents
復号装置及び復号方法 Download PDFInfo
- Publication number
- JP2008118221A JP2008118221A JP2006297146A JP2006297146A JP2008118221A JP 2008118221 A JP2008118221 A JP 2008118221A JP 2006297146 A JP2006297146 A JP 2006297146A JP 2006297146 A JP2006297146 A JP 2006297146A JP 2008118221 A JP2008118221 A JP 2008118221A
- Authority
- JP
- Japan
- Prior art keywords
- pes
- video
- pts
- frame
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】 複数映像フレームから構成されるPESのPTSが異常な値になっても正常な値に補正し、PESに含まれる各映像フレームに正常なPTS値を付加し、映像を途切れることなく出力する。
【解決手段】 映像PTS補正部16は、映像PESバッファ14に格納された映像PESのPESヘッダに記述されたPTSが異常値か判断し、異常値のPTSを補正し、映像PESの各映像フレームにPTSを付加する。映像フレーム分離部17は、前記映像PESから、前記PTSが付加された映像フレームを分離する。映像デコーダ18は、前記分離された映像フレームを復号し、該映像フレームのPTSに基づく時刻に、前記復号した映像フレームを提供する。
【選択図】 図8
【解決手段】 映像PTS補正部16は、映像PESバッファ14に格納された映像PESのPESヘッダに記述されたPTSが異常値か判断し、異常値のPTSを補正し、映像PESの各映像フレームにPTSを付加する。映像フレーム分離部17は、前記映像PESから、前記PTSが付加された映像フレームを分離する。映像デコーダ18は、前記分離された映像フレームを復号し、該映像フレームのPTSに基づく時刻に、前記復号した映像フレームを提供する。
【選択図】 図8
Description
本発明は、デジタル放送により送信された符号化ストリームを受信し、該符号化ストリームを復号する復号装置及び復号方法に関する。
デジタル放送における映像符号化方式については、ARIB STD−B32によって規定されており、MPEG2方式で符号化された映像PESは、1フレーム分の映像データで構成される。映像PES先頭にはPTSと呼ばれる時間情報が記載されており、映像デコーダはデコードした画像を、PTSに示されたタイミングでモニタ装置に出力することで、映像と音声との同期を取る。従って、PTSが異常値の場合、正常に映像をデコード及び再生することができない。下記特許文献1には、符号化データに含まれるPTSが異常な場合にも、復号化器が意図したタイミングでデータを出力できる復号装置を開示している。
特開2003−284066号公報(図3)
モバイル放送やワンセグ放送では映像符号化方式にH.264(MPEG4−AVC)が採用されている。H.264はMPEG2より高い圧縮性能を持っているが、PESにしたときの圧縮効率を高めるために、1つの映像PESに複数の映像フレームを入れることが許容されている。そのため従来はモニタ装置に出力する各フレームのPTSは全て映像PESに記載された値を使っていたが、複数フレームからなるPESの場合、PES先頭のPTS値とフレームレートからPES内の各フレームに対応するPTSを計算する必要がある。
上記特許文献1では、映像フレーム間隔が33msec一定であり、等間隔にPES(Packetized Elementary Stream)が到着することを前提とし、PESの到着時刻に基づいて、PTS値が異常値であるかを判定し補正している。しかし、複数フレームからなるPESは到着時刻が等間隔とは限らないため、PTSを正しく補正できないという問題がある。
本発明は、複数映像フレームから構成されるPESのPTSが異常な値になっても正常な値に補正し、PESに含まれる各映像フレームに正常なPTS値を付加し、映像を途切れることなく出力することを目的とする。
本発明に係る復号装置は、放送波を受信して、1以上のフレームから構成されるPESを含むTSを提供する受信手段と、前記受信手段から提供されるTSからPESを抽出し、該PESを映像PES及び音声PESに分離する第1分離手段と、前記分離手段にて分離された前記映像PESのPESヘッダに記述されたPTSが異常値か判断し、もし異常値であればこの異常値のPTSを補正し、正常値であればこの正常値をそのまま残す補正手段と、前記補正手段により処理され、前記1以上の映像フレームからなる映像PESの各映像フレームにPTSを付加する付加手段と、前記付加手段により処理された映像PESから、前記PTSが付加された映像フレームを分離する第2分離手段と、前記第2分離手段にて分離された映像フレームを復号し、該映像フレームのPTSに基づく時刻に、前記復号した映像フレームを提供する復号手段とを具備する。
複数映像フレームから構成されるPESのPTSが異常な値になっても正常な値に補正し、PESに含まれる各映像フレームに正常なPTS値を付加し、映像を途切れることなく出力することができる。
以下、図面を参照して本発明の実施の形態を説明する。
先ず、本発明に係るデジタル放送受信装置を説明する前に、デジタル放送受信装置で処理される各ストリームについて説明する。
図1はMPEG2−TS(transport stream)の構造を示したものである。MPEG2−TSは1パケット188byteのパケット列から構成され、各パケットはヘッダ(header)部とペイロード(payload)部からなる。ペイロード部には分割された映像PES又は音声PESが格納される。図2はTSヘッダの構造を示す。PIDはパケットIDと呼ばれ、映像PESと音声PESはそれぞれ異なり一意に定まるPID値を持つ。図3はPESの構造を示す。PESはPESヘッダと呼ばれるヘッダ部とPES packet data byteと呼ばれるES(Elementary stream)本体からなる。ESとは映像または音声を圧縮符号化したデータそのものである。PESヘッダにはPES packet data byteの先頭にあるESを表示する時刻を示すPTS(presentation time stamp)が付けられる。
図4は単一フレームからなるPESを示す。PES ヘッダ1に含まれるPTSは、デコードした映像ES1を出力する時刻を示し、PES ヘッダ2につけられたPTSは、デコードした映像ES2を出力する時刻を示している。図5は複数フレーム(ここでは3フレーム)からなるPESを示している。図5のPESヘッダ1に含まれるPTSは、デコードした映像ES1を出力する時刻を示している。
次にH.264のES構造を説明する。H.264では1ピクチャを構成するESの単位をアクセスユニットと呼んでいる。図6はIDR(Instantaneous Decoding Refresh)ピクチャと呼ばれる画面内符号化を行ったアクセスユニットの構造を示す。IDRピクチャはMPEG2規格におけるIピクチャに相当し、IDRピクチャ単独でデコードが可能である。AU Delimiterはアクセスユニットの先頭を示す。SPS(Sequence parameter set)にはシーケンス全体の符号化にかかわる情報が記載されている。PPS(Picture parameter set)にはピクチャ全体の符号化モードを示す情報が記載されている。SEI(Supplemental enhancement information)にはフレームレートなどの情報が記載されている。coded slice of an IDR pictureはIDRピクチャを構成する画像データの一部分で、1つ以上のcoded slice of an IDR pictureから1フレームが構成される。End of Sequenceはアクセスユニットの終わりを示す。
図7はnonIDRピクチャと呼ばれる画面間符号化を行ったアクセスユニットの構造を示す。nonIDRピクチャはMPEG2規格におけるPピクチャ、Bピクチャ等に相当するピクチャで、当該ピクチャ単独ではデコード不可能なピクチャで、他のピクチャのデータを用いてデコード可能なピクチャである。AU Delimiter、PPS、SEI、End of SequenceはIDRピクチャと同様の内容である。coded slice of an non IDR pictureはnonIDRピクチャを構成する画像データの一部分で、1つ以上のcoded slice of an non IDR pictureから1フレームが構成される。
次に、本発明に係るデジタル放送受信装置について説明する。
図8は本発明の一実施形態に係る復号装置としてのデジタル放送受信装置の構成を示すブロック図である。
アンテナ11から入力された放送波はチューナ12でMPEG2−TSに復調される。そしてMPEG2−TSは、MPEG2−TS分離部13で映像PESと音声PESに分離され、それぞれ映像PESバッファ14と音声PESバッファ15に格納される。このとき映像PTS補正部16は、各PESヘッダに記述されたPTSが正常な値か判断し、異常値の場合は当該PTSを補正する。PTS付加部16aは、映像PESが複数フレームからなる場合に、先頭フレーム以外のフレームについて、各フレームのPTSをフレームレートに基づいて計算し、該PTSを対応するフレームに付加する。このフレームレートは、IDRピクチャ中のSEI(図7参照)に記述されている。また映像PTS補正部16は、各映像フレームのPTSとその前後フレームのPTSとを比較し、PTS異常値を検出した場合に該PTSを補正する。映像PTS補正部16により処理された映像PESは映像フレーム分離部17に供給される。
映像フレーム分離部17では映像PESから、PTS及び映像ESを分離(抽出)し、1フレーム毎の映像ES及び対応するPTSを映像デコーダ18に供給する。
STCカウンタ19は、クロック発振器20により発生されるクロック信号STC(system time clock)をカウントし、カウント値を映像デコーダ18及び音声デコーダ23に供給する。ここでMPEG2−TS分離部13は起動時に、STCカウンタ19の出力値を、入力データに基づいて適切な値に設定する。STCカウンタ19は設定された値からカウントを開始する。
映像デコーダ18は映像フレーム分離部17からの各映像ESをデコードし、各映像ESに付加されたPTSとSTCカウンタ19の値を比較し、例えばそれらが一致したタイミングで、デコードした映像をモニタ装置24に出力する。記録部26はDVDドライブあるいはHDD等で構成され、記録指示に応じて映像フレーム分離部17からの映像ES及び音声フレーム分離部22からの音声ESを記録し、再生指示に応じて、記録した映像ES及び音声ESを再生する。
音声PESバッファ15、音声フレーム分離部22、音声デコーダ23の動作は、それぞれ映像PESバッファ14、映像フレーム分離部17、映像デコーダ28と同様であるから、詳細な説明は割愛する。
以下、複数フレームを含むPESに対して行われる処理の実施形態を説明する。
図9はH.264規格の複数フレームからなるPESに対する処理を説明するための図である。ここでは1PESが3フレームからなる場合を例にして説明する。
図9(a)は、MPEG2−TS分離部13から映像PESバッファ14に格納されるPESを示す。AU Delimiterの位置から次のAU Delimiterまでが1つの映像ES、すなわち1フレーム分のデータとなる。ここでは、PESヘッダ中の時間情報PTSをPTS0とし、このPTS0及び各AU Delimiterの値にエラーは発生していないものとする。
図9(b)〜図9(d)は各映像ESにPTSが付加される様子を示す。PTSは90kHzで動作するカウンタの値に基づいて決定される値である。従って、PES先頭に記載されたPTSをPTS0、映像ES1のPTSをPTS1、映像ES2のPTSをPTS2、映像ES3のPTSをPTS3とすると次式が成り立つ。
PTS1=PTS0
PTS2=PTS0+90000/フレームレート
PTS3=PTS0+(90000/フレームレート)×2
例えば、フレームレートが15フレーム/秒の場合、PTS2はPTS0+6000、PTS3はPTS0+12000となる。このように、フレームレートが一定であれば、隣接するフレームおけるPTS差分は、フレームレートに応じた一定値(90000 / フレームレート)となる。
PTS2=PTS0+90000/フレームレート
PTS3=PTS0+(90000/フレームレート)×2
例えば、フレームレートが15フレーム/秒の場合、PTS2はPTS0+6000、PTS3はPTS0+12000となる。このように、フレームレートが一定であれば、隣接するフレームおけるPTS差分は、フレームレートに応じた一定値(90000 / フレームレート)となる。
次に、図10を用いて複数映像フレームからなるPESのPTSを補正する方法について説明する。この例では、PESヘッダにおけるPTSが異常値(エラー)となっている場合を含む。
PES AとPES BとPES Cは連続するPESで、PES Aのヘッダに付けられたPTSAは正常値、PES Bのヘッダに付けられたPTSBは異常値、PES Cのヘッダに付けられたPTSCは正常値であるとする。補正前のPES A、PES B、PES Cの映像フレームのPTSはそれぞれ下記となる。
PTS1=PTSA
PTS2=PTS A+90000/フレームレート
PTS3=PTSA+(90000/フレームレート)×2
PTS4=PTSB(異常値)
PTS5=PTSB+90000/フレームレート
PTS6=PTSC
PTS7=PTSC+90000/フレームレート
PTS8=PTSC+(90000/フレームレート)×2
従来のデジタル放送受信装置では、PTSBが異常値の場合、PTS3とPTS4の差分が異常となり、PTS4、PTS5には異常値が設定される。この結果、PTS4の映像ES4及びPTS5の映像ES5は、例えデコーダによりデコードされても、STCの値とPTSが一致しないため出力されずに破棄される。
PTS2=PTS A+90000/フレームレート
PTS3=PTSA+(90000/フレームレート)×2
PTS4=PTSB(異常値)
PTS5=PTSB+90000/フレームレート
PTS6=PTSC
PTS7=PTSC+90000/フレームレート
PTS8=PTSC+(90000/フレームレート)×2
従来のデジタル放送受信装置では、PTSBが異常値の場合、PTS3とPTS4の差分が異常となり、PTS4、PTS5には異常値が設定される。この結果、PTS4の映像ES4及びPTS5の映像ES5は、例えデコーダによりデコードされても、STCの値とPTSが一致しないため出力されずに破棄される。
次に、本発明に係る映像PTS補正部16の映像PTS補正方法の概要を図10を参照して説明する。
先ず映像PTS補正部16は、PES Aに映像フレームが何フレーム含まれるか調べる。PES Aの映像フレーム数(AU delimiterの数)は3フレームであるため、PES Bの予測PTS(PTSB’)は以下のようになる。
PTSB’=PTSA+90000/フレームレート×3
次に映像PTS補正部16は、PES Bに映像フレームが何フレーム含まれるか調べる。PES Bの映像フレーム数は2フレームであるため、PES Cに付けられたPTSCから、予測されるPES Bの予測PTS(PTSB’’)は以下のようになる。
次に映像PTS補正部16は、PES Bに映像フレームが何フレーム含まれるか調べる。PES Bの映像フレーム数は2フレームであるため、PES Cに付けられたPTSCから、予測されるPES Bの予測PTS(PTSB’’)は以下のようになる。
PTSB’’=PTSC−90000/フレームレート×2
PTSB’=PTSB’’の場合は予測値PTSB’が正常値と判断できる。図10ではPTSB≠PTSB’であることから、映像PTS補正部16はPTSBが異常値であると判断してPTSBをPTSB’に補正する。このとき、PES BのPTS4、PTS5は以下のようになる。
PTSB’=PTSB’’の場合は予測値PTSB’が正常値と判断できる。図10ではPTSB≠PTSB’であることから、映像PTS補正部16はPTSBが異常値であると判断してPTSBをPTSB’に補正する。このとき、PES BのPTS4、PTS5は以下のようになる。
PTS4=PTSB’
PTS5=PTSB’+90000/フレームレート
PTSが補正された映像PESは映像フレーム分離部17に入力され、映像デコーダに送られる。
PTS5=PTSB’+90000/フレームレート
PTSが補正された映像PESは映像フレーム分離部17に入力され、映像デコーダに送られる。
図11A及び図11Bは、映像PTS補正部16の動作を詳細に示すフローチャートである。最初のPESヘッダのPTSは正しいものとして、連続する3つのPESから真ん中のPESヘッダのPTSが補正される。
先ずPTS補正部16は、PESを映像PESバッファ14に読み込みながら、PESヘッダのPTSを取得する(S101)。フレームレートを取得していない場合は(S102のNo)、SEIからフレームレートを取得する(S103)。次に、PES内のAU Delimiterの数を検出して映像ES数を判断する(S104)。ここで、映像ES数(フレーム数)はAU Delimiterの数に等しい。
補正部16は、PESを3つ読みこんだ後に(S105のYes)、補正処理に入る。隣接する3つのPESの1番目のPES(PES A)の映像ES数およびPTS値より、2番目のPES(PES B)のPTS予測値を計算してPTSB’とする(S106)。2番目のPES先頭のPTSとPTSB’が一致した場合は正常値と判断する。一致しなかった場合は2番目のPESの映像ES数と3番目のPES(PES C)のPTS値(PTSC)から、2番目のPES(PES B)のPTS予測値を計算してPTSB’’とする(S108)。
補正部16は、2番目のPES先頭のPTSと予測値PTSB’’が一致した場合は(S109のYes)、2番目のPES先頭のPTSを正常値と判断する(S114)。一致しなかった場合(S109のNo)、予測値PTSB’とPTSB’’が一致しているか調べ、一致している場合(S110のYes)、PTSB’(=PTSB’’)を正常値と判断して、2番目のPES(PES B)のPTSをPTSB’で補正する(S111)。
補正部16は、PTSB’とPTSB’’が一致しなかった場合(S110のNo)、2つのPES先頭のPTSの差分が1フレーム分(=90000/フレームレート)の倍数であるかを調べる(S112)。1番目のPES先頭のPTSと2番目のPES先頭のPTSの差分が(90000/フレームレート)の倍数である場合(S112のYes)、2番目のPES先頭のPTSは正常値と判断する(114)。そうでない場合(S112のNo)、2番目のPES先頭のPTSと3番目のPES先頭のPTSの差分が(90000/フレームレート)の倍数であるか調べ(S113)、そうであった場合は2番目のPEPSのPTSは正常値であると判断し(114)、そうでない場合は異常値と判断して2番目のPESのPTSをPTSB’で補正する(S111)。以上で1つのPESのPTS補正処理が終了する。
次に補正部16は、映像PESバッファ14上で2番目のPESを1番目にシフトし、3番目のPESを2番目にシフトし、次のPESをMPEG2−TS分離部13から映像PESバッファ14に読込む(S115)。このように補正部16は、補正対象のPESを1PESずつ更新しながらすべてのPESのPTS補正処理を行う(S116)。
他のPTS補正方法として、複数映像フレームからなるPESを各映像フレームに分離して、1映像フレーム毎にPTSを計算して付加した後に、PTSをチェックして補正する方法も考えられるが、例えばPTSが異常値の場合に、対象PESに含まれる映像フレームのPTSがすべて間違って計算されてしまう。この結果、分離した後の映像フレームは再生されないという問題が生じる。
本発明による実施形態では、この問題を映像フレーム分離前にPTS補正を行うことで解決した。ワンセグ放送やモバイル放送では複数映像フレームからなる映像PESが運用されており、本実施形態によるPTS補正を行うことで、ワンセグ放送受信端末やモバイル放送受信端末において、映像PTSが異常値になった場合に、映像と音声の同期の乱れや映像出力の途切れを軽減することができる。
以上のPTS補正方法では、PES内に含まれる映像ES数が正しく取得できることが前提となっていた。しかし、AU Delimiterにエラーが発生しており、その結果PES内の映像ES数が正しく取得できない場合も考えられる。そこでPESヘッダに記述さられたPTSの差分値は必ず1フレーム分の差分(=90000/フレームレート)の倍数になることを補正の判断に使う。
図12はAU Delimiterにエラーが発生している場合を示す図である。PES Aは3フレームからなるPESで、PESヘッダにはPTSAが記述されているが、映像ES2のAU Delimiterにエラーが発生している(図中の点線)。PES Bは2フレームからなるPESで、PESヘッダにはPTSBが記述されている。PES Cは3フレームからなるPESで、PESヘッダにはPTSCが記述されている。
PTS補正部16は、PES AとPES BからPES BのPTS予測値PTSB’を以下のように計算する。ここではAU Delimiterにエラーが発生しているので、PTS補正部16は1つのAU Delimiterを検出できず、PES Aのフレームを2と判断する。
PTSB’=PTSA+(90000/フレームレート)×2
次にPTS補正部16は、PES BとPES CからPTSB’’を以下のように計算する。
次にPTS補正部16は、PES BとPES CからPTSB’’を以下のように計算する。
PTSB’’=PTSC−(90000/フレームレート)×2
本例では、PTSB≠PTSB’、PTSB=PTSB’’となる。PTSが異常値になる場合、33bit(PTSのビット数)のデータがランダムに誤るものとすると、PTSが1フレーム分のPTS値(90000/フレームレート)の倍数に誤る確率はきわめて小さい。従って、上記ではPES Aの内部でAU Delimiter(映像ES)が欠落したと判断することができる。このように、連続する2つのPESヘッダに記述されたPTSの差分が、1フレーム分のPTS値(90000/フレームレート)の倍数であれば、それらPTSの値は実質的に正しいと判断できる。
本例では、PTSB≠PTSB’、PTSB=PTSB’’となる。PTSが異常値になる場合、33bit(PTSのビット数)のデータがランダムに誤るものとすると、PTSが1フレーム分のPTS値(90000/フレームレート)の倍数に誤る確率はきわめて小さい。従って、上記ではPES Aの内部でAU Delimiter(映像ES)が欠落したと判断することができる。このように、連続する2つのPESヘッダに記述されたPTSの差分が、1フレーム分のPTS値(90000/フレームレート)の倍数であれば、それらPTSの値は実質的に正しいと判断できる。
また、PES内部のAU Delimiterに欠落があった場合、検知される映像ESの数は実際の映像ESの数より少なくなる。従って、次のPESヘッダに記述されるPTSの予測値として、1フレームまたは2フレーム分のPTSを加算したものを上記予測値候補に加えることで、AU Delimiterなどのデータ誤りにも対応したPTS異常値判断を行うことができる。
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができるものである。
12…チューナ、13…MPEG2−TS分離部、14…映像PESバッファ、15…音声PESバッファ、16…映像PTS補正部、17…映像フレーム分離部、18…映像デコーダ、19…STCカウンタ、20…クロック発振器、22…音声フレーム分離部、23…音声デコーダ、
Claims (6)
- 放送波を受信して、1以上のフレームから構成されるPESを含むTSを提供する受信手段と、
前記受信手段から提供されるTSからPESを抽出し、該PESを映像PES及び音声PESに分離する第1分離手段と、
前記分離手段にて分離された前記映像PESのPESヘッダに記述されたPTSが異常値か判断し、もし異常値であればこの異常値のPTSを補正し、正常値であればこの正常値をそのまま残す補正手段と、
前記補正手段により処理され、前記1以上の映像フレームからなる映像PESの各映像フレームにPTSを付加する付加手段と、
前記付加手段により処理された映像PESから、前記PTSが付加された映像フレームを分離する第2分離手段と、
前記第2分離手段にて分離された映像フレームを復号し、該映像フレームのPTSに基づく時刻に、前記復号した映像フレームを提供する復号手段と、
を具備することを特徴とする復号装置。 - 前記映像PESはH.264規格の映像PESであって、該映像PESに含まれる各映像フレームはAU Delimiterを含み、前記補正手段は前記映像PESに含まれるAU Delimiterの数により前記映像PES中のフレーム数を判断し、該フレーム数に基づいて、前記異常値のPTSを補正することを特徴とする請求項1記載の復号装置。
- 前記付加手段は、隣接した映像PESの各PESヘッダに記述されたPTSと、当該映像PESのフレームレートに応じた所定のPTS差分値とに基づいて、前記映像PESの各映像フレームにPTSを付加することを特徴とする請求項2記載の復号装置。
- 前記補正手段は、連続する2つのPESヘッダに記述されたPTSの差分が、1フレーム分のPTS値の倍数であれば、それらPTSの値は正しいと判断することを特徴とする請求項1記載の復号装置。
- 前記復号手段により復号された映像フレームを基に映像を表示する表示手段を更に具備することを特徴とする請求項1乃至4のうちいずれか1項記載の復号装置。
- 放送波を受信して、1以上のフレームから構成されるPESを含むTSを提供し、
前記TSからPESを抽出し、該PESを映像PES及び音声PESに分離し、
前記分離された映像PESのPESヘッダに記述されたPTSが異常値か判断し、異常値のPTSを補正し、
前記1以上の映像フレームからなり、前記異常値のPTSが補正された映像PESの各映像フレームにPTSを付加し、
前記映像PESから、前記PTSが付加された映像フレームを分離し、
前記分離された映像フレームを復号し、該映像フレームのPTSに基づく時刻に、前記復号した映像フレームを提供することを特徴とする復号方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006297146A JP2008118221A (ja) | 2006-10-31 | 2006-10-31 | 復号装置及び復号方法 |
US11/976,405 US20080101478A1 (en) | 2006-10-31 | 2007-10-24 | Decoding device and decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006297146A JP2008118221A (ja) | 2006-10-31 | 2006-10-31 | 復号装置及び復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008118221A true JP2008118221A (ja) | 2008-05-22 |
Family
ID=39330113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006297146A Pending JP2008118221A (ja) | 2006-10-31 | 2006-10-31 | 復号装置及び復号方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20080101478A1 (ja) |
JP (1) | JP2008118221A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011009949A (ja) * | 2009-06-24 | 2011-01-13 | Toshiba Corp | 映像処理装置及び映像処理方法 |
JP2017103622A (ja) * | 2015-12-02 | 2017-06-08 | 日本電気株式会社 | 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム |
JP2017103809A (ja) * | 2017-02-03 | 2017-06-08 | 日本電気株式会社 | 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム |
JP2017195645A (ja) * | 2017-08-07 | 2017-10-26 | 日本電気株式会社 | 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム |
CN113038188A (zh) * | 2015-03-31 | 2021-06-25 | 松下电器(美国)知识产权公司 | 发送方法、接收方法、发送装置以及接收装置 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7068729B2 (en) | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
US6307487B1 (en) * | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
US9240810B2 (en) | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
EP1552617A2 (en) | 2002-10-05 | 2005-07-13 | Digital Fountain, Inc. | Systematic encoding and decoding of chain reaction codes |
CN1954501B (zh) * | 2003-10-06 | 2010-06-16 | 数字方敦股份有限公司 | 通过通信信道接收从源发射的数据的方法 |
JP4971144B2 (ja) | 2004-05-07 | 2012-07-11 | デジタル ファウンテン, インコーポレイテッド | ファイルダウンロードおよびストリーミングのシステム |
US7721184B2 (en) * | 2004-08-11 | 2010-05-18 | Digital Fountain, Inc. | Method and apparatus for fast encoding of data symbols according to half-weight codes |
KR101292851B1 (ko) * | 2006-02-13 | 2013-08-02 | 디지털 파운튼, 인크. | 가변적 fec 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링 |
US9270414B2 (en) | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
US7971129B2 (en) | 2006-05-10 | 2011-06-28 | Digital Fountain, Inc. | Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems |
US9178535B2 (en) | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
US9386064B2 (en) | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
JP5027305B2 (ja) | 2007-09-12 | 2012-09-19 | デジタル ファウンテン, インコーポレイテッド | 信頼できる通信を可能にするためのソース識別情報の生成および伝達 |
US9281847B2 (en) | 2009-02-27 | 2016-03-08 | Qualcomm Incorporated | Mobile reception of digital video broadcasting—terrestrial services |
US9288010B2 (en) | 2009-08-19 | 2016-03-15 | Qualcomm Incorporated | Universal file delivery methods for providing unequal error protection and bundled file delivery services |
US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
US9049497B2 (en) | 2010-06-29 | 2015-06-02 | Qualcomm Incorporated | Signaling random access points for streaming video data |
US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
US9185439B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US9319448B2 (en) | 2010-08-10 | 2016-04-19 | Qualcomm Incorporated | Trick modes for network streaming of coded multimedia data |
US9270299B2 (en) | 2011-02-11 | 2016-02-23 | Qualcomm Incorporated | Encoding and decoding using elastic codes with flexible source block mapping |
US8958375B2 (en) | 2011-02-11 | 2015-02-17 | Qualcomm Incorporated | Framing for an improved radio link protocol including FEC |
US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
US9420307B2 (en) | 2011-09-23 | 2016-08-16 | Qualcomm Incorporated | Coding reference pictures for a reference picture set |
US9843844B2 (en) | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
US9294226B2 (en) | 2012-03-26 | 2016-03-22 | Qualcomm Incorporated | Universal object delivery and template-based file delivery |
JP6820507B2 (ja) * | 2015-09-14 | 2021-01-27 | パナソニックIpマネジメント株式会社 | 映像受信方法、映像送信方法、映像受信装置及び映像送信装置 |
CN112383769A (zh) * | 2020-10-21 | 2021-02-19 | 中测新图(北京)遥感技术有限责任公司 | 一种视频与时空信息同步检测方法及装置 |
WO2023060540A1 (zh) * | 2021-10-15 | 2023-04-20 | 深圳Tcl新技术有限公司 | 一种数据处理方法、装置、计算机设备及存储介质 |
CN114666624A (zh) * | 2022-04-07 | 2022-06-24 | 乾三(北京)科技有限公司 | 一种视频文件加密和解密方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0137701B1 (ko) * | 1994-12-13 | 1998-05-15 | 양승택 | 엠피이지-2(mpeg-2) 시스템의 피이에스(pes) 패킷화 장치 |
JP2848326B2 (ja) * | 1996-03-28 | 1999-01-20 | 日本電気株式会社 | Mpeg符号化画像復号装置 |
KR100203262B1 (ko) * | 1996-06-11 | 1999-06-15 | 윤종용 | 픽춰단위 동기화를 위한 비디오디코더의 인터페이스장치 |
JP3058263B2 (ja) * | 1997-07-23 | 2000-07-04 | 日本電気株式会社 | データ送信装置、データ受信装置 |
US6483543B1 (en) * | 1998-07-27 | 2002-11-19 | Cisco Technology, Inc. | System and method for transcoding multiple channels of compressed video streams using a self-contained data unit |
US7088725B1 (en) * | 1999-06-30 | 2006-08-08 | Sony Corporation | Method and apparatus for transcoding, and medium |
US7088911B2 (en) * | 2000-04-26 | 2006-08-08 | Sony Corporation | Recording apparatus and method, playback apparatus and method, and recording medium therefor |
JP4612171B2 (ja) * | 2000-10-27 | 2011-01-12 | 株式会社東芝 | 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置 |
JP2002359603A (ja) * | 2001-05-31 | 2002-12-13 | Mitsubishi Electric Corp | ストリーム変換装置 |
EP1562382B1 (en) * | 2004-01-26 | 2019-09-04 | Socionext Inc. | Format conversion device and format conversion method |
-
2006
- 2006-10-31 JP JP2006297146A patent/JP2008118221A/ja active Pending
-
2007
- 2007-10-24 US US11/976,405 patent/US20080101478A1/en not_active Abandoned
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011009949A (ja) * | 2009-06-24 | 2011-01-13 | Toshiba Corp | 映像処理装置及び映像処理方法 |
US8358918B2 (en) | 2009-06-24 | 2013-01-22 | Kabushiki Kaisha Toshiba | Video processing apparatus and video processing method |
CN113038188A (zh) * | 2015-03-31 | 2021-06-25 | 松下电器(美国)知识产权公司 | 发送方法、接收方法、发送装置以及接收装置 |
CN113038188B (zh) * | 2015-03-31 | 2023-06-06 | 松下电器(美国)知识产权公司 | 发送方法、接收方法、发送装置以及接收装置 |
JP2017103622A (ja) * | 2015-12-02 | 2017-06-08 | 日本電気株式会社 | 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム |
WO2017094482A1 (ja) * | 2015-12-02 | 2017-06-08 | 日本電気株式会社 | 映像符号化方法、映像符号化装置、映像復号方法、映像復号装置、及びプログラム、並びに映像システム |
US10645421B2 (en) | 2015-12-02 | 2020-05-05 | Nec Corporation | Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system |
US10827201B2 (en) | 2015-12-02 | 2020-11-03 | Nec Corporation | Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system |
JP2017103809A (ja) * | 2017-02-03 | 2017-06-08 | 日本電気株式会社 | 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム |
JP2017195645A (ja) * | 2017-08-07 | 2017-10-26 | 日本電気株式会社 | 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20080101478A1 (en) | 2008-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008118221A (ja) | 復号装置及び復号方法 | |
US8483053B2 (en) | Information processing device, information processing method, program, and data structure | |
JP2008011404A (ja) | コンテンツ処理装置及びコンテンツ処理方法 | |
US10491944B2 (en) | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein | |
JP4372031B2 (ja) | 信号処理装置及び信号処理方法 | |
JP3987541B2 (ja) | パケットストリーム受信装置 | |
US8359413B2 (en) | Data stream buffer control using reference time and decoding time | |
KR101143907B1 (ko) | 디지털 방송 재생 방법 및 장치 | |
EP1940167A1 (en) | Digital broadcast receiver | |
KR100619041B1 (ko) | 비디오 동기화 장치 및 비디오 동기화 방법 | |
KR101995197B1 (ko) | 디코딩 장치, 수신기기, 송신기기, 송수신 시스템, 디코딩 방법, 및 디코딩 프로그램이 저장된 저장매체 | |
WO2005002224A1 (ja) | 字幕等の情報を含むビデオ信号の処理回路 | |
US10652608B2 (en) | Receiving apparatus and method, and transmitting apparatus and method | |
US20100182339A1 (en) | Data processing apparatus and method | |
US10594437B2 (en) | Receiving apparatus and method therefor | |
TWI762980B (zh) | 數位串流錯誤檢查方法與電路系統 | |
JP2001111610A (ja) | 情報データ伝送システムの受信装置 | |
JP2008035216A (ja) | 動画像復号装置 | |
JP2006157729A (ja) | 再生装置及び再生方法 | |
JP2012109655A (ja) | メディア受信装置 | |
KR101114749B1 (ko) | 수신된 트랜스포트 스트림에 포함된 영상 데이터를 화면끊김 현상이 없도록 처리하는 방법과 그에 따른 디지털멀티미디어 방송 수신 장치 | |
JP2006295567A (ja) | パケットストリーム受信装置 | |
JP2009212695A (ja) | データ処理装置、データ処理方法、およびプログラム | |
JP2011049627A (ja) | 放送受信装置 | |
JP2009260488A (ja) | 復号装置 |