JP2007013436A - 符号化ストリーム再生装置 - Google Patents

符号化ストリーム再生装置 Download PDF

Info

Publication number
JP2007013436A
JP2007013436A JP2005190095A JP2005190095A JP2007013436A JP 2007013436 A JP2007013436 A JP 2007013436A JP 2005190095 A JP2005190095 A JP 2005190095A JP 2005190095 A JP2005190095 A JP 2005190095A JP 2007013436 A JP2007013436 A JP 2007013436A
Authority
JP
Japan
Prior art keywords
error
unit
encoded stream
pes
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005190095A
Other languages
English (en)
Inventor
Makoto Kusunoki
誠 楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005190095A priority Critical patent/JP2007013436A/ja
Priority to EP06013120A priority patent/EP1746836A2/en
Priority to CNA2006100866955A priority patent/CN1893664A/zh
Priority to US11/475,906 priority patent/US20070002953A1/en
Priority to KR1020060058940A priority patent/KR100768058B1/ko
Publication of JP2007013436A publication Critical patent/JP2007013436A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/18—Error detection or correction; Testing, e.g. of drop-outs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure

Abstract

【課題】 シンタックスレベルのエラー検出を映像デコーダ入力前段で行い、映像デコーダにはエラーが存在しないストリームのみを入力し、ストリームエラーによるデコーダの異常動作を防ぐ。
【解決手段】 符号化ストリーム再生装置１００は、ＴＳを受信し該ＴＳから映像ＰＥＳ及び音声ＰＥＳをそれぞれ分離する分離部１３０と、分離された映像ＰＥＳをデコードする映像デコード部１６０を含む。映像デコード部１６０は、前記分離された映像ＰＥＳからＰＥＳヘッダーを分離してＥＳを提供するＰＥＳ分離部２０１と、前記ＥＳのシンタックスエラーを検出し、シンタックスエラーを含むＥＳを破棄し、シンタックスエラーを含まないＥＳを提供するエラー検出手段２０２と、前記エラー検出手段から提供されるＥＳをデコードし、映像信号を提供するデコーダ２１０とを具備する。
【選択図】 図５

Description

本発明は、デジタル放送により送信された符号化ストリームを受信し、該符号化ストリームを再生する符号化ストリーム再生装置に関する。
近年では、ＣＳやＢＳ等のデジタル衛星放送あるいは地上波デジタル放送が普及し始めている。これらデジタル放送により、大画面かつ鮮明な映像を一般家庭において視聴することができる。
このようなデジタル放送では、受信状況が悪い場合、受信した放送信号中にエラーが含まれることがある。エラーを含んだまま映像信号をデコードすると、その再生映像は一般に視聴に耐えない映像となるばかりでなく、映像と音声が同期しなくなることがある。従って、デジタル放送信号中に含まれるエラーを検出し、例えばエラーを含む映像信号を破棄することが望ましい。
下記特許文献１には、このようなエラーを検出する方法が開示されている。この文献では、システムデコーダが映像ビットストリーム中のエラーを検出し、このエラー情報を映像デコーダに通知する。映像デコーダではエラー情報を用いてエラーのないフレームをデコード処理する。
特開２００１−２５０１４号公報
最近では、モバイル放送が実用化されている。モバイル放送とは、移動中や屋外でも楽しめる多チャンネル・マルチメディアの衛星デジタル放送サービスである。モバイル放送は、従来の衛星放送とは異なり、第三世代（３Ｇ）携帯電話に近いＳバンド（２．６ＧＨｚ帯）と呼ばれる放送波を使い、専用の放送衛星を介して従来の衛星放送より高出力で送信される。
従来の衛星放送ではベランダなどにアンテナを固定する必要があるが、モバイル放送は自由に移動しながら放送を試聴することができる。モバイル放送に合わせ、持ち運び型のテレビや、車載タイプテレビ、ノートＰＣで利用できるＰＣカード型などが発表されている。
上記したようなモバイル放送のデータ圧縮方式としては、例えばＨ．２６４（ＭＰＥＧ４ ＡＶＣ）圧縮方式が使用されている。Ｈ．２６４圧縮方式は、元画像の品質を保ったまま、従来より高い圧縮率を可能にする方式である。Ｈ．２６４は、従来方式であるＭＰＥＧ−２などの２倍以上の圧縮効率を実現すると言われており、モバイル放送や携帯電話などに採用され始めている。
このようなモバイル放送であっても、ビル等の建造物あるいは地形の影響を受け、受信信号にはエラーが含まれることがある。Ｈ．２６４方式のデコード処理は従来より処理量が大きく、特にモバイル環境でＨ．２６４方式が使われる場合は、システムが小型になるため、エラー処理は大きな負担となる。
前述の特許文献１の場合、システムでコーダにおいてＴＳパケットのエラーを検出して映像デコーダに通知するが、シンタックス上のエラーは映像デコーダで検出し、事前に知ることはできない。従って、検出できるエラーは限られており、エラー検出が不十分な場合がある。前述したように、エラーを含むストリームによって、デコーダに回復不可能なエラーが発生し、映像が乱れると共に、映像と音声が同期しない状態となることがある。
本発明は、シンタックス(syntax)レベルのエラー検出を映像デコーダ入力前段で行い、映像デコーダにはエラーが存在しないストリームのみを入力し、ストリームエラーによるデコーダの異常動作を防ぐことを目的とする。
本発明の一実施例に係る符号化ストリーム再生装置は、ＴＳを受信し、該ＴＳから映像ＰＥＳ及び音声ＰＥＳをそれぞれ分離する分離手段と、前記分離手段により分離された映像ＰＥＳからＥＳを符号化ストリームとして抽出する抽出手段と、前記抽出手段により抽出されたＥＳのシンタックスエラーを検出し、シンタックスエラーを含むＥＳを破棄し、シンタックスエラーを含まないＥＳを提供するエラー検出手段と、前記エラー検出手段から提供されるＥＳをデコードし、このデコードした映像信号を提供するデコーダとを具備する
シンタックスレベルのエラー検出を映像デコーダ入力前段で行うため、映像デコーダにはエラーが存在しないストリームだけが入力され、ストリームエラーによるデコーダの異常動作を防ぐことができる。
以下、図面を参照してこの発明の実施の形態を説明する。
図１は本発明によるモバイル放送受信装置１００の一実施例を示す概略図である。
アンテナ１１０から入力された電波はチューナー１２０においてＭＰＥＧ２−ＴＳ(transport stream)に復調され、ＭＰＥＧ２−ＴＳ分離部１３０に入力される。ＭＰＥＧ２−ＴＳ分離部１３０では、ＭＰＥＧ２−ＴＳストリームから映像ＰＥＳ(Packetized Elementary Stream)と音声ＰＥＳをそれぞれ分離して、映像ＰＥＳバッファ１４０と音声ＰＥＳバッファ１５０に入力する。映像ＰＥＳバッファ１４０に格納された映像ＰＥＳは、指定された時刻になると映像デコード部１６０に入力される。映像デコード部１６０でデコードされた画像は、モニタ１８０に出力表示される。音声ＰＥＳバッファ１５０に格納された音声ＰＥＳは、指定された時刻になると音声デコード部１７０に入力される。音声デコード部１７０でデコードされた音声信号は、スピーカ１９０に出力される。
ここでＭＰＥＧ２−ＴＳとＰＥＳとＥＳについて説明する。図２はＭＰＥＧ２−ＴＳと映像ＰＥＳおよび音声ＰＥＳの関係を示す図である。ＭＰＥＧ２−ＴＳは１パケット１８８byteのＴＳパケット列から構成され、各ＴＳパケットはＰＥＳヘッダとpayloadからなる。payloadには分割された映像ＰＥＳ又は音声ＰＥＳが格納される。
図３はＴＳ headerの構造を示す図である。sync byteはＴＳパケットの先頭を示すコード（０ｘ４７）である。ＰＩＤはパケットＩＤと呼ばれ、映像ＰＥＳと音声ＰＥＳはそれぞれ異なる一意に決められたＰＩＤ値を持つ。ＭＰＥＧ２−ＴＳ分離部１３０ではパケットのＰＩＤを調べることで映像ＰＥＳが格納されているか音声ＰＥＳが格納されているかを識別することができる。adaptation field controlは、このパケットにadaptation fieldとpayloadが存在するかどうかを示すフラグである。adaptation filed lengthは、adaptation field の長さを示す値である。ＰＣＲ＿flagはＰＣＲが存在するかしないかを示すフラグ、ＰＣＲ(program clock reference)は受信機の時刻を校正する時間情報である。
図４はＰＥＳの構造を示す図である。映像ＰＥＳおよび音声ＰＥＳ共にＰＥＳの構造は同一である。ＰＥＳはＰＥＳヘッダと呼ばれるヘッダ部分とＰＥＳ packet data byteすなわちＥＳ(Elementary stream)本体からなる。ＥＳとは映像または音声を圧縮符号化したデータそのものである。ＰＥＳヘッダに格納されたpacket start code prefixは、ＰＥＳの先頭を示すコード（０ｘ０００００１）である。stream idはストリームの種類を示す値であって、ＰＥＳ packet lengthはＰＥＳの長さを示す値である。ＤＴＳ(decoding time stamp)は、このＰＥＳをデコードする時刻情報であって、ＰＴＳ(presentation time stamp)は、このＰＥＳを表示する時刻情報である。映像デコード部１６０と音声デコード部１７０から出力される映像と音声を、ＰＴＳで示された時刻に出力することで映像と音声の同期が取れる。
図５は映像デコード部１６０の構成を示すブロック図である。
映像デコード部１６０はホストＣＰＵ２００と映像デコーダ（ＤＳＰ）２１０とフレームバッファ２２０を含んでいる。ホストＣＰＵ２００はＰＥＳ分離部２０１とＥＳエラー検出部２０２を含む。ホストＣＰＵ２００とデコーダ２１０は１つのＬＳＩとして構成されている。
ＰＥＳ分離部２０１は映像ＰＥＳからヘッダ部分を分離してＥＳを抽出する。抽出されたＥＳはＥＳエラー検出部２０２に供給され、エラー検出が行われる。ＥＳエラー検出部２０２はシンタックスレベルのエラー検出が可能であり、エラーが検出されたＥＳはここで破棄され、映像デコーダ２１０には入力されない。
映像デコーダ２１０はＥＳエラー検出部２０２から供給されるＥＳをデコードする。このとき、映像デコーダ２１０はシンタックスレベルでエラーなしのＥＳのみをデコードするため、ハングアップといった致命的エラーは発生しない。デコードされたデータはフレームバッファ２２０に格納され、ＰＴＳの時刻に従い映像フレームが映像信号としてモニタへ出力される。
従来のホストＣＰＵ２００の処理は、ＰＥＳからＥＳを分離するだけであったため、ＥＳ中に含まれるエラーは映像デコーダにそのまま入力されていた。ＥＳに含まれるエラーが映像デコーダで対処しきれないものであった場合、映像デコーダがハングアップするといった致命的エラーを引き起こしていた。また従来では、映像デコーダでＥＳをデコードして初めてエラー検知され、エラーを含むＥＳは破棄される。しかし、映像デコーダでエラーを全て検出することはできず、エラーを含んで映像データがデコードされる場合があった。このような場合、モニタに表示される映像は、視聴に耐えない乱れた映像となっていた。本発明に係るデコード部１６０によれば、エラーを含まないＥＳが映像デコーダ２１０に入力されるので、映像デコーダ２１０がハングアップしたり、乱れた映像が表示されることはない。
次に映像デコーダ２１０によるデコード処理について説明する。
本実施例では映像符号化方式にＨ．２６４を使用している。図６はＨ．２６４デコーダ２１０の動作を示すフローチャートである。Ｈ．２６４符号化ストリームは、ＮＡＬ(Network Abstraction Layer)ユニットと呼ばれる格納形式を用いて、データの種別毎に分けて伝送される。
モバイル放送におけるＨ．２６４の運用では、アクセスユニットデリミタ、ＳＰＳ(Sequence Parameter Set)、ＰＰＳ(Picture Parameter Set)、ＳＥＩ(Supplemental Enhancement Information)、スライスレイヤ（ＩＤＲピクチャ／Ｎｏｎ−ＩＤＲピクチャ）が各々ＮＡＬユニットとして伝送される。
アクセスユニットデリミタはアクセスユニット（１ピクチャ）の先頭を示すデータである。ＳＰＳはプロファイル、レベル、シーケンス全体の符号化モードなど、シーケンス全体の符号化にかかわる情報を含むデータである。ＰＰＳはピクチャ全体の符号化モードを示す情報を含むデータであり、ＳＥＩは動画像の復号には必須でない付加情報を含むデータである。
ＩＤＲ(Instantaneous Decoding Refresh)ピクチャ及びＮｏｎ−ＩＤＲピクチャは、各々圧縮符号化された映像データそのものである。各ピクチャはそれぞれ１映像フレームに対応する。ＩＤＲピクチャとは他の画像を参照せず、当該ピクチャのみの情報で符号化されているピクチャである。Ｎｏｎ−ＩＤＲピクチャはＩＤＲではないピクチャを示し、当該ピクチャを符号化する場合に他のピクチャ（参照ピクチャと呼ばれる）の情報を使用したピクチャである。各アクセスユニットは、１つのＩＤＲピクチャ又は１つのＮｏｎ−ＩＤＲピクチャを含む。ＩＤＲピクチャを含むアクセスユニットに続いて、Ｎｏｎ−ＩＤＲピクチャを含むアクセスユニットが複数送信される。スライスレイヤはＩＤＲピクチャ又はＮｏｎ−ＩＤＲピクチャを示す。
モバイル放送でのＨ．２６４の運用において、アクセスユニットは次に示す２種類の構造を有している。
（１） アクセスユニットデリミタ ＋ ＳＰＳ ＋ ＰＰＳ （＋ ＳＥＩ） ＋ ＩＤＲピクチャ
（２） アクセスユニットデリミタ ＋ （＋ ＰＰＳ） ＋ （＋ ＳＥＩ） ＋ ｎｏｎ−ＩＤＲピクチャ
ここで、上記カッコ内の記載（＋ ・・・）はあってもなくてもよい情報を示す。
以下、Ｈ．２６４デコーダ２１０の動作を説明する。
Ｈ．２６４デコーダ２１０はストリームを入力すると、上記ＮＡＬユニットを分離する（Ｓ１０２）。スライスレイヤには上記したように映像フレームデータ本体が格納され、それ以外のユニットにはパラメータが格納されている。Ｈ．２６４デコーダ２１０はスライスレイヤ以外のＮＡＬユニットに対してはパラメータのみをデコードする（Ｓ１０３〜Ｓ１０６）。
スライスレイヤの場合は、ＩＤＲピクチャとＮｏｎ−ＩＤＲピクチャの場合で処理が幾分異なる。
先ず、スライスレイヤがＩＤＲピクチャであった場合のＨ．２６４デコーダ２１０の処理を説明する。ＩＤＲピクチャの場合は、まず予測モードをデコードし（Ｓ１０７）、スライスヘッダに記載されたパラメータをデコードする（Ｓ１０８）。次にマクロブロックの処理を行う。マクロブロックとは縦１６画素、横１６画素からなるブロック構造を示し、Ｈ．２６４ではマクロブロック単位で圧縮符号化を行う。
モバイル放送の画像サイズはＱＶＧＡと呼ばれる縦３２０、横２４０画素のサイズであり、マクロブロックの個数に換算すると３００マクロブロックになる。１マクロブロックの処理は１６画素×１６画素の周波数領域の係数をデコードして（Ｓ１０９）、逆量子化と逆ＤＣＴ処理を行い（Ｓ１１０）、処理結果と画面内予測から計算した第１のサンプル値とを加算して第２のサンプル値を得る（Ｓ１１１、Ｓ１１２）。これをマクロブロックの数だけ行い、１ピクチャ分のサンプル値を得る。１ピクチャ分のサンプル値が得られたら、ブロックノイズを除去するためのデブロッキング処理を行い（Ｓ１１３）、最終的な出力画像データを得る。
次にスライスレイヤがＮｏｎ−ＩＤＲピクチャの場合のＨ．２６４デコーダ２１０の処理を説明する。Ｎｏｎ−ＩＤＲピクチャの場合はまず予測モードをデコードし（Ｓ１１４）、スライスヘッダのパラメータをデコードする（Ｓ１１５）。
次にデコーダ２１０はマクロブロックの処理を行う。１マクロブロックの処理では動きベクトル予測及びそれに伴う計算を行い（Ｓ１１６）、周波数領域の係数をデコードして（Ｓ１１７）、逆量子化と逆ＤＣＴ処理を行い（Ｓ１１８）、処理結果と画面間予測から計算した第１のサンプル値とを加算して第２のサンプル値を得る（Ｓ１１９、Ｓ１２０）。これをマクロブロックの数（３００ブロック）だけ行い、１ピクチャ分のサンプル値を得る。
動きベクトル予測とは、マクロブロック内に表示される各画素の移動量及び移動方向の予測である。１ピクチャ分のサンプル値が得られたら、デブロッキング処理を行い、最終的な出力画像データを得る（Ｓ１１３）。以上がＨ．２６４デコーダ２１０の基本動作である。
次に本発明に係るＥＳエラー検出部２０２によるシンタックスレベルのエラー検出について説明する。
シンタックスレベルのエラー検出ではＨ．２６４デコード処理に類似する処理を行うが、Ｈ．２６４デコード処理のうち、図６の暗いブロックで示される処理が不要となる。すなわち、ＩＤＲピクチャのデコードにおける逆量子化と逆ＤＣＴ処理、画面内予測サンプル値計算、サンプル値計算、デブロッキングフィルタが不要となる。またＮｏｎ−ＩＤＲピクチャのデコードにおける動きベクトル予測と計算、逆量子化と逆ＤＣＴ処理、画面間サンプル値計算、サンプル値計算、デブロッキング処理が不要となる。
Ｈ．２６４のデコード処理は他のデコード処理に比べ負荷が高い（処理量が大きい）といわれているが、特にステップＳ１１６の動きベクトル予測と、ステップＳ１１３のデブロッキング処理の負荷が高い。シンタックスのデコード処理（図６において白地のブロックで示される処理ステップ）のみの負荷はそれほど高くない。すべてのデコード処理とシンタックスのみのデコードを比較したところ、シンタックスのみのデコードはすべてのデコード処理の１／１０程度の処理負荷であった。
シンタックスまでデコードするとエラーは容易に、しかもほぼ確実に検出できる。Ｈ．２６４ではスライスレイヤだけでなく、その他のＮＡＬユニットのパラメータも可変長符号化されている。可変長符号の場合、固定長符号とは異なり、使用できる符号が限定されているため、ストリーム中にエラーが発生した場合に容易にそのエラーを検出できる。例えば二進数の（１，１，１）が、可変長符号ではありえない符号の場合、このような符号が出現した場合に、シンタックスエラーと判断できる。またデコードしたパラメータの値に制限があるものも多いため、パラメータ値が所定範囲外（上記制限外）の値であった場合に、シンタックスエラーと判断することができる。本願において、シンタックスエラーは、符号化ストリーム中のデータ異常値及びデコードしたパラメータの異常値を含む。
従って、このようにシンタクスレベルのデコーダ、すなわちＥＳエラー検出部２０２を用いてエラー検出することで、完全に近いエラー検出を行うことができる。
次に、エラーを検出し、このエラーを含むストリームを破棄する処理を図７Ａ及び７Ｂのフローチャートを参照して説明する。この処理は主にＥＳエラー検出部２０２により実行される。
先ず、アクセスユニットにおける最初のＮＡＬユニットであるアクセスユニットデリミタを検索する（Ｓ２０１）。アクセスユニットデリミタを検出し、このアクセスユニットデリミタにおいてエラーを検出すると（Ｓ２０２のＹｅｓ）、現在処理中のアクセスユニットを破棄し（Ｓ２１３）、次のアクセスデリミタを検索する（Ｓ２０１）。検出されたアクセスユニットデリミタにエラーが検出されなかったら（Ｓ２０２のＮｏ）、次のＮＡＬユニットを検索する（Ｓ２０３）。
アクセスユニットデリミタの次に検出されたＮＡＬユニットが、ＳＰＳ又はＰＰＳ又はＳＥＩであるか判断し（Ｓ２０４）、いずれかのＮＡＬユニットであったらエラーチェックを行う（Ｓ２０５）。このエラーチェックは、デコードしたパラメータの値が、このパラメータに設定されている範囲内の値であるか判断し、範囲外の値であれはエラーと判断する。エラーが検出された場合、現在処理中のアクセスユニットを破棄し（Ｓ２１３）、次のアクセスデリミタを検索する（Ｓ２０１）。検出されたＮＡＬユニットにエラーを検出しなかった場合（Ｓ２０５のＮｏ）、ＮＡＬユニットの検索を継続する（Ｓ２０３）。
ステップＳ２０４において、検出されたＮＡＬユニットがＳＰＳ、ＰＰＳ及びＳＥＩの何れでもない場合（Ｎｏの場合）、そのＮＡＬユニットがＩＤＲピクチャであるか判断する（Ｓ２０６）。ＩＤＲピクチャであったらエラーチェックを行い（Ｓ２０７）、エラーが検出されたら現在処理中のアクセスユニットを破棄し（Ｓ２１３）、次のアクセスデリミタを検索する（Ｓ２０１）。この場合のエラー検出は、符号化ストリーム中のデータ異常値を検出する。
エラーを検出しなかったら（Ｓ２０７のＮｏ）、アクセスユニットを映像デコーダ２１０に送出する（Ｓ２１１）。送出されたアクセスユニットは、映像デコーダ２１０によりデコードされ、ＰＴＳ時刻に従ってモニタに出力される（Ｓ２１２）。
検出されたＮＡＬユニットがＩＤＲピクチャではなく（Ｓ２０６のＮｏ）、ｎｏｎ−ＩＤＲピクチャであったら（Ｓ２０８のＹｅｓ）、直前のアクセスユニットが破棄されているか判断する（Ｓ２０９）。直前のアクセスユニットが破棄されている場合（Ｓ２０９のＹｅｓ）、現在処理中のアクセスユニットを破棄し（Ｓ２１３）、次のアクセスデリミタを検索する（Ｓ２０１）。
ｎｏｎ−ＩＤＲピクチャは以前のピクチャを参照してデコードされるので、以前のピクチャが破棄されている場合は、当該ピクチャをデコードすることはできない。従って、ｎｏｎ−ＩＤＲピクチャにエラーが存在する場合、それ以降のｎｏｎ−ＩＤＲピクチャをデコードすることができない。この場合、エラーが検出されたｎｏｎ−ＩＤＲピクチャから、次のＩＤＲピクチャ直前のｎｏｎ−ＩＤＲピクチャまでのアクセスユニットが全て破棄される。尚、ステップＳ２０７のように、ＩＤＲピクチャでエラーが検出された場合も、当該ＩＤＲピクチャから次のＩＤＲピクチャ直前のｎｏｎ−ＩＤＲピクチャまでのアクセスユニットが全て破棄される。
直前のアクセスユニットが破棄されていない場合（Ｓ２０９のＮｏ）、ｎｏｎ−ＩＤＲピクチャについてエラー検出を行う（Ｓ２１０）。この場合のエラー検出は、ＩＤＲピクチャと同様に符号化ストリーム中のデータ異常値を検出する。エラーが検出されたら（Ｓ２１０のＹｅｓ）、現在処理中のアクセスユニットを破棄し（Ｓ２１３）、次のアクセスデリミタを検索する（Ｓ２０１）。このｎｏｎ−ＩＤＲピクチャのエラー検出では、予測モードのデコードの際にもエラー検出が可能である。エラーが検出されなかったら（Ｓ２１０のＮｏ）、当該アクセスユニットを映像デコーダ２１０に送出する（Ｓ２１１）。
この結果、映像デコーダ２１０は、エラーを含まないアクセスユニットのみをデコードし、エラーのない鮮明な画像を、ＰＴＳに記載された時刻にモニタに出力する（Ｓ２１２）。
従来技術ではデコーダ前段で、ある程度エラーを検知していたが、シンタックスレベルのエラーはデコーダで復号するときに初めて判明するため、エラー処理と、映像／音声の同期処理が行いにくいという問題があった。本実施例では、従来のデコーダで初めて検知できるシンタックスレベルのエラーを事前に検知できるため、デコーダにはエラーを含まないＥＳのみを入力することが可能となる。このためエラーストリームによるデコーダでの回復不可能なエラー発生は起きない。またエラーの検出率は従来の方法に比べて非常に高い。
また従来の場合、符号化ストリームにエラーが存在する場合でも、この符号化ストリームをデコーダでデコードするという無駄な処理を行っていた。しかし、本実施例ではエラーストリームはデコーダでデコードされないため、電波状態が悪いといったエラー発生が顕著な状況においては、デコーダの処理負荷が軽減されるという効果がある。特にモバイル環境でＨ．２６４方式が使われる場合は、Ｈ．２６４の処理自体が非常に重いという特徴があるのと、電波状態は安定しているとは限らないため、このようなエラー発生時の処理負荷の軽減により、消費電力を低減することができる。
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
本発明によるモバイル放送受信装置の一実施例を示す概略図である。 ＭＰＥＧ２−ＴＳと映像ＰＥＳおよび音声ＰＥＳの関係を示す図である。 ＴＳ headerの構造を示す図である。 ＰＥＳの構造を示す図である。 映像デコード部１６０の構成を示すブロック図である。 デコーダ２１０の動作を示すフローチャートである。 エラーを検出しエラーを含むストリームを破棄する処理を示すフローチャートである。 エラーを検出しエラーを含むストリームを破棄する処理を示すフローチャートである。
符号の説明
１２０…チューナー、１３０…ＭＰＥＧ２−ＴＳ分離部、１４０…映像ＰＥＳバッファ、１５０…音声ＰＥＳバッファ、１６０…映像デコード部、１７０…音声デコード部、１８０…モニタ、１９０…スピーカ、２００…ホストＣＰＵ、２１０…映像デコーダ、２００…フレームバッファ。

Claims (9)

  1. ＴＳ(transport stream)を受信し、該ＴＳから映像ＰＥＳ(Packetized Elementary Stream)及び音声ＰＥＳをそれぞれ分離する分離手段と、
    前記分離手段により分離された映像ＰＥＳからＥＳ(Elementary Stream)を符号化ストリームとして抽出する抽出手段と、
    前記抽出手段により抽出されたＥＳのシンタックスエラーを検出し、シンタックスエラーを含むＥＳを破棄し、シンタックスエラーを含まないＥＳを提供するエラー検出手段と、
    前記エラー検出手段から提供されるＥＳをデコードし、このデコードした映像信号を提供するデコーダと、
    を具備することを特徴とする符号化ストリーム再生装置。
  2. 前記エラー検出手段は、前記抽出手段により抽出されたＥＳの符号化に関するパラメータをデコードして該パラメータのエラーを検出し、パラメータにエラーを含むＥＳを破棄することを特徴とする請求項１記載の符号化ストリーム再生装置。
  3. 前記符号化ストリームはＨ．２６４符号化ストリームであってＩＤＲ(Instantaneous Decoding Refresh)ピクチャー及びｎｏｎ−ＩＤＲピクチャーを含み、
    前記検出手段は、前記ＩＤＲピクチャー又はｎｏｎ−ＩＤＲピクチャーにおけるシンタックスエラーを検出し、シンタックスエラーを有するＥＳを破棄することを特徴とする請求項１記載の符号化ストリーム再生装置。
  4. 前記符号化ストリームはＨ．２６４符号化ストリームであって、複数のアクセスユニットを含み、前記検出手段は、アクセスユニットにシンタックスエラーを検出した場合、当該アクセスユニットを破棄することを特徴とする請求項１記載の符号化ストリーム再生装置。
  5. 前記符号化ストリームはＨ．２６４符号化ストリームであって、符号化された複数のアクセスユニットを含み、各アクセスユニットは、ＩＤＲピクチャーを含む第１アクセスユニット、又はｎｏｎ−ＩＤＲピクチャーを含む第２アクセスユニットであって、
    前記検出手段は、前記１又は第２アクセスユニットにシンタックスエラーを検出した場合、当該アクセスユニットから、次の第１アクセスユニット直前の第２アクセスユニットまでのアクセスユニットを破棄することを特徴とする請求項１記載の符号化ストリーム再生装置。
  6. １以上のＮＡＬ(Network Abstraction Layer)ユニットをそれぞれ含むアクセスユニットからなるＨ．２６４方式符号化ストリームを含み、モバイル機器用のＴＳ(transport stream)を受信する受信手段と、
    前記受信手段により受信された前記ＴＳから、映像ＰＥＳ(Packetized Elementary Stream)及び音声ＰＥＳをそれぞれ分離する分離手段と、
    前記分離手段により分離された映像ＰＥＳから前記符号化ストリームを抽出する抽出手段と、
    前記抽出手段により抽出された符号化ストリームに含まれる前記ＮＡＬユニットのシンタックスエラーを検出し、シンタックスエラーが検出されたＮＡＬユニットを破棄し、シンタックスエラーを含まないＮＡＬユニットにより構成されるアクセスユニットを提供するエラー検出手段と、
    前記エラー検出手段から提供されるアクセスユニットをデコードし、このデコードした映像信号を提供するデコーダと、
    を具備することを特徴とする符号化ストリーム再生装置。
  7. 前記エラー検出手段は、前記符号化ストリームの符号化に関するパラメータを有するＮＡＬユニットをデコードし、所定範囲外のパラメータ値をエラーと判断し、このエラーを有するＮＡＬユニットを含むアクセスユニットを破棄し、ＮＡＬユニットにエラーを含まないアクセスユニットを提供することを特徴とする請求項６記載の符号化ストリーム再生装置。
  8. ＴＳ(transport stream)を受信し、該ＴＳから映像ＰＥＳ(Packetized Elementary Stream)及び音声ＰＥＳをそれぞれ分離するステップと、
    前記分離された映像ＰＥＳからＥＳを符号化ストリームとして抽出するステップと、
    前記抽出されたＥＳのシンタックスエラーを検出し、シンタックスエラーを含むＥＳを破棄し、シンタックスエラーを含まないＥＳを提供するステップと、
    前記シンタックスエラーを含まないＥＳをデコードし、このデコードした映像信号を提供するステップと、
    を具備することを特徴とする符号化ストリーム再生方法。
  9. 前記エラー検出ステップは、前記抽出されたＥＳの符号化に関するパラメータをデコードして該パラメータのエラーを検出し、パラメータにエラーを含むＥＳを破棄することを特徴とする請求項８記載の符号化ストリーム再生方法。
JP2005190095A 2005-06-29 2005-06-29 符号化ストリーム再生装置 Withdrawn JP2007013436A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005190095A JP2007013436A (ja) 2005-06-29 2005-06-29 符号化ストリーム再生装置
EP06013120A EP1746836A2 (en) 2005-06-29 2006-06-26 Encoded stream reproducing apparatus
CNA2006100866955A CN1893664A (zh) 2005-06-29 2006-06-28 编码流再生装置
US11/475,906 US20070002953A1 (en) 2005-06-29 2006-06-28 Encoded stream reproducing apparatus
KR1020060058940A KR100768058B1 (ko) 2005-06-29 2006-06-28 부호화 스트림 재생 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005190095A JP2007013436A (ja) 2005-06-29 2005-06-29 符号化ストリーム再生装置

Publications (1)

Publication Number Publication Date
JP2007013436A true JP2007013436A (ja) 2007-01-18

Family

ID=37487698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005190095A Withdrawn JP2007013436A (ja) 2005-06-29 2005-06-29 符号化ストリーム再生装置

Country Status (5)

Country Link
US (1) US20070002953A1 (ja)
EP (1) EP1746836A2 (ja)
JP (1) JP2007013436A (ja)
KR (1) KR100768058B1 (ja)
CN (1) CN1893664A (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) * 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
CN1954501B (zh) * 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
JP4971144B2 (ja) 2004-05-07 2012-07-11 デジタル ファウンテン， インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
US7721184B2 (en) * 2004-08-11 2010-05-18 Digital Fountain, Inc. Method and apparatus for fast encoding of data symbols according to half-weight codes
KR101292851B1 (ko) * 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
KR20090004660A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004661A (ko) * 2007-07-04 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン， インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
CN101651833B (zh) 2009-09-10 2012-01-11 中兴通讯股份有限公司 一种i帧检索方法及装置
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
RU2663341C2 (ru) 2012-11-30 2018-08-03 Сони Корпорейшн Устройство обработки изображений и способ
CN103116492A (zh) * 2013-01-09 2013-05-22 上海思华科技股份有限公司 光盘或光盘文件收录方法及系统
EP2947879B1 (en) * 2013-01-17 2018-11-07 Samsung Electronics Co., Ltd. Method for decoding video on basis of decoder setting
CN105578203B (zh) * 2016-01-15 2018-10-19 北京赛特斯信息科技股份有限公司 视频文件质量检测系统及方法
CN110753259B (zh) * 2019-11-15 2022-01-25 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质
CN110798731A (zh) * 2019-11-15 2020-02-14 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1056297A3 (en) 1999-05-24 2002-10-02 Agilent Technologies, Inc. (a Delaware corporation) Multimedia decoder with error detection
JP2004056169A (ja) 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 画像データ受信装置、画像データ送信装置
KR100447200B1 (ko) * 2002-07-30 2004-09-04 엘지전자 주식회사 Ｐｖｒ 지원 비디오 디코딩 시스템
CA2565499C (en) * 2004-07-26 2010-11-30 Irdeto Access B.V. Method of partially scrambling a data stream

Also Published As

Publication number Publication date
US20070002953A1 (en) 2007-01-04
KR20070001834A (ko) 2007-01-04
EP1746836A2 (en) 2007-01-24
CN1893664A (zh) 2007-01-10
KR100768058B1 (ko) 2007-10-18

Similar Documents

Publication Publication Date Title
KR100768058B1 (ko) 부호화 스트림 재생 장치
JP4261508B2 (ja) 動画像復号装置
JP6268066B2 (ja) 送信方法、受信方法、送信装置及び受信装置
KR101122898B1 (ko) 비디오 스트림 내의 유효 진입점 시그널링
JP2008011404A (ja) コンテンツ処理装置及びコンテンツ処理方法
JP2008283472A (ja) ストリーム再生装置
US20200059688A1 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
US9392279B2 (en) Method and system for generating an instantaneous decoding refresh (IDR) picture slice in an H.264/AVC compliant video data stream
US20070196077A1 (en) Apparatus and method for synchronizing reproduction time of time-shifted content with reproduction time of real-time content
KR19990057101A (ko) 엠펙 비디오 디코딩 시스템 및 엠펙 비디오 디코딩 시스템의 오버플로우 처리 방법
KR20060113522A (ko) 디지털 방송수신기의 비디오복호기 초기화장치 및 방법
US10257523B2 (en) Adaptive decoding system
US20160212435A1 (en) Transmission device, transmission method, reception device, and reception method
KR20120062545A (ko) 비디오 스트림의 패킷화 방법 및 장치
US20090080520A1 (en) Video decoding apparatus and video decoding method
US20180054633A1 (en) Video decoding device
JP3822821B2 (ja) 画像再生表示装置
JP2006060358A (ja) デジタル放送受信機
JP4902258B2 (ja) データ受信装置およびコンピュータ読み取り可能な記憶媒体
JP4578326B2 (ja) 地上波デジタル放送受信機
JP2001339663A (ja) デジタルテレビジョン放送受信機
KR100998449B1 (ko) Ｄｍｂ 수신장치 및 그 버퍼제어 방법
JP2008010997A (ja) 情報処理装置、情報処理方法及び半導体集積回路
JP2008148004A (ja) 映像復号装置、デジタル放送受信機、映像復号方法、映像復号プログラムおよび映像復号プログラムを格納した記録媒体
WO2015040824A1 (ja) 送信方法、受信方法、送信装置及び受信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071009

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090216