JP2006295568A - 動画像復号装置及びピクチャ境界判定方法 - Google Patents

動画像復号装置及びピクチャ境界判定方法 Download PDF

Info

Publication number
JP2006295568A
JP2006295568A JP2005113824A JP2005113824A JP2006295568A JP 2006295568 A JP2006295568 A JP 2006295568A JP 2005113824 A JP2005113824 A JP 2005113824A JP 2005113824 A JP2005113824 A JP 2005113824A JP 2006295568 A JP2006295568 A JP 2006295568A
Authority
JP
Japan
Prior art keywords
picture
slice
pictures
frame
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005113824A
Other languages
English (en)
Other versions
JP4261508B2 (ja
Inventor
Hiroshi Mori
弘史 森
Tatsunori Saito
龍則 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005113824A priority Critical patent/JP4261508B2/ja
Priority to US11/393,548 priority patent/US7924928B2/en
Publication of JP2006295568A publication Critical patent/JP2006295568A/ja
Application granted granted Critical
Publication of JP4261508B2 publication Critical patent/JP4261508B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Abstract

【課題】誤りの混入によるピクチャ枚数の増加を抑制することが出来る動画像復号装置及びピクチャ境界判定方法を提供すること。
【解決手段】トランスポートストリームを時系列的に受信して、トランスポートストリームに含まれる動画像を復号する動画像復号装置において、前記動画像のピクチャのスライスピクチャ境界を判定する判定手段と(104)、前記判定手段の判定結果に基づいて、ピクチャを復号する復号手段(111)とを具備し、前記判定手段は、スライスピクチャのframe_numの増加分が1のときに、当該スライスピクチャと直前のスライスピクチャとが異なるピクチャであると判定する。
【選択図】図1

Description

本発明は、動画像復号装置及びピクチャ境界判定方法に関する。
動画像の符号化方式として、MPEG−4及びMPEG−4を発展させたH.264/MPEG−4 AVC(以下、「H.264」と称する。非特許文献1参照)がある。H.264は、地上波デジタル放送(非特許文献2及び3参照)、3GPP、HD−DVDなどに採用されている動画像符号化方式である。移動体向け地上波デジタル放送は、ARIBにより運用規定が作成され(非特許文献2参照)、2005年度末からサービスが開始される予定である。また既にサービスが行われているモバイル放送も、動画像符号化方式としてMPEG−4からH.264への移行を検討している。
このようなH.264の放送応用では、H.264ストリームは音声、データ放送などの情報と共にMPEG−2 systems(特許文献4参照)に多重化され、各受信端末に送信される。また、IP網を利用した動画像の無線配信などでは、H.264ストリームは、RTP(Real-time Transport Protocol)により多重化される。しかし受信端末が移動するため、常に安定した電波環境にてストリームを受信することは期待できない。特に受信端末がビル等により隠蔽されるような環境では、ストリーム中に高頻度でエラーが混入する。従って、誤り環境下で使用されるデコーダには、誤り耐性機能が必須となるが、H.264における誤り耐性処理は規格外であるため、その振る舞いはデコーダにより異なり、様々な提案が行われている(特許文献5から7参照)。
一方、H.264では、スライスピクチャの境界(以下、本明細書では「ピクチャ境界」と称する)の判定に使用するシンタックス(Syntax)はすべてのスライスピクチャに存在するため、誤りに弱いという問題がある。このため、シンタックスに誤りが混入すると、ピクチャ境界の誤判定が起きるため、デコードされるピクチャの枚数が増減してしまい、参照フレームのミスマッチやデコーダバッファがオーバーフロー、処理量の増加などという問題が生じる。
"Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)、" in Joint Video Team of ISO/IEC MPEG and ITU-T VCEG、 May 2003 "ARIB TR-B14、 地上デジタルテレビジョン放送運用規定技術資料、" 電波産業会、 2004 "ARIB TR-B13、 地上デジタル音声放送運用規定技術資料、" 電波産業会、 2004 ISO/IEC 13818-1 Y.-K. Wang、 M.M. Hannuksela、 V. Varsa、 A. Hourunranta、 and M. Gabbouj、 "The error concealment feature in the H.26L test model、" Proc. ICIP、 vol. 2、 pp. 729-732、 Sept. 2002. V. Varsa、 M.M. Hannuksela、 and Y.-K. Wang、 "Non-normative error concealment algorithms、" ITU-T VCEG-N62、 Sept. 2001. 森 弘史、川勝 裕和、鈴木 正和、"H.264における誤り環境下の再生画像に関する一検討、"信学技報、IE 2004-18、May.2004.
本発明は、上記の課題を解決するためになされたもので、誤りの混入によるピクチャ枚数の増加を抑制することが出来る動画像復号装置及びピクチャ境界判定方法を提供することを目的とする。
本発明の局面に係る動画像復号装置は、トランスポートストリームを時系列的に受信して、トランスポートストリームに含まれる動画像を復号する動画像復号装置において、前記動画像のピクチャのピクチャ境界を判定する判定手段と、前記判定手段の判定結果に基づいて、ピクチャを復号する復号手段とを具備し、前記判定手段は、ピクチャのframe_numの増加分が1のときに、当該ピクチャと直前のピクチャとが異なるピクチャであると判定することを特徴とする。なお、本発明は、装置に限らず、本装置で実現する機能を実現するための方法やプログラムの発明としても成立する。
本発明によれば、誤りの混入によるピクチャ枚数の増加を抑制することが出来る。
図面を参照して本発明の実施の形態を説明する。
図1は、本発明の一実施形態に係るトランスポートストリームを受信し、このトランスポートストリーム(TS)で送られた画像データ及び音声データを再生する装置を示すブロック図である。図2(A)〜(C)は、図1に示す装置で受信されるこのトランスポートストリームの構造を示し、図3(A)〜(G)は、図2に示されるトランスポートストリームから取り出されたTSパケットで構成されるパケッタライズド・エレメンタリ・ストリーム(PES)の構造を示す。また、図4(A)〜(E)は、図2(A)に示すTSパケット、図3に示すPESパケット及びH.264/AVCで規定されるバイトストリームの関係を示している。
図1を参照しながら受信装置の構成を説明すると共に、図2(A)〜図4(E)を参照しながらトランスポートストリームのデータ構造について説明する。
図1において、受信部110は、図示しない送信部から伝送されたMPEG2で定められたトランスポートストリームを受信する。トランスポートストリーム(TS)は、図2(A)に示されるように夫々が188バイトを有するTSパケット12の集合で構成されており、このTSパケット12が受信部110に時系列的に入力される。各TSパケット12は、図2(B)に示されるように4バイトを有するTSパケットヘッダ14と、0から184の可変長バイトを有するアダプテーションフィールド50と、残るデータを有するTSパケットデータ(ペイロード)16とで構成されている。このTSパケット12は、図1に示すデータプロセッサ部102に送られて、データプロセッサ部102でTSパケットヘッダ14が取り出され、TSパケットデータ(ペイロード)16でパケッタライズド・エレメンタリ・ストリーム(PES)が構成される。
図2(C)に示されるようにTSパケットヘッダ14には、MPEG2で定められるように8ビットの同期信号が記述された同期バイト(sync byte)18、当該パケット中のビット・エラーの有無を示す誤り表示(transport error indicator)20及びTSパケットデータ16を意味するペイロードから図4(c)に示すPESパケットが始まることを示すペイロードユニットの開始表示(payload unit start indicator)22が記述されている。ここで、同期バイト(sync byte)18がデータプロセッサ部102で検出されることによってトランスポートストリームパケット(TS)12の先頭が検出される。また、ペイロードユニットの開始表示(payload unit start indicator)22を検出することによって、データプロセッサ部102は、PESパケットを構成するペイロード、即ち、TSパケットデータ16を取り出すことができる。更に、誤り表示(transport error indicator)20を検出することによって伝送中にトランスポートストリームパケット(TS)16にエラーが混入したことを受信側で検出することができる。
また、TSパケットヘッダ14には、当該パケットの重要度を示すトランスポートプライオリティ(transport priority)24、当該パケットの個別ストリームの属性を示すPID(Packet Identification:パケット識別子)26、当該パケットのスクランブルの有無及び種別を示すトランスポートスクランブル制御(transport scrambling control)28、アダプテーションフィールドの有無及びペイロードの有無を示すアダプテーションフィールド制御(adaptation field control)30、及び同一のPIDを有するパケットが伝送の途中で一部棄却されているかを検出するための情報を示す巡回カウンタ(continuity counter)32から構成されている。データプロセッサ部102は、PID(Packet Identification:パケット識別子)26で当該TSパケット12のペイロード、即ち、TSパケットデータがビデオ或いはオーディオであるかを検出することができ、当該TSパケット12から構成されるPESパケットの属性も特定することができる。データプロセッサ部102は、後に詳細に説明するように巡回カウンタ(continuity counter)32で示されるカウント値を検証することによってTSパケット12が伝送中に失われたかを判別することができる。ここで、巡回カウンタ(continuity counter)32には、同一PIDを有するTSパケット12について、TSパケットの生成される順序で循環するカウント値(0,1,2,・・・,F,0,1,2)が付されている。
図2(B)に示すTSパケットデータ(ペイロード)16は、図3(B)または図3(F)に示すようにメディア毎にパケッタライズド・エレメンタリ・ストリーム(PES)を構成し、ペイロードユニットの開始表示(payload unit start indicator)22を検出する毎に図3(B)に示すPESパケット40、42を構成する。即ち、PESパケット40、42は、1又は複数のTSパケット16から構成され、パケッタライズド・エレメンタリ・ストリーム(PES)は、複数のPESパケット40が時系列的に配列されて構成され、ペイロードユニットの開始表示(payload unit start indicator)22が含まれるTSパケット12から次のペイロードユニットの開始表示(payload unit start indicator)22が含まれるTSパケット12の前のTSパケット12で1つのPESパケット40、42が構成される。また、パケッタライズド・エレメンタリ・ストリーム(PES)は、ペイロードがビデオデータであるPESパケット40及びペイロードがオーディオデータであるPESパケット42をマルチプレクスして構成されている。データプロセッサ部102は、開始表示(payload unit start indicator)22に従ってTSパケットデータ16で構成されるビデオ用PESパケット40及びオーディオ用PESパケット42を分離部103(DEMUX:ディマルチプレクサ)に供給している。ここで、PESパケット41、42は、可変長バイトに定められている。
図3(A)に示すようにビデオ用PESパケット40は、PESヘッダ44に続いてペイロードとして1又は複数のアクセスユニット(以下、「AU」と記載する)46で構成され、これらアクセスユニット(AU)44は、H.264やMPEG−2、MPEG−4などで定められるバイトストリームを構成する。また、オーディオ用PESパケット42は、同様にPESヘッダ44に続いてオーディオ・ペイロードで構成される。このオーディオ・ペイロードは、種々の符号化方式で符号化されたオーディオデータ、例えば、AC3オーディオデータ、PCMオーディオデータ、MPEGオーディオが格納されている。PESヘッダ44には、当該PESパケット40のペイロードがオーディオ或いはビデオである旨を示す属性識別子としてのストリームIDが記述され、PESパケット40の判別を可能としている。
分離部103(DEMUX:ディマルチプレクサ)では、PID(Packet Identification:パケット識別子)26に基づいて、オーディオ・ペイロードをオーディオデコーダ部114に供給し、アクセスユニット(AU)44を、詳細は後述するピクチャ境界判定部104を介して、H.264ビデオデコーダ部111に供給している。従って、H.264ビデオデコーダ部111では、アクセスユニット(AU)44を単位としてアクセスユニット(AU)44内のNALsをピクチャにデコードしてフレーム毎にvideo信号として出力する。また、同様に、オーディオデコーダ部114では、オーディオ・ペイロードの符号化方式に従ってオーディオ・ペイロードをデコードしてオーディオ信号として出力している。
図1に示されるデータプロセッサ部102、分離部103、ビデオデコーダ部111及びオーディオデコーダ部114は、ROM123に格納された処理プログラムに従ってMPU121及びメモリ部122によって制御されている。また、MPU121には、ユーザインターフェスとしてのキー入力部131が接続されており、キー入力部131からの入力に従ってもビデオ及びオーディオの再生を制御することができる。
上述したようにトランスポートストリームTSは、図4(A)に示すように連続するTSパケット16で構成され、図4(B)に示すように各パケット40は、TSヘッダ14及びそのTSペイロード16から構成される。PESパケット40を構成する1又は複数のTSパケット16は、図4(B)に示すように、そのペイロードにPESヘッダ44及び複数のAU46が格納されている。1つのPESパケット40は、188バイトを有する1又は複数のTSパケット16で構成され、また、1又は複数のAU46が含まれるように必要に応じてアダプテーションフィールド(Adaptation Field)50が設けられてデータアラインされている。
データプロセッサ部102では、1又は複数のTSパケット16から図4(C)に示すようにTSヘッダ14が除去されてPESパケット40が構成される。図4(C)の例では、1つのPESパケット40のペイロード46に2枚のAU46が格納され、この2枚のAU46は、4つのTSパケット16から取り出される例が示されている。ここで、アダプテーションフィールド(Adaptation Field)50は、TSパケット16にデータアライメントの為に挿入されていることから、PESパケット40を構成するに際しては、捨てられることとなる。
分離部103では、PESパケット40は、PESヘッダ44が除去されてビデオデコーダ部111にAU46が次々に送られてデコードされる。図4(D)には、PESパケット40から取り出され、ビデオデコーダ部111でデコードされるAU46で構成されるバイトストリームが示されている。ビデオデコーダ部111内では、図4(E)に示されるようにAU内の同期点であるスタートコード(SC)62を検出してAU46を構成するナルユニット66を取り出し、このナルユニット66からAU46単位で構成されるピクチャ、例えば、ピクチャフレームを生成している。H.264では、複数のナルユニット66の情報に従ってスライスピクチャが構成され、1ピクチャが表示される。
ここで、ピクチャ境界の判定に使用されるシンタックスは、前述したように全てのスライスピクチャに存在するため、誤りに弱い。
図5(a)は、正常ストリームにおけるピクチャ境界の検出例を示す図である。なお、図5において、Sliceはスライスを、AUはAUデリミタ(AU Delimiter)を表している。H.264におけるAUは、同一のframe_numを持つ1つ以上のスライスピクチャにより構成されるため、frame_numの変化点からピクチャ境界を検出することが出来る。またAUデリミタの存在からもピクチャ境界を検出することが出来る。すなわち、スライスピクチャとAUとの境界がピクチャ境界として検出される。しかし、図5(b)に示すように、3つのスライスピクチャ1の2番目のスライスピクチャ1に誤りが混入し、frame_numが5と検出され、かつ、スライスピクチャ1とスライスピクチャ2との間のAUが欠損した場合を例にとると、AUの欠損に対しては、frame_numがその前後で異なるので、ピクチャ境界であると判定される。しかし、frame_numが1のスライスピクチャがframe_numが5のスライスピクチャと認識される誤りが混入すると、frame_num=5のスライスピクチャ前後でframe_numが不連続となるので、スライスピクチャがスライスピクチャ1、スライスピクチャ5及びスライスピクチャ1の3つのスライスピクチャとして誤認識される。このように、H.264のピクチャ境界処理は、4バイトのユニークコードにより境界を示すMPEG−4と異なり、数ビットのシンタックスにより境界を検出するため、ビット誤りに対する影響を受けやすく、復号ピクチャ数が増加する傾向がある。
これに対し、地上波デジタル放送では、ピクチャ境界を表すAUデリミタの運用が必須であるため、これを利用してAUデリミタによるピクチャ境界の検出も考えられる。しかし、この方式ではframe_numなどのビット誤りによる誤判定は防止できるが、この場合において、AUデリミタのみのピクチャ境界の検出のみでは、図5(c)に示すようにAUデリミタが誤りによって欠損する度にスライスピクチャの枚数が減少するという問題点がある。
そこで、本発明では、図1に示すように、ピクチャ境界判定部104を新たに備え、下記のようなアルゴリズムによるピクチャ境界の判定を行う。これにより、図5の(d)の示すように、スライスピクチャの境界が正しく判定できる。
H.264では、Slice Headerに含まれるシンタックスが7種類の条件の何れかを満たすと、ピクチャ境界と判定するようになっている。また、地上波デジタル放送では、Baseline Profileが採用されているため、以下の3条件を確認すれば良い。
(1) frame_numの値が異なる。
(2) nal_ref_idc=0と値が異なる。
(3) idr_pic_idの値が異なる。
ここで条件(2)は非参照ピクチャと参照ピクチャ間における境界判定条件であり、条件(3)は連続するIDR間における境界判定条件であるため、通常のストリームでは条件(1)により境界を検出することが出来る。
ここで、本発明の実施形態では、上記の問題を解消するため、AUデリミタ挿入の有無により条件(1)の運用を切り替えている。図6を参照して、具体的な処理の流れを説明する。なお、図6の処理はすべて、ピクチャ境界判定部104で行うものとする。
まず、gaps_in_frame_num_value_allowed_flagが0(すなわち、frame_numの増加量が0、または1)であるかどうかをチェックする(ステップS1)。地上波デジタル放送ではframe_numがIDRを起点に0から増分1でインクリメントされている。従って、gaps_in_frame_num_value_allowed_flagが0であれば(ステップS1のYes)、増加量が正常であるので、特別な処理を行うことなく、処理を終了する(ステップS2)。
次に、AUデリミタが検出されたかどうかを判定し(ステップS3)、AUデリミタが検出されたら(ステップS3のYes)、その部分をピクチャ境界とする(ステップS5)。ステップS3において、AUデリミタが検出されない場合には(ステップS3のNo)、現在のframe_numであるcurFrameNumと1つの前のframe_numであるprevFrameNumとの差分をとる(ステップS4)。ステップS4において、curFrameNumとprevFrameNumとの差分が1であれば(ステップS4のYes)、curFrameNumとprevFrameNumとの境界をピクチャ境界と判定する(ステップS5)。ステップS4において、curFrameNumとprevFrameNumとの差分が1でなければ、curFrameNumとprevFrameNumとが等しいかどうかを判定する(ステップS6)。ステップS6において、curFrameNumとprevFrameNumとが等しくなければ(ステップS6のNo)、現在のスライスピクチャは誤りを含んでいるものと判定して、当該スライスピクチャを廃棄する(ステップS7)。
ステップS6において、curFrameNumとprevFrameNumとが等しい場合には(ステップS6のYes)、現在のcurNalRefIdcとprevNalRefIdcとが等しいかどうかを判定する(ステップS8)。
ここで、 nal_ref_idcについて、図7を参照して、簡単に説明する。
スライスにおけるnal_ref_idcは、復号ピクチャを参照するか否かを表し、nal_ref_idcが0であるスライスにより構成されるピクチャは、参照ピクチャとして使用されない。一方、nal_ref_idcが0以外スライスにより構成されるピクチャのみを参照ピクチャとして使用される。
図7におけるフレームF1、F2、F3、F4では、フレームF1、F3、F4はnal_ref_idcが1であるため参照ピクチャを表しており、フレームF2はnal_ref_idcが0であるため参照ピクチャを表している。
フレームF3を復号する際、フレームF2は非参照ピクチャとして復号されているため、予測対象フレームから除外されており、フレームF1以前に復号したフレームを用いて動き補償が行われる。
このような非参照ピクチャにおけるピクチャ境界判定では、同一frame_numを保持するフレームF2、F3の境界をnal_ref_idcが0から1へ変化することから検出する。
一方、同一frame_numを保持するフレームにおいてnal_ref_idcが1から0に変化することは禁止されている。
そこで、ステップS9において、prevNalRefIdcが0であれば(ステップS9のYes)、ピクチャ境界と判定し、そうでなければ誤りによりcurNalRefIdcがprevNalRefIdcと異なる値を表しているものとし、curNalRefIdc=prevNalRefIdcとして(ステップS10)、現在のピクチャとその前のピクチャを同一ピクチャと判定する(ステップS11)。
上記のように、連続するframe_numの増加量が0、または1以外ならば当該スライスピクチャをエラーとして扱う。またエラーが多発した場合に対応するため、AUデリミタが存在すれば、frame_numの増加量によらずピクチャ境界と判定する。これより図5(d)の様に、frame_numへのエラー混入やAUデリミタ抜けが発生しても、期待値通りにピクチャ境界を検出することができる。なお、上記の処理を実行するのに、ピクチャ境界判定部104は、直前のスライスピクチャのヘッダデータを記憶するための小容量の記憶部、例えば、RAM等を備えていることが好ましい。
また対象とするトランスポートストリームは、MPEG−2 systemsだけでなく、RTPなどH.264を含む多重化ストリームが対象となる。
本発明は、上記各実施の形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。例えば、地上波デジタル放送の場合では、AUデリミタに代えて、SPS/PPS/SEIでも良い。さらに、上記各実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得る。
また、例えば各実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
本発明の実施形態に係るトランスポートストリームを受信してデコードする再生装置を概略的に示すブロック図。 図1に示される装置に伝送されるトランスポートストリーム(TS)のデータ構造を示す模式図。 図2に示されるトランスポートストリームのパケットから生成されるパケッタライズド・エレメンタリ・ストリーム(PES)の構造を示す模式図。 図2に示されるトランスポートストリーム、図3に示されるパケッタライズド・エレメンタリ・ストリーム(PES)及びH.264のバイトストリームとの関係を示す模式図。 正常ストリーム及び誤りが混入したストリームにおけるピクチャ境界の検出例を示す図。 本発明に係るピクチャ判定方式の処理の流れを示すフローチャート。 nal_ref_idcについて説明するための図。
符号の説明
102…データプロセッサ部
103…分離部
104…ピクチャ境界判定部
110…受信部
111…ビデオデコーダ部
114…オーディオデコーダ部
121…MPU
122…メモリ部
123…ROM
131…キー入力部

Claims (4)

  1. ストリームデータを時系列的に受信して、ストリームデータに含まれる動画像を復号する動画像復号装置において、
    前記動画像のピクチャのスライスピクチャ境界を判定する判定手段と、
    前記判定手段の判定結果に基づいて、ピクチャを復号する復号手段とを具備し、
    前記判定手段は、スライスピクチャのframe_numの増加分が1のときに、当該スライスピクチャと直前のスライスピクチャとが異なるピクチャであると判定することを特徴とする動画像復号装置。
  2. 請求項1に記載の動画像復号装置において、前記判定手段は、デリミタを検出した場合に、当該位置をピクチャ境界と判定することを特徴とする動画像復号装置。
  3. 請求項1に記載の動画像復号装置において、前記判定手段は、デリミタを検出しない場合において、nal_ref_idcが前後のピクチャで異なる場合に、当該前後のピクチャが異なるピクチャであると判定することを特徴とする動画像復号装置。
  4. ストリームデータを時系列的に受信して、ストリームデータに含まれる動画像を復号する動画像復号装置に適用されるピクチャ境界判定方法において、
    frame_numの増加量が適正かどうか判定して、増加量が不適当な場合に、デリミタによるピクチャ境界の判定を行うステップと、
    デリミタが検出されない場合にframe_numの増加量が1のときに当該スライスピクチャと直前のスライスピクチャとが異なるピクチャであると判定するステップと、
    ピクチャの前後がフレーム間符号化されたピクチャとフレーム内符号化されたピクチャである場合に、nal_ref_idcが異なれば、当該前後のピクチャが異なるピクチャであると判定するステップとを具備することを特徴とするピクチャ境界判定方法。
JP2005113824A 2005-04-11 2005-04-11 動画像復号装置 Expired - Fee Related JP4261508B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005113824A JP4261508B2 (ja) 2005-04-11 2005-04-11 動画像復号装置
US11/393,548 US7924928B2 (en) 2005-04-11 2006-03-30 Moving picture decoding apparatus and picture boundary deciding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005113824A JP4261508B2 (ja) 2005-04-11 2005-04-11 動画像復号装置

Publications (2)

Publication Number Publication Date
JP2006295568A true JP2006295568A (ja) 2006-10-26
JP4261508B2 JP4261508B2 (ja) 2009-04-30

Family

ID=37083141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005113824A Expired - Fee Related JP4261508B2 (ja) 2005-04-11 2005-04-11 動画像復号装置

Country Status (2)

Country Link
US (1) US7924928B2 (ja)
JP (1) JP4261508B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009528715A (ja) * 2006-02-27 2009-08-06 トムソン ライセンシング Svcデコーダにおけるパケットロス検出および仮想パケット生成のための方法および装置
JP2010516100A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
JP2010516102A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置
CN114009030A (zh) * 2020-02-24 2022-02-01 腾讯美国有限责任公司 用于发信号通知和识别存取单元边界的技术

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7876750B2 (en) * 2006-04-04 2011-01-25 Samsung Electronics Co., Ltd. Digital broadcasting system and data processing method thereof
US20080085124A1 (en) * 2006-10-10 2008-04-10 Lsi Logic Corporation Clock generation with minimum number of crystals in a multimedia system
KR100827152B1 (ko) * 2006-10-20 2008-05-02 삼성전자주식회사 Nal 유닛 에러 검출을 위한 효율적인 h.264 복호 방법및 장치
US8411734B2 (en) * 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
KR20090004061A (ko) * 2007-07-06 2009-01-12 엘지전자 주식회사 방송 수신이 가능한 텔레매틱스 단말기 및 방송 신호 처리방법
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
US9148666B2 (en) 2011-02-09 2015-09-29 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
ES2958967T3 (es) 2011-06-30 2024-02-16 Microsoft Technology Licensing Llc Reducción de latencia en codificación y descodificación de vídeo
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623308A (en) * 1995-07-07 1997-04-22 Lucent Technologies Inc. Multiple resolution, multi-stream video system using a single standard coder
JP2002204450A (ja) * 2000-12-28 2002-07-19 Sony Corp データ処理装置および方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009528715A (ja) * 2006-02-27 2009-08-06 トムソン ライセンシング Svcデコーダにおけるパケットロス検出および仮想パケット生成のための方法および装置
JP2010516100A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
JP2010516102A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置
US9282327B2 (en) 2007-01-04 2016-03-08 Thomson Licensing Llc Method and apparatus for video error concealment in multi-view coded video using high level syntax
CN114009030A (zh) * 2020-02-24 2022-02-01 腾讯美国有限责任公司 用于发信号通知和识别存取单元边界的技术
JP2022529355A (ja) * 2020-02-24 2022-06-21 テンセント・アメリカ・エルエルシー アクセスユニット境界を識別するための方法、デバイスおよびコンピュータプログラム
US11792432B2 (en) 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries

Also Published As

Publication number Publication date
US20060227872A1 (en) 2006-10-12
JP4261508B2 (ja) 2009-04-30
US7924928B2 (en) 2011-04-12

Similar Documents

Publication Publication Date Title
JP4261508B2 (ja) 動画像復号装置
KR100768058B1 (ko) 부호화 스트림 재생 장치
JP5007322B2 (ja) ビデオ符号化方法
JP3437291B2 (ja) 再生装置および再生方法
US6993081B1 (en) Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream
JP4503294B2 (ja) ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム
JP5357255B2 (ja) スケーラブルビデオ符号化(svc)復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法
US7487423B2 (en) Decoding method, medium, and apparatus
EP3158752B1 (en) Dependent random access point pictures
US20020054641A1 (en) Video coding
JP2005229587A (ja) 多重化方式変換装置
JP2005151570A (ja) ビデオストリーム中の有効エントリポイントの指示
US9392279B2 (en) Method and system for generating an instantaneous decoding refresh (IDR) picture slice in an H.264/AVC compliant video data stream
US20200059688A1 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
JP3987541B2 (ja) パケットストリーム受信装置
JP4731343B2 (ja) 復号装置
US20050089102A1 (en) Video processing
US10757473B2 (en) Digital media splicing system and method
JP4252017B2 (ja) 符号化ストリーム中継装置、その方法及びプログラム
US20070098356A1 (en) Data processor
JP2011044771A (ja) 動画像復号装置および動画像復号方法
EP2456223B1 (en) System for providing access to information needed for performing trick mode operations on a video elementary stream
JP2006295567A (ja) パケットストリーム受信装置
JP5201200B2 (ja) 復号装置
JP2008283253A (ja) 画像伝送システム、画像符号化装置、画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees