JP2005173775A - データ処理装置およびその方法と符号化装置 - Google Patents

データ処理装置およびその方法と符号化装置 Download PDF

Info

Publication number
JP2005173775A
JP2005173775A JP2003410102A JP2003410102A JP2005173775A JP 2005173775 A JP2005173775 A JP 2005173775A JP 2003410102 A JP2003410102 A JP 2003410102A JP 2003410102 A JP2003410102 A JP 2003410102A JP 2005173775 A JP2005173775 A JP 2005173775A
Authority
JP
Japan
Prior art keywords
encoded data
data
delay time
decoding
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003410102A
Other languages
English (en)
Other versions
JP4289138B2 (ja
Inventor
Feltman Mark
フェルトマン マーク
Kazunori Yasuda
和徳 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003410102A priority Critical patent/JP4289138B2/ja
Priority to US11/006,419 priority patent/US7672402B2/en
Publication of JP2005173775A publication Critical patent/JP2005173775A/ja
Application granted granted Critical
Publication of JP4289138B2 publication Critical patent/JP4289138B2/ja
Priority to US12/656,097 priority patent/US8369456B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • H04N5/937Regeneration of the television signal or of selected parts thereof by assembling picture element blocks in an intermediate store

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 復号先において従来に比べて早いタイミングで復号を開始でき、かつ、当該復号先が入力した前記符号化データを復号するまで記憶する記憶手段に要求される記憶容量を従来に比べて小さくできるデータ処理装置を提供する。
【解決手段】 復号順が最後のフレームデータf(5)から最初のフレームデータf(0)に向けて、遅延時間min_delayを算出する処理の対象として選択して遅延時間min_delayを算出する。処理対象のフレームデータの各々について、特定したサイズと、復号先に当該フレームデータが入力されるビットレートとを基に、復号先で当該フレームデータの入力を開始してから復号に供するまでの遅延時間を示す上記遅延時間min_delayを算出する。
【選択図】 図2

Description

本発明は、復号装置に備えられたバッファの管理方法に特徴を有するデータ処理装置およびその方法と符号化装置に関する。
符号化されたビデオデータやオーディオデータを、ネットワークなどを介して送信、あるいはDVD(Digital Versatile Disk)などの記録媒体に記録して復号装置に提供するシステムがある。
このようなシステムの復号装置は、入力したデータを一時的にバッファに書き込んだ後に読み出して復号する。
ところで、復号装置に備えられた上記バッファには記憶容量には限りがあり、かつバッ
ファがアンダーフローすると復号出力の品質を劣化させるため、符号化装置は、上記バッファがオーバフローおよびアンダーフローしないように、例えば、ビデオデータやオーディオデータを構成するフレームデータを単位として、当該フレームデータが上記バッファに書き込むまれてから読み出されるまでの時間(遅延時間)を示す遅延時間情報をビデオデータやオーディオデータ内に付加している。
ところで、従来では、例えば、図14に示されるように、符号化装置のバッファE_BUFに符号化ストリームデータEBIが書き込まれるタイミング、復号装置のバッファD_BUFに符号化ストリームデータDBIが書き込まれるタイミング、バッファD_BUFから復号回路に符号化ストリームデータDBOが読み出されるタイミングを規定している。
ここで、ネットワークを介して符号化ストリームデータDBIを送信する場合には、復号装置のバッファD_BUFに符号化ストリームデータDBIが書き込まれるタイミングは、例えば、符号化装置のバッファE_BUFから符号化ストリームデータDBIが読み出されるタイミングと略一致する。
従来では、符号化ストリームデータDBIを構成する各フレームデータの上記遅延時間
を決めるにあたって、当該フレームデータの後に復号されるフレームデータのサイズを考慮せずに、バッファD_BUFをアンダーフローさせない十分な余裕を上記遅延時間に持たせている。
米国特許第5511054号明細書
そのため、従来のシステムの復号装置は、上記遅延時間が長く、すなわち符号化装置からフレームデータを受信してから当該フレームデータを実際に復号に供するまでに長時間を要し、応答性が悪いという問題がある。
そのため、大きな記憶容量がバッファD_BUFに要求されるという問題がある。
本発明は、上述した従来技術の問題点に鑑みてなされ、復号先において従来に比べて早いタイミングで復号を開始でき、かつ、当該復号先が入力した前記符号化データを復号するまで記憶する記憶手段に要求される記憶容量を従来に比べて小さくできるデータ処理装置およびその方法と、符号化装置を提供することを目的とする。
上述した従来技術の問題を解決し、上述した目的を達成するために、第1の発明のデータ処理装置は、所定の順序で復号される複数の符号化データの各々のサイズを特定するサイズ特定手段と、前記符号化データの各々について、前記復号先で当該符号化データの入力を開始してから復号に供するまでの遅延時間を算出する算出手段とを有し、前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
第1の発明のデータ処理装置の作用は以下のようになる。
先ず、サイズ特定手段が、所定の順序で復号される複数の符号化データの各々のサイズを特定する。
次に、算出手段が、前記符号化データの各々について、前記復号先で当該符号化データの入力を開始してから復号に供するまでの遅延時間を算出する。
このとき、前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択する。
そして、前記算出手段は、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
第2の発明のデータ処理方法は、符号化データの入力を復号先で開始してから復号に供されるまでの遅延時間をデータ処理装置が算出するデータ処理方法であって、所定の順序で復号される複数の前記符号化データの各々のサイズを特定する第1の工程と、前記符号化データの各々について、前記遅延時間を算出する第2の工程と前記第2の工程は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記第1の工程で特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
第2の発明のデータ処理方法の作用は以下のようになる。
先ず、第1の工程で、所定の順序で復号される複数の前記符号化データの各々のサイズを特定する。
次に、第2の工程で、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択する。
次に、第2の工程で、当該処理対象として選択した前記符号化データの前記遅延時間を、前記第1の工程で特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
第3の発明の符号化装置は、被符号化データを符号化して所定の順序で復号される複数の符号化データを生成する符号化手段と、前記符号化手段が生成した前記複数の符号化データの各々のサイズを特定するサイズ特定手段と、前記符号化手段が生成した前記符号化
データの各々について、復号先で当該符号化データの入力を開始してから復号に供する
までの遅延時間を算出する算出手段と、前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する付加手段とを有し、前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
第3の発明の符号化装置の作用は以下のようになる。
先ず、符号化手段が、被符号化データを符号化して所定の順序で復号される複数の符号化データを生成する。
次に、サイズ特定手段が、前記符号化手段が生成した前記複数の符号化データの各々のサイズを特定する。
次に、算出手段が、前記符号化手段が生成した前記符号化データの各々について、復号先で当該符号化データの入力を開始してから復号に供するまでの遅延時間を算出する。
次に、付加手段が、前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する。
上記遅延時間の算出において、上記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
以上説明したように、本発明によれば、復号先で従来に比べて早いタイミングで復号を開始でき、かつ、当該復号先が入力した前記符号化データを復号するまで記憶する量を小さくできるデータ処理装置およびその方法と、符号化装置を提供することを目的とする。
以下、本発明の実施形態に係わる通信システムについて説明する。
第1実施形態
図1は、本発明の第1実施形態に係わる通信システム1の全体構成図である。
図1に示すように、通信システム1は、例えば、符号化装置2および復号装置3を有する。
符号化装置2が第3の発明の符号化装置に対応し、復号装置3が本発明の復号先に対応している。
符号化装置2は、符号化ストリームデータDBIを生成し、これをネットワークを介して復号装置3に送信する。
なお、符号化装置2は、符号化ストリームデータDBIをDVDなどの記録媒体に記録し、復号装置3で当該記録媒体から符号化ストリームデータDBIを読み出してもよい。
〔符号化装置2〕
図1に示すように、符号化装置2は、例えば、符号化回路10、制御回路11およびバッファE_BUFを有する。
ここで、制御回路11が第1および第2の発明のデータ処理装置に対応している。
符号化回路10は、例えば、複数のフレームデータで構成されるビデオの符号化ストリームデータENを生成し、これを制御回路11に出力する。
制御回路11は、符号化回路10から入力した符号化ストリームデータEN内のフレームデータ(本発明の符号化データ)より前に読み出される位置(例えば、先頭)に、遅延時間情報DTI(本発明の遅延時間情報)を付加して符号化ストリームデータEBIを生成し、これをバッファE_BUFに書き込む。
遅延時間情報DTIは、復号装置3においてバッファD_BUF(本発明の記憶手段)への符号化ストリームデータDBIの書き込みを開始してから当該符号化ストリームデータDBIを符号化ストリームデータDBOとしてバッファD_BUFから読み出すまでの時間をフレーム毎に示している。
遅延時間情報DTIは、例えば、所定数の複数のフレームデータを単位として、符号化ストリームデータDBI内の当該複数のフレームデータの直前に付加される。
また、制御回路11は、バッファE_BUFに記憶された符号化ストリームデータEBIを、符号化ストリームデータDBIとして読み出して復号装置3に送信する。
〔復号装置3〕
図1に示すように、復号装置3は、例えば、バッファD_BUFおよび復号回路14を有する。
復号装置3は、符号化装置2から受信した符号化ストリームデータDBIをバッファD_BUFに書き込む。
本実施形態では、符号化ストリームデータDBIがネットワークを介して伝送される場合を例示し、説明の簡単化のため、符号化ストリームデータDBIが、符号化装置2のバッファE_BUFから読み出されるタイミングと、復号装置3のバッファD_BUFに書き込まれるタイミングとは一致するものとする。
復号装置3は、符号化ストリームデータDBOに含まれる遅延時間情報DTIを基に、バッファE_BUFからフレームデータを符号化ストリームデータDBOとして読み出して復号回路14に出力する。
復号回路14は、入力した符号化ストリームデータDBOをフレーム単位で復号する。
〔バッファE_BUF,D_BUFの入出力タイミング〕
図2は、図1に示す符号化ストリームデータEBI,DBI,DBOのタイミングを説明するための図である。
以下、図2に示すタイミングの概要を説明する。
図2に示すタイミングは、図1に示す符号化装置2の制御回路11によって規定される。
すなわち、制御回路11は、符号化ストリームデータENを構成し所定の順序で復号される複数のフレームデータの各々のサイズを特定する。
そして、制御回路11は、復号順が最後のフレームデータf(5)から最初のフレームデータf(0)に向けて、遅延時間min_delayを算出する処理の対象として選択して遅延時間min_delayを算出する。
制御回路11は、処理対象のフレームデータの各々について、上記特定したサイズと、復号装置3にフレームデータが入力されるビットレートとを基に、復号装置3で当該フレームデータの入力(バッファD_BUFへの書き込み)を開始してから復号に供する(バッファD_BUFから読み出す)までの遅延時間を示す上記遅延時間min_delayを算出する。
このとき、制御回路11は、符号化ストリームデータEN内のフレームデータのうち最後に復号されるフレームデータのバッファD_BUFへの書き込みが完了したタイミングで、当該最後に復号されるフレームデータがバッファD_BUFから読み出されて復号回路14に出力されるように上記遅延時間min_delayを算出する。
また、制御回路11は、最後に復号されるフレームデータから最初に復号されるフレームデータに向けて順に処理対象として選択し、当該処理対象として選択したフレームデータの遅延時間min_delayを算出する。
〔符号化装置2〕
図3は、図1に示す制御回路11の構成図である。
図3に示すように、制御回路11は、例えば、バッファ回路20、F_PASS回路21、LIFO回路22、S_PASS回路23およびアクセス制御回路24を有する。
ここで、F_PASS回路21が第1および第3の発明のサイズ特定手段に対応し、S_PASS回路23が第1および第3の発明の算出手段に対応している。
バッファ回路20は、符号化回路10から入力した符号化ストリームデータENを一時的に記憶して付加回路28に出力する。
F_PASS回路21は、符号化回路10から入力した符号化ストリームデータENを先頭から末尾に向かってトレースして各フレームデータfのサイズf_sizeを特定し、これをLIFO回路22に出力する。
また、F_PASS回路21は、予め規定された図4(A)に示す複数のビットレート、例えばビットレートDBIa,DBIb,DBIc(bitrate_a,b,c)について、上記特定した各フレームデータfのサイズf_size、並びにバッファD_BUFのサイズを基に、バッファD_BUFをオーバフローおよびアンダーフローさせない範囲で、かつ複数のフレームデータf(0)〜f(5)の遅延時間min_delayの総和を最小にすると予測されるビットレート(本発明のビットレート)を選択する。
F_PASS回路21は、上記選択したビットレートをS_PASS回路23のfullness更新回路26および遅延時間算出回路27に出力する。
図4(A)の例では、ビットレートbitrate_a,b,cに応じた符号化ストリームデータDBIa,DBIb,DBIcの各々について、これらを選択した場合の符号化ストリームデータEBI,DBI,DBOの関係は図4(B)のようになり、F_PASS回路21は、この関係を基に図5に示すようにビットレートbitrate_bを選択する。
LIFO回路22は、F_PASS回路21から入力したサイズf_sizeを、FIFO(Fist In First Out) でS_PASS回路23の加算回路25に出力する。
S_PASS回路23は、図3に示すように、例えば、加算回路25、fullness更新回路26、遅延時間算出回路27および付加回路28を有する。
ここで、加算回路25、fullness更新回路26および遅延時間算出回路27が本発明の算出手段に対応し、付加回路28が本発明の付加手段に対応している。
加算回路25は、各フレームについて、残量データfullness*(本発明の総データ量)に、LIFO回路22から入力した処理対象のフレームのサイズf_sizeを加算して新たな残量データfullnessを算出する。
加算回路25は、上記算出した残量データfullnessをfullness更新回路26および遅延時間算出回路27に出力する。
fullness更新回路26は、各フレームについて、加算回路25から入力した残量データfullness(本発明の総データ量)から、ビットレートbitrateとフレーム処理時間FT(本発明の符号化データが復号に要する時間)の乗算結果(本発明の第1のデータ量)を減算し、その減算値と「0」との大きい方を新たな残量データfullness*(本発明の第2のデータ量)とする。
遅延時間算出回路27は、各フレームについて、加算回路25から入力した残量データfullnessをビットレートで除算して遅延時間min_delayを算出し、これを付加回路28に出力する。
付加回路28は、遅延時間算出回路27から入力した全てのフレームの遅延時間min_delayを含む遅延時間情報DTIを、バッファ回路20から入力した符号化ストリームデータENの先頭に付加する。
アクセス制御回路24は、付加回路28で遅延時間情報DTIが付加された符号化ストリームデータENを、符号化ストリームデータEBIとしてバッファE_BUFに書き込む。
また、アクセス制御回路24は、図2に示すタイミングでバッファE_BUFから符号化ストリームデータEBIを符号化ストリームデータDBIとして読み出して復号装置3に送信する。
以下、図3に示す制御回路11の動作例を説明する。
図6は、図3に示す制御回路11の動作例を説明するためのフローチャートである。
ステップST1:
図3に示すF_PASS回路21は、符号化回路10から入力した符号化ストリームデータENを先頭(最初に復号されるフレームデータ)から末尾(最後に復号されるフレームデータ)に向かってトレースして各フレームデータfのサイズf_sizeを特定し、これをLIFO回路22に出力する。
ステップST2:
また、F_PASS回路21は、図4(A),(B)および図5を用いて説明したように、上記特定した各フレームデータfのサイズf_size、並びにバッファD_BUFのサイズを基に、バッファD_BUFをオーバフローおよびアンダーフローさせない範囲で、かつ複数のフレームデータf(0)〜f(5)の遅延時間min_delayの総和を最小にすると予測されるビットレートbitrate(bitrate_b)を選択する。
F_PASS回路21は、上記選択したビットレートをS_PASS回路23のfullness更新回路26および遅延時間算出回路27に出力する。
ステップST3:
S_PASS回路23のfullness更新回路26は、残量データfullness*に初期値「0」を設定する。
そして、S_PASS回路23は、最後に復号されるフレームデータから最初に復号されるフレームデータに向けて順に処理対象のフレームデータを選択し、当該選択した処理対象のフレームデータについてLIFO回路22から入力したサイズf_sizeを基に、処理対象のフレームデータの遅延時間min_delayを以下のステップで生成する。
ステップST4:
加算回路25は、処理対象のフレームデータfの残量データfullness*に、L
IFO回路22から入力した当該処理対象のフレームのサイズf_sizeを加算して新たな残量データfullnessを算出する。
加算回路25は、当該算出した残量データfullnessをfullness更新回
路26および遅延時間算出回路27に出力する。
ステップST5:
遅延時間算出回路27は、処理対象のフレームデータfについて、加算回路25から入力した残量データfullnessをビットレートbitrateで除算して遅延時間min_delayを算出し、これを付加回路28に出力する。
ステップST6:
付加回路28は、ステップST5で遅延時間算出回路27から入力した処理対象のフレームデータの遅延時間min_delayを、バッファ回路20に記憶される符号化ストリームデータENの先頭に付加される遅延時間情報DTIに追加する。
ステップST7:
fullness更新回路26は、処理対象のフレームデータfについて、加算回路25から入力した残量データfullnessから、ビットレートbitrateとフレーム処理時間FTの乗算結果を減算し、その減算値と「0」との大きい方を新たな残量データfullness*とする。
ステップST8:
fullness更新回路26は、ステップST7で算出した残量データfullne
ss*が、最大残量データmaxfullより大きいか否かを判断し、大きいと判断するとステップST9に進み、そうでない場合にはステップST10に進む
ステップST9:
fullness更新回路26は、ステップST7で算出した残量データfullness*を、最大残量データmaxfullとする。
最大残量データmaxfullは、例えば、符号化ストリームデータDBIに付加され、復号装置3においてバッファE_BUFの一部を復号時に他のフレームデータから参照される参照フレームデータを記憶するために利用、すなわちフレームバッファとして利用される。
なお、符号化装置2は、例えば、バッファD_BUFの全記憶容量から最大残量データmaxfullを減算した残量をフレームバッファの単位サイズで除算することで、バッファD_BUFの未使用の記憶領域を何個分のフレームバッファとして利用できるかを示す情報を生成し、これを符号化ストリームデータDBIに付加してもよい。
ステップST10:
S_PASS回路23は、符号化ストリームデータENの全てのフレームデータfについて遅延時間min_delayを算出したか否かを判断し、算出したと判断すると処理を終了し、そうでない場合には次のフレームデータfについてステップST4の処理に進む。
S_PASS回路23が図6に示す処理を終了すると、アクセス制御回路24は、付加回路28で遅延時間情報DTIおよび最大残量データmaxfullが付加された符号化ストリームデータENを、符号化ストリームデータEBIとしてバッファE_BUFに書き込む。
また、アクセス制御回路24は、図2に示すタイミングでバッファE_BUFから符号化ストリームデータEBIを符号化ストリームデータDBIとして読み出して復号装置3に送信する。
以下、図2に示す符号化ストリームデータDBIの各フレームデータf(5),f(4),f(3),f(2),f(1),f(0)の遅延時間min_delayを順に図6に示すステップST3〜ST10に従って算出する例を説明する。
先ず、処理対象のフレームデータf(5)についてステップST4の処理を行う前に、fullness更新回路26は、ステップST3において、残量データfullness*に初期値「0」を設定する。
そして、加算回路25が、図7に示すように、残量データfullness*(=0)にフレームデータf(5)のサイズf_size(5)を加算して新たな残量データfullness(5)を算出し(ST4)、これをビットレートbitrateで除算して遅延時間min_delay(5)を算出する(ST5)。
続いて、fullness更新回路26は、図8に示すように、加算回路25から入力した残量データfullness(5)から、ビットレートbitrateとフレーム処理時間FTの乗算結果(=FT*bitrate)を減算し、その減算値(fullness(5)−FT*bitrate)と「0」との大きい方(この場合は減算値)を新たな残量データfullness*(5)とする(ST7)。
次に、加算回路25が、図8に示すように、残量データfullness*(5)にフレームデータf(4)のサイズf_size(4)を加算して新たな残量データfullness(4)を算出し(ST4)、これをビットレートbitrateで除算して遅延時間min_delay(4)を算出する(ST5)。
続いて、fullness更新回路26は、図9に示すように、加算回路25から入力した残量データfullness(4)から、ビットレートbitrateとフレーム処理時間FTの乗算結果(=FT*bitrate)を減算し、その減算値(fullness(4)−FT*bitrate)と「0」との大きい方(この場合は減算値)を新たな残量データfullness*(4)とする(ST7)。
次に、加算回路25が、図9に示すように、残量データfullness*(4)にフレームデータf(3)のサイズf_size(3)を加算して新たな残量データfullness(3)を算出し(ST4)、これをビットレートbitrateで除算して遅延時間min_delay(3)を算出する(ST5)。
続いて、fullness更新回路26は、加算回路25から入力した残量データfullness(3)から、ビットレートbitrateとフレーム処理時間FTの乗算結果(=FT*bitrate)を減算し、その減算値(fullness(3)−FT*bitrate)と「0」との大きい方(この場合は0)を新たな残量データfullness*(3)とする(ST7)。
次に、加算回路25が、図10に示すように、残量データfullness*(3)にフレームデータf(2)のサイズf_size(2)を加算して新たな残量データfullness(2)(=f_size(2))を算出し(ST4)、これをビットレートbitrateで除算して遅延時間min_delay(2)を算出する(ST5)。
続いて、fullness更新回路26は、加算回路25から入力した残量データfullness(2)から、ビットレートbitrateとフレーム処理時間FTの乗算結果(=FT*bitrate)を減算し、その減算値(fullness(2)−FT*bitrate)と「0」との大きい方(この場合は0)を新たな残量データfullness*(2)とする(ST7)。
次に、加算回路25が、図11に示すように、残量データfullness*(2)にフレームデータf(1)のサイズf_size(1)を加算して新たな残量データfullness(1)(=f_size(1))を算出し(ST4)、これをビットレートbitrateで除算して遅延時間min_delay(1)を算出する(ST5)。
続いて、fullness更新回路26は、加算回路25から入力した残量データfullness(1)から、ビットレートbitrateとフレーム処理時間FTの乗算結果(=FT*bitrate)を減算し、その減算値(fullness(1)−FT*bitrate)と「0」との大きい方(この場合は0)を新たな残量データfullness*(1)とする(ST7)。
次に、加算回路25が、図12に示すように、残量データfullness*(1)にフレームデータf(0)のサイズf_size(0)を加算して新たな残量データfullness(0)(=f_size(0))を算出し(ST4)、これをビットレートbitrateで除算して遅延時間min_delay(0)を算出する(ST5)。
以上説明したように、符号化装置2では、図6を用いて説明した手順で各フレームデータの遅延時間min_delayを算出し、これを含む遅延時間情報DTIを符号化ストリームデータDBIに付加する。
復号装置3は、符号化ストリームデータDBIに付加された遅延時間情報DTIを基に、図2に示すように、符号化ストリームデータDBIとDBOとの関係を規定できる。
ここで、通信システム1によれば、図2と従来の図14とを比較して分かるように、フレームデータf(1)〜f(5)の遅延時間min_delayは図14に示す従来の場合に比べて図2に示す本実施形態の場合の方が短くなり、復号装置3における復号の応答性が従来に比べて良くなる。
また、復号装置3において、バッファD_BUFから各フレームデータを読み出す直前のバッファD_BUFに記憶されるデータ量は、図14に示す従来の場合に比べて図2に示す本実施形態の場合の方が少なく、バッファD_BUFに要求される記憶容量を小さくできる。
第2実施形態
本実施形態では、上述した符号化装置2で決定した遅延時間min_delayを示す遅延時間情報DTIの利用形態を図13を参照して説明する。
例えば、第1実施形態で説明した符号化装置2において、遅延時間情報DTIを含む符号化ストリームデータDBIを生成し、図13に示すように、これをTSMu装置103に送信する。
TSMxu装置103は、トランスポートストリームにより、デジタル放送などの媒体104を介して符号化ストリームデータをTSdemux105に送信する。
この場合に、TSMxu装置103は、符号化ストリームデータDBIに含まれる遅延時間情報DTIが示す遅延時間min_delayを利用し、遅延時間min_delayを新たに生成することなく、これを媒体104を介してTSdemux105に送信する。
TSdemux105は、媒体104を介して受信した符号化ストリームデータを復号した後に、遅延時間情報DTIと共にPSMux113に出力する。
PSMux113は、TSdemux105から入力した符号化ストリームデータ内に含まれる遅延時間情報DTIを利用し、遅延時間min_delayを新たに生成することなく、プログラムストリームにより、DVDなどの媒体114を介して符号化ストリームデータをPSdemux115に提供する。
そして、PSdemux115は、媒体114を介して入力した符号化ストリームデータを解読して、RTPmux123に出力する。
ここで、RTPmux123は、音声や映像をストリーミング再生するためのRTP(Real Time Protocol)を採用し、遅延時間情報DTIを伝送することができない。
そのため、当該RTPによる伝送によって、遅延時間情報DTIは失われ、後段のMux装置では利用できない。
なお、TSMxu装置103に符号化ストリームデータENを直接入力し、TSMxu装置103において、上述した制御回路11と同じ構成により、遅延時間情報DTIを生成してもよい。
また、例えば、符号化装置2が送信する符号化ストリームデータEN内に、遅延時間情報DTIが含まれているか否かを示すフラグデータを付加し、TSMxu装置103は当該フラグデータを基に、符号化ストリームデータEN内の遅延時間情報DTIを利用するか否かを決定してもよい。
本発明は上述した実施形態には限定されない。
上述した実施形態では、図1に示すように、ネットワークなどを介して符号化装置2から復号装置3に符号化ストリームデータDBIを送信した場合を例示したが、符号化ストリームデータDBIをDVDなどの記録媒体STRに記録して復号装置3に提供してもよい。
この場合においても、符号化装置2は、図9に示す手順で遅延時間min_delayを決定し、これを示す遅延時間情報DTIを符号化ストリームデータDBIに格納して記録媒体STRに書き込む。
復号装置3は、図2に示す符号化ストリームデータDBIのタイミングで、記録媒体から符号化ストリームデータDBIを読み出してバッファD_BUFに書き込む。
そして、復号装置3は、符号化ストリームデータDBIに含まれる遅延時間情報DTIを基に、図2に示す符号化ストリームデータDBOのタイミグで、バッファD_BUFからフレームデータを読み出す。
この場合にも、第1実施形態と同様の効果が得られる。
また、上述した実施形態では、ビットレートbitrateが固定の場合を例示したが、可変であってもよい。
本発明は、復号装置に備えられたバッファの管理方法に特徴を有するデータ処理装置およびその方法と符号化装置に関する。
図1は、本発明の第1実施形態の通信システムの全体構成図である。 図2は、図1に示す符号化ストリームデータEBI,DBI,EBOのタイミングを説明するための図である。 図3は、図1に示す制御回路の構成図である。 図4は、図3に示すF_PASS回路の処理を説明するための図である。 図5は、図3に示すF_PASS回路の処理を説明するための図である。 図6は、図3に示す制御回路の動作例を説明するためのフローチャートである。 図7は、図2に示す符号化ストリームデータDBIの各フレームデータf(5)の遅延時間min_delayを順に図6に示すステップST3〜ST10に従って算出する例を説明するための図である。 図8は、図2に示す符号化ストリームデータDBIの各フレームデータf(4)の遅延時間min_delayを順に図6に示すステップST3〜ST10に従って算出する例を説明するための図である。 図9は、図2に示す符号化ストリームデータDBIの各フレームデータf(3)の遅延時間min_delayを順に図6に示すステップST3〜ST10に従って算出する例を説明するための図である。 図10は、図2に示す符号化ストリームデータDBIの各フレームデータf(2)の遅延時間min_delayを順に図6に示すステップST3〜ST10に従って算出する例を説明するための図である。 図11は、図2に示す符号化ストリームデータDBIの各フレームデータf(1)の遅延時間min_delayを順に図6に示すステップST3〜ST10に従って算出する例を説明するための図である。 図12は、図2に示す符号化ストリームデータDBIの各フレームデータf(0)の遅延時間min_delayを順に図6に示すステップST3〜ST10に従って算出する例を説明するための図である。 図13は、図1に示す符号化装置の応用例を説明するための図である。 図14は、従来の符号化装置が規定する符号化ストリームデータEBI,DBI,EBOのタイミングを説明するための図である。
符号の説明
1…通信システム、2…符号化装置、3…復号装置、10…符号化回路、11…制御回路、14…復号回路、E_BUF,D_BUF…バッファ、20…バッファ回路、21…F_PASS回路、22…LIFO回路、23…S_PASS回路、24…アクセス制御回路、25…加算回路、26…fullness更新回路、27…遅延時間算出回路、28…付加回路



Claims (10)

  1. 所定の順序で復号される複数の符号化データの各々のサイズを特定するサイズ特定手段と、
    前記符号化データの各々について、復号先で当該符号化データの入力を開始してか
    ら復号に供するまでの遅延時間を算出する算出手段と
    を有し、
    前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する
    データ処理装置。
  2. 前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データの前記復号先への入力が完了したタイミングで、当該最後に復号される前記符号化データが前記復号に供されるように前記遅延時間を算出する
    請求項1に記載のデータ処理装置。
  3. 前記復号先が入力した前記符号化データを復号するまで記憶する記憶手段を有する場合
    前記算出手段は、
    前記選択された処理対象の前記符号化データに対して復号順が1つ後の前記符号化データについて既に算出され当該1つ後の符号化データが前記記憶手段から読み出されて復号に供される直前に前記記憶手段に記憶されている前記符号化データの総データ量と、前記ビットレートと、前記処理対象の符号化データの前記サイズとを基に、前記処理対象の前記符号化データについての前記遅延時間を算出する
    請求項2に記載のデータ処理装置。
  4. 前記算出手段は、単数の前記符号化データが復号に要する時間と前記ビットレートとを乗じて第1のデータ量を算出し、前記総データ量から前記第1のデータ量を減算し、その減算値と0との最大値を第2のデータ量とし、当該第2のデータ量と前記処理対象の符号化データの前記サイズとの総和を前記ビットレートで除算して当該処理対象の符号化データの前記遅延時間を算出する
    請求項3に記載のデータ処理装置。
  5. 前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する付加手段
    をさらに有する請求項1に記載のデータ処理装置。
  6. 前記算出手段は、前記サイズ特定手段が前記複数の符号化データの全てについて前記サイズを特定した後に、前記複数の符号化データの全てについて前記遅延時間を算出する
    請求項1に記載のデータ処理装置。
  7. 前記サイズ特定手段は、前記復号先が入力した前記符号化データを復号するまで記憶する記憶手段を有する場合に、前記記憶手段をアンダーフローおよびオーバーフローさせない範囲で前記遅延時間の総和を最小にする前記ビットレートを選択し、
    前記算出手段は、前記サイズ特定手段が選択した前記ビットレートを基に前記遅延時間を算出する
    請求項1に記載のデータ処理装置。
  8. 前記復号先が入力した前記符号化データを復号するまで記憶する記憶手段を有する場合に、
    前記算出手段は、前記記憶手段に記憶される前記符号化データの最大データ量を基に、復号で他の前記符号化データから参照される前記符号化データを前記記憶手段に記憶する最大データ量を決定する
    請求項1に記載のデータ処理装置。
  9. 符号化データの入力を復号先で開始してから復号に供されるまでの遅延時間をデータ処理装置が算出するデータ処理方法であって、
    所定の順序で復号される複数の前記符号化データの各々のサイズを特定する第1の工程と、
    前記符号化データの各々について、前記遅延時間を算出する第2の工程と
    を有し、
    前記第2の工程は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、
    当該処理対象として選択した前記符号化データの前記遅延時間を、前記第1の工程で特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する
    データ処理方法。
  10. 被符号化データを符号化して所定の順序で復号される複数の符号化データを生成する符号化手段と、
    前記符号化手段が生成した前記複数の符号化データの各々のサイズを特定するサイズ特定手段と、
    前記符号化手段が生成した前記符号化データの各々について、復号先で当該符号化デー
    タの入力を開始してから復号に供するまでの遅延時間を算出する算出手段と、
    前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する付加手段と
    を有し、
    前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する
    を有する符号化装置。
JP2003410102A 2003-12-09 2003-12-09 データ処理装置およびその方法と符号化装置 Expired - Lifetime JP4289138B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003410102A JP4289138B2 (ja) 2003-12-09 2003-12-09 データ処理装置およびその方法と符号化装置
US11/006,419 US7672402B2 (en) 2003-12-09 2004-12-07 Data processing apparatus and method and encoding device
US12/656,097 US8369456B2 (en) 2003-12-09 2010-01-15 Data processing apparatus and method and encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003410102A JP4289138B2 (ja) 2003-12-09 2003-12-09 データ処理装置およびその方法と符号化装置

Publications (2)

Publication Number Publication Date
JP2005173775A true JP2005173775A (ja) 2005-06-30
JP4289138B2 JP4289138B2 (ja) 2009-07-01

Family

ID=34731268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003410102A Expired - Lifetime JP4289138B2 (ja) 2003-12-09 2003-12-09 データ処理装置およびその方法と符号化装置

Country Status (2)

Country Link
US (2) US7672402B2 (ja)
JP (1) JP4289138B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013232802A (ja) * 2012-04-27 2013-11-14 Fujitsu Ltd 動画像符号化装置、動画像符号化方法、動画像復号装置及び動画像復号方法
JP2016131387A (ja) * 2016-03-14 2016-07-21 富士通株式会社 動画像復号方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
US7894488B2 (en) * 2006-04-13 2011-02-22 Cisco Technology, Inc. Apparatus and method for monitoring quality metrics associated with a wireless network
KR101917174B1 (ko) * 2012-02-24 2018-11-09 삼성전자주식회사 전자 장치 사이의 스트림 전송 방법 및 그 방법을 처리하는 전자 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922416B2 (en) * 1995-04-28 2005-07-26 Matsushita Electric Industrial Co., Ltd. Data transmitting apparatus, data receiving apparatus and data transmission control apparatus
TW303570B (ja) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
JP2846860B2 (ja) * 1996-10-01 1999-01-13 ユニデン株式会社 スペクトル拡散通信方式を用いた送信機、受信機、通信システム及び通信方法
US6219381B1 (en) * 1997-05-26 2001-04-17 Kabushiki Kaisha Toshiba Image processing apparatus and method for realizing trick play
JP3849144B2 (ja) * 1997-12-31 2006-11-22 ソニー株式会社 符号化データ出力装置及び方法並びに符号化データ制御装置及び方法
US7139241B1 (en) * 1998-09-14 2006-11-21 Optibase Ltd. Method for preventing buffer underflow during digital transport stream transmission, multiplexing and splicing
US6952739B2 (en) * 2000-08-03 2005-10-04 International Business Machines Corporation Method and device for parameter independent buffer underrun prevention
JP3668110B2 (ja) * 2000-08-31 2005-07-06 株式会社東芝 画像伝送システムおよび画像伝送方法
US7486680B1 (en) * 2002-03-21 2009-02-03 Ji Zhang Packet schedule timestamp for a compressed bitstream
EP2557788A1 (en) * 2002-11-29 2013-02-13 Sony Corporation Encoding apparatus and the method
KR100522948B1 (ko) * 2003-04-30 2005-10-24 삼성전자주식회사 무선 애드혹 네트워크에서 패킷 플러딩 수행방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013232802A (ja) * 2012-04-27 2013-11-14 Fujitsu Ltd 動画像符号化装置、動画像符号化方法、動画像復号装置及び動画像復号方法
JP2016131387A (ja) * 2016-03-14 2016-07-21 富士通株式会社 動画像復号方法

Also Published As

Publication number Publication date
US20100189130A1 (en) 2010-07-29
JP4289138B2 (ja) 2009-07-01
US7672402B2 (en) 2010-03-02
US20050169390A1 (en) 2005-08-04
US8369456B2 (en) 2013-02-05

Similar Documents

Publication Publication Date Title
JP2000083068A (ja) デ―タ出力装置
US20080008455A1 (en) Cpi data for steam buffer channels
JP2006260762A (ja) データ列間の連続再生を保障するための付加情報生成方法、この情報を貯蔵する記録媒体及び記録、編集及び/または再生装置
US9654812B2 (en) Encoding apparatus and the method
US8369456B2 (en) Data processing apparatus and method and encoding device
US8873641B2 (en) Moving picture coding apparatus
TWI431986B (zh) Information processing apparatus and method, and program
US8185815B1 (en) Live preview
JP2006066995A (ja) 画像再生装置及びその制御方法及びプログラム及び記憶媒体
JP2006134271A (ja) 再生装置
JP2008177874A (ja) 記録装置、記録方法、プログラム、及び記憶媒体
JP2006155817A (ja) 信号出力装置及び信号出力方法
JP2006014179A (ja) データ伝送装置及びデータ伝送方法
JP2007066511A (ja) 記録再生装置、記録装置、再生装置および記録再生方法
JPH11136134A (ja) 符号化装置および方法、記録媒体
JP2004120289A (ja) デジタル放送記録再生装置
JP2001157206A (ja) 画像復号方法および画像復号装置
JP2002330111A (ja) メディアデータ伝送システム及びメディアデータ伝送方法
JPH11313315A (ja) 復号方法
JPH11313314A (ja) 復号装置
JP2006074625A (ja) ディジタルデータ記録装置、及びディジタルデータ記録方法
JP2007074358A (ja) 映像信号記録装置、記録媒体、及び映像信号再生装置
JP2007235590A (ja) メディア再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250