JP2007235590A - メディア再生装置 - Google Patents
メディア再生装置 Download PDFInfo
- Publication number
- JP2007235590A JP2007235590A JP2006055140A JP2006055140A JP2007235590A JP 2007235590 A JP2007235590 A JP 2007235590A JP 2006055140 A JP2006055140 A JP 2006055140A JP 2006055140 A JP2006055140 A JP 2006055140A JP 2007235590 A JP2007235590 A JP 2007235590A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- encoded data
- time
- reproduction
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】復号処理時間を増加してデータ量の多いフレームに対して復号処理不足が起こらず、継続した再生データを可能にする。
【解決手段】符号化ストリームから分離された符号化データを格納する符号化データ受信バッファ、符号化データバッファから読み出された符号化データを復号して再生データを得る復号手段、復号された再生データを格納する再生データバッファ、符号化データ受信バッファで測定された符号化データの蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出させるよう符号化データ受信バッファを制御する復号開始制御手段、符号化ストリームから分離生成された基準時刻と再生開始時刻が一致したときに再生データが出力されるよう再生データバッファを制御する再生開始制御手段を備える。
【選択図】図1
【解決手段】符号化ストリームから分離された符号化データを格納する符号化データ受信バッファ、符号化データバッファから読み出された符号化データを復号して再生データを得る復号手段、復号された再生データを格納する再生データバッファ、符号化データ受信バッファで測定された符号化データの蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出させるよう符号化データ受信バッファを制御する復号開始制御手段、符号化ストリームから分離生成された基準時刻と再生開始時刻が一致したときに再生データが出力されるよう再生データバッファを制御する再生開始制御手段を備える。
【選択図】図1
Description
この発明は、映像や音声を符号化し多重化したストリームから再生データを、復号処理不足を生じさせず再生するメディア再生装置に関するものである。
デジタル化された映像とこれに付随する音声からなるメディアを放送、配信あるいはDVDなどで扱う場合、先ず、映像データおよび音声データはそれぞれ圧縮符号化された後、所定の時間長単位で分割されて映像符号化データおよび音声符号化データを形成する。これら各符号化データは、それぞれの時刻情報などと共にパケットに形成される。映像および音声の各パケットは所定の順序で多重化され、ビットストリーム(以下、符号化ストリームとする)として構成される。したがって、デジタル化された映像や音声を扱う受信装置や記録装置などのメディア再生装置では、入力された符号化ストリームから映像符号化データおよび音声符号化データを分離し、分離したそれぞれの符号化データを復号して映像データおよび音声データを再生する。また、このように映像と音声を再生する場合、両者の同期再生を精度よく維持することが重要である。しかし、復号処理や同期処理を行うために使用するマイクロプロセッサの処理能力が不足している場合などには、映像と音声を同期して再生することは容易ではない。
このよう問題を解決するために、従来のメディア再生装置(例えば特許文献1参照)では、映像処理(映像符号化データまたは映像データの処理)が一定時間以上遅延した場合において、少ない違和感で映像のフォーマット変換を一部省略したり、あるいは違和感の少ない映像を選択して処理を省略するなどの方法をとることにより、遅延を解消し、映像データと音声データの再生を維持するようにしている。
このよう問題を解決するために、従来のメディア再生装置(例えば特許文献1参照)では、映像処理(映像符号化データまたは映像データの処理)が一定時間以上遅延した場合において、少ない違和感で映像のフォーマット変換を一部省略したり、あるいは違和感の少ない映像を選択して処理を省略するなどの方法をとることにより、遅延を解消し、映像データと音声データの再生を維持するようにしている。
従来のメディア再生装置は、以上のように構成されているが、映像や音声復号時に処理能力の不足が生じた際は、フォーマット変換を省略する、違和感の少ない映像を選択して処理を省略するなどを行うため、一時的に再生が停止するという問題点があった。
この発明は、上記問題点を解決するためになされたもので、復号処理時間を増加してデータ量の多いフレームに対して復号処理不足が起こらず、かつ継続した再生データを可能にするメディア再生装置を得ることを目的とする。
この発明に係るメディア再生装置は、入力される符号化ストリームから多重化された符号化データおよび各時刻情報のそれぞれを分離する分離手段と、分離された符号化データを格納する符号化データ受信バッファと、符号化データバッファから読み出された符号化データを復号して再生データを得る復号手段と、復号された再生データを格納する再生データバッファと、符号化データ受信バッファで測定された符号化データの蓄積量の検出を行い、当該蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出しを行わせるよう符号化データ受信バッファを制御する復号開始制御手段と、時刻情報から得られる基準時刻と再生開始時刻とを比較し、両時刻が一致したときに再生データが出力されるよう再生データバッファを制御する再生開始制御手段とを備えたものである。
この発明によれば、符号化データのデータ量の多いフレームに対しては復号処理時間を確保して復号処理を行えるようにしたので、復号処理不足により再生データに欠落が生じることがなく、支障ない再生データを継続して得ることができる。
実施の形態1.
図1はこの発明の実施の形態1によるメディア再生装置の機能構成を示すブロック図である。この図の構成は、テレビ番組のように映像と音声の2種類のメディアの符号化データを復号、再生する処理する例について示す。また、メディア再生装置に入力される符号化ストリームには、映像符号化データ、音声符号化データおよび時刻情報が多重化されている。この時刻情報は、基準時刻、復号開始時刻、再生開始時刻のデータである。
図において、分離手段11は、入力された符号化ストリームに多重化された映像符号化データ、音声符号化データおよび各時刻情報をそれぞれ分離する手段である。映像符号化データ受信バッファ12は、分離された映像符号化データを格納する手段である。音声符号化データ受信バッファ13は、分離された音声符号化データを格納する手段である。映像復号手段14は、映像符号化データ受信バッファ12から読み出された映像符号化データを復号する手段である。音声復号手段15は、音声符号化データ受信バッファから読み出された音声符号化データを復号する手段である。映像再生データバッファ16は、復号された映像再生データを格納する手段である。音声再生データバッファ17は、復号された音声再生データを格納する手段である。
図1はこの発明の実施の形態1によるメディア再生装置の機能構成を示すブロック図である。この図の構成は、テレビ番組のように映像と音声の2種類のメディアの符号化データを復号、再生する処理する例について示す。また、メディア再生装置に入力される符号化ストリームには、映像符号化データ、音声符号化データおよび時刻情報が多重化されている。この時刻情報は、基準時刻、復号開始時刻、再生開始時刻のデータである。
図において、分離手段11は、入力された符号化ストリームに多重化された映像符号化データ、音声符号化データおよび各時刻情報をそれぞれ分離する手段である。映像符号化データ受信バッファ12は、分離された映像符号化データを格納する手段である。音声符号化データ受信バッファ13は、分離された音声符号化データを格納する手段である。映像復号手段14は、映像符号化データ受信バッファ12から読み出された映像符号化データを復号する手段である。音声復号手段15は、音声符号化データ受信バッファから読み出された音声符号化データを復号する手段である。映像再生データバッファ16は、復号された映像再生データを格納する手段である。音声再生データバッファ17は、復号された音声再生データを格納する手段である。
時刻再生手段18は、分離手段11で分離された基準時刻データに基づいて再生開始時刻や実施の形態2で行う復号開始時刻と一致を取るための基準時刻を再生する手段である。なお、時刻再生手段18では、分離手段11で分離された基準時刻データは、連続した時刻データでないため、基準時刻データで内部クロックを同期させて連続した基準時刻の信号にしており、このことは一般的なことである。復号開始制御手段19は、符号化データ受信バッファ12,13で測定された符号化データの蓄積量の検出を行い、当該蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出しを行わせるよう符号化データ受信バッファ12,13を制御する手段である。再生開始制御手段20は、時刻再生手段18で再生された基準時刻と時刻情報の再生開始時刻とを比較し、両時刻が一致したときに映像、音声の再生データが出力されるよう再生データバッファ16,17を制御する手段で、この機能は従来から用いられているものである。
次に、動作について説明する。
符号化ストリームが入力されると、分離手段1では、符号化ストリームに多重化されている映像符号化データと音声符号化データとを分離し、対応する映像符号化データ受信バッファ12と音声符号化データ受信バッファ13にそれぞれ出力する。分離された映像符号化データは、映像符号化データ受信バッファ12に蓄積される。同様に、分離された音声符号化データは、音声符号化データ受信バッファ13に蓄積される。各符号化データ受信バッファでは、蓄積されている符号化データの蓄積量を測定し、復号開始制御手段19に出力する。
また、分離手段11では、符号化ストリームに多重化されている各時刻情報を分離しているが、そのうち基準時刻データを時刻再生手段18に出力し、再生開始時刻を再生開始制御手段20に出力する。時刻再生手段18では、入力された基準時刻データに基づいて連続する基準時刻を再生して再生開始制御手段20に出力する。
符号化ストリームが入力されると、分離手段1では、符号化ストリームに多重化されている映像符号化データと音声符号化データとを分離し、対応する映像符号化データ受信バッファ12と音声符号化データ受信バッファ13にそれぞれ出力する。分離された映像符号化データは、映像符号化データ受信バッファ12に蓄積される。同様に、分離された音声符号化データは、音声符号化データ受信バッファ13に蓄積される。各符号化データ受信バッファでは、蓄積されている符号化データの蓄積量を測定し、復号開始制御手段19に出力する。
また、分離手段11では、符号化ストリームに多重化されている各時刻情報を分離しているが、そのうち基準時刻データを時刻再生手段18に出力し、再生開始時刻を再生開始制御手段20に出力する。時刻再生手段18では、入力された基準時刻データに基づいて連続する基準時刻を再生して再生開始制御手段20に出力する。
復号開始制御手段19では、映像符号化データ受信バッファ12からの蓄積量の検出を行い、蓄積量が“0”でない場合、映像符号化データ受信バッファ12に復号開始指示を出す。この場合、符号化ストリームは周知のようにパケット単位で伝送されているので、1つのパケットの復号が処理されると次のパケットのデータが蓄積される。このデータの蓄積を開始したタイミングで蓄積量の検出を行えばよい。映像符号化データ受信バッファ12では、復号開始指示を受信すると、蓄積していた映像符号化データを読み出して映像復号手段14に出力する。映像復号手段14では、入力された映像符号化データを復号し、復号された映像再生データを映像再生データバッファ16に蓄積する。音声符号化データに関しても映像符号化データと同様の処理が行われ、復号開始指示があると音声符号化データ受信バッファ13から蓄積されていた音声符号化データが読み出され、音声復号手段15で復号され、復号された音声再生データは音声再生データバッファ17に蓄積される。
再生開始制御手段20では、分離手段11で分離された時刻情報の再生開始時刻を、時刻再生手段18で再生された基準時刻と比較する。再生開始制御手段20は、両時刻が一致したときに再生開始指示を映像再生データバッファ16と音声再生データバッファ17へ出力する。映像再生データバッファ16では、再生開始指示に従って、蓄積されていた映像再生データを読み出して出力する。音声再生データに関しても、再生開始指示を受けると、音声データバッファ17が同様に動作して音声再生データを読み出して出力する。
図2はこの実施の形態1に係る復号動作のタイミング例を表すタイムチャートである。
図2(a)に示す従来の復号タイミングは、符号化データに多重されている復号開始時刻(各フレーム時間の先頭位置)である。映像および音声の符号化がフレーム単位で行われていれば、復号も1フレーム毎に行われることを表している。例えばMPEG−2規格では、符号化時に情報量を圧縮しているが、入力画像の複雑さや符号化のモードなどにより発生する情報量は可変となる。そのため、復号の際の処理量も一定とならず可変となる。したがって、処理量はフレームごとに異なる。1フレーム分の復号の処理時間を1フレーム時間として復号タイミングごとに処理を行う場合、処理時間が1フレーム時間より少ないフレーム(例えば図の「1」〜「5」)は早く復号処理を終了し、次のフレームの処理を開始するまでに処理を行わない時間(図のフレーム間にあるスペース)が発生する。しかし、復号に1フレーム時間以上を必要とする処理時間を持つ情報で構成されるフレーム「6」があった場合、復号を終了する前に、次のフレーム「7」にかかってしまい、フレーム「7」の復号が開始できない状態となってしまう問題が起きる。
図2(a)に示す従来の復号タイミングは、符号化データに多重されている復号開始時刻(各フレーム時間の先頭位置)である。映像および音声の符号化がフレーム単位で行われていれば、復号も1フレーム毎に行われることを表している。例えばMPEG−2規格では、符号化時に情報量を圧縮しているが、入力画像の複雑さや符号化のモードなどにより発生する情報量は可変となる。そのため、復号の際の処理量も一定とならず可変となる。したがって、処理量はフレームごとに異なる。1フレーム分の復号の処理時間を1フレーム時間として復号タイミングごとに処理を行う場合、処理時間が1フレーム時間より少ないフレーム(例えば図の「1」〜「5」)は早く復号処理を終了し、次のフレームの処理を開始するまでに処理を行わない時間(図のフレーム間にあるスペース)が発生する。しかし、復号に1フレーム時間以上を必要とする処理時間を持つ情報で構成されるフレーム「6」があった場合、復号を終了する前に、次のフレーム「7」にかかってしまい、フレーム「7」の復号が開始できない状態となってしまう問題が起きる。
一方、図2(b)に示す発明の復号タイミングでは、上述したように符号化データ受信バッファ12,13の蓄積量が“0”以外の場合に復号開始を行った状態を表している。復号開始時間は、復号に可能な符号化ストリームが蓄積された後になる。ところが、実際の復号には、時間がかかるため、復号開始時間になってから復号を開始すると、1フレームで復号が終了しない場合があるので、復号開始時刻を符号化データ受信バッファ12,13の蓄積量が“0”となった時点とすることで、復号開始を早めることが可能になる。したがって、図に示すように、1フレーム時間より処理時間が長くなる情報で構成されたフレーム「6」が存在しても、フレーム「7」の復号開始時刻までに復号を終了させることを可能としている。
以上のように、実施の形態1によれば、復号開始制御手段19により、符号化データ受信バッファ12,13で測定された符号化データの蓄積量の検出を行い、当該蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出しを行わせるよう符号化データ受信バッファ12,13を制御するようにしている。したがって、符号化データ受信バッファ12,13の蓄積量を基に復号開始の時刻を早めて復号に割り当てる時間を増加させることができるため、処理量の多いフレームが入っている場合に起こる処理能力不足を発生させないメディア再生装置を実現する効果が得られる。また、映像と音声の複合したメディアに対しては、例えば映像符号化データにデータ量の多い復号フレームが含まれている場合において、映像符号化データの復号処理時間を確保して欠落の無い映像再生データを得ることに加え、映像データと音声データの同期を支障なく取ることができる。
なお、上記例では、映像と音声の複合したメディアに対して説明してきたが、映像または音声のいずれか一方のみの符号化データを復号再生するメディア再生装置に適用しても、同様に、復号処理不足の発生を抑えて支障ない再生データを継続して得ることを可能にする。また、このことは、以下の他の実施の形態においても当てはまる。
なお、上記例では、映像と音声の複合したメディアに対して説明してきたが、映像または音声のいずれか一方のみの符号化データを復号再生するメディア再生装置に適用しても、同様に、復号処理不足の発生を抑えて支障ない再生データを継続して得ることを可能にする。また、このことは、以下の他の実施の形態においても当てはまる。
実施の形態2.
以上の実施形態1では、符号化データ受信バッファの蓄積量を基に、復号に割り当てる時間を増加させる方法について述べたが、この実施の形態2では、本来の再生開始時刻に変更量を与えることにより復号に割り当てる時間を増加させる方法について説明する。
図3はこの発明の実施の形態2によるメディア再生装置の機能構成を示すブロック図である。図において、図1に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態2の場合、実施の形態1の復号開始制御手段19および再生開始制御手段20と異なる復号開始制御手段191および再生開始制御手段201を備えている。
復号開始制御手段191は、時刻情報から得られる基準時刻と復号開始時刻とを比較して、両者が一致したときに映像および音声の符号化データを読み出させるよう映像符号化データ受信バッファ12と音声符号化データ受信バッファ13各符号化データ受信バッファ12,13を制御する手段で、この機能は従来用いられているものである。再生開始制御手段201は、時刻情報の再生開始時刻に所定時間を加算し、前記時刻情報の基準時刻と当該加算により得られた時刻とを比較し、両時刻が一致したときに再生データを出力させるよう映像再生データバッファ16と音声再生データバッファ17を制御する手段である。
以上の実施形態1では、符号化データ受信バッファの蓄積量を基に、復号に割り当てる時間を増加させる方法について述べたが、この実施の形態2では、本来の再生開始時刻に変更量を与えることにより復号に割り当てる時間を増加させる方法について説明する。
図3はこの発明の実施の形態2によるメディア再生装置の機能構成を示すブロック図である。図において、図1に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態2の場合、実施の形態1の復号開始制御手段19および再生開始制御手段20と異なる復号開始制御手段191および再生開始制御手段201を備えている。
復号開始制御手段191は、時刻情報から得られる基準時刻と復号開始時刻とを比較して、両者が一致したときに映像および音声の符号化データを読み出させるよう映像符号化データ受信バッファ12と音声符号化データ受信バッファ13各符号化データ受信バッファ12,13を制御する手段で、この機能は従来用いられているものである。再生開始制御手段201は、時刻情報の再生開始時刻に所定時間を加算し、前記時刻情報の基準時刻と当該加算により得られた時刻とを比較し、両時刻が一致したときに再生データを出力させるよう映像再生データバッファ16と音声再生データバッファ17を制御する手段である。
次に、動作について説明する。
この実施の形態2の分離手段11では、符号化ストリームから分離した時刻情報の復号開始時刻を復号開始制御手段191に、また、再生開始時刻を再生開始制御手段201に出力する。復号開始制御手段191では、時刻再生手段18からの基準時刻と復号開始時刻を比較し、両者が一致した場合に復号開始指示を映像符号化データ受信バッファ12と音声符号化データ受信バッファ13に出力する。映像符号化データ受信バッファ12では、復号開始指示に従って、蓄積していた映像符号化データを読み出して映像復号手段14に出力する。映像復号手段14では、入力された映像符号化データを復号し、再生した映像再生データを映像再生データバッファ16に蓄積する。また、音声符号化データに関しても同様に、復号開始指示が与えられると、音声符号化データ受信バッファ13から音声符号化データが読み出され、音声復号手段15で復号された音声再生データが音声再生データバッファ17に蓄積される。
この実施の形態2の分離手段11では、符号化ストリームから分離した時刻情報の復号開始時刻を復号開始制御手段191に、また、再生開始時刻を再生開始制御手段201に出力する。復号開始制御手段191では、時刻再生手段18からの基準時刻と復号開始時刻を比較し、両者が一致した場合に復号開始指示を映像符号化データ受信バッファ12と音声符号化データ受信バッファ13に出力する。映像符号化データ受信バッファ12では、復号開始指示に従って、蓄積していた映像符号化データを読み出して映像復号手段14に出力する。映像復号手段14では、入力された映像符号化データを復号し、再生した映像再生データを映像再生データバッファ16に蓄積する。また、音声符号化データに関しても同様に、復号開始指示が与えられると、音声符号化データ受信バッファ13から音声符号化データが読み出され、音声復号手段15で復号された音声再生データが音声再生データバッファ17に蓄積される。
再生開始制御手段201では、時刻再生手段18で再生された基準時刻と、分離手段1で分離された正規の再生開始時刻に所定時間を加算し、時刻再生手段18で再生された基準時刻と加算により得られた時刻との比較を行う。そして、両者が一致した場合には再生開始指示を映像再生データバッファ16および音声データ再生バッファ17に出力する。映像再生データバッファ16では、再生開始指示に従って映像再生データを読み出して出力する。音声に関しても同様に、音声再生データバッファ17が、再生開始指示に従って音声再生データを読み出して出力する。
なお、再生開始制御手段201で用いている正規の再生開始時刻に加算する所定時間としては、復号フレームについて予め復号処理量を測定しておき、最大となる値を復号でカバーできる時間を算出し、その時間を考慮して定めればよい。
なお、再生開始制御手段201で用いている正規の再生開始時刻に加算する所定時間としては、復号フレームについて予め復号処理量を測定しておき、最大となる値を復号でカバーできる時間を算出し、その時間を考慮して定めればよい。
図4はこの実施の形態2に係る表示動作のタイミング例を表すタイムチャートである。この図で、復号タイミングで示すフレームのサイズは復号に必要な時間を表している。また、表示タイミングで示すフレームのサイズは表示を行う時間を表しているので、各フレームの表示は一定となる。
図4(a)の復号タイミングは、図2(a)と同様な符号化データに多重されている復号開始時刻(各フレーム時間の先頭位置)である。復号に1フレーム時間以上を必要とする処理時間を持つ情報で構成されるフレーム「6」があった場合、フレーム「6」は復号が終了しないうちに表示タイミングが始まり、図4(b)に示すように表示タイミングに間に合わなくなる。一方、再生開始制御手段201の処理により再生開始時刻を遅らせた場合、図4(c)に示されるように遅らせた表示タイミングとなる。これは、図4(b)の表示タイミングよりも1フレーム大きな値(表示を遅くらせている)となっている。このように表示を遅くらせたため、1フレーム時間より処理時間が長いフレーム「6」でも、その変更した再生開始時刻までにフレーム「6」の復号を終了させることが可能となる。
図4(a)の復号タイミングは、図2(a)と同様な符号化データに多重されている復号開始時刻(各フレーム時間の先頭位置)である。復号に1フレーム時間以上を必要とする処理時間を持つ情報で構成されるフレーム「6」があった場合、フレーム「6」は復号が終了しないうちに表示タイミングが始まり、図4(b)に示すように表示タイミングに間に合わなくなる。一方、再生開始制御手段201の処理により再生開始時刻を遅らせた場合、図4(c)に示されるように遅らせた表示タイミングとなる。これは、図4(b)の表示タイミングよりも1フレーム大きな値(表示を遅くらせている)となっている。このように表示を遅くらせたため、1フレーム時間より処理時間が長いフレーム「6」でも、その変更した再生開始時刻までにフレーム「6」の復号を終了させることが可能となる。
以上のように、この実施の形態2によれば、再生開始制御手段201により、正規の再生開始時刻に所定時間を加算し、時刻情報の基準時刻と当該加算により得られた時刻とを比較し、両時刻が一致したときに再生データを出力させるよう映像再生データバッファ16と音声再生データバッファ17を制御するようにしている。したがって、正規の再生開始時刻を遅らせて、復号に割り当てる時間を増加させることができるため、処理量の多いフレームが入っている場合に起こる処理能力不足を発生させないメディア再生装置を実現する効果が得られる。
実施の形態3.
図5はこの発明の実施の形態3によるメディア再生装置の機能構成を示すブロック図である。図において、図1に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態3の場合、上記実施の形態1で説明した復号開始制御手段19と、上記実施の形態2で説明した再生開始制御手段201を備えている。
したがって、この実施の形態3では、この復号開始制御手段19により、符号化データ受信バッファ12,13で測定された符号化データの蓄積量の検出を行い、当該蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出しを行わせるよう符号化データ受信バッファ12,13を制御すると共に、再生開始制御手段201により、正規の再生開始時刻に所定時間を加算し、時刻情報の基準時刻と当該加算により得られた時刻とを比較し、両時刻が一致したときに再生データを出力させるよう映像再生データバッファ16と音声再生データバッファ17の制御を行う。
図6はこの場合の動作タイミング例を示すが、図2で説明した復号タイミングと図4で説明した表示タイミングによる改善を併せ持っていることを表している。
図5はこの発明の実施の形態3によるメディア再生装置の機能構成を示すブロック図である。図において、図1に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態3の場合、上記実施の形態1で説明した復号開始制御手段19と、上記実施の形態2で説明した再生開始制御手段201を備えている。
したがって、この実施の形態3では、この復号開始制御手段19により、符号化データ受信バッファ12,13で測定された符号化データの蓄積量の検出を行い、当該蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出しを行わせるよう符号化データ受信バッファ12,13を制御すると共に、再生開始制御手段201により、正規の再生開始時刻に所定時間を加算し、時刻情報の基準時刻と当該加算により得られた時刻とを比較し、両時刻が一致したときに再生データを出力させるよう映像再生データバッファ16と音声再生データバッファ17の制御を行う。
図6はこの場合の動作タイミング例を示すが、図2で説明した復号タイミングと図4で説明した表示タイミングによる改善を併せ持っていることを表している。
したがって、この実施の形態3によれば、符号化データ受信バッファ12,13の蓄積量を基に復号開始の時刻を早めることと、正規の再生開始時刻を遅らせることを併用することで、復号に割り当てる時間の増加を可能にしているので、処理量の多いフレームが入っている場合に起こる処理能力不足を発生させないメディア再生装置を実現する効果が得られる。
実施の形態4.
図7はこの発明の実施の形態4によるメディア再生装置の機能構成を示すブロック図である。図において、図3に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態4の場合、実施の形態2の分離手段11および再生開始制御手段201と異なる分離手段111および再生開始制御手段202を備えている。また、この実施の形態4のメディア再生装置に入力される符号化ストリームには、後述するような方法で算出された、フレーム単位の復号の処理量が多重化されているものとする。
図7はこの発明の実施の形態4によるメディア再生装置の機能構成を示すブロック図である。図において、図3に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態4の場合、実施の形態2の分離手段11および再生開始制御手段201と異なる分離手段111および再生開始制御手段202を備えている。また、この実施の形態4のメディア再生装置に入力される符号化ストリームには、後述するような方法で算出された、フレーム単位の復号の処理量が多重化されているものとする。
分離手段111では、入力された符号化ストリームから、多重化された映像符号化データ、音声符号化データ、各時刻情報およびフレーム毎の復号の処理量をそれぞれ分離する。分離された復号の処理量は再生開始制御手段202に与えられる。再生開始制御手段202では、受信した復号の処理量が閾値を超えた場合にのみ正規の再生開始時刻に所定時間を加算し、時刻再生手段18で再生された基準時刻と加算により得られた時刻との比較を行う。そして、両者が一致した場合には再生開始指示を映像再生データバッファ16および音声データ再生バッファ17に出力し、これにより各再生データバッファはそれぞれの再生データの読み出しを始める。実施の形態2に係る表示動作のタイミングは図4に例示したものと同様となる。
次に、符号化ストリームに多重化される復号の処理量の算出方法について説明する。
MPEG−2規格に基づいた符号化ストリームに多重化された映像符号化データを復号する場合には、可変長復号が用いられている。可変長復号を実施すると、可変長符号化コードが現れるので、このコードから映像符号化データの単位時間当たりで復号を行う処理量を算出することが可能である。図7で処理量が多重化された符号化ストリームを供給している前段(放送装置、配信装置など)において、処理量が多重化されていない元の符号化ストリームを用いて処理量の算出を行う方法を図8で説明する。
メディア蓄積装置41には処理量が多重化されていない元の符号化ストリームが蓄積されている。分離部42では、メディア蓄積装置41から読み出した元の符号化ストリームから映像符号化データを分離する。復号部43は、分離された映像符号化データに対して可変長符復号を行う。このとき各フレームの可変長符号コード量が異なっており、このコード量に基づいてフレーム毎の復号の処理量を処理量見積部44で算出する。多重化部45では、算出されたフレームの処理量の最大の数値を元の符号化ストリームに多重化してメディア蓄積装置46に蓄積する。図7に示すメディア再生装置へは、メディア蓄積装置46から読み出した、処理量が多重化された符号化ストリームが供給される。
MPEG−2規格に基づいた符号化ストリームに多重化された映像符号化データを復号する場合には、可変長復号が用いられている。可変長復号を実施すると、可変長符号化コードが現れるので、このコードから映像符号化データの単位時間当たりで復号を行う処理量を算出することが可能である。図7で処理量が多重化された符号化ストリームを供給している前段(放送装置、配信装置など)において、処理量が多重化されていない元の符号化ストリームを用いて処理量の算出を行う方法を図8で説明する。
メディア蓄積装置41には処理量が多重化されていない元の符号化ストリームが蓄積されている。分離部42では、メディア蓄積装置41から読み出した元の符号化ストリームから映像符号化データを分離する。復号部43は、分離された映像符号化データに対して可変長符復号を行う。このとき各フレームの可変長符号コード量が異なっており、このコード量に基づいてフレーム毎の復号の処理量を処理量見積部44で算出する。多重化部45では、算出されたフレームの処理量の最大の数値を元の符号化ストリームに多重化してメディア蓄積装置46に蓄積する。図7に示すメディア再生装置へは、メディア蓄積装置46から読み出した、処理量が多重化された符号化ストリームが供給される。
図7のメディア再生装置では、入力される符号化ストリームに予め多重化されているフレーム毎の復号の処理量を用いて再生開始制御手段202で正規の再生開始時刻に加算する所定時間を得ていたが、符号化ストリームに多重化しない方法で供給される復号の処理量を用いるようにしても同様な動作を行うこともできる。その場合、図8において、多重化部45を用いず、処理見積部44で得た復号の処理量を、元の符号化ストリームと同じメディア蓄積装置41あるいは他の蓄積装置に格納しておき、元の符号化ストリームをメディア再生装置に供給するときに別のラインで復号の処理量を供給して再生開始制御手段202に与えるようにすればよい。この例は、この発明のメディア再生装置を組み込んだDVD再生装置の前段に用いるのに適している。
以上のように、この実施の形態4によれば、再生開始制御手段202において、正規の再生開始時刻に加算する所定時間を、算出された処理量の最大の数値が復号の処理量が閾値を超えた場合にのみ設定するようにしたので、処理量の多いフレームが存在する場合のみ正規の再生開始時刻を遅らせて、復号に割り当てる時間を増加させることができるため、処理能力不足を発生させないメディア再生装置を実現する効果が得られる。
なお、この実施の形態4は、上記実施の形態2に対して適用した場合について述べてきたが、上記実施の形態3に対して適用してもよい。その場合は、復号開始の時刻を早めることと、正規の再生開始時刻を遅らせることの両面で、復号に割り当てる時間を増加させることができる。
なお、この実施の形態4は、上記実施の形態2に対して適用した場合について述べてきたが、上記実施の形態3に対して適用してもよい。その場合は、復号開始の時刻を早めることと、正規の再生開始時刻を遅らせることの両面で、復号に割り当てる時間を増加させることができる。
実施の形態5.
上記実施の形態4で説明したメディア再生装置では、フレーム単位の復号の処理量が供給され、再生開始制御手段202がこの処理量を用いて復号に割り当てる時間を増加させる動作を行っているが、この実施の形態5では、その動作を行っているときに、この処理量を用いて、さらにメディア再生装置の消費電力の削減を図ることについて説明する。
再生開始制御手段202が、フレーム単位の復号の処理量を用いて、正規の再生開始時刻を遅らせて、復号に割り当てる時間を増加させる動作を行っているとする。このとき、メディア再生装置の動作時間が、再生開始時刻を遅らせないときに比べ、例えば1/10で処理が終了することが認識できたならば、メディア再生装置が動作を行うためのクロック周波数を、例えば1/5に低減しても、動作を終了することが可能となる。そのため、この実施の形態5では、供給されたフレーム毎の復号の処理量が復号手段の能力限界を示す閾値を下回ったことを再生開始制御手段202または別途設けた検出手段により検出した場合、周波数切替手段により、クロック周波数を低減させるよう切り替える。このように、クロック周波数を低減して動作を行えば、メディア再生装置が消費する電力を削減することができる。
上記実施の形態4で説明したメディア再生装置では、フレーム単位の復号の処理量が供給され、再生開始制御手段202がこの処理量を用いて復号に割り当てる時間を増加させる動作を行っているが、この実施の形態5では、その動作を行っているときに、この処理量を用いて、さらにメディア再生装置の消費電力の削減を図ることについて説明する。
再生開始制御手段202が、フレーム単位の復号の処理量を用いて、正規の再生開始時刻を遅らせて、復号に割り当てる時間を増加させる動作を行っているとする。このとき、メディア再生装置の動作時間が、再生開始時刻を遅らせないときに比べ、例えば1/10で処理が終了することが認識できたならば、メディア再生装置が動作を行うためのクロック周波数を、例えば1/5に低減しても、動作を終了することが可能となる。そのため、この実施の形態5では、供給されたフレーム毎の復号の処理量が復号手段の能力限界を示す閾値を下回ったことを再生開始制御手段202または別途設けた検出手段により検出した場合、周波数切替手段により、クロック周波数を低減させるよう切り替える。このように、クロック周波数を低減して動作を行えば、メディア再生装置が消費する電力を削減することができる。
11,111 分離手段、12 映像受信バッファ、13 音声受信バッファ、14 映像復号手段、15 音声復号手段、16 映像データバッファ、17 音声データバッファ、18 時刻再生手段、19,191 復号開始制御手段、20,201,202 再生開始制御手段。
Claims (6)
- 入力される符号化ストリームから多重化された符号化データおよび各時刻情報のそれぞれを分離する分離手段と、
前記分離された符号化データを格納する符号化データ受信バッファと、
前記符号化データバッファから読み出された符号化データを復号して再生データを得る復号手段と、
復号された再生データを格納する再生データバッファと、
前記符号化データ受信バッファで測定された符号化データの蓄積量の検出を行い、当該蓄積量が存在する場合には、蓄積された符号化データの読み出しを開始させ、当該蓄積量が“0”になるまで読み出しを行わせるよう前記符号化データ受信バッファを制御する復号開始制御手段と、
前記時刻情報から得られる基準時刻と再生開始時刻とを比較し、両時刻が一致したときに再生データが出力されるよう前記再生データバッファを制御する再生開始制御手段とを備えたことを特徴とするメディア再生装置。
- 入力される符号化ストリームから多重化された符号化データおよび各時刻情報のそれぞれを分離する分離手段と、
前記分離された符号化データを格納する符号化データ受信バッファと、
前記符号化データバッファから読み出された符号化データを復号して再生データを得る復号手段と、
復号された再生データを格納する再生データバッファと、
前記時刻情報から得られる基準時刻と復号開始時刻とを比較して、両者が一致したときに符号化データを読み出させるよう前記符号化データ受信バッファを制御する復号開始制御手段と、
前記時刻情報の再生開始時刻に所定時間を加算し、前記時刻情報の基準時刻と当該加算により得られた時刻とを比較し、両時刻が一致したときに再生データを出力させるよう前記再生データバッファを制御する再生開始制御手段とを備えたことを特徴とするメディア再生装置。 - 再生開始制御手段は、基準時刻と比較するにあたって、再生開始時刻の代わりに当該再生開始時刻に所定時間を加算した時刻を用いるようにしたことを特徴とした請求項1記載のメディア再生装置。
- 入力される符号化ストリームに予めフレーム毎の復号の処理量が多重化されている場合において、
分離手段は、入力された符号化ストリームから前記復号の処理量を分離し、
再生開始制御手段は、前記分離された復号の処理量が閾値を超えた場合にのみ所定時間を設定し正規の再生開始時刻に加算することを特徴とする請求項2または請求項3記載のメディア再生装置。 - 予め生成されたフレーム毎の復号の処理量が、符号化ストリームとは別に供給される場合において、
再生開始制御手段は、前記供給された復号の処理量が閾値を超えた場合にのみ所定時間を設定し正規の再生開始時刻に加算することを特徴とする請求項2または請求項3記載のメディア再生装置。 - 再生開始制御手段または別途設けた検出手段が、供給されたフレーム毎の復号の処理量が復号手段の能力限界を示す閾値を下回ったことを検出したときに、当該メディア再生装置が動作を行うためのクロック周波数を低減させるよう切り替える周波数切替手段を備えたことを特徴とする請求項4または請求項5記載のメディア再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006055140A JP2007235590A (ja) | 2006-03-01 | 2006-03-01 | メディア再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006055140A JP2007235590A (ja) | 2006-03-01 | 2006-03-01 | メディア再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007235590A true JP2007235590A (ja) | 2007-09-13 |
Family
ID=38555709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006055140A Pending JP2007235590A (ja) | 2006-03-01 | 2006-03-01 | メディア再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007235590A (ja) |
-
2006
- 2006-03-01 JP JP2006055140A patent/JP2007235590A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3698376B2 (ja) | 同期再生装置 | |
JP3094999B2 (ja) | オーディオ・ビデオ同期再生装置 | |
US6163646A (en) | Apparatus for a synchronized playback of audio-video signals | |
JP5059301B2 (ja) | 同期再生装置および同期再生方法 | |
KR20030012761A (ko) | 데이터 다중화 방법, 데이터 기록 매체, 데이터 기록 장치및 데이터 기록 프로그램 | |
US20090010615A1 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
JP4775208B2 (ja) | 再生方法、再生プログラムおよび再生装置 | |
JP2005123789A (ja) | Av同期システム | |
JP4875035B2 (ja) | 映像記録再生装置 | |
US20150104158A1 (en) | Digital signal reproduction device | |
JP5046907B2 (ja) | 記録装置、その制御方法、プログラム | |
JP2007235590A (ja) | メディア再生装置 | |
JP2006319552A (ja) | マルチメディア再生装置 | |
US20080310647A1 (en) | Audio stream processing method, playback apparatus, and output apparatus | |
JP2006352587A (ja) | 情報処理装置 | |
JPWO2006040827A1 (ja) | 送信装置、受信装置、並びに再生装置 | |
JPH10210483A (ja) | 動画像再生装置及びその方法 | |
JP5700853B2 (ja) | デジタルデータ記録再生装置 | |
JP2005303816A (ja) | 動画再生装置 | |
JP2010233119A (ja) | ビデオエンコーダ装置及び該ビデオエンコーダ装置に用いられる符号化データ出力方法 | |
JP2004180282A (ja) | ストリーム情報再生装置、ストリーム情報再生方法、プログラム及びデジタル放送受信機 | |
JP4935655B2 (ja) | 再生装置および分離回路 | |
JP3892759B2 (ja) | 記録再生装置、記録装置、再生装置および記録再生方法 | |
JP2007066511A (ja) | 記録再生装置、記録装置、再生装置および記録再生方法 | |
JP2009111608A (ja) | 再生装置および再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070926 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080627 |