JP2005278152A - 映像音声再生装置及び映像音声再生方法 - Google Patents

Abstract

【課題】 音声を通常再生したまま映像を自由に再生操作することが可能な映像音声再生装置、及び映像音声再生方法を提供する。
【解決手段】
映像操作切替回路１０１から映像動作切替の指示を受けると、データ読出し回路１０４により記録媒体１０３から音声再生用の映像音声ストリームと映像再生用の映像音声ストリームとを読み出し、音声再生回路１２０においては、前記音声再生用映像音声ストリームから分離された音声ストリームを、該音声ストリームに埋め込まれた時刻管理情報と所定の基準時間とに基づき再生し、映像再生回路１１５においては、前記映像再生用映像音声ストリームから分離された映像ストリームを、前記基準時間とは異なる基準時間に基づき再生することとした。
【選択図】 図１

Description

本発明は、ランダムアクセス可能な記録媒体から符号化された映像音声ストリームを読み出し再生する装置、及び映像音声ストリームを読み出し再生する方法に係り、特に映像と音声の同期再生技術に関する。

近年、映像や音声などをデジタル圧縮して記録したＤＶＤが広く普及しており、映画やカラオケなどのソフトを手軽に再生するために幅広く利用されている。従来から利用されているＶＴＲでは、映像の再生機能としては、映画などを記録された順に再生する程度であったが、ＤＶＤによれば、見たいシーンから瞬時に再生できる機能などが提供できるようになっている。また、テレビにおいても、従来は放送されている番組を単純に視聴することしかできなかったが、デジタル放送の登場により、例えばクイズ番組を視聴しているときには、家に居ながらテレビのリモコンでクイズに解答することが可能となり、また、ドラマなどを視聴しているときには、出演している俳優の経歴などをボタン一つで表示することができるようになっている。

これらＤＶＤやデジタル放送等において、映像や音声を効率的に蓄積、伝送するために用いられる情報圧縮技術としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がある。ＭＰＥＧでは、映像や音声等のデジタルコンテンツを構成する要素となる複数のデジタル信号を、一つのビットストリームに多重するときの信号の構成が規格として定められている。

かかる規格では、ＭＰＥＧシステムの復号器側における基準時間であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の値を符号器側で意図した値にセットするための時刻情報であるＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）またはＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）と、映像や音声の符号化の単位ごとに付与される時刻情報であり、再生出力の時刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、及び復号の時刻管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）とをビットストリーム中に符号化することにより、高精度な同期再生を行うこととしている。

ここで、ＭＰＥＧ２における映像音声ストリームのフォーマットを、図１５を用いて説明する。図１５は映像音声ストリームの構成を模式的に表した図である。図１５において、映像音声ストリームはビデオパック（Ｖ＿ＰＣＫ）とオーディオパック（Ａ＿ＰＣＫ）の集合により構成される。Ｖ＿ＰＣＫはパックヘッダとビデオパケットで構成されており、パックヘッダ中にはＳＣＲなどが記録されている。ビデオパケットは更に、パケットヘッダとビデオエレメンタリストリームにより構成される。このうち、パケットヘッダにはストリームＩＤ、ＤＴＳ、ＰＴＳなどが記録されており、ビデオエレメンタリストリームには、デジタル映像信号をＭＰＥＧ２で圧縮したビットストリームであるＩピクチャ、Ｐピクチャ、及びＢピクチャにより構成される。なお、Ａ＿ＰＣＫもＶ＿ＰＣＫと同様の構成を採り、音声の圧縮形式によりオーディオエレメンタリストリーム中にサブストリームＩＤを含む場合がある。

また、タイムスタンプによる同期再生を実現するためのタイミング規定や、符号化データを連続的に再生するために定められるメモリ量の規定に従い、図１６に示すようなシステムターゲットデコーダ（ＳＴＤ）がモデル化されている。

図１６は、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）のＳＴＤを表すブロック図である。音声エレメンタリストリームのアクセスユニットは、ｔｐｎに相当する時刻に入力バッファからデコーダへ瞬時に転送されデコードされると規定されており、このｔｐｎがＰＴＳとしてビットストリーム中に符号化される。一方、映像エレメンタリストリームは、Ｉピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、及びＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）がＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）よりも先にデコードされるために、デコード時刻と表示時刻とが一致しない。このため、ＩピクチャおよびＰピクチャのデータは、ｔｄｌに相当する時刻に入力バッファからデコーダへ瞬時に転送されデコードされると規定されており、このｔｄｌがＤＴＳとしてビットストリーム中に符号化され、これらのデータはＰＴＳで示される時刻に表示される。

従来のＭＰＥＧに関する技術は、ＭＰＥＧストリームとして多重化された各ストリームデータの同期再生を高精度に行うことを目的としているものが多く、同期を取るということ以外に着目したものとしては、例えば特許文献１に記載の再生装置のように、主映像とオーディオとが同時に再生された後の所定時間後に副映像が再生され、副映像の再生が終了した後に、再び主映像とオーディオが同時に再生される再生装置がある。
特開平８−２９８６４５号公報

しかしながら、ＤＶＤによって様々な再生機能が扱えるようになったとはいえ、そのコンテンツをどのように再生できるかは、コンテンツ製作者の意図する範囲のものでしかなく、デジタル放送においても、視聴者が様々なサービスを利用するためには放送局や番組制作者がコンテンツデータに付加情報を追加しなければならなかった。

例えば、液晶プロジェクターやＯＨＰを利用して資料をスクリーンに投影し、プレゼンテーションを行う講演会の状況を、ムービーを使って撮影、録画したとする。その録画映像を再生した視聴者は、講師の説明等の音声については普通に聞きながら、映像に関しては音声に同期して再生される映像ではなく、プレゼンテーションの資料や講師が説明を行っている姿など、以前に再生された映像を見たい場合がある。また、幼稚園や保育園などで開催される子供の音楽会を撮影し録画した映像を、撮影者以外の保護者が視聴する場合、音楽などの音声は普通に聴きながらも、自分の子供を中心に再生されている部分の映像を選択して見たい場合がある。また、テレビで野球やサッカーなどのスポーツ実況中継を見ている場合においても、実況はそのまま聞きながら映像は先ほどのハイライトシーンをもう一度見たい場合がある。ニュース番組の実況中継などを見ている場合も同様である。いずれの場合であっても、視聴者が目にしたいところは個人によって様々であるため、音声の再生はそのままで、映像に関しては撮影者が撮影した映像や放送局が提供する映像とは異なるところをじっくりと見たい場合があり、その場合視聴者はもどかしさを感じることになる。

前記特許文献１に記載のデータ再生方法によって、視聴者に新しい再生機能を提供できるようになったが、かかる再生機能は主映像に対して副映像を所定時間遅延して再生するというものであり、視聴者がストレスを感じることなく自由に映像の再生操作をすることはできない。

本発明は、上記課題を解決するためになされたものであり、音声は通常再生したまま映像についてのみ自由に再生動作を変更することが可能な映像音声再生装置、及び映像音声再生方法を提供することを目的とする。

上記課題を解決するため、本発明の請求項１に係る映像音声再生装置は、ランダムアクセス可能な記録媒体に記録されている映像音声ストリームを読出し、前記映像音声ストリームを構成する映像ストリーム、及び音声ストリームのそれぞれに埋め込まれた時刻管理情報と基準時間とに基づき前記映像音声ストリームを再生する映像音声再生装置において、前記映像ストリームの再生動作の切替を指示する映像操作切替回路と、前記映像操作切替回路から映像動作切替の指示を受けると、前記記録媒体から音声再生用の映像音声ストリームと映像再生用の映像音声ストリームとを読み出すデータ読出し回路と、前記データ読出し回路により読み出された前記音声再生用映像音声ストリームと前記映像再生用映像音声ストリームとを識別可能に格納するストリームバッファと、前記ストリームバッファに格納された前記音声再生用映像音声ストリームから音声ストリームを、前記映像再生用映像音声ストリームから映像ストリームを、分離する分離回路と、前記音声再生用映像音声ストリームに埋め込まれた時刻管理情報に基づき、所定のクロックを基準時間として出力するカウンタと、前記音声再生用映像音声ストリームから分離された音声ストリームを、該音声ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生する音声再生回路と、前記映像再生用映像音声ストリームから分離された映像ストリームを、前記音声再生回路とは異なる基準時間に基づき再生する映像再生回路とを備えることを特徴とする。

また、本発明の請求項２に係る映像音声再生装置は、請求項１に記載の映像音声再生装置において、前記映像音声ストリームは、デジタル圧縮された映像と音声とをＭＰＥＧ形式で多重化したストリームであることを特徴とする。

また、本発明の請求項３に係る映像音声再生装置は、請求項１に記載の映像音声再生装置において、前記映像操作切替回路は、同一の時刻管理情報を有する音声ストリームと映像ストリームとを同期再生する通常再生と、映像ストリームのみ特殊再生を行なう映像特殊再生と、時刻管理情報を有する音声ストリームと映像ストリームとを非同期再生する映像非同期再生とのいずれかを切替指示することを特徴とする。

また、本発明の請求項４に係る映像音声再生装置は、請求項３に記載の映像音声再生装置において、前記映像再生回路は、前記映像操作切替回路から前記映像特殊再生動作の指示を受けると、前記映像再生用映像音声ストリームから分離した映像ストリームを用いて、映像ストリームの特殊再生を行なうことを特徴とする。

また、本発明の請求項５に係る映像音声再生装置は、請求項４に記載の映像音声再生装置において、前記データ読出し回路は、前記映像操作切替回路から前記映像特殊再生動作の指示を受けると、音声再生用の映像音声ストリームの読出しを、映像再生用の映像音声ストリームの読出しに優先して行ない、前記音声再生回路で再生される音声が途切れることがないように音声ストリームを連続して前記音声再生回路に転送することを特徴とする。

また、本発明の請求項６に係る映像音声再生装置は、請求項５に記載の映像音声再生装置において、前記映像再生回路は、前記映像特殊再生の途中で前記映像操作切替回路から前記映像非同期再生の指示を受けると、前記基準時間から、前記映像特殊再生で最後に出力した前記映像ストリームに埋め込まれた時刻管理情報と映像特殊再生が停止した時点の基準時間との差分値を減じた値を、映像ストリーム再生用の基準時間として、映像再生用の映像音声ストリームから分離した映像ストリームを再生することを特徴とする。

また、本発明の請求項７に係る映像音声再生装置は、請求項６に記載の映像音声再生装置において、前記映像再生回路は、前記映像非同期再生動作の途中で前記映像操作切替回路から前記通常再生動作の指示を受けると、音声再生用の映像音声ストリームから分離した映像ストリームを、該映像ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生することを特徴とする。

また、本発明の請求項８に係る映像音声再生装置は、請求項４に記載の映像音声再生装置において、前記映像再生回路は、映像特殊再生中の映像ストリームに埋め込まれた時刻管理情報と前記基準時間とが一致した場合、音声再生用の映像音声ストリームの映像ストリームを、該映像ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生することを特徴とする。

また、本発明の請求項９に係る映像音声再生装置は、請求項７又は請求項８に記載の映像音声再生装置において、前記音声再生回路で再生した音声の再生時間と前記映像再生回路で再生した映像の再生時間のいずれか、あるいは両方を可視可能に表示する再生時間表示回路を備えることを特徴とする。

また、本発明の請求項１０に係る映像音声再生方法は、ランダムアクセス可能な記録媒体に記録されている映像音声ストリームを読出し、前記映像音声ストリームを構成する映像ストリーム、及び音声ストリームのそれぞれに埋め込まれた時刻管理情報と所定の基準時間とに基づき前記映像音声ストリームを再生する映像音声再生方法において、前記記録媒体から音声再生用の映像音声ストリームと映像再生用の映像音声ストリームとを読み出し、前記音声再生用映像音声ストリームに埋め込まれた所定の時刻管理情報に基づき、所定のクロックを基準時間として抽出し、前記音声再生用の映像音声ストリームの音声ストリームを、該音声ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づいて再生を行い、前記映像再生用の映像音声ストリームを用いて映像ストリームの特殊再生を行なうことを特徴とする。

また、本発明の請求項１１に係る映像音声再生方法は、請求項１０に記載の映像音声再生方法において、前記映像ストリームの特殊再生を停止し、前記映像ストリームの特殊再生で最後に出力した映像ストリームに埋め込まれた時刻管理情報と映像特殊再生が停止した時点の基準時間との差分値を求め、前記基準時間から前記差分値を減算し、前記減算値を映像ストリーム再生用の基準時間として、映像再生用の映像音声ストリームから分離した映像ストリームを再生することを特徴とする。

また、本発明の請求項１２に係る映像音声再生方法は、請求項１０に記載の映像音声再生方法において、映像ストリームの特殊再生で表示されている映像ストリームに埋め込まれた時刻管理情報と前記基準時間とが一致した場合、音声再生用の映像音声ストリームの映像ストリームを、該映像ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生することを特徴とする。

また、本発明の請求項１３に係る映像音声再生装置は、請求項１に記載の映像音声再生装置において、前記映像操作切替回路から映像動作切替の指示を受けると、前記映像動作切替の指示の直前に出力していた表示映像を別画面として表示する表示映像制御回路を備えることを特徴とする。

また、本発明の請求項１４に係る映像音声再生装置は、請求項１３に記載の映像音声再生装置において、前記表示映像制御回路は、表示映像を別画面として表示している状態で、さらに、前記映像操作切替回路から映像動作切替の指示を受けると、当該映像動作切替の指示の直前に出力していた表示映像を新たに別画面として表示することを特徴とする。

また、本発明の請求項１５に係る映像音声再生装置は、請求項１４に記載の映像音声再生装置において、前記子画面のいずれかを選択する映像操作選択回路をさらに備え、前記表示映像制御回路は、前記映像操作切替回路から映像動作切替の指示を受けると、前記映像操作選択回路が選択している子画面上の映像表示と、前記主画面上の表示映像とを切り替えてそれぞれ表示を行い、前記映像再生回路は、切り替えた前記主画面上の表示映像から再生を開始するよう、映像ストリームの再生を行なうことを特徴とする。

また、本発明の請求項１６に係る映像音声再生方法は、請求項１０に記載の映像音声再生方法において、前記映像ストリームの特殊再生を行なうときに、特殊再生が開始するときの表示映像を別画面として表示しておき、前記映像ストリームの特殊再生を行なうことを特徴とする。

本発明の映像音声再生装置によれば、音声再生用の映像音声ストリームと、特殊再生に必要なピクチャフレームを含む映像音声ストリームとをそれぞれ個別に読み出すこととし、音声ストリームは、前記音声ストリームに埋め込まれた時刻管理情報と該音声ストリームに埋め込まれた時刻管理情報により設定される基準時間とに基づき再生することとしたので、音声を通常再生したまま映像のみ特殊再生を行うことが可能となり、ユーザーの操作性、及び利便性を向上させることができる。

また、本発明の映像音声再生装置によれば、映像ストリームのみ特殊再生を行なっている状態において、同一の時刻管理情報を有する音声ストリームと映像ストリームとを非同期再生する映像非同期再生を指示した場合、映像非同期再生を指示した時点の基準時間と特殊再生表示が行なわれている映像ストリームに埋め込まれた時刻管理情報との差分値を算出し、基準時間から前記差分値を減算した値を映像ストリームの再生に用いる基準時間とすることとしたので、異なる時刻管理情報を有する音声ストリームと映像ストリームとを同時に再生することができ、これにより、映像のみ特殊再生している状態から、所望の時間だけ音声と映像とをずらして再生することが可能となり、ユーザーの操作性や利便性を向上させることができる。

また、本発明の映像音声再生装置によれば、映像ストリームのみ特殊再生を行なっている状態において、映像特殊再生表示が行なわれている映像ストリームに埋め込まれた時刻管理情報と再生されている音声ストリームに埋め込まれた時刻管理情報とが一致した場合には、音声再生用の映像音声ストリームから分離した映像ストリームを基準時間に基づき再生することとしたので、特殊な操作を行なうことなく同一の時刻管理情報を有する音声ストリームと映像ストリームとを同期再生することが可能となり、ユーザーの操作性、及び利便性を向上させることができる。

また、本発明の映像音声再生装置によれば、主画面上で再生されている表示映像を別画面上に停止映像として表示し、ユーザーの選択により、当該別画面に表示されている停止映像から再生動作を開始することとしたので、音声は通常再生したまま、じっくり見たい映像を自由に表示し再生することが可能となり、ユーザーの操作性、及び利便性を向上させることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１は、本発明の実施の形態の映像音声再生装置を表すブロック図である。
図１において、映像操作切替回路１０１は、映像音声再生装置の動作を選択するものであり、システムコントローラ１０２に対して各動作に対応する操作コードを通知する。

システムコントローラ１０２は、映像操作切替回路１０１から通知された所定の操作コードに従って映像音声ストリームの再生制御を行なうものであり、以下に説明する各回路に対して各種制御コードを指示したり、他の各回路の状態管理を行なう。

記録媒体１０３は、ＣＤやＤＶＤ、ＨＤＤ、あるいはＳＤカード等の、映像音声ストリームを格納するためのランダムアクセス可能な記録媒体であり、データに対して連続したアドレスを割り振ることによって、記録媒体上のデータの格納位置を管理できる。なお、本実施の形態では、映像音声ストリームとして、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）を例に挙げて説明するが、ＭＰＥＧ１やＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）など、他のＭＰＥＧ形式で多重化されたビットストリームであってもよい。また、以下においては、映像音声ストリームが記録媒体上にシーケンシャルに記録されているものとして説明を行うが、映像音声ストリームが記録媒体上にランダムに分散して配置されていてもよい。また、記録媒体１０３はデジタル放送の番組データを一時蓄積するＳＤＲＡＭなどのメモリであってもよい。

データ読出し回路１０４は、記録媒体１０３の所定の位置から映像音声ストリームを読み出し、読み出した映像音声ストリームを、後述するストリームバッファに書き込むものである。映像音声ストリームの読出しは、記録媒体上に割り振られたアドレスであって、記録媒体１０３上のどこから映像音声ストリームを読み出すかを示す読出し位置情報と、一回のアクセスで映像音声ストリームを読出す量を示す読出し量情報とに基づいて行なわれる。なお、前記読出し量情報は、記録媒体上に割り振られたアドレスであって、どこまで映像音声ストリームを読み出すかを示す読出し終了位置情報であってもよい。

ストリームバッファＡ１０５、及びストリームバッファＢ１０６は、記録媒体１０３から読み出した映像音声ストリームを一時的に蓄積しておくＳＤＲＡＭ等のメモリである。ストリームバッファＡ１０５、ストリームバッファＢ１０６上には、前記各ストリームバッファに格納した映像音声ストリームを管理するため、映像音声ストリームの書込み位置情報を示すためのアドレスが割り振られている。なお、ストリームバッファＡ１０５とストリームバッファＢ１０６は、物理的に異なるメモリであってもよく、また、一つのメモリ内の領域をストリームバッファＡ１０５とストリームバッファＢ１０６とに割り振ったものであってもよい。また、本実施の形態では、ストリームバッファＡ１０５とストリームバッファＢ１０６をリングバッファとして循環的に順番に映像音声ストリームを蓄積することとしているが、他のデータ蓄積方法であってもよい。

デマルチプレクサ１０７は、ストリームバッファＡ１０５とストリームバッファＢ１０６とに保持されている映像音声ストリームを、映像ストリームと音声ストリームとに分離するものであり、パケットヘッダに含まれるストリームＩＤやオーディオエレメンタリストリームに含まれるサブストリームＩＤによって映像ストリームと音声ストリームとを識別する。また、映像音声ストリームのパックヘッダに含まれるＳＣＲ、及びパケットヘッダに含まれるＤＴＳ、及びＰＴＳを抽出する。

ＳＣＲ抽出回路１０８は、デマルチプレクサ１０７により抽出されたＳＣＲを保持するものである。ＳＴＣ制御回路１０９は、ＳＴＣカウンタ１１０を制御するものであり、ＳＴＣカウンタ１１０の初期値を設定する。ＳＴＣカウンタ１１０は、映像音声ストリームを再生するための基準時間となるクロック（以下、「ＳＴＣ」という）を生成するものである。

ビデオバッファ１１１は、映像音声ストリームから分離した映像ストリームを一時的に蓄積するものである。ビデオデコーダ１１２は、映像ストリームをデコードし、再生出力するものである。ビデオ時刻管理情報抽出回路１１３は、デマルチプレクサ１０７により抽出された映像ストリームのＤＴＳとＰＴＳとを保持するものである。ビデオ同期制御回路１１４は、ＳＴＣカウンタ１１０から出力されるクロックを基準として、映像ストリームのＤＴＳとＰＴＳに基づきビデオデコーダ１１２の動作タイミングを制御するものである。

オーディオバッファ１１６は、映像音声ストリームから分離した音声ストリームを一時的に蓄積するものである。オーディオデコーダ１１７は、音声ストリームをデコードし、再生出力するものである。オーディオ時刻管理情報抽出回路１１８は、デマルチプレクサ１０７により抽出された音声ストリームのＰＴＳを保持するものである。オーディオ同期制御回路１１９は、ＳＴＣカウンタ１１０から出力されるクロックを基準として、音声ストリームのＰＴＳに基づきオーディオデコーダ１１７の動作タイミングを制御するものである。

表示映像制御回路１２１は、システムコントローラ１０２からの指示により、ビデオデコーダ１１２から再生出力された映像信号を保持し、また、保持した映像信号をビデオデコーダ１１２から再生出力される映像信号と重ね合わせて表示出力するものである。

次に、映像操作切替回路１０１の構成、及びその操作について、図１０、図１１を用いて説明する。

図１０は、映像操作切替回路１０１がリモコンにおいて実現されている場合の、該リモコンの一部を示す構成図である。映像操作切替回路１０１は、早送りボタン、巻戻しボタン、再生ボタン、及び操作切換えボタンにより構成される。通常は、再生ボタンを押すことにより、映像と音声とが同期した通常再生を行うことができ、また、通常再生時に早送りボタン、あるいは巻戻しボタンを押すことで、早送り再生、及び巻戻し再生といった特殊再生動作を行うことができる。ここで、操作切換えボタンを押すことにより、早送りボタン、巻戻しボタンを押したときの動作が、音声については通常の再生が行われたまま、映像のみ早送り再生、あるいは巻戻し再生が行なわれる動作となる。本実施の形態では、かかる特殊再生動作を映像特殊再生とする。また、映像特殊再生の途中で再生ボタンを押すと、映像が音声に対して所定時間遅延、あるいは早送りされた状態で再生される動作となる。本実施の形態では、かかる再生動作を映像非同期再生とする。

なお、操作切換えボタンを設けずに、一般的な再生動作と映像だけの再生動作を操作するためのボタンを別々に用意してもよい。また、映像操作切替回路１０１は、図１１に示すように、映像表示用の画面上に設定メニューを設け、該設定メニューにより映像の再生動作を選択するようにしたものであってもよい。

次に、以上のように構成される映像音声再生装置の動作について、通常再生時の動作、通常再生から映像特殊再生を行う動作、映像特殊再生から映像非同期再生を行なう動作、及び映像非同期再生から通常再生を行う動作を説明する。

Ａ．通常再生時の動作
まず、通常再生時の動作について説明する。
映像音声再生装置が再生動作を行なっていない状態において、ユーザーが映像操作切替回路１０１を用いて通常再生を選択すると、システムコントローラ１０２は、記録媒体１０３上の再生対象となる映像音声ストリームを特定し、記録媒体１０３上の読出し位置、及び読出し量を算出する。そして、システムコントローラ１０２は、ストリームバッファＡ１０５に蓄積されているデータをクリアし、ストリームバッファＡ１０５上の書込み位置を初期化した後、データ読出し回路１０４に対して、再生対象となる映像音声ストリームの読出し位置、読出し量、及びストリームバッファＡ１０５上の書込み位置を通知する。なお、再生対象となる映像音声ストリームの特定方法については、ビデオＣＤ規格やＤＶＤ規格などで詳細に定められており、その方法についての説明はここでは行なわない。

データ読出し回路１０４は、システムコントローラ１０２からの上記通知を受けて、記録媒体１０３上の所定の読出し位置から所定の読出し量だけ映像音声ストリームを読出し、ストリームバッファＡ１０５上の所定の書込み位置へ前記映像音声ストリームを書込む。

システムコントローラ１０２は、ストリームバッファＡ１０５に所定量のデータが蓄積されると、デマルチプレクサ１０７に対してデコードの開始を通知する。

デマルチプレクサ１０７は、デコード開始通知を受けると、ストリームバッファＡ１０５に蓄積された映像音声ストリームを読み込み、該ストリーム中に埋め込まれたストリームＩＤやサブストリームＩＤを識別することにより、映像音声ストリームを映像ストリームと音声ストリームに分離し、映像ストリームをビデオバッファ１１１へ、音声ストリームをオーディオバッファ１１６へそれぞれ出力する。また、デマルチプレクサ１０７は、映像音声ストリームに埋め込まれたＳＣＲを抽出してＳＣＲ抽出回路１０８へ出力し、映像ストリームに埋め込まれたＤＴＳとＰＴＳを抽出してビデオ時刻管理情報抽出回路１１３へ出力し、音声ストリームに埋め込まれたＰＴＳを抽出してオーディオ時刻管理情報抽出回路１１８へ出力する。

ＳＴＣ制御回路１０９は、ＳＣＲ抽出回路１０８に保持されているＳＣＲの値を、ＳＴＣカウンタ１１０の初期値として設定し、ＳＴＣカウンタ１１０は、ＳＴＣをデマルチプレクサ１０７、ビデオ同期制御回路１１４、及びオーディオ同期制御回路１１９に対して出力する。

ビデオ同期制御回路１１４は、ビデオ時刻管理情報抽出回路１１３に保持されているＤＴＳの値がＳＴＣカウンタ１１０から出力されるＳＴＣの値と一致したときに、ビデオデコーダ１１２に対して映像ストリームのデコードを指示し、ビデオデコーダ１１２は、該指示を受けてビデオバッファ１１１に保持されている映像ストリームをデコードする。また、ビデオ同期制御回路１１４は、ビデオ時刻管理情報抽出回路１１３に保持されているＰＴＳの値がＳＴＣカウンタ１１０から出力されるＳＴＣの値と一致したときに、ビデオデコーダ１１２に対して映像出力を指示し、ビデオデコーダ１１２は、該指示を受けてデコードされた映像ストリームを出力する。

オーディオ同期制御回路１１９は、オーディオ時刻管理情報抽出回路１１８に保持されているＰＴＳの値がＳＴＣカウンタ１１０から出力されるＳＴＣの値と一致したときに、オーディオデコーダ１１７に対して音声ストリームのデコード、及びデコードされた音声ストリームの出力を指示し、オーディオデコーダ１１７は、該指示を受けてオーディオバッファ１１６に保持されている音声ストリームをデコードし、デコードされた音声ストリームを出力する。

以上の動作により、所望の映像音声ストリームについて、映像と音声とが同期した通常再生が行なわれる。

Ｂ．ストリームバッファＡ１０５のデータ蓄積管理方法
以下、本実施の形態に係る映像音声再生装置における、ストリームバッファＡ１０５のデータ蓄積管理方法について説明する。

システムコントローラ１０２は、データ読出し回路１０４が記録媒体１０３から映像音声ストリームを読み出しストリームバッファＡ１０５に該映像音声ストリームを書き込むと、記録媒体１０３上の読出し位置、及びストリームバッファＡ１０５上の書き込み位置を更新すると共に、ストリームバッファＡ１０５の空き領域の状態を更新する。ストリームバッファＡ１０５に所定量の空き領域があれば次に読み出す映像音声ストリームの読出し量を算出し、データ読出し回路１０４に対して、記録媒体１０３上の読出し位置、ストリームバッファＡ１０５上の書き込み位置、及び上記読出し量を通知する。

また、デマルチプレクサ１０７は、デコード開始後に、ＳＴＣカウンタ１１０の出力するＳＴＣに基づいて、所定の間隔でストリームバッファＡ１０５から映像音声ストリームを読み出し、該映像音声ストリームを読み出した旨をシステムコントローラ１０２に通知する。システムコントローラ１０２は、該通知を受けて、記録媒体１０３上の読出し位置、及びストリームバッファＡ１０５上の書き込み位置を更新すると共にストリームバッファＡ１０５の空き領域の状態を更新する。ストリームバッファＡ１０５に所定量の空き領域があれば次に読み出す映像音声ストリームの読出し量を算出し、データ読出し回路１０４に対して、記録媒体１０３上の読出し位置、ストリームバッファＡ１０５上の書き込み位置、及び上記読出し量を通知する。

以上の動作を、図２、及び図３を用いて説明する。図２、及び図３は、ストリームバッファＡ１０５の内部状態を表す模式図である。ストリームバッファＡ１０５が図２（ａ）に示すように空き領域Ｓ１を有する状態において、映像音声ストリームが書込み位置Ｗ１から書込まれると、次のデータの書き込み位置、及び空き領域がそれぞれ更新され、ストリームバッファＡ１０５の状態は、図２（ｂ）のように、空き領域がＳ２となり、書込み位置がＷ２となる。かかる状態、すなわち図３（ａ）の状態においてデマルチプレクサ１０７がデータを読み出すと、空き領域Ｓ２が更新され、ストリームバッファＡ１０５の状態は、図３（ｂ）のように空き領域Ｓ３，Ｓ４を有する状態となる。

これ以降についても、システムコントローラ１０２、デマルチプレクサ１０７、及びデータ読出し回路１０４が上述の動作を繰り返し行なうことにより、ストリームバッファＡ１０５のデータ蓄積管理がなされることになる。

Ｃ．通常再生動作から映像特殊再生動作である巻戻し再生に移行する動作
次に、上記通常再生動作中に、ユーザーが映像操作切替回路１０１を用いて映像特殊再生動作として巻戻し再生を選択した場合の動作について説明する。

図７は、映像再生回路１１５、及び音声再生回路１２０において再生されている映像ストリームと音声ストリームの再生時間のずれを模式的に表した図である。横軸は、映像音声ストリームの再生時間を表し、Ｖ１は映像ストリームの再生位置を、Ａ１は音声ストリームの再生位置をそれぞれ表している。

図７（ａ）で示すように、通常再生時は、同じ時刻管理情報を有する映像ストリームと音声ストリームとが同期して再生されている。ここで、映像操作切替回路１０１を用いて巻戻し再生動作が選択されると。デマルチプレクサ１０７は、映像ストリーム、及び映像ストリームに埋め込まれたＤＴＳとＰＴＳの出力を停止する。また、ビデオデコーダ１１２は、映像ストリームのデコードを停止し、最後に出力した映像フレームが出力表示されたままになるよう制御するとともに、ビデオバッファ１１１に蓄積された映像ストリームを初期化する。

システムコントローラ１０２は、最後に出力した映像フレームのＰＴＳをビデオ時刻管理情報抽出回路１１３から取得し、該ＰＴＳに基づいて、最後に再生出力した映像フレームの直前のＩピクチャが含まれる映像音声ストリームの記録媒体１０３上の読出し位置と読出し量を算出し、読出し回路１０４に対して該読出し位置、読出し量、及びストリームバッファＢ１０６上の書込み位置を通知する。

データ読出し回路１０４は、記録媒体１０３上の所定の読出し位置から所定の読出し量だけ、最後に出力した映像フレームの直前のＩピクチャを含む映像音声ストリームを読出し、ストリームバッファＢ１０６上の所定の書込み位置へ前記映像音声ストリームを書き込む。

システムコントローラ１０２は、データ読出し回路１０４により映像音声ストリームがストリームバッファＢ１０６に書込まれると、先に算出した記録媒体１０３上の読出し位置とストリームバッファＢ１０６の書込み位置を更新する。

Ｄ．記録媒体上の読み出し位置の更新
ここで、システムコントローラ１０２が行う記録媒体１０３上の読み出し位置の更新について、図４、図５、図６を用いて説明する。図４、図５、図６は記録媒体上の映像音声ストリームを表した模式図であり、図４（ａ）、図５（ａ）、図６（ａ）は、読み出し位置の更新前の状態を表し、図４（ｂ）、図５（ｂ）、図６（ｂ）は、読み出し位置の更新後の状態をそれぞれ表す。

読出し位置の更新は、図４（ａ）に示すように、読出し位置の更新前に行なった読出し位置Ｒ１からの映像音声ストリームの読み出しの際に、ＩピクチャＩ２が完全に読み出されなかった場合には、図４（ｂ）に示すように、直前に行なった映像音声ストリームの読み出し完了位置Ｒ２の直後の位置を新たな読出し位置Ｒ３として設定する。

これに対して、図５（ａ）に示すように、読出し位置の更新前に行なった、読出し位置Ｒ４からの映像音声ストリームの読み出しによりＩピクチャＩ３の読出しが完了している場合には、図５（ｂ）に示すように、読出しが完了したＩピクチャＩ３より時間的に前のＩピクチャＩ２を全て読み出すことが可能な記録媒体１０３上の記録位置を新たな読出し位置Ｒ５として設定する。この際、読出しを行うＩピクチャを決定する際には、巻戻し再生の再生速度を考慮してＩピクチャを何枚か飛ばしてもよい。例えば、図６に示すように、読出し位置の更新前に行なった、読出し位置Ｒ６からの映像音声ストリームの読み出しによりＩピクチャＩ４の読出しが完了している場合には、ＩピクチャＩ３を飛ばして、記録媒体１０３上のＩピクチャＩ２を全て読み出すことが可能な記録媒体１０３上の記録位置を新たな読出し位置Ｒ７として設定してもよい。

次に、デマルチプレクサ１０７は、ストリームバッファＢ１０６に蓄積された映像音声ストリームを読み出し、ストリーム中に埋め込まれたストリームＩＤを識別することにより、映像ストリームを分離してビデオバッファ１１１へ出力する。

ビデオデコーダ１１２は、ビデオバッファ１１１に保持されているＩピクチャを含む映像ストリームを取り込み、Ｉピクチャのみをデコードし出力する。ビデオデコーダ１１２は、前記Ｉピクチャを所定の期間だけ出力すると、デマルチプレクサ１０７に対して次の映像ストリームを要求する。

なお、ストリームバッファＢ１０６に蓄積されるデータは、ストリームバッファＡ１０５について上述した方法と同様にして管理される。すなわち、デマルチプレクサ１０７は、ストリームバッファＢ１０６の映像音声ストリームを読み出したことをシステムコントローラ１０２へ通知し、システムコントローラ１０２は、ストリームバッファＢ１０６の空き領域を更新する。そして、システムコントローラ１０２は、ストリームバッファＢ１０６に空き領域があれば、次に読み出す映像音声ストリームの読出し量を算出し、データ読出し回路１０４に対して、前記読出し位置、前記読出し量、及び前記書込位置を通知し、ストリームバッファＢ１０６への読出しを指示する。

デマルチプレクサ１０７は、ストリームバッファＢ１０６に蓄積された映像音声ストリームを読み出し、ストリーム中に埋め込まれたストリームＩＤを識別することにより映像ストリームを分離してビデオバッファ１１１へ出力する。

システムコントローラ１０２は、上述した映像ストリームの処理と同時に、ストリームバッファＡ１０５に蓄積されている音声再生用の映像音声ストリームの管理を行なっており、音声再生用の映像音声ストリームからデマルチプレクサ１０７において分離された音声ストリームは、上述したように、ＳＴＣカウンタ１１０から出力されるＳＴＣと音声ストリームに埋め込まれた時刻管理情報とに基づき、映像ストリームの処理の影響を受けることなく継続して通常再生が行なわれる。なお、システムコントローラ１０２は、ストリームバッファＡ１０５に保持される音声再生用の映像音声ストリームが無くならないように、デマルチプレクサ１０７がストリームバッファＡ１０５から映像音声ストリームを読出す速度を管理し、ストリームバッファＢ１０６への書き込みよりもストリームバッファＡ１０５への書き込みを優先的に行ってもよい。

以上の動作により、音声ストリームは通常再生しながら映像ストリームは巻き戻し再生を行う、映像特殊再生を行うことが可能となる。例えば、図７（ｂ）に示すように、音声ストリームはＡ２を通常再生しながら、映像ストリームについては、Ｖ２を再生することができる。また、図７（ｂ）の状態からさらに映像特殊再生が行われると、図７（ｃ）に示すように、音声ストリームはＡ３を通常再生しながら、映像ストリームについてはＶ３を再生することができる。

なお、上記説明においては映像巻戻し再生を例に説明したが、映像早送り再生の場合は、映像ストリームのＩピクチャを順方向に読み出していくことで、映像巻戻し再生と同様の動作が実現できる。また、映像スロー再生、映像コマ送り再生、あるいは映像一時停止等についても、映像巻戻し再生の場合と同様に、音声の通常再生とは独立した動作を行うことが可能となる。

Ｅ．音声の再生と独立して映像特殊再生である映像巻戻し再生を行っている状態から、映像非同期再生に移行する動作
次に、上述のように音声の再生に対して映像を独立して巻戻し再生している映像特殊再生の状態から、映像を再生する映像非同期再生を行なう動作について説明する。

図８は、映像再生回路１１５、及び音声再生回路１２０において再生されている映像ストリームと音声ストリームの再生時間のずれを模式的に表した図である。図８（ａ）に示すように、映像ストリームについてのみ巻戻し再生動作が行なわれている映像特殊再生の途中で、ユーザーが映像操作切替回路１０１を用いて映像非同期再生動作を選択すると、デマルチプレクサ１０７は、映像ストリーム、及び映像ストリームに埋め込まれたＤＴＳとＰＴＳの送出を停止する。また、ビデオデコーダ１１２は、映像ストリームのデコードを停止し、最後に出力した映像フレームが出力表示されたままになるよう制御するとともに、ビデオバッファ１１１に蓄積された映像ストリームを初期化する。

システムコントローラ１０２は、巻戻し再生時の最後に出力した映像フレームのＰＴＳをビデオ時刻管理情報抽出回路１１３から取得し、該ＰＴＳを含む映像音声ストリームの記録媒体１０３上の読出し位置と読出し量を算出する。また、システムコントローラ１０２は、ストリームバッファＢ１０６に蓄積されたデータをクリアしてストリームバッファＢ１０６上の書込み位置を初期化し、データ読出し回路１０４に対して前記読出し位置、読出し量、及び書込み位置を通知する。更に、システムコントローラ１０２は、ＳＴＣカウンタ１１０から巻戻し再生動作の処理が停止したときの基準時間ＳＴＣを取得し、該ＳＴＣと巻戻し再生時の最後に出力した映像フレームのＰＴＳとの差（ΔＳＴＣ）を算出し、ビデオ同期制御回路１１４に出力する。

データ読出し回路１０４は、システムコントローラ１０２から前記読出し位置等の通知を受けると、記録媒体１０３上の所定の読出し位置から所定の読出し量だけ映像音声ストリームを読出し、ストリームバッファＢ１０６上の所定の書込み位置へ前記映像音声ストリームを書込む。

デマルチプレクサ１０７は、ストリームバッファＢ１０６に蓄積された映像音声ストリームを読み出し、ストリーム中に埋め込まれたストリームＩＤを識別することにより映像ストリームを分離しビデオバッファ１１１へ送り、映像ストリームに埋め込まれたＤＴＳとＰＴＳをビデオ時刻管理情報抽出回路１１３へ送る。

ビデオ同期制御回路１１４は、ＳＴＣカウンタ１１０から出力されるＳＴＣの値から前記ΔＳＴＣを減算した値とビデオ時刻管理情報抽出回路１１３に保持されているＤＴＳの値とが一致したときに、ビデオデコーダ１１２に対してデコードの開始を指示する。ビデオデコーダ１１２は、該指示を受けて、ビデオバッファ１１１の映像ストリームをデコードする。また、ビデオ同期制御回路１１４は、ＳＴＣカウンタ１１０が出力するＳＴＣの値から前記ΔＳＴＣを減算した値とビデオ時刻管理情報抽出回路１１３に保持されているＰＴＳの値とが一致したときに、ビデオデコーダ１１２に対して映像出力を指示し、ビデオデコーダ１１２は、該指示を受けてデコードされた映像ストリームを出力する。

システムコントローラ１０２は、上述した映像ストリームの処理と同時に、ストリームバッファＡ１０５に蓄積されている音声再生用の映像音声ストリームの管理を行なっており、音声再生用の映像音声ストリームからデマルチプレクサ１０７において分離された音声ストリームは、ＳＴＣカウンタ１１０から出力されるＳＴＣと音声ストリームに埋め込まれた時刻管理情報とに基づき、映像ストリームの処理の影響を受けることなく継続して通常再生が行なわれる。なお、ストリームバッファＡ１０５に保持される音声再生用の映像音声ストリームが無くならないように、システムコントローラ１０２は、デマルチプレクサ１０７がストリームバッファＡ１０５から映像音声ストリームを読出す速度を管理し、ストリームバッファＢ１０６への書き込みよりもストリームバッファＡ１０５への書き込みを優先的に行ってもよい。

以上の動作により、音声ストリームの通常再生とは独立して映像ストリームのみ巻戻し再生を行っている映像特殊再生の状態から、映像ストリームと音声ストリームとを任意の時間だけずらして再生する映像非同期再生を行うことが出来る。つまり、異なる時刻管理情報を有する映像ストリームと音声ストリームとを同時に再生することが可能となる。例えば、図８（ｂ）に示すように、映像ストリームはＶ４の位置を再生しながら、音声ストリームについてはＡ５の位置を再生することができる。図８（ｂ）の状態からさらに再生動作が行なわれると、図８（ｃ）に示すように、映像ストリームと音声ストリームの再生時間のずれを保ちながら、映像ストリームはＶ５の位置を再生し、音声ストリームについてはＡ６の位置を再生することができる。

なお、本実施の形態は、音声を通常再生したまま映像だけを巻戻し再生している状態から映像を再生する動作を例にして説明したが、映像一時停止状態から通常再生を開始する動作や、映像スキップ再生、あるいは映像タイムサーチのような操作により任意の場所から映像だけを再生開始する動作についても同様に実現可能である。

Ｆ．映像非同期再生の状態から、通常再生動作に移行する動作
次に、上述のように音声の再生に対して、所定時間映像を遅延させて再生している映像非同期再生の状態から、再び映像を音声の再生に同期させて再生する通常再生を行なう場合の動作について説明する。

図９は、映像再生回路１１５、及び音声再生回路１２０において再生されている映像ストリームと音声ストリームの再生時間のずれを模式的に表した図である。図９（ａ）に示すように、映像ストリームと音声ストリームとを任意の時間だけずらして再生している途中で、ユーザーが映像操作切替回路１０１を用いて通常再生動作を選択すると、デマルチプレクサ１０７は、ストリームバッファＢ１０６から読み込んだ映像ストリーム、及び映像ストリームに埋め込まれたＤＴＳとＰＴＳの送出を停止する。また、ビデオデコーダ１１２は、映像ストリームのデコードを停止し、最後に出力した映像フレームが出力表示されたままになるよう制御し、ビデオバッファ１１１に蓄積された映像ストリームを初期化する。

システムコントローラ１０２は、映像操作切替回路１０１からの映像再生開始操作を受けて、映像ストリームの再生処理を停止させる。デマルチプレクサ１０７は、映像ストリームおよび映像ストリームに埋め込まれたＤＴＳとＰＴＳの送出を停止する。ビデオデコーダ１１２は映像ストリームのデコードを停止し、最後に出力した映像フレームが出力表示されたままになるよう制御し、ビデオバッファ１１１に蓄積された映像ストリームを初期化する。

システムコントローラ１０２およびデータ読出し回路１０４はストリームバッファＡ１０５への読出しを継続して行う。

デマルチプレクサ１０７は、ストリームバッファＡ１０５から継続して読み出していた映像音声ストリームから分離した映像ストリームを、再びビデオバッファ１１１へ出力し、該映像ストリームに埋め込まれたＤＴＳとＰＴＳをビデオ時刻管理情報抽出回路１１３に出力する。

これ以降については、上述した音声ストリームと映像ストリームとが同期した通常再生動作が行なわれることにより、音声の再生に対して映像を所定時間遅延させて再生している映像非同期再生の状態から、図９（ｂ）、及び図９（ｃ）に示すように、音声の再生に同期して映像を再生する通常再生を行うことができる。

なお、音声の再生に対して映像を独立して早送り再生および巻戻し再生している状態において映像が音声の再生時間に追いついたときは、上述した動作により音声の再生に同期して映像を再生開始することができる。

Ｇ．通常再生動作中に、映像特殊再生動作として映像一時停止を選択し別画面を表示する動作
次に、上記通常再生動作中に、ユーザーが映像操作切替回路１０１を用いて映像特殊再生動作として映像一時停止を選択し別画面を表示する場合の動作について説明する。
図１７ないし図１９は、映像一時停止動作中のモニタ画面を表した図である。

ユーザーが映像操作切替回路１０１を用いて映像一時停止動作を選択すると、表示映像制御回路１２１は、ビデオデコーダ１１２が直前に出力した映像信号を保持し、当該保持映像とビデオデコーダ１１２が再生出力する映像信号とを合成して表示出力する。これにより、モニタ画面上では、図１７に示すように、主画面Ｍ１では通常再生動作が継続されたまま、子画面Ｓ１では映像一時停止動作時の映像が表示される。

また、図１７に示すように、上記映像一時停止動作により子画面Ｓ１で一時停止映像を表示したまま主画面Ｍ１で通常再生を行っている状態で、さらにユーザーが映像一時停止動作を選択すると、表示映像制御回路１２１は、当該映像一時停止動作の直前に主画面Ｍ１上に出力していた映像を、新たな子画面Ｓ２として追加表示する。これにより、モニタ画面上では、図１８に示すように、主画面Ｍ１と共に、複数の子画面Ｓ１，Ｓ２が表示される。なお、複数の子画面を表示する際には、図１９に示すように、モニタ画面全体を分割して子画面Ｓ１，Ｓ２，Ｓ３，Ｓ４を表示しても良い。

また、例えば図１８に示す状態において、ユーザーが、図示しない映像操作選択回路を用いて、表示されている子画面Ｓ１，Ｓ２から子画面Ｓ１を選択し、さらに映像操作切替回路１０１を用いて映像通常再生や映像特殊再生を指示すると、主画面Ｍ１上の表示画像と子画面Ｓ１上の表示画像とが切り替えられ、主画面M１上では、当該選択した子画面Ｓ１上に表示されていた一時停止画像からの映像通常再生や映像特殊再生が開始され、子画面Ｓ１上には、表示画像切替の直前に主画面Ｍ１で再生されていた画像が、一時停止画像として表示される。

なお、上記説明においては映像一時停止を例に説明したが、映像早送り再生、映像巻戻し再生、映像スロー再生、映像コマ送り再生等についても、映像一時停止と同様に別画面を表示することが可能となる。

以上のように、本実施の形態の映像音声再生装置によれば、音声再生用の映像音声ストリームと、特殊再生に必要なピクチャフレームを含む映像音声ストリームとをそれぞれ個別に読み出すこととし、音声ストリームは、前記音声ストリームに埋め込まれた時刻管理情報と該音声ストリームに埋め込まれた時刻管理情報により設定される基準時間とに基づき再生することとしたので、音声を通常再生したまま映像のみ特殊再生を行うことが可能となり、ユーザーの操作性、及び利便性を向上させることができる。

また、本実施の形態の映像音声再生装置によれば、映像ストリームのみ特殊再生を行なっている状態において、同一の時刻管理情報を有する音声ストリームと映像ストリームとを非同期再生する映像非同期再生を指示した場合、映像非同期再生を指示した時点の基準時間と特殊再生表示が行なわれている映像ストリームに埋め込まれた時刻管理情報との差分値を算出し、基準時間から前記差分値を減算した値を映像ストリームの再生に用いる基準時間とすることとしたので、映像のみ特殊再生している状態から、所望の時間だけ音声と映像をずらして再生することが可能となり、ユーザーの操作性や利便性を向上させることができる。

また、本実施の形態の映像音声再生装置によれば、映像ストリームのみ特殊再生を行なっている状態において、映像特殊再生表示が行なわれている映像ストリームに埋め込まれた時刻管理情報と再生されている音声ストリームに埋め込まれた時刻管理情報とが一致した場合には、音声再生用の映像音声ストリームから分離した映像ストリームを基準時間に基づき再生することとしたので、特殊な操作を行なうことなく同一の時刻管理情報を有する音声ストリームと映像ストリームとを同期再生することが可能となり、ユーザーの操作性、及び利便性を向上させることができる。

また、本発明の映像音声再生装置によれば、表示映像を別画面として表示しそこから再生開始することとしたので、音声を通常再生したままじっくり見たい映像を自由に表示し再生することが可能となり、ユーザーの操作性、及び利便性を向上させることができる。

なお、ユーザーが再生時間を画面に表示する設定をしておけば、ビデオデコーダ１１２が出力した映像信号に再生時刻管理情報を合成することで、例えば図１２に示すように音声の再生時間を現在再生時間としてモニターなどの画面に表示することができる。また、図１３に示すように、映像の再生時間と音声の再生時間とを共に表示してもよい。また、図１１に示す設定メニューでユーザーが「時間表示」設定を「映像」に設定しておけば、図１４に示すように映像の再生時間だけを表示することもできる。

また、本実施の形態においては、映像と音声のストリームについて説明したが副映像のストリームについても同様の動作が可能である。

また、本実施の形態においては、ＤＶＤやＨＤＤなどの記録媒体の再生を例にして説明したがデジタル放送やネットワークを経由したストリーミングコンテンツの再生についてもメモリなどの記録媒体に一時蓄積することにより同様の動作が可能である。

本発明に係る映像音声再生装置によれば、音声を通常再生したまま映像を自由に再生操作することができ、ランダムアクセス可能な記録媒体から符号化された映像音声ストリームを再生する装置において、新たな再生機能を提供することができる点において有用である。

本発明の実施の形態における映像音声再生装置を表すブロック図である。 映像音声ストリームがストリームバッファへ書き込まれた際の、ストリームバッファの内部状態を表す模式図である。 ストリームバッファから映像音声ストリームを読出した際の、ストリームバッファの内部状態を表す模式図である。 記録媒体上の映像音声ストリームの読出し位置の更新を説明するための模式図である。 記録媒体上の映像音声ストリームの読出し位置の更新を説明するための模式図である。 記録媒体上の映像音声ストリームの読出し位置の更新を説明するための模式図である。 通常再生から映像だけ巻戻し再生する動作を説明するための図である。 映像だけ巻き戻し再生している状態から映像非同期再生を行なう動作を説明するための図である。 映像非同期再生を行っている状態から音声の再生に同期して映像を再生開始する動作を説明するための図である。 本発明の実施の形態における映像操作切替回路としてのリモコンの一部分を表した図である。 本発明の実施の形態における映像音声再生装置の動作設定するための設定メニューを表した図である。 本発明の実施の形態における映像音声再生装置から出力された映像信号を表示したモニタ画面を表した図である。 本発明の実施の形態における映像音声再生装置から出力された映像信号を表示したモニタ画面を表した図である。 本発明の実施の形態における映像音声再生装置から出力された映像信号を表示したモニタ画面を表した図である。 映像音声ストリームの構造を説明するための模式図である。 従来のＭＰＥＧ２プログラムストリームシステムターゲットデコーダのブロック図である。 映像一時停止動作中の映像信号を表示したモニタ画面を表した図である。 映像一時停止動作中の映像信号を表示したモニタ画面を表した図である。 映像一時停止動作中の映像信号を表示したモニタ画面を表した図である。

符号の説明

１０１ 映像操作切替回路
１０２ システムコントローラ
１０３ 記録媒体
１０４ データ読出し回路
１０５ ストリームバッファＡ
１０６ ストリームバッファＢ
１０７ デマルチプレクサ
１０８ ＳＣＲ抽出回路
１０９ ＳＴＣ制御回路
１１０ ＳＴＣカウンタ
１１１ ビデオバッファ
１１２ ビデオデコーダ
１１３ ビデオ時刻管理情報抽出回路
１１４ ビデオ同期制御回路
１１５ 映像再生回路
１１６ オーディオバッファ
１１７ オーディオデコーダ
１１８ オーディオ時刻管理情報抽出回路
１１９ オーディオ同期制御回路
１２０ 音声再生回路
１２１ 表示映像制御回路
Ｍ１ 主画面
Ｓ１〜Ｓ４ 子画面

Claims (16)

1. ランダムアクセス可能な記録媒体に記録されている映像音声ストリームを読出し、前記映像音声ストリームを構成する映像ストリーム、及び音声ストリームのそれぞれに埋め込まれた時刻管理情報と基準時間とに基づき前記映像音声ストリームを再生する映像音声再生装置において、
   前記映像ストリームの再生動作の切替を指示する映像操作切替回路と、
   前記映像操作切替回路から映像動作切替の指示を受けると、前記記録媒体から音声再生用の映像音声ストリームと映像再生用の映像音声ストリームとを読み出すデータ読出し回路と、
   前記データ読出し回路により読み出された前記音声再生用映像音声ストリームと前記映像再生用映像音声ストリームとを識別可能に格納するストリームバッファと、
   前記ストリームバッファに格納された前記音声再生用映像音声ストリームから音声ストリームを、前記映像再生用映像音声ストリームから映像ストリームを、分離する分離回路と、
   前記音声再生用映像音声ストリームに埋め込まれた時刻管理情報に基づき、所定のクロックを基準時間として出力するカウンタと、
   前記音声再生用映像音声ストリームから分離された音声ストリームを、該音声ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生する音声再生回路と、
   前記映像再生用映像音声ストリームから分離された映像ストリームを、前記音声再生回路とは異なる基準時間に基づき再生する映像再生回路と、を備える、
   ことを特徴とする映像音声再生装置。
2. 請求項１に記載の映像音声再生装置において、
   前記映像音声ストリームは、デジタル圧縮された映像と音声とをＭＰＥＧ形式で多重化したストリームである、
   ことを特徴とする映像音声再生装置。
3. 請求項１に記載の映像音声再生装置において、
   前記映像操作切替回路は、同一の時刻管理情報を有する音声ストリームと映像ストリームとを同期再生する通常再生と、映像ストリームのみ特殊再生を行なう映像特殊再生と、時刻管理情報を有する音声ストリームと映像ストリームとを非同期再生する映像非同期再生とのいずれかを切替指示する、
   ことを特徴とする映像音声再生装置。
4. 請求項３に記載の映像音声再生装置において、
   前記映像再生回路は、前記映像操作切替回路から前記映像特殊再生動作の指示を受けると、前記映像再生用映像音声ストリームから分離した映像ストリームを用いて、映像ストリームの特殊再生を行なう、
   ことを特徴とする映像音声再生装置。
5. 請求項４に記載の映像音声再生装置において、
   前記データ読出し回路は、前記映像操作切替回路から前記映像特殊再生動作の指示を受けると、音声再生用の映像音声ストリームの読出しを、映像再生用の映像音声ストリームの読出しに優先して行ない、前記音声再生回路で再生される音声が途切れることがないように音声ストリームを連続して前記音声再生回路に転送する、
   ことを特徴とする映像音声再生装置。
6. 請求項５に記載の映像音声再生装置において、
   前記映像再生回路は、前記映像特殊再生の途中で前記映像操作切替回路から前記映像非同期再生の指示を受けると、前記基準時間から、前記映像特殊再生で最後に出力した映像ストリームに埋め込まれた時刻管理情報と映像特殊再生が停止した時点の基準時間との差分値を減じた値を、映像ストリーム再生用の基準時間として、映像再生用の映像音声ストリームから分離した映像ストリームを再生する、
   ことを特徴とする映像音声再生装置。
7. 請求項６に記載の映像音声再生装置において、
   前記映像再生回路は、前記映像非同期再生動作の途中で前記映像操作切替回路から前記通常再生動作の指示を受けると、音声再生用の映像音声ストリームから分離した映像ストリームを、該映像ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生する、
   ことを特徴とする映像音声再生装置。
8. 請求項４に記載の映像音声再生装置において、
   前記映像再生回路は、映像特殊再生中の映像ストリームに埋め込まれた時刻管理情報と前記基準時間とが一致した場合、音声再生用の映像音声ストリームの映像ストリームを、該映像ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生する、
   ことを特徴とする映像音声再生装置。
9. 請求項７又は請求項８に記載の映像音声再生装置において、
   前記音声再生回路で再生した音声の再生時間と前記映像再生回路で再生した映像の再生時間のいずれか、あるいは両方を可視可能に表示する再生時間表示回路を備える、
   ことを特徴とする映像音声再生装置。
10. ランダムアクセス可能な記録媒体に記録されている映像音声ストリームを読出し、前記映像音声ストリームを構成する映像ストリーム、及び音声ストリームのそれぞれに埋め込まれた時刻管理情報と所定の基準時間とに基づき前記映像音声ストリームを再生する映像音声再生方法において、
    前記記録媒体から音声再生用の映像音声ストリームと映像再生用の映像音声ストリームとを読み出し、
    前記音声再生用映像音声ストリームに埋め込まれた所定の時刻管理情報に基づき、所定のクロックを基準時間として抽出し、
    前記音声再生用の映像音声ストリームの音声ストリームを、該音声ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づいて再生を行い、前記映像再生用の映像音声ストリームを用いて映像ストリームの特殊再生を行なう、
    ことを特徴とする映像音声再生方法。
11. 請求項１０に記載の映像音声再生方法において、
    前記映像ストリームの特殊再生を停止し、
    前記映像ストリームの特殊再生で最後に出力した映像ストリームに埋め込まれた時刻管理情報と映像特殊再生が停止した時点の基準時間との差分値を求め、前記基準時間から前記差分値を減算し、
    前記減算値を映像ストリーム再生用の基準時間として、映像再生用の映像音声ストリームから分離した映像ストリームを再生する、
    ことを特徴とする映像音声再生方法。
12. 請求項１０に記載の映像音声再生方法において、
    映像ストリームの特殊再生で表示されている映像ストリームに埋め込まれた時刻管理情報と前記基準時間とが一致した場合、音声再生用の映像音声ストリームの映像ストリームを、該映像ストリームに埋め込まれた時刻管理情報と前記基準時間とに基づき再生する、
    ことを特徴とする映像音声再生方法。
13. 請求項１に記載の映像音声再生装置において、
    前記映像操作切替回路から映像動作切替の指示を受けると、前記映像動作切替の指示の直前に出力していた表示映像を、前記映像ストリームが再生される主画面とは異なる子画面上に表示する表示映像制御回路を備える、
    ことを特徴とする映像音声再生装置。
14. 請求項１３に記載の映像音声再生装置において、
    前記表示映像制御回路は、前記主画面と前記子画面上に映像表示している状態で、前記映像操作切替回路から映像動作切替の指示を受けると、当該映像動作切替の指示の直前に前記主画面上に出力していた表示映像を新たな子画面上に表示する、
    ことを特徴とする映像音声再生装置。
15. 請求項１４に記載の映像音声再生装置において、
    前記子画面のいずれかを選択する映像操作選択回路をさらに備え、
    前記表示映像制御回路は、前記映像操作切替回路から映像動作切替の指示を受けると、前記映像操作選択回路が選択している子画面上の映像表示と、前記主画面上の表示映像とを切り替えてそれぞれ表示を行い、
    前記映像再生回路は、切り替えた前記主画面上の表示映像から再生を開始するよう、映像ストリームの再生を行なう、
    ことを特徴とする映像音声再生装置。
16. 請求項１０に記載の映像音声再生方法において、
    前記映像ストリームの特殊再生を行なうときに、特殊再生が開始するときの表示映像を別画面として表示しておき、前記映像ストリームの特殊再生を行なう、
    ことを特徴とする映像音声再生方法。

Images