JP2007013714A - 情報再生装置及び情報再生方法 - Google Patents

Abstract

【課題】この発明は、映像及び音声に違和感を生じさせることなく複数のストリームの同期再生を行なうことができる情報再生装置及び情報再生方法を提供することを目的としている。
【解決手段】それぞれが映像及び音声を含む複数のストリーム１，２が入力される入力手段２６１，２６２と、入力された複数のストリーム１，２から所定のストリームを選択させる選択手段と、選択手段で選択されたストリームの音声再生時間をマスタとして、その選択されたストリームの映像と非選択ストリームの映像及び音声とを同期再生する同期再生手段２７〜４７とを備える。
【選択図】 図２

Description

この発明は、映像及び音声を含む複数のストリームを同期再生する情報再生装置及び情報再生方法に関する。

周知のように、例えばＤＶＤ（digital versatile disk）のような光ディスク等の記録媒体から、そこに記録されている映像及び音声を含む１つのストリームを読み出して再生するような蓄積メディアプレーヤでは、予め設定されたＳＴＣ（system time clock）をマスタとして映像と音声とを同期再生するようにしている。

これに対し、近年では、それぞれが映像及び音声を含む複数のストリームを入力可能とし、その入力された各ストリームから選択した主ストリームの映像及び音声に対して、他のストリームの映像及び音声の同期再生を行なうことができるようにした情報再生装置が開発されている。

ところで、このような情報再生装置にあっては、他のストリームを同期させるべき主ストリームに応じてマスタとなるＳＴＣを設定しないと、主ストリームの表示されている映像のフレームがスキップされたり、音声が途切れたりして、視聴しているユーザに違和感を与えるという問題が生じる。

特許文献１には、映像及び音声の各符号化データの再生時刻管理情報（ＰＴＣ）を、予め設定されたＳＴＣと比較して同期及び非同期を検出し、同期状態では復号を許可し、非同期状態では復号不許可を復号処理部に送出することにより、伝送路誤りによる映像と音声との同期ずれや再生の途切れを低減する構成が開示されている。
特開２００２−２８１４４５号公報

そこで、この発明は上記事情を考慮してなされたもので、映像及び音声に違和感を生じさせることなく複数のストリームの同期再生を行なうことができる情報再生装置及び情報再生方法を提供することを目的とする。

この発明に係る情報再生装置は、それぞれが映像及び音声を含む複数のストリームが入力される入力手段と、入力手段に入力された複数のストリームから所定のストリームを選択させるための選択手段と、選択手段で選択されたストリームの音声再生時間をマスタとして、その選択されたストリームの映像と非選択ストリームの映像及び音声とを同期再生する同期再生手段とを備えるようにしたものである。

また、この発明に係る情報再生方法は、それぞれが映像及び音声を含む複数のストリームを入力する第１の工程と、第１の工程で入力された複数のストリームから所定のストリームを選択する第２の工程と、第２の工程で選択されたストリームの音声再生時間をマスタとして、その選択されたストリームの映像と非選択ストリームの映像及び音声とを同期再生する第３の工程とを備えるようにしたものである。

上記した構成及び方法によれば、選択されたストリームの音声再生時間をマスタとして、その選択されたストリームの映像と非選択ストリームの映像及び音声とを同期再生するようにしたので、映像及び音声に違和感を生じさせることなく複数のストリームの同期再生を行なうことが可能となる。

以下、この発明の実施の形態について図面を参照して詳細に説明する。図１は、この実施の形態で説明する情報再生装置１１の概略を示している。すなわち、この情報再生装置１１は、複数の入力端子１２１〜１２ｎを備えている。

これらの入力端子１２１〜１２ｎには、例えば、ＤＶＤ等の記録媒体から再生されたストリーム、放送を受信して得られたストリーム、ネットワークを介して取得されたストリーム等、それぞれが映像及び音声を含むストリームが入力されるようになっている。

これらの入力端子１２１〜１２ｎに入力された各ストリームは、それぞれ、データ処理部１３１〜１３ｎに供給されてフォーマット合わせ等の所定のデータ処理が施された後、デコード処理部１４に供給される。

このデコード処理部１４は、入力された各ストリームをそれぞれ映像信号と音声信号とに分離している。そして、分離した各映像信号にそれぞれデコード処理を施し、そのデコード処理後の複数の映像信号を映像処理部１５に出力している。

この映像処理部１５は、入力された複数の映像信号を、ユーザの要求する映像表示形態に対応して組み合わせ、出力端子１６を介して外部の映像表示部１７に供給して映像表示させている。

また、上記デコード処理部１４は、分離した各音声信号にそれぞれデコード処理を施して音声処理部１８に出力している。この音声処理部１８は、入力された複数の音声信号からユーザの要求する音声信号を選択し、出力端子１９を介して外部のスピーカ２０に供給して音声再生させている。

ここで、この情報再生装置１１は、上記した各種の再生動作を含む種々の動作を制御部２１によって統括的に制御されている。この制御部２１は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサであり、操作部２２からの操作情報を受ける、または、リモートコントローラ２３から送信された操作情報を受光部２４を介して受けることにより、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部２１は、メモリ部２５を使用している。このメモリ部２５は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。

図２は、上記デコード処理部１４の詳細を示している。ただし、図２に示すデコード処理部１４は、簡単のため、２つのストリームを入力可能なものとして示している。すなわち、このデコード処理部１４は、第１及び第２の入力端子２６１，２６２を備えている。

これら第１及び第２の入力端子２６１，２６２に入力されたストリーム１，２は、それぞれデマルチプレクサ２７に供給されて映像信号と音声信号とに分離される。そして、このデマルチプレクサ２７では、ストリーム１，２から分離した映像信号と音声信号とを、それらの信号の再生時刻を管理する情報であるＰＴＳ（presentation time stamp）を付加したＰＥＳ（packetized elementary stream）形式で出力している。

このうち、ストリーム１から分離された映像信号は、入力バッファ２８を介して映像デコーダ２９に供給されることによりデコード処理が施される。そして、この映像デコーダ２９は、ＳＴＣ発生部３０からシステム管理用に発生される時刻情報であるＳＴＣと、ＰＥＳ形式の入力映像信号に含まれるＰＴＳとを比較して、デコード処理後の映像信号の出力タイミングを決定し、出力端子３１を介して前記映像処理部１５に出力している。

また、上記ストリーム１から分離された音声信号は、入力バッファ３２を介して音声デコーダ３３に供給されることによりデコード処理が施される。そして、この音声デコーダ３３は、ＳＴＣ発生部３４から出力されるＳＴＣと、ＰＥＳ形式の入力音声信号に含まれるＰＴＳとを比較して、デコード処理後の音声信号の出力タイミングを決定し、出力端子３５を介して前記音声処理部１８に出力している。

ここで、音声デコーダ３３によるデコード処理後の音声信号のＰＴＳと、ＳＴＣ発生部３４から出力されるＳＴＣとは、差分演算部３６に供給されて両者の差分Δstc1が演算される。この差分Δstc1は、上記デマルチプレクサ２７に内蔵されたセレクタ３７の一方の入力端に供給される。

また、上記ストリーム２から分離された映像信号は、入力バッファ３８を介して映像デコーダ３９に供給されることによりデコード処理が施される。そして、この映像デコーダ３９は、ＳＴＣ発生部４０から出力されるＳＴＣと、ＰＥＳ形式の入力映像信号に含まれるＰＴＳとを比較して、デコード処理後の映像信号の出力タイミングを決定し、出力端子４１を介して前記映像処理部１５に出力している。

さらに、上記ストリーム２から分離された音声信号は、入力バッファ４２を介して音声デコーダ４３に供給されることによりデコード処理が施される。そして、この音声デコーダ４３は、ＳＴＣ発生部４４から出力されるＳＴＣと、ＰＥＳ形式の入力音声信号に含まれるＰＴＳとを比較して、デコード処理後の音声信号の出力タイミングを決定し、出力端子４５を介して前記音声処理部１８に出力している。

ここで、音声デコーダ４３によるデコード処理後の音声信号のＰＴＳと、ＳＴＣ発生部４４から出力されるＳＴＣとは、差分演算部４６に供給されて両者の差分Δstc2が演算される。この差分Δstc2は、上記デマルチプレクサ２７に内蔵されたセレクタ３７の他方の入力端に供給される。

このセレクタ３７は、前記制御部２１から制御端子４７を介して供給されるセレクト信号に基づいて、２つの入力端に供給された差分Δstc1，Δstc2のいずれか一方を各ＳＴＣ発生部３０，３４，４０，４４に供給している。

そして、各ＳＴＣ発生部３０，３４，４０，４４では、それぞれ、セレクタ３７から供給された差分Δstc1またはΔstc2を、自己の発生するＳＴＣにオフセットとして与えるように機能する。

次に、上記ストリーム１，２を同期再生することについて説明する。この場合、主ストリームとしてストリーム１を選択し、このストリーム１にストリーム２を同期させると、図３（ａ）に示すように、映像表示部１７に、ストリーム１の映像が主映像、ストリーム２の映像が副映像としてマルチ画面表示される。このとき、スピーカ２０からは、ストリーム１の音声が再生される。

また、主ストリームとしてストリーム２を選択し、このストリーム２にストリーム１を同期させると、図３（ｂ）に示すように、映像表示部１７に、ストリーム２の映像が主映像、ストリーム１の映像が副映像としてマルチ画面表示される。このとき、スピーカ２０からは、ストリーム２の音声が再生される。

ストリーム１，２のうち、いずれを主ストリームにするか、つまり、主ストリームの選択は、ユーザがリモートコントローラ２３の切替キー等を操作することにより、容易に実現可能である。そして、主ストリームとして選択されたストリーム１または２の音声に対するＳＴＣをマスタとするようにしている。

すなわち、図３（ａ）に示したように、主ストリームとしてストリーム１が選択された場合には、ストリーム１の音声に対するＳＴＣがマスタとなり、図３（ｂ）に示したように、主ストリームとしてストリーム２が選択された場合には、ストリーム２の音声に対するＳＴＣがマスタとなる。

これにより、例えば、主ストリームとしてストリーム２が選択された場合には、制御部２１は、差分演算部４６から出力される差分Δstc2を各ＳＴＣ発生部３０，３４，４０，４４に供給するように、セレクタ３７を制御するセレクト信号を発生する。このため、各ＳＴＣ発生部３０，３４，４０，４４では、それぞれ、セレクタ３７から供給された差分Δstc2を、自己の発生するＳＴＣにオフセットとして与える。

すると、映像デコーダ２９は、ＳＴＣ発生部３０から得られる、差分Δstc2がオフセットとして与えられたＳＴＣの値と、次に出力する映像信号のＰＴＳとを比較し、ＳＴＣがＰＴＳに対して進んでいる場合には、非参照映像信号のデコード処理をスキップし、ＳＴＣがＰＴＳに対して遅れている場合には、現在の出力映像を繰り返すことにより、ＰＴＳの値をＳＴＣに合わせることができる。つまり、ストリーム１の映像信号の出力タイミングを、ストリーム２の音声信号の出力タイミングに同期させることができる。

また、映像デコーダ３９も、ＳＴＣ発生部４０から得られる、差分Δstc2がオフセットとして与えられたＳＴＣの値と、次に出力する映像信号のＰＴＳとを比較し、ＳＴＣがＰＴＳに対して進んでいる場合には、非参照映像信号のデコード処理をスキップし、ＳＴＣがＰＴＳに対して遅れている場合には、現在の出力映像を繰り返すことにより、ＰＴＳの値をＳＴＣに合わせることができる。つまり、ストリーム２の映像信号の出力タイミングを、ストリーム２の音声信号の出力タイミングに同期させることができる。

さらに、音声デコーダ３３は、ＳＴＣ発生部３４から得られる、差分Δstc2がオフセットとして与えられたＳＴＣの値と、次に出力する音声フレームのＰＴＳとを比較し、ＳＴＣがＰＴＳに対して進んでいる場合には、音声フレームのデコード処理をスキップし、ＳＴＣがＰＴＳに対して遅れている場合には、デコード処理を停止することにより、ＰＴＳの値をＳＴＣに合わせることができる。つまり、ストリーム１の音声信号の出力タイミングを、ストリーム２の音声信号の出力タイミングに同期させることができる。

図４は、上記した同期再生動作をまとめたフローチャートを示している。すなわち、処理が開始（ステップＳ１）されると、制御部２１は、ステップＳ２で、主ストリームの切り替え状態を検知し、ステップＳ３で、主ストリームがストリーム１，２のいずれであるかを判別する。

そして、主ストリームがストリーム２であると判断された場合、制御部２１は、ステップＳ４で、差分演算部４６から出力される差分Δstc2が、各ＳＴＣ発生部３０，３４，４０，４４に供給されるようにセレクタ３７を制御する。

すると、ステップＳ５で、ストリーム２の音声信号を処理する音声デコーダ４３以外の映像デコーダ２９，３９及び音声デコーダ３３は、それぞれ、差分Δstc2がオフセットとして与えられたＳＴＣの値と、次に出力する信号のＰＴＳとを比較して、ＰＴＳの値をＳＴＣに合わせるように動作し、処理を終了（ステップＳ６）する。

これにより、主ストリームであるストリーム２の音声の再生時間に、ストリーム２の映像と、非選択ストリームであるストリーム１の映像及び音声とが合わされるように同期再生が行なわれる。

また、上記ステップＳ３で主ストリームがストリーム１であると判断された場合、制御部２１は、ステップＳ７で、差分演算部３６から出力される差分Δstc1が、各ＳＴＣ発生部３０，３４，４０，４４に供給されるようにセレクタ３７を制御する。

すると、ステップＳ８で、ストリーム１の音声信号を処理する音声デコーダ３３以外の映像デコーダ２９，３９及び音声デコーダ４３は、それぞれ、差分Δstc1がオフセットとして与えられたＳＴＣの値と、次に出力する信号のＰＴＳとを比較して、ＰＴＳの値をＳＴＣに合わせるように動作し、処理を終了（ステップＳ６）する。

これにより、主ストリームであるストリーム１の音声の再生時間に、ストリーム１の映像と、非選択ストリームであるストリーム２の映像及び音声とが合わされるように同期再生が行なわれる。

上記した実施の形態によれば、ストリーム１，２を同期再生する場合、ＳＴＣマスタを主ストリームの音声から得るようにしたので、映像及び音声に違和感を生じさせることなくストリーム１，２の同期再生を行なうことが可能となる。

ここで、上記した実施の形態では、２つのストリーム１，２を同期再生する場合について説明したが、これに限らず、３つ以上のストリームを同期再生する場合にも、主ストリームの音声からＳＴＣマスタを得るようにすれば実現可能であることはもちろんである。

入力されるストリームが３つ以上ある場合には、ユーザがリモートコントローラ２３を操作して、映像表示部１７に図５に示すような主ストリーム選択画面を表示させる。そして、リモートコントローラ２３を操作することにより、主ストリーム選択画面に表示された複数のストリームの中から所望のストリームを選択して決定することにより、主ストリームを設定することができる。

なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

この発明の実施の形態を示すもので、情報再生装置の概略を説明するために示すブロック構成図。 同実施の形態における情報再生装置のデコード処理部の詳細を説明するために示すブロック構成図。 同実施の形態における主ストリームを切り替えた場合の表示映像の一例を説明するために示す図。 同実施の形態における情報再生装置の同期再生動作を説明するために示すフローチャート。 同実施の形態における情報再生装置で表示される主ストリーム選択画面の一例を説明するために示す図。

符号の説明

１１…情報再生装置、１２１〜１２ｎ…入力端子、１３１〜１３ｎ…データ処理部、１４…デコード処理部、１５…映像処理部、１６…出力端子、１７…映像表示部、１８…音声処理部、１９…出力端子、２０…スピーカ、２１…制御部、２２…操作部、２３…リモートコントローラ、２４…受光部、２５…メモリ部、２６１，２６２…入力端子、２７…デマルチプレクサ、２８…入力バッファ、２９…映像デコーダ、３０…ＳＴＣ発生部、３１…出力端子、３２…入力バッファ、３３…音声デコーダ、３４…ＳＴＣ発生部、３５…出力端子、３６…差分演算部、３７…セレクタ、３８…入力バッファ、３９…映像デコーダ、４０…ＳＴＣ発生部、４１…出力端子、４２…入力バッファ、４３…音声デコーダ、４４…ＳＴＣ発生部、４５…出力端子、４６…差分演算部、４７…制御端子。

Claims (9)

1. それぞれが映像及び音声を含む複数のストリームが入力される入力手段と、
   前記入力手段に入力された複数のストリームから所定のストリームを選択させるための選択手段と、
   前記選択手段で選択されたストリームの音声再生時間をマスタとして、その選択されたストリームの映像と非選択ストリームの映像及び音声とを同期再生する同期再生手段とを具備することを特徴とする情報再生装置。
2. 前記同期再生手段は、
   前記入力手段に入力された複数のストリームに対応して設けられ、それぞれが対応するストリームに含まれる映像信号をデコード処理する複数の映像デコード手段と、
   前記入力手段に入力された複数のストリームに対応して設けられ、それぞれが対応するストリームに含まれる音声信号をデコード処理する複数の音声デコード手段と、
   前記選択手段で選択されたストリームの音声信号をデコード処理する前記音声デコード手段からの音声信号の出力タイミングに、非選択ストリームの音声信号をデコード処理する他の複数の音声デコード手段から出力される音声信号と、前記複数の映像デコード手段から出力される映像信号との出力タイミングを同期させる同期制御手段とを具備することを特徴とする請求項１記載の情報再生装置。
3. 前記複数の映像デコード手段は、それぞれ、入力される映像信号に含まれる再生時刻の管理情報と、各映像デコード手段に対応してシステム管理用に発生される時刻情報とを比較して、デコード処理後の映像信号の出力タイミングを決定し、
   前記複数の音声デコード手段は、それぞれ、入力される音声信号に含まれる再生時刻の管理情報と、各音声デコード手段に対応してシステム管理用に発生される時刻情報とを比較して、デコード処理後の音声信号の出力タイミングを決定し、
   前記同期制御手段は、前記選択手段で選択されたストリームの音声信号に含まれる再生時刻の管理情報と、その選択されたストリームの音声信号をデコード処理する音声デコード手段に対応してシステム管理用に発生された時刻情報との差分を、前記複数の映像デコード手段及び複数の音声デコード手段に対応してシステム管理用に発生される時刻情報にオフセットとして与えることを特徴とする請求項２記載の情報再生装置。
4. 前記同期制御手段は、
   前記複数の音声デコード手段に対応して設けられ、それぞれが対応する音声デコード手段に入力される音声信号に含まれる再生時刻の管理情報と、その音声デコード手段に対応してシステム管理用に発生される時刻情報との差分を演算する複数の演算手段と、
   前記複数の演算手段からそれぞれ得られる各差分のうち、前記選択手段で選択されたストリームの音声信号をデコード処理する前記音声デコード手段に対応して設けられた演算手段から得られる差分を選択して、前記複数の映像デコード手段及び複数の音声デコード手段に対応してシステム管理用に発生される時刻情報にオフセットとして与える差分選択手段とを具備することを特徴とする請求項３記載の情報再生装置。
5. 前記音声信号及び映像信号に含まれる再生時刻の管理情報はＰＴＳであり、前記複数の映像デコード手段及び複数の音声デコード手段に対応してシステム管理用に発生される時刻情報はＳＴＣであることを特徴とする請求項１乃至４いずれかに記載の情報再生装置。
6. それぞれが映像及び音声を含む複数のストリームを入力する第１の工程と、
   前記第１の工程で入力された複数のストリームから所定のストリームを選択する第２の工程と、
   前記第２の工程で選択されたストリームの音声再生時間をマスタとして、その選択されたストリームの映像と非選択ストリームの映像及び音声とを同期再生する第３の工程とを具備することを特徴とする情報再生方法。
7. 前記第３の工程は、
   前記第１の工程で入力された複数のストリームにそれぞれ対応して設けられる映像デコード手段により、複数のストリームに含まれる映像信号をそれぞれデコード処理する第４の工程と、
   前記第１の工程で入力された複数のストリームにそれぞれ対応して設けられる音声デコード手段により、複数のストリームに含まれる音声信号をそれぞれデコード処理する第５の工程と、
   前記第２の工程で選択されたストリームの音声信号をデコード処理する前記音声デコード手段からの音声信号の出力タイミングに、非選択ストリームの音声信号をデコード処理する他の複数の音声デコード手段から出力される音声信号と、前記複数の映像デコード手段から出力される映像信号との出力タイミングを同期させる第６の工程とを具備することを特徴とする請求項６記載の情報再生方法。
8. 前記複数の映像デコード手段は、それぞれ、入力される映像信号に含まれる再生時刻の管理情報と、各映像デコード手段に対応してシステム管理用に発生される時刻情報とを比較して、デコード処理後の映像信号の出力タイミングを決定する工程を有し、
   前記複数の音声デコード手段は、それぞれ、入力される音声信号に含まれる再生時刻の管理情報と、各音声デコード手段に対応してシステム管理用に発生される時刻情報とを比較して、デコード処理後の音声信号の出力タイミングを決定する工程を有し、
   前記第６の工程は、前記第２の工程で選択されたストリームの音声信号に含まれる再生時刻の管理情報と、その選択されたストリームの音声信号をデコード処理する音声デコード手段に対応してシステム管理用に発生された時刻情報との差分を、前記複数の映像デコード手段及び複数の音声デコード手段に対応してシステム管理用に発生される時刻情報にオフセットとして与えることを特徴とする請求項７記載の情報再生方法。
9. 前記第６の工程は、
   前記複数の音声デコード手段にそれぞれ対応して設けられる演算手段により、前記複数の音声デコード手段に対して、入力される音声信号に含まれる再生時刻の管理情報と、その音声デコード手段に対応してシステム管理用に発生される時刻情報との差分をそれぞれ演算する第７の工程と、
   前記第７の工程で前記複数の演算手段からそれぞれ得られる各差分のうち、前記第２の工程で選択されたストリームの音声信号をデコード処理する前記音声デコード手段に対応して設けられた演算手段から得られる差分を選択して、前記複数の映像デコード手段及び複数の音声デコード手段に対応してシステム管理用に発生される時刻情報にオフセットとして与える第８の工程とを具備することを特徴とする請求項８記載の情報再生方法。

Images