JP2007158499A

JP2007158499A - 多画面表示装置

Info

Publication number: JP2007158499A
Application number: JP2005347742A
Authority: JP
Inventors: Junko Yagi; 順子八木; Shigeyuki Tsunetani; 茂之常谷; Yoshio Matsuoka; 美穂松岡
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-12-01
Filing date: 2005-12-01
Publication date: 2007-06-21

Abstract

【課題】主画面と複数の子画面を持つ多画面表示装置において、複数のストリームの同時再生を実現する場合、再生に必要なストリームバッファがストリームの数だけ必要となるため、限られたメモリ資源の組み込みシステムでは、同時再生の実現が困難となる。
【解決手段】子画面に表示される多重化ストリームに関しては、音声データは再生せず、基準画像データのみ再生する。また、多重化ストリームから再生に必要な部分を抽出する再生ストリーム抽出部１１１を備え、ストリームバッファSBBやビデオバッファVBBは基準画像データが格納できるサイズに削減する。また、子画面再生用のオーディオバッファは削除する。
【選択図】図１

Description

本発明は、音声データや画像データが多重化されたストリームを複数同時に再生し、一つの主画面と主画面より小さい複数の子画面で再生する多画面表示装置に関するものである。

マルチチャンネルの多重化ストリームが伝送されるデジタルテレビ放送では、テレビなどの単一の表示画面に、大きさの異なるウィンドウを複数用意し、異なるチャンネルを同時に再生する機能が求められる。マルチチャンネル同時再生を実現した場合の単一の表示画面の例を図２に示す。

図２のように、主画面である番組を再生しながら、主画面よりも小さいウィンドウを持つ複数の子画面で同時に放送されている別の番組を再生する必要がある。なお、主画面や子画面で再生する多重化ストリームは、テレビ放送に関わらず、記録メディアに格納されている多重化ストリームでも良い。

パーソナルコンピュータのような処理能力や使用可能なメモリが十分に存在する機器とは異なり、テレビなどの組み込みシステムでは限られた処理能力の中で複数のストリームの同時再生を行う必要がある。そのため、すべてのストリームを完全に再生（すなわち、復号化）することは困難である。

そこで、従来の多画面表示装置では、主ウィンドウに表示される画像に関しては完全に復号化を行い、小さいサブウィンドウに表示される画像に関しては部分的に復号化を行うことにより、全体的な処理量を削減している（例えば、特許文献１参照）。従来の多画面表示装置の処理フローチャートを図９に示す。
特表２００２−５３２９９８（第１０−１１頁、第三図）

ところで、従来の多画面表示装置では、処理量の削減が目的となっているが、実際に複数ストリームを同時再生する場合には、多重化ストリームの数だけストリームバッファが必要となり、メモリ資源が限られている組み込みシステムでの同時再生は困難となる課題がある。

また、実際に放送局から送られてくるストリームや記録メディア上のストリームには音声データも含まれているため、音声データを含む多重化ストリームを複数同時再生する場合を考慮する必要がある。しかし従来の多画面表示装置では、画像復号化に関する処理量の削減しか言及されていない。

そこで、本発明は、音声データと画像データが多重化された複数のストリームを同時再生する場合に必要な、メモリ使用量の削減を実現する多画面表示装置を提供するものである。

本発明の多画面表示装置は、主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する子画面再生部とを備え、
主画面再生部は、多重化データを格納する主画面データ格納部と、主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、第１の多重分離部により分離された音声データを格納する音声データ格納部と、音声データ格納部の音声データを復号する音声復号部と、多重分離部により分離された画像データを格納する画像データ格納部と、画像データを復号する画像復号部とを有し、
子画面再生部は、ストリームから基準画像の再生に必要な部分を抽出する再生ストリーム抽出部と、再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、データから基準画像データを取り出す第２の多重分離部と、第２の多重分離部で取り出した基準画像データを格納する基準画像格納部と、基準画像データを復号する画像復号部を有するものである。

本発明の別の多画面表示装置は、主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する子画面再生部とを備え、
主画面再生部は、再生に必要な多重化データを抽出する第１の再生ストリーム再生部と、第１の再生ストリーム再生部で抽出したデータを格納する主画面データ格納部と、主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、第１の多重分離部により分離された画像データを格納する画像データ格納部と、画像データを復号する画像復号部とを有し、
子画面再生部は、再生に必要な多重化データを抽出する第２の再生ストリーム抽出部と、第２の再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、データから音声データと基準画像データに分離する第２の多重分離部と、第２の多重分離部で取り出した基準画像データを格納する基準画像格納部と、基準画像データを復号する画像復号部とを有し、
第１の多重分離部により分離された音声データまたは第２の多重分離部により分離された音声データを格納する共通の音声データ格納部と、音声データ格納部の音声データを復号する共通の音声復号部とを有し、
第１の再生ストリーム抽出部および第２の再生ストリーム抽出部は、音声データの抽出を選択的に行うものである。

本発明の別の多画面表示装置は、主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する第１の子画面再生部および第２の子画面再生部とを備え、
主画面再生部は、再生に必要な多重化データを抽出する第１の再生ストリーム再生部と、第１の再生ストリーム再生部で抽出したデータを格納する主画面データ格納部と、主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、第１の多重分離部により分離された画像データを格納する画像データ格納部と、画像データを復号する画像復号部とを有し、
第１の子画面再生部および第２の子画面再生部の各々は、再生に必要な多重化データを抽出する第２の再生ストリーム抽出部と、第２の再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、データから音声データと基準画像データに分離する第２の多重分離部と、第２の多重分離部で取り出した基準画像データを格納する基準画像格納部とを有し、
第１の子画面再生部と第２の子画面再生部の各々の基準画像格納部のデータを復号する共用の画像復号部を有し、
さらに、第１の多重分離部により分離された音声データまたは第２の多重分離部により分離された音声データを格納する共通の音声データ格納部と、音声データ格納部の音声データを復号する共通の音声復号部とを有し、
第１の再生ストリーム抽出部および第２の再生ストリーム抽出部は、音声データの抽出を選択的に行うものである。

本発明の別の多画面表示装置は、主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する第１の子画面再生部および第２の子画面再生部とを備え、
主画面再生部は、再生に必要な多重化データを抽出する第１の再生ストリーム再生部と、第１の再生ストリーム再生部で抽出したデータを格納する主画面データ格納部と、主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、第１の多重分離部により分離された画像データを格納する画像データ格納部とを有し、
第１の子画面再生部および第２の子画面再生部の各々は、再生に必要な多重化データを抽出する第２の再生ストリーム抽出部と、第２の再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、データから音声データと基準画像データに分離する第２の多重分離部と、第２の多重分離部で取り出した基準画像データを格納する基準画像格納部とを有し、
主画面再生部の画像データ格納部ならびに第１の子画面再生部および第２の子画面再生部の基準画像格納部のデータを復号する共用の画像復号部を有し、
さらに、第１の多重分離部により分離された音声データまたは第２の多重分離部により分離された音声データを格納する共通の音声データ格納部と、音声データ格納部の音声データを復号する共通の音声復号部とを有し、
第１の再生ストリーム抽出部および第２の再生ストリーム抽出部は、音声データの抽出を選択的に行うものである。

本発明の多画面表示装置では、主画面に表示される多重化ストリームに関しては、画像データと音声データを完全に再生し、子画面に表示される多重化ストリームに関しては、基準画像データのみの再生を行い、音声データは再生しない。そのために、子画面再生用の再生ストリーム抽出部を備え、子画面用のデータ格納部例えばストリームバッファは基準画像１フレーム分に多重化ストリームのヘッダ分加えたサイズとし、子画面用の音声データ格納部例えばオーディオバッファは存在せず、子画面用の画像データ格納部例えばビデオバッファは基準画像1フレームのサイズとする。

上記構成によると、再生ストリーム抽出部で音声データと画像データが多重化されたストリームから、子画面再生に必要な基準画像データのみを抽出することにより、子画面再生用のストリームバッファやビデオバッファを削減することができ、かつ、不要なオーディオバッファは削除することにより、システム全体のメモリ使用量を削減することが可能となる。

以上のように、本発明の多画面表示装置は、組み込みシステムにおいて複数のストリームを同時に再生して一つの画面に表示する場合に問題となるメモリ使用量を削減することが可能となる。また、一つの音声データのみ復号化することにより、システム全体の処理量を削減することも可能となる。

さらに、本発明の別の多画面表示装置は、主画面および子画面共に再生ストリーム抽出部を備え、主画面および子画面のストリームバッファは、再生ストリーム抽出部での抽出パターンに応じた最適なサイズを動的に設定し、子画面用のビデオバッファは基準画像1フレーム分のサイズであり、主画面および子画面共通のオーディオバッファを一つ備えるものとする。

この構成によると、主画面の音声だけでなく、子画面の音声を再生することが可能となる。また、再生ストリーム抽出部で抽出するデータパターンに応じてストリームバッファの最適化を行うことにより、メモリ使用量を削減することが可能となる。

さらに、本発明の別の多画面表示装置は、子画面共通の画像復号部を備えるものとする。

この構成によると、一つの画像復号部を用いて複数の子画面の基準画像再生を行うことにより、システム全体の回路面積の削減が可能となる。

さらに、本発明の別の多画面表示装置は、主画面および子画面共通の画像復号部を備えるものとする。

この構成によると、一つの画像復号部を用いて、主画面および子画面の画像再生を行い、主画面再生の空き時間を用いて子画面の基準画像再生を行うことにより、システム全体の回路規模の削減が可能となる。

このような多画面表示装置は、マルチチャンネルのディジタル放送向けテレビシステムなどに活用することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の第１の実施形態に係る多画面表示装置の構成を示している。図１の多画面表示装置の主画面再生部１０１は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム１０３を入力とし、多重化ストリームを格納しておくストリームバッファ（以下、SBB）１０４と、SBBに格納されている多重化ストリームを音声データと画像データに分離する多重分離部１０５と、多重分離部１０５で出力される音声データを格納するオーディオバッファ（以下、ABB）１０６と、多重分離部１０５で出力される画像データを格納するビデオバッファ（以下、VBB）１０８と、音声データを復号化する音声復号部１０７と、画像データを復号化する画像復号部１０９を備えるものとする。

また、図１の多画面表示装置の子画面再生部１０２は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム１１０を入力とし、再生に必要な多重化データを抽出する再生ストリーム抽出部１１１と、抽出された多重化ストリームを格納しておくSBB１１２と、SBB１１２に格納されている多重化ストリームを音声データと画像データに分離する多重分離部１１３と、多重分離部１１３で出力される画像データを格納するVBB１１４と、画像データを復号化する画像復号部１１５を備えるものとする。なお子画面再生部１０２は、多画面表示装置で表示する子画面の数だけ存在する。

多画面表示装置に関する実施の形態の一連の流れを説明する。

放送ストリームあるいは記録メディアに格納されている多重化ストリームを複数同時に再生する場合、主画面に表示する多重化ストリームを多画面表示装置の主画面再生部１０１に入力し、子画面に表示する多重化ストリームを多画面表示装置の子画面再生部１０２に入力する。主画面再生部１０１に入力された多重化データは、一旦SBB１０４に格納され、多重分離部１０５において、音声データと画像データに分離され、それぞれABB１０６およびVBB１０８に格納される。その後、音声復号部１０７および画像復号部１０９によってすべての音声データおよび画像データが復号化され、音声再生および画像再生が行われる。

一方、子画面再生部１０２に入力された多重化ストリームは、まず再生ストリーム抽出部１１１において、基準画像の再生に必要な部分だけが抽出され、SBB１１２に入力される。ここで、多重化ストリームの構成を図３に示す。３０１は多重化ストリーム例である。

図３では、MPEG-2 PS多重化フォーマットを例として説明する。MPEG-2 PSは、２０４８バイトの固定長のPACKで構成され、PACKの中に音声データや画像データが格納される。また、一つのPACKに格納することができるデータの種類は一種類のみである。すなわち、１つのPACKの中には音声データあるいは画像データいずれかが存在する。音声データが格納されているPACK（以下、APCK）と画像データが格納されているPACK（以下、VPCK）とは、PACK先頭のヘッダ情報より識別できる。また、MPEG-2 PSを記録するメディアに応じて拡張された規格であるDVD-VideoやDVD-VR、SD-Video規格では、基準画像データに関する情報が付加情報として存在し、基準画像データの多重化位置に関する情報や、基準画像データが何個のPACKに格納されているかなどといった情報が取得可能である。

再生ストリーム抽出部１１１では、多重化データから基準画像データが含まれるVPCKのみを抽出し、SBB１１２に出力する。SBB１１２に出力されるMPEG2-PSデータを図４に示す。４０１は再生ストリーム抽出部で抽出された多重化ストリーム例である。このように、本来の多重化ストリームから基準画像データが含まれるPACKのみを抽出することにより、SBB１１２のサイズを削減することができる。SBBサイズの最小値としては、基準画像データ1フレームのサイズに、PACKのヘッダサイズ分を加算した値になる。

SBB１１２に格納された基準画像データを含む多重化ストリームは、多重分離部１１３によって基準画像データのみ取り出され、VBB１１４に入力される。VBB１１４には、基準画像データ1フレーム分のみが入力されるため、VBBサイズの最小値としては、基準画像データ1フレーム分のサイズとなる。そして、VBB１１４に入力された画像データは画像復号部１１５によって復号化され、子画面に再生される。

このように、複数の多重化ストリームを同時に再生する装置において、子画面の再生用に再生ストリーム抽出部を備えることにより、子画面再生に必要なSBBやVBBを削減することができる。また、主画面で再生される多重化データの音声データのみ再生することにより、子画面再生用のABBや音声復号部は不要となる。したがって、システム全体のメモリ使用量や処理量を削減することが可能となる。

以上、説明したように、第１の実施形態によると、複数の多重化ストリームを同時に再生する場合に、再生するストリームの数だけSBB、VBB、ABBが必要となり、メモリ量が増加するところを、子画面再生部に再生ストリーム抽出部を備えることにより、子画面再生用のSBBおよびVBBサイズを削減し、かつ、ABBを削除することにより、システム全体のメモリ使用量を削減することが可能となる。また、一つの音声データのみ復号化を行うことにより、システム全体の処理量を削減することも可能となる。
（実施の形態２）
図５は本発明の第２の実施形態に係る多画面表示装置の構成を示している。図５の多画面表示装置の主画面再生部５０１は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム５０３を入力とし、再生に必要な多重化データを抽出する再生ストリーム抽出部５０４と、抽出された多重化ストリームを格納しておくSBB５０５と、SBB５０５に含まれる多重化ストリームを音声データと画像データに分離する多重分離部５０６と、多重分離部５０６で出力される画像データを格納するVBB５０７と、画像データを復号化する画像復号部５０８を備えるものとする。また、図５の多画面表示装置の子画面再生部５０２は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム５０９を入力とし、再生に必要な多重化データを抽出する再生ストリーム抽出部５１０と、抽出された多重化ストリームを格納しておくSBB５１１と、SBBに含まれる多重化ストリームを音声データと画像データに分離する多重分離部５１２と、多重分離部５１２で出力される画像データを格納するVBB５１３と、画像データを復号化する画像復号部５１４を備えるものとする。なお子画面再生部５０２は、多画面表示装置で表示する子画面の数だけ存在する。また、主画面再生および子画面再生で共通に使用される、音声データを格納するABB５１５および音声データを復号する音声復号部５１６を備えるものとする。

放送ストリームあるいは記録メディアに格納されている多重化ストリームを複数同時に再生する場合、主画面に表示する多重化ストリームを多画面表示装置の主画面再生部５０１に入力し、子画面に表示する多重化ストリームを多画面表示装置の子画面再生部５０２に入力する。主画面再生部５０１では、画像データはすべて復号化されるが、子画面再生部５０２では、基準画像データのみ再生される。また、音声データに関しては、ユーザが指定した画像の音声データを再生する。すなわち、主画面の音声データを再生するとは限らず、子画面の音声データを再生することも可能である。

このように、ユーザがどの音声データを再生するかを指定するため、主画面および子画面再生部共に再生ストリーム抽出部５０４、５１０を備えるものとする。また、再生ストリーム抽出部５０４、５１０で抽出されるPACKのパターンは限られており、抽出パターンを表１に示す。表１は再生ストリーム抽出部での抽出パターンである。

画像データをすべて抽出するパターン１とパターン2は、主画面再生部５０１の再生ストリーム抽出部５０４で起こりうる抽出パターンである。一方、基準画像データのみを抽出するパターン３とパターン４は、子画面再生部５０２の再生ストリーム抽出部５１０で起こりうる抽出パターンである。このように、多重化ストリームが主画面あるいは子画面いずれの画面で再生されるかということと、どの音声データが再生されるかということによって、４パターンのいずれかの抽出を行う。

表１に示す再生ストリーム抽出部５０４、５１０での抽出パターンに基づいて、主画面および子画面再生部のSBBは最適なサイズに動的に設定される。SBBのサイズの設定例を表２に示す。表２は再生ストリーム抽出部での抽出パターンとSBBサイズの関係である。

このように再生ストリーム抽出部５０４、５１０での抽出パターンに応じたSBBサイズを設定することにより、SBBサイズの全体最適が可能となる。

各SBB５０５、５１１に出力された多重化ストリームを、主画面再生部５０１での多重分離部５０６ではすべての画像データをVBB５０７に出力し、画像復号部５０８で画像復号化を行う。また、子画面再生部５０２での多重分離部５１２では、基準画像データのみをVBB５１３に出力し、画像復号部５１４で画像復号化を行う。

また、音声データの再生が選択された多重化ストリームでは、再生ストリーム抽出部５０４あるいは５１０において、VPCKだけでなくAPCKも抽出されてSBB５０５あるいは５１１に出力される。そして、多重分離部５０６あるいは５１２において、音声データは主画面および子画面共通のABB５１５に出力され、共通の音声復号部５１６によって音声データの復号化が行われる。

このように、複数の多重化ストリームを同時に再生する装置において、主画面および子画面共に再生ストリーム抽出部５０４、５１０を備え、かつ、主画面および子画面共通のABB５１５および音声復号部５１６を備えることにより、主画面および子画面で再生する画像データはそのままの状態で、ユーザが指定する音声データの再生が可能となる。また複数ストリーム同時再生に必要なSBB５０５、５１１のサイズを、再生ストリーム抽出部５０４、５１０での抽出パターンに応じたサイズを設定することにより、システム全体のSBBのサイズの最適化を行うことが可能となる。

以上、説明したように、第２の実施形態によると、複数の多重化ストリームを同時に再生する場合に、画面構成はそのままの状態で、ユーザが指定する音声データの再生が可能となる。また、SBB５０５、５１１のサイズを再生ストリームの抽出パターンに応じて動的に変更することにより、システム全体のメモリ使用量の最適化および削減が可能となる。
（実施の形態３）
図６は本発明の第３の実施形態に係る多画面表示装置の構成を示している。図６の多画面表示装置の主画面再生部６０１は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム６０４を入力とし、再生に必要な多重化データを抽出する再生ストリーム抽出部６０５と、抽出された多重化ストリームを格納しておくSBB６０６と、SBB６０６に含まれる多重化ストリームを音声データと画像データに分離する多重分離部６０７と、多重分離部６０７で出力される画像データを格納するVBB６０８と、画像データを復号化する画像復号部６０９を備えるものとする。また、図６の多画面表示装置の子画面再生部６０２、６０３は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム６１０、６１５を入力とし、再生に必要な多重化データを抽出する再生ストリーム抽出部６１１、６１６と、抽出された多重化ストリームを格納しておくSBB６１２、６１７と、SBB６１２、６１７に含まれる多重化ストリームを音声データと画像データに分離する多重分離部６１３、６１８と、多重分離部６１３、６１８で出力される画像データを格納するVBB６１４、６１９を備えるものとする。なお、子画面再生部６０２、６０３は、多画面表示装置で表示する子画面の数だけ存在する。また、主画面再生および子画面再生で共通に使用される音声データを格納するABB６２０および音声復号部６２１と、子画面再生で共通に使用される画像復号部６２２を備えるものとする。

放送ストリームあるいは記録メディアに格納されている多重化ストリームを複数同時に再生する場合、主画面に表示する多重化ストリームを多画面表示装置の主画面再生部６０１に入力し、子画面に表示する多重化ストリームを多画面表示装置の子画面再生部６０２、６０３に入力する。主画面再生部６０１では、画像データはすべて復号化されるが、子画面再生部６０２、６０３では、基準画像データのみ再生される。また、音声データに関しては、ユーザが指定した画像の音声データを再生する。すなわち、主画面の音声データを再生するとは限らず、子画面の音声データを再生することも可能である。

このように、ユーザがどの音声データを再生するかを指定するため、主画面および子画面再生部６０１、６０２、６０３共に再生ストリーム抽出部６０５、６１１、６１６を備えるものとする。再生ストリーム抽出部６０５、６１１、６１６での抽出パターンに応じてSBB６０６、６１２、６１７のサイズを設定する。そして、各SBB６０６、６１２、６１７に出力された多重化ストリームを、主画面再生部６０１での多重分離部６０７ではすべての画像データをVBB６０８に出力し、画像復号部６０９で画像復号化を行う。また、子画面再生部６０２、６０３での多重分離部６１３、６１８では、基準画像データのみをVBB６１４、６１９に出力し、画像復号部６２２で画像復号化を行う。

ここで、子画面で表示する画像データは、子画面共通の画像復号部６２２で画像復号化を行う。子画面共通の画像復号部６２２には、子画面再生部６０２、６０３のVBB６１４、６１９に格納されている基準画像データがシーケンシャルに入力される。子画面共通の画像復号部６２２は、入力された順に基準画像データを復号化する。子画面共通の画像復号部６２２の処理内容を図７に示す。図７では、子画面に表示する画像データが0.5秒ごとの基準画像であり、子画面が子画面1と子画面2の二つ存在すると仮定している。子画面共通の画像復号部は、子画面1の画像データを復号したあとに、子画面2の画像データを復号する。なお、子画面それぞれに画像復号部が存在する場合とは異なり、子画面1と子画面2の画面切替は同一タイミングにはならない。しかし、子画面の画像サイズは小さいため、画面切替タイミングの相違は人間の視覚的には特に問題にはならない。

このように、複数の多重化ストリームを同時に再生する装置において、子画面共通の画像復号部６２２を備えることにより、各子画面専用の画像復号部は不要となる。したがって、システム全体の回路面積を削減することが可能となる。

以上、説明したように、第３の実施形態によると、複数の多重化ストリームを同時に再生する場合に、子画面再生において画像復号部を共有することにより、システム全体の回路面積を削減することが可能となる。
（実施の形態４）
図８は本発明の第４の実施形態に係る多画面表示装置の構成を示している。図８の多画面表示装置の主画面再生部７０１は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム７０４を入力とし、再生に必要な多重化データを抽出する再生ストリーム抽出部７０５と、抽出された多重化ストリームを格納しておくSBB７０６と、SBB７０６に含まれる多重化ストリームを音声データと画像データに分離する多重分離部７０７と、多重分離部７０７で出力される画像データを格納するVBB７０８を備えるものとする。また、図８の多画面表示装置の子画面再生部７０２、７０３は、放送ストリームあるいは記録メディアに格納されている多重化ストリーム７０９、７１４を入力とし、再生に必要な多重化データを抽出する再生ストリーム抽出部７１０、７１５と、抽出された多重化ストリームを格納しておくSBB７１１、７１６と、SBB７１１、７１６に含まれる多重化ストリームを音声データと画像データに分離する多重分離部７１２、７１７と、多重分離部７１２、７１７で出力される画像データを格納するVBB７１３、７１８を備えるものとする。なお、子画面再生部７０２、７０３は、多画面表示装置で表示する子画面の数だけ存在する。また、主画面再生および子画面再生で共通に使用されるABB７２０および音声復号部７２１と、主画面再生および子画面再生で共通に使用される画像復号部７１９を備えるものとする。

放送ストリームあるいは記録メディアに格納されている多重化ストリームを複数同時に再生する場合、主画面に表示する多重化ストリームを多画面表示装置の主画面再生部７０１に入力し、子画面に表示する多重化ストリームを多画面表示装置の子画面再生部７０２、７０３に入力する。主画面再生部７０１では、画像データはすべて復号化されるが、子画面再生部７０２、７０３では、基準画像データのみ再生される。また、音声データに関しては、ユーザが指定した画像の音声データを再生する。すなわち、主画面の音声データを再生するとは限らず、子画面の音声データを再生することも可能である。

このように、どの音声データを再生するかをユーザが指定するため、主画面および子画面再生部共に再生ストリーム抽出部７０５、７１０、７１５を備えるものとする。再生ストリーム抽出部７０５、７１０、７１５での抽出パターンに応じてSBB７０６、７１１、７１６のサイズを設定する。そして、各SBB７０６、７１１、７１６に出力された多重化ストリームを、主画面再生部７０１での多重分離部７０７ではすべての画像データをVBB７０８に出力し、画像復号部７１９で画像復号化を行う。また、子画面再生部７０２、７０３での多重分離部７１２、７１７では、基準画像データのみをVBB７１３、７１８に出力し、画像復号部７１９で画像復号化を行う。

ここで、画像データは、主画面および子画面共通の画像復号部７１９で画像復号化を行う。なお、主画面に表示される画像データの復号化を優先させ、主画面用の画像復号処理の空き時間を利用して、子画面に表示される画像データの復号化を行う。

このように、複数の多重化ストリームを同時に再生する装置において、主画面および子画面共通の画像復号部７１９を備えることにより、子画面再生用の画像復号部は不要となる。したがって、システム全体の回路面積を削減することが可能となる。

以上、説明したように、第４の実施形態によると、複数の多重化ストリームを同時に再生する場合に、主画面再生および子画面再生において画像復号部を共有し、主画面再生の空き時間を用いて子画面再生をすることにより、システム全体の回路面積を削減することが可能となる。

上記実施の形態１〜４に基づいて本発明に係る多画面表示装置を説明してきたが、本発明の実施の形態はこれらに限るものではない。以下にその変形形態について述べる。

上記実施の形態において、本発明に係る多画面表示装置を説明してきたが、組み込みシステムにおける主画面再生部および子画面再生部共に、ハードウェアあるいはソフトウェアいずれで実現してもよい。また、ハードウェアで処理する部分やソフトウェアで処理する部分が混在してもよい。

上記実施の形態において、本発明に係る多画面表示装置での再生ストリーム抽出部は一つのチャンネルの多重化ストリームから再生に必要なデータを抽出するように説明してきたが、これは一つのチャンネルである必要はなく、マルチチャンネルの多重化ストリームであってもよい。すなわち、再生ストリーム抽出部は、マルチチャンネルの多重化ストリームから主画面あるいは子画面で再生するチャンネルのストリームを抽出し、その後、再生時に必要なデータのみ抽出する機能を有する。

上記実施の形態において、本発明に係る多画面表示装置でのABB、およびVBBは、それぞれバッファとして確保するように説明してきたが、これはバッファである必要はなく、多重化ストリーム上のアドレスを参照できればよい。すなわち、音声データ、および画像データそれぞれをバッファリングするのではなく、SBB上のアドレスに基づいて、音声復号処理および画像復号処理を行う機能を有する。

本発明の多画面表示装置は、再生ストリーム抽出部を有し、多重化ストリームの中から再生に必要な部分だけを抽出することにより、ストリームバッファの削減が可能となる。また、再生ストリームの抽出パターンに応じたストリームバッファサイズを設定することにより、システム全体のメモリ使用量を最適化することが可能となる。したがって、複数の多重化ストリームを同時に再生するマルチチャンネルのディジタル放送向けテレビシステムなどに有用である。

本発明の第１の実施形態に係る多画面表示装置の構成を示すブロック図である。多画面表示装置のイメージ図である。多重化ストリームの構成図である。再生ストリーム抽出部で出力される多重化ストリームの構成図である。本発明の第２の実施形態に係る多画面表示装置の構成を示すブロック図である。本発明の第３の実施形態に係る多画面表示装置の構成を示すブロック図である。子画面共通の画像復号部の処理を示す図である。本発明の第４の実施形態に係る多画面表示装置の構成を示すブロック図である。従来の多画面表示装置の処理フローチャートである。

符号の説明

１０１、５０１、６０１、７０１主画面再生部
１０２、５０２、６０２、６０３、７０２、７０３子画面再生部
１０３、５０３、６０４、７０４主画面用多重化ストリーム
１０４、５０５、６０６、７０６主画面用ストリームバッファ
５０４、６０５、７０５主画面用再生ストリーム抽出部
１０５、５０６、６０７、７０７主画面用多重分離部
１０６主画面用オーディオバッファ
１０７主画面用音声復号部
１０８、５０７、６０８、７０８主画面用ビデオバッファ
１０９、５０８、６０９主画面用画像復号部
１１０、５０９、６１０、６１５、７０９、７１４子画面用多重化ストリーム
１１１、５１０、６１１、６１６、７１０、７１５子画面用再生ストリーム抽出部
１１２、５１１、６１２、６１７、７１１、７１６子画面用ストリームバッファ
１１３、５１２、６１３、６１８、７１２、７１７子画面用多重分離部
１１４、５１３、６１４、６１９、７１３、７１８子画面用ビデオバッファ
１１５、５１４子画面用画像復号部
５１５、６２０、７２０主画面・子画面共通オーディオバッファ
５１６、６２１、７２１主画面・子画面共通音声復号部
６２２子画面共通画像復号部
７１９主画面・子画面共通画像復号部
２０１多画面表示装置のディスプレイ
３０１多重化ストリーム例
４０１再生ストリーム抽出部で抽出された多重化ストリーム例

Claims

主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する子画面再生部とを備え、
前記主画面再生部は、多重化データを格納する主画面データ格納部と、前記主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、前記第１の多重分離部により分離された前記音声データを格納する音声データ格納部と、前記音声データ格納部の音声データを復号する音声復号部と、前記多重分離部により分離された前記画像データを格納する画像データ格納部と、前記画像データを復号する画像復号部とを有し、
前記子画面再生部は、前記ストリームから基準画像の再生に必要な部分を抽出する再生ストリーム抽出部と、前記再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、前記データから基準画像データを取り出す第２の多重分離部と、前記第２の多重分離部で取り出した前記基準画像データを格納する基準画像格納部と、前記基準画像データを復号する画像復号部を有する多画面表示装置。
主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する子画面再生部とを備え、
前記主画面再生部は、再生に必要な多重化データを抽出する第１の再生ストリーム再生部と、前記第１の再生ストリーム再生部で抽出したデータを格納する主画面データ格納部と、前記主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、前記第１の多重分離部により分離された前記画像データを格納する画像データ格納部と、前記画像データを復号する画像復号部とを有し、
前記子画面再生部は、再生に必要な多重化データを抽出する第２の再生ストリーム抽出部と、前記第２の再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、前記データから音声データと基準画像データに分離する第２の多重分離部と、前記第２の多重分離部で取り出した前記基準画像データを格納する基準画像格納部と、前記基準画像データを復号する画像復号部とを有し、
前記第１の多重分離部により分離された前記音声データまたは前記第２の多重分離部により分離された前記音声データを格納する共通の音声データ格納部と、前記音声データ格納部の音声データを復号する共通の音声復号部とを有し、
前記第１の再生ストリーム抽出部による前記音声データの抽出と前記第２の再生ストリーム抽出部による前記音声データの抽出を選択的に行う多画面表示装置。
主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する第１の子画面再生部および第２の子画面再生部とを備え、
前記主画面再生部は、再生に必要な多重化データを抽出する第１の再生ストリーム再生部と、前記第１の再生ストリーム再生部で抽出したデータを格納する主画面データ格納部と、前記主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、前記第１の多重分離部により分離された前記画像データを格納する画像データ格納部と、前記画像データを復号する画像復号部とを有し、
前記第１の子画面再生部および前記第２の子画面再生部の各々は、再生に必要な多重化データを抽出する第２の再生ストリーム抽出部と、前記第２の再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、前記データから音声データと基準画像データに分離する第２の多重分離部と、前記第２の多重分離部で取り出した前記基準画像データを格納する基準画像格納部とを有し、
前記第１の子画面再生部と前記第２の子画面再生部の各々の前記基準画像格納部のデータを復号する共用の画像復号部を有し、
さらに、前記第１の多重分離部により分離された前記音声データまたは前記第２の多重分離部により分離された前記音声データを格納する共通の音声データ格納部と、前記音声データ格納部の音声データを復号する共通の音声復号部とを有し、
前記第１の再生ストリーム抽出部による前記音声データの抽出と前記第２の再生ストリーム抽出部による前記音声データの抽出を選択的に行う多画面表示装置。
主画面に表示する画像データと音声データを多重化したストリームを入力する主画面再生部と、子画面に表示する画像データと音声データを多重化したストリームを入力する第１の子画面再生部および第２の子画面再生部とを備え、
前記主画面再生部は、再生に必要な多重化データを抽出する第１の再生ストリーム再生部と、前記第１の再生ストリーム再生部で抽出したデータを格納する主画面データ格納部と、前記主画面データ格納部の多重化データを音声データと画像データに分離する第１の多重分離部と、前記第１の多重分離部により分離された前記画像データを格納する画像データ格納部とを有し、
前記第１の子画面再生部および前記第２の子画面再生部の各々は、再生に必要な多重化データを抽出する第２の再生ストリーム抽出部と、前記第２の再生ストリーム抽出部で抽出したデータを格納する子画面データ格納部と、前記データから音声データと基準画像データに分離する第２の多重分離部と、前記第２の多重分離部で取り出した前記基準画像データを格納する基準画像格納部とを有し、
前記主画面再生部の前記画像データ格納部ならびに前記第１の子画面再生部および前記第２の子画面再生部の前記基準画像格納部のデータを復号する共用の画像復号部を有し、
さらに、前記第１の多重分離部により分離された前記音声データまたは前記第２の多重分離部により分離された前記音声データを格納する共通の音声データ格納部と、前記音声データ格納部の音声データを復号する共通の音声復号部とを有し、
前記第１の再生ストリーム抽出部による前記音声データの抽出と前記第２の再生ストリーム抽出部による前記音声データの抽出を選択的に行う多画面表示装置。