JP2006019997A

JP2006019997A - 動画データ転送システム

Info

Publication number: JP2006019997A
Application number: JP2004195017A
Authority: JP
Inventors: Katsuhiko Araki; 勝彦荒木
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-06-30
Filing date: 2004-06-30
Publication date: 2006-01-19

Abstract

【課題】複数の動画データを映像と音声の同期とり且つ、安定して再生することをデバイス及びマザーボードの肥大化、およびシステムの自由度を阻害することなく実現すること。
【解決手段】本発明に係る動画データ転送システムは、外部よりデジタル及びアナログにて動画データの入出力が可能なポート及びＭＰＥＧ２デコーダを含むビデオプロセッサを持ち、外部からの動画データもしくは蓄積された動画データを表示可能な動画データ転送システムにおいて、該ビデオプロセッサからの複数の音声、動画及び同期信号を多重化して転送できるデータ転送バスポートと、該データ転送バスポートを介して転送された複数の音声、動画及び同期信号を適応的に処理して再生可能なグラフィックスコントローラ及びオーディオプロセッサとを具備するように構成する。
【選択図】図１

Description

本発明は、たとえば動画データ転送システムに係り、特に、複数の動画データを取り扱う動画データ転送システムに関する。

近年コンピュータ技術の向上により、コンピュータ上で映像や音声などを扱うことが一般的になってきている。ところが映像データをシステムバス上にてグラフィックスコントローラへ転送する場合、バスの転送能力や、システムリソース不足により表示映像が途切れる可能性がある。この問題についてはシステムバスの性能を向上したとしても、表示しようとする映像の解像度が向上した場合には全く同じ問題が発生する。

そこで、ＶＩＰ（ＶＥＳＡＶｉｄｅｏＩｎｔｅｒｆａｃｅｐｏｒｔ）やＺＶポート（ＺｏｏｍｅｄＶｉｄｅｏＰｏｒｔ）と称する動画専用のバスを用いてＣＰＵを含むシステムバスとは全く別に、ＭＰＥＧ２デコーダやビデオキャプチャカードとグラフィックスコントローラとを接続し映像データ（動画データ）を転送することにより、ビデオデータを安定してグラフィックスコントローラに転送すると共に大量のビデオデータの転送によってシステムバスが占有されるという不具合を回避している。
特開平１０−１６１６３０号公報

このように、システムバス上での転送能力の問題については、ＭＰＥＧ２デコーダやビデオキャプチャカードとグラフィックスコントローラを接続するという方法によって解決を図ってきた。

それに加えて最近においてアナログ放送では、複数のチューナを実装することにより、ディジタル放送では複数ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）転送により同一帯域にて複数の番組を放送することが可能となったことから、複数の番組を記録、再生する要求に対して対応することができるようになってきた。

一方、グラフィックコントローラにおいては、マルチディスプレイ技術の発達により複数のモニタに対して同一もしくは異なる画面を出力することが可能となり、ますます上記要求が強まってきている。

しかしながら、上記の規格は映像を転送することを目的としている為、同時に複数の映像及び音声データを転送することは考慮されておらず、従来技術で実現した場合はグラフィックスコントローラ及びオーディオプロセッサと、ビデオデコーダ間に複数の映像及び動画転送用のポートを用意する必要があり、デバイス及びマザーボードの肥大化、およびシステムの自由度を阻害する要因となる。

本発明は上記の従来技術の問題を解決するためになされたもので、複数の動画データを映像と音声の同期とり且つ、安定して再生することをデバイス及びマザーボードの肥大化、並びにシステムの自由度の阻害をすることなく実現する動画データ転送システムを提供することを目的とする。

かかる課題を解決するため、本発明に係る動画データ転送システムは、外部よりデジタル及びアナログにて動画データの入出力が可能なポートとＭＰＥＧ２デコーダを含むビデオプロセッサとを持ち、外部からの動画データもしくは蓄積された動画データを表示可能な動画データ転送システムにおいて、該ビデオプロセッサからの複数の音声データ、映像データ及び同期信号を多重化して転送できるデータ転送バスポートと、該データ転送バスポートを介して転送された複数の音声データ、映像データ及び同期信号を再生可能に処理するグラフィックスコントローラ及びオーディオプロセッサとを具備する。

かかる構成を有する本発明によれば、動画データを多重化して送信することにより、複数の動画データを転送する場合でもそれぞれの動画チャネル分だけのポートを用意することなく転送が可能となり、ＬＳＩ、マザーボードのパッケージや配線信号の肥大化を防ぎ、シンプルなシステムを構築することが可能となる。

この場合の動画データ転送システムにおいて、該複数の音声データ、映像データ及び同期信号は、パケット化して同一のバス上に多重化して転送を行うことにより該グラフィックスコントローラ及びオーディオプロセッサへ複数の音声データ及び映像データを転送するように構成してもよい。

このように構成することで、ビデオ及びオーディオデータをパケット化して転送するので、同一バスに複数のビデオデータを多重化して転送することが可能となる。

またこの場合の動画データ転送システムにおいて、該複数の音声データ、映像データ及び同期信号は、時分割に同一のバス上に多重化して転送を行うことにより該グラフィックスコントローラ及びオーディオプロセッサへ複数の音声データ及び映像データを転送するように構成してもよい。

このように構成することで、ビデオ及びオーディオデータを時分割にして転送するので、同一バスに複数のビデオ及びオーディオデータを多重化して転送することが可能となる。

また、この場合、該送信する複数の映像データ総ての解像度を同一化して前記データ転送バスポートへ多重化するように構成してもよい。

このように構成することで、複数の画像データのフォーマットをそろえることにより複数の映像データの同期信号を個別に転送する必要がなくなり、容易に多重化が可能となる。

また、この場合、該送信する複数の音声データ総てのサンプリング周波数を同一化して前記データ転送バスポートへ多重化するように構成してもよい。

このように構成することで、複数の音声データのサンプリング周波数をそろえることにより複数の音声データの同期信号を個別に転送する必要がなくなり、容易に多重化が可能となる。

また、この場合、映像データをパケット化して転送する際に、パケット内にストリーム識別番号、コピープロテクション情報、ＶＢＩ情報、解像度を含む付加情報を転送することが可能であるように構成してもよい。

このように構成することで、ストリーム識別番号、コピープロテクション情報、VBI情報、解像度などの付加情報を転送するので、グラフィックコントローラにて多重分離をおこなったり、ＶＢＩ情報などを表示したり、および、コピープロテクション管理したりすることが可能となる。

また、この場合、音声データをパケット化して転送する際に、パケット内にチャネル識別番号、コピープロテクション情報、サンプリング周波数情報を含む付加情報を転送することが可能であるように構成してもよい。

このように構成することで、チャネル識別番号、コピープロテクション情報、サンプリング周波数情報などの付加情報を転送するので、オーディオプロセッサにて複数のマルチチャンネルフォーマットのオーディオデータの多重分離をおこなったり、コピープロテクション管理することが可能となる。

また、この場合、映像データを1ライン毎にパケット化し、これらのパケットを映像の水平同期信号と同期して送信し且つ、該パケット内に水平及び垂直同期信号であることを明記するフィールドを設けて転送するように構成してもよい。

このように構成することで、１ライン毎に映像データをパケット化し、これらのパケットを映像の水平同期信号と同期して送信し、なおかつ水平、垂直同期であることを明示して転送することにより、シンプルな方法で、データと同期信号を転送することが可能となる。

また、この場合、音声データをサンプリング周波数毎に各チャンネルをパケット化し、これらのパケットをサンプリング周波数に同期して送信するように構成してもよい。

このように構成することで、サンプリング周波数ごとにデータをパケット化し、サンプリング周波数に同期して転送するので、音声データをサンプリング周波数に同期して転送することが可能となる。

本発明は、グラフィックスコントローラとビデオデコーダとを接続する動画転送用バス及び、オーディオプロセッサとビデオデコーダとを接続する音声転送用バスに、複数の動画データの同期信号、映像データ及び音声データを多重化して転送するので、複数の動画データを映像と音声の同期とり且つ、安定して再生することをデバイス及びマザーボードの肥大化、およびシステムの自由度を阻害することなく実現できるという利点がある。

以下、図面を参照して本発明の最良の実施形態を説明する。
図１は、本発明の一実施形態に係る動画データ転送システム全体の構成及び映像、音声データの流れを示すブロック図である。なお、以下では、本願発明の目的の達成のために説明に必要な範囲を模式的に示し、本願発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所に付いては公知技術によるものとする。
同図に示すように、本発明の一実施形態に係る動画データ転送システムは、ＣＰＵ１０とこれにホスト・バスを介して接続されるメモリ・ホスト・バス・ブリッジ１３と、メモリ・ホスト・バス・ブリッジ１３にそれぞれＡＧＰバス、ホスト・バス及びメモリ・バスを介して接続されるグラフィックス・コントローラ１５、Ｉ／Ｏコントローラ・バス・ブリッジ１７及びシステム・メモリ１９と、Ｉ／Ｏコントローラ・バス・ブリッジ１７に接続されるＡＣ９７コーデック２１と、オーディオ・ポートを介してＡＣ９７コーデック２１に、ビデオ・ポートを介してグラフィックス・コントローラ１５に接続されるビデオ・コーデック（ＭＰＥＧ２コーデック）２３とをその主要部として備えて構成される。

グラフィックス・コントローラ１５にはモニタ２５−１、２５−２、（図示しない）…２５−ｎが接続される。Ｉ／Ｏコントローラ・バス・ブリッジ１７にはＩＤＥバスを介してＨＤＤ（ハードディスク・ドライブ）２８及び光ディスク３０が接続される。Ｉ／Ｏコントローラ・バス・ブリッジ１７にはローカル・バスを介してビデオ・コーデック（ＭＰＥＧ２コーデック）２３が接続されるほか、イーサネット(登録商標）３２、１３９４コントローラ３４が接続され、１３９４コントローラ３４にはデジタルＳＴＢ３６が接続される。ビデオ・コーデック（ＭＰＥＧ２コーデック）２３にはビデオ・デコーダ３８及びＡＤＣ４０を介してアナログチューナ４２が接続され、またこれとは別にデジタルチューナ４４が接続され、ＨＤＭＩＲｘ４６を介してデジタルＳＴＢ４８が接続される。ＡＣ９７コーデック２１にはオーディオ出力が接続される。

ＣＰＵ１０はこのシステム全体の動作を制御するものであり、システム・メモリ１９に格納されたオペレーティングシステムおよび実行対象のアプリケーションプログラムなど実行する。メモリ・ホスト・バス・ブリッジ１３は、ＣＰＵ１０、グラフィックス・コントローラ１５、Ｉ／Ｏコントローラ・バス・ブリッジ１７及びシステム・メモリ１９の間でデータの受け渡しをする。グラフィックス・コントローラ１５は、ＣＰＵ１０からの指示に従ってビットマップへの展開等の（後述する）画像処理を行い、処理されたデータをモニタ２５−１、２５−２、（図示しない）…２５−ｎに送る。

Ｉ／Ｏコントローラ・バス・ブリッジ１７は、システム・メモリ１９との通信を行うためのメモリ・ホスト・バス・ブリッジ１３とのブリッジ制御を行う。システム・メモリ１９は、オペレーティングシステムほか各種のアプリケーション・プログラムを格納する。ＡＣ９７コーデック２１は（後述する）デジタル音声データの音声符号化／復号化を行う。ビデオ・コーデック（ＭＰＥＧ２コーデック）２３は（後述する）画像データの音声符号化／復号化を行う。

次に、本発明に特有の構成であるビデオ・コーデック（ＭＰＥＧ２コーデック）２３及びグラフィックス・コントローラ１５の取り合いの更に詳細な構成について説明する。
図２は、本発明の一実施形態に係る動画データ転送システム中のビデオ・コーデック（ＭＰＥＧ２コーデック）及びグラフィックスコントローラの更に詳細な構成及び映像、音声データの流れを示すブロック図である。
同図に示すように、グラフィックス・コントローラ（グラフィック・コントローラ）１５は、多重化された映像データを分離するための分離化部１５１と、グラフィックスポート及び分離化部１５１からのデータを処理しＧＦＸデータを出力するＧＦＸエンジン１５２と、分離化部１５１により分離された信号を選別して出力するためのセレクタ１５３と、リフレッシュするタイミングに係るカウンタを生成するリフレッシュ・タイミング・ジェネレータ１５４と、ブレンディング・セレクタ１５６による合成処理に先だってグラフィクスデータに対してそのピクセルアスペクト比変換のためのスケーリング処理及び垂直フィルタリング処理を行う色空間変換・スケーリングＩＰ変換部１５５と、表示元データと新しい表示データとの重畳比率（輝度の割合）の制御を行うブレンディング・セレクタ１５６と、ブレンディング・セレクタ１５６の出力信号を適応的にモニタに出力するためのＣＲＴＣ１５７とを少なくとも備えて構成される。

また、ビデオ・コーデック（ＭＰＥＧ２コーデック）２３は、映像の解像度変換の比率（拡大あるいは縮小比率）に対応して動画像信号の再符号化に係るスケーリング処理を行うスケーリング部２３１と、取り込んだＲＧＢ値の画像データを色の差の計算が行い易いようにＲＧＢ値をＬａｂ値に色空間変換を行う色空間変換部２３２と、入力されるビデオ信号に対しスライス処理を施すことによってスライス信号を生成するＶＢＩスライサ２３３と、映像信号、音声信号および制御信号を多重化する多重化部２３４とを少なくとも備えて構成される。ＧＦＸエンジン１５２の出力とセレクタ１５３の出力とは画像メモリたるＶＲＡＭ５２に出力される。

次に、本発明に特有の構成であるビデオ・コーデック（ＭＰＥＧ２コーデック）２３（の音声信号に係る範囲）及びＡＣ９７コーデック２１の取り合いの更に詳細な構成について説明する。

図３は、本発明の一実施形態に係る動画データ転送システム中のビデオ・コーデック（ＭＰＥＧ２コーデック）（の音声信号に係る範囲）及びオーディオプロセッサの更に詳細な構成及び映像、音声データの流れを示すブロック図である。
同図に示すように、ＡＣ９７コーデック２１は、ＡＣリンクからの信号についてサンプリングレートを低減するＳＲＣ部２１１と、アナログＩＮを通じて入力されるアナログ信号をデジタル信号に変換するＡＤＣ（ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）２１２と、多重化部２３６の出力信号を分離するための分離化部２１３と、ＳＲＣ部２１１、ＡＤＣ２１２及び分離化部２１３から入力される複数個のデジタル信号に線形変換を施すことによって、ｍ個の線形変換デジタル信号を出力するデジタル線形変換回路２１４−１、２１４−２、…２１４−ｍと、当該線形変換デジタル信号を適応的な相対遅延時間を持たせて加算することによりアナログ−デジタル変換されたデジタル出力信号を生成する加算回路２１５と、加算回路２１５で生成されたデジタル出力信号を出力するデジタル線形変換回路２１６−１、…２１６−ｍと、加算回路２１５で生成されたアナログ出力信号を出力するＡＤＣ２１７−１、…２１７−ｍとを少なくとも備えて構成される。

また、ビデオ・コーデック（ＭＰＥＧ２コーデック）２３は、サンプリングレートを低減するＳＲＣ部２３５と、ＳＲＣ部２３５の出力信号を多重化する多重化部２３６とを少なくとも備えて構成される。

次に、本願に係る発明の特有の構成・作用・動作・効果について説明する。
動画データの入力元としてはデジタル放送など圧縮符号化された動画、アナログ放送または、アナログ入力された動画、ＤＶＤ３０および、ＨＤＤ２８などに蓄積された圧縮符号化された動画、１３９４などの動画転送が可能なバスを介して外部機器（３６、４２、４４、４８等）から入力された動画、ネットワークを介して配信される動画およびＨＤＭＩ４６などの画像送信バスを用いて転送される非圧縮の動画データなどが想定される。

デジタル放送にて配信された動画をコンピュータシステムに表示する場合を考える。現在日本で放送されているＢＳデジタル放送では１本のトランスポンダあたり最大５２Ｍｂｐｓの有効伝送容量があり、これらをスロットに分割することにより圧縮符号化された２ＨＤ又は１ＨＤ＋３ＳＤの番組を放送している。

これらの映像データはデジタル変調されて放送されている為、チューナブロックにてアナログ選局、復調及びエラー訂正などを行いＭＰＥＧ２―ＴＳフォーマットにてＭＰＥＧ２デコーダ２３に入力される。ＭＰＥＧ２デコーダ２３では多重化されたＴＳを各プログラム毎に復号し、これらのデータをＨＤＤ２８やＤＶＤ―ＲＡＭ３０’などの記録媒体に蓄積する場合は、動画データは圧縮符号化された状態でＨＤＤ２８や、外部ドライブ３０へ転送し記録される。

ＭＰＥＧ２などの圧縮された動画データの圧縮、伸張を行うビデオ・コーデック（ＭＰＥＧ２コーデック）２３にはデジタルＳＴＢ３６等の外部機器から１３９４コントローラ３４を介して、ＨＤＤ（ハードディスク・ドライブ）２８、光（光学式）ディスク３０、デジタルチューナ４４、デジタルＳＴＢ４８等の外部機器からＨＤＭＩポート(n)を介して、アナログチューナ４２からビデオ・デコーダ３８及びオーディオＡＤＣ４０によってＡ／Ｄ変換された動画データが入力される。

ＭＰＥＧ２フォーマットなどに圧縮符号化された動画ストリームはビデオ・コーデック（ＭＰＥＧ２コーデック）２３によって復号処理が行われ、表示及び再生用の映像データ、音声データはそれぞれ、グラフィックスコントローラ１５、ＡＣ９７コーデック２１へ専用のビデオポート（Ｖ）及びオーディオポート（Ｗ）を用いて出力される。

このように、受信した動画データを再生する場合にはプログラム毎に復号されたＭＰＥＧ２―ＴＳデータをＭＰＥＧ２デコーダ２３内でスクランブル解除、画像、音声分離及び圧縮復号処理を行い、音声及び映像をそれぞれオーディオＤＡＣ２１及びグラフィックスコントローラ１５へと転送する。このとき従来の技術によれば、映像データをグラフィックコントローラ１５へ転送する場合、１ＨＤをベースバンドで転送すると約１．２Ｇｂｐｓの転送量が必要であり、システムバス経由で転送した場合、次世代の３ＧＩＯを用いた場合でも１レーン辺り２．５Ｇｂｐｓであり複数の映像データを転送した場合システムバスの帯域を占有してしまい、影響は無視できない。

そこで本発明では、複数の動画ストリームを転送する際に下記の第１又は第２の実施態様に示す時分割転送方式又はパケット化転送方式を用いて動画及び音声データを多重化して転送を行うべく、動画転送ポートに複数の動画データを多重化して転送する機能を設ける。

（１）第１の実施態様
第１の実施態様は、複数の映像データ及び音声データを時分割で転送する方式に係る。この場合のフォーマットを図４及び図５に記す。回路構成を簡略化する為に、転送する複数の動画のフォーマットを転送元で統一する。ｎ本の動画を転送する場合にはグラフィックスコントローラ１５への転送用のＣＬＫ（ＰＩＸＥＬＣＬＫ＿Ｎ）は元画像のピクセルクロックの周波数のｎ倍を用い、ＤＥ（ｄａｔａｅｎａｂｌｅ）信号及び水平・垂直同期信号をＰＩＸＥＬＣＬＫ＿Ｎに同期して転送する。このときＤＥ信号は各映像の分離にも用いられる為、ｎ本の映像データを転送する場合最低ｌｏｇ（２）ｎビットあれば十分である。

図５の音声の場合も同様で、２ｃｈのＰＣＭ音声を転送する場合には、ＬＲを識別するＬＲＣＬＫと映像と同様にＤＥ（ｄａｔａｅｎａｂｌｅ）信号をｌｏｇ（２）ｎビット分用意し、音声データのＢＩＴＣＬＫと同期して転送する。

グラフィックスコントローラ１５及びオーディオプロセッサ（ＡＣ９７コーデック）２１側では上記のように多重化されたデータを多重化したときと全く逆の手順で分離化を行い、映像であれば、映像データ毎に一旦ＶＲＡＭに書き込むか、パススルーでオーバレイ表示されてモニタ２５−１、２５−２、（図示しない）…２５−ｎへ表示される。

音声であれば、他のオーディオソースとＭＩＸされディジタルまたは、アナログで出力される。

ここで時分割転送方式（映像）の動作の詳細について説明する。

図４に示すとおり、通常各動画ストリームデータは描画用ＰＩＸＥＬＣＬＯＣＫに同期してＤＥ（ＢＬＡＮＫ）信号、水平同期信号（ＨＳＹＮＣ）、垂直同期信号（ＶＳＹＮＣ）およびビデオデータを転送する。たとえば解像度１９２０ｘ１０８０、フレームレート６０ｆｐｓの動画であれば、ＰＩＸＥＬＣＬＯＣＫは１４８．５ＭＨｚ、ＨＳＹＮＣ間隔は約１４．８ＵＳ、Ｖｓｙｎｃ間隔は約１６．６ｍｓとなる。

これらのビデオ・コーデック（ＭＰＥＧ２コーデック）２３に入力されたｎ本の動画ストリームを多重化して転送する際に、多重化、分離化を容易に実現するために、ビデオ・コーデック（ＭＰＥＧ２コーデック）２３内のスケーリング部（スケーリングユニット）２３１、色空間変換部（色空間変換ユニット）２３２を用いて多重化して転送するビデオフォーマットが異なる場合には、ビデオフォーマットをすべて同じフォーマットに揃える。

アナログ放送の場合はＣＣ（クローズドキャプション情報）などがＶＢＩ情報として挿入されている場合があるので、ＶＢＩスライサ２３３にて付加情報としてＶＢＩ情報を抜き出す。

上記のビデオデータおよび付加情報は後段の多重化部（多重化モジュール）２３４に転送され、多重化部（多重化モジュール）２３４にて多重化処理が行われる。

時分割転送方式の場合はすでに前段のスケーリング部（スケーリングユニット）２３１、色空間変換部（色空間変換ユニット）２３２ブロックにてフォーマットの統一化がされているため、ｎ本の映像を多重化する場合に、多重化部（多重化モジュール）２３４にてＰＩＸＥＬＣＬＫをｎ倍に高速化する。外部同期信号のＤＥ（ＢＬＡＮＫ）、ＨＳＹＮＣ、ＶＳＹＮＣのタイミングはまったく変更する必要がないため、そのままスルーしてグラフィックス・コントローラ（グラフィック・コントローラ）１５に出力される。

ビデオデータの転送に関しては図４の「多重化Ａ」方式のようにＤＥ信号がアクティブ（ＢＬＡＮＫの場合は非アクティブ）の期間にデータを１ライン毎にビデオデータをビデオ１データ、ビデオ２データ、ビデオ３データ、…、ビデオnデータと連続して転送する方式と、図４「多重化Ｂ」方式のようにＤＥ信号がアクティブ（ＢＬＡＮＫの場合は非アクティブ）の期間に１ＰｉｘｅｌＣｌｏｃｋ毎にＶ１―ｐｉｘｅｌｄａｔａ０、Ｖ２― ｐｉｘｅｌｄａｔａ０、…、Ｖｎ―ｐｉｘｅｌｄａｔａ０、…、Ｖｎ―ｐｉｘｅｌｄａｔａｘ、と各ｐｉｘｅｌデータ毎に転送する方式もある。

「多重化Ｂ」方式の方がビデオ・コーデック（ＭＰＥＧ２コーデック）２３側およびグラフィックス・コントローラ１５側にて１フレーム分のバッファを用意する必要がないので、より簡略化することが可能となる。

このときｐｉｘｅｌｄａｔａｘは各動画のライン毎の画素数に相当し、例えば、解像度１９２０ｘ１０８０であれば、ｘ＝１９２０で、１ラインのｐｉｘｅｌｃｌｏｃｋ数は２２００ｃｌｏｃｋである。

上記の画像を２ストリーム多重化した場合は１ラインの有効画素数は２ｘ＝３８４０で、ｐｉｘｅｌｃｌｏｃｋ数は４４００ｃｌｏｃｋとなるが、ｐｉｘｅｌｃｌｏｃｋの周波数が２倍であるため、全体の周期は多重化前と同じである。

グラフィックス・コントローラ１５ではビデオ・コーデック（ＭＰＥＧ２コーデック）２３で行った多重化と全く逆のプロセスで分離化を行う。分離化部（分離化ユニット）１５１にてＰＩＸＥＬＣＬＯＣＫを分周し、各ビデオストリーム毎に分離を行う。入力された複数のビデオデータは後段のセレクタ１５３によって、グラフィックス・コントローラ１５のＶＲＡＭ領域５２に一旦格納されるか、パススルーで直接描画するかを選択することができる。パススルーで表示する場合は、分離化部（分離化ユニット）１５１で抽出した同期信号をグラフィックス・コントローラ１５のリフレッシュ・タイミング・ジェネレータ（タイミングジェネレータ回路）１５４に送り、入力された同期信号を使って表示される。

このときグラフィックス・コントローラ１５にＣＲＴＣが複数ある場合は、ブレンディング・セレクタ（ブレンディング・セレクタ部）１５６にて各動画ストリームの表示デバイスをマッピングして出力する。

次に、時分割転送方式（音声）の動作の詳細について説明する。
図５に示すとおり、通常各音声データはビットクロックＢＣＬＫのタイミングでオーディオデータを転送し、Ｉ２Ｓフォーマットであれば、Ｌ／ＲＣＬＫの”Ｌ”期間にＬｃｈ音声データ、‘’Ｈ”期間にＲｃｈ音声データを右詰で転送する。

例えば４８ｋＨｚサンプリングでＢＣＬＫが６４ｆｓの場合ではＬＲＣＬＫが４８ｋＨｚ、ＢＩＣＫが３．０７２ＭＨｚで転送される。

これらのｎ本の音声データを多重化して転送する際に、多重化、分離化を容易に実現するために、ビデオ・コーデック（ＭＰＥＧ２コーデック）２３内のＳＲＣ（ＳａｍｐｌｉｎｇＲａｔｅＣｏｎｖｅｒｔｅｒ）部２３５を用いて多重化して転送する音声データのサンプリングレートが異なる場合には、サンプリングレートを総て同一に変換する。

サンプリングレートが統一された音声データは後段の多重化部（多重化モジュール）２３６に転送され、多重化部（多重化モジュール）２３６にて多重化処理が行われる。

時分割転送方式の場合はすでに前段のＳＲＣ部２３５ブロックにてサンプリングレートの統一化がされているため、ｎ本の映像を多重化する場合に、多重化部（多重化モジュール）２３６にてＢＩＴＣＬＫをｎ倍に高速化する。

音声データの転送に関しては図５の「多重化Ａ」方式のようにＬＲＣＬＫをｎ倍にしたＤＥＣＬＫを作成し、ＬＲＣＬＫとＤＥＣＬＫの組み合わせの順にＡ１＿Ｌｃｈ、Ａ２＿Ｌｃｈ、…、Ａｎ＿Ｌｃｈ、Ａ１＿Ｒｃｈ、Ａ２＿Ｒｃｈ、…、Ａｎ＿Ｒｃｈ連続して転送する方式と、図４の「多重化Ｂ」方式のようにｎ倍されたＢＣＬＫのタイミングで、Ａ１、Ａ２、Ａ３、…、Ａｎと各ストリームデータ毎に転送する方式もある。

ＡＣ９７コーデック２１ではビデオ・コーデック（ＭＰＥＧ２コーデック）２３で行った多重化と全く逆のプロセスで分離化を行う。分離化部（分離化ユニット）２１３にてＢＩＴＣＬＫを分周し、各音声データ毎に分離を行う。入力された複数の音声データは後段のミキサ（加算回路）２１５によって、ミキシングセレクトされて出力される。

以上詳細に説明したように、本実施形態によれば、最もシンプルに複数の映像、音声データ及び同期信号を転送することが可能である。

（２）第２の実施態様
第２の実施態様は、映像及び音声データをパケット化して転送する方式に係る。
図６は、本実施態様に係るパケットフォーマットの例のうち映像転送フォーマットを示す図である。図７はかかる映像転送フォーマットに係るパケット構造を示す図である。

図７に示すように、パケット構造７は、パケットの先頭を示すコードである同期バイト部７１と、パケット情報を示すヘッダ部７２と、ビデオデータ又は付加情報からなるデータ部７３と、パケットエラーチェック用のチェックビットであるＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｏｄｅ）部７４とを含んで構成される。

図８は図７のパケット構造７のうちのヘッダ部７２の更に詳細な構造を示す図である。
同図に示すように、ヘッダ部７２は、ヘッダ・タイプ情報７２１と、Ｓｙｎｃタイプ情報７２２と、フォーマット情報７２３と、多重化モード情報７２４と、コンテンツ保護情報７２５と、データ情報７２６とを含むフィールドを少なくとも１つ以上含んで構成される。

ヘッダ・タイプ情報７２１はパケットタイプを示す情報であり、たとえば「１」はＳｙｎｃパケット（ｈ／ＶＳｙｎｃ情報、ＶＢＩ情報転送用）、「０」はＶｉｄｅｏＤａｔａパケット（ビデオデータ転送用）を示す。

Ｓｙｎｃタイプ情報７２２はＳｙｎｃタイプを示す（Ｓｙｎｃパケット時に有効）情報であり、たとえば「１」はＶｓｙｎｃ、「０」はＨｓｙｎｃを示す。

フォーマット情報７２３は転送画像フォーマットに係る情報であり、たとえば値「ｘｘ００」のときは解像度：７２０ｘ４８０、フレームレート：２９．９７Ｈｚ、ＣＬＫ：２７ＭＨｚを示し、値「ｘｘｘｘ」のときは解像度：１９２０ｘ１０８０、フレームレート：６０Ｈｚ、ＣＬＫ：７４．２５ＭＨｚを示す。

多重化モード情報７２４は多重化されるデータ数を示す情報であり、たとえば「１」は多重化無し、「２」は２ストリーム多重化、「ｎ」はｎストリーム多重化を示す。

コンテンツ保護情報７２５は各ストリーム毎のコピーコントロール情報であり、たとえば「００」はコピー可を、「０１」は1度のみコピー可を、「１０」はコピー禁止を、それぞれ示す。

データ情報７２６はデータ部で転送されるデータ量を示す情報であり、たとえば「１９２０ｘ１０８０」のときはＹＵＶ４２２の場合を示し、「３８４０」のときは３８４０ｂｙｔｅ／ｓｔｒｅａｍであることを示す。

図９は図７のパケット構造７のうちのデータ部７３の更に詳細な構造を示す図である。
同図に示すように、データ部７３はＶＢＩ等の付加情報やビデオデータのペイロード部であり、たとえばＳｙｎｃパケットのデータ部には付加情報が、データパケットのデータ部にはビデオデータが格納される。

図１０は、本実施態様に係るパケットフォーマットの例のうち音声転送フォーマットを示す図である。図１１はかかる音声転送フォーマットに係るパケット構造を示す図である。

図１１に示すように、パケット構造８は、パケットの先頭を示すコードである同期バイト部８１と、パケット情報を示すヘッダ部８２と、ビデオデータ又は付加情報からなるデータ部８３と、パケットエラーチェック用のチェックビットであるＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｏｄｅ）部８４とを含んで構成される。

図１２は図１１のパケット構造８のうちのヘッダ部８２の更に詳細な構造を示す図である。
同図に示すように、ヘッダ部８２は、ＬＲタイプ情報８２１と、フォーマット情報８２２と、多重化モード情報８２３と、コンテンツ保護情報８２４と、データ情報８２５とを含むフィールドを少なくとも１つ以上含んで構成される。

ＬＲタイプ情報８２１はＬ／Ｒチャンネルを示す情報であり、たとえば「１」はＬｃｈパケット、「０」はＲｃｈパケットを示す。

フォーマット情報８２２は音声フォーマットに係る情報であり、たとえば値「ｘｘ００」のときはサンプリングレート：４４．１ｋＨｚ、ビット数：１６を示し、値「ｘｘｘｘ」のときはサンプリングレート：１９２ｋＨｚ、ビット数：２４を示す。

多重化モード情報８２３は多重化されるデータ数を示す情報であり、たとえば「１」は多重化無し、「２」は２ストリーム多重化、「ｎ」はｎストリーム多重化を示す。

コンテンツ保護情報８２４は各ストリーム毎のコピーコントロール情報であり、たとえば「００」はコピー可を、「０１」は1度のみコピー可を、「１０」はコピー禁止を、それぞれ示す。

図１３は図１１のパケット構造８のうちのデータ部８３の更に詳細な構造を示す図である。
同図に示すように、データ部８３は音声データのペイロード部であり、たとえば音声データが格納される。

先に説明した、ＭＰＥＧ２デコーダ２３にて復号化された複数のプログラムにおける映像及び音声データを、映像であれば１ライン毎、音声であれば１サンプリング（マルチトラックであれば、各チャンネル）毎にＦＲＡＭＥ（パケット同期）バイト７１、ヘッダ情報７２および、ＣＲＣチェックビット７４を付与しパケット化する。

ヘッダ情報７２には映像及び音声データに関する付加情報を転送することが可能で、例えば複数の映像及び音声ストリームの多重、分離に使用されるＶＩＤ（ビデオＩＤ）/チャンネルＩＤ（Ａｕｄｉｏ）、画像フォーマット（Ｖｉｄｅｏ）、サンプリング周波数（Ａｕｄｉｏ）、ｈ／Ｖｓｙｎｃ、ライン数、ＶＢＩ情報、コピープロテクション情報等が格納される。

そして、これらのパケットは映像であれば必ず水平同期信号に同期してＨｓｙｎｃのヘッダが送信されるように、音声であれば、サンプリング周波数ごとに先頭パケットが来るように送信される。それによって受信デバイスでは同期信号を受け取ることが可能となる。

ここでパケット化転送方式（映像）の動作の更なる詳細について説明する。
図６に示すとおり、通常各動画ストリームデータは描画用ＰＩＸＥＬＣＬＯＣＫに同期してＤＥ（ＢＬＡＮＫ）信号、水平同期信号（ＨＳＹＮＣ）、垂直同期信号（ＶＳＹＮＣ）およびビデオデータを転送する。図中のＥＡＶ（ＥｎｄｏｆａｃｔｉｖｅＶｉｄｅｏ）・ＳＡＶ（ＳｔａｒｔｏｆａｃｔｉｖｅＶｉｄｅｏ）は、ディジタルで画像を転送する際に、同期信号をデータに多重化する際のコードである。

このとき、たとえば解像度１９２０ｘ１０８０、フレームレート６０ｆｐｓの動画であれば、ＰＩＸＥＬＣＬＯＣＫは１４８．５ＭＨｚ、ＨＳＹＮＣ間隔は約１４．８ＵＳ、Ｖｓｙｎｃ間隔は約１６．６ｍｓとなる。

パケット転送方式の場合はすでに前段のスケーリング部（スケーリングユニット）２３１、色空間変換部（色空間変換ユニット）２３２ブロックにてフォーマットの統一化がされているため、ｎ本の映像を多重化する場合に、各同期信号は総て同じであることより、同期タイミングはｍ本分同時に転送することが可能となる。

多重化に際しては、多重化部（多重化モジュール）２３４にてＰＩＸＥＬＣＬＫを少なくともｎ倍以上に高速化を行い、図６に示すとおり、同期タイミングを転送するために、ｈ／ＶＳｙｎｃタイミング時にＳｙｎｃパケットを発行し、同期タイミングを転送する。Ｓｙｎｃパケットはパケットヘッダ７２のｔｙｐｅフィールド７２１とＳｙｎｃフィールド７２２にＳｙｎｃパケット、もしくはビデオデータパケット、Ｓｙｎｃパケットであれば、ｈｓｙｎｃ／Ｖｓｙｎｃであるか判別できるようにビットを立てる。

また、ＳｙｎｃパケットはＶＢＩスライサ２３３で抽出した負荷情報をパケットの最後のデータフィールドに挿入することも可能である。

データの転送に関しては、ＤＥ信号がアクティブ（ＢＬＡＮＫの場合は非アクティブ）のタイミングでデータパケットを送出し、Ｓｙｎｃパケットと同様にパケットフィールドにデータパケットのビットを立て、データ領域７３に、各画像データｎ本分のデータを１ライン毎にビデオデータをビデオ１データ、ビデオ２データ、ビデオ３データ、…、ビデオnデータとパケット化して転送する。

次にパケット化転送方式（音声）の動作の詳細について説明する。
図１０に示すとおり、通常各音声データはビットクロックＢＣＬＫのタイミングでオーディオデータを転送し、Ｉ２Ｓフォーマットであれば、Ｌ／ＲＣＬＫの”Ｌ”期間にＬｃｈ音声データ、‘’Ｈ”期間にＲｃｈ音声データを右詰で転送する。

時分割転送方式の場合はすでに前段のＳＲＣ部２３５ブロックにてサンプリングレートの統一化がされているため、ｎ本の映像を多重化する場合に、多重化部（多重化モジュール）２３６にてＢＩＴＣＬＫをｎ倍以上に高速化する。

音声データの転送に関してはＬＲＣＬＫに同期したタイミングでＬｃｈパケットおよびＲｃｈパケットを送信する。

パケットのヘッダフィールドのＬ／ＲｔｙｐｅフィールドのＬ／Ｒビットの有無で、ＬｃｈデータとＲｃｈデータの区別が可能となる。

本発明は、複数の動画データを映像と音声の同期とり且つ、安定して再生することをデバイス及びマザーボードの肥大化、およびシステムの自由度を阻害することなく実現するものであり、最もシンプルに複数の映像、音声データ及び同期信号を転送することが可能であることから、コンピュータ上で映像や音声などを扱うなど動画データ転送が不可欠ないかなる用途にも適用できる。

本発明の一実施形態に係る動画データ転送システム全体の構成及び映像、音声データの流れを示すブロック図である。本発明の一実施形態に係る動画データ転送システム中のビデオ・コーデック（ＭＰＥＧ２コーデック）及びグラフィックスコントローラの更に詳細な構成及び映像、音声データの流れを示すブロック図である。本発明の一実施形態に係る動画データ転送システム中のビデオ・コーデック（ＭＰＥＧ２コーデック）（の音声信号に係る範囲）及びオーディオプロセッサの更に詳細な構成及び映像、音声データの流れを示すブロック図である。本発明の一実施形態に係る複数の映像データを時分割で転送する場合のフォーマットの一例を示す図である。本発明の一実施形態に係る複数の音声データを時分割で転送する場合のフォーマットの一例を示す図である。本発明の一実施形態に係るパケットフォーマットの例のうち映像転送フォーマットを示す図である。本発明の一実施形態に係る映像転送フォーマットに係るパケット構造を示す図である。図７のパケット構造のうちのヘッダ部の更に詳細な構造を示す図である。図７のパケット構造のうちのデータ部の更に詳細な構造を示す図である。本発明の一実施形態に係るパケットフォーマットの例のうち音声転送フォーマットを示す図である。本発明の一実施形態に係る音声転送フォーマットに係るパケット構造を示す図である。図１１のパケット構造のうちのヘッダ部の更に詳細な構造を示す図である。図１１のパケット構造のうちのデータ部の更に詳細な構造を示す図である。

符号の説明

７…映像に係るパケット構造、８…音声に係るパケット構造、１０…ＣＰＵ、１３…メモリ・ホスト・バス・ブリッジ、１５…グラフィックス・コントローラ、１７…Ｉ／Ｏコントローラ・バス・ブリッジ、１９…システム・メモリ、２１…ＡＣ９７コーデック、２３…ビデオ・コーデック（ＭＰＥＧ２コーデック）、２５−１，２５−２，・・２５−ｎ…モニタ、２８…ＨＤＤ（ハードディスク・ドライブ）、３０…光ディスク、３２…イーサネット、３４…１３９４コントローラ、３６…デジタルＳＴＢ、３８…ビデオ・デコーダ、４０…ＡＤＣ、４２…アナログチューナ、４４…デジタルチューナ、４６…ＨＤＭＩＲｘ、４８…デジタルＳＴＢ、５２…ＶＲＡＭ、７１…同期バイト部、７２…ヘッダ部、７３…データ部、７４…ＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｏｄｅ）部、８１…同期バイト部、８２…ヘッダ部、８３…データ部、８４…ＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｏｄｅ）部、１５１…分離化部、１５２…ＧＦＸエンジン、１５３…セレクタ、１５４…リフレッシュ・タイミング・ジェネレータ、１５５…色空間変換・スケーリングＩＰ変換部、１５６…ブレンディング・セレクタ、１５７…ＣＲＴＣ、２１１…ＳＲＣ部、２１２…ＡＤＣ（ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）、２１３…分離化部、２１４−１，２１４−２，・・２１４−ｍ…デジタル線形変換回路、２１５…加算回路、２１６−１、…２１６−ｍデジタル線形変換回路、２１７−１，・・２１７−ｍ…ＡＤＣ、２３１…スケーリング部、２３２…色空間変換、２３３…ＶＢＩスライサ、２３４…多重化部、２３５…ＳＲＣ部、２３６…多重化部、７２１…ヘッダ・タイプ情報、７２２…Ｓｙｎｃタイプ情報、７２３…フォーマット情報、７２４…多重化モード情報、７２５…コンテンツ保護情報、７２６…データ情報、８２１…ＬＲタイプ情報、８２２…フォーマット情報、８２３…多重化モード情報、８２４…コンテンツ保護情報、８２５…データ情報

Claims

外部よりデジタル及びアナログにて動画データの入出力が可能なポートとＭＰＥＧ２デコーダを含むビデオプロセッサとを持ち、外部からの動画データもしくは蓄積された動画データを表示可能な動画データ転送システムにおいて、
前記ビデオプロセッサからの複数の音声データ、映像データ及び同期信号を多重化して転送できるデータ転送バスポートと、
前記データ転送バスポートを介して転送された複数の音声データ、映像データ及び同期信号を再生可能に処理するグラフィックスコントローラ及びオーディオプロセッサと
を具備することを特徴とする動画データ転送システム。
前記複数の音声データ、映像データ及び同期信号は、パケット化して同一のバス上に多重化して転送を行うことにより前記グラフィックスコントローラ及びオーディオプロセッサへ複数の音声データ及び映像データを転送することを特徴とする請求項１記載の動画データ転送システム。
前記複数の音声データ、映像データ及び同期信号は、時分割に同一のバス上に多重化して転送を行うことにより前記グラフィックスコントローラ及びオーディオプロセッサへ複数の音声データ及び映像データを転送することを特徴とする請求項１記載の動画データ転送システム。
前記送信する複数の映像データ総ての解像度を同一化して前記データ転送バスポートへ多重化することを特徴とする請求項１記載の動画データ転送システム。
前記送信する複数の音声データ総てのサンプリング周波数を同一化して前記データ転送バスポートへ多重化することを特徴とする請求項１記載の動画データ転送システム。
前記映像データをパケット化して転送する際に、パケット内にストリーム識別番号、コピープロテクション情報、ＶＢＩ情報、解像度を含む付加情報を転送することが可能であることを特徴とする請求項１または２記載の動画データ転送システム。
前記音声データをパケット化して転送する際に、パケット内にチャネル識別番号、コピープロテクション情報、サンプリング周波数情報を含む付加情報を転送することが可能であることを特徴とする請求項１または２記載の動画データ転送システム。
前記映像データを1ライン毎にパケット化し、これらのパケットを映像の水平同期信号と同期して送信し且つ、該パケット内に水平及び垂直同期信号であることを明記するフィールドを設けて転送することを特徴とする請求項１または２記載の動画データ転送システム。
前記音声データをサンプリング周波数毎に各チャンネルをパケット化し、これらのパケットをサンプリング周波数に同期して送信することを特徴とする請求項１または２記載の動画データ転送システム。