JP2011146928A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】複数の系統の入力データを多重化してビデオポートから同時にプロセッサに入力する場合のデータの遅延を抑えることができるようにする。
【解決手段】入力された各系統のビデオの１フレームは、ライン毎にインタリーブされて、画面サイズの大きいビデオフレームである多重ビデオフレームに挿入され、多重ビデオフレームのデータとして伝送されるように多重化される。また、各系統のオーディオデータは、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプル毎に分割され、多重ビデオフレームを用いて多重化される。多重ビデオフレームに対するデータの挿入は下詰めの形で行われる。データが多重化された多重ビデオフレームのデータは、ビデオポートからプロセッサ４３に入力される。本発明は、複数系統のオーディオデータを処理する映像音響機器に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数の系統の入力データを多重化してビデオポートから同時にプロセッサに入力する場合のデータの遅延を抑えることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

［ビデオ型インタフェース］
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。

ビデオ型インタフェースには、DVI/VESAのようにデータイネーブル信号を加える方式、HDMIのようにビデオデータをシリアライズする方式、SMPTE259MやSMPTE292Mのようにタイミング情報をデータ線にさらに多重する方式もある。

以下、適宜、ビデオ型インタフェースにより伝送される信号セットを「ビデオ信号」という。また、ビデオ型インタフェースの入力ピンと出力ピンのセットを「ビデオポート」という。

［ビデオポートの帯域幅］
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec＝186MB/sの安定的なデータ転送を保証する。

ビデオポートの帯域幅が急速に向上してきている。これは、ディスプレイの解像度が向上したこと、放送画質が標準画質(720×480)からHD画質(1920×1080)へ移行したこと、ディスプレイの表示能力が多様化(480i/480p/1080i/720p/1080p)したことなどによる。いまでは、HD(1920x1080@30frame/sec)やWUXGA(1920x1200@60frame/sec)の帯域幅は一般的なものになっている。

［ビデオ・オーディオの多チャンネル化］
ところで、近年、映像音響機器は多数のビデオ／オーディオ信号を扱うようになってきている。

例えば、家庭用のデジタルレコーダにおいては次のようなデータが出力系のデータとして扱われる。
・メニューやガイドが入らない映像出力（ビデオ出力）。
・メニューやガイドが入る映像出力（モニタ出力）。
・アンテナからのビットストリームをデコードした映像出力（デコーダ出力）。

また、映像加工に用いる業務用の機器においては、多いものでは次のようなデータが出力系のデータとして扱われ、かつ、同時に出力することが求められる。
・標準の映像出力（プログラム出力、ビデオ出力）。
・スーパーインポーズした映像出力（モニタ出力）。
・数秒前の映像（プレビュー出力）。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。

特に映像加工に用いる業務用の機器が扱うデータには、SD/HD、4:2:2/4:4:4、RGB/YCbCr、インタレース／プログレッシブといったような、様々なディスプレイサイズ、様々なフレーム周波数（リフレッシュレート）のデータが混在する。

入力系についても、異なるフォーマットで非同期のビデオ信号を同時入力・同時記録したり、同時入力しながらそれらを切り替えたり、切り替えるときに加工して合成したり、といったように、多数の映像をプロセッサに同時入力することが求められる。ビデオに付随するオーディオのチャンネル数も、5.1ch、7.1ch、9.1ch、マルチチャンネルでの他カ国語などと急速に増大している。

このように、映像音響機器のプロセッサには、複数のビデオ、複数のオーディオの入出力を同時に行うことが可能であることが要求される。

特開２００６−２３６０５６号公報 特開２００９−７１７０１号公報

特に業務用の機器においては、上述したような複数のビデオ、複数のオーディオの入出力を、遅延を抑えつつ行うことが望ましい。遅延には、例えば、機器にデータが入力された時刻と、プロセッサに入力された時刻の差で表される入力遅延がある。

本発明はこのような状況に鑑みてなされたものであり、例えば複数の系統の入力データを多重化してビデオポートから同時にプロセッサに入力する場合のデータの遅延を抑えることができるようにするものである。

本発明の一側面の情報処理装置は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成する生成手段と、入力された複数のフォーマットのビデオデータに含まれる各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第１のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記各フォーマットの１フレームのデータを多重化する第１の多重化手段と、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、前記分割手段による分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報を、前記多重ビデオフレームの前記第１のビデオ用の領域の下方に設定された第１のオーディオ用の領域のデータとして伝送されるように多重化する第２の多重化手段と、入力ビデオポートから入力された前記第１の多重化手段と前記第２の多重化手段による多重化後の前記多重ビデオフレームに多重化されているデータに処理を施す処理手段とを備える。

前記処理手段には、処理後の前記各フォーマットの１フレームのデータを、前記各フォーマットの１フレームが、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第２のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化させ、処理後の前記分割後のオーディオデータと、前記サンプル数情報を、前記多重ビデオフレームの前記第２のビデオ用の領域の上方に設定された第２のオーディオ用の領域のデータとして伝送されるように多重化させ、処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力させることができる。

前記処理手段から出力された前記多重ビデオフレームから、前記各フォーマットの１フレームのデータを抽出する第１の抽出手段と、抽出された前記各フォーマットの１フレームのデータを外部に出力する第１の送信手段とをさらに設けることができる。

前記処理手段から出力された前記多重ビデオフレームから、前記サンプル数情報に従って、前記分割後のオーディオデータを抽出する第２の抽出手段と、抽出された前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する第２の送信手段とをさらに設けることができる。

前記分割手段と前記第２の送信手段は、それぞれ、入力されるオーディオデータの系統の数と同じ数だけ設けられ、それぞれの前記分割手段と前記第２の送信手段においては、１系統のオーディオデータを対象として処理が行われるようにすることができる。

前記多重ビデオフレームは、前記各フォーマットの１フレームを互いに重ならないように貼り付け可能な、前記各フォーマットが規定するフレームの画面サイズの総和以上の画面サイズを有するようにすることができる。

本発明の一側面の情報処理方法は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、入力された複数のフォーマットのビデオデータに含まれる各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定されたビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記各フォーマットの１フレームのデータを多重化し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報を、前記多重ビデオフレームの前記ビデオ用の領域の下方に設定されたオーディオ用の領域のデータとして伝送されるように多重化し、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されているデータに処理を施すステップを含む。

本発明の一側面のプログラムは、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、入力された複数のフォーマットのビデオデータに含まれる各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定されたビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記各フォーマットの１フレームのデータを多重化し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報を、前記多重ビデオフレームの前記ビデオ用の領域の下方に設定されたオーディオ用の領域のデータとして伝送されるように多重化し、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されているデータに処理を施すステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、所定の画面サイズを有するビデオフレームである多重ビデオフレームが生成され、入力された複数のフォーマットのビデオデータに含まれる各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定されたビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送するように、前記各フォーマットの１フレームのデータが多重化される。また、入力されたオーディオデータが、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割され、分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報が、前記多重ビデオフレームの前記ビデオ用の領域の下方に設定されたオーディオ用の領域のデータとして伝送するように多重化される。さらに、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されているデータに処理が施される。

本発明によれば、複数の系統の入力データを多重化してビデオポートから同時にプロセッサに入力する場合のデータの遅延を抑えることができる。

本発明の一実施形態に係る情報処理装置の構成例を示すブロック図である。 オーディオサンプルの切り出しの例を示す図である。 多重ビデオフレームの例を示す図である。 多重化後の多重ビデオフレームの例を示す図である。 多重ビデオフレームのビデオ信号の例を示す図である。 ビデオ型インタフェースを模式的に示す図である。 ビデオ信号の波形の例を示す図である。 図７の実線矢印で示す範囲の波形の詳細を示す図である。 入力用の多重ビデオフレームの領域構成の例を示す図である。 多重化の対象となるビデオフレームの例を示す図である。 ビデオ＃０のフレームの貼り付けの例を示す図である。 ビデオ＃１のフレームの貼り付けの例を示す図である。 ビデオ＃２のフレームの貼り付けの例を示す図である。 ビデオ＃３のフレームの貼り付けの例を示す図である。 オーディオデータの挿入の例を示す図である。 下詰めのメリットについて説明する図である。 オーディオデータをビデオデータの上に挿入した場合のデメリットについて説明する図である。 ビデオを上詰めにした場合のデメリットについて説明する図である。 出力用の多重ビデオフレームの領域構成の例を示す図である。 多重化後の多重ビデオフレームの例を示す図である。 上詰めのメリットについて説明する図である。 オーディオデータをビデオデータの下に挿入した場合のデメリットについて説明する図である。 ビデオを下詰めにした場合のデメリットについて説明する図である。 情報処理装置の処理について説明するフローチャートである。 図２４のステップＳ１において行われるビデオ受信処理について説明するフローチャートである。 図２４のステップＳ２において行われるオーディオ受信処理について説明するフローチャートである。 図２４のステップＳ４において行われる多重化処理について説明するフローチャートである。 図２４のステップＳ７において行われる抽出処理について説明するフローチャートである。 図２４のステップＳ８において行われるオーディオ出力処理について説明するフローチャートである。 図２４のステップＳ９において行われるビデオ出力処理について説明するフローチャートである。 情報処理装置の他の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。

［情報処理装置の全体構成］
図１は、本発明の一実施形態に係る情報処理装置１の構成例を示すブロック図である。

情報処理装置１は、１入力１出力のビデオポートを有するプロセッサ４３を用いて２系統ずつ入力されたビデオデータ、オーディオデータに対して処理を施し、ビデオデータ、オーディオデータを２系統ずつ出力する機器である。

外部から供給されたビデオ＃１のビデオ信号は同期信号とともにビデオ受信回路２１−１に入力され、ビデオ＃２のビデオ信号は同期信号とともにビデオ受信回路２１−２に入力される。

解像度、フレームレート、走査方式、伝送方式、および圧縮方式等の、ビデオ＃１とビデオ＃２のフォーマットは互いに同一であってもよいし、異なっていてもよい。ビデオ＃１のフレームとビデオ＃２のフレームの入力タイミングは同期していなくてもよい。

また、外部から供給されたオーディオ＃１のオーディオ信号はオーディオ受信回路３１−１に入力され、オーディオ＃２のオーディオ信号はオーディオ受信回路３１−２に入力される。例えば、オーディオ受信回路３１−１と３１−２には、クロック信号、データ信号、サンプリング周波数を表す信号からなる三線オーディオの形でオーディオ信号が入力される。

サンプリング周波数、ビット数、チャンネル数等の、オーディオ＃１とオーディオ＃２のフォーマットも、互いに同一であってもよいし、異なっていてもよい。オーディオ＃１のデータとオーディオ＃２のデータの入力タイミングも同期していなくてもよい。オーディオはビデオに付随するものであってもよいし、独立したものであってもよい。

ビデオ受信回路２１−１は、ケーブルイコライザ、デシリアライザ、各種デコーダ、4:2:2／4:4:4デコーダ、およびA/D(Analog/Digital)コンバータ等を有する。ビデオ受信回路２１−１は、入力されたビデオ信号に対してA/D変換等の各種の処理を施し、ビデオ＃１を構成する各フレームのデータを生成する。ビデオ受信回路２１−１は、生成した各フレームのデータをフレームシンクロナイザ２２−１に出力する。

フレームシンクロナイザ２２−１は、各系統のビデオ間でフレームのタイミングを同期させ、ビデオ受信回路２１−１から供給された１フレームのデータをフレームメモリ２３−１に記憶させる。フレームシンクロナイザ２２−１は、多重回路４２−１からの要求に応じてフレームメモリ２３−１からフレームデータを読み出し、出力する。

実装上、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、多重回路４２−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、ビデオ受信回路２１−１とフレームシンクロナイザ２２−１の間、フレームシンクロナイザ２２−１と多重回路４２−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。

ビデオ受信回路２１−２とフレームシンクロナイザ２２−２の間、フレームシンクロナイザ２２−２と多重回路４２−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、オーディオ受信回路３１−１とメモリ制御回路３２−１の間、メモリ制御回路３２−１と多重回路４２−３の間や、オーディオ受信回路３１−２とメモリ制御回路３２−２の間、メモリ制御回路３２−２と多重回路４２−４の間にも、適宜、FIFOが設けられる。

ここで、入力されたビデオ＃１のビデオ信号のフレーム周波数と、後述する多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ２２−１は、フレームメモリ２３−１に記憶されているビデオデータを重複して（同じフレームのデータを続けて）多重回路４２−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。ビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数を一致させることについては特開２００９−７１７０１号公報に記載されている。

ビデオ受信回路２１−２は、ビデオ受信回路２１−１と同様に、入力されたビデオ信号に各種の処理を施し、ビデオ＃２を構成する各フレームのデータを生成する。ビデオ受信回路２１−２は、生成した各フレームのデータをフレームシンクロナイザ２２−２に出力する。

フレームシンクロナイザ２２−２は、フレームシンクロナイザ２２−１と同様に、各系統のビデオ信号間でフレームのタイミングを同期させ、ビデオ受信回路２１−２から供給されたフレームデータをフレームメモリ２３−２に記憶させる。フレームシンクロナイザ２２−２は、多重回路４２−２からの要求に応じてフレームメモリ２３−２からフレームデータを読み出し、出力する。フレームシンクロナイザ２２−２においても、フレームメモリ２３−２に記憶されているフレームデータの重複読み出しや読み飛ばしが適宜行われる。

オーディオ受信回路３１−１は、入力されたオーディオ信号に対してA/D変換、サンプリングレート変換、S/P変換などの各種の処理を施し、オーディオ＃１を構成するオーディオデータを生成する。生成されたオーディオデータは、オーディオサンプルの時系列から構成される。

オーディオ受信回路３１−１は、オーディオ＃１のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割する（切り出す）。また、オーディオ受信回路３１−１は、分割したオーディオデータを、それを構成するオーディオサンプルの数を表す情報であるサンプル数情報とともにメモリ制御回路３２−１に出力する。オーディオ受信回路３１−１に対しては、多重ビデオフレームの１フレーム期間を表す同期信号が多重ビデオ信号発生回路４１から供給される。多重ビデオフレームについては後述する。

図２は、オーディオサンプルの切り出しの例を示す図である。

図２の横軸は時間を表し、時間軸上に並ぶそれぞれの実線がオーディオサンプルを表す。図２の例においては、多重ビデオ信号発生回路４１から供給される同期信号（垂直同期信号）により、時刻ｔ_１から時刻ｔ_２までの時間である時間Ｔ_１、および、時刻ｔ_２から時刻ｔ_３までの時間である時間Ｔ_２が、それぞれ多重ビデオフレームの１フレーム期間とされている。

オーディオ受信回路３１−１は、時間Ｔ_１に入力されたオーディオサンプルの数をカウントし、時刻ｔ_２になったタイミングで、時間Ｔ_１に入力されたオーディオサンプルを切り出す。オーディオ受信回路３１−１は、切り出したオーディオサンプルのデータを、時間Ｔ_１に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとして、サンプル数情報とともにメモリ制御回路３２−１に出力する。

同様に、オーディオ受信回路３１−１は、時間Ｔ_２に入力されたオーディオサンプルを切り出し、時間Ｔ_２に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとしてサンプル数情報とともに出力する。

オーディオデータとビデオデータとで異なる点は、フレームシンクロナイザ機能を装備してはならない点である。これは、原則、オーディオデータは重複も欠落もしてはならないためである。従って、オーディオ受信回路３１−１においては、多重ビデオフレームの同期信号を基準として、１フレーム期間内に入力されたオーディオサンプルが、そのまま、１つの多重ビデオフレームに多重化するオーディオデータとして切り出される。

オーディオデータのサンプリング周波数が、多重ビデオフレームのフレーム周波数の整数倍ではない場合、１フレーム期間内にオーディオ受信回路３１−１に入力されるオーディオサンプルの数にばらつきが生じる。サンプル数情報をも多重ビデオフレームに多重化することによって、何サンプルのオーディオサンプルが多重ビデオフレームに多重化されているのかを、その多重ビデオフレームの供給を受けたプロセッサ４３等は判断することが可能になる。

図１の説明に戻り、メモリ制御回路３２−１は、オーディオ受信回路３１−１から供給されたオーディオデータとサンプル数情報をメモリ３３−１に記憶させる。メモリ制御回路３２−１は、多重回路４２−３からの要求に応じて、メモリ３３−１からオーディオデータとサンプル数情報を読み出し、出力する。

オーディオ受信回路３１−２は、オーディオ受信回路３１−１と同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃２を構成するオーディオデータを生成する。オーディオ受信回路３１−２は、オーディオ＃２のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−２に出力する。

メモリ制御回路３２−２は、オーディオ受信回路３１−２から供給されたオーディオデータとサンプル数情報をメモリ３３−２に記憶させる。メモリ制御回路３２−２は、多重回路４２−４からの要求に応じて、メモリ３３−２からオーディオデータとサンプル数情報を読み出し、出力する。

多重ビデオ信号発生回路４１は、発振子とPLL(Phase Locked Loop)を有する周波数マルチプライヤである。多重ビデオ信号発生回路４１は、各系統のビデオデータ、オーディオデータを多重化してプロセッサ４３に入力、またはプロセッサ４３から出力するためのビデオフレームを生成する。多重ビデオ信号発生回路４１により生成されるビデオフレームは、例えば、伝送に使用する帯域幅がプロセッサ４３のビデオポートの帯域幅を超えない範囲で許容される最大のサイズ（画素数）を有するフレームとされる。

以下、ビデオデータ、オーディオデータ等の多重化に用いられるビデオフレームを多重ビデオフレームという。また、多重ビデオフレームの信号を多重ビデオ信号という。

図３は、多重ビデオフレームの例を示す図である。

図３に示すように、多重ビデオ信号発生回路４１により生成された多重ビデオフレームは、ビデオデータ、オーディオデータが多重化されていないブランク（Blank）の画像である。

多重ビデオフレームのサイズは、各系統のビデオのフレームサイズと、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータのサイズとの総和より大きい。多重ビデオフレームには、各系統のビデオのフレームを互いに重ならないように貼り付けることが可能とされる。また、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータを挿入することが可能とされる。

多重ビデオ信号発生回路４１は、多重ビデオフレームのデータと同期信号を多重回路４２−１に出力する。多重ビデオフレームの同期信号は、多重ビデオフレームのデータとともに、多重回路４２−１より後段の各回路に供給される。多重ビデオ信号発生回路４１から出力された同期信号は、オーディオ受信回路３１−１と３１−２にも供給される。

多重回路４２−１は、要求に応じてフレームシンクロナイザ２２−１からデータが供給されたビデオ＃１のフレームを多重ビデオ信号発生回路４１から供給された多重ビデオフレームに貼り付ける。多重回路４２−１は、ビデオ＃１のフレームを貼り付けた多重ビデオフレームのデータを多重回路４２−２に出力する。

多重回路４２−２は、要求に応じてフレームシンクロナイザ２２−２からデータが供給されたビデオ＃２のフレームを多重回路４２−１から供給された多重ビデオフレームに貼り付ける。ビデオ＃２の１フレームは、ビデオ＃１のフレームと重ならない位置に貼り付けられる。多重回路４２−２は、ビデオ＃２のフレームを貼り付けた多重ビデオフレームのデータを多重回路４２−３に出力する。

多重回路４２−２から出力された多重ビデオフレームのデータは、ビデオ＃１の１フレームのデータと、ビデオ＃２の１フレームのデータが多重化されたデータになる。

後述するように、ビデオ＃１の１フレームとビデオ＃２の１フレームは、下詰め（後詰め）の形で、多重ビデオフレームのビデオ用の領域に貼り付けられ、データの多重化が行われる。

多重回路４２−３は、要求に応じてメモリ制御回路３２−１から供給されたオーディオ＃１のオーディオデータとサンプル数情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。多重回路４２−３は、オーディオ＃１のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータを多重回路４２−４に出力する。

多重回路４２−４は、要求に応じてメモリ制御回路３２−２から供給されたオーディオ＃２のオーディオデータとサンプル数情報を、多重回路４２−３から供給された多重ビデオフレームに挿入する。多重回路４２−４は、オーディオ＃２のオーディオデータとサンプル数情報を挿入した多重ビデオフレームのデータをプロセッサ４３に出力する。プロセッサ４３に対する入力は１系統のビデオデータになる。

後述するように、オーディオ＃１のオーディオデータとオーディオ＃２のオーディオデータは、多重ビデオフレームの、ビデオ用の領域より下に設定されるオーディオ用の領域に挿入され、データの多重化が行われる。

図４は、多重化後の多重ビデオフレームの例を示す図である。

ここでは、多重ビデオフレームを使った一般的な多重化について説明するために、後述する下詰め、上詰めとは異なる形でビデオデータ、オーディオデータを多重化する場合について説明する。以下、適宜、水平方向に並ぶ画素をラインとして説明する。

図４の例においては、多重ビデオフレームの有効画枠の左上端に左上頂点を合わせるようにしてビデオ＃１のフレームが貼り付けられている。ビデオ＃１のフレームの１ライン目と、多重ビデオフレームの１ライン目は一致する。

また、ビデオ＃１のフレームと重ならず、かつ、１ライン目が、多重ビデオフレームのｍライン目にくるようにビデオ＃２のフレームが貼り付けられている。

さらに、多重ビデオフレームのn-2ライン目と次のラインであるn-1ライン目にオーディオ＃１のオーディオデータが挿入され、多重ビデオフレームの最も下のラインであるｎライン目にオーディオ＃２のオーディオデータが挿入されている。

多重ビデオフレームに挿入されたオーディオ＃１のオーディオサンプルの数を表すサンプル数情報ｓ_１は、例えば図４に示すように、オーディオ＃１に割り当てられているラインの先頭であるn-2ライン目の先頭に挿入される。

また、オーディオ＃２のオーディオサンプルの数を表すサンプル数情報ｓ_２は、例えば、オーディオ＃２に割り当てられているラインの先頭であるｎライン目の先頭に挿入される。

各データの多重位置に関する情報は、多重回路４２−１乃至４２−４、プロセッサ４３、および抽出回路４５−１乃至４５−４のそれぞれに予め設定される。多重位置に関する情報には、どのデータを多重ビデオフレームのどこに貼り付けるのかを表す、水平位置、垂直位置、横サイズ、縦サイズ、ライン間隔などの情報が含まれる。

図５は、図４に示す形で各データが貼り付けられた多重ビデオフレームのビデオ信号の例を示す図である。

図５に示すように、多重ビデオ信号は、それを時間軸上に表した場合、多重ビデオフレームの１ライン目からｎライン目までの各ラインのデータを伝送する区間毎の信号から構成される。

図５の例においては、時刻ｔ_１からｔ_２までの区間である区間Ｔ_１は、多重ビデオフレームの１ライン目のデータを伝送する区間であり、時刻ｔ_２からｔ_３までの区間である区間Ｔ_２は、多重ビデオフレームの２ライン目のデータを伝送する区間である。

また、時刻ｔ_ｍからｔ_m+1までの区間である区間Ｔ_ｍは、多重ビデオフレームのｍライン目のデータを伝送する区間であり、時刻ｔ_n-2からｔ_n-1までの区間である区間Ｔ_n-2は、多重ビデオフレームのn-2ライン目のデータを伝送する区間である。時刻ｔ_n-1からｔ_ｎまでの区間である区間Ｔ_n-1は、多重ビデオフレームのn-1ライン目のデータを伝送する区間であり、時刻ｔ_ｎからｔ_n+1までの区間である区間Ｔ_ｎは、多重ビデオフレームのｎライン目のデータを伝送する区間である。

図４に示す形で各データが貼り付けられた場合、多重ビデオ信号の区間Ｔ_１には、ビデオ＃１のフレームの１ライン目の信号が挿入される。また、多重ビデオ信号の区間Ｔ_２には、ビデオ＃１のフレームの２ライン目の信号が挿入される。

また、多重ビデオフレームの区間Ｔ_ｍには、その前半に、ビデオ＃１のフレームのｍライン目の信号が挿入され、所定の期間だけ空けて後半に、ビデオ＃２のフレームの１ライン目の信号が挿入される。

多重ビデオフレームの区間Ｔ_n-2の先頭にはサンプル数情報ｓ_１が挿入される。区間Ｔ_n-2と区間Ｔ_n-1には、サンプル数情報ｓ_１に続けて、サンプル数情報ｓ_１により表される数のオーディオ＃１のオーディオサンプルの信号が挿入される。

多重ビデオフレームの区間Ｔ_ｎの先頭にはサンプル数情報ｓ_２が挿入され、サンプル数情報ｓ_２に続けて、サンプル数情報ｓ_２により表される数のオーディオ＃２のオーディオサンプルの信号が挿入される。

このように、プロセッサ４３に入力するデータの多重化は、入力するデータの信号を、多重ビデオ信号を構成する全区間のうちの、多重ビデオフレームにおけるデータの挿入位置に応じた区間に挿入することによって実現される。

フレームデータ、オーディオデータ等のデータを多重ビデオフレームに貼り付ける、または挿入するということは、データを、貼り付け位置、または挿入位置に応じた多重ビデオフレームのデータとして伝送することを意味する。多重ビデオフレームのデータは、貼り付け、または挿入されたデータが多重化されたデータになる。

図１の説明に戻り、プロセッサ４３は、ビデオポート（Video In）に入力された多重ビデオフレームのデータに多重化されている各系統のビデオデータと各系統のオーディオデータを抽出し、抽出したデータを対象として所定の処理を行う。プロセッサ４３は、CPU，GPU，DSP，SoCなどの演算装置である。

例えば、ビデオデータの抽出は、後述する抽出回路４５−３および４５−４による抽出と同様にして行われ、オーディオデータの抽出は、抽出回路４５−１および４５−２による抽出と同様にして行われる。

また、プロセッサ４３は、処理を施した各系統のビデオのフレーム、オーディオのサンプルを多重ビデオフレームに貼り付け、それらのデータを多重化する。

後述するように、プロセッサ４３による各系統のビデオフレームの貼り付けは、多重ビデオフレームのビデオ用の領域に上詰め（前詰め）の形で行われる。また、プロセッサ４３による各系統のオーディオデータの挿入は、多重ビデオフレームの、ビデオ用の領域より上に設定されるオーディオ用の領域に挿入するようにして行われる。

なお、各系統のビデオデータ、各系統のオーディオデータを対象として処理が行われるのではなく、多重ビデオフレーム全体を対象としてプロセッサ４３において処理が行われるようにしてもよい。

プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームのデータをビデオポート（Video Out）から出力する。プロセッサ４３からの出力も、１系統のビデオデータになる。プロセッサ４３から出力された多重ビデオフレームのデータは同期信号とともに抽出回路４５−１に供給される。プロセッサ４３から出力された同期信号はタイミング発生回路４４にも供給される。

タイミング発生回路４４は、プロセッサ４３から供給された同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレーム、オーディオサンプルの出力タイミングの基準となる同期信号を生成する。例えば、ビデオ＃１の１フレームのデータとビデオ＃２の１フレームのデータは同期して同じタイミングで出力される。

タイミング発生回路４４には、フレーム周波数等の各系統のビデオのフォーマットに関する情報や、サンプリング周波数等の各系統のオーディオのフォーマットに関する情報が予め設定されている。

タイミング発生回路４４は、ビデオ＃１用の同期信号をビデオ送信回路５３−１に出力し、ビデオ＃２用の同期信号をビデオ送信回路５３−２に出力する。また、タイミング発生回路４４は、オーディオ＃１用の同期信号をオーディオ送信回路６３−１に出力し、オーディオ＃２用の同期信号をオーディオ送信回路６３−２に出力する。

抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータから、オーディオ＃２のオーディオデータを抽出する。

図４の例を用いてデータの抽出について説明すると、抽出回路４５−１が抽出対象とするオーディオ＃２のオーディオデータの多重位置は、多重ビデオフレームの例えばｎライン目として予め設定されている。また、ｎライン目に挿入されているオーディオ＃２のオーディオサンプルの数は、ｎライン目の先頭に挿入されているサンプル数情報ｓ_２により表される。

抽出回路４５−１は、多重ビデオフレームが供給されたとき、ｎライン目の先頭に挿入されている所定のビット数のデータをサンプル数情報ｓ_２として抽出し、ｎライン目に挿入されているオーディオ＃２のオーディオサンプルの数を特定する。また、抽出回路４５−１は、サンプル数情報ｓ_２に続けてｎライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ＃２のオーディオサンプルとして抽出する。

抽出回路４５−１は、抽出したオーディオ＃２のオーディオサンプルをメモリ制御回路６１−２に出力し、プロセッサ４３から供給された多重ビデオフレームのデータを抽出回路４５−２に出力する。

抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームから、抽出回路４５−１と同様にしてオーディオ＃１のオーディオサンプルを抽出する。

すなわち、抽出回路４５−２は、n-2ライン目の先頭に挿入されている所定のビット数のデータをサンプル数情報ｓ_１として抽出し、n-2ライン目とn-1ライン目に挿入されているオーディオ＃１のオーディオサンプルの数を特定する。また、抽出回路４５−２は、サンプル数情報ｓ_１に続けてn-2ライン目とn-1ライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ＃１のオーディオサンプルとして抽出する。

抽出回路４５−２は、抽出したオーディオ＃１のオーディオサンプルをメモリ制御回路６１−１に出力し、抽出回路４５−１から供給された多重ビデオフレームのデータを抽出回路４５−３に出力する。

抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータから、ビデオ＃２のフレームデータを抽出する。

抽出回路４５−３が抽出対象とするビデオ＃２のフレームの多重位置は予め設定されている。抽出回路４５−３は、ビデオ＃２のフレームの多重位置として予め設定されている位置のデータをビデオ＃２のフレームデータとして多重ビデオフレームから抽出する。

抽出回路４５−３は、抽出したビデオ＃２のフレームデータをフレームシンクロナイザ５１−２に出力し、抽出回路４５−２から供給された多重ビデオフレームのデータを抽出回路４５−４に出力する。

抽出回路４５−４は、抽出回路４５−３から供給された多重ビデオフレームのデータから、抽出回路４５−３と同様にしてビデオ＃１のフレームデータを抽出する。抽出回路４５−４は、抽出したビデオ＃１のフレームデータをフレームシンクロナイザ５１−１に出力する。

フレームシンクロナイザ５１−１は、抽出回路４５−４から供給されたビデオ＃１のフレームデータをフレームメモリ５２−１に記憶させる。フレームシンクロナイザ５１−１は、ビデオ送信回路５３−１からの要求に応じてフレームメモリ５２−１からフレームデータを読み出し、出力する。

ビデオ送信回路５３−１は、ケーブルドライバ（Cable Driver）、シリアライザ（Serializer）、各種エンコーダ（Encoder）、4:2:2／4:4:4コンバータ、およびD/A（Digital / Analog）コンバータ等を有する。ビデオ送信回路５３−１は、要求に応じてフレームシンクロナイザ５１−１から供給されたビデオ＃１のフレームデータを同期信号とともに、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、ビデオ送信回路５３−１は、適宜、フレームシンクロナイザ５１−１から供給されたフレームデータに対してD/A変換等の所定の処理を施す。

実装上、抽出回路４５−４、フレームシンクロナイザ５１−１、ビデオ送信回路５３−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、抽出回路４５−４とフレームシンクロナイザ５１−１の間、フレームシンクロナイザ５１−１とビデオ送信回路５３−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。

抽出回路４５−３とフレームシンクロナイザ５１−２の間、フレームシンクロナイザ５１−２とビデオ送信回路５３−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、抽出回路４５−２とメモリ制御回路６１−１の間、メモリ制御回路６１−１とオーディオ送信回路６３−１の間や、抽出回路４５−１とメモリ制御回路６１−２の間、メモリ制御回路６１−２とオーディオ送信回路６３−２の間にも、適宜、FIFOが設けられる。

ここで、出力するビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ５１−１は、フレームメモリ５２−１に記憶されているビデオデータを重複して（同じフレームのビデオデータを続けて）ビデオ送信回路５３−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。

フレームシンクロナイザ５１−２は、抽出回路４５−３から供給されたビデオ＃２のフレームデータをフレームメモリ５２−２に記憶させる。フレームシンクロナイザ５１−２は、ビデオ送信回路５３−２からの要求に応じてフレームメモリ５２−２からフレームデータを読み出し、出力する。

ビデオ送信回路５３−２は、ビデオ送信回路５３−１と同様に、要求に応じてフレームシンクロナイザ５１−２から供給されたビデオ＃２のフレームデータを同期信号とともに、タイミング発生回路４４から供給された同期信号に従って外部に出力する。情報処理装置１の外部に出力する前、ビデオ送信回路５３−２は、適宜、フレームシンクロナイザ５１−２から供給されたフレームデータに対してD/A変換等の所定の処理を施す。

メモリ制御回路６１−１は、抽出回路４５−２から供給されたオーディオ＃１のオーディオデータをメモリ６２−１に一時的に記憶させる。メモリ６２−１には、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプル単位で、オーディオ＃１のオーディオデータが記憶されることになる。メモリ制御回路６１−１は、オーディオ送信回路６３−１からの要求に応じて、メモリ６２−１からオーディオデータを読み出し、出力する。

オーディオ送信回路６３−１は、要求に応じてメモリ制御回路６１−１から供給されたオーディオ＃１のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、オーディオ送信回路６３−１は、適宜、メモリ制御回路６１−１から供給されたオーディオデータに対してサンプリング周波数の変換、D/A変換等の処理を施す。

メモリ制御回路６１−２は、抽出回路４５−１から供給されたオーディオ＃２のオーディオデータをメモリ６２−２に一時的に記憶させる。メモリ制御回路６１−２は、オーディオ送信回路６３−２からの要求に応じて、メモリ６２−２に記憶されているオーディオデータを読み出し、出力する。

オーディオ送信回路６３−２は、要求に応じてメモリ制御回路６１−２から供給されたオーディオ＃２のオーディオデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された同期信号に従って情報処理装置１の外部に出力する。情報処理装置１の外部に出力する前、オーディオ送信回路６３−２は、適宜、メモリ制御回路６１−２から供給されたオーディオデータに対してD/A変換等の所定の処理を施す。

なお、図１においては、２系統のビデオデータと２系統のオーディオデータが情報処理装置１に入力され、処理が行われるものとしたが、入力されるデータの系統の数は変更可能である。

例えば、情報処理装置１には、１系統のビデオデータ毎に、入力側の構成として、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、フレームメモリ２３−１、多重回路４２−１と同様の構成が設けられる。また、出力側の構成として、抽出回路４５−１、フレームシンクロナイザ５１−１、フレームメモリ５２−１、ビデオ送信回路５３−１と同様の構成が設けられる。

情報処理装置１には、１系統のオーディオデータ毎に、入力側の構成として、オーディオ受信回路３１−１、メモリ制御回路３２−１、メモリ３３−１、多重回路４２−３と同様の構成が設けられる。また、出力側の構成として、抽出回路４５−２、メモリ制御回路６１−１、メモリ６２−１、オーディオ送信回路６３−１と同様の構成が設けられる。

以下、適宜、同じ名称を有する回路、構成を区別する必要がない場合、「−」とそれに続く数字を省略して説明する。

［ビデオ型インタフェース］
図６は、ビデオ型インタフェースを模式的に示す図である。

ビデオ型インタフェースにおいては、水平同期信号（H-Sync）、垂直同期信号（V-Sync）、フィールドフラグ信号（Field Flag）、画像や音声よりなるデータ信号（Data）、クロックを示すイネーブル信号（EN）などが送信側から受信側に伝送される。フィールドフラグ信号は、第１フィールドであるか第２フィールドであるかを示す。

図６のビデオ型インタフェースにおいて伝送されるビデオ信号の波形の例を図７に示す。図７の上段の信号群＃１１は、インタレース方式のビデオ信号の波形の例を示し、下段の信号群＃１２は、プログレッシブ方式のビデオ信号の波形の例を示す。

図７の信号群＃１１に示す波形のうち、実線矢印で示す範囲の波形の詳細を図８に示す。図８は、HD(High-Definition)画像のビデオ信号の波形の例を示す。

図８に示すように、垂直同期信号（V）の１周期の間に、１フィールド（540ライン）分のデータ（Data）が伝送される（Active Video）。また、水平同期信号（H）の１周期の間に１ライン（1920画素）分のデータ（Data）が伝送される。

［入力用の多重ビデオフレームを用いた多重化について］
ここで、多重ビデオフレームを用いて行われるビデオデータとオーディオデータの多重化の方法について説明する。

はじめに、多重回路４２（図１の例の場合、多重回路４２−１乃至４２−４）により行われる、プロセッサ４３に対する入力用の多重ビデオフレームを用いた多重化について説明する。

図９は、入力用の多重ビデオフレームの領域構成の例を示す図である。

図９に示すように、入力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図９の例においては、有効画枠内の１ライン目からｍ_１ライン目までの領域が、ビデオ用の領域であるビデオ領域Ａ_１として設定されている。また、有効画枠内のm₁+1ライン目から、最終ラインであるｎライン目までの領域が、オーディオ用の領域であるオーディオ領域Ａ_２として設定されている。

このように、入力用の多重ビデオフレームには、その上側にビデオ領域Ａ_１が設定され、ビデオ領域Ａ_１の下側にオーディオ領域Ａ_２が設定される。入力用の多重ビデオフレームを時間軸上に表した場合、処理順でいうと、入力用の多重ビデオフレームの上側が時間軸上では前側、下側が時間軸上では後ろ側になる。

図１０は、図９の入力用の多重ビデオフレームに貼り付けるビデオフレームの例を示す図である。

ここでは、ビデオ＃０乃至＃３の４系統のビデオデータを多重化する場合について説明する。

図１０の例においては、ビデオ＃０のフレームサイズは720×486i（SD）であり、ビデオ＃１のフレームサイズは1280×720p（720p）とされている。また、ビデオ＃２のフレームサイズは、ビデオ＃１のフレームサイズと同じ1280×720p（720p）であり、ビデオ＃３のフレームサイズは1920×1080i（HD）とされている。

入力用の多重ビデオフレームへの貼り付け対象となるフレームは例えばライン毎に分割され、各ラインが、入力用の多重ビデオフレームのそれぞれ異なるラインに貼り付けられる。

また、貼り付け対象となる各フレームのデータが重ならないように、かつ、インタリーブして貼り付けられる。インタリーブとは、同じフレームのラインが垂直方向に連続しないように入力用の多重ビデオフレームに配置することをいう。

ビデオ＃０乃至＃３の順に、フレームを入力用の多重ビデオフレームに貼り付ける場合について説明する。なお、ビデオ＃０，＃３はインタレース方式のフレームである。ビデオ＃０，＃３については、実際には、１フィールドを構成するラインが１つの入力用の多重ビデオフレームに貼り付けられるが、フレームを貼り付けるものとして説明する。

図１１は、ビデオ＃０のフレーム（フィールド）が貼り付けられた入力用の多重ビデオフレームの例を示す図である。

図１１の例においては、ビデオ＃０のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に720画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ_１の最終ラインであるｍ_１ラインから上に243×2ラインの範囲である。図１１には、ビデオ＃０のフレームのラインとして４ラインしか示していないが、１フィールドのライン数である243ラインが、１ライン毎に、１ラインずつ空けて挿入される。

ビデオ＃０のフレームの各ラインの挿入位置（多重位置）に関する情報は、入力用の多重ビデオフレームの供給を受け、ビデオ＃０のフレームを貼り付ける多重回路４２に予め設定されている。

図１２は、ビデオ＃０のフレームに続けてビデオ＃１のフレームが貼り付けられた入力用の多重ビデオフレームの例を示す図である。

図１２の例においては、ビデオ＃１のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ_１の最終ラインであるｍ_１ラインから上に720×2ラインの範囲である。図１２には、ビデオ＃１のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃０のフレームのラインと重ならないように挿入される。

ビデオ領域Ａ_１の最終ラインであるｍ_１ラインから上に243×2ラインの範囲においては、ビデオ＃０のフレームの各ラインと、ビデオ＃１のフレームの各ラインが交互に挿入されることになる。

ビデオ＃１のフレームの各ラインの挿入位置に関する情報は、入力用の多重ビデオフレームの供給を受け、ビデオ＃１のフレームを貼り付ける多重回路４２に予め設定されている。

図１３は、ビデオ＃０，＃１のフレームに続けてビデオ＃２のフレームが貼り付けられた入力用の多重ビデオフレームの例を示す図である。

図１３の例においては、ビデオ＃２のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ_１の最終ラインであるｍ_１ラインから上に720×2ラインの範囲である。図１３には、ビデオ＃２のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて挿入される。

ビデオ＃２のフレームの各ラインの挿入位置に関する情報は、入力用の多重ビデオフレームの供給を受け、ビデオ＃２のフレームを貼り付ける多重回路４２に予め設定されている。

図１４は、ビデオ＃０，＃１，＃２のフレームに続けてビデオ＃３のフレーム（フィールド）が貼り付けられた入力用の多重ビデオフレームの例を示す図である。

図１４の例においては、ビデオ＃３のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ_１の最終ラインであるｍ_１ラインから上に540×2ラインの範囲である。図１４には、ビデオ＃３のフレームのラインとして７ラインしか示していないが、１フィールドのライン数である540ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃２のフレームのラインと重ならないように挿入される。

ビデオ＃３のフレームの各ラインの挿入位置に関する情報は、入力用の多重ビデオフレームの供給を受け、ビデオ＃３のフレームを貼り付ける多重回路４２に予め設定されている。

この例においては、入力用の多重ビデオフレームの有効画枠の水平方向の画素数は3200画素（1280+1920画素）とされている。

図１５は、オーディオデータが挿入された入力用の多重ビデオフレームの例を示す図である。

オーディオ＃０乃至＃３の４系統のオーディオデータを多重化する場合について説明する。

図１５に示すように、入力用の多重ビデオフレームのオーディオ領域Ａ_２には、オーディオ＃０乃至＃３のオーディオデータが、情報処理装置１に入力された順に、各ラインの左側を先頭にして詰めて挿入される。

図１５の例においては、オーディオ領域Ａ_２の開始位置であるm₁+1ライン目とm₁+2ライン目がオーディオ＃０のオーディオデータに割り当てられている。

m₁+1ライン目とm₁+2ライン目のうちのm₁+1ライン目の先頭（左端）には、図１５の入力用の多重ビデオフレームに多重化されているオーディオ＃０のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、m₁+1ライン目の全体と、m₁+2ライン目の途中までに渡って、オーディオ＃０のオーディオデータが挿入される。

また、図１５の例においては、m₁+3ライン目とm₁+4ライン目がオーディオ＃１のオーディオデータに割り当てられている。

m₁+3ライン目とm₁+4ライン目のうちのm₁+3ライン目の先頭には、図１５の入力用の多重ビデオフレームに多重化されているオーディオ＃１のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、m₁+3ライン目の全体と、m₁+4ライン目の途中までに渡って、オーディオ＃１のオーディオデータが挿入される。

m₁+5ライン目とm₁+6ライン目がオーディオ＃２のオーディオデータに割り当てられている。

m₁+5ライン目とm₁+6ライン目のうちのm₁+5ライン目の先頭には、図１５の入力用の多重ビデオフレームに多重化されているオーディオ＃２のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、m₁+5ライン目の全体と、m₁+6ライン目の途中までに渡って、オーディオ＃２のオーディオデータが挿入される。

m₁+7ライン目とm₁+8ライン目（ｎライン目）がオーディオ＃３のオーディオデータに割り当てられている。

m₁+7ライン目とm₁+8ライン目のうちのm₁+7ライン目の先頭には、図１５の入力用の多重ビデオフレームに多重化されているオーディオ＃３のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、m₁+7ライン目の全体と、m₁+8ライン目の途中までに渡って、オーディオ＃３のオーディオデータが挿入される。

各系統のオーディオデータの挿入位置に関する情報は、入力用の多重ビデオフレームの供給を受け、オーディオデータを挿入する多重回路４２に予め設定されている。

入力用の多重ビデオフレームに挿入されるオーディオデータのサイズは、各多重回路４２において処理されるオーディオデータのデータレートと、入力用の多重ビデオフレームのフレーム周波数（１フレーム期間）などから決定される。

従って、各系統のオーディオデータを挿入するラインの数として何ラインを割り当てればよいのかは、設計時に決定することが可能である。図１５の例においては、各系統のオーディオデータに２ラインずつ割り当てられている。

例えば、オーディオ領域Ａ_２のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図１５の例においてもそのようにしてオーディオ領域Ａ_２のライン数が設定されている。

以上のように、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、入力用の多重ビデオフレームのビデオ領域Ａ_１に下詰めで貼り付けられる。また、挿入の対象となる各オーディオデータは、ビデオ領域Ａ_１の下に設定されたオーディオ領域Ａ_２に、例えばオーディオ領域Ａ_２全体のラインを使って挿入される。

入力用の多重ビデオフレーム全体を見た場合、各系統のデータは、下詰めの形で配置されることになる。

これにより、入力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ４３に入力する場合であっても入力遅延を抑えることが可能になる。入力遅延は、プロセッサ４３による処理の対象のデータが情報処理装置１に入力された時刻と、プロセッサ４３に入力された時刻の差で表される。

図１６は、下詰めのメリットについて説明する図である。図１６の横軸は時間を表す。

図１６の例においては、ビデオ＃０乃至＃３のビデオデータ（入力ビデオ信号）が、それぞれ異なるタイミングで入力される。

例えば、ビデオ＃０のある１フレームのデータは、時刻ｔ_３から時刻ｔ_７のタイミングで情報処理装置１に入力される。また、ビデオ＃１のある１フレームのデータは、時刻ｔ_１から時刻ｔ_５のタイミングで情報処理装置１に入力される。

ビデオ＃２のある１フレームのデータは、時刻ｔ_４から時刻ｔ_８のタイミングで情報処理装置１に入力される。ビデオ＃３のある１フレームのデータは、時刻ｔ_２から時刻ｔ_６のタイミングで情報処理装置１に入力される。

例えばビデオについては、入力用の多重ビデオフレームの１フレームの期間内に最終ラインのデータが入力されたビデオフレームが、その期間内に生成された入力用の多重ビデオフレームに貼り付けられる。

従って、この場合、図１６に各ラインに斜線を付して示すビデオ＃０乃至＃３のフレームが、時刻ｔ_４から時刻ｔ_８までの期間Ｔに生成された入力用の多重ビデオフレーム（多重ビデオ信号）である多重ビデオフレームＦ_１に多重化されることになる。

各ラインに斜線を付して示すビデオ＃０のフレームの最終ラインのデータは、期間Ｔ内の時刻である時刻ｔ_７の直前の時刻に入力されている。同様に、各ラインに斜線を付して示すビデオ＃１乃至＃３のフレームの最終ラインのデータは、期間Ｔ内の時刻に入力されている。

また、オーディオについては、上述したように、入力用の多重ビデオフレームの１フレームの期間内に入力されたオーディオサンプルが、サンプル数情報とともに、その期間内に生成された入力用の多重ビデオフレームに挿入される。

従って、図１６の例の場合、オーディオ＃０のオーディオサンプル全体のうち、期間Ｔに含まれる、太線で示すオーディオサンプルが、多重ビデオフレームＦ_１に挿入されることになる。図１６にはオーディオ＃０だけを示しているが、他の系統のオーディオデータについても同様にして多重ビデオフレームＦ_１に挿入される。

入力用の多重ビデオフレームの１フレームの期間は、多重ビデオ信号発生回路４１により生成された同期信号により規定される。図１６の同期信号sync-1は、多重ビデオ信号発生回路４１により生成された同期信号を表す。

なお、図１６の例においては、同期信号sync-1は、ビデオ＃２の同期信号と同期している。後述するように、入力用の多重ビデオフレームの１フレーム期間を規定する同期信号として、外部から入力されたビデオの同期信号を用いることも可能である。

同期信号sync-2は、プロセッサ４３に入力用の多重ビデオフレームを出力する最終段の多重回路４２が出力する、入力用の多重ビデオフレームの１フレーム期間を規定する同期信号を表す。最終段の多重回路４２からプロセッサ４３に対しては、同期信号sync-2に従って、各系統のデータを多重化した多重化後の入力用の多重ビデオフレームが出力される。図１の例においては多重回路４２−４が最終段の多重回路になる。

各多重回路４２においては、多重化の対象のデータが入力されるのを待って多重化が行われる。多重ビデオ信号発生回路４１から、あるいは前段の多重回路４２から入力用の多重ビデオフレームが入力される時刻と、入力用の多重ビデオフレームにデータを多重化し、多重化後の入力用の多重ビデオフレームをある多重回路４２が出力する時刻には、多重化の対象のデータのうちの、最終のデータが入力される時刻に応じて差が生じる。ここでは、ビデオ受信回路２１やオーディオ受信回路３１におけるデータの受信や、フレームメモリ２３やメモリ３３にデータを一時的に記憶するのにかかる時間を無視するものとする。

同期信号sync-1とsync-2のタイミング（１の値の時刻）が近いことは、多重ビデオ信号発生回路４１から入力用の多重ビデオフレームが出力された時刻と、多重化後の入力用の多重ビデオフレームがプロセッサ４３に入力される時刻の差が小さいことを表す。すなわち、同期信号sync-1とsync-2のタイミングが近いことは、入力遅延が抑えられていることを表す。

このことを前提として、入力用の多重ビデオフレームに下詰めでデータを挿入した場合について説明する。

図１６の多重ビデオフレームＦ_１は、図１１乃至図１５を参照して説明したようにして各データが下詰めで挿入された多重化後の入力用の多重ビデオフレームを示す。

図１６に示すように、左側を時間的に前、右側を時間的に後ろとする時間軸上に表した場合、ビデオ領域Ａ_１は多重ビデオフレームＦ_１において左側に示され、オーディオ領域Ａ_２は右側に示される。図１６の多重ビデオフレームＦ_１内の右側に示す１本の太線は、オーディオ領域Ａ_２に挿入されたオーディオ＃０のオーディオデータを表す。

多重ビデオフレームＦ_１に貼り付けるビデオ＃０のフレームの最終ラインのデータは、それが入力された、時刻ｔ_７の直前の時刻以降であれば挿入することが可能になる。ビデオ＃０のフレームの最終ラインのデータを多重ビデオフレームＦ_１のビデオ領域Ａ_１の上の方（前の方）に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ_１のラインの時刻は、時刻ｔ_７より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ_１全体が図１６に示す位置より右側の位置になってしまう。

従って、入力遅延を抑えるという点からは、ビデオ＃０のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームＦ_１の、時刻ｔ_７の直前の時刻より後の時刻に対応する位置であることが好ましい。実際に挿入される時刻より前に入力されたデータは、挿入時刻までメモリに記録される。

また、多重ビデオフレームＦ_１に多重化するビデオ＃２のフレームの最終ラインのデータは、それが入力された、時刻ｔ_８の直前の時刻以降（時刻ｔ_８の直前の時刻を含む）であれば挿入することが可能になる。ビデオ＃２のフレームの最終ラインのデータを多重ビデオフレームＦ_１のビデオ領域Ａ_１の上の方に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ_１のラインの時刻は、時刻ｔ_８の直前の時刻より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ_１全体が図１６に示す位置より右側の位置になってしまう。

従って、入力遅延を抑えるという点からは、ビデオ＃２のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームＦ_１の、時刻ｔ_８の直前の時刻より後の時刻に対応する位置であることが好ましい。

ビデオ＃１，３のフレームの最終ラインのデータについても同様である。

また、多重ビデオフレームＦ_１に挿入するオーディオ＃０のオーディオサンプルのデータとサンプル数情報は、同期信号sync-1によって定まる。期間Ｔの終了時刻である時刻ｔ_８以降（時刻ｔ_８を含む）であれば、オーディオ＃０のオーディオデータを挿入することが可能になる。

オーディオ＃０のオーディオデータを、多重ビデオフレームＦ_１の上の方に設定された領域内に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ_１のラインの時刻は、時刻ｔ_８より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ_１全体が図１６に示す位置より右側の位置になってしまう。

従って、入力遅延を抑えるという点からは、オーディオ＃０のオーディオデータの挿入位置は、多重ビデオフレームＦ_１の、時刻ｔ_８より後の時刻に対応する位置であることが好ましい。

以上のことから、入力用の多重ビデオフレーム全体としてデータが下詰めで配置されるように、各ビデオのビデオデータについてはフレームをライン毎にインタリーブしてビデオ領域Ａ_１に下詰めで挿入し、各オーディオのオーディオデータについてはビデオ領域Ａ_１の下に設定されたオーディオ領域Ａ_２に挿入することによって、入力遅延を抑えることが可能になることがわかる。

図１６の例においては、入力遅延は、時刻ｔ_４と、プロセッサ４３に対する多重ビデオフレームＦ_１の入力の開始時刻である時刻ｔ₁₁との差である数ラインに相当する時間に抑えられている。

図１６に示すように、ビデオ＃０乃至＃３のフレームデータがそれぞれ異なるタイミングで入力される場合、時間的に前に最終ラインのデータが入力される系統のビデオデータは、より前段の多重回路４２により処理される。また、時間的に後に最終ラインのデータが入力される系統のビデオデータは、より後段の多重回路４２により処理される。これにより、以上のような、ビデオフレームの各ラインを下詰めで挿入することが可能になる。

さらに、オーディオデータは、ビデオデータを処理する多重回路４２より後段の多重回路４２によって処理される。これにより、以上のような、入力用の多重ビデオフレームの下の方に設定されたオーディオ領域Ａ_２にオーディオデータを挿入することが可能になる。

図１に示す多重回路４２−１乃至４２−４を１つの回路として統合するようにしてもよい。統合した１つの回路において全てのデータの多重化が行われるようにすることによって、図１に示すように直列に接続された複数の多重回路４２のうちのどの多重回路４２においてどの系統のデータが処理されるようにするかを考慮する必要が無くなる。

図１７は、オーディオデータをビデオデータの上に挿入した場合のデメリットについて説明する図である。

図１７において、各データの入力タイミング、同期信号sync-1のタイミングは、図１６に示すタイミングと同じである。すなわち、期間Ｔに多重ビデオ信号発生回路４１により生成された入力用の多重ビデオフレームに挿入するデータは、図１６を参照して説明したデータと同じである。重複する説明については適宜省略する。

図１７の例においては、入力用の多重ビデオフレームの上の方にオーディオ用の領域が設定され、その下にビデオ用の領域が設定されている。

この場合、上述したように時刻ｔ_８以降であればオーディオ＃０のオーディオデータを挿入することが可能になるから、多重ビデオフレームＦの上側に設定されたオーディオ＃０のオーディオデータの挿入位置は、時刻ｔ_８以降の時刻に対応する位置になる。

従って、図１７に示すように、多重ビデオフレームＦ_１のプロセッサ４３に対する入力の開始時刻である時刻ｔ₂₁は、図１６の時刻ｔ₁₁より後の時刻になってしまう。入力遅延は、時刻ｔ_４と時刻ｔ₂₁との差である、ほぼ、多重ビデオフレームＦ_１の１フレーム期間に相当する時間になる。

図１８は、ビデオフレームを上詰めで貼り付けた場合のデメリットについて説明する図である。

図１８において、各データの入力タイミング、同期信号sync-1のタイミングは、図１６に示すタイミングと同じである。重複する説明については適宜省略する。

図１８の例においては、図１６の場合と同様に、入力用の多重ビデオフレームの上側にビデオ領域Ａ_１が設定され、ビデオ領域Ａ_１の下にオーディオ領域Ａ_２が設定されている。

ビデオ＃０のフレームの各ラインを入力用の多重ビデオフレームのビデオ領域Ａ_１に上詰めで挿入することを考える。この場合、ビデオ＃０のフレームの最終ラインのデータの多重ビデオフレームＦ_１における挿入位置は、最終ラインのデータが入力された時刻ｔ_７の直前の時刻以降（時刻ｔ_７の直前の時刻を含む）の時刻に対応する位置になる。

これにより、図１８に示すように、多重ビデオフレームＦ_１のプロセッサ４３に対する入力の開始時刻である時刻ｔ₃₁は、図１６の時刻ｔ₁₁より後の時刻になってしまう。入力遅延は、時刻ｔ_４と時刻ｔ₃₁との差によって表される時間になる。

［出力用の多重ビデオフレームを用いた多重化について］
次に、出力用の多重ビデオフレームを用いた多重化について説明する。

出力用の多重ビデオフレームには、入力用の多重ビデオフレームから抽出され、各種の処理が施された各系統のデータが多重化される。すなわち、出力用の多重ビデオフレームを用いたデータ（処理後のデータ）の多重化は、プロセッサ４３により行われる。

プロセッサ４３においては、入力用の多重ビデオフレームを用いた多重化とは異なり、各系統のデータが、上詰めで挿入される。

図１９は、出力用の多重ビデオフレームの領域構成の例を示す図である。

図１９に示すように、出力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図１９の例においては、有効画枠内の１ライン目からｍ_２ライン目までの領域が、オーディオ用の領域であるオーディオ領域Ａ₁₁として設定されている。また、有効画枠内のm₂+1ライン目から、最終ラインであるｎライン目までの領域が、ビデオ用の領域であるビデオ領域Ａ₁₂として設定されている。

このように、出力用の多重ビデオフレームには、その上側にオーディオ領域Ａ₁₁が設定され、オーディオ領域Ａ₁₁の下にビデオ領域Ａ₁₂が設定される。

図２０は、プロセッサ４３による多重化後の出力用の多重ビデオフレームの例を示す図である。

入力用の多重ビデオフレームが入力された場合、プロセッサ４３においては、ビデオ＃０乃至＃３のフレームのデータと、オーディオ＃０乃至＃３のオーディオデータが抽出され、適宜、処理が施される。出力用の多重ビデオフレームには、処理が適宜施された後の、ビデオ＃０乃至＃３のフレームのデータと、オーディオ＃０乃至＃３のオーディオデータが挿入される。

図２０に示すように、出力用の多重ビデオフレームのオーディオ領域Ａ₁₁には、オーディオ＃０乃至＃３のオーディオデータが、各ラインの左側を先頭にして詰めて挿入される。

図２０の例においては、オーディオ領域Ａ₁₁の開始位置である１ライン目と２ライン目がオーディオ＃０のオーディオデータに割り当てられている。

１ライン目と２ライン目のうちの１ライン目の先頭（左端）には、図２０の出力用の多重ビデオフレームに多重化されているオーディオ＃０のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、１ライン目の全体と、２ライン目の途中までに渡って、オーディオ＃０のオーディオデータが挿入される。

また、図２０の例においては、３ライン目と４ライン目がオーディオ＃１のオーディオデータに割り当てられている。

３ライン目と４ライン目のうちの３ライン目の先頭には、図２０の出力用の多重ビデオフレームに多重化されているオーディオ＃１のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、３ライン目の全体と、４ライン目の途中までに渡って、オーディオ＃１のオーディオデータが挿入される。

５ライン目と６ライン目がオーディオ＃２のオーディオデータに割り当てられている。

５ライン目と６ライン目のうちの５ライン目の先頭には、図２０の出力用の多重ビデオフレームに多重化されているオーディオ＃２のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、５ライン目の全体と、６ライン目の途中までに渡って、オーディオ＃２のオーディオデータが挿入される。

７ライン目と８ライン目（ｍ_２ライン目）がオーディオ＃３のオーディオデータに割り当てられている。

７ライン目と８ライン目のうちの７ライン目の先頭には、図２０の出力用の多重ビデオフレームに多重化されているオーディオ＃３のオーディオサンプルの数を表すサンプル数情報が挿入される。また、サンプル数情報に続けて、７ライン目の全体と、８ライン目の途中までに渡って、オーディオ＃３のオーディオデータが挿入される。

各系統のオーディオデータの挿入位置に関する情報は、プロセッサ４３に予め設定されている。

出力用の多重ビデオフレームに挿入されるオーディオデータのサイズは、オーディオデータのデータレートと、入力用の多重ビデオフレームのフレーム周波数と、プロセッサ４３が施す処理の内容などから決定される。

従って、各系統のオーディオデータを挿入するラインの数として何ラインを割り当てればよいのかは、設計時に決定することが可能である。図２０の例においては、各系統のオーディオデータに２ラインずつ割り当てられている。

例えば、オーディオ領域Ａ_１１のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図２０の例においてもそのようにしてオーディオ領域Ａ₁₁のライン数が設定されている。

また、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、出力用の多重ビデオフレームのビデオ領域Ａ_１２内に上詰めで貼り付けられる。

図２０の例においては、ビデオ＃０のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に720画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ_１２の先頭ラインであるm₂+1ライン（上述した例の場合、９ライン）から下に243×2ラインの範囲である。図２０には、ビデオ＃０のフレームのラインとして４ラインしか示していないが、１フィールドのライン数である243ラインが、１ライン毎に、１ラインずつ空けて挿入される。

また、ビデオ＃１のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ_１２の先頭ラインであるm₂+1ラインから下に720×2ラインの範囲である。図２０には、ビデオ＃１のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃０のフレームのラインと重ならないように挿入される。

ビデオ＃２のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ_１２の先頭ラインであるm₂+1ラインから下に720×2ラインの範囲である。図２０には、ビデオ＃２のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて挿入される。

ビデオ＃３のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ_１２の先頭ラインであるm₂+1ラインから下に540×2ラインの範囲である。図２０には、ビデオ＃３のフレームのラインとして７ラインしか示していないが、１フィールドのライン数である540ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃２のフレームのラインと重ならないように挿入される。

この例においては、出力用の多重ビデオフレームの有効画枠の水平方向の画素数も3200画素とされている。入力用の多重ビデオフレームのサイズと出力用の多重ビデオフレームのサイズが異なるようにすることも可能である。

各フレームのそれぞれのラインの挿入位置に関する情報は、プロセッサ４３に予め設定されている。

このように、出力用の多重ビデオフレーム全体を見た場合、各系統のデータは、上詰めで挿入されることになる。

これにより、出力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ４３から出力する場合であっても出力遅延を抑えることが可能になる。出力遅延は、処理後のデータがプロセッサ４３から出力された時刻と、処理後のデータが情報処理装置１の外部に出力された時刻との差で表される。

図２１は、上詰めのメリットについて説明する図である。図２１の横軸は時間を表す。

図２１の多重ビデオフレームＦ_２は、プロセッサ４３から出力された出力用の多重ビデオフレームを表す。同期信号sync-3は、プロセッサ４３が出力する同期信号であり、多重ビデオフレームＦ_２の１フレーム期間を規定する。時刻ｔ_１から時刻ｔ_２までの期間において、多重ビデオフレームＦ_２がプロセッサ４３から出力されている。

各ラインに斜線を付して示すビデオ＃０乃至＃３のフレームのデータは、多重ビデオフレームＦ_２から抽出され、ビデオ送信回路５３から情報処理装置１の外部に出力されるデータ（出力ビデオ信号）を表す。また、太線で示すオーディオ＃０のオーディオサンプルのデータは、多重ビデオフレームＦ_２から抽出され、オーディオ送信回路６３から情報処理装置１の外部に出力されるデータ（出力オーディオ信号）を表す。

例えば、同じ出力用の多重ビデオフレームに多重化されていたデータは、タイミング発生回路４４から出力された同期信号に従って、同じタイミングで、情報処理装置１の外部に出力される。

図２１の同期信号sync-4は、タイミング発生回路４４により生成され、各ビデオ送信回路５３、各オーディオ送信回路６３に供給される同期信号である。時刻ｔ₁₁から時刻ｔ₁₂までの期間において、多重ビデオフレームＦ_２から抽出された各系統のデータが情報処理装置１の外部に出力されている。

各ビデオ送信回路５３においては、出力対象のフレームのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。

また、各オーディオ送信回路６３においては、出力対象のオーディオサンプルのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。

同じ出力用の多重ビデオフレームに多重化されていたデータについては同じタイミングで出力する場合、各ビデオ送信回路５３、各オーディオ送信回路６３がデータを出力するには、同じ出力用の多重ビデオフレームから抽出された出力対象となるデータを、全てのビデオ送信回路５３とオーディオ送信回路６３が受信している必要がある。

プロセッサ４３から出力用の多重ビデオフレームが出力される時刻と、データを外部に出力する時刻には、出力対象のデータのうちの、先頭のデータが各ビデオ送信回路５２と各オーディオ送信回路６３に入力される時刻に応じて差が生じる。ここでは、抽出回路４５におけるデータの抽出や、フレームメモリ５２やメモリ６２にデータを一時的に記憶するのにかかる時間を無視するものとする。

同期信号sync-3と同期信号sync-4のタイミング（１の値の時刻）が近いことは、プロセッサ４３から出力用の多重ビデオフレームが出力された時刻と、各系統のデータが外部に出力される時刻の差が小さいことを表す。すなわち、同期信号sync-3と同期信号sync-4のタイミングが近いことは、出力遅延が抑えられていることを表す。

このことを前提として、出力用の多重ビデオフレームに上詰めでデータを挿入した場合について説明する。

仮に、オーディオ＃０のオーディオデータを、多重ビデオフレームＦ_２の下の方に設定された領域内に挿入するとした場合、オーディオ＃０のオーディオデータの出力の開始時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。

イメージとしては、オーディオ＃０の出力タイミングが、図２１に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ＃０乃至＃３の出力タイミングも、図２１に示す位置より右側の位置になってしまう。

従って、出力遅延を抑えるという点からは、オーディオ＃０のオーディオデータの挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。また、出力用の多重ビデオフレームに多重化されているオーディオサンプルの数がサンプル数情報に基づいて特定され、特定された後に抽出されるから、サンプル数情報は、ラインの先頭に挿入されていることが好ましい。

また、各ビデオのフレームがライン毎にインタリーブされて下詰めで出力用の多重ビデオフレームに挿入されている場合を考える。この場合、ビデオ＃０のフレームの先頭ラインのデータの出力時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。特に、ビデオ＃０のフレーム全体のライン数が少ないほど、後の時刻になってしまう。

イメージとしては、ビデオ＃０の出力タイミングが、図２１に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ＃１乃至＃３の出力タイミングと、オーディオ＃０の出力タイミングも、図２１に示す位置より右側の位置になってしまう。

従って、出力遅延を抑えるという点からは、ビデオ＃０のフレームの先頭ラインのデータの挿入位置は、多重ビデオフレームＦ_２のビデオ領域Ａ₁₂内であって、より上の方の位置であることが好ましい。ビデオ＃１乃至３についても同様である。

以上のことから、出力用の多重ビデオフレーム全体としてデータが上詰めで配置されるように、各オーディオのオーディオデータについては出力用の多重ビデオフレームの上の方に設定されたオーディオ領域Ａ₁₁に挿入し、各ビデオのビデオデータについてはフレームをライン毎にインタリーブして、オーディオ領域Ａ₁₁の下に設定されたビデオ領域Ａ₁₂に上詰めで挿入することによって、出力遅延を抑えることが可能になることがわかる。

図２１の例においては、出力遅延は、多重ビデオフレームＦ_２のプロセッサ４３からの出力の開始時刻である時刻ｔ_１と、外部へのデータの出力の開始時刻である時刻ｔ₁₁との差である数ラインに相当する時間に抑えられている。

図２２は、オーディオデータをビデオデータの下に挿入した場合のデメリットについて説明する図である。

図２２において、同期信号sync-3のタイミングは、図２１に示すタイミングと同じである。重複する説明については適宜省略する。

図２２の例においては、出力用の多重ビデオフレームの下の方にオーディオ用の領域が設定され、その上にビデオ用の領域が設定されている。

この場合、図２２に示すように、オーディオ＃０の先頭のオーディオサンプルのデータの出力時刻は、そのデータの多重ビデオフレームＦ_２における挿入位置に対応する時刻より後の時刻になる。

また、同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、多重ビデオフレームＦ_２から抽出された各系統のデータの出力の開始時刻である時刻ｔ₂₁は、図２１の時刻ｔ₁₁より後の時刻になってしまう。出力遅延は、時刻ｔ_１と時刻ｔ₂₁との差である、ほぼ、多重ビデオフレームＦ_２の１フレーム期間に相当する時間になる。

図２３は、ビデオフレームを下詰めで貼り付けた場合のデメリットについて説明する図である。

図２３において、同期信号sync-3のタイミングは、図２１に示すタイミングと同じである。重複する説明については適宜省略する。

図２３の例においては、図２１の場合と同様に、出力用の多重ビデオフレームの前の方にオーディオ領域Ａ_１１が設定され、オーディオ領域Ａ_１１の下にビデオ領域Ａ_１２が設定されている。

ラインの数が少ないビデオ＃０のフレームのデータを出力することを考える。この場合、ビデオ＃０のフレームの先頭ラインのデータの多重ビデオフレームＦ_２における挿入位置は、上詰めにした場合より下の位置になる。これにより、ビデオ＃０のフレームの先頭ラインのデータの出力時刻は、点線で示すように挿入位置に対応する時刻になる。

また、同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、多重ビデオフレームＦ_２から抽出された各系統のデータの出力の開始時刻である時刻ｔ₃₁は、図２１の時刻ｔ₁₁より後の時刻になってしまう。出力遅延は、時刻ｔ_１と時刻ｔ₃₁との差によって表される時間になる。

［情報処理装置の動作］
ここで、図２４のフローチャートを参照して、図１の情報処理装置１の処理について説明する。

図１の情報処理装置１においては、２系統のビデオデータと２系統のオーディオデータが入力用の多重ビデオフレームを用いて多重化され、プロセッサ４３に入力される。また、プロセッサ４３により処理後のデータが多重化された出力用の多重ビデオフレームから抽出された２系統のビデオデータと２系統のオーディオデータが外部に出力される。

ステップＳ１において、ビデオ受信回路２１−１および２１−２によりビデオ受信処理が行われる。ビデオ受信回路２１−１により受信されたビデオ＃１を構成する各フレームのデータはフレームメモリ２３−１に記憶される。また、ビデオ受信回路２１−２により受信されたビデオ＃２を構成する各フレームのデータはフレームメモリ２３−２に記憶される。

ステップＳ２において、オーディオ受信回路３１−１および３１−２によりオーディオ受信処理が行われる。オーディオ受信回路３１−１により切り出された、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルとサンプル数情報はメモリ３３−１に記憶される。また、オーディオ受信回路３１−２により切り出された、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃２のオーディオサンプルとサンプル数情報はメモリ３３−２に記憶される。

ステップＳ３において、多重ビデオ信号発生回路４１は、多重ビデオフレームを生成し、多重ビデオフレームのデータと同期信号を出力する。

ステップＳ４において、多重化処理が行われる。すなわち、ビデオ＃１の１フレームが多重回路４２−１により入力用の多重ビデオフレームに貼り付けられ、ビデオ＃２の１フレームが多重回路４２−２により入力用の多重ビデオフレームに貼り付けられる。また、オーディオ＃１のオーディオサンプルのデータとサンプル数情報が多重回路４２−３により入力用の多重ビデオフレームに挿入され、オーディオ＃２のオーディオデータとサンプル数情報が多重回路４２−４により入力用の多重ビデオフレームに挿入される。

多重化処理においては、上述したように、各データが下詰めになるように入力用の多重ビデオフレームに挿入される。

ステップＳ５において、プロセッサ４３は、ビデオポートに入力された多重ビデオフレームのデータに多重化されているビデオデータ、オーディオデータを対象として所定の処理を行う。

ステップＳ６において、プロセッサ４３は、処理後のデータを上詰めで多重ビデオフレームに挿入する。プロセッサ４３は、処理後のデータが多重化された出力用の多重ビデオフレームのデータをビデオポートから出力する。

ステップＳ７において、抽出処理が行われる。すなわち、オーディオ＃２のオーディオデータが、出力用の多重ビデオフレームのデータから抽出回路４５−１により抽出され、オーディオ＃１のオーディオデータが、出力用の多重ビデオフレームのデータから抽出回路４５−２により抽出される。また、ビデオ＃２のビデオデータが、出力用の多重ビデオフレームのデータから抽出回路４５−３により抽出され、ビデオ＃１のビデオデータが、出力用の多重ビデオフレームのデータから抽出回路４５−４により抽出される。

ステップＳ８において、オーディオ出力処理が行われる。多重ビデオフレームのデータから抽出されたオーディオ＃１のデータが、メモリ６２−１に一時的に記憶された後、１サンプルずつ外部に出力される。また、オーディオ＃２のデータが、メモリ６２−２に一時的に記憶された後、１サンプルずつ外部に出力される。

ステップＳ９において、ビデオ出力処理が行われる。多重ビデオフレームから抽出されたビデオ＃１のフレームデータが、フレームメモリ５２−１に一時的に記憶された後、外部に出力される。また、ビデオ＃２のフレームデータが、フレームメモリ５２−２に一時的に記憶された後、外部に出力される。ビデオ出力処理が終了した後、処理は終了される。

次に、図２５のフローチャートを参照して、図２４のステップＳ１において行われるビデオ受信処理について説明する。

ステップＳ１１において、ビデオ受信回路２１−１は、入力されたビデオ信号を受信し、A/D変換等の各種の処理を施すことによって、ビデオ＃１を構成する各フレームのデータを生成する。ビデオ受信回路２１−２においても同様の処理が行われることによって、ビデオ＃２を構成する各フレームのデータが生成される。

ステップＳ１２において、フレームシンクロナイザ２２−１は、ビデオ受信回路２１−１により生成されたビデオ＃１のフレームデータをフレームメモリ２３−１に記憶させる。フレームシンクロナイザ２２−２においても、ビデオ＃２のフレームデータをフレームメモリ２３−２に記憶させることが行われる。

ビデオ＃１および＃２のフレームデータがフレームメモリ２３に記憶された後、図２４のステップＳ１に戻り、それ以降の処理が行われる。

次に、図２６のフローチャートを参照して、図２４のステップＳ２において行われるオーディオ受信処理について説明する。

ステップＳ２１において、オーディオ受信回路３１−１は、入力されたオーディオ信号を受信し、A/D変換等の処理を施すことによって、オーディオサンプルの時系列から構成されるオーディオ＃１のオーディオデータを生成する。オーディオ受信回路３１−２においても同様の処理が行われ、オーディオ＃２のオーディオデータが生成される。

ステップＳ２２において、オーディオ受信回路３１−１は、サンプル数をカウントしつつ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルを切り出す。オーディオ受信回路３１−２においても同様の処理が行われ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃２のオーディオサンプルが切り出される。

ステップＳ２３において、メモリ制御回路３２−１は、切り出されたオーディオ＃１のオーディオサンプルのデータとサンプル数情報をメモリ３３−１に記憶させる。また、メモリ制御回路３２−２は、切り出されたオーディオ＃２のオーディオサンプルのデータとサンプル数情報をメモリ３３−２に記憶させる。

オーディオ＃１および＃２のオーディオサンプルがメモリ３３に記憶された後、図２４のステップＳ２に戻り、それ以降の処理が行われる。

次に、図２７のフローチャートを参照して、図２４のステップＳ４において行われる多重化処理について説明する。図２４のステップＳ３において生成された入力用の多重ビデオフレームのデータは多重回路４２−１に供給される。

ステップＳ３１において、多重回路４２−１は、フレームシンクロナイザ２２−１に対して要求することによって、ビデオ＃１のフレームデータをフレームメモリ２３−１から読み出す。

ステップＳ３２において、多重回路４２−１は、フレームメモリ２３−１からデータを読み出したビデオ＃１のフレームを、ライン毎にインタリーブして入力用の多重ビデオフレームのビデオ領域Ａ_１に下詰めで挿入する。

ステップＳ３１，Ｓ３２の処理と同様の処理が多重回路４２−２においても行われ、フレームメモリ２３−２からデータが読み出されたビデオ＃２のフレームが、多重回路４２−１から供給された入力用の多重ビデオフレームのビデオ領域Ａ_１に下詰めで挿入される。

ステップＳ３３において、多重回路４２−３は、メモリ制御回路３２−１に対して要求することによって、オーディオ＃１のオーディオサンプルのデータとサンプル数情報をメモリ３３−１から読み出す。

ステップＳ３４において、多重回路４２−３は、オーディオ＃１のオーディオサンプルのデータとサンプル数情報を、多重回路４２−２から供給された入力用の多重ビデオフレームのオーディオ領域Ａ_２に挿入する。

ステップＳ３３，Ｓ３４の処理と同様の処理が多重回路４２−４においても行われる。メモリ３３−２から読み出されたオーディオ＃２のオーディオサンプルのデータが、多重回路４２−３から供給された入力用の多重ビデオフレームのオーディオ領域Ａ_２にサンプル数情報とともに挿入される。

下詰めになるように全系統のビデオデータとオーディオデータが入力用の多重ビデオフレームに挿入された後、図２４のステップＳ４に戻り、それ以降の処理が行われる。入力用の多重ビデオフレームを用いて多重化されたビデオデータとオーディオデータに対してプロセッサ４３により処理が施され、処理後のデータを多重化した出力用の多重ビデオフレームのデータが抽出回路４５−１に供給される。

次に、図２８のフローチャートを参照して、図２４のステップＳ７において行われる抽出処理について説明する。

ステップＳ５１において、抽出回路４５−１は、プロセッサ４３から出力された出力用の多重ビデオフレームのデータを受信する。

ステップＳ５２において、抽出回路４５−１は、サンプル数情報を参照して、上詰めで挿入されているオーディオ＃２のオーディオサンプルのデータを、出力用の多重ビデオフレームから抽出する。

ステップＳ５３において、メモリ制御回路６１−２は、抽出回路４５−１により抽出されたオーディオ＃２のオーディオサンプルのデータをメモリ６２−２に記憶させる。

ステップＳ５２，Ｓ５３の処理と同様の処理が抽出回路４５−２、メモリ制御回路６１−１においても行われ、出力用の多重ビデオフレームから抽出されたオーディオ＃１のオーディオサンプルのデータがメモリ６２−１に記憶される。

ステップＳ５４において、抽出回路４５−３は、上詰めで挿入されているビデオ＃２のフレームデータを出力用の多重ビデオフレームから抽出する。

ステップＳ５５において、フレームシンクロナイザ５１−２は、抽出回路４５−３により抽出されたビデオ＃２のフレームデータをフレームメモリ５２−２に記憶させる。

ステップＳ５４，Ｓ５５の処理と同様の処理が抽出回路４５−４、フレームシンクロナイザ５１−１においても行われ、出力用の多重ビデオフレームから抽出されたビデオ＃１のフレームデータがフレームメモリ５２−１に記憶される。

全系統のビデオデータとオーディオデータが出力用の多重ビデオフレームから抽出された後、図２４のステップＳ７に戻り、それ以降の処理が行われる。

次に、図２９のフローチャートを参照して、図２４のステップＳ８において行われるオーディオ出力処理について説明する。

ステップＳ６１において、オーディオ送信回路６３−２は、メモリ制御回路６１−２に対して要求することによって、オーディオ＃２のオーディオサンプルのデータをメモリ６２−２から読み出す。

ステップＳ６２において、オーディオ送信回路６３−２は、１サンプルのデータずつ、メモリ６２−２から読み出したオーディオ＃２のオーディオデータを外部に出力する。

ステップＳ６１，Ｓ６２の処理と同様の処理がオーディオ送信回路６３−１においても行われ、メモリ６２−１から読み出されたオーディオ＃１のオーディオデータが外部に出力される。

全系統のオーディオデータが出力された後、図２４のステップＳ８に戻り、それ以降の処理が行われる。

次に、図３０のフローチャートを参照して、図２４のステップＳ９において行われるビデオ出力処理について説明する。

ステップＳ７１において、ビデオ送信回路５３−２は、フレームシンクロナイザ５１−２に対して要求することによって、ビデオ＃２のフレームデータをフレームメモリ５２−２から読み出す。

ステップＳ７２において、ビデオ送信回路５３−２は、フレームメモリ５２−２から読み出したビデオ＃２のフレームデータを外部に出力する。

ステップＳ７１，Ｓ７２の処理と同様の処理がビデオ送信回路５３−１においても行われ、フレームメモリ５２−１から読み出されたビデオ＃１のフレームデータが外部に出力される。

全系統のビデオのフレームデータが出力された後、図２４のステップＳ９に戻り、それ以降の処理が行われる。

以上の各ステップの処理は、必ずしも図に示す順に行われるものではなく、適宜、他のステップの処理と並行して、または他のステップの処理と前後して行われる。

以上の一連の処理により、１つの入力ビデオポートを備えるプロセッサ４３に対して複数の系統のビデオデータとオーディオデータを入力することができる。また、１つの出力ビデオポートを備えるプロセッサ４３から、複数の系統のビデオデータとオーディオデータを出力させることができる。すなわち、プロセッサ４３に対するデータの入力、およびプロセッサ４３からのデータの出力を、１つのビデオポートを使って効率的に行うことができる。

また、プロセッサ４３に対するデータの入力を、入力遅延を抑えつつ行うことができる。さらに、プロセッサ４３からのデータの出力を、出力遅延を抑えつつ行うことができる。

［変形例］
図３１は、情報処理装置１の他の構成例を示すブロック図である。

図３１に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３１に示す構成は、多重ビデオ信号発生回路４１の前段に切り替え回路１１１が設けられている点で図１に示す情報処理装置１の構成と異なる。

切り替え回路１１１に対しては、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および、その２つの同期信号とは別に外部から入力された同期信号である外部同期信号が入力される。外部同期信号はタイミング発生回路４４にも供給される。

切り替え回路１１１は、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および外部同期信号のうちの所定の同期信号を選択し、多重ビデオ信号発生回路４１に出力する。

多重ビデオ信号発生回路４１は、切り替え回路１１１から供給された同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームのデータを、切り替え回路１１１から供給された同期信号とともに多重回路４２−１に出力する。

タイミング発生回路４４は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオデータの出力タイミングの基準となる同期信号を生成し、出力する。

このように、多重ビデオフレームを生成する周期を規定する同期信号として、外部から入力された同期信号を切り替えて用いるようにすることも可能である。

［その他の変形例］
以上においては、１入力１出力のビデオポートがプロセッサ４３に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ４３に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ４３から出力されるようにすることが可能である。

以上においては、主に、入力ビデオデータ、多重ビデオフレームがフレーム単位で処理されるものとしたが、フィールド単位で処理されるようにしてもよい。上述した“フレーム”は、すべて“フィールド”と言い換えることが可能である。

［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。

CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 情報処理装置， ２１−１および２１−２ ビデオ受信回路， ２２−１および２２−２ フレームシンクロナイザ， ２３−１および２３−２ フレームメモリ， ３１−１および３１−２ オーディオ受信回路， ３２−１および３２−２ メモリ制御回路， ３３−１および３３−２ メモリ， ４１ 多重ビデオ信号発生回路， ４２−１乃至４２−４ 多重回路， ４３ プロセッサ， ４４ タイミング発生回路， ４５−１乃至４５−４ 抽出回路， ５１−１および５１−２ フレームシンクロナイザ， ５２−１および５２−２ フレームメモリ， ５３−１および５３−２ ビデオ送信回路， ６１−１および６１−２ メモリ制御回路， ６２−１および６２−２ メモリ， ６３−１および６３−２ オーディオ送信回路

Claims (8)

1. 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成する生成手段と、
   入力された複数のフォーマットのビデオデータに含まれる各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第１のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記各フォーマットの１フレームのデータを多重化する第１の多重化手段と、
   入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、
   前記分割手段による分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報を、前記多重ビデオフレームの前記第１のビデオ用の領域の下方に設定された第１のオーディオ用の領域のデータとして伝送されるように多重化する第２の多重化手段と、
   入力ビデオポートから入力された前記第１の多重化手段と前記第２の多重化手段による多重化後の前記多重ビデオフレームに多重化されているデータに処理を施す処理手段と
   を備える情報処理装置。
2. 前記処理手段は、
   処理後の前記各フォーマットの１フレームのデータを、前記各フォーマットの１フレームが、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第２のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化し、
   処理後の前記分割後のオーディオデータと、前記サンプル数情報を、前記多重ビデオフレームの前記第２のビデオ用の領域の上方に設定された第２のオーディオ用の領域のデータとして伝送されるように多重化し、
   処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力する
   請求項１に記載の情報処理装置。
3. 前記処理手段から出力された前記多重ビデオフレームから、前記各フォーマットの１フレームのデータを抽出する第１の抽出手段と、
   抽出された前記各フォーマットの１フレームのデータを外部に出力する第１の送信手段と
   をさらに備える請求項２に記載の情報処理装置。
4. 前記処理手段から出力された前記多重ビデオフレームから、前記サンプル数情報に従って、前記分割後のオーディオデータを抽出する第２の抽出手段と、
   抽出された前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する第２の送信手段と
   をさらに備える請求項３に記載の情報処理装置。
5. 前記分割手段と前記第２の送信手段は、それぞれ、入力されるオーディオデータの系統の数と同じ数だけ設けられ、
   それぞれの前記分割手段と前記第２の送信手段においては、１系統のオーディオデータを対象として処理が行われる
   請求項４に記載の情報処理装置。
6. 前記多重ビデオフレームは、前記各フォーマットの１フレームを互いに重ならないように貼り付け可能な、前記各フォーマットが規定するフレームの画面サイズの総和以上の画面サイズを有する
   請求項１に記載の情報処理装置。
7. 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、
   入力された複数のフォーマットのビデオデータに含まれる各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定されたビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記各フォーマットの１フレームのデータを多重化し、
   入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
   分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報を、前記多重ビデオフレームの前記ビデオ用の領域の下方に設定されたオーディオ用の領域のデータとして伝送されるように多重化し、
   入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されているデータに処理を施す
   ステップを含む情報処理方法。
8. 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、
   入力された複数のフォーマットのビデオデータに含まれる各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定されたビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記各フォーマットの１フレームのデータを多重化し、
   入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
   分割後のオーディオデータと、前記分割後のオーディオデータを構成するサンプルの数を表すサンプル数情報を、前記多重ビデオフレームの前記ビデオ用の領域の下方に設定されたオーディオ用の領域のデータとして伝送されるように多重化し、
   入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されているデータに処理を施す
   ステップを含む処理をコンピュータに実行させるプログラム。

Images