JP2011146930A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができるようにする。
【解決手段】各系統のビデオの１フレームは、画面サイズの大きいビデオフレームである多重ビデオフレームに挿入され、多重ビデオフレームのデータとして伝送される。また、各系統のオーディオデータは、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプル毎に分割され、多重ビデオフレームに挿入される。各多重回路においては、各ビデオフレームの通し番号を表す情報と、各オーディオサンプルの通し番号を表す情報が多重ビデオフレームに挿入される。本発明は、複数系統のオーディオデータを処理する映像音響機器に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

［ビデオ型インタフェース］
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。

ビデオ型インタフェースには、DVI/VESAのようにデータイネーブル信号を加える方式、HDMIのようにビデオデータをシリアライズする方式、SMPTE259MやSMPTE292Mのようにタイミング情報をデータ線にさらに多重する方式もある。

以下、適宜、ビデオ型インタフェースにより伝送される信号セットを「ビデオ信号」という。また、ビデオ型インタフェースの入力ピンと出力ピンのセットを「ビデオポート」という。

［ビデオポートの帯域幅］
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec＝186MB/sの安定的なデータ転送を保証する。

ビデオポートの帯域幅が急速に向上してきている。これは、ディスプレイの解像度が向上したこと、放送画質が標準画質(720×480)からHD画質(1920×1080)へ移行したこと、ディスプレイの表示能力が多様化(480i/480p/1080i/720p/1080p)したことなどによる。いまでは、HD(1920x1080@30frame/sec)やWUXGA(1920x1200@60frame/sec)の帯域幅は一般的なものになっている。

［ビデオ・オーディオの多チャンネル化］
ところで、近年、映像音響機器は多数のビデオ／オーディオ信号を扱うようになってきている。

例えば、家庭用のデジタルレコーダにおいては次のようなデータが出力系のデータとして扱われる。
・メニューやガイドが入らない映像出力（ビデオ出力）。
・メニューやガイドが入る映像出力（モニタ出力）。
・アンテナからのビットストリームをデコードした映像出力（デコーダ出力）。

また、映像加工に用いる業務用の機器においては、多いものでは次のようなデータが出力系のデータとして扱われ、かつ、同時に出力することが求められる。
・標準の映像出力（プログラム出力、ビデオ出力）。
・スーパーインポーズした映像出力（モニタ出力）。
・数秒前の映像（プレビュー出力）。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。

特に映像加工に用いる業務用の機器が扱うデータには、SD/HD、4:2:2/4:4:4、RGB/YCbCr、インタレース／プログレッシブといったような、様々なディスプレイサイズ、様々なフレーム周波数（リフレッシュレート）のデータが混在する。

入力系についても、異なるフォーマットで非同期のビデオ信号を同時入力・同時記録したり、同時入力しながらそれらを切り替えたり、切り替えるときに加工して合成したり、といったように、多数の映像をプロセッサに同時入力することが求められる。ビデオに付随するオーディオのチャンネル数も、5.1ch、7.1ch、9.1ch、マルチチャンネルでの他カ国語などと急速に増大している。

このように、映像音響機器のプロセッサには、複数のビデオ、複数のオーディオの入出力を同時に行うことが可能であることが要求される。

例えば、特許文献２には、入力された複数のフォーマットのビデオデータを、画面サイズの大きいビデオフレームである多重ビデオフレームのデータとして多重化し、ビデオポートからプロセッサに入力する技術が開示されている。

また、特許文献２には、多重ビデオフレームから抽出された各フォーマットのビデオデータに対してプロセッサにおいて処理が行われ、処理後の各フォーマットのビデオデータが、多重ビデオフレームにプロセッサにおいて再度多重化されることも記載されている。プロセッサのビデオポートから出力された多重ビデオフレームからは、処理後の各フォーマットのビデオデータが抽出され、装置の外部に出力されるようになされている。

特開２００６−２３６０５６号公報 特開２００９−７１７０１号公報

特許文献２に記載されている技術によっては、多重ビデオフレームを用いて多重化されたデータを入力側の回路から取得したプロセッサ、またはプロセッサから取得した出力側の回路は、取得したデータの連続性や信頼性を判断することができない。

例えば、一部のビデオ入力の同期が入力側の回路の受信回路において外れてしまっていたとしても、データの入力を受けたプロセッサは、どのビデオ入力の同期が外れているのかを判断することができない。

また、あるフレームが欠落し、その代わりに、他のフレームが入力側の回路において多重ビデオフレームに挿入されているような場合であっても、データの入力を受けたプロセッサは、フレームの連続性が保たれているものとして処理を行ってしまう。

上述したように処理後の各フォーマットのビデオデータはプロセッサにおいて再度多重化されるが、プロセッサによる処理が間に合わず、この再度の多重化が最後まで完了していないような場合であっても、出力側の回路はそのことを判断することができない。各系統のデータが多重化された多重ビデオフレームは入力側の回路から周期的に入力されるから、プロセッサは、１つの多重ビデオフレームを対象とした処理を、次の多重ビデオフレームが入力されるまでに行う必要がある。

本発明はこのような状況に鑑みてなされたものであり、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができるようにするものである。

本発明の一側面の情報処理装置は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入する生成手段と、入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入する第１の多重化手段と、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する第２の多重化手段とを備える。

入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータと前記分割後のオーディオデータに処理を施し、処理後の前記フレームのデータと前記分割後のオーディオデータを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段をさらに設けることができる。前記処理手段には、処理後の前記フレームのデータと前記分割後のオーディオデータのそれぞれの多重化が完了したか否かを表す情報を前記多重ビデオフレームに挿入させることができる。

前記処理手段には、前記フレームの連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータが、連続性が確保されていないデータであると判断した場合、他のフレームのデータを前記多重ビデオフレームに多重化させ、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータが、連続性が確保されていないデータであると判断した場合、他のオーディオサンプルのデータを前記多重ビデオフレームに多重化させることができる。

前記処理手段から出力された前記多重ビデオフレームから、前記フレームのデータと、前記フレームのデータの多重化が完了したか否かを表す情報を抽出する第１の抽出手段と、抽出された前記フレームのデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記フレームのデータに代えて、他のフレームのデータを外部に出力する第１の送信手段とをさらに設けることができる。

前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータと、前記分割後のオーディオデータの多重化が完了したか否かを表す情報を抽出する第２の抽出手段と、抽出された前記分割後のオーディオデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記分割後のオーディオデータに代えて、他のオーディオサンプルのデータを、１サンプルのデータずつ外部に出力する第２の送信手段とをさらに設けることができる。

前記第１の多重化手段には、複数のフォーマットの前記ビデオデータの各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第１のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化させることができる。

前記第２の多重化手段には、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第１のビデオ用の領域の下方に設定された第１のオーディオ用の領域のデータとして伝送されるように多重化させることができる。

前記処理手段には、処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第２のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化させ、処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第２のビデオ用の領域の上方に設定された第２のオーディオ用の領域のデータとして伝送されるように多重化させ、処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力させることができる。

前記生成手段には、さらに、前記多重ビデオフレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入させ、前記第１の多重化手段には、さらに、前記フレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入させ、前記第２の多重化手段には、前記分割後のオーディオデータの信頼性を表す情報を前記多重ビデオフレームに挿入させることができる。

本発明の一側面の情報処理方法は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入するステップを含む。

本発明の一側面のプログラムは、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、所定の画面サイズを有するビデオフレームである多重ビデオフレームが生成され、前記多重ビデオフレームの連続性に関する情報が前記多重ビデオフレームに挿入される。また、入力されたビデオデータを構成する１フレームが前記多重ビデオフレームに配置され、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータが多重化されるとともに、前記フレームの連続性に関する情報が前記多重ビデオフレームに挿入される。入力されたオーディオデータが、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割され、分割後のオーディオデータが前記多重ビデオフレームに配置され、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化されるとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とが前記多重ビデオフレームに挿入される。

本発明によれば、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができる。

本発明の一実施形態に係る情報処理装置の構成例を示すブロック図である。 オーディオサンプルの切り出しの例を示す図である。 多重ビデオフレームの例を示す図である。 多重化後の多重ビデオフレームの例を示す図である。 多重ビデオフレームのビデオ信号の例を示す図である。 ビデオ型インタフェースを模式的に示す図である。 ビデオ信号の波形の例を示す図である。 図７の実線矢印で示す範囲の波形の詳細を示す図である。 多重フレーム状態情報の例を示す図である。 情報処理装置の処理について説明するフローチャートである。 図１０のステップＳ１において行われるビデオ受信処理について説明するフローチャートである。 図１０のステップＳ２において行われるオーディオ受信処理について説明するフローチャートである。 図１０のステップＳ４において行われる多重化処理について説明するフローチャートである。 図１０のステップＳ７において行われる抽出処理について説明するフローチャートである。 図１０のステップＳ８において行われるオーディオ出力処理について説明するフローチャートである。 図１０のステップＳ９において行われるビデオ出力処理について説明するフローチャートである。 多重ビデオフレームの例を示す図である。 多重ビデオフレームの他の例を示す図である。 情報処理装置の他の構成例を示すブロック図である。 入力用の多重ビデオフレームの領域構成の例を示す図である。 多重化の対象となるビデオフレームの例を示す図である。 データを下詰めで挿入した多重ビデオフレームの例を示す図である。 下詰めのメリットについて説明する図である。 出力用の多重ビデオフレームの領域構成の例を示す図である。 データを上詰めで挿入した多重ビデオフレームの例を示す図である。 上詰めのメリットについて説明する図である。 コンピュータの構成例を示すブロック図である。

［情報処理装置の全体構成］
図１は、本発明の一実施形態に係る情報処理装置１の構成例を示すブロック図である。

情報処理装置１は、１入力１出力のビデオポートを有するプロセッサ４３を用いて２系統ずつ入力されたビデオデータ、オーディオデータに対して処理を施し、ビデオデータ、オーディオデータを２系統ずつ出力する機器である。

外部から供給されたビデオ＃１のビデオ信号は同期信号とともにビデオ受信回路２１−１に入力され、ビデオ＃２のビデオ信号は同期信号とともにビデオ受信回路２１−２に入力される。

解像度、フレームレート、走査方式、伝送方式、および圧縮方式等の、ビデオ＃１とビデオ＃２のフォーマットは互いに同一であってもよいし、異なっていてもよい。ビデオ＃１のフレームとビデオ＃２のフレームの入力タイミングは同期していなくてもよい。

また、外部から供給されたオーディオ＃１のオーディオ信号はオーディオ受信回路３１−１に入力され、オーディオ＃２のオーディオ信号はオーディオ受信回路３１−２に入力される。例えば、オーディオ受信回路３１−１と３１−２には、クロック信号、データ信号、サンプリング周波数を表す信号からなる三線オーディオの形でオーディオ信号が入力される。

サンプリング周波数、ビット数、チャンネル数等の、オーディオ＃１とオーディオ＃２のフォーマットも、互いに同一であってもよいし、異なっていてもよい。オーディオ＃１のデータとオーディオ＃２のデータの入力タイミングも同期していなくてもよい。オーディオはビデオに付随するものであってもよいし、独立したものであってもよい。

ビデオ受信回路２１−１は、PLL(Phase Lock Loop)回路、ケーブルイコライザ、デシリアライザ、各種デコーダ、4:2:2／4:4:4デコーダ、およびA/D(Analog/Digital)コンバータ等を有する。ビデオ受信回路２１−１は、入力されたビデオ信号に対してA/D変換等の各種の処理を施し、ビデオ＃１を構成する各フレーム、またはフィールドのデータを生成する。

ビデオ受信回路２１−１は、生成した各フレーム、またはフィールドのデータをフレームシンクロナイザ２２−１に出力する。以下、主に、各回路において処理されるビデオデータがフレームのデータである場合について説明するが、フレームのデータではなく、フィールドのデータの処理が行われることもある。

また、ビデオ受信回路２１−１は、ビデオ受信回路２１−１内に設けられるPLL回路が出力するPLL Lock信号を、ビデオ＃１のビデオ信号の同期安定性フラグとしてフレームシンクロナイザ２２−１に出力する。ビデオ信号の同期安定性フラグは、出力したビデオデータが、入力信号と出力信号の同期が確保されているときに出力されたデータであるか否かを表す。

さらに、ビデオ受信回路２１−１は、出力したビデオ＃１のデータのフレーム／フィールド識別情報、ビデオ＃１のフレームの通しフレーム番号を表す情報、およびTimecodeを出力する。フレーム／フィールド識別情報は、出力したビデオデータが、フレームのデータであるのか、フィールド（Top FieldとBottom Fieldのうちのいずれか）のデータであるのかを表す。

同期安定性フラグ、フレーム／フィールド識別情報、通しフレーム番号を表す情報、およびTimecodeは、後述する多重フレーム状態情報に含まれる情報である。

フレームシンクロナイザ２２−１は、各系統のビデオ間でフレームのタイミングを同期させ、ビデオ受信回路２１−１から供給された１フレームのデータをフレームメモリ２３−１に記憶させる。また、フレームシンクロナイザ２２−１は、ビデオ受信回路２１−１から供給されたビデオ＃１に関する多重フレーム状態情報をフレームメモリ２３−１に記憶させる。

フレームシンクロナイザ２２−１は、多重回路４２−１からの要求に応じてフレームメモリ２３−１からデータを読み出し、出力する。

実装上、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、多重回路４２−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、ビデオ受信回路２１−１とフレームシンクロナイザ２２−１の間、フレームシンクロナイザ２２−１と多重回路４２−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。

ビデオ受信回路２１−２とフレームシンクロナイザ２２−２の間、フレームシンクロナイザ２２−２と多重回路４２−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、オーディオ受信回路３１−１とメモリ制御回路３２−１の間、メモリ制御回路３２−１と多重回路４２−３の間や、オーディオ受信回路３１−２とメモリ制御回路３２−２の間、メモリ制御回路３２−２と多重回路４２−４の間にも、適宜、FIFOが設けられる。

ここで、入力されたビデオ＃１のビデオ信号のフレーム周波数と、後述する多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ２２−１は、フレームメモリ２３−１に記憶されているビデオデータを重複して（同じフレームのデータを続けて）多重回路４２−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。ビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数を一致させることについては特開２００９−７１７０１号公報に記載されている。

ビデオ受信回路２１−２は、ビデオ受信回路２１−１と同様に、入力されたビデオ信号に各種の処理を施し、ビデオ＃２を構成する各フレームのデータを生成する。ビデオ受信回路２１−２は、生成した各フレームのデータをフレームシンクロナイザ２２−２に出力する。

また、ビデオ受信回路２１−２は、ビデオ受信回路２１−２内に設けられるPLL回路が出力するPLL Lock信号を、ビデオ＃２のビデオ信号の同期安定性フラグとして出力する。さらに、ビデオ受信回路２１−２は、出力したビデオ＃２のデータのフレーム／フィールド識別情報、ビデオ＃２のフレームの通しフレーム番号を表す情報、およびTimecodeを出力する。

フレームシンクロナイザ２２−２は、フレームシンクロナイザ２２−１と同様に、各系統のビデオ信号間でフレームのタイミングを同期させ、ビデオ受信回路２１−２から供給されたフレームデータと、ビデオ＃２に関する多重フレーム状態情報をフレームメモリ２３−２に記憶させる。

フレームシンクロナイザ２２−２は、多重回路４２−２からの要求に応じてフレームメモリ２３−２からデータを読み出し、出力する。フレームシンクロナイザ２２−２においても、フレームメモリ２３−２に記憶されているフレームデータの重複読み出しや読み飛ばしが適宜行われる。

オーディオ受信回路３１−１は、入力されたオーディオ信号に対してA/D変換、サンプリングレート変換、S/P変換などの各種の処理を施し、オーディオ＃１を構成するオーディオデータを生成する。生成されたオーディオデータは、オーディオサンプルの時系列から構成される。

オーディオ受信回路３１−１は、オーディオ＃１のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割する（切り出す）。また、オーディオ受信回路３１−１は、分割したオーディオサンプルのデータをメモリ制御回路３２−１に出力する。オーディオ受信回路３１−１に対しては、多重ビデオフレームの１フレーム期間を表す同期信号が多重ビデオ信号発生回路４１から供給される。多重ビデオフレームについては後述する。

図２は、オーディオサンプルの切り出しの例を示す図である。

図２の横軸は時間を表し、時間軸上に並ぶそれぞれの実線がオーディオサンプルを表す。図２の例においては、多重ビデオ信号発生回路４１から供給される同期信号（垂直同期信号）により、時刻ｔ_１から時刻ｔ_２までの時間である時間Ｔ_１、および、時刻ｔ_２から時刻ｔ_３までの時間である時間Ｔ_２が、それぞれ多重ビデオフレームの１フレーム期間とされている。

オーディオ受信回路３１−１は、時間Ｔ_１に入力されたオーディオサンプルの数をカウントし、時刻ｔ_２になったタイミングで、時間Ｔ_１に入力されたオーディオサンプルを切り出す。オーディオ受信回路３１−１は、切り出したオーディオサンプルのデータを、時間Ｔ_１に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとしてメモリ制御回路３２−１に出力する。

同様に、オーディオ受信回路３１−１は、時間Ｔ_２に入力されたオーディオサンプルを切り出し、時間Ｔ_２に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとして出力する。

オーディオデータとビデオデータとで異なる点は、フレームシンクロナイザ機能を装備してはならない点である。これは、原則、オーディオデータは重複も欠落もしてはならないためである。従って、オーディオ受信回路３１−１においては、多重ビデオフレームの同期信号を基準として、１フレーム期間内に入力されたオーディオサンプルが、そのまま、１つの多重ビデオフレームに多重化するオーディオデータとして切り出される。

オーディオデータのサンプリング周波数が、多重ビデオフレームのフレーム周波数の整数倍ではない場合、１フレーム期間内にオーディオ受信回路３１−１に入力されるオーディオサンプルの数にばらつきが生じる。後述するサンプル数情報をも多重ビデオフレームに多重化することによって、何サンプルのオーディオサンプルが多重ビデオフレームに多重化されているのかを、その多重ビデオフレームの供給を受けたプロセッサ４３等は判断することが可能になる。

図１の説明に戻り、オーディオ受信回路３１−１は、分割したオーディオ＃１のオーディオサンプルの数を表す情報であるサンプル数情報と、各オーディオサンプルに割り当てたオーディオサンプルの通し番号を表す情報を出力する。オーディオ受信回路３１−１に入力された各オーディオサンプルには、入力された順に番号が割り当てられる。

さらに、オーディオ受信回路３１−１は、入力されたオーディオ＃１のデータがAES3規格のオーディオデータである場合、AES3規格で定義されているValidity Bitをメモリ制御回路３２−１に出力する。Validity Bitはオーディオデータの信頼性を表すデータである。

サンプル数情報、オーディオサンプルの通し番号を表す情報、およびValidity Bitは多重フレーム状態情報に含まれる情報である。

メモリ制御回路３２−１は、オーディオ受信回路３１−１から供給されたオーディオサンプルのデータと、オーディオ＃１に関する多重フレーム状態情報をメモリ３３−１に記憶させる。メモリ制御回路３２−１は、多重回路４２−３からの要求に応じて、メモリ３３−１からデータを読み出し、出力する。

オーディオ受信回路３１−２は、オーディオ受信回路３１−１と同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃２を構成するオーディオデータを生成する。オーディオ受信回路３１−２は、オーディオ＃２のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、メモリ制御回路３２−２に出力する。

また、オーディオ受信回路３１−２は、分割したオーディオ＃２のオーディオサンプルの数を表すサンプル数情報、オーディオサンプルの通し番号を表す情報、およびValidity Bitをメモリ制御回路３２−２に出力する。

メモリ制御回路３２−２は、オーディオ受信回路３１−２から供給されたオーディオサンプルのデータと、オーディオ＃２に関する多重フレーム状態情報をメモリ３３−２に記憶させる。メモリ制御回路３２−２は、多重回路４２−４からの要求に応じて、メモリ３３−２からデータを読み出し、出力する。

多重ビデオ信号発生回路４１は、発振子とPLL回路を有する周波数マルチプライヤである。多重ビデオ信号発生回路４１は、各系統のビデオデータ、オーディオデータを多重化してプロセッサ４３に入力、またはプロセッサ４３から出力するためのビデオフレームを生成する。多重ビデオ信号発生回路４１により生成されるビデオフレームは、例えば、伝送に使用する帯域幅がプロセッサ４３のビデオポートの帯域幅を超えない範囲で許容される最大のサイズ（画素数）を有するフレームとされる。

以下、ビデオデータ、オーディオデータ等の多重化に用いられるビデオフレームを多重ビデオフレームという。また、多重ビデオフレームの信号を多重ビデオ信号という。

図３は、多重ビデオフレームの例を示す図である。

図３に示すように、多重ビデオ信号発生回路４１により生成された多重ビデオフレームは、ビデオデータ、オーディオデータが多重化されていない画像である。

多重ビデオフレームのサイズは、各系統のビデオのフレームサイズと、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータのサイズとの総和より大きい。多重ビデオフレームには、各系統のビデオのフレームを互いに重ならないように貼り付けることが可能とされる。また、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプルのデータを挿入することが可能とされる。

多重ビデオ信号発生回路４１は、生成した多重ビデオフレームに通し番号を設定し、通し番号を表す情報を多重ビデオフレームに挿入する。また、多重ビデオ信号発生回路４１は、多重ビデオ信号発生回路４１内に設けられるPLL回路が出力するPLL Lock信号を多重ビデオ信号の同期安定性フラグとして多重ビデオフレームに挿入する。多重ビデオフレームの通し番号を表す情報と多重ビデオ信号の同期安定性フラグも、多重フレーム状態情報に含まれる情報である。

多重ビデオ信号発生回路４１は、多重ビデオフレームのデータと同期信号を多重回路４２−１に出力する。多重ビデオフレームの同期信号は、多重ビデオフレームのデータとともに、多重回路４２−１より後段の各回路に供給される。多重ビデオ信号発生回路４１から出力された同期信号は、オーディオ受信回路３１−１と３１−２にも供給される。

多重回路４２−１は、要求に応じてフレームシンクロナイザ２２−１からデータが供給されたビデオ＃１のフレームを多重ビデオ信号発生回路４１から供給された多重ビデオフレームに貼り付ける（挿入する）。

また、多重回路４２−１は、フレームシンクロナイザ２２−１から供給されたビデオ＃１に関する多重フレーム状態情報を多重ビデオフレームに挿入する。ビデオ＃１のフレームデータ、通しフレーム番号を表す情報、フレーム／フィールド識別情報、Timecode、同期安定性フラグが多重ビデオフレームに挿入される。

多重回路４２−１は、各種のデータを挿入した多重ビデオフレームのデータを多重回路４２−２に出力する。

多重回路４２−２は、要求に応じてフレームシンクロナイザ２２−２からデータが供給されたビデオ＃２のフレームを多重回路４２−１から供給された多重ビデオフレームに貼り付ける。ビデオ＃２の１フレームは、ビデオ＃１のフレームと重ならない位置に貼り付けられる。

また、多重回路４２−２は、フレームシンクロナイザ２２−２から供給されたビデオ＃２に関する多重フレーム状態情報を多重ビデオフレームに挿入する。ビデオ＃２のフレームデータ、通しフレーム番号を表す情報、フレーム／フィールド識別情報、Timecode、同期安定性フラグが多重ビデオフレームに挿入される。

多重回路４２−２は、各種のデータを挿入した多重ビデオフレームのデータを多重回路４２−３に出力する。

多重回路４２−３は、要求に応じてメモリ制御回路３２−１から供給されたオーディオ＃１のオーディオサンプルのデータと、オーディオ＃１に関する多重フレーム状態情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。オーディオ＃１のオーディオサンプルの通し番号、サンプル数情報、および同期安定性フラグが、オーディオ＃１に関する多重フレーム状態情報として多重ビデオフレームに挿入される。

多重回路４２−３は、データを挿入した多重ビデオフレームのデータを多重回路４２−４に出力する。

多重回路４２−４は、要求に応じてメモリ制御回路３２−２から供給されたオーディオ＃２のオーディオサンプルのデータと、オーディオ＃２に関する多重フレーム状態情報を、多重回路４２−３から供給された多重ビデオフレームに挿入する。オーディオ＃２に関する多重フレーム状態情報として、オーディオ＃２のオーディオサンプルの通し番号、サンプル数情報、および同期安定性フラグが多重ビデオフレームに挿入される。

多重回路４２−４は、データを挿入した多重ビデオフレームのデータをプロセッサ４３に出力する。プロセッサ４３に対する入力は１系統のビデオデータになる。

図４は、多重化後の多重ビデオフレームの例を示す図である。

ここでは、多重ビデオフレームを使ったビデオデータ、オーディオデータの多重化について説明する。多重フレーム状態情報についても同様にして多重化が行われる。以下、適宜、水平方向に並ぶ画素をラインとして説明する。

図４の例においては、多重ビデオフレームの有効画枠の左上端に左上頂点を合わせるようにしてビデオ＃１のフレームが貼り付けられている。ビデオ＃１のフレームの１ライン目と、多重ビデオフレームの１ライン目は一致する。

また、ビデオ＃１のフレームと重ならず、かつ、１ライン目が、多重ビデオフレームのｍライン目にくるようにビデオ＃２のフレームが貼り付けられている。

さらに、多重ビデオフレームのn-2ライン目と次のラインであるn-1ライン目にオーディオ＃１のオーディオデータが挿入され、多重ビデオフレームの最も下のラインであるｎライン目にオーディオ＃２のオーディオデータが挿入されている。

各データの多重位置に関する情報は、多重回路４２−１乃至４２−４、プロセッサ４３、および抽出回路４５−１乃至４５−４のそれぞれに予め設定される。多重位置に関する情報には、どのデータを多重ビデオフレームのどこに貼り付けるのかを表す、水平位置、垂直位置、横サイズ、縦サイズ、ライン間隔などの情報が含まれる。

図５は、図４に示す形で各データが貼り付けられた多重ビデオフレームのビデオ信号の例を示す図である。

図５に示すように、多重ビデオ信号は、それを時間軸上に表した場合、多重ビデオフレームの１ライン目からｎライン目までの各ラインのデータを伝送する区間毎の信号から構成される。

図５の例においては、時刻ｔ_１からｔ_２までの区間である区間Ｔ_１は、多重ビデオフレームの１ライン目のデータを伝送する区間であり、時刻ｔ_２からｔ_３までの区間である区間Ｔ_２は、多重ビデオフレームの２ライン目のデータを伝送する区間である。

また、時刻ｔ_ｍからｔ_m+1までの区間である区間Ｔ_ｍは、多重ビデオフレームのｍライン目のデータを伝送する区間であり、時刻ｔ_n-2からｔ_n-1までの区間である区間Ｔ_n-2は、多重ビデオフレームのn-2ライン目のデータを伝送する区間である。時刻ｔ_n-1からｔ_ｎまでの区間である区間Ｔ_n-1は、多重ビデオフレームのn-1ライン目のデータを伝送する区間であり、時刻ｔ_ｎからｔ_n+1までの区間である区間Ｔ_ｎは、多重ビデオフレームのｎライン目のデータを伝送する区間である。

図４に示す形で各データが貼り付けられた場合、多重ビデオ信号の区間Ｔ_１には、ビデオ＃１のフレームの１ライン目の信号が挿入される。また、多重ビデオ信号の区間Ｔ_２には、ビデオ＃１のフレームの２ライン目の信号が挿入される。

また、多重ビデオフレームの区間Ｔ_ｍには、その前半に、ビデオ＃１のフレームのｍライン目の信号が挿入され、所定の期間だけ空けて後半に、ビデオ＃２のフレームの１ライン目の信号が挿入される。

多重ビデオフレームの区間Ｔ_n-2と区間Ｔ_n-1には、サンプル数情報により表される数のオーディオ＃１のオーディオサンプルの信号が挿入される。

多重ビデオフレームの区間Ｔ_ｎには、サンプル数情報により表される数のオーディオ＃２のオーディオサンプルの信号が挿入される。

このように、プロセッサ４３に入力するデータの多重化は、入力するデータの信号を、多重ビデオ信号を構成する全区間のうちの、多重ビデオフレームにおけるデータの挿入位置に応じた区間に挿入することによって実現される。

フレームデータ、オーディオデータ等のデータを多重ビデオフレームに貼り付ける、または挿入するということは、データを、貼り付け位置、または挿入位置に応じた多重ビデオフレームのデータとして伝送することを意味する。多重ビデオフレームのデータは、貼り付け、または挿入されたデータが多重化されたデータになる。

図１の説明に戻り、プロセッサ４３は、ビデオポート（Video In）に入力された多重ビデオフレームのデータに多重化されている各系統のビデオデータと各系統のオーディオデータを抽出し、抽出したデータを対象として所定の処理を行う。プロセッサ４３は、CPU，GPU，DSP，SoCなどの演算装置である。

例えば、ビデオデータの抽出は、後述する抽出回路４５−３および４５−４による抽出と同様にして行われ、オーディオデータの抽出は、抽出回路４５−１および４５−２による抽出と同様にして行われる。

各系統のビデオのフレームデータを対象とした処理においては、多重フレーム状態情報に含まれる情報が適宜参照される。

例えば、プロセッサ４３は、多重フレーム状態情報に含まれるビデオの同期安定性フラグに基づいて、多重ビデオフレームに挿入されているフレームのデータが、同期が確保されているときに生成されたデータであるか否かを判断する。プロセッサ４３は、多重ビデオフレームに挿入されているフレームのデータが、同期が確保されていないときに生成されたデータであると判断した場合、多重ビデオフレームに挿入されているフレームデータを無効なデータとし、その処理を行わない。

プロセッサ４３は、処理を施した各系統のビデオのフレーム、オーディオのサンプルを多重ビデオフレームに貼り付け、それらのデータを多重化する。

プロセッサ４３は、処理後の各系統のビデオデータの挿入が完了する毎に、ビデオ書き込み完了フラグを多重ビデオフレームに挿入する。ビデオ書き込み完了フラグが立っている（所定の値が設定されている）ことは、そのフラグが設定されている系統の処理後のフレームの挿入が最後まで完了していることを表す。

また、プロセッサ４３は、処理後の各系統のオーディオデータの挿入が完了する毎に、オーディオ書き込み完了フラグを多重ビデオフレームに挿入する。オーディオ書き込み完了フラグが立っていることは、そのフラグが設定されている系統の処理後のオーディオサンプルのデータの挿入が最後まで完了していることを表す。

プロセッサ４３は、全系統のビデオデータ、オーディオデータの挿入が完了した後、全系統のデータの挿入が完了したことを表す全系統書き込み完了フラグを多重ビデオフレームに挿入する。

ビデオ書き込み完了フラグ、オーディオ書き込み完了フラグ、全系統書き込み完了フラグは多重フレーム状態情報に含まれる情報である。

プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームのデータをビデオポート（Video Out）から出力する。プロセッサ４３からの出力も、１系統のビデオデータになる。プロセッサ４３から出力された多重ビデオフレームのデータは同期信号とともに抽出回路４５−１に供給される。プロセッサ４３から出力された同期信号はタイミング発生回路４４にも供給される。

タイミング発生回路４４は、プロセッサ４３から供給された同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレーム、オーディオサンプルの出力タイミングの基準となる出力タイミング信号を生成する。各系統のビデオ、オーディオのフォーマットに関する情報は、タイミング発生回路４４に予め設定されている。

タイミング発生回路４４は、生成したビデオ＃１用の出力タイミング信号をビデオ送信回路５３−１に出力し、ビデオ＃２用の出力タイミング信号をビデオ送信回路５３−２に出力する。

また、タイミング発生回路４４は、生成したオーディオ＃１用の出力タイミング信号をオーディオ送信回路６３−１に出力し、オーディオ＃２用の出力タイミング信号をオーディオ送信回路６３−２に出力する。

抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータから、オーディオ＃２のオーディオサンプルのデータを抽出する。

図４の例を用いてデータの抽出について説明すると、抽出回路４５−１が抽出対象とするオーディオ＃２のオーディオデータの多重位置は、多重ビデオフレームの例えばｎライン目として予め設定されている。また、ｎライン目に挿入されているオーディオ＃２のオーディオサンプルの数は、多重フレーム状態情報に含まれるサンプル数情報により表される。

抽出回路４５−１は、多重ビデオフレームが供給されたとき、オーディオ＃２のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ＃２のオーディオサンプルの数を特定する。また、抽出回路４５−１は、予め設定されているｎライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ＃２のオーディオサンプルとして抽出する。

抽出回路４５−１は、抽出したオーディオ＃２のオーディオサンプルのデータをメモリ制御回路６１−２に出力する。また、抽出回路４５−１は、サンプル数情報以外のオーディオ＃２に関する多重フレーム状態情報についても多重ビデオフレームから抽出し、サンプル数情報とともにメモリ制御回路６１−２に出力する。

抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータを抽出回路４５−２に出力する。

抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームから、抽出回路４５−１と同様にしてオーディオ＃１のオーディオサンプルのデータを抽出する。

すなわち、抽出回路４５−２は、オーディオ＃１のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ＃１のオーディオサンプルの数を特定する。また、抽出回路４５−２は、予め設定されているラインに挿入されているデータを、特定した数のオーディオサンプルに相当する分だけ、オーディオ＃１のオーディオサンプルのデータとして抽出する。

抽出回路４５−２は、サンプル数情報以外のオーディオ＃１に関する多重フレーム状態情報についても多重ビデオフレームから抽出し、サンプル数情報とともにメモリ制御回路６１−１に出力する。

抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームのデータを抽出回路４５−３に出力する。

抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータから、ビデオ＃２のフレームデータを抽出する。

抽出回路４５−３が抽出対象とするビデオ＃２のフレームデータの挿入位置は予め設定されている。抽出回路４５−３は、予め設定されている位置のデータをビデオ＃２のフレームのデータとして多重ビデオフレームから抽出する。

抽出回路４５−３は、抽出したビデオ＃２のフレームデータをフレームシンクロナイザ５１−２に出力する。また、抽出回路４５−３は、多重ビデオフレームに挿入されているビデオ＃２に関する多重フレーム状態情報を抽出し、フレームシンクロナイザ５１−２に出力する。

抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータを抽出回路４５−４に出力する。

抽出回路４５−４は、抽出回路４５−３から供給された多重ビデオフレームのデータから、ビデオ＃１のフレームデータを抽出する。

抽出回路４５−４が抽出対象とするビデオ＃１のフレームデータの挿入位置は予め設定されている。抽出回路４５−４は、予め設定されている位置のデータをビデオ＃１のフレームのデータとして多重ビデオフレームから抽出する。

抽出回路４５−４は、抽出したビデオ＃１のフレームデータをフレームシンクロナイザ５１−１に出力する。また、抽出回路４５−４は、多重ビデオフレームに挿入されているビデオ＃１に関する多重フレーム状態情報を抽出し、フレームシンクロナイザ５１−１に出力する。

フレームシンクロナイザ５１−１は、抽出回路４５−４から供給されたビデオ＃１のフレームデータとビデオ＃１に関する多重フレーム状態情報をフレームメモリ５２−１に記憶させる。フレームシンクロナイザ５１−１は、ビデオ送信回路５３−１からの要求に応じてフレームメモリ５２−１からデータを読み出し、出力する。

ビデオ送信回路５３−１は、ケーブルドライバ（Cable Driver）、シリアライザ（Serializer）、各種エンコーダ（Encoder）、4:2:2／4:4:4コンバータ、およびD/A（Digital / Analog）コンバータ等を有する。

ビデオ送信回路５３−１は、要求に応じてフレームシンクロナイザ５１−１から供給されたビデオ＃１のフレームデータを、タイミング発生回路４４から供給された出力タイミング信号に従って同期信号とともに情報処理装置１の外部に出力する。

情報処理装置１の外部に出力する前、ビデオ送信回路５３−１においては、ビデオ＃１の多重フレーム状態情報に含まれる情報が適宜参照され、処理が行われる。

例えば、ビデオ送信回路５３−１は、多重フレーム状態情報に含まれるビデオ＃１のビデオ書き込み完了フラグに基づいて、多重ビデオフレームに挿入されているビデオデータが、フレーム全体のデータであるか否かを判断する。

ビデオ送信回路５３−１は、多重ビデオフレームに挿入されているビデオ＃１のフレームのデータが、書き込みが完了したデータではない、すなわち処理後のビデオ＃１の全体のフレームデータではないと判断した場合、多重ビデオフレームに挿入されているフレームデータを無効なデータとし、そのフレームデータに代えて、グレイ画のデータを出力するなどの処理を行う。

実装上、抽出回路４５−４、フレームシンクロナイザ５１−１、ビデオ送信回路５３−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、抽出回路４５−４とフレームシンクロナイザ５１−１の間、フレームシンクロナイザ５１−１とビデオ送信回路５３−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。

抽出回路４５−３とフレームシンクロナイザ５１−２の間、フレームシンクロナイザ５１−２とビデオ送信回路５３−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、抽出回路４５−２とメモリ制御回路６１−１の間、メモリ制御回路６１−１とオーディオ送信回路６３−１の間や、抽出回路４５−１とメモリ制御回路６１−２の間、メモリ制御回路６１−２とオーディオ送信回路６３−２の間にも、適宜、FIFOが設けられる。

ここで、出力するビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ５１−１は、フレームメモリ５２−１に記憶されているビデオデータを重複して（同じフレームのビデオデータを続けて）ビデオ送信回路５３−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。

フレームシンクロナイザ５１−２は、抽出回路４５−３から供給されたビデオ＃２のフレームデータとビデオ＃２に関する多重フレーム状態情報をフレームメモリ５２−２に記憶させる。フレームシンクロナイザ５１−２は、ビデオ送信回路５３−２からの要求に応じてフレームメモリ５２−２からデータを読み出し、出力する。

ビデオ送信回路５３−２は、ビデオ送信回路５３−１と同様に、要求に応じてフレームシンクロナイザ５１−２から供給されたビデオ＃２のフレームデータを、タイミング発生回路４４から供給された出力タイミング信号に従って同期信号とともに外部に出力する。

情報処理装置１の外部に出力する前、ビデオ送信回路５３−２は、ビデオ＃２の多重フレーム状態情報に含まれる情報を適宜参照し、上述したビデオ送信回路５３−１の処理と同様の処理を行う。

メモリ制御回路６１−１は、抽出回路４５−２から供給されたオーディオ＃１のデータとオーディオ＃１に関する多重フレーム状態情報をメモリ６２−１に一時的に記憶させる。メモリ６２−１には、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプル単位で、オーディオ＃１のオーディオデータが記憶される。

メモリ制御回路６１−１は、オーディオ送信回路６３−１からの要求に応じて、メモリ６２−１からデータを読み出し、出力する。

オーディオ送信回路６３−１は、メモリ制御回路６１−１から供給されたオーディオ＃１のオーディオサンプルのデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された出力タイミング信号に従って情報処理装置１の外部に出力する。

情報処理装置１の外部に出力する前、オーディオ送信回路６３−１においては、オーディオ＃１の多重フレーム状態情報に含まれる情報が適宜参照され、処理が行われる。

例えば、オーディオ送信回路６３−１は、多重フレーム状態情報に含まれるオーディオ＃１のオーディオ書き込み完了フラグに基づいて、多重ビデオフレームに挿入されているオーディオデータが、オーディオサンプル全体のデータであるか否かを判断する。

オーディオ送信回路６３−１は、多重ビデオフレームに挿入されているオーディオ＃１のサンプルのデータが、書き込みが完了したデータではない、すなわち処理後のオーディオ＃１の全体のオーディオサンプルのデータではないと判断した場合、多重ビデオフレームに挿入されているオーディオサンプルのデータを無効なデータとし、出力をミュートするなどの処理を行う。

メモリ制御回路６１−２は、抽出回路４５−１から供給されたオーディオ＃２のオーディオサンプルのデータとオーディオ＃２に関する多重フレーム状態情報をメモリ６２−２に一時的に記憶させる。メモリ６２−２には、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプル単位で、オーディオ＃２のオーディオデータが記憶される。

メモリ制御回路６１−２は、オーディオ送信回路６３−２からの要求に応じて、メモリ６２−２からデータを読み出し、出力する。

オーディオ送信回路６３−２は、メモリ制御回路６１−２から供給されたオーディオ＃２のオーディオサンプルのデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された出力タイミング信号に従って情報処理装置１の外部に出力する。

情報処理装置１の外部に出力する前、オーディオ送信回路６３−２は、オーディオ＃２の多重フレーム状態情報に含まれる情報を適宜参照し、上述したオーディオ送信回路６３−１の処理と同様の処理を行う。

なお、図１においては、２系統のビデオデータと２系統のオーディオデータが情報処理装置１に入力され、処理が行われるものとしたが、入力されるデータの系統の数は変更可能である。

例えば、情報処理装置１には、１系統のビデオデータ毎に、入力側の構成として、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、フレームメモリ２３−１、多重回路４２−１と同様の構成が設けられる。また、出力側の構成として、抽出回路４５−４、フレームシンクロナイザ５１−１、フレームメモリ５２−１、ビデオ送信回路５３−１と同様の構成が設けられる。

情報処理装置１には、１系統のオーディオデータ毎に、入力側の構成として、オーディオ受信回路３１−１、メモリ制御回路３２−１、メモリ３３−１、多重回路４２−３と同様の構成が設けられる。また、出力側の構成として、抽出回路４５−２、メモリ制御回路６１−１、メモリ６２−１、オーディオ送信回路６３−１と同様の構成が設けられる。

以下、適宜、同じ名称を有する回路、構成を区別する必要がない場合、「−」とそれに続く数字を省略して説明する。

［ビデオ型インタフェース］
図６は、ビデオ型インタフェースを模式的に示す図である。

ビデオ型インタフェースにおいては、水平同期信号（H-Sync）、垂直同期信号（V-Sync）、フィールドフラグ信号（Field Flag）、画像や音声よりなるデータ信号（Data）、クロックを示すイネーブル信号（EN）などが送信側から受信側に伝送される。フィールドフラグ信号は、第１フィールドであるか第２フィールドであるかを示す。

図６のビデオ型インタフェースにおいて伝送されるビデオ信号の波形の例を図７に示す。図７の上段の信号群＃１１は、インタレース方式のビデオ信号の波形の例を示し、下段の信号群＃１２は、プログレッシブ方式のビデオ信号の波形の例を示す。

図７の信号群＃１１に示す波形のうち、実線矢印で示す範囲の波形の詳細を図８に示す。図８は、HD(High-Definition)画像のビデオ信号の波形の例を示す。

図８に示すように、垂直同期信号（V）の１周期の間に、１フィールド（540ライン）分のデータ（Data）が伝送される（Active Video）。また、水平同期信号（H）の１周期の間に１ライン（1920画素）分のデータ（Data）が伝送される。

［多重フレーム状態情報］
図９は、多重フレーム状態情報に含まれる情報を示す図である。

図９に示すように、多重フレーム状態情報に含まれる情報は、データの連続性に関する情報と、データの信頼性に関する情報と、書き込み完了フラグに分けられる。

多重ビデオフレームの通し番号を表す情報、フレーム／フィールド識別情報、通しフレーム番号を表す情報、Timecode、オーディオサンプルの通し番号を表す情報、サンプル数情報は、データの連続性に関する情報に含まれる。

フレーム／フィールド識別情報、通しフレーム番号を表す情報、Timecodeは、多重ビデオフレームにフレームデータが挿入されているビデオデータの系統毎に設定される。オーディオサンプルの通し番号を表す情報とサンプル数情報は、多重ビデオフレームにオーディオサンプルのデータが挿入されているオーディオデータの系統毎に設定される。

多重ビデオ信号の同期安定性フラグ、ビデオ信号の同期安定性フラグ、およびオーディオデータのValidity Bitは、データの信頼性に関する情報に含まれる。

ビデオ信号の同期安定性フラグは、多重ビデオフレームにフレームデータが挿入されているビデオデータの系統毎に設定される。オーディオデータのValidity Bitは、多重ビデオフレームにオーディオサンプルのデータが挿入されているオーディオデータの系統毎に設定される。

プロセッサ４３により設定されるビデオ書き込み完了フラグは、多重ビデオフレームにフレームデータが挿入されているビデオデータの系統毎に設定される。オーディオ書き込み完了フラグは、多重ビデオフレームにオーディオサンプルのデータが挿入されているオーディオデータの系統毎に設定される。全系統書き込み完了フラグは、多重ビデオフレーム毎に設定される。

多重フレーム状態情報に含まれる各情報の挿入位置を表す情報は、入力回路とプロセッサ４３の間、プロセッサ４３と出力回路の間でそれぞれ共通の位置を表すように予め設定されている。

入力回路は、プロセッサ４３に対してデータを入力する回路全体をいい、出力回路は、プロセッサ４３から出力されたデータを情報処理装置１の外部に出力する回路全体をいう。

入力回路は、図１のビデオ受信回路２１、フレームシンクロナイザ２２、フレームメモリ２３、オーディオ受信回路３１、メモリ制御回路３２、メモリ３３、多重ビデオ信号発生回路４１、および多重回路４２から構成される。また、出力回路は、図１のタイミング発生回路４４、抽出回路４５、フレームシンクロナイザ５１、フレームメモリ５２、ビデオ送信回路５３、メモリ制御回路６１、メモリ６２、およびオーディオ送信回路６３から構成される。

［入力回路の動作］
多重フレーム状態情報に含まれる各情報に関する入力回路の処理について説明する。

多重ビデオフレームの通し番号を表す情報は、多重ビデオ信号発生回路４１により多重ビデオフレームに挿入される。多重ビデオフレームの通し番号を表す情報は、多重ビデオフレームに挿入された形でプロセッサ４３に供給される。

プロセッサ４３は、多重ビデオフレームの通し番号を表す情報に基づいて、多重ビデオフレームの通し番号が１ずつ増えるか否かを判断し、１ずつ増えている場合には、入力回路が正常に動作していると判断する。

多重ビデオフレームの通し番号が１ずつ増えていない場合、入力回路が正常に動作していない可能性が高い。この場合、プロセッサ４３は、多重ビデオ信号全体の受信処理をスキップする（多重ビデオフレームを受信しない）などの処理を行う。これにより、無駄な動作を省略して、プロセッサ４３の負荷を低減させることが可能になる。

ビデオデータの通しフレーム番号を表す情報は、ビデオ受信回路２１により生成され、フレームメモリ２３に一時的に記憶された後、ビデオデータを処理する多重回路４２（図１の場合、多重回路４２−１と４２−２）によって多重ビデオフレームに挿入される。ビデオデータの通しフレーム番号を表す情報は、多重ビデオフレームに挿入された形でプロセッサ４３に供給される。

プロセッサ４３は、ビデオデータの通しフレーム番号を表す情報に基づいて、通しフレーム番号が１ずつ増えるか否かを判断し、１ずつ増える場合には、ビデオデータの連続性が確保されていると判断する（フレームの欠落や重複がないと判断する）。

ビデオ信号の同期安定性フラグが立っているのに通しフレーム番号が１ずつ増えていない場合、プロセッサ４３は、フレームシンクロナイザ２２によるフレームの欠落や重複が生じているものと判断する。プロセッサ４３は、何フレームが欠落したか、どのフレームまでが欠落したか、何フレーム重複したか等の情報を、通しフレーム番号に基づいて正確に判断することができる。

例えば、フレームの重複を検出した場合、プロセッサ４３は、重複して伝送されてきた２フレーム目以降の処理を省略する。これにより、プロセッサ４３の負荷を低減させることが可能になる。フレームの欠落を検出した場合、欠落したフレームを補間したり、グレイ画やブラック画に差し替えたりするなどの処理をプロセッサ４３に行わせることも可能である。

ビデオのフレーム／フィールド識別情報とTimecodeは、ビデオ受信回路３１が入力ビデオ信号から読み取り、フレームメモリ２３に一時的に記憶された後、ビデオデータを処理する多重回路４２によって多重ビデオフレームに挿入される。プロセッサ４３は、フレーム／フィールド識別情報とTimecodeからも、ビデオデータの連続性が確保されているか否かを判断することができる。

オーディオサンプルの通し番号を表す情報とサンプル数情報は、例えばオーディオ受信回路３１により生成される。これらの情報がメモリ制御回路３２により生成されるようにしてもよい。オーディオサンプルの通し番号を表す情報とサンプル数情報は、メモリ３３に一時的に記憶された後、オーディオデータを処理する多重回路（図１の場合、多重回路４２−３と４２−４）によって多重ビデオフレームに挿入される。

プロセッサ４３は、多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と、サンプル数情報により表されるサンプル数との和を計算する。プロセッサ４３は、計算結果の値が、次の多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と一致する場合、オーディオデータの連続性が確保されていると判断する。

計算結果の値が、次の多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と一致しない場合、オーディオデータの連続性は保証できない。この場合、プロセッサ４３は、信頼できないオーディオデータの読み取り処理と音声信号処理をスキップし、無音のオーディオサンプルのデータに差し替える等の処理を行う。これにより、無駄な動作を省略して、プロセッサ４３の負荷を低減させることが可能になる。

多重ビデオ信号の同期安定性フラグは、多重ビデオ信号発生回路４１により多重ビデオフレームに挿入される。多重ビデオ信号の同期安定性フラグは、多重ビデオフレームに挿入された形でプロセッサ４３に供給される。

プロセッサ４３は、多重ビデオ信号の同期安定性フラグに基づいて、供給された多重ビデオフレームを伝送する多重ビデオ信号が、同期が確保されているときに多重ビデオ信号発生回路４１から出力された信号であるか否かを判断する。プロセッサ４３は、同期安定性フラグが立っている場合、多重ビデオ信号発生回路４１が正常に動作していると判断する。

多重ビデオ信号の同期安定性フラグが立っていない場合、多重ビデオ信号自体の信頼性が低いといえる。この場合、プロセッサ４３は、多重ビデオ信号全体の受信処理をスキップするなどの処理を行う。これにより、無駄な動作を省略して、プロセッサ４３の負荷を低減させることが可能になる。

ビデオ信号の同期安定性フラグは、ビデオ受信回路３１から出力され、ビデオデータを処理する多重回路４２により多重ビデオフレームに挿入される。ビデオ信号の同期安定性フラグは、多重ビデオフレームに挿入された形でプロセッサ４３に供給される。

プロセッサ４３は、ビデオ信号の同期安定性フラグに基づいて、多重ビデオフレームに挿入されているビデオフレームがビデオ受信回路３１から出力されたときに、入力ビデオ信号の同期乱れがビデオ受信回路３１において生じていたか否かを判断する。プロセッサ４３は、ビデオ信号の同期安定性フラグが立っている場合には、同期乱れが生じていないと判断する。

ビデオ信号の同期安定性フラグが立っていない場合、多重ビデオフレームに挿入されているビデオフレームのデータの信頼性が低いといえる。この場合、プロセッサ４３は、多重ビデオフレームに挿入されているビデオフレームのデータを無効なデータであると判断し、無効なビデオデータの読取り処理と画像処理をスキップする。

また、プロセッサ４３は、多重ビデオフレームに挿入されているビデオフレームを、グレイ画やブラック画やフリーズ画などの他のフレームに差し替えるなどの処理を行う。これにより、無駄な動作を省略して、プロセッサ４３の負荷を低減させることが可能になる。

Validity Bitは、多重ビデオフレームの１フレーム期間のオーディオサンプルのデータと共にオーディオ受信回路３１により切り出される。Validity Bitは、オーディオサンプルのデータとともに多重ビデオフレームに挿入された形でプロセッサ４３に供給される。

Validity Bitが立っていない場合、多重ビデオフレームに挿入されているオーディオサンプルのデータの信頼性は保証されない。プロセッサ４３は、信頼できないオーディオサンプルのデータの読み取り処理と音声信号処理をスキップする。

また、プロセッサ４３は、多重ビデオフレームに挿入されているオーディオサンプルのデータを、無音のデータに差し替えるなどの処理を行う。これにより、無駄な動作を省略して、プロセッサ４３の負荷を低減させることが可能になる。

［出力回路の動作］
多重フレーム状態情報に含まれる各情報に関する出力回路の処理について説明する。

プロセッサ４３は、入力ビデオポートから多重ビデオフレームが入力される毎に、多重ビデオフレームに挿入されている各系統のデータに対して処理を施し、処理後のデータを多重化した後、出力ビデオポートから出力する。多重ビデオフレームの１フレーム期間内にその処理が終わらないという事態が想定される。

多重ビデオフレームの１フレーム期間内に処理が終わらないという事態がプロセッサ４３において生じたか否かを確認するために、ビデオ書込み完了フラグ、オーディオ書込み完了フラグ、全系統書込み完了フラグが用いられる。

プロセッサ４３は、処理後のビデオデータを多重ビデオフレームに挿入した後、その系統のビデオのフレームのデータの挿入が完了したことを表すビデオ書込み完了フラグを設定する。

また、プロセッサ４３は、処理後のオーディオデータを多重ビデオフレームに挿入した後、その系統のオーディオのオーディオサンプルのデータの挿入が完了したことを表すオーディオ書込み完了フラグを設定する。

プロセッサ４３は、全系統のデータを挿入し、出力回路に出力する多重ビデオフレームが完成した後、その多重ビデオフレームに対して全系統書込み完了フラグを設定する。

ビデオ書き込み完了フラグは、ビデオデータを処理する抽出回路４５（図１の場合、抽出回路４５−３および４５−４）により読み取られ、ビデオ送信回路５３により用いられる。

ビデオ書込み完了フラグが立っていない場合（書き込みが完了したことを示していない場合）、そのフラグが設定された系統のビデオデータは、書き込みが最後まで終了していないか、書き込みが全く行われていないかのどちらかである可能性が高い。

この場合、ビデオ送信回路５３は、例えば、多重ビデオフレームから抽出されたビデオフレームに代えて、１フレーム前のフレームを用いたフリーズ画、グレイ画、ブラック画を出力するなどの処理を行う。

フリーズ画の出力は、フレームメモリ５２に残されている１フレーム前のフレームを用いて行われる。この場合、フレームシンクロナイザ５１は、フレームメモリ５２にデータの書込みを行わないように動作することによって、１フレーム前のフレームをフレームメモリ５２に残しておく。グレイ画やブラック画は固定値からなるフレームであるため、出力データを差し替えるのは容易である。

オーディオ書き込み完了フラグは、オーディオデータを処理する抽出回路４５（図１の場合、抽出回路４５−１および４５−２）により読み取られ、オーディオ送信回路６３により用いられる。

オーディオ書込み完了フラグが立っていない場合、そのフラグが設定された系統のオーディオデータは、書き込みが最後まで終了していないか、書き込みが全く行われていないかのどちらかである可能性が高い。

この場合、オーディオ送信回路６３は、例えば、多重ビデオフレームから抽出されたビデオフレームを出力しないで、出力をミュートする等の処理を行う。無音のデータを生成するのは容易である。このとき、出力をミュートするのではなく、フェードアウト、フェードインの処理が行われるようにしてもよい。

多重ビデオフレームの通し番号、ビデオデータの通しフレーム番号、オーディオサンプルの通し番号およびサンプル数情報も、プロセッサ４３により正常に処理が行われたか否かを判断するのに用いることが可能である。ビデオデータの連続性やオーディオデータの連続性が確保されていない場合、ビデオ送信回路５３やオーディオ送信回路６３において、書き込み完了フラグが立っていない場合の処理と同様の処理が行われるようにしてもよい。

例えば、ビデオデータの通しフレーム番号が１ずつ増えていない場合、ビデオデータの連続性が確保されていないと判断される。また、先頭のオーディオサンプルの通し番号と、サンプル数情報により表されるサンプル数との和が、次の多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と一致しない場合、連続性が確保されていないと判断される。

［情報処理装置の動作］
ここで、図１０のフローチャートを参照して、図１の情報処理装置１の処理について説明する。

ステップＳ１において、ビデオ受信回路２１−１および２１−２によりビデオ受信処理が行われる。

ステップＳ２において、オーディオ受信回路３１−１および３１−２によりオーディオ受信処理が行われる。

ステップＳ３において、多重ビデオ信号発生回路４１は、多重ビデオフレームを生成し、多重ビデオフレームの通し番号を表す情報と同期安定性フラグを挿入する。

ステップＳ４において、多重回路４２−１乃至４２−４により多重化処理が行われる。

ステップＳ５において、プロセッサ４３は、ビデオポートに入力された多重ビデオフレームのデータに多重化されているビデオデータ、オーディオデータを抽出し、所定の処理を行う。

ステップＳ６において、プロセッサ４３は、処理後のビデオデータを多重ビデオフレームに挿入し、ビデオデータの系統毎に、挿入が完了したタイミングでビデオ書き込み完了フラグを設定する。また、プロセッサ４３は、処理後のオーディオデータを多重ビデオフレームに挿入し、オーディオデータの系統毎に、挿入が完了したタイミングでオーディオ書き込み完了フラグを設定する。プロセッサ４３は、データを多重化した多重ビデオフレームのデータをビデオポートから出力する。

ステップＳ７において、抽出回路４５−１乃至４５−４により抽出処理が行われる。

ステップＳ８において、オーディオ送信回路６３−１および６３−２によりオーディオ出力処理が行われる。

ステップＳ９において、ビデオ送信回路５３−１および５３−２によりビデオ出力処理が行われる。ビデオ出力処理が終了した後、処理は終了される。

次に、図１１のフローチャートを参照して、図１０のステップＳ１において行われるビデオ受信処理について説明する。

ステップＳ１１において、ビデオ受信回路２１−１は、入力されたビデオ信号を受信し、A/D変換等の各種の処理を施すことによって、ビデオ＃１を構成する各フレームのデータを生成する。また、ビデオ受信回路２１−１は、ビデオ＃１のビデオ信号に基づいて、フレーム／フィールド識別とTimecodeを読み取る。

ステップＳ１２において、ビデオ受信回路２１−１は、ステップＳ１１で生成した各フレームに通しフレーム番号を設定する。

ステップＳ１３において、フレームシンクロナイザ２２−１は、ビデオ＃１のフレームデータ、フレーム／フィールド識別情報、Timecode、および通しフレーム番号を表す情報をフレームメモリ２３−１に記憶させる。

ステップＳ１１乃至Ｓ１３の処理がビデオ受信回路２１−２とフレームシンクロナイザ２２−２においても行われ、ビデオ＃２のフレームデータ、フレーム／フィールド識別情報、Timecode、および通しフレーム番号を表す情報がフレームメモリ２３−２に記憶される。

ビデオ＃１および＃２のデータがフレームメモリ２３に記憶された後、図１０のステップＳ１に戻り、それ以降の処理が行われる。

次に、図１２のフローチャートを参照して、図１０のステップＳ２において行われるオーディオ受信処理について説明する。

ステップＳ２１において、オーディオ受信回路３１−１は、入力されたオーディオ信号を受信し、A/D変換等の処理を施すことによって、オーディオサンプルの時系列から構成されるオーディオ＃１のオーディオデータを生成する。

ステップＳ２２において、オーディオ受信回路３１−１は、オーディオ＃１のオーディオ信号に基づいてValidity Bitを検出する。

ステップＳ２３において、オーディオ受信回路３１−１は、サンプル数をカウントしつつ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルを切り出す。

ステップＳ２４において、オーディオ受信回路３１−１は、切り出したオーディオサンプルに通し番号を設定してオーディオサンプルの通し番号を表す情報を生成するとともに、カウントしたオーディサンプルの数を表すサンプル数情報を生成する。

ステップＳ２５において、メモリ制御回路３２−１は、切り出されたオーディオ＃１のオーディオサンプルのデータ、Validity Bit、通し番号を表す情報、およびサンプル数情報をメモリ３３−１に記憶させる。

ステップＳ２１乃至Ｓ２５の処理がオーディオ受信回路３１−２とメモリ制御回路３２−２においても行われ、オーディオ＃２のオーディオサンプルのデータ、Validity Bit、通し番号を表す情報、およびサンプル数情報がメモリ３３−２に記憶される。

オーディオ＃１および＃２のデータがメモリ３３に記憶された後、図１０のステップＳ２に戻り、それ以降の処理が行われる。

次に、図１３のフローチャートを参照して、図１０のステップＳ４において行われる多重化処理について説明する。図１０のステップＳ３において生成された多重ビデオフレームのデータは多重回路４２−１に供給される。

ステップＳ３１において、多重回路４２−１は、フレームシンクロナイザ２２−１に対して要求することによって、ビデオ＃１のデータをフレームメモリ２３−１から読み出す。フレームメモリ２３−１からは、ビデオ＃１のフレームデータ、フレーム／フィールド識別情報、Timecode、通しフレーム番号を表す情報が読み出される。

ステップＳ３２において、多重回路４２−１は、フレームメモリ２３−１から読み出したビデオ＃１のフレームデータを多重ビデオフレームに挿入する。

ステップＳ３３において、多重回路４２−１は、フレームメモリ２３−１から読み出したビデオ＃１に関する多重フレーム状態情報を多重ビデオフレームに挿入する。

ステップＳ３１乃至Ｓ３３の処理と同様の処理が多重回路４２−２においても行われ、フレームメモリ２３−２から読み出されたビデオ＃２のフレームデータと多重フレーム状態情報が、多重回路４２−１から供給された多重ビデオフレームに挿入される。

ステップＳ３４において、多重回路４２−３は、メモリ制御回路３２−１に対して要求することによって、メモリ３３−１からデータを読み出す。メモリ３３−１からは、オーディオ＃１のオーディオサンプルのデータ、Validity Bit、通し番号を表す情報、およびサンプル数情報が読み出される。

ステップＳ３５において、多重回路４２−３は、オーディオ＃１のオーディオサンプルのデータを、多重回路４２−２から供給された多重ビデオフレームに挿入する。

ステップＳ３６において、多重回路４２−３は、オーディオ＃１に関する多重フレーム状態情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。

ステップＳ３４乃至Ｓ３６の処理と同様の処理が多重回路４２−４においても行われ、メモリ３３−２から読み出されたオーディオ＃２のオーディオサンプルのデータと多重フレーム状態情報が、多重回路４２−３から供給された多重ビデオフレームに挿入される。

全系統のビデオデータとオーディオデータが多重ビデオフレームに挿入された後、図１０のステップＳ４に戻り、それ以降の処理が行われる。

次に、図１４のフローチャートを参照して、図１０のステップＳ７において行われる抽出処理について説明する。

ステップＳ５１において、抽出回路４５−１は、プロセッサ４３から出力された多重ビデオフレームのデータを受信する。プロセッサ４３から出力された多重ビデオフレームに挿入されている多重フレーム状態情報には、プロセッサ４３により設定された書き込み完了フラグも含まれている。

ステップＳ５２において、抽出回路４５−１は、多重ビデオフレームに挿入されているオーディオ＃２に関する多重フレーム状態情報を抽出する。

ステップＳ５３において、抽出回路４５−１は、抽出した多重フレーム状態情報に含まれるサンプル数情報に基づいて、オーディオ＃２のオーディオサンプルのデータを多重ビデオフレームから抽出する。

ステップＳ５４において、メモリ制御回路６１−２は、抽出回路４５−１により抽出されたオーディオ＃２のオーディオサンプルのデータと、多重フレーム状態情報に含まれる例えばオーディオ書き込み完了フラグをメモリ６２−２に記憶させる。

ステップＳ５２乃至Ｓ５４の処理と同様の処理が抽出回路４５−２、メモリ制御回路６１−１においても行われ、多重ビデオフレームから抽出されたオーディオ＃１のオーディオサンプルのデータと多重フレーム状態情報がメモリ６２−１に記憶される。

ステップＳ５５において、抽出回路４５−３は、多重ビデオフレームに挿入されているビデオ＃２の多重フレーム状態情報を抽出する。

ステップＳ５６において、抽出回路４５−３は、多重ビデオフレームに挿入されているビデオ＃２のフレームデータを多重ビデオフレームから抽出する。

ステップＳ５７において、フレームシンクロナイザ５１−２は、抽出回路４５−３により抽出されたビデオ＃２のフレームデータと、多重フレーム状態情報に含まれる例えばビデオ書き込み完了フラグをフレームメモリ５２−２に記憶させる。

ステップＳ５５乃至Ｓ５７の処理と同様の処理が抽出回路４５−４、フレームシンクロナイザ５１−１においても行われる。多重ビデオフレームから抽出されたビデオ＃１のフレームデータと多重フレーム状態情報に含まれるビデオ書き込み完了フラグがフレームメモリ５２−１に記憶される。

全系統のビデオデータとオーディオデータが多重ビデオフレームから抽出された後、図１０のステップＳ７に戻り、それ以降の処理が行われる。

次に、図１５のフローチャートを参照して、図１０のステップＳ８において行われるオーディオ出力処理について説明する。

ステップＳ６１において、オーディオ送信回路６３−２は、メモリ制御回路６１−２に対して要求することによって、オーディオ＃２のオーディオサンプルのデータとオーディオ書き込み完了フラグをメモリ６２−２から読み出す。

ステップＳ６２において、オーディオ送信回路６３−２は、オーディオ書き込み完了フラグの値に応じたデータを、１サンプルのデータずつ、オーディオ＃２のオーディオデータとして外部に出力する。

すなわち、オーディオ書き込み完了フラグが立っている場合、オーディオ書き込み完了フラグの値に応じたオーディオデータとして、多重ビデオフレームから抽出されたオーディオサンプルのデータが出力される。一方、オーディオ書き込み完了フラグが立っていない場合、オーディオ書き込み完了フラグの値に応じたオーディオデータとして、多重ビデオフレームから抽出されたオーディオサンプルに代えて、無音のデータなどが出力される。

ステップＳ６１およびＳ６２の処理と同様の処理がオーディオ送信回路６３−１においても行われ、メモリ６２−１から読み出されたオーディオ書き込み完了フラグの値に応じたオーディオ＃１のオーディオデータが外部に出力される。

全系統のオーディオデータが出力された後、図１０のステップＳ８に戻り、それ以降の処理が行われる。

次に、図１６のフローチャートを参照して、図１０のステップＳ９において行われるビデオ出力処理について説明する。

ステップＳ７１において、ビデオ送信回路５３−２は、フレームシンクロナイザ５１−２に対して要求することによって、ビデオ＃２のフレームデータとビデオ書き込み完了フラグをフレームメモリ５２−２から読み出す。

ステップＳ７２において、ビデオ送信回路５３−２は、ビデオ書き込み完了フラグの値に応じたデータを、ビデオ＃２のフレームデータとして外部に出力する。

すなわち、ビデオ書き込み完了フラグが立っている場合、ビデオ書き込み完了フラグの値に応じたビデオデータとして、多重ビデオフレームから抽出されたフレームデータが出力される。一方、ビデオ書き込み完了フラグが立っていない場合、ビデオ書き込み完了フラグの値に応じたビデオデータとして、多重ビデオフレームから抽出されたフレームデータに代えて、フリーズ画などの他のフレームのデータが出力される。

ステップＳ７１およびＳ７２の処理と同様の処理がビデオ送信回路５３−１においても行われ、フレームメモリ５２−１から読み出されたビデオ書き込み完了フラグの値に応じたビデオ＃１のフレームデータが外部に出力される。

全系統のビデオのフレームデータが出力された後、図１０のステップＳ９に戻り、それ以降の処理が行われる。

以上の各ステップの処理は、必ずしも図に示す順に行われるものではなく、適宜、他のステップの処理と並行して、または他のステップの処理と前後して行われる。

以上の一連の処理により、１つの入力ビデオポートを備えるプロセッサ４３に対して複数の系統のビデオデータとオーディオデータを入力することができる。また、１つの出力ビデオポートを備えるプロセッサ４３から、複数の系統のビデオデータとオーディオデータを出力させることができる。すなわち、プロセッサ４３に対するデータの入力、およびプロセッサ４３からのデータの出力を、１つのビデオポートを使って効率的に行うことができる。

また、多重フレーム状態情報に含まれる情報に基づいて、多重ビデオフレームを用いて多重化されたビデオデータやオーディオデータを受信したプロセッサ４３や出力回路はデータの連続性が確保されているか否かを判断することができる。これにより、システムとして安定性の高い動作を保証することができる。

連続性が確保されていないと判断された場合やデータの信頼性が低い場合、例えばビデオデータについては上述したようにしてフリーズ画、グレイ画、ブラック画が出力されるようにすることによって、システムとしての安全性を高めることができる。

［多重化の例］
以上においては、２系統のビデオ信号と２系統のオーディオ信号が情報処理装置１に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が４系統ずつ入力されるようにしてもよい。

図１７は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの例を示す図である。

図１７の多重ビデオフレームにおいては、ブランキング領域が水平方向と垂直方向にそれぞれ設けられ、有効画枠内の１ライン目から所定のラインまでの領域が、多重フレーム状態情報用の領域Ａ_１として設定されている。図９に示す各情報が、領域Ａ_１のうちの、各情報に対して割り当てられた位置に挿入される。

図１７に示すように連続した領域にまとめて挿入されるのではなく、多重フレーム状態情報に含まれる各情報が、多重ビデオフレーム内に離れて設定された複数の領域に挿入されるようにしてもよい。

また、図１７の多重ビデオフレームにおいては、領域Ａ_１の下に、ビデオ用の領域であるビデオ領域Ａ_２が設定されている。ビデオ領域Ａ_２には、ビデオ＃０乃至＃３のフレームが、互いに重ならないように、それぞれのフレームサイズを保持したまま貼り付けられている。

ビデオ領域Ａ_２の下に、オーディオデータ用の領域であるオーディオ領域Ａ_３が設定されている。オーディオデータ領域Ａ_３の各ラインには、オーディオ＃０乃至＃３のオーディオデータが、情報処理装置１に入力された順に、各ラインの左側を先頭にして詰めて挿入されている。

図１７において、各ラインに挿入されるオーディオデータの水平方向の長さが異なることは、挿入されているオーディオデータのデータ量が系統毎に異なることを表す。上述したように、同じ多重ビデオフレームに多重化されるオーディオデータは、その多重ビデオフレームのフレーム期間内に入力されたものである。従って、各オーディオデータのサンプリング周波数が異なる場合や量子化精度が異なる場合、同じ多重ビデオフレームに多重化されるオーディオデータのデータ量にはばらつきが生じることになる。オーディオデータに割り当てられたラインのうち、データの記録されている領域が、上述した、オーディオデータの有効領域になる。

図１８は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの他の例を示す図である。

図１８の多重ビデオフレームのビデオ領域Ａ_２には、水平方向の画素数が有効画枠の水平方向の画素数と等しく、垂直方向の画素数が所定のライン数分の画素数からなる領域が各ビデオのフレームのデータを挿入するための領域として設定されている。図１８の例においては、ビデオ＃０乃至＃３のフレームのデータを挿入するための領域が上から順に設定されている。

このように、入力されたときのサイズを保持したまま多重ビデオフレームに貼り付けられるのではなく、各ビデオのフレームが、入力時の形と合同ではない他の形で貼り付けられるようにしてもよい。各ビデオのフレームを貼り付けるための領域の設定の仕方によっては、データの多重化を効率的に行うことが可能になる。

［変形例］
図１９は、情報処理装置１の他の構成例を示すブロック図である。

図１９に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１９に示す構成は、多重ビデオ信号発生回路４１の前段に切り替え回路１１１が設けられている点で図１に示す情報処理装置１の構成と異なる。

切り替え回路１１１に対しては、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および、その２つの同期信号とは別に外部から入力された同期信号である外部同期信号が入力される。外部同期信号はタイミング発生回路４４にも供給される。

切り替え回路１１１は、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および外部同期信号のうちの所定の同期信号を選択し、多重ビデオ信号発生回路４１に出力する。

多重ビデオ信号発生回路４１は、切り替え回路１１１から供給された同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームのデータを、切り替え回路１１１から供給された同期信号とともに多重回路４２−１に出力する。

タイミング発生回路４４は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオデータの出力タイミングの基準となる同期信号を生成し、出力する。

このように、多重ビデオフレームを生成する周期を規定する同期信号として、外部から入力された同期信号を切り替えて用いるようにすることも可能である。

［入力用の多重ビデオフレームを用いた多重化について］
ここで、多重ビデオフレームを用いて行われるビデオデータとオーディオデータの多重化の方法について説明する。データの挿入位置によって、データの遅延を抑えることが可能になる。

はじめに、多重回路４２により行われる、プロセッサ４３に対する入力用の多重ビデオフレームを用いた多重化について説明する。

図２０は、入力用の多重ビデオフレームの領域構成の例を示す図である。

図２０に示すように、入力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図２０の例においては、有効画枠内の１ライン目からｍ_１ライン目までの領域が、ビデオ用の領域であるビデオ領域Ａ₁₁として設定されている。また、有効画枠内のm₁+1ライン目から、ｍ_２ライン目までの領域が、オーディオ用の領域であるオーディオ領域Ａ₁₂として設定されている。m_２+1ライン目から最終ラインであるｎライン目までの領域が、多重フレーム状態情報用の領域Ａ₁₃として設定されている。

このように、入力用の多重ビデオフレームには、その上側にビデオ領域Ａ₁₁が設定され、ビデオ領域Ａ₁₁の下側にオーディオ領域Ａ₁₂が設定される。入力用の多重ビデオフレームを時間軸上に表した場合、処理順でいうと、入力用の多重ビデオフレームの上側が時間軸上では前側、下側が時間軸上では後ろ側になる。

図２１は、図２０の入力用の多重ビデオフレームに貼り付けるビデオフレームの例を示す図である。

ここでは、ビデオ＃０乃至＃３の４系統のビデオデータを多重化する場合について説明する。

図２１の例においては、ビデオ＃０のフレームサイズは720×486i（SD）であり、ビデオ＃１のフレームサイズは1280×720p（720p）とされている。また、ビデオ＃２のフレームサイズは、ビデオ＃１のフレームサイズと同じ1280×720p（720p）であり、ビデオ＃３のフレームサイズは1920×1080i（HD）とされている。

入力用の多重ビデオフレームへの貼り付け対象となるフレームは例えばライン毎に分割され、各ラインが、入力用の多重ビデオフレームのそれぞれ異なるラインに貼り付けられる。

また、貼り付け対象となる各フレームのデータが重ならないように、かつ、インタリーブして貼り付けられる。インタリーブとは、同じフレームのラインが垂直方向に連続しないように入力用の多重ビデオフレームに配置することをいう。

なお、ビデオ＃０，＃３はインタレース方式のフレームである。ビデオ＃０，＃３については、実際には、１フィールドを構成するラインが１つの入力用の多重ビデオフレームに貼り付けられるが、フレームを貼り付けるものとして説明する。

図２２は、多重回路４２による多重化後の入力用の多重ビデオフレームの例を示す図である。

図２２の例においては、ビデオ＃０のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に720画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ₁₁の最終ラインであるｍ_１ラインから上に243×2ラインの範囲である。図２２には、ビデオ＃０のフレームのラインとして４ラインしか示していないが、１フィールドのライン数である243ラインが、１ライン毎に、１ラインずつ空けて挿入される。

また、図２２の例においては、ビデオ＃１のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ₁₁の最終ラインであるｍ_１ラインから上に720×2ラインの範囲である。図２２には、ビデオ＃１のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃０のフレームのラインと重ならないように挿入される。

ビデオ＃２のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ₁₁の最終ラインであるｍ_１ラインから上に720×2ラインの範囲である。図２２には、ビデオ＃２のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて挿入される。

ビデオ＃３のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ₁₁の最終ラインであるｍ_１ラインから上に540×2ラインの範囲である。図２２には、ビデオ＃３のフレームのラインとして７ラインしか示していないが、１フィールドのライン数である540ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃２のフレームのラインと重ならないように挿入される。

この例においては、入力用の多重ビデオフレームの有効画枠の水平方向の画素数は3200画素（1280+1920画素）とされている。

また、図２２に示すように、入力用の多重ビデオフレームのオーディオ領域Ａ₁₂には、オーディオ＃０乃至＃３のオーディオデータが、情報処理装置１に入力された順に、各ラインの左側を先頭にして詰めて挿入される。

図２２の例においては、オーディオ領域Ａ₁₂の開始位置であるm₁+1ライン目とm₁+2ライン目がオーディオ＃０のオーディオデータに割り当てられている。m₁+1ライン目とm₁+2ライン目には、m₁+1ライン目の全体と、m₁+2ライン目の途中までに渡って、オーディオ＃０のオーディオデータが挿入される。

また、m₁+3ライン目とm₁+4ライン目がオーディオ＃１のオーディオデータに割り当てられている。m₁+3ライン目とm₁+4ライン目には、m₁+3ライン目の全体と、m₁+4ライン目の途中までに渡って、オーディオ＃１のオーディオデータが挿入される。

m₁+5ライン目とm₁+6ライン目がオーディオ＃２のオーディオデータに割り当てられている。m₁+5ライン目とm₁+6ライン目には、m₁+5ライン目の全体と、m₁+6ライン目の途中までに渡って、オーディオ＃２のオーディオデータが挿入される。

m₁+7ライン目とm₁+8ライン目（ｍ_２ライン目）がオーディオ＃３のオーディオデータに割り当てられている。m₁+7ライン目とm₁+8ライン目には、m₁+7ライン目の全体と、m₁+8ライン目の途中までに渡って、オーディオ＃３のオーディオデータが挿入される。

入力用の多重ビデオフレームに挿入されるオーディオデータのサイズは、各多重回路４２において処理されるオーディオデータのデータレートと、入力用の多重ビデオフレームのフレーム周波数（１フレーム期間）などから決定される。

従って、各系統のオーディオデータを挿入するラインの数として何ラインを割り当てればよいのかは、設計時に決定することが可能である。図２２の例においては、各系統のオーディオデータに２ラインずつ割り当てられている。

例えば、オーディオ領域Ａ₁₂のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図２２の例においてもそのようにしてオーディオ領域Ａ₁₂のライン数が設定されている。

以上のように、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、入力用の多重ビデオフレームのビデオ領域Ａ₁₁に下詰めで貼り付けられる。また、挿入の対象となる各オーディオデータは、ビデオ領域Ａ₁₁の下に設定されたオーディオ領域Ａ₁₂に、例えばオーディオ領域Ａ₁₂全体のラインを使って挿入される。多重フレーム状態情報は、オーディオ領域Ａ₁₂の下に設定された領域Ａ₁₃に挿入される。

入力用の多重ビデオフレーム全体を見た場合、各系統のデータは、下詰めの形で配置されることになる。

これにより、入力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ４３に入力する場合であっても入力遅延を抑えることが可能になる。入力遅延は、プロセッサ４３による処理の対象のデータが情報処理装置１に入力された時刻と、プロセッサ４３に入力された時刻の差で表される。

図２３は、下詰めのメリットについて説明する図である。図２３の横軸は時間を表す。

図２３の例においては、ビデオ＃０乃至＃３のビデオデータ（入力ビデオ信号）が、それぞれ異なるタイミングで入力される。

例えば、ビデオ＃０のある１フレームのデータは、時刻ｔ_３から時刻ｔ_７のタイミングで情報処理装置１に入力される。また、ビデオ＃１のある１フレームのデータは、時刻ｔ_１から時刻ｔ_５のタイミングで情報処理装置１に入力される。

ビデオ＃２のある１フレームのデータは、時刻ｔ_４から時刻ｔ_８のタイミングで情報処理装置１に入力される。ビデオ＃３のある１フレームのデータは、時刻ｔ_２から時刻ｔ_６のタイミングで情報処理装置１に入力される。

例えばビデオについては、入力用の多重ビデオフレームの１フレームの期間内に最終ラインのデータが入力されたビデオフレームが、その期間内に生成された入力用の多重ビデオフレームに貼り付けられる。

従って、この場合、図２３において各ラインに斜線を付して示すビデオ＃０乃至＃３のフレームが、時刻ｔ_４から時刻ｔ_８までの期間Ｔに生成された入力用の多重ビデオフレーム（多重ビデオ信号）である多重ビデオフレームＦ_１に多重化されることになる。

各ラインに斜線を付して示すビデオ＃０のフレームの最終ラインのデータは、期間Ｔ内の時刻である時刻ｔ_７の直前の時刻に入力されている。同様に、各ラインに斜線を付して示すビデオ＃１乃至＃３のフレームの最終ラインのデータは、期間Ｔ内の時刻に入力されている。

また、オーディオについては、上述したように、入力用の多重ビデオフレームの１フレームの期間内に入力されたオーディオサンプルが、その期間内に生成された入力用の多重ビデオフレームに挿入される。

従って、図２３の例の場合、オーディオ＃０のオーディオサンプル全体のうち、期間Ｔに含まれる、太線で示すオーディオサンプルが、多重ビデオフレームＦ_１に挿入されることになる。図２３にはオーディオ＃０だけを示しているが、他の系統のオーディオデータについても同様にして多重ビデオフレームＦ_１に挿入される。

入力用の多重ビデオフレームの１フレームの期間は、多重ビデオ信号発生回路４１により生成された同期信号により規定される。図２３の同期信号sync-1は、多重ビデオ信号発生回路４１により生成された同期信号を表す。

なお、図２３の例においては、同期信号sync-1は、ビデオ＃２の同期信号と同期している。図１９を参照して説明したように、入力用の多重ビデオフレームの１フレーム期間を規定する同期信号として、外部から入力されたビデオの同期信号を用いることも可能である。

同期信号sync-2は、プロセッサ４３に入力用の多重ビデオフレームを出力する最終段の多重回路４２が出力する、入力用の多重ビデオフレームの１フレーム期間を規定する同期信号を表す。最終段の多重回路４２からプロセッサ４３に対しては、同期信号sync-2に従って、各系統のデータを多重化した多重化後の入力用の多重ビデオフレームが出力される。図１の例においては多重回路４２−４が最終段の多重回路になる。

各多重回路４２においては、多重化の対象のデータが入力されるのを待って多重化が行われる。多重ビデオ信号発生回路４１から、あるいは前段の多重回路４２から入力用の多重ビデオフレームが入力される時刻と、入力用の多重ビデオフレームにデータを多重化し、多重化後の入力用の多重ビデオフレームをある多重回路４２が出力する時刻には、多重化の対象のデータのうちの、最終のデータが入力される時刻に応じて差が生じる。ここでは、ビデオ受信回路２１やオーディオ受信回路３１におけるデータの受信や、フレームメモリ２３やメモリ３３にデータを一時的に記憶するのにかかる時間を無視するものとする。

同期信号sync-1とsync-2のタイミング（１の値の時刻）が近いことは、多重ビデオ信号発生回路４１から入力用の多重ビデオフレームが出力された時刻と、多重化後の入力用の多重ビデオフレームがプロセッサ４３に入力される時刻の差が小さいことを表す。すなわち、同期信号sync-1とsync-2のタイミングが近いことは、入力遅延が抑えられていることを表す。

このことを前提として、入力用の多重ビデオフレームに下詰めでデータを挿入した場合について説明する。

図２３の多重ビデオフレームＦ_１は、図２２を参照して説明したようにして各データが下詰めで挿入された多重化後の入力用の多重ビデオフレームを示す。

図２３に示すように、左側を時間的に前、右側を時間的に後ろとする時間軸上に表した場合、ビデオ領域Ａ₁₁は多重ビデオフレームＦ_１において左側に示され、オーディオ領域Ａ₁₂は右側に示される。図２３の多重ビデオフレームＦ_１内の右側に示す１本の太線は、オーディオ領域Ａ₁₂に挿入されたオーディオ＃０のオーディオデータを表す。

多重ビデオフレームＦ_１に貼り付けるビデオ＃０のフレームの最終ラインのデータは、それが入力された、時刻ｔ_７の直前の時刻以降であれば挿入することが可能になる。ビデオ＃０のフレームの最終ラインのデータを多重ビデオフレームＦ_１のビデオ領域Ａ₁₁の上の方（前の方）に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ_１のラインの時刻は、時刻ｔ_７より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ_１全体が図２３に示す位置より右側の位置になってしまう。

従って、入力遅延を抑えるという点からは、ビデオ＃０のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームＦ_１の、時刻ｔ_７の直前の時刻より後の時刻に対応する位置であることが好ましい。実際に挿入される時刻より前に入力されたデータは、挿入時刻までメモリに記憶される。

また、多重ビデオフレームＦ_１に多重化するビデオ＃２のフレームの最終ラインのデータは、それが入力された、時刻ｔ_８の直前の時刻以降（時刻ｔ_８の直前の時刻を含む）であれば挿入することが可能になる。ビデオ＃２のフレームの最終ラインのデータを多重ビデオフレームＦ_１のビデオ領域Ａ₁₁の上の方に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ_１のラインの時刻は、時刻ｔ_８の直前の時刻より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ_１全体が図２３に示す位置より右側の位置になってしまう。

従って、入力遅延を抑えるという点からは、ビデオ＃２のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームＦ_１の、時刻ｔ_８の直前の時刻より後の時刻に対応する位置であることが好ましい。

ビデオ＃１，３のフレームの最終ラインのデータについても同様である。

また、多重ビデオフレームＦ_１に挿入するオーディオ＃０のオーディオサンプルのデータは、同期信号sync-1によって定まる。期間Ｔの終了時刻である時刻ｔ_８以降（時刻ｔ_８を含む）であれば、オーディオ＃０のオーディオデータを挿入することが可能になる。

オーディオ＃０のオーディオデータを、多重ビデオフレームＦ_１の上の方に設定された領域内に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ_１のラインの時刻は、時刻ｔ_８より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ_１全体が図２３に示す位置より右側の位置になってしまう。

従って、入力遅延を抑えるという点からは、オーディオ＃０のオーディオデータの挿入位置は、多重ビデオフレームＦ_１の、時刻ｔ_８より後の時刻に対応する位置であることが好ましい。

また、多重フレーム状態情報については、それに含まれる例えばサンプル数情報を挿入することが可能になる時刻は、多重ビデオフレームに多重化するサンプルの数が決定した後の時刻である。従って、多重フレーム状態情報をまとめて挿入する場合、サンプル数情報を挿入する位置は、多重化するサンプルの数が決まる時刻ｔ_８以降の時刻に対応する位置であることが好ましい。

以上のことから、入力用の多重ビデオフレーム全体としてデータが下詰めで配置されるように、各ビデオのビデオデータについてはフレームをライン毎にインタリーブしてビデオ領域Ａ₁₁に下詰めで挿入し、各オーディオのオーディオデータについてはビデオ領域Ａ₁₁の下に設定されたオーディオ領域Ａ₁₂に挿入することによって、入力遅延を抑えることが可能になることがわかる。また、多重フレーム状態情報は、オーディオ領域Ａ₁₂の下に設定された領域Ａ₁₃に挿入される。

図２３の例においては、入力遅延は、時刻ｔ_４と、プロセッサ４３に対する多重ビデオフレームＦ_１の入力の開始時刻である時刻ｔ₁₁との差である数ラインに相当する時間に抑えられている。

図２３に示すように、ビデオ＃０乃至＃３のフレームデータがそれぞれ異なるタイミングで入力される場合、時間的に前に最終ラインのデータが入力される系統のビデオデータは、より前段の多重回路４２により処理される。また、時間的に後に最終ラインのデータが入力される系統のビデオデータは、より後段の多重回路４２により処理される。これにより、以上のような、ビデオフレームの各ラインを下詰めで挿入することが可能になる。

さらに、オーディオデータは、ビデオデータを処理する多重回路４２より後段の多重回路４２によって処理される。これにより、以上のような、入力用の多重ビデオフレームの下の方に設定されたオーディオ領域Ａ₁₂にオーディオデータを挿入することが可能になる。

多重フレーム状態情報に含まれる各情報は、最終段の多重回路４２に供給され、最終段の多重回路４２によりまとめて多重ビデオフレームに挿入される。これにより、入力用の多重ビデオフレームのオーディオ領域Ａ₁₂の下に設定された領域Ａ₁₃に多重フレーム状態情報を挿入することが可能になる。

図１に示す多重回路４２−１乃至４２−４を１つの回路として統合するようにしてもよい。統合した１つの回路において全てのデータの多重化が行われるようにすることによって、図１に示すように直列に接続された複数の多重回路４２のうちのどの多重回路４２においてどの系統のデータが処理されるようにするかを考慮する必要が無くなる。

［出力用の多重ビデオフレームを用いた多重化について］
次に、出力用の多重ビデオフレームを用いた多重化について説明する。

出力用の多重ビデオフレームには、入力用の多重ビデオフレームから抽出され、各種の処理が施された各系統のデータが多重化される。すなわち、出力用の多重ビデオフレームを用いたデータ（処理後のデータ）の多重化は、プロセッサ４３により行われる。

プロセッサ４３においては、入力用の多重ビデオフレームを用いた多重化とは異なり、各系統のデータが、上詰めで挿入される。

図２４は、出力用の多重ビデオフレームの領域構成の例を示す図である。

図２４に示すように、出力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図２４の例においては、有効画枠内の１ライン目からｍ₁₁ライン目までの領域が、多重フレーム状態情報用の領域Ａ₂₁として設定されている。また、有効画枠内のｍ₁₁+1ライン目から、ｍ₁₂ライン目までの領域が、オーディオ用の領域であるオーディオ領域Ａ₂₂として設定されている。有効画枠内のm₁₂+1ライン目から、最終ラインであるｎライン目までの領域が、ビデオ用の領域であるビデオ領域Ａ₂₃として設定されている。

このように、出力用の多重ビデオフレームには、その上側にオーディオ領域Ａ₂₂が設定され、オーディオ領域Ａ₂₂の下にビデオ領域Ａ₂₃が設定される。

図２５は、プロセッサ４３による多重化後の出力用の多重ビデオフレームの例を示す図である。

入力用の多重ビデオフレームが入力された場合、プロセッサ４３においては、ビデオ＃０乃至＃３のフレームのデータと、オーディオ＃０乃至＃３のオーディオデータが抽出され、適宜、処理が施される。出力用の多重ビデオフレームには、処理が適宜施された後の、ビデオ＃０乃至＃３のフレームのデータと、オーディオ＃０乃至＃３のオーディオデータが挿入される。

図２５に示すように、多重フレーム状態情報は、出力用の多重ビデオフレームの領域Ａ₂₁に挿入される。

また、出力用の多重ビデオフレームのオーディオ領域Ａ₂₂には、オーディオ＃０乃至＃３のオーディオデータが、各ラインの左側を先頭にして詰めて挿入される。

図２５の例においては、オーディオ領域Ａ₂₂の開始位置であるm₁₁+1ライン目とm₁₁+2ライン目がオーディオ＃０のオーディオデータに割り当てられている。m₁₁+1ライン目とm₁₁+2ライン目には、m₁₁+1ライン目の全体と、m₁₁+2ライン目の途中までに渡って、オーディオ＃０のオーディオデータが挿入される。

また、図２５の例においては、m₁₁+3ライン目とm₁₁+4ライン目がオーディオ＃１のオーディオデータに割り当てられている。m₁₁+3ライン目とm₁₁+4ライン目には、m₁₁+3ライン目の全体と、m₁₁+4ライン目の途中までに渡って、オーディオ＃１のオーディオデータが挿入される。

m₁₁+5ライン目とm₁₁+6ライン目がオーディオ＃２のオーディオデータに割り当てられている。m₁₁+5ライン目とm₁₁+6ライン目には、m₁₁+5ライン目の全体と、m₁₁+6ライン目の途中までに渡って、オーディオ＃２のオーディオデータが挿入される。

m₁₁+7ライン目とm₁₁+8ライン目（ｍ₁₂ライン目）がオーディオ＃３のオーディオデータに割り当てられている。m₁₁+7ライン目とm₁₁+8ライン目には、m₁₁+7ライン目の全体と、m₁₁+8ライン目の途中までに渡って、オーディオ＃３のオーディオデータが挿入される。

例えば、オーディオ領域Ａ₂₂のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図２５の例においてもそのようにしてオーディオ領域Ａ₂₂のライン数が設定されている。

また、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、出力用の多重ビデオフレームのビデオ領域Ａ₂₃内に上詰めで貼り付けられる。

図２５の例においては、ビデオ＃０のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に720画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ₂₃の先頭のラインであるｍ₁₂+1ラインから下に243×2ラインの範囲である。図２５には、ビデオ＃０のフレームのラインとして４ラインしか示していないが、１フィールドのライン数である243ラインが、１ライン毎に、１ラインずつ空けて挿入される。

また、ビデオ＃１のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲はｍ₁₂+1ラインから下に720×2ラインの範囲である。図２５には、ビデオ＃１のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃０のフレームのラインと重ならないように挿入される。

ビデオ＃２のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲はｍ₁₂+1ラインから下に720×2ラインの範囲である。図２５には、ビデオ＃２のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて挿入される。

ビデオ＃３のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲はｍ₁₂+1ラインから下に540×2ラインの範囲である。図２５には、ビデオ＃３のフレームのラインとして７ラインしか示していないが、１フィールドのライン数である540ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃２のフレームのラインと重ならないように挿入される。

この例においては、出力用の多重ビデオフレームの有効画枠の水平方向の画素数も3200画素とされている。入力用の多重ビデオフレームのサイズと出力用の多重ビデオフレームのサイズが異なるようにすることも可能である。

このように、出力用の多重ビデオフレーム全体を見た場合、各系統のデータは、上詰めで挿入されることになる。

これにより、出力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ４３から出力する場合であっても出力遅延を抑えることが可能になる。出力遅延は、処理後のデータがプロセッサ４３から出力された時刻と、処理後のデータが情報処理装置１の外部に出力された時刻との差で表される。

図２６は、上詰めのメリットについて説明する図である。図２６の横軸は時間を表す。

図２６の多重ビデオフレームＦ_２は、プロセッサ４３から出力された出力用の多重ビデオフレームを表す。同期信号sync-3は、プロセッサ４３が出力する同期信号であり、多重ビデオフレームＦ_２の１フレーム期間を規定する。時刻ｔ_１から時刻ｔ_２までの期間において、多重ビデオフレームＦ_２がプロセッサ４３から出力されている。

各ラインに斜線を付して示すビデオ＃０乃至＃３のフレームのデータは、多重ビデオフレームＦ_２から抽出され、ビデオ送信回路５３から情報処理装置１の外部に出力されるデータ（出力ビデオ信号）を表す。また、太線で示すオーディオ＃０のオーディオサンプルのデータは、多重ビデオフレームＦ_２から抽出され、オーディオ送信回路６３から情報処理装置１の外部に出力されるデータ（出力オーディオ信号）を表す。

例えば、同じ出力用の多重ビデオフレームに多重化されていたデータは、タイミング発生回路４４から出力された同期信号に従って、同じタイミングで、情報処理装置１の外部に出力される。

図２６の同期信号sync-4は、タイミング発生回路４４により生成され、各ビデオ送信回路５３、各オーディオ送信回路６３に供給される同期信号である。時刻ｔ₁₁から時刻ｔ₁₂までの期間において、多重ビデオフレームＦ_２から抽出された各系統のデータが情報処理装置１の外部に出力されている。

各ビデオ送信回路５３においては、出力対象のフレームのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。

また、各オーディオ送信回路６３においては、出力対象のオーディオサンプルのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。

同じ出力用の多重ビデオフレームに多重化されていたデータについては同じタイミングで出力する場合、各ビデオ送信回路５３、各オーディオ送信回路６３がデータを出力するには、同じ出力用の多重ビデオフレームから抽出された出力対象となるデータを、全てのビデオ送信回路５３とオーディオ送信回路６３が受信している必要がある。

プロセッサ４３から出力用の多重ビデオフレームが出力される時刻と、データを外部に出力する時刻には、出力対象のデータのうちの、先頭のデータが各ビデオ送信回路５２と各オーディオ送信回路６３に入力される時刻に応じて差が生じる。ここでは、抽出回路４５におけるデータの抽出や、フレームメモリ５２やメモリ６２にデータを一時的に記憶するのにかかる時間を無視するものとする。

同期信号sync-3と同期信号sync-4のタイミング（１の値の時刻）が近いことは、プロセッサ４３から出力用の多重ビデオフレームが出力された時刻と、各系統のデータが外部に出力される時刻の差が小さいことを表す。すなわち、同期信号sync-3と同期信号sync-4のタイミングが近いことは、出力遅延が抑えられていることを表す。

このことを前提として、出力用の多重ビデオフレームに上詰めでデータを挿入した場合について説明する。

多重フレーム状態情報は、オーディオデータの抽出に用いられるサンプル数情報を含む情報である。従って、多重フレーム状態情報が多重ビデオフレームから抽出されていなければオーディオデータを抽出することはできない。出力遅延を抑えるという点からは、多重フレーム状態情報の挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。

オーディオデータについては、仮に、多重ビデオフレームＦ_２の下の方に設定された領域内にオーディオデータを挿入するとした場合、オーディオ＃０のオーディオデータの出力の開始時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。

イメージとしては、オーディオ＃０の出力タイミングが、図２６に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ＃０乃至＃３の出力タイミングも、図２６に示す位置より右側の位置になってしまう。

従って、出力遅延を抑えるという点からは、オーディオ＃０のオーディオデータの挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。

また、各ビデオのフレームがライン毎にインタリーブされて下詰めで出力用の多重ビデオフレームに挿入されている場合を考える。この場合、ビデオ＃０のフレームの先頭ラインのデータの出力時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。特に、ビデオ＃０のフレーム全体のライン数が少ないほど、後の時刻になってしまう。

イメージとしては、ビデオ＃０の出力タイミングが、図２６に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ＃１乃至＃３の出力タイミングと、オーディオ＃０の出力タイミングも、図２６に示す位置より右側の位置になってしまう。

従って、出力遅延を抑えるという点からは、ビデオ＃０のフレームの先頭ラインのデータの挿入位置は、多重ビデオフレームＦ_２のビデオ領域Ａ₂₃内であって、より上の方の位置であることが好ましい。ビデオ＃１乃至３についても同様である。

以上のことから、出力用の多重ビデオフレーム全体としてデータが上詰めで配置されるように、各オーディオのオーディオデータについては出力用の多重ビデオフレームの上の方に設定されたオーディオ領域Ａ₂₂に挿入し、各ビデオのビデオデータについてはフレームをライン毎にインタリーブして、オーディオ領域Ａ₂₂の下に設定されたビデオ領域Ａ₂₃に上詰めで挿入することによって、出力遅延を抑えることが可能になることがわかる。

図２６の例においては、出力遅延は、多重ビデオフレームＦ_２のプロセッサ４３からの出力の開始時刻である時刻ｔ_１と、外部へのデータの出力の開始時刻である時刻ｔ₁₁との差である数ラインに相当する時間に抑えられている。

［その他の変形例］
以上においては、１入力１出力のビデオポートがプロセッサ４３に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ４３に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ４３から出力されるようにすることが可能である。

以上においては、主に、入力ビデオデータ、多重ビデオフレームがフレーム単位で処理されるものとしたが、フィールド単位で処理されるようにしてもよい。上述した“フレーム”は、すべて“フィールド”と言い換えることが可能である。

［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。

CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 情報処理装置， ２１−１および２１−２ ビデオ受信回路， ２２−１および２２−２ フレームシンクロナイザ， ２３−１および２３−２ フレームメモリ， ３１−１および３１−２ オーディオ受信回路， ３２−１および３２−２ メモリ制御回路， ３３−１および３３−２ メモリ， ４１ 多重ビデオ信号発生回路， ４２−１乃至４２−４ 多重回路， ４３ プロセッサ， ４４ タイミング発生回路， ４５−１乃至４５−４ 抽出回路， ５１−１および５１−２ フレームシンクロナイザ， ５２−１および５２−２ フレームメモリ， ５３−１および５３−２ ビデオ送信回路， ６１−１および６１−２ メモリ制御回路， ６２−１および６２−２ メモリ， ６３−１および６３−２ オーディオ送信回路

Claims (11)

1. 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入する生成手段と、
   入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入する第１の多重化手段と、
   入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、
   前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する第２の多重化手段と
   を備える情報処理装置。
2. 入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータと前記分割後のオーディオデータに処理を施し、処理後の前記フレームのデータと前記分割後のオーディオデータを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段をさらに備え、
   前記処理手段は、処理後の前記フレームのデータと前記分割後のオーディオデータのそれぞれの多重化が完了したか否かを表す情報を前記多重ビデオフレームに挿入する
   請求項１に記載の情報処理装置。
3. 前記処理手段は、
   前記フレームの連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータが、連続性が確保されていないデータであると判断した場合、他のフレームのデータを前記多重ビデオフレームに多重化し、
   前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータが、連続性が確保されていないデータであると判断した場合、他のオーディオサンプルのデータを前記多重ビデオフレームに多重化する
   請求項２に記載の情報処理装置。
4. 前記処理手段から出力された前記多重ビデオフレームから、前記フレームのデータと、前記フレームのデータの多重化が完了したか否かを表す情報を抽出する第１の抽出手段と、
   抽出された前記フレームのデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記フレームのデータに代えて、他のフレームのデータを外部に出力する第１の送信手段と
   をさらに備える請求項２に記載の情報処理装置。
5. 前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータと、前記分割後のオーディオデータの多重化が完了したか否かを表す情報を抽出する第２の抽出手段と、
   抽出された前記分割後のオーディオデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記分割後のオーディオデータに代えて、他のオーディオサンプルのデータを、１サンプルのデータずつ外部に出力する第２の送信手段と
   をさらに備える請求項４に記載の情報処理装置。
6. 前記第１の多重化手段は、複数のフォーマットの前記ビデオデータの各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第１のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化する
   請求項２に記載の情報処理装置。
7. 前記第２の多重化手段は、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第１のビデオ用の領域の下方に設定された第１のオーディオ用の領域のデータとして伝送されるように多重化する
   請求項６に記載の情報処理装置。
8. 前記処理手段は、
   処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第２のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化し、
   処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第２のビデオ用の領域の上方に設定された第２のオーディオ用の領域のデータとして伝送されるように多重化し、
   処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力する
   請求項７に記載の情報処理装置。
9. 前記生成手段は、さらに、前記多重ビデオフレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入し、
   前記第１の多重化手段は、さらに、前記フレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入し、
   前記第２の多重化手段は、前記分割後のオーディオデータの信頼性を表す情報を前記多重ビデオフレームに挿入する
   請求項１に記載の情報処理装置。
10. 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
    入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
    入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
    分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する
    ステップを含む情報処理方法。
11. 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
    入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
    入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
    分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images