JP2011146929A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2011146929A JP2011146929A JP2010006137A JP2010006137A JP2011146929A JP 2011146929 A JP2011146929 A JP 2011146929A JP 2010006137 A JP2010006137 A JP 2010006137A JP 2010006137 A JP2010006137 A JP 2010006137A JP 2011146929 A JP2011146929 A JP 2011146929A
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- video
- multiplexed
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができるようにする。
【解決手段】各系統のビデオの1フレームは、画面サイズの大きいビデオフレームである多重ビデオフレームに挿入され、多重ビデオフレームのデータとして伝送される。また、各系統のオーディオデータは、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプル毎に分割され、多重ビデオフレームに挿入される。各多重回路においては、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報が多重ビデオフレームに挿入される。本発明は、複数系統のオーディオデータを処理する映像音響機器に適用することができる。
【選択図】図1
【解決手段】各系統のビデオの1フレームは、画面サイズの大きいビデオフレームである多重ビデオフレームに挿入され、多重ビデオフレームのデータとして伝送される。また、各系統のオーディオデータは、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプル毎に分割され、多重ビデオフレームに挿入される。各多重回路においては、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報が多重ビデオフレームに挿入される。本発明は、複数系統のオーディオデータを処理する映像音響機器に適用することができる。
【選択図】図1
Description
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
[ビデオ型インタフェース]
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。
ビデオ型インタフェースには、DVI/VESAのようにデータイネーブル信号を加える方式、HDMIのようにビデオデータをシリアライズする方式、SMPTE259MやSMPTE292Mのようにタイミング情報をデータ線にさらに多重する方式もある。
以下、適宜、ビデオ型インタフェースにより伝送される信号セットを「ビデオ信号」という。また、ビデオ型インタフェースの入力ピンと出力ピンのセットを「ビデオポート」という。
[ビデオポートの帯域幅]
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec=186MB/sの安定的なデータ転送を保証する。
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec=186MB/sの安定的なデータ転送を保証する。
ビデオポートの帯域幅が急速に向上してきている。これは、ディスプレイの解像度が向上したこと、放送画質が標準画質(720×480)からHD画質(1920×1080)へ移行したこと、ディスプレイの表示能力が多様化(480i/480p/1080i/720p/1080p)したことなどによる。いまでは、HD(1920x1080@30frame/sec)やWUXGA(1920x1200@60frame/sec)の帯域幅は一般的なものになっている。
[ビデオ・オーディオの多チャンネル化]
ところで、近年、映像音響機器は多数のビデオ/オーディオ信号を扱うようになってきている。
ところで、近年、映像音響機器は多数のビデオ/オーディオ信号を扱うようになってきている。
例えば、家庭用のデジタルレコーダにおいては次のようなデータが出力系のデータとして扱われる。
・メニューやガイドが入らない映像出力(ビデオ出力)。
・メニューやガイドが入る映像出力(モニタ出力)。
・アンテナからのビットストリームをデコードした映像出力(デコーダ出力)。
・メニューやガイドが入らない映像出力(ビデオ出力)。
・メニューやガイドが入る映像出力(モニタ出力)。
・アンテナからのビットストリームをデコードした映像出力(デコーダ出力)。
また、映像加工に用いる業務用の機器においては、多いものでは次のようなデータが出力系のデータとして扱われ、かつ、同時に出力することが求められる。
・標準の映像出力(プログラム出力、ビデオ出力)。
・スーパーインポーズした映像出力(モニタ出力)。
・数秒前の映像(プレビュー出力)。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。
・標準の映像出力(プログラム出力、ビデオ出力)。
・スーパーインポーズした映像出力(モニタ出力)。
・数秒前の映像(プレビュー出力)。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。
特に映像加工に用いる業務用の機器が扱うデータには、SD/HD、4:2:2/4:4:4、RGB/YCbCr、インタレース/プログレッシブといったような、様々なディスプレイサイズ、様々なフレーム周波数(リフレッシュレート)のデータが混在する。
入力系についても、異なるフォーマットで非同期のビデオ信号を同時入力・同時記録したり、同時入力しながらそれらを切り替えたり、切り替えるときに加工して合成したり、といったように、多数の映像をプロセッサに同時入力することが求められる。ビデオに付随するオーディオのチャンネル数も、5.1ch、7.1ch、9.1ch、マルチチャンネルでの他カ国語などと急速に増大している。
このように、映像音響機器のプロセッサには、複数のビデオ、複数のオーディオの入出力を同時に行うことが可能であることが要求される。
例えば、特許文献2には、入力された複数のフォーマットのビデオデータを、画面サイズの大きいビデオフレームである多重ビデオフレームのデータとして多重化し、ビデオポートからプロセッサに入力する技術が開示されている。
また、特許文献2には、多重ビデオフレームから抽出された各フォーマットのビデオデータに対してプロセッサにおいて処理が行われ、処理後の各フォーマットのビデオデータが、多重ビデオフレームにプロセッサにおいて再度多重化されることも記載されている。プロセッサのビデオポートから出力された多重ビデオフレームからは、処理後の各フォーマットのビデオデータが抽出され、装置の外部に出力されるようになされている。
特許文献2に記載されている技術によっては、入力側の回路とプロセッサの間、プロセッサと出力側の回路の間で、それぞれ、各フォーマットのビデオデータの、多重ビデオフレームにおける多重位置に関する情報を予め一致させておく必要がある。各フォーマットのビデオデータが多重化された多重化後の多重ビデオフレームを入力側の回路から受信したプロセッサ、または、プロセッサから受信した出力側の回路においては、多重位置に関する情報に基づいて、データの抽出が行われる。
多重位置に関する情報には、どのチャンネル(系統)のビデオデータを多重ビデオフレームのどこに貼り付けるかなどの情報が含まれる。
また、データの配列に影響を与えるビデオ信号のフォーマットについても、入力側の回路とプロセッサの間、プロセッサと出力側の回路の間で、それぞれ、予め決めておく必要がある。
必然的に、多重ビデオフレームにおける各フォーマットのビデオデータの多重位置は固定化され、多重位置を組み変えて、様々な信号の伝送に対応するようなことは容易ではなかった。
また、扱うことのできるビデオデータのフォーマットも限定的で、入力側の回路が、外部から入力された信号に基づいてビデオ信号の有無や種類を自動的に判別し、それに応じて、多重ビデオフレームの構成を変更するといったことができなかった。
本発明はこのような状況に鑑みてなされたものであり、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができるようにするものである。
本発明の一側面の情報処理装置は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第1の情報を前記多重ビデオフレームに挿入する生成手段と、入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第2の情報と、前記ビデオデータのフォーマットに関する情報である第3の情報とを、多重化後の前記多重ビデオフレームに挿入する第1の多重化手段と、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第1乃至第3の情報に基づいて抽出し、抽出したデータに処理を施す処理手段とを備える。
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報である第4の情報と、前記分割後のオーディオデータの配置位置に関する情報である第5の情報と、前記オーディオデータのフォーマットに関する情報である第6の情報とを、前記多重ビデオフレームに挿入する第2の多重化手段とをさらに設けることができる。この場合、前記処理手段には、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータを、前記第1、第4乃至第6の情報に基づいて抽出させ、抽出させたデータに処理を施させることができる。
前記第1の多重化手段には、複数のフォーマットの前記ビデオデータの各フォーマットの1フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第1のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化させることができる。
前記第2の多重化手段には、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第1のビデオ用の領域の下方に設定された第1のオーディオ用の領域のデータとして伝送されるように多重化させることができる。
前記処理手段には、処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第2のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化させ、処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第2のビデオ用の領域の上方に設定された第2のオーディオ用の領域のデータとして伝送されるように多重化させ、処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力させることができる。
前記処理手段から出力された前記多重ビデオフレームから、各フォーマットの前記フレームのデータを前記第1乃至第3の情報に基づいて抽出する第1の抽出手段と、抽出された各フォーマットの前記フレームのデータを、前記第3の情報に基づいてフォーマットに応じた処理を施した後に外部に出力する第1の送信手段とをさらに設けることができる。
前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータを前記第1、第4乃至第6の情報に基づいて抽出する第2の抽出手段と、抽出された前記分割後のオーディオデータに対して、前記第6の情報に基づいてフォーマットに応じた処理を施し、処理を施した後の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する第2の送信手段とをさらに設けることができる。
本発明の一側面の情報処理方法は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第1の情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第2の情報と、前記ビデオデータのフォーマットに関する情報である第3の情報とを、多重化後の前記多重ビデオフレームに挿入し、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第1乃至第3の情報に基づいて抽出し、抽出したデータに処理を施すステップを含む。
本発明の一側面のプログラムは、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第1の情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第2の情報と、前記ビデオデータのフォーマットに関する情報である第3の情報とを、多重化後の前記多重ビデオフレームに挿入し、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第1乃至第3の情報に基づいて抽出し、抽出したデータに処理を施すステップを含む処理をコンピュータに実行させる。
本発明の一側面においては、所定の画面サイズを有するビデオフレームである多重ビデオフレームが生成され、前記多重ビデオフレームの構成に関する情報である第1の情報が前記多重ビデオフレームに挿入される。また、入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータが多重化されるとともに、前記フレームの配置位置に関する情報である第2の情報と、前記ビデオデータのフォーマットに関する情報である第3の情報とが、多重化後の前記多重ビデオフレームが挿入される。さらに、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータが前記第1乃至第3の情報に基づいて抽出され、抽出されたデータに処理が施される。
本発明によれば、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができる。
[情報処理装置の全体構成]
図1は、本発明の一実施形態に係る情報処理装置1の構成例を示すブロック図である。
図1は、本発明の一実施形態に係る情報処理装置1の構成例を示すブロック図である。
情報処理装置1は、1入力1出力のビデオポートを有するプロセッサ43を用いて2系統ずつ入力されたビデオデータ、オーディオデータに対して処理を施し、ビデオデータ、オーディオデータを2系統ずつ出力する機器である。
外部から供給されたビデオ#1のビデオ信号は同期信号とともにビデオ受信回路21−1に入力され、ビデオ#2のビデオ信号は同期信号とともにビデオ受信回路21−2に入力される。
解像度、フレームレート、走査方式、伝送方式、および圧縮方式等の、ビデオ#1とビデオ#2のフォーマットは互いに同一であってもよいし、異なっていてもよい。ビデオ#1のフレームとビデオ#2のフレームの入力タイミングは同期していなくてもよい。
また、外部から供給されたオーディオ#1のオーディオ信号はオーディオ受信回路31−1に入力され、オーディオ#2のオーディオ信号はオーディオ受信回路31−2に入力される。例えば、オーディオ受信回路31−1と31−2には、クロック信号、データ信号、サンプリング周波数を表す信号からなる三線オーディオの形でオーディオ信号が入力される。
サンプリング周波数、ビット数、チャンネル数等の、オーディオ#1とオーディオ#2のフォーマットも、互いに同一であってもよいし、異なっていてもよい。オーディオ#1のデータとオーディオ#2のデータの入力タイミングも同期していなくてもよい。オーディオはビデオに付随するものであってもよいし、独立したものであってもよい。
ビデオ受信回路21−1は、ケーブルイコライザ、デシリアライザ、各種デコーダ、4:2:2/4:4:4デコーダ、およびA/D(Analog/Digital)コンバータ等を有する。ビデオ受信回路21−1は、入力されたビデオ信号に対してA/D変換等の各種の処理を施し、ビデオ#1を構成する各フレームのデータを生成する。
また、ビデオ受信回路21−1は、ビデオ#1のフレームデータに付随する情報として伝送されてきたAncillary Dataを取得する。Ancillary Dataは、ビデオのブランキング期間を使って伝送されるデータである。Ancillary Dataには、Timecode、Video Index、字幕などの、画像データではない情報が含まれる。
ビデオ受信回路21−1は、生成した各フレームのデータ、Ancillary Data、およびビデオ#1のビデオフォーマット情報をフレームシンクロナイザ22−1に出力する。ビデオフォーマット情報は、ビデオ信号のフォーマットに関する情報であり、後述する多重フレーム配置情報に含まれる。ビデオフォーマット情報等の、多重フレーム配置情報に含まれる情報については後述する。
フレームシンクロナイザ22−1は、各系統のビデオ間でフレームのタイミングを同期させ、ビデオ受信回路21−1から供給された1フレームのデータをフレームメモリ23−1に記憶させる。また、フレームシンクロナイザ22−1は、ビデオ受信回路21−1から供給されたビデオ#1のAncillary Dataとビデオフォーマット情報をフレームメモリ23−1に記憶させる。
フレームシンクロナイザ22−1は、多重回路42−1からの要求に応じてフレームメモリ23−1からデータを読み出し、出力する。
実装上、ビデオ受信回路21−1、フレームシンクロナイザ22−1、多重回路42−1の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、ビデオ受信回路21−1とフレームシンクロナイザ22−1の間、フレームシンクロナイザ22−1と多重回路42−1の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
ビデオ受信回路21−2とフレームシンクロナイザ22−2の間、フレームシンクロナイザ22−2と多重回路42−2の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、オーディオ受信回路31−1とメモリ制御回路32−1の間、メモリ制御回路32−1と多重回路42−3の間や、オーディオ受信回路31−2とメモリ制御回路32−2の間、メモリ制御回路32−2と多重回路42−4の間にも、適宜、FIFOが設けられる。
ここで、入力されたビデオ#1のビデオ信号のフレーム周波数と、後述する多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ22−1は、フレームメモリ23−1に記憶されているビデオデータを重複して(同じフレームのデータを続けて)多重回路42−1に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。ビデオ#1のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数を一致させることについては特開2009−71701号公報に記載されている。
ビデオ受信回路21−2は、ビデオ受信回路21−1と同様に、入力されたビデオ信号に各種の処理を施し、ビデオ#2を構成する各フレームのデータを生成する。また、ビデオ受信回路21−2は、ビデオ#2のAncillary Dataを取得する。
ビデオ受信回路21−2は、生成した各フレームのデータ、ビデオ#2のAncillary Data、およびビデオフォーマット情報をフレームシンクロナイザ22−2に出力する。
フレームシンクロナイザ22−2は、フレームシンクロナイザ22−1と同様に、各系統のビデオ信号間でフレームのタイミングを同期させ、ビデオ受信回路21−2から供給されたフレームデータをフレームメモリ23−2に記憶させる。また、フレームシンクロナイザ22−2は、ビデオ受信回路21−2から供給されたビデオ#2のAncillary Dataとビデオフォーマット情報をフレームメモリ23−2に記憶させる。
フレームシンクロナイザ22−2は、多重回路42−2からの要求に応じてフレームメモリ23−2からデータを読み出し、出力する。フレームシンクロナイザ22−2においても、フレームメモリ23−2に記憶されているフレームデータの重複読み出しや読み飛ばしが適宜行われる。
オーディオ受信回路31−1は、入力されたオーディオ信号に対してA/D変換、サンプリングレート変換、S/P変換などの各種の処理を施し、オーディオ#1を構成するオーディオデータを生成する。生成されたオーディオデータは、オーディオサンプルの時系列から構成される。
オーディオ受信回路31−1は、オーディオ#1のオーディオデータを、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割する(切り出す)。また、オーディオ受信回路31−1は、分割したオーディオサンプルのデータを、それを構成するオーディオサンプルの数を表す情報であるサンプル数情報とともにメモリ制御回路32−1に出力する。オーディオ受信回路31−1に対しては、多重ビデオフレームの1フレーム期間を表す同期信号が多重ビデオ信号発生回路41から供給される。多重ビデオフレームについては後述する。
図2は、オーディオサンプルの切り出しの例を示す図である。
図2の横軸は時間を表し、時間軸上に並ぶそれぞれの実線がオーディオサンプルを表す。図2の例においては、多重ビデオ信号発生回路41から供給される同期信号(垂直同期信号)により、時刻t1から時刻t2までの時間である時間T1、および、時刻t2から時刻t3までの時間である時間T2が、それぞれ多重ビデオフレームの1フレーム期間とされている。
オーディオ受信回路31−1は、時間T1に入力されたオーディオサンプルの数をカウントし、時刻t2になったタイミングで、時間T1に入力されたオーディオサンプルを切り出す。オーディオ受信回路31−1は、切り出したオーディオサンプルのデータを、時間T1に多重ビデオ信号発生回路41から出力された多重ビデオフレームに多重化するデータとして、サンプル数情報とともにメモリ制御回路32−1に出力する。
同様に、オーディオ受信回路31−1は、時間T2に入力されたオーディオサンプルを切り出し、時間T2に多重ビデオ信号発生回路41から出力された多重ビデオフレームに多重化するデータとしてサンプル数情報とともに出力する。
オーディオデータとビデオデータとで異なる点は、フレームシンクロナイザ機能を装備してはならない点である。これは、原則、オーディオデータは重複も欠落もしてはならないためである。従って、オーディオ受信回路31−1においては、多重ビデオフレームの同期信号を基準として、1フレーム期間内に入力されたオーディオサンプルが、そのまま、1つの多重ビデオフレームに多重化するオーディオデータとして切り出される。
オーディオデータのサンプリング周波数が、多重ビデオフレームのフレーム周波数の整数倍ではない場合、1フレーム期間内にオーディオ受信回路31−1に入力されるオーディオサンプルの数にばらつきが生じる。サンプル数情報をも多重ビデオフレームに多重化することによって、何サンプルのオーディオサンプルが多重ビデオフレームに多重化されているのかを、その多重ビデオフレームの供給を受けたプロセッサ43等は判断することが可能になる。
図1の説明に戻り、さらに、オーディオ受信回路31−1は、オーディオ#1のオーディオフォーマット情報をメモリ制御回路32−1に出力する。オーディオフォーマット情報は、オーディオ信号のフォーマットに関する情報であり、多重フレーム配置情報に含まれる。
メモリ制御回路32−1は、オーディオ受信回路31−1から供給されたオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ33−1に記憶させる。メモリ制御回路32−1は、多重回路42−3からの要求に応じて、メモリ33−1からデータを読み出し、出力する。
オーディオ受信回路31−2は、オーディオ受信回路31−1と同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ#2を構成するオーディオデータを生成する。オーディオ受信回路31−2は、オーディオ#2のオーディオデータを、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路32−2に出力する。
また、オーディオ受信回路31−2は、オーディオ#2のオーディオフォーマット情報をメモリ制御回路32−2に出力する。
メモリ制御回路32−2は、オーディオ受信回路31−2から供給されたオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ33−2に記憶させる。メモリ制御回路32−2は、多重回路42−4からの要求に応じて、メモリ33−2からデータを読み出し、出力する。
多重ビデオ信号発生回路41は、発振子とPLL(Phase Locked Loop)を有する周波数マルチプライヤである。多重ビデオ信号発生回路41は、各系統のビデオデータ、オーディオデータを多重化してプロセッサ43に入力、またはプロセッサ43から出力するためのビデオフレームを生成する。多重ビデオ信号発生回路41により生成されるビデオフレームは、例えば、伝送に使用する帯域幅がプロセッサ43のビデオポートの帯域幅を超えない範囲で許容される最大のサイズ(画素数)を有するフレームとされる。
以下、ビデオデータ、オーディオデータ等の多重化に用いられるビデオフレームを多重ビデオフレームという。また、多重ビデオフレームの信号を多重ビデオ信号という。
図3は、多重ビデオフレームの例を示す図である。
図3に示すように、多重ビデオ信号発生回路41により生成された多重ビデオフレームは、ビデオデータ、オーディオデータが多重化されていない画像である。多重ビデオフレームには、多重ビデオフレーム構成情報が多重ビデオ信号発生回路41により挿入される。多重ビデオフレーム構成情報は、多重ビデオフレームの構成に関する情報であり、多重フレーム配置情報に含まれる。
多重ビデオフレームのサイズは、各系統のビデオのフレームサイズと、各系統のオーディオの、多重ビデオフレームの1フレーム期間内に入力されたオーディオデータのサイズとの総和より大きい。多重ビデオフレームには、各系統のビデオのフレームを互いに重ならないように貼り付けることが可能とされる。また、各系統のオーディオの、多重ビデオフレームの1フレーム期間内に入力されたオーディオサンプルのデータを挿入することが可能とされる。
多重ビデオ信号発生回路41は、多重ビデオフレームのデータと同期信号を多重回路42−1に出力する。多重ビデオフレームの同期信号は、多重ビデオフレームのデータとともに、多重回路42−1より後段の各回路に供給される。多重ビデオ信号発生回路41から出力された同期信号は、オーディオ受信回路31−1と31−2にも供給される。
多重回路42−1は、要求に応じてフレームシンクロナイザ22−1からデータが供給されたビデオ#1のフレームを多重ビデオ信号発生回路41から供給された多重ビデオフレームに貼り付ける(挿入する)。多重回路42−1は、ビデオ#1のフレームを多重ビデオフレームに貼り付けた後、ビデオ多重関連情報を多重ビデオフレームに挿入する。ビデオ多重関連情報は、ビデオフレームのデータの多重と配列に関する情報であり、多重フレーム配置情報に含まれる。
また、多重回路42−1は、フレームシンクロナイザ22−1から供給されたビデオ#1のビデオフォーマット情報とAncillary Dataを多重ビデオフレームに挿入する。
多重回路42−1は、各種のデータを挿入した多重ビデオフレームのデータを多重回路42−2に出力する。多重回路42−1から出力される多重ビデオフレームには、多重ビデオ信号発生回路41により挿入された多重ビデオフレーム構成情報の他に、ビデオ#1のフレームデータ、ビデオフォーマット情報、Ancillary Data、ビデオ多重関連情報が挿入されている。
多重回路42−2は、要求に応じてフレームシンクロナイザ22−2からデータが供給されたビデオ#2のフレームを多重回路42−1から供給された多重ビデオフレームに貼り付ける。ビデオ#2の1フレームは、ビデオ#1のフレームと重ならない位置に貼り付けられる。多重回路42−2は、ビデオ#2のフレームを多重ビデオフレームに貼り付けた後、ビデオ多重関連情報を多重ビデオフレームに挿入する。
また、多重回路42−2は、フレームシンクロナイザ22−2から供給されたビデオ#2のビデオフォーマット情報とAncillary Dataを多重ビデオフレームに挿入する。
多重回路42−2は、各種のデータを挿入した多重ビデオフレームのデータを多重回路42−3に出力する。多重回路42−2から出力された多重ビデオフレームのデータは、ビデオ#1の1フレームのデータと、ビデオ#2の1フレームのデータが多重化されたデータになる。
多重回路42−3は、要求に応じてメモリ制御回路32−1から供給されたオーディオ#1のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報を、多重回路42−2から供給された多重ビデオフレームに挿入する。また、多重回路42−3は、オーディオ#1のオーディオサンプルのデータを挿入した後、オーディオ多重関連情報を多重ビデオフレームに挿入する。オーディオ多重関連情報は、オーディオサンプルのデータの多重と配列に関する情報であり、多重フレーム配置情報に含まれる。
多重回路42−3は、データを挿入した多重ビデオフレームのデータを多重回路42−4に出力する。
多重回路42−4は、要求に応じてメモリ制御回路32−2から供給されたオーディオ#2のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報を、多重回路42−3から供給された多重ビデオフレームに挿入する。多重回路42−4は、データを挿入した多重ビデオフレームのデータをプロセッサ43に出力する。プロセッサ43に対する入力は1系統のビデオデータになる。
図4は、多重化後の多重ビデオフレームの例を示す図である。
ここでは、多重ビデオフレームを使ったビデオデータ、オーディオデータの多重化について説明する。多重フレーム配置情報についても同様にして多重化が行われる。以下、適宜、水平方向に並ぶ画素をラインとして説明する。
図4の例においては、多重ビデオフレームの有効画枠の左上端に左上頂点を合わせるようにしてビデオ#1のフレームが貼り付けられている。ビデオ#1のフレームの1ライン目と、多重ビデオフレームの1ライン目は一致する。
また、ビデオ#1のフレームと重ならず、かつ、1ライン目が、多重ビデオフレームのmライン目にくるようにビデオ#2のフレームが貼り付けられている。
さらに、多重ビデオフレームのn-2ライン目と次のラインであるn-1ライン目にオーディオ#1のオーディオデータが挿入され、多重ビデオフレームの最も下のラインであるnライン目にオーディオ#2のオーディオデータが挿入されている。
図5は、図4に示す形で各データが貼り付けられた多重ビデオフレームのビデオ信号の例を示す図である。
図5に示すように、多重ビデオ信号は、それを時間軸上に表した場合、多重ビデオフレームの1ライン目からnライン目までの各ラインのデータを伝送する区間毎の信号から構成される。
図5の例においては、時刻t1からt2までの区間である区間T1は、多重ビデオフレームの1ライン目のデータを伝送する区間であり、時刻t2からt3までの区間である区間T2は、多重ビデオフレームの2ライン目のデータを伝送する区間である。
また、時刻tmからtm+1までの区間である区間Tmは、多重ビデオフレームのmライン目のデータを伝送する区間であり、時刻tn-2からtn-1までの区間である区間Tn-2は、多重ビデオフレームのn-2ライン目のデータを伝送する区間である。時刻tn-1からtnまでの区間である区間Tn-1は、多重ビデオフレームのn-1ライン目のデータを伝送する区間であり、時刻tnからtn+1までの区間である区間Tnは、多重ビデオフレームのnライン目のデータを伝送する区間である。
図4に示す形で各データが貼り付けられた場合、多重ビデオ信号の区間T1には、ビデオ#1のフレームの1ライン目の信号が挿入される。また、多重ビデオ信号の区間T2には、ビデオ#1のフレームの2ライン目の信号が挿入される。
また、多重ビデオフレームの区間Tmには、その前半に、ビデオ#1のフレームのmライン目の信号が挿入され、所定の期間だけ空けて後半に、ビデオ#2のフレームの1ライン目の信号が挿入される。
多重ビデオフレームの区間Tn-2と区間Tn-1には、サンプル数情報により表される数のオーディオ#1のオーディオサンプルの信号が挿入される。
多重ビデオフレームの区間Tnには、サンプル数情報により表される数のオーディオ#2のオーディオサンプルの信号が挿入される。
このように、プロセッサ43に入力するデータの多重化は、入力するデータの信号を、多重ビデオ信号を構成する全区間のうちの、多重ビデオフレームにおけるデータの挿入位置に応じた区間に挿入することによって実現される。
フレームデータ、オーディオデータ等のデータを多重ビデオフレームに貼り付ける、または挿入するということは、データを、貼り付け位置、または挿入位置に応じた多重ビデオフレームのデータとして伝送することを意味する。多重ビデオフレームのデータは、貼り付け、または挿入されたデータが多重化されたデータになる。
図1の説明に戻り、プロセッサ43は、ビデオポート(Video In)に入力された多重ビデオフレームのデータに多重化されている各系統のビデオデータと各系統のオーディオデータを抽出し、抽出したデータを対象として所定の処理を行う。プロセッサ43は、CPU,GPU,DSP,SoCなどの演算装置である。
例えば、ビデオデータの抽出は、後述する抽出回路45−3および45−4による抽出と同様にして行われ、オーディオデータの抽出は、抽出回路45−1および45−2による抽出と同様にして行われる。
また、プロセッサ43は、処理を施した各系統のビデオのフレーム、オーディオのサンプルを多重ビデオフレームに貼り付け、それらのデータを多重化する。プロセッサ43が多重ビデオフレームから抽出したデータの挿入位置と、処理後のデータの挿入位置が異なる場合、適宜、多重ビデオフレームに挿入されているビデオ多重関連情報とオーディオ多重関連情報が書き換えられる。
プロセッサ43は、処理後のデータが多重化された多重ビデオフレームのデータをビデオポート(Video Out)から出力する。プロセッサ43からの出力も、1系統のビデオデータになる。プロセッサ43から出力された多重ビデオフレームのデータは同期信号とともに抽出回路45−1に供給される。プロセッサ43から出力された同期信号はタイミング発生回路44にも供給される。
タイミング発生回路44は、プロセッサ43から供給された同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレーム、オーディオサンプルの出力タイミングの基準となる出力タイミング信号を生成する。各系統のビデオ、オーディオのフォーマットに関する情報は、抽出回路45−1乃至45−4から供給される。
具体的には、タイミング発生回路44は、プロセッサ43から供給された同期信号と、抽出回路45−4から供給された、ビデオ#1のビデオフォーマット情報に基づいて、ビデオ#1用の出力タイミング信号を生成し、ビデオ送信回路53−1に出力する。
また、タイミング発生回路44は、プロセッサ43から供給された同期信号と、抽出回路45−3から供給された、ビデオ#2のビデオフォーマット情報に基づいて、ビデオ#2用の出力タイミング信号を生成し、ビデオ送信回路53−2に出力する。
タイミング発生回路44は、プロセッサ43から供給された同期信号と、抽出回路45−2から供給された、オーディオ#1のオーディオフォーマット情報に基づいて、オーディオ#1用の出力タイミング信号を生成し、オーディオ送信回路63−1に出力する。
タイミング発生回路44は、プロセッサ43から供給された同期信号と、抽出回路45−1から供給された、オーディオ#2のオーディオフォーマット情報に基づいて、オーディオ#2用の出力タイミング信号を生成し、オーディオ送信回路63−2に出力する。
抽出回路45−1は、プロセッサ43から供給された多重ビデオフレームのデータから、オーディオ#2のオーディオサンプルのデータを抽出する。
抽出回路45−1が抽出対象とするオーディオ#2のオーディオサンプルのデータの多重位置は、多重ビデオフレームに挿入されているオーディオ#2のオーディオ多重関連情報により表される。また、多重ビデオフレームに挿入されているオーディオ#2のオーディオサンプルの数はオーディオ#2のサンプル数情報により表される。
抽出回路45−1は、多重ビデオフレームが供給されたとき、オーディオ#2のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ#2のオーディオサンプルの数を特定する。また、抽出回路45−1は、オーディオ#2のオーディオ多重関連情報により表されるラインに挿入されているデータを、特定した数のオーディオサンプルに相当する分だけ、オーディオ#2のオーディオサンプルのデータとして抽出する。
抽出回路45−1は、抽出したオーディオ#2のオーディオサンプルのデータをメモリ制御回路61−2に出力する。また、抽出回路45−1は、多重ビデオフレームに挿入されているオーディオ#2のオーディオフォーマット情報を抽出し、タイミング発生回路44とメモリ制御回路61−2に出力する。
抽出回路45−1は、プロセッサ43から供給された多重ビデオフレームのデータを抽出回路45−2に出力する。
抽出回路45−2は、抽出回路45−1から供給された多重ビデオフレームから、抽出回路45−1と同様にしてオーディオ#1のオーディオサンプルのデータを抽出する。
すなわち、抽出回路45−2は、オーディオ#1のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ#1のオーディオサンプルの数を特定する。また、抽出回路45−2は、オーディオ#1のオーディオ多重関連情報により表されるラインに挿入されているデータを、特定した数のオーディオサンプルに相当する分だけ、オーディオ#1のオーディオサンプルのデータとして抽出する。
抽出回路45−2は、抽出したオーディオ#1のオーディオサンプルのデータをメモリ制御回路61−1に出力する。また、抽出回路45−2は、多重ビデオフレームに挿入されているオーディオ#1のオーディオフォーマット情報を抽出し、タイミング発生回路44とメモリ制御回路61−1に出力する。
抽出回路45−2は、抽出回路45−1から供給された多重ビデオフレームのデータを抽出回路45−3に出力する。
抽出回路45−3は、抽出回路45−2から供給された多重ビデオフレームのデータから、ビデオ#2のフレームデータを抽出する。
抽出回路45−3が抽出対象とするビデオ#2のフレームデータの挿入位置は、多重ビデオフレームに挿入されているビデオ#2のビデオ多重関連情報により表される。抽出回路45−3は、ビデオ#2のビデオ多重関連情報により表される位置のデータをビデオ#2のフレームのデータとして多重ビデオフレームから抽出する。
抽出回路45−3は、抽出したビデオ#2のフレームデータをフレームシンクロナイザ51−2に出力する。また、抽出回路45−3は、多重ビデオフレームに挿入されているビデオ#2のビデオフォーマット情報を抽出し、タイミング発生回路44とフレームシンクロナイザ51−2に出力する。
抽出回路45−3は、抽出回路45−2から供給された多重ビデオフレームのデータを抽出回路45−4に出力する。
抽出回路45−4は、抽出回路45−3から供給された多重ビデオフレームのデータから、ビデオ#1のフレームデータを抽出する。
抽出回路45−4が抽出対象とするビデオ#1のフレームデータの挿入位置は、多重ビデオフレームに挿入されているビデオ#1のビデオ多重関連情報により表される。抽出回路45−4は、ビデオ#1のビデオ多重関連情報により表される位置のデータをビデオ#1のフレームのデータとして多重ビデオフレームから抽出する。
抽出回路45−4は、抽出したビデオ#1のフレームデータをフレームシンクロナイザ51−1に出力する。また、抽出回路45−4は、多重ビデオフレームに挿入されているビデオ#1のビデオフォーマット情報を抽出し、タイミング発生回路44とフレームシンクロナイザ51−1に出力する。
フレームシンクロナイザ51−1は、抽出回路45−4から供給されたビデオ#1のフレームデータとビデオ#1のビデオフォーマット情報をフレームメモリ52−1に記憶させる。フレームシンクロナイザ51−1は、ビデオ送信回路53−1からの要求に応じてフレームメモリ52−1からデータを読み出し、出力する。
ビデオ送信回路53−1は、ケーブルドライバ(Cable Driver)、シリアライザ(Serializer)、各種エンコーダ(Encoder)、4:2:2/4:4:4コンバータ、およびD/A(Digital / Analog)コンバータ等を有する。
ビデオ送信回路53−1は、要求に応じてフレームシンクロナイザ51−1から供給されたビデオ#1のフレームデータを同期信号とともに、タイミング発生回路44から供給された出力タイミング信号に従って情報処理装置1の外部に出力する。
情報処理装置1の外部に出力する前、ビデオ送信回路53−1は、適宜、ビデオ#1のビデオフォーマット情報に基づいて、ビデオ#1のフレームデータのデータ形式を整えるための処理を行う。
実装上、抽出回路45−4、フレームシンクロナイザ51−1、ビデオ送信回路53−1の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、抽出回路45−4とフレームシンクロナイザ51−1の間、フレームシンクロナイザ51−1とビデオ送信回路53−1の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
抽出回路45−3とフレームシンクロナイザ51−2の間、フレームシンクロナイザ51−2とビデオ送信回路53−2の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、抽出回路45−2とメモリ制御回路61−1の間、メモリ制御回路61−1とオーディオ送信回路63−1の間や、抽出回路45−1とメモリ制御回路61−2の間、メモリ制御回路61−2とオーディオ送信回路63−2の間にも、適宜、FIFOが設けられる。
ここで、出力するビデオ#1のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ51−1は、フレームメモリ52−1に記憶されているビデオデータを重複して(同じフレームのビデオデータを続けて)ビデオ送信回路53−1に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。
フレームシンクロナイザ51−2は、抽出回路45−3から供給されたビデオ#2のフレームデータとビデオ#2のビデオフォーマット情報をフレームメモリ52−2に記憶させる。フレームシンクロナイザ51−2は、ビデオ送信回路53−2からの要求に応じてフレームメモリ52−2からデータを読み出し、出力する。
ビデオ送信回路53−2は、ビデオ送信回路53−1と同様に、要求に応じてフレームシンクロナイザ51−2から供給されたビデオ#2のフレームデータを同期信号とともに、タイミング発生回路44から供給された出力タイミング信号に従って外部に出力する。
情報処理装置1の外部に出力する前、ビデオ送信回路53−2は、適宜、ビデオ#2のビデオフォーマット情報に基づいて、ビデオ#2のフレームデータのデータ形式を整えるための処理を行う。
メモリ制御回路61−1は、抽出回路45−2から供給されたオーディオ#1のデータをメモリ62−1に一時的に記憶させる。メモリ62−1には、多重ビデオフレームの1フレーム期間内に入力されたオーディオサンプル単位で、オーディオ#1のオーディオデータが記憶される。また、メモリ62−1には、オーディオ#1のオーディオフォーマット情報も記憶される。
メモリ制御回路61−1は、オーディオ送信回路63−1からの要求に応じて、メモリ62−1からデータを読み出し、出力する。
オーディオ送信回路63−1は、メモリ制御回路61−1から供給されたオーディオ#1のオーディオサンプルのデータを、1サンプルのデータずつ、タイミング発生回路44から供給された出力タイミング信号に従って情報処理装置1の外部に出力する。
情報処理装置1の外部に出力する前、オーディオ送信回路63−1は、適宜、オーディオ#1のオーディオフォーマット情報に基づいて、オーディオ#1のオーディオサンプルのデータ形式を整えるための処理を行う。
メモリ制御回路61−2は、抽出回路45−1から供給されたオーディオ#2のオーディオサンプルのデータをメモリ62−2に一時的に記憶させる。メモリ62−2には、多重ビデオフレームの1フレーム期間内に入力されたオーディオサンプル単位で、オーディオ#2のオーディオデータが記憶される。また、メモリ62−2には、オーディオ#2のオーディオフォーマット情報も記憶される。
メモリ制御回路61−2は、オーディオ送信回路63−2からの要求に応じて、メモリ62−2からデータを読み出し、出力する。
オーディオ送信回路63−2は、メモリ制御回路61−2から供給されたオーディオ#2のオーディオサンプルのデータを、1サンプルのデータずつ、タイミング発生回路44から供給された出力タイミング信号に従って情報処理装置1の外部に出力する。
情報処理装置1の外部に出力する前、オーディオ送信回路63−2は、適宜、オーディオ#2のオーディオフォーマット情報に基づいて、オーディオ#2のオーディオサンプルのデータ形式を整えるための処理を行う。
なお、図1においては、2系統のビデオデータと2系統のオーディオデータが情報処理装置1に入力され、処理が行われるものとしたが、入力されるデータの系統の数は変更可能である。
例えば、情報処理装置1には、1系統のビデオデータ毎に、入力側の構成として、ビデオ受信回路21−1、フレームシンクロナイザ22−1、フレームメモリ23−1、多重回路42−1と同様の構成が設けられる。また、出力側の構成として、抽出回路45−4、フレームシンクロナイザ51−1、フレームメモリ52−1、ビデオ送信回路53−1と同様の構成が設けられる。
情報処理装置1には、1系統のオーディオデータ毎に、入力側の構成として、オーディオ受信回路31−1、メモリ制御回路32−1、メモリ33−1、多重回路42−3と同様の構成が設けられる。また、出力側の構成として、抽出回路45−2、メモリ制御回路61−1、メモリ62−1、オーディオ送信回路63−1と同様の構成が設けられる。
以下、適宜、同じ名称を有する回路、構成を区別する必要がない場合、「−」とそれに続く数字を省略して説明する。
[ビデオ型インタフェース]
図6は、ビデオ型インタフェースを模式的に示す図である。
図6は、ビデオ型インタフェースを模式的に示す図である。
ビデオ型インタフェースにおいては、水平同期信号(H-Sync)、垂直同期信号(V-Sync)、フィールドフラグ信号(Field Flag)、画像や音声よりなるデータ信号(Data)、クロックを示すイネーブル信号(EN)などが送信側から受信側に伝送される。フィールドフラグ信号は、第1フィールドであるか第2フィールドであるかを示す。
図6のビデオ型インタフェースにおいて伝送されるビデオ信号の波形の例を図7に示す。図7の上段の信号群#11は、インタレース方式のビデオ信号の波形の例を示し、下段の信号群#12は、プログレッシブ方式のビデオ信号の波形の例を示す。
図7の信号群#11に示す波形のうち、実線矢印で示す範囲の波形の詳細を図8に示す。図8は、HD(High-Definition)画像のビデオ信号の波形の例を示す。
図8に示すように、垂直同期信号(V)の1周期の間に、1フィールド(540ライン)分のデータ(Data)が伝送される(Active Video)。また、水平同期信号(H)の1周期の間に1ライン(1920画素)分のデータ(Data)が伝送される。
[多重フレーム配置情報]
多重フレーム配置情報には、上述した多重ビデオフレーム構成情報、ビデオ多重関連情報、ビデオフォーマット情報、オーディオ多重関連情報、オーディオフォーマット情報、および、オーディオの付随データとしてのサンプル数情報が含まれる。
多重フレーム配置情報には、上述した多重ビデオフレーム構成情報、ビデオ多重関連情報、ビデオフォーマット情報、オーディオ多重関連情報、オーディオフォーマット情報、および、オーディオの付随データとしてのサンプル数情報が含まれる。
図9および図10を参照して、各情報について説明する。
図9に示すように、多重ビデオフレーム構成情報には、多重ビデオフレームの水平長、水平ブランキング長、水平有効長、垂直長、垂直ブランキング長、垂直有効長を表す情報が含まれる。
また、多重ビデオフレーム構成情報には、多重ビデオフレームのフレーム構造(InterlacedであるかProgressiveであるか)、フレーム周波数、ビット幅(8bit/10bit/12bit/16bit)を表す情報が含まれる。
ビデオ多重関連情報には、ビデオ(フレームデータ)の有無、多重位置、水平サイズ、垂直サイズ、多重ライン間隔を表す情報が含まれる。ビデオの有無は、ビデオデータが多重されているか否かを示すフラグにより表され、多重位置は、多重ビデオフレームの所定の位置を原点として、貼り付けられているフレームの左上などの、起点となる位置のx座標、y座標で表される。
また、ビデオ多重関連情報には、Ancillary Dataの有無、多重位置、水平サイズ、垂直サイズ、多重ライン間隔を表す情報が含まれる。Ancillary Dataの有無は、Ancillary Dataが多重されているか否かを示すフラグにより表され、多重位置は、多重ビデオフレームの所定の位置を原点として、Ancillary Dataの先頭のデータの位置などの、起点となる位置のx座標、y座標で表される。
これらの各情報を含むビデオ多重関連情報は、各系統のビデオデータ毎に用意される。
ビデオフォーマット情報には、クロック周波数、ブランキングパルスの極性(H,V)、水平長、水平ブランキング長、水平有効長、垂直長、垂直ブランキング長、垂直有効長を表す情報が含まれる。
また、ビデオフォーマット情報には、フレーム構造(Interlaced/Progressive)、フレーム周波数、イメージフォーマット(Interleaved/Planar)、ビット数(8bit/10bit/12bit/14bit/16bit)を表す情報が含まれる。ビデオフォーマット情報には、サンプリングフォーマット(4:2:2/4:4:4/4:1:1)、色数とカラーフォーマット(RGB/YCbCr/CMYK/6色/8色/…)、Ancillary Dataのライン番号、Timecodeのライン番号を表す情報も含まれる。
ビデオフォーマット情報は、各系統のビデオデータ毎に用意される。
図10に示すように、オーディオ多重関連情報には、オーディオサンプルのデータの有無、多重位置、水平サイズ、垂直サイズ、多重ライン間隔を表す情報が含まれる。オーディオサンプルのデータの有無は、オーディオサンプルのデータが多重されているか否かを示すフラグにより表され、多重位置は、多重ビデオフレームの所定の位置を原点として、オーディオサンプルのデータが挿入されている領域の起点となる位置のx座標、y座標で表される。
オーディオ多重関連情報は、各系統のオーディオデータ毎に用意される。
オーディオフォーマット情報には、クロック周波数、チャンネル数(Mono/Dual-Mono/Stereo/.../5.1ch/7.1ch/9.1ch)、サンプリング周波数(32kHz/44.1kHz/48kHz/96kHz/192kHz)、ビット数(16bit/20bit/24bit)を表す情報が含まれる。
オーディオフォーマット情報は、各系統のオーディオデータ毎に用意される。
オーディオの付随データであるサンプル数情報も、各系統のオーディオデータ毎に用意される。
多重フレーム配置情報に含まれる各情報の挿入位置を表す情報は、入力回路とプロセッサ43の間、プロセッサ43と出力回路の間でそれぞれ共通の位置を表すように予め設定されている。
入力回路は、プロセッサ43に対してデータを入力する回路全体をいい、出力回路は、プロセッサ43から出力されたデータを情報処理装置1の外部に出力する回路全体をいう。
入力回路は、図1のビデオ受信回路21、フレームシンクロナイザ22、フレームメモリ23、オーディオ受信回路31、メモリ制御回路32、メモリ33、多重ビデオ信号発生回路41、および多重回路42から構成される。また、出力回路は、図1のタイミング発生回路44、抽出回路45、フレームシンクロナイザ51、フレームメモリ52、ビデオ送信回路53、メモリ制御回路61、メモリ62、およびオーディオ送信回路63から構成される。
[入力回路の動作]
多重フレーム配置情報に含まれる各情報に関する入力回路の処理について説明する。
多重フレーム配置情報に含まれる各情報に関する入力回路の処理について説明する。
多重ビデオフレーム構成情報は、多重ビデオ信号発生回路41により多重ビデオフレームに挿入される。プロセッサ43は、多重ビデオフレーム構成情報に基づいて、多重ビデオフレームのデータ領域(有効画枠)を認識することが可能になる。
ビデオ多重関連情報は、ビデオデータを処理する多重回路42(図1の例の場合、多重回路42−1と42−2)により生成され、多重ビデオフレームに挿入される。ビデオ多重関連情報は、ビデオデータを処理する多重回路42に予め設定されているようにしてもよいし、多重化する対象のビデオデータに応じて自動的に生成されるようにしてもよい。
ビデオ多重関連情報が予め設定される場合、その情報は、例えば、ビデオデータを処理する多重回路42内のレジスタに記憶される。多重回路42は、レジスタに記憶されているビデオ多重関連情報を多重ビデオフレームに挿入する。
一方、多重回路42により自動的に生成される場合、多重化対象のビデオデータの挿入位置を、ビデオデータのフォーマットに基づいて自動的に決定する機能(回路)が、ビデオデータを処理する多重回路42に用意される。多重回路42は、その機能によって決定した挿入位置を表す情報を、ビデオ多重関連情報として多重ビデオフレームに挿入する。
プロセッサ43は、ビデオ多重関連情報に基づいて、多重ビデオフレームから所望の系統のビデオフレームのデータを抽出することが可能になる。
ビデオフォーマット情報は、ビデオ受信回路21から出力され、ビデオデータを処理する多重回路42により多重ビデオフレームに挿入される。ビデオフォーマット情報は、ビデオ受信回路21に予め設定されているようにしてもよいし、ビデオ信号に基づいてフォーマットの検出が行われることによってビデオ受信回路21により生成されるようにしてもよい。ビデオフォーマット情報が、ビデオ受信回路21ではなく、フレームシンクロナイザ22により生成されるようにすることも可能である。
プロセッサ43は、ビデオフォーマット情報に基づいて、多重ビデオフレームから抽出したビデオフレームのデータの構成を判断することが可能になる。
オーディオ多重関連情報は、オーディオデータを処理する多重回路42(図1の例の場合、多重回路42−3と42−4)により生成され、多重ビデオフレームに挿入される。オーディオ多重関連情報は、オーディオデータを処理する多重回路42に予め設定されているようにしてもよいし、多重化する対象のオーディオデータに応じて自動的に生成されるようにしてもよい。
オーディオ多重関連情報が予め設定される場合、その情報は、例えば、オーディオデータを処理する多重回路42内のレジスタに記憶される。多重回路42は、レジスタに記憶されているオーディオ多重関連情報を多重ビデオフレームに挿入する。
一方、多重回路42により自動的に生成される場合、多重化対象のオーディオデータの挿入位置を、オーディオデータのフォーマットに基づいて自動的に決定する機能(回路)が、オーディオデータを処理する多重回路42に用意される。多重回路42は、その機能によって決定した挿入位置を表す情報を、オーディオ多重関連情報として多重ビデオフレームに挿入する。
プロセッサ43は、オーディオ多重関連情報に基づいて、多重ビデオフレームから所望の系統のオーディオサンプルのデータを抽出することが可能になる。
オーディオフォーマット情報は、オーディオ受信回路31から出力され、オーディオデータを処理する多重回路42により多重ビデオフレームに挿入される。オーディオフォーマット情報は、オーディオ受信回路31に予め設定されているようにしてもよいし、オーディオ信号に基づいてフォーマットの検出が行われることによってオーディオ受信回路31により生成されるようにしてもよい。オーディオフォーマット情報が、オーディオ受信回路31ではなく、メモリ制御回路32により生成されるようにすることも可能である。
プロセッサ43は、オーディオフォーマット情報に基づいて、多重ビデオフレームから抽出したオーディオサンプルのデータの構成を判断することが可能になる。
サンプル数情報は、オーディオ受信回路31により生成され、オーディオデータを処理する多重回路42により多重ビデオフレームに挿入される。サンプル数情報が、オーディオ受信回路31ではなく、メモリ制御回路32により生成されるようにすることも可能である。
プロセッサ43は、サンプル数情報に基づいて、オーディオ多重関連情報により特定される、オーディオデータの挿入位置のうちの有効領域(オーディオサンプルのデータが実際に挿入されている領域)を判断することが可能になる。
[出力回路の動作]
多重フレーム配置情報に含まれる各情報に関する出力回路の処理について説明する。
多重フレーム配置情報に含まれる各情報に関する出力回路の処理について説明する。
プロセッサ43から出力された多重ビデオフレームに挿入されているビデオ多重関連情報は、ビデオデータを処理する抽出回路45(図1の例の場合、抽出回路45−3と45−4)により読み取られ、フレームデータの抽出に用いられる。
また、ビデオフォーマット情報は、ビデオデータを処理する抽出回路45により読み取られ、タイミング発生回路44とビデオ送信回路53に供給される。
タイミング発生回路44においては、ビデオフォーマット情報に基づいて、ビデオ送信回路53用の出力タイミング信号(ビデオのH-Sync、V-Sync)が生成される。また、ビデオ送信回路53においては、ビデオフォーマット情報に基づいて、信号の出力形式を整えるための処理が行われる。例えば、ビデオ送信回路53が有するD/A変換器によるD/A変換やフォーマットの変換が行われる。
また、プロセッサ43から出力された多重ビデオフレームに挿入されているオーディオ多重関連情報は、オーディオデータを処理する抽出回路45(図1の例の場合、抽出回路45−1と45−2)により読み取られ、オーディオサンプルの抽出に用いられる。
また、オーディオフォーマット情報は、オーディオデータを処理する抽出回路45により読み取られ、タイミング発生回路44とオーディオ送信回路63に供給される。
タイミング発生回路44においては、オーディオフォーマット情報に基づいて、オーディオ送信回路63用の出力タイミング信号(ビデオのオーディオのfs)が生成される。また、オーディオ送信回路63においては、オーディオフォーマット情報に基づいて、信号の出力形式を整えるための処理が行われる。例えば、オーディオ送信回路63が有するサンプリングレート変換器によるサンプリングレートの変換、D/A変換器によるD/A変換、フォーマットの変換が行われる。
[情報処理装置の動作]
ここで、図11のフローチャートを参照して、図1の情報処理装置1の処理について説明する。
ここで、図11のフローチャートを参照して、図1の情報処理装置1の処理について説明する。
ステップS1において、ビデオ受信回路21−1および21−2によりビデオ受信処理が行われる。
ステップS2において、オーディオ受信回路31−1および31−2によりオーディオ受信処理が行われる。
ステップS3において、多重ビデオ信号発生回路41は、多重ビデオフレームを生成する。
ステップS4において、多重ビデオ信号発生回路41は、多重ビデオフレーム構成情報を多重ビデオフレームに挿入し、多重ビデオフレームのデータと同期信号を出力する。
ステップS5において、多重回路42−1乃至42−4により多重化処理が行われる。
ステップS6において、プロセッサ43は、ビデオポートに入力された多重ビデオフレームのデータに多重化されているビデオデータ、オーディオデータを抽出し、所定の処理を行う。プロセッサ43は、処理後のデータが多重化された多重ビデオフレームのデータをビデオポートから出力する。
ステップS7において、抽出回路45−1乃至45−4により抽出処理が行われる。
ステップS8において、タイミング発生回路44は、各系統のビデオ、オーディオのフォーマットに基づいて、各系統のデータ用の出力タイミング信号を生成し、出力する。
ステップS9において、オーディオ送信回路63−1および63−2によりオーディオ出力処理が行われる。
ステップS10において、ビデオ送信回路53−1および53−2によりビデオ出力処理が行われる。ビデオ出力処理が終了した後、処理は終了される。
次に、図12のフローチャートを参照して、図11のステップS1において行われるビデオ受信処理について説明する。
ステップS11において、ビデオ受信回路21−1は、入力されたビデオ信号を受信し、A/D変換等の各種の処理を施すことによって、ビデオ#1を構成する各フレームのデータとAncillary Dataを生成する。ビデオ受信回路21−2においても同様の処理が行われ、ビデオ#2を構成する各フレームのデータとAncillary Dataが生成される。
ステップS12において、ビデオ受信回路21−1は、フォーマット検出を行い、ビデオ#1のビデオフォーマット情報を生成する。この例においては、フォーマット検出が行われることによって、ビデオフォーマット情報が生成されるようになされている。
ステップS13において、フレームシンクロナイザ22−1は、ビデオ#1のフレームデータ、Ancillary Data、およびビデオフォーマット情報をフレームメモリ23−1に記憶させる。フレームシンクロナイザ22−2においても、ビデオ#2のフレームデータ、Ancillary Data、およびビデオフォーマット情報をフレームメモリ23−2に記憶させることが行われる。
ビデオ#1および#2のデータがフレームメモリ23に記憶された後、図11のステップS1に戻り、それ以降の処理が行われる。
次に、図13のフローチャートを参照して、図11のステップS2において行われるオーディオ受信処理について説明する。
ステップS21において、オーディオ受信回路31−1は、入力されたオーディオ信号を受信し、A/D変換等の処理を施すことによって、オーディオサンプルの時系列から構成されるオーディオ#1のオーディオデータを生成する。オーディオ受信回路31−2においても同様の処理が行われ、オーディオ#2のオーディオデータが生成される。
ステップS22において、オーディオ受信回路31−1は、フォーマット検出を行い、オーディオ#1のオーディオフォーマット情報を生成する。この例においては、フォーマット検出が行われることによって、オーディオフォーマット情報が生成されるようになされている。
ステップS23において、オーディオ受信回路31−1は、サンプル数をカウントしつつ、多重ビデオフレームの1フレーム期間内に入力されたオーディオ#1のオーディオサンプルを切り出す。オーディオ受信回路31−2においても同様の処理が行われ、多重ビデオフレームの1フレーム期間内に入力されたオーディオ#2のオーディオサンプルが切り出される。
ステップS24において、メモリ制御回路32−1は、切り出されたオーディオ#1のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ33−1に記憶させる。また、メモリ制御回路32−2は、切り出されたオーディオ#2のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ33−2に記憶させる。
オーディオ#1および#2のデータがメモリ33に記憶された後、図11のステップS2に戻り、それ以降の処理が行われる。
次に、図14のフローチャートを参照して、図11のステップS5において行われる多重化処理について説明する。図11のステップS3において生成された多重ビデオフレームのデータは多重回路42−1に供給される。
ステップS31において、多重回路42−1は、フレームシンクロナイザ22−1に対して要求することによって、ビデオ#1のデータをフレームメモリ23−1から読み出す。フレームメモリ23−1からは、ビデオ#1のフレームデータ、Ancillary Data、およびビデオフォーマット情報が読み出される。
ステップS32において、多重回路42−1は、フレームメモリ23−1から読み出したビデオ#1のフレームデータを多重ビデオフレームに挿入する。
ステップS33において、多重回路42−1は、フレームメモリ23−1から読み出したビデオ#1のAncillary Dataを多重ビデオフレームに挿入する。
ステップS34において、多重回路42−1は、ビデオ#1のフレームデータの挿入位置を表すビデオ多重関連情報と、フレームメモリ23−1から読み出したビデオフォーマット情報を多重ビデオフレームに挿入する。
ステップS31乃至S34の処理と同様の処理が多重回路42−2においても行われ、フレームメモリ23−2から読み出されたビデオ#2のフレームデータが、多重回路42−1から供給された多重ビデオフレームに挿入される。また、ビデオ#2のビデオ多重関連情報とビデオフォーマット情報が挿入される。
ステップS35において、多重回路42−3は、メモリ制御回路32−1に対して要求することによって、メモリ33−1からデータを読み出す。メモリ33−1からは、オーディオ#1のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報が読み出される。
ステップS36において、多重回路42−3は、オーディオ#1のオーディオサンプルのデータを、多重回路42−2から供給された多重ビデオフレームに挿入する。
ステップS37において、多重回路42−3は、オーディオ#1のサンプル数情報、オーディオ多重関連情報、およびオーディオフォーマット情報を、多重回路42−2から供給された多重ビデオフレームに挿入する。
ステップS35乃至S37の処理と同様の処理が多重回路42−4においても行われる。メモリ33−2から読み出されたオーディオ#2のオーディオサンプルのデータが、サンプル数情報、オーディオ多重関連情報、およびオーディオフォーマット情報とともに、多重回路42−3から供給された多重ビデオフレームに挿入される。
全系統のビデオデータとオーディオデータが多重ビデオフレームに挿入された後、図11のステップS5に戻り、それ以降の処理が行われる。
次に、図15のフローチャートを参照して、図11のステップS7において行われる抽出処理について説明する。
ステップS51において、抽出回路45−1は、プロセッサ43から出力された多重ビデオフレームのデータを受信する。
ステップS52において、抽出回路45−1は、多重ビデオフレームに挿入されているオーディオ多重関連情報とサンプル数情報に基づいて、オーディオ#2のオーディオサンプルのデータを多重ビデオフレームから抽出する。
ステップS53において、抽出回路45−1は、オーディオ#2のオーディオフォーマット情報を多重ビデオフレームから抽出する。
ステップS54において、メモリ制御回路61−2は、抽出回路45−1により抽出されたオーディオ#2のオーディオサンプルのデータとオーディオフォーマット情報をメモリ62−2に記憶させる。
ステップS52乃至S54の処理と同様の処理が抽出回路45−2、メモリ制御回路61−1においても行われ、多重ビデオフレームから抽出されたオーディオ#1のオーディオサンプルのデータとオーディオフォーマット情報がメモリ62−1に記憶される。
ステップS55において、抽出回路45−3は、多重ビデオフレームに挿入されているビデオ多重関連情報に基づいて、ビデオ#2のフレームデータとAncillary Dataを多重ビデオフレームから抽出する。
ステップS56において、抽出回路45−3は、ビデオフォーマット情報を多重ビデオフレームから抽出する。
ステップS57において、フレームシンクロナイザ51−2は、抽出回路45−3により抽出されたビデオ#2のフレームデータ、Ancillary Data、およびビデオフォーマット情報をフレームメモリ52−2に記憶させる。
ステップS55乃至S57の処理と同様の処理が抽出回路45−4、フレームシンクロナイザ51−1においても行われる。多重ビデオフレームから抽出されたビデオ#1のフレームデータ、Ancillary Data、およびビデオフォーマット情報がフレームメモリ52−1に記憶される。
全系統のビデオデータとオーディオデータが多重ビデオフレームから抽出された後、図11のステップS7に戻り、それ以降の処理が行われる。
次に、図16のフローチャートを参照して、図11のステップS9において行われるオーディオ出力処理について説明する。
ステップS61において、オーディオ送信回路63−2は、メモリ制御回路61−2に対して要求することによって、オーディオ#2のオーディオサンプルのデータとオーディオフォーマット情報をメモリ62−2から読み出す。
ステップS62において、オーディオ送信回路63−2は、オーディオフォーマット情報に基づいて、信号の出力形式を整えるための処理を行う。
ステップS63において、オーディオ送信回路63−2は、1サンプルのデータずつ、出力形式を整えたオーディオ#2のオーディオデータを外部に出力する。
ステップS61乃至S63の処理と同様の処理がオーディオ送信回路63−1においても行われ、メモリ62−1から読み出されたオーディオ#1のオーディオデータが外部に出力される。
全系統のオーディオデータが出力された後、図11のステップS9に戻り、それ以降の処理が行われる。
次に、図17のフローチャートを参照して、図11のステップS10において行われるビデオ出力処理について説明する。
ステップS71において、ビデオ送信回路53−2は、フレームシンクロナイザ51−2に対して要求することによって、ビデオ#2のフレームデータとビデオフォーマット情報をフレームメモリ52−2から読み出す。
ステップS72において、ビデオ送信回路53−2は、ビデオフォーマット情報に基づいて、信号の出力形式を整えるための処理を行う。
ステップS73において、ビデオ送信回路53−2は、出力形式を整えたビデオ#2のフレームデータを外部に出力する。ビデオ#2のAncillary Dataが多重ビデオフレームから抽出されている場合、適宜、Ancillary Dataもフレームメモリ52−2から読み出され、フレームデータとともに外部に出力される。
ステップS71乃至S73の処理と同様の処理がビデオ送信回路53−1においても行われ、フレームメモリ52−1から読み出されたビデオ#1のフレームデータが外部に出力される。
全系統のビデオのフレームデータが出力された後、図11のステップS10に戻り、それ以降の処理が行われる。
以上の各ステップの処理は、必ずしも図に示す順に行われるものではなく、適宜、他のステップの処理と並行して、または他のステップの処理と前後して行われる。
以上の一連の処理により、1つの入力ビデオポートを備えるプロセッサ43に対して複数の系統のビデオデータとオーディオデータを入力することができる。また、1つの出力ビデオポートを備えるプロセッサ43から、複数の系統のビデオデータとオーディオデータを出力させることができる。すなわち、プロセッサ43に対するデータの入力、およびプロセッサ43からのデータの出力を、1つのビデオポートを使って効率的に行うことができる。
また、情報処理装置1に入力するデータの柔軟性と自由度を確保することが可能になる。
すなわち、データの多重位置に関する情報などが入力回路から後段に提供されることによって、入力回路とプロセッサ43の間、プロセッサ43と出力回路の間でそれぞれデータの多重位置などを固定的に予め設定しておく必要がない。
その結果、多重位置を変え、様々な組み合わせの信号の入力に対応することが容易になる。例えば、4K×2Kの多重ビデオフレームにHDのビデオフレームを4フレーム貼り付けるようにしてもよいし、SDのビデオフレームを4フレーム貼り付けるようにしてもよい。HDとSDが混在してもよい。各種の組み合わせの信号に対応するためには、入力回路さえ設定を変えれば済む。
同時に、入力回路とプロセッサ43の間、プロセッサ43と出力回路の間で、設定の不整合が起こる危険性を排除することも可能になる。
入力回路が信号の有無や種類(フォーマット)を自動判別し、その判別結果に基づいて多重ビデオフレームを調整・変更することも可能になる。例えば、入力がないチャンネルのデータを多重ビデオフレームから自動的に消す(多重ビデオフレームに挿入しない)といったことを、ユーザによる入力に応じてではなく、入力回路に独自の判断で行わせることが可能になる。また、入力されるビデオフレームのSD/HDの切り替えを判別して、多重ビデオフレームに確保する必要があるビデオ挿入用の領域のサイズを入力回路が自動的に変えるといったことも可能になる。
出力信号の形式を多重フレーム配置情報に基づいて自動的に整えることが出力回路において行われるようにすることも可能になる。この際、出力回路は多重フレーム配置情報を読み取って出力形式を自動的に変えることができる回路であるため、出力回路に新たな設定を行う必要がない。
多重フレーム配置情報を定義することにより、入力ビデオデータとしてフレームとフィールドが混在する場合のデータ伝送を容易に行うことが可能になる。例えば、フレーム周波数が60Hzの多重ビデオ信号を生成し、それを用いてフィールド周波数が60Hzのビデオデータを多重化することや、フレーム周波数が30Hzの多重ビデオ信号を生成し、それを用いてフィールド周波数が60Hzのビデオデータを多重化することも可能になる。この場合でも、多重フレーム配置情報が伝送されることにより、元のビデオ信号を正確に復元することができる。
また、多重フレーム配置情報を多重ビデオフレーム毎に挿入することにより、ビデオ/オーディオデータと対応付けた値を、1多重ビデオフレーム毎に変更・更新することができる。GPIOやシリアルポートを使ったデータ伝送においては、このような即応性を得ることはできない。
[多重化の例]
以上においては、2系統のビデオ信号と2系統のオーディオ信号が情報処理装置1に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が4系統ずつ入力されるようにしてもよい。
以上においては、2系統のビデオ信号と2系統のオーディオ信号が情報処理装置1に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が4系統ずつ入力されるようにしてもよい。
図18は、ビデオ信号とオーディオ信号が4系統ずつ入力された場合の多重ビデオフレームの例を示す図である。
図18の多重ビデオフレームにおいては、ブランキング領域が水平方向と垂直方向にそれぞれ設けられ、有効画枠内の1ライン目から所定のラインまでの領域が、多重フレーム配置情報用の領域A1として設定されている。図9、図10に示す各情報が、領域A1のうちの、各情報に対して割り当てられた位置に挿入される。
図18に示すように連続した領域にまとめて挿入されるのではなく、多重フレーム配置情報に含まれる各情報が、多重ビデオフレーム内に離れて設定された複数の領域に挿入されるようにしてもよい。
また、図18の多重ビデオフレームにおいては、領域A1の下に、ビデオ用の領域であるビデオ領域A2が設定されている。ビデオ領域A2には、ビデオ#0乃至#3のフレームが、互いに重ならないように、それぞれのフレームサイズを保持したまま貼り付けられている。
ビデオ領域A2の下に、オーディオデータ用の領域であるオーディオ領域A3が設定されている。オーディオデータ領域A3の各ラインには、オーディオ#0乃至#3のオーディオデータが、情報処理装置1に入力された順に、各ラインの左側を先頭にして詰めて挿入されている。
図18において、各ラインに挿入されるオーディオデータの水平方向の長さが異なることは、挿入されているオーディオデータのデータ量が系統毎に異なることを表す。上述したように、同じ多重ビデオフレームに多重化されるオーディオデータは、その多重ビデオフレームのフレーム期間内に入力されたものである。従って、各オーディオデータのサンプリング周波数が異なる場合や量子化精度が異なる場合、同じ多重ビデオフレームに多重化されるオーディオデータのデータ量にはばらつきが生じることになる。オーディオデータに割り当てられたラインのうち、データの記録されている領域が、上述した、オーディオデータの有効領域になる。
図19は、ビデオ信号とオーディオ信号が4系統ずつ入力された場合の多重ビデオフレームの他の例を示す図である。
図19の多重ビデオフレームのビデオ領域A2には、水平方向の画素数が有効画枠の水平方向の画素数と等しく、垂直方向の画素数が所定のライン数分の画素数からなる領域が各ビデオのフレームのデータを挿入するための領域として設定されている。図19の例においては、ビデオ#0乃至#3のフレームのデータを挿入するための領域が上から順に設定されている。
このように、入力されたときのサイズを保持したまま多重ビデオフレームに貼り付けられるのではなく、各ビデオのフレームが、入力時の形と合同ではない他の形で貼り付けられるようにしてもよい。各ビデオのフレームを貼り付けるための領域の設定の仕方によっては、データの多重化を効率的に行うことが可能になる。
[変形例]
図20は、情報処理装置1の他の構成例を示すブロック図である。
図20は、情報処理装置1の他の構成例を示すブロック図である。
図20に示す構成のうち、図1に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図20に示す構成は、多重ビデオ信号発生回路41の前段に切り替え回路111が設けられている点で図1に示す情報処理装置1の構成と異なる。
切り替え回路111に対しては、ビデオ#1の同期信号、ビデオ#2の同期信号、および、その2つの同期信号とは別に外部から入力された同期信号である外部同期信号が入力される。外部同期信号はタイミング発生回路44にも供給される。
切り替え回路111は、ビデオ#1の同期信号、ビデオ#2の同期信号、および外部同期信号のうちの所定の同期信号を選択し、多重ビデオ信号発生回路41に出力する。
多重ビデオ信号発生回路41は、切り替え回路111から供給された同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームのデータを、切り替え回路111から供給された同期信号とともに多重回路42−1に出力する。
タイミング発生回路44は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオデータの出力タイミングの基準となる同期信号を生成し、出力する。
このように、多重ビデオフレームを生成する周期を規定する同期信号として、外部から入力された同期信号を切り替えて用いるようにすることも可能である。
[入力用の多重ビデオフレームを用いた多重化について]
ここで、多重ビデオフレームを用いて行われるビデオデータとオーディオデータの多重化の方法について説明する。データの挿入位置によって、データの遅延を抑えることが可能になる。
ここで、多重ビデオフレームを用いて行われるビデオデータとオーディオデータの多重化の方法について説明する。データの挿入位置によって、データの遅延を抑えることが可能になる。
はじめに、多重回路42により行われる、プロセッサ43に対する入力用の多重ビデオフレームを用いた多重化について説明する。
図21は、入力用の多重ビデオフレームの領域構成の例を示す図である。
図21に示すように、入力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図21の例においては、有効画枠内の1ライン目からm1ライン目までの領域が、ビデオ用の領域であるビデオ領域A11として設定されている。また、有効画枠内のm1+1ライン目から、m2ライン目までの領域が、オーディオ用の領域であるオーディオ領域A12として設定されている。m2+1ライン目から最終ラインであるnライン目までの領域が、多重フレーム配置情報用の領域A13として設定されている。
このように、入力用の多重ビデオフレームには、その上側にビデオ領域A11が設定され、ビデオ領域A11の下側にオーディオ領域A12が設定される。入力用の多重ビデオフレームを時間軸上に表した場合、処理順でいうと、入力用の多重ビデオフレームの上側が時間軸上では前側、下側が時間軸上では後ろ側になる。
図22は、図21の入力用の多重ビデオフレームに貼り付けるビデオフレームの例を示す図である。
ここでは、ビデオ#0乃至#3の4系統のビデオデータを多重化する場合について説明する。
図22の例においては、ビデオ#0のフレームサイズは720×486i(SD)であり、ビデオ#1のフレームサイズは1280×720p(720p)とされている。また、ビデオ#2のフレームサイズは、ビデオ#1のフレームサイズと同じ1280×720p(720p)であり、ビデオ#3のフレームサイズは1920×1080i(HD)とされている。
入力用の多重ビデオフレームへの貼り付け対象となるフレームは例えばライン毎に分割され、各ラインが、入力用の多重ビデオフレームのそれぞれ異なるラインに貼り付けられる。
また、貼り付け対象となる各フレームのデータが重ならないように、かつ、インタリーブして貼り付けられる。インタリーブとは、同じフレームのラインが垂直方向に連続しないように入力用の多重ビデオフレームに配置することをいう。
なお、ビデオ#0,#3はインタレース方式のフレームである。ビデオ#0,#3については、実際には、1フィールドを構成するラインが1つの入力用の多重ビデオフレームに貼り付けられるが、フレームを貼り付けるものとして説明する。
図23は、多重回路42による多重化後の入力用の多重ビデオフレームの例を示す図である。
図23の例においては、ビデオ#0のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に720画素の範囲であり、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に243×2ラインの範囲である。図23には、ビデオ#0のフレームのラインとして4ラインしか示していないが、1フィールドのライン数である243ラインが、1ライン毎に、1ラインずつ空けて挿入される。
また、図23の例においては、ビデオ#1のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に720×2ラインの範囲である。図23には、ビデオ#1のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#0のフレームのラインと重ならないように挿入される。
ビデオ#2のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に720×2ラインの範囲である。図23には、ビデオ#2のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて挿入される。
ビデオ#3のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に540×2ラインの範囲である。図23には、ビデオ#3のフレームのラインとして7ラインしか示していないが、1フィールドのライン数である540ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#2のフレームのラインと重ならないように挿入される。
この例においては、入力用の多重ビデオフレームの有効画枠の水平方向の画素数は3200画素(1280+1920画素)とされている。
各フレームのラインが挿入されている領域の上には、各ビデオのAncillary Dataが、各フレームのラインと同様にインタリーブされて多重ビデオフレームに挿入されている。
Ancillary Dataにフレームデータと同じ処理をしてはならない。例えば、Ancillary Dataに、フレームデータと同様に4:2:2-4:4:4変換、YCbCr-RGB変換をすると、Ancillary Dataは破壊される。プロセッサ43に対しては、Ancillary Dataとフレームデータを区別して入力する必要がある。図23に示すようにAncillary Dataとフレームデータが分けてビデオ領域A11に挿入されるようにすることにより、Ancillary Dataが破壊されるのを防ぐことが可能になる。
また、図23に示すように、入力用の多重ビデオフレームのオーディオ領域A12には、オーディオ#0乃至#3のオーディオデータが、情報処理装置1に入力された順に、各ラインの左側を先頭にして詰めて挿入される。
図23の例においては、オーディオ領域A12の開始位置であるm1+1ライン目とm1+2ライン目がオーディオ#0のオーディオデータに割り当てられている。m1+1ライン目とm1+2ライン目には、m1+1ライン目の全体と、m1+2ライン目の途中までに渡って、オーディオ#0のオーディオデータが挿入される。
また、m1+3ライン目とm1+4ライン目がオーディオ#1のオーディオデータに割り当てられている。m1+3ライン目とm1+4ライン目には、m1+3ライン目の全体と、m1+4ライン目の途中までに渡って、オーディオ#1のオーディオデータが挿入される。
m1+5ライン目とm1+6ライン目がオーディオ#2のオーディオデータに割り当てられている。m1+5ライン目とm1+6ライン目には、m1+5ライン目の全体と、m1+6ライン目の途中までに渡って、オーディオ#2のオーディオデータが挿入される。
m1+7ライン目とm1+8ライン目(m2ライン目)がオーディオ#3のオーディオデータに割り当てられている。m1+7ライン目とm1+8ライン目には、m1+7ライン目の全体と、m1+8ライン目の途中までに渡って、オーディオ#3のオーディオデータが挿入される。
入力用の多重ビデオフレームに挿入されるオーディオデータのサイズは、各多重回路42において処理されるオーディオデータのデータレートと、入力用の多重ビデオフレームのフレーム周波数(1フレーム期間)などから決定される。
従って、各系統のオーディオデータを挿入するラインの数として何ラインを割り当てればよいのかは、各系統のオーディオデータのフォーマットが検出された後に決定することが可能である。図23の例においては、各系統のオーディオデータに2ラインずつ割り当てられている。
例えば、オーディオ領域A12のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図23の例においてもそのようにしてオーディオ領域A12のライン数が設定されている。
以上のように、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、入力用の多重ビデオフレームのビデオ領域A11に下詰めで貼り付けられる。また、挿入の対象となる各オーディオデータは、ビデオ領域A11の下に設定されたオーディオ領域A12に、例えばオーディオ領域A12全体のラインを使って挿入される。多重フレーム配置情報は、オーディオ領域A12の下に設定された領域A13に挿入される。
入力用の多重ビデオフレーム全体を見た場合、各系統のデータは、下詰めの形で配置されることになる。
これにより、入力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ43に入力する場合であっても入力遅延を抑えることが可能になる。入力遅延は、プロセッサ43による処理の対象のデータが情報処理装置1に入力された時刻と、プロセッサ43に入力された時刻の差で表される。
図24は、下詰めのメリットについて説明する図である。図24の横軸は時間を表す。
図24の例においては、ビデオ#0乃至#3のビデオデータ(入力ビデオ信号)が、それぞれ異なるタイミングで入力される。
例えば、ビデオ#0のある1フレームのデータは、時刻t3から時刻t7のタイミングで情報処理装置1に入力される。また、ビデオ#1のある1フレームのデータは、時刻t1から時刻t5のタイミングで情報処理装置1に入力される。
ビデオ#2のある1フレームのデータは、時刻t4から時刻t8のタイミングで情報処理装置1に入力される。ビデオ#3のある1フレームのデータは、時刻t2から時刻t6のタイミングで情報処理装置1に入力される。
例えばビデオについては、入力用の多重ビデオフレームの1フレームの期間内に最終ラインのデータが入力されたビデオフレームが、その期間内に生成された入力用の多重ビデオフレームに貼り付けられる。
従って、この場合、図24において各ラインに斜線を付して示すビデオ#0乃至#3のフレームが、時刻t4から時刻t8までの期間Tに生成された入力用の多重ビデオフレーム(多重ビデオ信号)である多重ビデオフレームF1に多重化されることになる。
各ラインに斜線を付して示すビデオ#0のフレームの最終ラインのデータは、期間T内の時刻である時刻t7の直前の時刻に入力されている。同様に、各ラインに斜線を付して示すビデオ#1乃至#3のフレームの最終ラインのデータは、期間T内の時刻に入力されている。
また、オーディオについては、上述したように、入力用の多重ビデオフレームの1フレームの期間内に入力されたオーディオサンプルが、その期間内に生成された入力用の多重ビデオフレームに挿入される。
従って、図24の例の場合、オーディオ#0のオーディオサンプル全体のうち、期間Tに含まれる、太線で示すオーディオサンプルが、多重ビデオフレームF1に挿入されることになる。図24にはオーディオ#0だけを示しているが、他の系統のオーディオデータについても同様にして多重ビデオフレームF1に挿入される。
入力用の多重ビデオフレームの1フレームの期間は、多重ビデオ信号発生回路41により生成された同期信号により規定される。図24の同期信号sync-1は、多重ビデオ信号発生回路41により生成された同期信号を表す。
なお、図24の例においては、同期信号sync-1は、ビデオ#2の同期信号と同期している。図20を参照して説明したように、入力用の多重ビデオフレームの1フレーム期間を規定する同期信号として、外部から入力されたビデオの同期信号を用いることも可能である。
同期信号sync-2は、プロセッサ43に入力用の多重ビデオフレームを出力する最終段の多重回路42が出力する、入力用の多重ビデオフレームの1フレーム期間を規定する同期信号を表す。最終段の多重回路42からプロセッサ43に対しては、同期信号sync-2に従って、各系統のデータを多重化した多重化後の入力用の多重ビデオフレームが出力される。図1の例においては多重回路42−4が最終段の多重回路になる。
各多重回路42においては、多重化の対象のデータが入力されるのを待って多重化が行われる。多重ビデオ信号発生回路41から、あるいは前段の多重回路42から入力用の多重ビデオフレームが入力される時刻と、入力用の多重ビデオフレームにデータを多重化し、多重化後の入力用の多重ビデオフレームをある多重回路42が出力する時刻には、多重化の対象のデータのうちの、最終のデータが入力される時刻に応じて差が生じる。ここでは、ビデオ受信回路21やオーディオ受信回路31におけるデータの受信や、フレームメモリ23やメモリ33にデータを一時的に記憶するのにかかる時間を無視するものとする。
同期信号sync-1とsync-2のタイミング(1の値の時刻)が近いことは、多重ビデオ信号発生回路41から入力用の多重ビデオフレームが出力された時刻と、多重化後の入力用の多重ビデオフレームがプロセッサ43に入力される時刻の差が小さいことを表す。すなわち、同期信号sync-1とsync-2のタイミングが近いことは、入力遅延が抑えられていることを表す。
このことを前提として、入力用の多重ビデオフレームに下詰めでデータを挿入した場合について説明する。
図24の多重ビデオフレームF1は、図23を参照して説明したようにして各データが下詰めで挿入された多重化後の入力用の多重ビデオフレームを示す。
図24に示すように、左側を時間的に前、右側を時間的に後ろとする時間軸上に表した場合、ビデオ領域A11は多重ビデオフレームF1において左側に示され、オーディオ領域A12は右側に示される。図24の多重ビデオフレームF1内の右側に示す1本の太線は、オーディオ領域A12に挿入されたオーディオ#0のオーディオデータを表す。
多重ビデオフレームF1に貼り付けるビデオ#0のフレームの最終ラインのデータは、それが入力された、時刻t7の直前の時刻以降であれば挿入することが可能になる。ビデオ#0のフレームの最終ラインのデータを多重ビデオフレームF1のビデオ領域A11の上の方(前の方)に挿入するとした場合、その挿入位置となる多重ビデオフレームF1のラインの時刻は、時刻t7より後の時刻になってしまう。イメージとしては、多重ビデオフレームF1全体が図24に示す位置より右側の位置になってしまう。
従って、入力遅延を抑えるという点からは、ビデオ#0のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームF1の、時刻t7の直前の時刻より後の時刻に対応する位置であることが好ましい。実際に挿入される時刻より前に入力されたデータは、挿入時刻までメモリに記憶される。
また、多重ビデオフレームF1に多重化するビデオ#2のフレームの最終ラインのデータは、それが入力された、時刻t8の直前の時刻以降(時刻t8の直前の時刻を含む)であれば挿入することが可能になる。ビデオ#2のフレームの最終ラインのデータを多重ビデオフレームF1のビデオ領域A11の上の方に挿入するとした場合、その挿入位置となる多重ビデオフレームF1のラインの時刻は、時刻t8の直前の時刻より後の時刻になってしまう。イメージとしては、多重ビデオフレームF1全体が図24に示す位置より右側の位置になってしまう。
従って、入力遅延を抑えるという点からは、ビデオ#2のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームF1の、時刻t8の直前の時刻より後の時刻に対応する位置であることが好ましい。
ビデオ#1,3のフレームの最終ラインのデータについても同様である。
また、多重ビデオフレームF1に挿入するオーディオ#0のオーディオサンプルのデータとサンプル数情報は、同期信号sync-1によって定まる。期間Tの終了時刻である時刻t8以降(時刻t8を含む)であれば、オーディオ#0のオーディオデータを挿入することが可能になる。
オーディオ#0のオーディオデータを、多重ビデオフレームF1の上の方に設定された領域内に挿入するとした場合、その挿入位置となる多重ビデオフレームF1のラインの時刻は、時刻t8より後の時刻になってしまう。イメージとしては、多重ビデオフレームF1全体が図24に示す位置より右側の位置になってしまう。
従って、入力遅延を抑えるという点からは、オーディオ#0のオーディオデータの挿入位置は、多重ビデオフレームF1の、時刻t8より後の時刻に対応する位置であることが好ましい。
また、多重フレーム配置情報については、それに含まれる例えばサンプル数情報を挿入することが可能になる時刻は、多重ビデオフレームに多重化するサンプルの数が決定した後の時刻である。従って、多重フレーム配置情報をまとめて挿入する場合、サンプル数情報を挿入する位置は、多重化するサンプルの数が決まる時刻t8以降の時刻に対応する位置であることが好ましい。
以上のことから、入力用の多重ビデオフレーム全体としてデータが下詰めで配置されるように、各ビデオのビデオデータについてはフレームをライン毎にインタリーブしてビデオ領域A11に下詰めで挿入し、各オーディオのオーディオデータについてはビデオ領域A11の下に設定されたオーディオ領域A12に挿入することによって、入力遅延を抑えることが可能になることがわかる。また、多重フレーム配置情報は、オーディオ領域A12の下に設定された領域A13に挿入される。
図24の例においては、入力遅延は、時刻t4と、プロセッサ43に対する多重ビデオフレームF1の入力の開始時刻である時刻t11との差である数ラインに相当する時間に抑えられている。
図24に示すように、ビデオ#0乃至#3のフレームデータがそれぞれ異なるタイミングで入力される場合、時間的に前に最終ラインのデータが入力される系統のビデオデータは、より前段の多重回路42により処理される。また、時間的に後に最終ラインのデータが入力される系統のビデオデータは、より後段の多重回路42により処理される。これにより、以上のような、ビデオフレームの各ラインを下詰めで挿入することが可能になる。
さらに、オーディオデータは、ビデオデータを処理する多重回路42より後段の多重回路42によって処理される。これにより、以上のような、入力用の多重ビデオフレームの下の方に設定されたオーディオ領域A12にオーディオデータを挿入することが可能になる。
多重フレーム配置情報に含まれる各情報は、最終段の多重回路42に供給され、最終段の多重回路42によりまとめて多重ビデオフレームに挿入される。これにより、入力用の多重ビデオフレームのオーディオ領域A12の下に設定された領域A13に多重フレーム配置情報を挿入することが可能になる。
図1に示す多重回路42−1乃至42−4を1つの回路として統合するようにしてもよい。統合した1つの回路において全てのデータの多重化が行われるようにすることによって、図1に示すように直列に接続された複数の多重回路42のうちのどの多重回路42においてどの系統のデータが処理されるようにするかを考慮する必要が無くなる。
[出力用の多重ビデオフレームを用いた多重化について]
次に、出力用の多重ビデオフレームを用いた多重化について説明する。
次に、出力用の多重ビデオフレームを用いた多重化について説明する。
出力用の多重ビデオフレームには、入力用の多重ビデオフレームから抽出され、各種の処理が施された各系統のデータが多重化される。すなわち、出力用の多重ビデオフレームを用いたデータ(処理後のデータ)の多重化は、プロセッサ43により行われる。
プロセッサ43においては、入力用の多重ビデオフレームを用いた多重化とは異なり、各系統のデータが、上詰めで挿入される。
図25は、出力用の多重ビデオフレームの領域構成の例を示す図である。
図25に示すように、出力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図25の例においては、有効画枠内の1ライン目からm11ライン目までの領域が、多重フレーム配置情報用の領域A21として設定されている。また、有効画枠内のm11+1ライン目から、m12ライン目までの領域が、オーディオ用の領域であるオーディオ領域A22として設定されている。有効画枠内のm12+1ライン目から、最終ラインであるnライン目までの領域が、ビデオ用の領域であるビデオ領域A23として設定されている。
このように、出力用の多重ビデオフレームには、その上側にオーディオ領域A22が設定され、オーディオ領域A22の下にビデオ領域A23が設定される。
図26は、プロセッサ43による多重化後の出力用の多重ビデオフレームの例を示す図である。
入力用の多重ビデオフレームが入力された場合、プロセッサ43においては、ビデオ#0乃至#3のフレームのデータと、オーディオ#0乃至#3のオーディオデータが抽出され、適宜、処理が施される。出力用の多重ビデオフレームには、処理が適宜施された後の、ビデオ#0乃至#3のフレームのデータと、オーディオ#0乃至#3のオーディオデータが挿入される。
図26に示すように、多重フレーム配置情報は、出力用の多重ビデオフレームの領域A21に挿入される。
また、出力用の多重ビデオフレームのオーディオ領域A22には、オーディオ#0乃至#3のオーディオデータが、各ラインの左側を先頭にして詰めて挿入される。
図26の例においては、オーディオ領域A22の開始位置であるm11+1ライン目とm11+2ライン目がオーディオ#0のオーディオデータに割り当てられている。m11+1ライン目とm11+2ライン目には、m11+1ライン目の全体と、m11+2ライン目の途中までに渡って、オーディオ#0のオーディオデータが挿入される。
また、図26の例においては、m11+3ライン目とm11+4ライン目がオーディオ#1のオーディオデータに割り当てられている。m11+3ライン目とm11+4ライン目には、m11+3ライン目の全体と、m11+4ライン目の途中までに渡って、オーディオ#1のオーディオデータが挿入される。
m11+5ライン目とm11+6ライン目がオーディオ#2のオーディオデータに割り当てられている。m11+5ライン目とm11+6ライン目には、m11+5ライン目の全体と、m11+6ライン目の途中までに渡って、オーディオ#2のオーディオデータが挿入される。
m11+7ライン目とm11+8ライン目(m12ライン目)がオーディオ#3のオーディオデータに割り当てられている。m11+7ライン目とm11+8ライン目には、m11+7ライン目の全体と、m11+8ライン目の途中までに渡って、オーディオ#3のオーディオデータが挿入される。
例えば、オーディオ領域A22のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図26の例においてもそのようにしてオーディオ領域A22のライン数が設定されている。
また、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、出力用の多重ビデオフレームのビデオ領域A23内に、Ancillary Dataに続けて上詰めで貼り付けられる。
図26の例においては、ビデオ#0のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に720画素の範囲である。また、垂直方向の範囲は、ビデオ領域A23に挿入されたAncillary Dataの最終ラインの次のラインから下に243×2ラインの範囲である。図26には、ビデオ#0のフレームのラインとして4ラインしか示していないが、1フィールドのライン数である243ラインが、1ライン毎に、1ラインずつ空けて挿入される。
また、ビデオ#1のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域A23に挿入されたAncillary Dataの最終ラインの次のラインから下に720×2ラインの範囲である。図26には、ビデオ#1のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#0のフレームのラインと重ならないように挿入される。
ビデオ#2のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域A23に挿入されたAncillary Dataの最終ラインの次のラインから下に720×2ラインの範囲である。図26には、ビデオ#2のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて挿入される。
ビデオ#3のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域A23に挿入されたAncillary Dataの最終ラインの次のラインから下に540×2ラインの範囲である。図26には、ビデオ#3のフレームのラインとして7ラインしか示していないが、1フィールドのライン数である540ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#2のフレームのラインと重ならないように挿入される。
この例においては、出力用の多重ビデオフレームの有効画枠の水平方向の画素数も3200画素とされている。入力用の多重ビデオフレームのサイズと出力用の多重ビデオフレームのサイズが異なるようにすることも可能である。
このように、出力用の多重ビデオフレーム全体を見た場合、各系統のデータは、上詰めで挿入されることになる。
これにより、出力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ43から出力する場合であっても出力遅延を抑えることが可能になる。出力遅延は、処理後のデータがプロセッサ43から出力された時刻と、処理後のデータが情報処理装置1の外部に出力された時刻との差で表される。
図27は、上詰めのメリットについて説明する図である。図27の横軸は時間を表す。
図27の多重ビデオフレームF2は、プロセッサ43から出力された出力用の多重ビデオフレームを表す。同期信号sync-3は、プロセッサ43が出力する同期信号であり、多重ビデオフレームF2の1フレーム期間を規定する。時刻t1から時刻t2までの期間において、多重ビデオフレームF2がプロセッサ43から出力されている。
各ラインに斜線を付して示すビデオ#0乃至#3のフレームのデータは、多重ビデオフレームF2から抽出され、ビデオ送信回路53から情報処理装置1の外部に出力されるデータ(出力ビデオ信号)を表す。また、太線で示すオーディオ#0のオーディオサンプルのデータは、多重ビデオフレームF2から抽出され、オーディオ送信回路63から情報処理装置1の外部に出力されるデータ(出力オーディオ信号)を表す。
例えば、同じ出力用の多重ビデオフレームに多重化されていたデータは、タイミング発生回路44から出力された同期信号に従って、同じタイミングで、情報処理装置1の外部に出力される。
図27の同期信号sync-4は、タイミング発生回路44により生成され、各ビデオ送信回路53、各オーディオ送信回路63に供給される同期信号である。時刻t11から時刻t12までの期間において、多重ビデオフレームF2から抽出された各系統のデータが情報処理装置1の外部に出力されている。
各ビデオ送信回路53においては、出力対象のフレームのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。
また、各オーディオ送信回路63においては、出力対象のオーディオサンプルのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。
同じ出力用の多重ビデオフレームに多重化されていたデータについては同じタイミングで出力する場合、各ビデオ送信回路53、各オーディオ送信回路63がデータを出力するには、同じ出力用の多重ビデオフレームから抽出された出力対象となるデータを、全てのビデオ送信回路53とオーディオ送信回路63が受信している必要がある。
プロセッサ43から出力用の多重ビデオフレームが出力される時刻と、データを外部に出力する時刻には、出力対象のデータのうちの、先頭のデータが各ビデオ送信回路52と各オーディオ送信回路63に入力される時刻に応じて差が生じる。ここでは、抽出回路45におけるデータの抽出や、フレームメモリ52やメモリ62にデータを一時的に記憶するのにかかる時間を無視するものとする。
同期信号sync-3と同期信号sync-4のタイミング(1の値の時刻)が近いことは、プロセッサ43から出力用の多重ビデオフレームが出力された時刻と、各系統のデータが外部に出力される時刻の差が小さいことを表す。すなわち、同期信号sync-3と同期信号sync-4のタイミングが近いことは、出力遅延が抑えられていることを表す。
このことを前提として、出力用の多重ビデオフレームに上詰めでデータを挿入した場合について説明する。
多重フレーム配置情報は、各系列のビデオデータ、オーディオデータの抽出に用いられる情報を含む情報である。従って、多重フレーム配置情報が多重ビデオフレームから抽出されていなければ、各系列のビデオデータ、オーディオデータを抽出することはできない。出力遅延を抑えるという点からは、多重フレーム配置情報の挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。
オーディオデータについては、仮に、多重ビデオフレームF2の下の方に設定された領域内にオーディオデータを挿入するとした場合、オーディオ#0のオーディオデータの出力の開始時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。
イメージとしては、オーディオ#0の出力タイミングが、図27に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ#0乃至#3の出力タイミングも、図27に示す位置より右側の位置になってしまう。
従って、出力遅延を抑えるという点からは、オーディオ#0のオーディオデータの挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。
また、各ビデオのフレームがライン毎にインタリーブされて下詰めで出力用の多重ビデオフレームに挿入されている場合を考える。この場合、ビデオ#0のフレームの先頭ラインのデータの出力時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。特に、ビデオ#0のフレーム全体のライン数が少ないほど、後の時刻になってしまう。
イメージとしては、ビデオ#0の出力タイミングが、図27に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ#1乃至#3の出力タイミングと、オーディオ#0の出力タイミングも、図27に示す位置より右側の位置になってしまう。
従って、出力遅延を抑えるという点からは、ビデオ#0のフレームの先頭ラインのデータの挿入位置は、多重ビデオフレームF2のビデオ領域A23内であって、より上の方の位置であることが好ましい。ビデオ#1乃至3についても同様である。
以上のことから、出力用の多重ビデオフレーム全体としてデータが上詰めで配置されるように、各オーディオのオーディオデータについては出力用の多重ビデオフレームの上の方に設定されたオーディオ領域A22に挿入し、各ビデオのビデオデータについてはフレームをライン毎にインタリーブして、オーディオ領域A22の下に設定されたビデオ領域A23に上詰めで挿入することによって、出力遅延を抑えることが可能になることがわかる。
図27の例においては、出力遅延は、多重ビデオフレームF2のプロセッサ43からの出力の開始時刻である時刻t1と、外部へのデータの出力の開始時刻である時刻t11との差である数ラインに相当する時間に抑えられている。
[その他の変形例]
以上においては、1入力1出力のビデオポートがプロセッサ43に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ43に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ43から出力されるようにすることが可能である。
以上においては、1入力1出力のビデオポートがプロセッサ43に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ43に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ43から出力されるようにすることが可能である。
また、情報処理装置1に入力するビデオデータ、オーディオデータとして、圧縮したビットストリームを用いるようにしてもよい。さらに、ビデオデータ、オーディオデータに限らず、特殊なサイズのデータを多重ビデオ信号を用いて伝送し、プロセッサ43に入力またはプロセッサ43から出力するようにしてもよい。例えば、プラナー(色別)伝送や多色(6色、8色など)伝送も可能になる。
以上においては、主に、入力ビデオデータ、多重ビデオフレームがフレーム単位で処理されるものとしたが、フィールド単位で処理されるようにしてもよい。上述した“フレーム”は、すべて“フィールド”と言い換えることが可能である。
[コンピュータの構成例]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図28は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウスなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207が接続される。また、入出力インタフェース205には、ハードディスクや不揮発性のメモリなどよりなる記憶部208、ネットワークインタフェースなどよりなる通信部209、リムーバブルメディア211を駆動するドライブ210が接続される。
以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを入出力インタフェース205及びバス204を介してRAM203にロードして実行することにより、上述した一連の処理が行われる。
CPU201が実行するプログラムは、例えばリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部208にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 情報処理装置, 21−1および21−2 ビデオ受信回路, 22−1および22−2 フレームシンクロナイザ, 23−1および23−2 フレームメモリ, 31−1および31−2 オーディオ受信回路, 32−1および32−2 メモリ制御回路, 33−1および33−2 メモリ, 41 多重ビデオ信号発生回路, 42−1乃至42−4 多重回路, 43 プロセッサ, 44 タイミング発生回路, 45−1乃至45−4 抽出回路, 51−1および51−2 フレームシンクロナイザ, 52−1および52−2 フレームメモリ, 53−1および53−2 ビデオ送信回路, 61−1および61−2 メモリ制御回路, 62−1および62−2 メモリ, 63−1および63−2 オーディオ送信回路
Claims (9)
- 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第1の情報を前記多重ビデオフレームに挿入する生成手段と、
入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第2の情報と、前記ビデオデータのフォーマットに関する情報である第3の情報とを、多重化後の前記多重ビデオフレームに挿入する第1の多重化手段と、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第1乃至第3の情報に基づいて抽出し、抽出したデータに処理を施す処理手段と
を備える情報処理装置。 - 入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、
前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報である第4の情報と、前記分割後のオーディオデータの配置位置に関する情報である第5の情報と、前記オーディオデータのフォーマットに関する情報である第6の情報とを、前記多重ビデオフレームに挿入する第2の多重化手段と
をさらに備え、
前記処理手段は、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータを、前記第1、第4乃至第6の情報に基づいて抽出し、抽出したデータに処理を施す
請求項1に記載の情報処理装置。 - 前記第1の多重化手段は、複数のフォーマットの前記ビデオデータの各フォーマットの1フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第1のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化する
請求項2に記載の情報処理装置。 - 前記第2の多重化手段は、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第1のビデオ用の領域の下方に設定された第1のオーディオ用の領域のデータとして伝送されるように多重化する
請求項3に記載の情報処理装置。 - 前記処理手段は、
処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第2のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化し、
処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第2のビデオ用の領域の上方に設定された第2のオーディオ用の領域のデータとして伝送されるように多重化し、
処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力する
請求項4に記載の情報処理装置。 - 前記処理手段から出力された前記多重ビデオフレームから、各フォーマットの前記フレームのデータを前記第1乃至第3の情報に基づいて抽出する第1の抽出手段と、
抽出された各フォーマットの前記フレームのデータを、前記第3の情報に基づいてフォーマットに応じた処理を施した後に外部に出力する第1の送信手段と
をさらに備える請求項5に記載の情報処理装置。 - 前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータを前記第1、第4乃至第6の情報に基づいて抽出する第2の抽出手段と、
抽出された前記分割後のオーディオデータに対して、前記第6の情報に基づいてフォーマットに応じた処理を施し、処理を施した後の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する第2の送信手段と
をさらに備える請求項6に記載の情報処理装置。 - 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第1の情報を前記多重ビデオフレームに挿入し、
入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第2の情報と、前記ビデオデータのフォーマットに関する情報である第3の情報とを、多重化後の前記多重ビデオフレームに挿入し、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第1乃至第3の情報に基づいて抽出し、抽出したデータに処理を施す
ステップを含む情報処理方法。 - 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第1の情報を前記多重ビデオフレームに挿入し、
入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第2の情報と、前記ビデオデータのフォーマットに関する情報である第3の情報とを、多重化後の前記多重ビデオフレームに挿入し、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第1乃至第3の情報に基づいて抽出し、抽出したデータに処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010006137A JP2011146929A (ja) | 2010-01-14 | 2010-01-14 | 情報処理装置、情報処理方法、およびプログラム |
US12/986,297 US8503490B2 (en) | 2010-01-14 | 2011-01-07 | Information processing apparatus, information processing method, and program |
CN2011100061162A CN102131105A (zh) | 2010-01-14 | 2011-01-07 | 信息处理设备、信息处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010006137A JP2011146929A (ja) | 2010-01-14 | 2010-01-14 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011146929A true JP2011146929A (ja) | 2011-07-28 |
Family
ID=44461391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010006137A Withdrawn JP2011146929A (ja) | 2010-01-14 | 2010-01-14 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011146929A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015144432A1 (en) * | 2014-03-26 | 2015-10-01 | Koninklijke Philips N.V. | A transmitter, receiver, system and signal for transmitting auxiliary data frame synchronously across an hdmi interface |
-
2010
- 2010-01-14 JP JP2010006137A patent/JP2011146929A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015144432A1 (en) * | 2014-03-26 | 2015-10-01 | Koninklijke Philips N.V. | A transmitter, receiver, system and signal for transmitting auxiliary data frame synchronously across an hdmi interface |
CN106464831A (zh) * | 2014-03-26 | 2017-02-22 | 皇家飞利浦有限公司 | 用于通过hdmi接口同步地传输辅助数据帧的发射机、接收机、系统和信号 |
US9877068B2 (en) | 2014-03-26 | 2018-01-23 | Koninklijke Philips N.V. | Transmitter, receiver, system and signal for transmitting auxiliary data frame synchronously across an HDMI interface |
EP3123712B1 (en) | 2014-03-26 | 2018-05-16 | Koninklijke Philips N.V. | A transmitter, receiver, system and signal for transmitting auxiliary data frame synchronously across an hdmi interface |
CN106464831B (zh) * | 2014-03-26 | 2020-08-11 | 皇家飞利浦有限公司 | 用于同步传输辅助数据帧的发射机、接收机、系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8503490B2 (en) | Information processing apparatus, information processing method, and program | |
JP4991129B2 (ja) | 映像音声再生装置および映像音声再生方法 | |
JP4623069B2 (ja) | 情報処理装置および方法、プログラム、並びに、記録媒体 | |
US8760579B2 (en) | Video display apparatus, video display system and video display method | |
JP4646446B2 (ja) | 映像信号処理装置 | |
JP2009296383A (ja) | 信号送信装置、信号送信方法、信号受信装置及び信号受信方法 | |
CN111479154B (zh) | 音画同步的实现设备、方法及计算机可读存储介质 | |
US10699666B2 (en) | Display device and image signal processing method of the same | |
JP2014146924A (ja) | ソース機器、シンク機器、通信システムおよび画像送信方法 | |
KR20050046821A (ko) | 신호 송신 장치 및 신호 수신 장치 | |
US8755410B2 (en) | Information processing apparatus, information processing method, and program | |
US8238446B2 (en) | Method and apparatus for reproducing digital broadcasting | |
JP2011146930A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2011146929A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101856177B1 (ko) | 다중 신호 처리 시스템 | |
US7321403B2 (en) | Video signal transmitting/receiving system | |
JP2011146928A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR100531780B1 (ko) | 선택 디코딩 및 다중 디스플레이를 위한 디지털 티브이 수신시스템 및 방법 | |
JP5187134B2 (ja) | 信号処理装置及び信号処理方法 | |
JP2011146927A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6468739B2 (ja) | 映像音声信号送信装置及び方法 | |
WO2022137326A1 (ja) | 映像音響合成装置、方法及びプログラム | |
KR100458447B1 (ko) | 방송용 그래픽 시스템 | |
KR100577195B1 (ko) | 다중 화면 발생 방법 | |
KR20020015862A (ko) | 비디오 포맷 변환장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130402 |