JP2006211382A - 映像・音声多重化装置及び映像・音声分離装置 - Google Patents

Abstract

【課題】 制御信号と、映像信号と音声信号を自由度があるフォーマット位置に多重化する。
【解決手段】 ＣＰＵ１１０は、伝送しようとする制御信号、映像信号及び音声信号の送信順、送信量に応じて映像信号と、音声信号と制御信号の２次元フォーマット上の配置位置を決定し、映像・音声・制御信号合成部１１５は映像信号、音声信号及び制御信号の各先頭にヘッダとしてそれぞれ信号種別を示す特殊符号を付加して２次元フォーマット上の配置位置に多重化する。
【選択図】 図１

Description

本発明は、映像信号と音声信号を所定の２次元フォーマット上に多重化して伝送する映像・音声多重化装置に関する。
本発明はまた、所定の２次元フォーマット上に多重化された映像信号と音声信号を分離する映像・音声分離装置に関する。

デジタルＨＤ（High-Definition）映像信号とデジタル音声信号を光ファイバで伝送する従来例としては下記の特許文献１などに開示されているものがある。また、デジタルＨＤ映像信号とデジタル音声信号を光無線で伝送する従来例としては、下記の特許文献２などに開示されているものがある。また、デジタルＨＤ映像信号とデジタル音声信号を多重化するフォーマットとしては、ＨＤＭＩ（High-Definition Multimedia Interface）規格がある。図１４はＨＤＭＩ規格の１フィールド分のフォーマット４６を示し、１フィールド分の音声信号は有効映像信号エリア４７を除く先頭ライン側のブランキング期間４８に配置されている。そして、このフォーマットを送信する場合には、図１４中の左上の垂直同期信号から右側に向かって順次シリアルで先頭ラインが送信され、次いで次のラインの先頭の水平同期信号から右側に向かって順次シリアルで送信されて最終ラインまでの１フィールド分が送信される。
特開２０００−２０９６２２号公報（要約書） 特開２００３−２３０１３５号公報（要約書）

しかしながら、上記のＨＤＭＩ規格のフォーマットでは、ブランキング期間４８に音声信号を重畳しているものの、無駄が多いという問題点がある。そこで、図１５に示すようなフォーマットが考えられる。図１５は１フレーム分又は１フィールド分の２次元の多重化フォーマットを示し、各ラインの先頭側には同期信号（垂直同期信号、水平同期信号）を示す各特殊符号が配置される。また、同期信号に続いて先頭ライン側に映像信号と音声信号のフォーマットなど、受信側が映像信号と音声信号を復元するための情報である制御信号が配置され、制御信号のラインより後の各ラインの前半側と後半側にそれぞれ映像信号と音声信号が配置される。

しかしながら、図１５に示す多重化フォーマットでは、制御信号と、映像信号と音声信号が一義的に所定の位置、所定の順番、所定の量で配置されるので、ある信号（例えば制御信号としてのシステム情報など）を先に伝送したい場合などに対応することができず、自由度がないという問題点がある。また、例えば音声信号の伝送量は、２ｃｈ、３ｃｈ、５．１ｃｈなどに応じて異なる。

本発明は上記の問題点に鑑み、制御信号と、映像信号と音声信号を自由度があるフォーマット位置に多重化することができる映像・音声多重化装置を提供することを目的とする。
本発明はまた、自由度があるフォーマット位置に多重化された制御信号と、映像信号と音声信号を分離することができる映像・音声分離装置を提供することを目的とする。

本発明の映像・音声多重化装置は上記目的を達成するために、
映像信号と音声信号とを所定の２次元フォーマット上に多重化して伝送する映像・音声多重化装置において、
前記映像信号と、前記音声信号と、前記映像信号及び前記音声信号を受信側で復元するための制御信号の送信順及び／又は送信量に応じて、前記映像信号と、前記音声信号と前記制御信号の前記２次元フォーマット上の配置位置を決定する配置位置決定手段と、
前記映像信号と、前記音声信号と前記制御信号の各先頭にヘッダとしてそれぞれ信号種別を示す特殊符号を付加して前記配置位置決定手段により決定された前記２次元フォーマット上の配置位置に多重化する多重化手段とを有する。
また、前記多重化手段は、前記ヘッダとして前記特殊符号に加えて当該信号の終了位置情報を付加することを特徴とする。

本発明の映像・音声分離装置はまた、上記目的を達成するために、
請求項１又は２に記載の映像・音声多重化装置により前記所定の２次元フォーマット上に多重化された映像信号と音声信号を分離する映像・音声分離装置であって、
前記ヘッダを検出するヘッダ検出手段と、
前記ヘッダ検出手段により検出されたヘッダに基づいて前記映像信号と、前記音声信号と前記制御信号を分離する分離手段と、
前記分離された制御信号に基づいて前記映像信号と前記音声信号を復元する手段とを有する。

本発明の映像・音声多重化装置によれば、制御信号と、映像信号と音声信号の送信順及び／又は送信量に応じて２次元フォーマット上の配置位置を決定し、各信号の先頭にヘッダとしてそれぞれ信号種別を示す特殊符号を付加して多重化するので、制御信号と、映像信号と音声信号を自由度があるフォーマット位置に多重化することができる。
また、本発明の映像・音声分離装置によれば、信号種別を示す特殊符号を検出して映像信号と、音声信号と制御信号を分離するので、自由度があるフォーマット位置に多重化された制御信号と、映像信号と音声信号を分離することができる。

以下、図面を参照して本発明の実施の形態について説明する。
＜第１の実施の形態＞
図１は本発明の第１の実施の形態に係る伝送フレームのフォーマットを示す説明図、図２は図１の信号種別ヘッダを詳しく示す説明図、図３は本発明に係る映像・音声多重化装置の第１の実施の形態を示すブロック図である。

図１は本発明の第１の実施の形態に係る１枚分（１フレーム又は１フィールド）の伝送フォーマットを示し、水平（Ｈ）方向が複数ワード、垂直（Ｖ）方向が複数ラインの２次元のフレーム又はフィールド（以下、伝送フレーム）で構成されている。この伝送フレームの各ラインの先頭には同期信号領域が設けられ、先頭ラインの同期信号領域には垂直同期信号Ｖsyncを示す特殊符号が配置され、２ライン目以降の同期信号領域には水平同期信号Ｈsyncを示す特殊符号（以下、水平同期符号）が配置される。そして、この伝送フレームの同期信号領域を除く２次元領域には、映像信号、音声信号のフォーマットなどを示す制御信号と、音声信号と映像信号が送信順及び／又は送信量に応じて任意の位置、任意の順番、任意の量で、かつ前詰めで配置される。

また、各信号の先頭には信号種別を示すヘッダが配置される。１枚の伝送フレーム上の最初の制御信号ヘッダとして特殊符号「Ａ」が用いられ（以下、制御信号ヘッダＡとも言う）、最初の音声信号ヘッダとして特殊符号「Ｂ」が用いられ（以下、音声信号ヘッダＢとも言う）、最初の映像信号ヘッダとして特殊符号「Ｃ」が用いられる（以下、映像信号ヘッダＣとも言う）。また、１枚の伝送フレーム上の２番目の制御信号ヘッダとして特殊符号「Ｄ」が用いられ（以下、制御信号ヘッダＤとも言う）、２番目の音声信号ヘッダとして特殊符号「Ｅ」が用いられ（以下、音声信号ヘッダＥとも言う）、２番目の映像信号ヘッダとして特殊符号「Ｆ」が用いられる（以下、映像信号ヘッダＦとも言う）。特殊符号としては、ＩＥＥＥ８０２．３規格のＫキャラクタやコンマキャラクタなどのユニークな符号が使用される。

図１に示す例では、同期信号領域を除く２次元領域に、最初の制御信号ヘッダＡ、制御信号ＣＴＬ１、音声信号ヘッダＢ、音声信号Ａ１、映像信号ヘッダＣ、映像信号Ｖ１がこの順番で、かつ前詰めで配置され、その後にさらに、２番目の音声信号ヘッダＥ、音声信号Ａ２、制御信号ヘッダＤ、制御信号ＣＴＬ２、映像信号ヘッダＦ、映像信号Ｖ２がこの順番で、かつ前詰めで配置されている。

なお、最初の制御信号ＣＴＬ１、音声信号Ａ１、映像信号Ｖ１は、１枚目の映像フレーム又はフィールドの前半のものであって、２番目の音声信号Ａ２、制御信号ＣＴＬ２、映像信号Ｖ２は１枚目の映像フレーム又はフィールドの後半のものでもよく、また、最初の制御信号ＣＴＬ１、音声信号Ａ１、映像信号Ｖ１は、１枚目の映像フレーム又はフィールド全体のものであって、２番目の音声信号Ａ２、制御信号ＣＴＬ２、映像信号Ｖ２は２枚目の映像フレーム又はフィールド全体のものでもよい。また、２番目の映像フレーム又はフィールドの映像信号Ｖ２などがこの伝送フレームに納まらない場合には、残りは次の伝送フレームの先頭から配置される。

図３は送信側である映像・音声多重化装置１００を示し、映像・音声多重化装置１００はＣＰＵ１１０、制御信号生成部１１２、特殊符号付加制御部１１３、伝送タイミング発生部１１４及び映像・音声・制御信号合成部１１５を含む。伝送タイミング発生部１１４は伝送ワード単位に垂直同期信号Ｖsync、水平同期信号Ｈsyncを監視し、図４（ａ）に示すように水平同期信号Ｈsyncであれば水平（Ｈ）カウンタ（Ｈ_counter）をリセットし（ステップＳ１→ステップＳ２）、水平同期信号ＨsyncでなければＨカウンタをインクリメントする（ステップＳ１→ステップＳ３）。また、図４（ｂ）に示すように垂直同期信号Ｖsyncであれば垂直（Ｖ）カウンタ（Ｖ_counter）とＨカウンタをリセットし（ステップＳ４→ステップＳ５）、水平同期信号ＨsyncであればＶカウンタをインクリメントする（ステップＳ４→ステップＳ６→ステップＳ７）。

そして、ＣＰＵ１１０は、伝送しようとする制御信号、映像信号及び音声信号の送信順、送信量に応じて映像信号と、音声信号と制御信号の２次元フォーマット上の配置位置を決定し、Ｈカウンタ、Ｖカウンタの値に応じて制御信号生成部１１２、特殊符号付加制御部１１３、伝送タイミング発生部１１４に対して出力指示を送信する。制御信号生成部１１２は制御信号を生成して映像・音声・制御信号合成部１１５に出力し、特殊符号付加制御部１１３は垂直同期信号Ｖsync、水平同期信号Ｈsync、ヘッダをそれぞれ示す各特殊符号を映像・音声・制御信号合成部１１５に出力し、伝送タイミング発生部１１４は伝送タイミング信号を発生して映像・音声・制御信号合成部１１５に出力する。そして、映像・音声・制御信号合成部１１５は図１に示すフォーマットに合成する。

図５を参照して映像・音声多重化装置１００の処理を詳しく説明する。まず、
Ｈカウンタ＝０かつＶカウンタ＝０
であれば垂直同期信号Ｖsyncを示す特殊符号を伝送し（ステップＳ１１→ステップＳ１２）、また、
Ｈカウンタ＝０かつＶカウンタ＝０ではなく、かつ
Ｈカウンタ＝０
であれば水平同期信号Ｈsyncを示す特殊符号を伝送する（ステップＳ１１→ステップＳ１３→ステップＳ１４）。

また、Ｈカウンタ＝０でない場合で（ステップＳ１３でＮ）、
＊１：Ｖカウンタ＝ヘッダＡの垂直方向の位置、かつ
Ｈカウンタ＝ヘッダＡの水平方向の位置
であれば（ステップＳ１５）、ヘッダＡを伝送し（ステップＳ１６）、
＊２：Ｖカウンタ＝ヘッダＢの垂直方向の位置、かつ
Ｈカウンタ＝ヘッダＢの水平方向の位置
であれば（ステップＳ１７）、ヘッダＢを伝送し（ステップＳ１８）、
＊３：Ｖカウンタ＝ヘッダＣの垂直方向の位置、かつ
Ｈカウンタ＝ヘッダＣの水平方向の位置
であれば（ステップＳ１９）、ヘッダＣを伝送し（ステップＳ２０）、
＊４：Ｖカウンタ＝ヘッダＤの垂直方向の位置、かつ
Ｈカウンタ＝ヘッダＤの水平方向の位置
であれば（ステップＳ２１）、ヘッダＤを伝送し（ステップＳ２２）、
＊５：Ｖカウンタ＝ヘッダＥの垂直方向の位置、かつ
Ｈカウンタ＝ヘッダＥの水平方向の位置
であれば（ステップＳ２３）、ヘッダＥを伝送し（ステップＳ２４）、
＊６：Ｖカウンタ＝ヘッダＦの垂直方向の位置、かつ
Ｈカウンタ＝ヘッダＦの水平方向の位置
であれば（ステップＳ２５）、ヘッダＦを伝送する（ステップＳ２６）。

さらに、
＊７：ヘッダＢの垂直方向の位置≧Ｖカウンタ≧ヘッダＡの垂直方向の位置、かつ
ヘッダＢの水平方向の位置＞Ｈカウンタ＞ヘッダＡの水平方向の位置
であれば（ステップＳ２７）、制御信号ＣＴＬ１を伝送し（ステップＳ２８）、
＊８：ヘッダＣの垂直方向の位置≧Ｖカウンタ≧ヘッダＢの垂直方向の位置、かつ
ヘッダＣの水平方向の位置＞Ｈカウンタ＞ヘッダＢの水平方向の位置
であれば（ステップＳ２９）、音声信号Ａ１を伝送し（ステップＳ３０）、
＊９：ヘッダＤの垂直方向の位置≧Ｖカウンタ≧ヘッダＣの垂直方向の位置、かつ
ヘッダＤの水平方向の位置＞Ｈカウンタ＞ヘッダＣの水平方向の位置
であれば（ステップＳ３１）、映像信号Ｖ１を伝送し（ステップＳ３２）、
＊１０：ヘッダＥの垂直方向の位置≧Ｖカウンタ≧ヘッダＤの垂直方向の位置、かつ
ヘッダＥの水平方向の位置＞Ｈカウンタ＞ヘッダＤの水平方向の位置
であれば（ステップＳ３３）、制御信号ＣＴＬ２を伝送し（ステップＳ３４）、
＊１１：ヘッダＦの垂直方向の位置≧Ｖカウンタ≧ヘッダＥの垂直方向の位置、かつ
ヘッダＦの水平方向の位置＞Ｈカウンタ＞ヘッダＥの水平方向の位置
であれば（ステップＳ３５）、音声信号Ａ２を伝送し（ステップＳ３６）、
＊１２：垂直方向最終ライン≧Ｖカウンタ≧ヘッダＦの垂直方向の位置
水平方向最終ワード≧Ｈカウンタ＞ヘッダＦの水平方向の位置
であれば（ステップＳ３７）、映像信号Ｖ２を伝送する（ステップＳ３８）。

図６は受信側である映像・音声分離装置２００を示し、映像・音声分離装置２００はＣＰＵ２１０と、特殊符号監視制御部２１１と、位置情報保持部２１２と、受信タイミング発生部２１３と映像・音声・制御信号分離部２１４を含む。特殊符号監視制御部２１１は伝送フォーマット上の特殊符号を監視して検出し、位置情報保持部２１２は特殊符号監視制御部２１１により検出された特殊符号と各信号の位置情報を保持する。受信タイミング発生部２１３は位置情報保持部２１２により保持された特殊符号の位置情報に応じて各信号のフラグをセット／リセットし、映像・音声・制御信号分離部２１４は受信タイミング発生部２１３による各信号のフラグの状態に応じて各信号を分離する。

図７は特殊符号監視制御部２１１、位置情報保持部２１２、受信タイミング発生部２１３の処理を示す。図７において特殊符号監視制御部２１１が伝送信号を監視して、
＊１：垂直同期信号Ｖsyncを示す特殊符号を認識すると（ステップＳ４１）、垂直方向と水平方向のカウンタ（Ｖ，Ｈカウンタ）をリセットし（ステップＳ４２）、また、
＊２：水平同期信号Ｈsyncを示す特殊符号を認識すると（ステップＳ４３）、水平方向のカウンタ（Ｈカウンタ）をリセットする（ステップＳ４４）。また、
＊３：制御信号ヘッダＡ又はＤを認識すると（ステップＳ４５）、伝送フォーマット上のデータが制御信号であることを示すフラグ（制御信号フラグＦctl）をＨにセットし（Ｓ４６）、また、
＊４：制御信号ヘッダＡ、Ｄ以外を認識すると（ステップＳ４７）、制御信号フラグＦctlをＬにリセットする（ステップＳ４８）。同様に、
＊５：音声信号ヘッダＢ又はＥを認識すると（ステップＳ４９）、伝送フォーマット上のデータが音声信号であることを示すフラグ（音声信号フラグＦa）をＨにセットし（ステップＳ５０）、また、
＊６：音声信号ヘッダＢ、Ｅ以外を認識すると（ステップＳ５１）、音声信号フラグＦaをＬにリセットする（ステップＳ５２）。同様に、
＊７：映像信号ヘッダＣ又はＦを認識すると（ステップＳ５３）、伝送フォーマット上のデータが映像信号であることを示すフラグ（映像信号フラグＦv）をＨにセットし（ステップＳ５４）、また、
＊８：映像信号ヘッダＣ、Ｆ以外を認識すると（ステップＳ５５）、映像信号フラグＦvをＬにリセットする（ステップＳ５６）。

図８は映像・音声・制御信号分離部２１４の処理を示す。図８において、ＨカウンタとＶカウンタが共に０でなく（ステップＳ６１でＮ）、かつＨカウンタが０でない場合（ステップＳ６２でＮ）、制御信号フラグＦctlがＨであれば伝送信号を制御信号として分離し（ステップＳ６３→ステップＳ６４）、音声信号フラグＦaがＨであれば伝送信号を音声信号として分離し（ステップＳ６５→ステップＳ６６）、映像信号フラグＦvがＨであれば伝送信号として映像信号を分離する（ステップＳ６７→ステップＳ６８）。

＜第２の実施の形態＞
図９、図１０はそれぞれ第２の実施の形態の信号種別ヘッダ、伝送フォーマットを示す。図９に示すように第２の実施の形態のヘッダとして信号種別に用いられる特殊符号は１種類であり、また、制御信号ヘッダとして特殊符号「Ａ」と制御信号終了位置情報が用いられ、音声信号ヘッダとして特殊符号「Ｂ」及び音声信号終了位置情報が用いられ、映像信号ヘッダとして特殊符号「Ｃ」及び映像信号終了位置情報が用いられる。

図１０に示す例では、同期信号領域を除く２次元領域に、最初の制御信号ヘッダ（特殊符号Ａ＋制御信号ＣＴＬ１の終了位置情報）、制御信号ＣＴＬ１、音声信号ヘッダ（特殊符号Ｂ＋音声信号Ａ１の終了位置情報）、音声信号Ａ１、映像信号ヘッダ（特殊符号Ｃ＋映像信号Ｖ１の終了位置情報）、映像信号Ｖ１がこの順番で、かつ前詰めで配置され、その後にさらに、２番目の制御信号ヘッダ（特殊符号Ａ＋制御信号ＣＴＬ２の終了位置情報）、制御信号ＣＴＬ２、音声信号ヘッダ（特殊符号Ｂ＋音声信号Ａ２の終了位置情報）、音声信号Ａ２、映像信号ヘッダ（特殊符号Ｃ＋映像信号Ｖ２の終了位置情報）、映像信号Ｖ２がこの順番で、かつ前詰めで配置されている。最初の制御信号ＣＴＬ１、音声信号Ａ１、映像信号Ｖ１は、１枚目の映像フレーム又はフィールドの前半のものであって、２番目の制御信号ＣＴＬ２、音声信号Ａ２、映像信号Ｖ２は１枚目の映像フレーム又はフィールドの後半のものでもよく、また、最初の制御信号ＣＴＬ１、音声信号Ａ１、映像信号Ｖ１は、１枚目の映像フレーム又はフィールド全体のものであって、２番目の制御信号ＣＴＬ２、音声信号Ａ２、映像信号Ｖ２は２枚目の映像フレーム又はフィールド全体のものでもよい。また、２番目の映像フレーム又はフィールドの映像信号Ｖ２などがこの伝送フレームに納まらない場合には、残りは次の伝送フレームの先頭から配置される。

第２の実施の形態の映像・音声多重化装置の構成は、第１の実施の形態（図３）と同様であるが、処理が異なる。図１１を参照して第２の実施の形態の映像・音声多重化装置の処理を詳しく説明する。まず、
Ｈカウンタ＝０かつＶカウンタ＝０
であれば垂直同期信号Ｖsyncを示す特殊符号を伝送し（ステップＳ７１→ステップＳ７２）、また、
Ｈカウンタ＝０かつＶカウンタ＝０ではなく、かつ
Ｈカウンタ＝０
であれば水平同期信号Ｈsyncを示す特殊符号を伝送する（ステップＳ７１→ステップＳ７３→ステップＳ７４）。

また、Ｈカウンタ＝０でない場合で（ステップＳ７３でＮ）、
＊１：Ｖカウンタ＝制御信号ヘッダの特殊符号Ａの垂直方向の位置、かつ
Ｈカウンタ＝制御信号ヘッダの特殊符号Ａの水平方向の位置
であれば（ステップＳ７５）、特殊符号Ａを伝送し（ステップＳ７６）、
＊２：Ｖカウンタ＝制御信号ヘッダの特殊符号Ａの垂直方向の位置、かつ
Ｈカウンタ＝制御信号ヘッダの特殊符号Ａの水平方向の位置＋１
又は
Ｖカウンタ＝制御信号ヘッダの特殊符号Ａの垂直方向の位置＋１、かつ
Ｈカウンタ＝１、かつ、１つ前のラインの最終ワードで特殊符号Ａを伝送しているとき
であれば（ステップＳ７７）、制御信号の終了位置情報を伝送する（ステップＳ７８）。

また、
＊３：Ｖカウンタ＝音声信号ヘッダの特殊符号Ｂの垂直方向の位置、かつ
Ｈカウンタ＝音声信号ヘッダの特殊符号Ｂの水平方向の位置
であれば（ステップＳ７９）、特殊符号Ｂを伝送し（ステップＳ８０）、
＊４：Ｖカウンタ＝音声信号ヘッダの特殊符号Ｂの垂直方向の位置、かつ
Ｈカウンタ＝音声信号ヘッダの特殊符号Ｂの水平方向の位置＋１
又は
Ｖカウンタ＝音声信号ヘッダの特殊符号Ｂの垂直方向の位置＋１
Ｈカウンタ＝１、かつ、１つ前のラインの最終ワードで特殊符号Ｂを伝送しているとき
であれば（ステップＳ８１）、音声信号Ａ１の終了位置情報を伝送する（ステップＳ８２）。

また、
＊５：Ｖカウンタ＝映像信号ヘッダの特殊符号Ｃの垂直方向の位置、かつ
Ｈカウンタ＝映像信号ヘッダの特殊符号Ｃの水平方向の位置
であれば（ステップＳ８３）、特殊符号Ｃを伝送し（ステップＳ８４）、
＊６：Ｖカウンタ＝映像信号ヘッダの特殊符号Ｃの垂直方向の位置、かつ
Ｈカウンタ＝映像信号ヘッダの特殊符号Ｃの水平方向の位置＋１
又は
Ｖカウンタ＝映像信号ヘッダの特殊符号Ｃの垂直方向の位置＋１
Ｈカウンタ＝１、かつ、１つ前のラインの最終ワードで特殊符号Ｃを伝送しているとき
であれば（ステップＳ８５）、映像信号Ｖ１の終了位置情報を伝送する（ステップＳ８６）。

さらに、
＊７：制御信号の垂直方向の終了位置≧Ｖカウンタ≧特殊符号Ａの垂直方向の開始位置、かつ
制御信号の水平方向の終了位置≧Ｈカウンタ＞制御信号ヘッダの終了位置情報の位置
であれば（ステップＳ８７）、制御信号を伝送し（ステップＳ８８）、
＊８：音声信号の垂直方向の終了位置≧Ｖカウンタ≧特殊符号Ｂの垂直方向の開始位置、かつ
音声信号の水平方向の終了位置≧Ｈカウンタ＞音声信号ヘッダの終了位置情報の位置
であれば（ステップＳ８９）、音声信号を伝送し（ステップＳ９０）、
＊９：映像信号の垂直方向の終了位置≧Ｖカウンタ≧特殊符号Ｃの垂直方向の開始位置、かつ
映像信号の水平方向の終了位置≧Ｈカウンタ＞映像信号ヘッダの終了位置情報の位置
であれば（ステップＳ９１）、映像信号を伝送する（ステップＳ９２）。

また、第２の実施の形態の映像・音声分離装置の構成も第１の実施の形態（図６）と同様であるが、処理が異なる。図１２は第２の実施の形態の映像・音声分離装置の特殊符号監視の処理を示す。図１２において、
＊１：垂直同期信号Ｖsyncを示す特殊符号を認識すると（ステップＳ１０１）、垂直方向と水平方向のカウンタ（Ｖ，Ｈカウンタ）をリセットし（ステップＳ１０２）、また、
＊２：水平同期信号Ｈsyncを示す特殊符号を認識すると（ステップＳ１０３）、水平方向のカウンタ（Ｈカウンタ）をリセットする（ステップＳ１０４）。

また、
＊３：特殊符号Ａを認識すると（ステップＳ１０５）、伝送フォーマット上のデータが制御信号であることを示すフラグ（制御信号フラグＦctl）をＨにセットする（ステップＳ１０６）。また、特殊符号Ａを認識しないときは、
＊４：Ｖカウンタ＝特殊符号Ａの垂直方向の位置、かつ
Ｈカウンタ＝特殊符号Ａの水平方向の位置＋１
又は
Ｖカウンタ＝特殊符号Ａの垂直方向の位置＋１、かつ
Ｈカウンタ＝１、かつ、１つ前のラインの最終ワードで特殊符号Ａを伝送しているとき
であれば（ステップＳ１０７）、制御信号の終了位置情報を保持する（ステップＳ１０８）。また、ステップＳ１０７でＮの場合で、
＊５：制御信号の垂直方向の終了位置≧Ｖカウンタ、かつ
制御信号の水平方向の終了位置≧Ｈカウンタ
であれば（ステップＳ１０９）、制御信号フラグＦctlをＬにリセットする（ステップＳ１１０）。

同様に、
＊６：特殊符号Ｂを認識すると（ステップＳ１１１）、伝送フォーマット上のデータが音声信号であることを示すフラグ（音声信号フラグＦa）をＨにセットし（ステップＳ１１２）、また、特殊符号Ｂを認識しないときは、
＊７：Ｖカウンタ＝特殊符号Ｂの垂直方向の位置、かつ
Ｈカウンタ＝特殊符号Ｂの水平方向の位置＋１
又は
Ｖカウンタ＝特殊符号Ｂの垂直方向の位置＋１、かつ
Ｈカウンタ＝１、かつ、１つ前のラインの最終ワードで特殊符号Ｂを伝送しているとき
であれば（ステップＳ１１３）、音声信号の終了位置情報を保持する（ステップＳ１１４）。また、ステップＳ１１３でＮの場合で、
＊８：音声信号の垂直方向の終了位置≧Ｖカウンタ、かつ
音声信号の水平方向の終了位置≧Ｈカウンタ
であれば（ステップＳ１１５）、音声信号フラグＦaをＬにリセットする（ステップＳ１１６）。

同様に、
＊９：特殊符号Ｃを認識すると（ステップＳ１１７）、伝送フォーマット上のデータが映像信号であることを示すフラグ（映像信号フラグＦv）をＨにセットし（ステップＳ１１８）、また、特殊符号Ｃを認識しないときは、
＊１０：Ｖカウンタ＝特殊符号Ｃの垂直方向の位置、かつ
Ｈカウンタ＝特殊符号Ｃの水平方向の位置＋１
又は
Ｖカウンタ＝特殊符号Ｃの垂直方向の位置＋１、かつ
Ｈカウンタ＝１、かつ、１つ前のラインの最終ワードで特殊符号Ｃを伝送しているとき
であれば（ステップＳ１１９）、映像信号の終了位置情報を保持する（ステップＳ１２０）。また、ステップＳ１１９でＮの場合で、
＊１１：映像信号の垂直方向の終了位置≧Ｖカウンタ、かつ
映像信号の水平方向の終了位置≧Ｈカウンタ
であれば（ステップＳ１２１）、映像信号フラグＦvをＬにリセットする（ステップＳ１２２）。
そして、第１の実施の形態（図８参照）と同様に、制御信号フラグＦctl、音声信号フラグＦa、映像信号フラグＦvに基づいてそれぞれ伝送信号から制御信号、音声信号、映像信号を分離する。

＜第３の実施の形態＞
図１３は第３の実施の形態として、第１、第２の実施の形態を光無線伝送に適用した伝送システムを示し、入力されたデジタル映像信号とデジタル音声信号を図１に示したフォーマットのフレームに多重化し、さらに光信号を生成して光無線送信する光送信処理ブロック２０と、上記の光信号を受信して元のデジタル映像信号及びデジタル音声信号を復元する光受信処理ブロック３０とから構成されている。ここで、図３に示した映像・音声多重化装置１００は、光送信処理ブロック２０における映像／音声制御補助データ処理部２６、伝送タイミング発生回路２９、映像／音声合成部２８、特殊データ付加制御部２Ａに相当し、また、図６に示した映像・音声分離装置２００は、光受信処理ブロック３０における特殊データ監視制御部３４、受信タイミング発生回路３５、映像／音声分離部３６に相当する。

第３の実施の形態では、前述した図１のフォーマットで伝送する場合、プログレシブ走査方式による非圧縮のベースバンドデジタル映像信号である７５０ｐ信号を音声信号と共に送受信する場合と、インタレース走査方式による非圧縮のベースバンドデジタル映像信号である１０８０ｉ信号を音声信号と共に送受信する場合とがある。この場合、プログレシブ走査方式の映像信号伝送か、インタレース走査方式の映像信号伝送かは、あらかじめシステムとしての表示仕様に合わせて、どちらかに一義的に取り決めてもよいし、システム的にスイッチ切り替え情報や送信側映像処理情報を制御信号ＣＴＬ内に組み込んで送信することも可能である。

次に、７５０ｐ信号を送受信する場合の本実施の形態の動作について説明する。デジタル映像信号入力端子（以下単に、入力端子とも言う）１７には５９.９４Ｈｚの垂直同期信号で、有効ライン数７６８本、有効ライン１本当たりの有効画素数１３６６ピクセルで、１画素の構成データワード数が２バイト（１６ビットワード）の非圧縮のベースバンドレベルのデジタルコンポーネント映像信号（ＹＵＶ（４：２：２））が８ビットパラレルに入力され、ＦＩＦＯで構成されたビデオメモリ２１、ビデオメモリ書込／読出制御部２２及びＦＩＦＯで構成された音声メモリ２４にそれぞれ供給され、ビデオメモリ書込／読出制御部２２からの制御信号に基づき、ビデオメモリ２１に１ライン分ずつ書き込まれる。

他方、デジタル音声信号入力端子（以下単に、入力端子とも言う）１８には、サンプリング周波数４８ｋＨｚ、レベル分解能２４ビット、２ｃｈ（Ｌ／Ｒ）のデジタル音声信号が入力され、これよりＦＩＦＯで構成された音声メモリ２４に２４ビットパラレルに供給され、伝送処理用マスタークロック発振器２７に同期して音声信号クロック発振器２３から出力される音声信号のサンプリング周波数に同期して順次書き込まれる。

また、音声メモリ２４に書き込まれたデジタル音声信号は、入力端子１７からのデジタル映像信号入力のフィールドごとに２ブロックに分割管理され、ブロックごとの音声信号のサンプル数が音声メモリ２４に書き込まれる。さらに、ブロックごとに、音声メモリ２４からデジタル音声信号が読み出されて、エラー訂正符号生成処理部２５に供給され、ここで伝送エラー検出用符号とエラー訂正符号が生成されて音声メモリ２４に書き込まれる。

最初の１ライン目の光信号送信時は、図１に示したように送受信間の垂直同期を確保するためのあらかじめ定義された、垂直同期信号Ｖsyncを示す特殊符号及び偶数フィールド／奇数フィールドを示す特殊符号が特殊データ付加制御部２Ａから出力され、８ビット／１０ビット変換部２Ｂで１０ビットパラレルデータに変換され、更にパラレル／シリアル変換部２Ｃに供給され、ここでシリアルデータに変換された後、光送信モジュール２Ｄにより光信号に変換されて光無線伝送路４１へ送信される（２ライン目以降の先頭では、水平同期信号Ｈsyncを示す特殊符号が送信される。）。

続いて、図１に示したように、あらかじめ映像／音声制御補助データ処理部２６に格納設定された制御信号ヘッダＡと、制御信号ＣＴＬの８ビットワード列データが１６ビットワード単位で読み出されて映像／音声合成部２８を通して８ビット／１０ビット変換部２Ｂにパラレルに供給され、ここで１６ビットワードが２０ビットパラレルデータに変換され、更にパラレル／シリアル変換部２Ｃによりシリアルデータに変換された後、光送信モジュール２Ｄにより光信号に変換されて光無線伝送路４１へ送信される（ただし、図１は８ビット／１０ビット変換前のシリアルデータを示す）。

制御信号ＣＴＬ１の次に音声信号Ａ１と映像信号Ｖ１の伝送を行う。まず、音声信号ヘッダＢをシリアル伝送した後、音声メモリ２４のあらかじめ定められたデータ区分からエラー訂正符号の付加処理された音声信号Ａ１が１６ビットワード単位で時間圧縮されて読み出された後、映像／音声合成部２８を通して８ビット／１０ビット変換部２Ｂにパラレルに供給され、ここで２０ビットワード単位のパラレルデータに変換される。この２０ビットワード単位のパラレルデータは、パラレル／シリアル変換部２Ｃによりシリアルデータに変換された後、光送信モジュール２Ｄにより光信号に変換されて光無線伝送路４１へ図１に示したフォーマットで送信される（ただし、図１は８ビット／１０ビット変換前のシリアルデータを示す）。

さらに、続けて映像信号ヘッダＣをシリアル伝送した後、映像信号専用のビデオメモリ２１より、ビデオメモリ書込／読出制御部２２からの読み出しクロックに基づき、画素データ単位で時間伸長により映像信号データＶ１が１６ビット単位で読み出され、映像／音声合成部２８を通して８ビット／１０ビット変換部２Ｂに供給される。８ビット／１０ビット変換部２Ｂにより入力された映像信号データＶ１は、１６ビットの画素データが２０ビット単位のパラレルデータに変換され、更にパラレル／シリアル変換部２Ｃによりシリアルデータに変換された後、光送信モジュール２Ｄにより光信号に変換されて光無線伝送路４１へ図１に示したフォーマットで送信される（ただし、図１は８ビット／１０ビット変換前のシリアルデータを示す）。

ここで、１ライン目の最後尾には、ＣＲＣＣ生成器２Ｅで生成されて映像／音声合成部２８に供給された２バイトのデータ伝送エラー検出用符号（ＣＲＣＣ）が１６ビット単位で映像／音声合成部２８からパラレルに読み出され、８ビット／１０ビット変換部２Ｂ、パラレル／シリアル変換部２Ｃ、光送信モジュール２Ｄを通して光信号に変換されて光無線伝送路４１へ送信される（ただし、図１は８ビット／１０ビット変換前のシリアルデータを示す）。ＣＲＣＣは１ラインごとに完結する伝送エラー検出用符号である。次の２ライン目以降も１ライン目と同様のフォーマットの光信号が光無線伝送路４１へ送信される。

次に、光受信処理ブロック３０の動作について説明する。光受信処理ブロック３０では、まず、光無線伝送路４１により伝送された光信号が光受信モジュール３１により受信されて光電変換された後、シリアル／パラレル変換部３２でパラレルデータに変換されて１０ビット／８ビット変換部３３に供給されて、入力の１０ビットが８ビットに変換されて出力される。次いで、特殊データ監視制御部３４により垂直同期信号Ｖsync、水平同期信号Ｈsyncを示す特殊符号、信号種別ヘッダなどを監視して、シリアル伝送されたデジタル映像信号とデジタル音声信号をそれぞれ専用のビデオメモリ３Ａ、音声メモリ３Ｄにいったん格納する。音声信号はエラー訂正など所定の信号処理後、制御信号ＣＴＬによる送信側のサンプリング周波数情報に基づいて生成される音声信号再生用クロックを用いて順次音声メモリ３Ｄから読み出し、時間伸長によりサンプリング周期で再生する。また、再生する音声信号のサンプル数は、ブロックごとに同時に伝送されてくるサンプル数情報に基づき、連続再生することで映像との同期再生を実現している。

一方、映像信号は、垂直同期の識別トリガ信号を基準に、再スケーリング用クロックに対する垂直同期での同期化を図り、制御信号ＣＴＬに基づいた映像フォーマットに従い、ブランキング区間を含む垂直同期信号と水平同期信号を付加した上で順次ビデオメモリ３Ａから有効ラインごとの画素データを時間圧縮による読み出し処理を行い、スケーリングし直すことで同期再生を行う。

さらに詳しく説明すると、特殊データ監視制御部３４は、１ライン目の先頭に付加されている垂直同期信号Ｖsyncを示す特殊符号を監視しており、この特殊符号を検出すると次の１個の特殊符号から偶数フィールドか奇数フィールドかを識別し、受信タイミング発生回路３５から出力される受信タイミング信号を制御する。一方、シリアル／パラレル変換部３２から出力された信号のうち、水平同期信号Ｈsyncを示す特殊符号に基づき、セルフクロック発振器３７からセルフクロックが生成される。このセルフクロックは、受信タイミング発生回路３５とビデオメモリ書込／読出制御部３９にそれぞれ供給される。なお、水平同期信号Ｈsyncを示す特殊符号は、有効ラインごとに定期的に送信することで、受信の際のセルフクロックコレクション機能を満足させるためにも使用される。

また、１０ビット／８ビット変換部３３により１０ビットが８ビットに変換された受信信号は、映像／音声分離部３６に１６ビットワード単位でパラレルに入力され、ここで受信タイミング発生回路３５からの受信タイミング信号に基づいて、映像信号データと音声信号データと制御信号とに分離され、映像信号はＦＩＦＯにより構成されているビデオメモリ３Ａに供給され、音声信号はＦＩＦＯにより構成されている音声メモリ３Ｄに供給され、制御信号は映像／音声制御補助データ監視部３Ｃに供給される。

また、音声メモリ３Ｄに書き込まれた音声信号データは、伝送されてくる映像信号のフィールドごとに２ブロックに分割管理されており、ブロックごとに、音声メモリ３Ｄから音声信号が読み出されてエラー訂正処理部３Ｅに供給され、エラー検出用符号とエラー訂正符号によりエラー訂正処理が行われた後、音声メモリ３Ｄに書き戻される。

また、送信側の伝送処理用マスタークロック発振器２７と同期した受信側のセルフクロック発振器３７の出力クロックに基づいて、音声信号再生クロック発振器３８により送信側サンプリング周波数との同期化再生クロック信号を生成し、この同期化再生クロック信号と映像／音声制御補助データ監視部３Ｃからの、受信された制御信号に含まれている送信側のチャンネル数、サンプル有効ビット数などに基づいて、音声メモリ３Ｄからエラー訂正処理後の再生音声信号が元の時間軸になるように時間伸長されてサンプリング周期で読み出され、デジタル音声信号出力端子４３へ出力される。

また、映像／音声制御補助データ監視部３Ｃから受信された制御信号に基づき、再生表示部側を設定制御するための映像フォーマットや表示部設定情報などの情報を、再スケーリング映像タイミング発生回路３Ｂに出力し、再スケーリング映像タイミング発生回路３Ｂからの情報に基づき、ビデオメモリ書込／読出制御部３９からビデオメモリ３Ａへの書き込みと読み出し制御が行われる。

ここで、通常の映像信号は、ブランキングを含む一義的に決められたフォーマットで入出力され、そのまま表示部に伝送すれば表示可能な信号として扱われる。ところが、本実施の形態の伝送フォーマットでは図１に示したように、ブランキング部分を省略して、映像信号部分を時間軸圧縮伝送することで伝送容量の低減を図っている関係で、最終的な表示部（図示せず）への出力信号はブランキングの付加と受信映像データの時間軸伸長が必要となる。そこで、再スケーリング映像タイミング発生回路３Ｂは、ブランキング信号を含む垂直同期信号と水平同期信号の付加と受信映像信号データの時間軸伸長をする再スケーリングを行う。

再スケーリング映像タイミング発生回路３Ｂから出力されるブランキング信号を含む垂直同期信号と水平同期信号は、ビデオメモリ書込／読出制御部３９からの読み出しクロック信号に基づき、画素データ単位で表示部に合わせた時間軸で１画素の１６ビット単位で１ラインずつビデオメモリ３Ａから読み出された有効ライン区間の画素データと合成されてデジタル映像信号出力端子４２へ出力される。

本発明の第１の実施の形態に係る伝送フレームのフォーマットを示す説明図である。 図１の信号種別ヘッダを詳しく示す説明図である。 本発明に係る映像・音声多重化装置の第１の実施の形態を示すブロック図である。 図３の映像・音声多重化装置の水平カウンタ、垂直カウンタの処理を説明するためのフローチャートである。 図３の映像・音声多重化装置の多重化処理を説明するためのフローチャートである。 本発明に係る映像・音声分離装置の第１の実施の形態を示すブロック図である。 図６の映像・音声分離装置の特殊符号監視処理を説明するためのフローチャートである。 図６の映像・音声分離装置の分離処理を説明するためのフローチャートである。 本発明の第２の実施の形態の信号種別ヘッダを示す説明図である。 本発明の第２の実施の形態の伝送フォーマットを示す説明図である。 本発明の第２の実施の形態の映像・音声多重化装置の多重化処理を説明するためのフローチャートである。 本発明の第２の実施の形態の映像・音声分離装置の特殊符号監視処理を説明するためのフローチャートである。 本発明の第３の実施の形態の伝送システムを示すブロック図である。 従来の伝送フォーマットを示す説明図である。 本発明が解決しようとする課題を示す説明図である。

符号の説明

１８ デジタル音声信号入力端子
２０ 光送信処理ブロック
２１、３Ａ ビデオメモリ
２２、３９ ビデオメモリ書込／読出制御部
２３ 音声信号クロック発振器
２４、３Ｄ 音声メモリ（ＦＩＦＯ）
２５ エラー訂正符号生成処理部
２６ 映像／音声制御補助データ処理部
２７ 伝送処理用マスタークロック発振器
２８ 映像／音声合成部
２９ 伝送タイミング発生回路
３０ 光受信処理ブロック
３１ 光受信モジュール
３２ シリアル／パラレル変換部
３３ １０ビット／８ビット（１０Ｂ／８Ｂ）変換部
３４ 特殊データ監視制御部
３５ 受信タイミング発生回路
３６ 映像／音声分離部
３７ セルフクロック発振器
３８ 音声信号再生クロック発振器
４１ 光無線伝送路
４２ デジタル映像信号出力端子
４３ デジタル音声信号出力端子
１００ 映像・音声多重化装置
１１０、２１０ ＣＰＵ
１１２ 制御信号生成部
１１３ 特殊符号付加制御部
１１４ 伝送タイミング発生部
１１５ 映像・音声・制御信号合成部
２００ 映像・音声分離装置
２１１ 特殊符号監視制御部
２１２ 位置情報保持部
２１３ 受信タイミング発生部
２１４ 映像・音声・制御信号分離部
２Ａ 特殊データ付加制御部
２Ｂ ８ビット／１０ビット（８Ｂ／１０Ｂ）変換部
２Ｃ パラレル／シリアル変換部
２Ｄ 光送信モジュール
２Ｅ ＣＲＣＣ生成器
３Ｂ 再スケーリング映像タイミング発生回路
３Ｃ 映像／音声制御補助データ監視部
３Ｅ エラー訂正処理部

Claims (3)

1. 映像信号と音声信号とを所定の２次元フォーマット上に多重化して伝送する映像・音声多重化装置において、
   前記映像信号と、前記音声信号と、前記映像信号及び前記音声信号を受信側で復元するための制御信号の送信順及び／又は送信量に応じて、前記映像信号と、前記音声信号と前記制御信号の前記２次元フォーマット上の配置位置を決定する配置位置決定手段と、
   前記映像信号と、前記音声信号と前記制御信号の各先頭にヘッダとしてそれぞれ信号種別を示す特殊符号を付加して前記配置位置決定手段により決定された前記２次元フォーマット上の配置位置に多重化する多重化手段とを、
   有する映像・音声多重化装置。
2. 前記多重化手段は、前記ヘッダとして前記特殊符号に加えて当該信号の終了位置情報を付加することを特徴とする請求項１に記載の映像・音声多重化装置。
3. 請求項１又は２に記載の映像・音声多重化装置により前記所定の２次元フォーマット上に多重化された映像信号と音声信号を分離する映像・音声分離装置であって、
   前記ヘッダを検出するヘッダ検出手段と、
   前記ヘッダ検出手段により検出されたヘッダに基づいて前記映像信号と、前記音声信号と前記制御信号を分離する分離手段と、
   前記分離された制御信号に基づいて前記映像信号と前記音声信号を復元する手段とを、
   有する映像・音声分離装置。
   

Images