JP2005123981A - 画像信号受信装置およびその画像符号化信号合成方法 - Google Patents

Abstract

【課題】 画像符号化信号にＩ ＰｉｃｔｕｒｅおよびＰ Ｐｉｃｔｕｒｅが混在していても、Ｉ ＰｉｃｔｕｒｅをＰ Ｐｉｃｔｕｒｅに変換してＰ Ｐｉｃｔｕｒｅで統一し、画像符号化信号を合成することができる利便性の高い画像信号受信装置を提供する。
【解決手段】 通信網ＮＴから伝送されてくる画像信号送信装置Ｔ１〜Ｔｎからのマルチメディア多重化信号（画像符号化信号および音声符号化信号）を受信し、複数のフレーム間予測モードおよびフレーム内予測モードの画像符号化信号をフレーム間予測モードに統一した画像符号化信号のままで合成し、単一の画像信号に復元する復号化装置３と、復元した複数の画像信号を一画面に表示する画像モニタ４と、復元した音声信号を音声で出力するスピーカ５とから構成する。
【選択図】 図１

Description

本発明は通信網を介して送信されてくる複数の画像符号化信号を受信し、画像符号化信号のままで合成した後に、単一の画像信号に復元する画像信号受信装置に係り、特に送信されてくるフレーム間予測モードとフレーム内予測モードの混在した複数の画像符号化信号をフレーム間予測モードで統一して変換し、合成する画像信号受信装置に関する。

従来の画像信号受信装置において、複数の画像信号送信装置から通信網を介して送信されてくる画像符号化信号（音声符号化信号も含む）を受信し、複数の画像符号化信号を符号化信号の状態のままで合成し、合成した画像符号化信号を復号化して複数の画像信号を表示するように構成されたものが知られている。

このように構成された従来の画像信号受信装置は、複数の画像信号送信装置で画像信号に圧縮を施した低解像度で符号化された複数の画像符号化信号を受信し、受信した複数の画像符号化信号を解析して水平や垂直を表わすアドレスを補正した後に、符号化信号のまま合成して単一の画像符号化信号とし、単一の画像符号化信号を復号化して合成した画面信号に復元して画像モニタに表示させる。

従来の画像信号受信装置は、Ｈ．２６１で規定された動き補償フレーム間予測と称される符号化方式が採用されている場合であり、Ｈ．２６１の符号化方式では、符号化効率は高いが伝送誤りが一度発生すると、原理的に無限にその影響が伝播する動き補償フレーム間予測と、伝送効率は低いが伝送誤りの影響をなくするフレーム内予測が一つの画面に混在しており、どの画面も同一の構成となっている。

このため、従来の画像信号受信装置は、複数の画像信号送信装置から伝送されてくる画像符号化信号を符号化信号のままで容易に合成可能となっている。
特開平５−２２３２１号公報

近年、放送や通信で広く用いられているＭＰＥＧ−２（Moving Picture Experts Group-2）等では、フレーム内予測モード（以降、Ｉ Ｐｉｃｔｕｒｅと呼称）と動き補償フレーム間予測を含むフレーム間予測モード（以降、Ｐ Ｐｉｃｔｕｒｅと呼称）の２通りの画面があり、これらの画像符号化信号は互いに体系が異なっており、１画面の中でＩ ＰｉｃｔｕｒｅとＰ Ｐｉｃｔｕｒｅが混在することは許されない。

このため、従来の画像信号受信装置は、Ｉ ＰｉｃｔｕｒｅとＰ Ｐｉｃｔｕｒｅの混在する複数の画像符号化信号を符号化信号のまま直接合成することができない基本的な課題がある。

この発明はこのような課題を解決するためになされたもので、その目的は画像符号化信号にＩ ＰｉｃｔｕｒｅおよびＰ Ｐｉｃｔｕｒｅが混在していても、Ｉ ＰｉｃｔｕｒｅをＰ Ｐｉｃｔｕｒｅに変換してＰ Ｐｉｃｔｕｒｅで統一し、画像符号化信号を合成することができる利便性の高い画像信号受信装置を提供することにある。

前記課題を解決するためこの発明に係る画像信号受信装置は、複数の符号化装置から伝送される複数の画像符号化信号を受信してフレーム間予測モードに統一した画像符号化信号のままで合成し、単一の画像信号に復元する復号化装置を備えたことを特徴とする。

この発明に係る画像信号受信装置は、複数の符号化装置から伝送される複数の画像符号化信号を受信してフレーム間予測モードに統一した画像符号化信号のままで合成し、単一の画像信号に復元する復号化装置を備えたので、ＭＰＥＧ−２の画像符号化信号であってもフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）とフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）の画像符号化信号を合成することができる。

また、この発明に係る復号化装置は、受信した画像符号化信号がフレーム間予測符号化モードの場合には、そのまま画像符号化信号を記憶し、一方、受信した画像符号化信号がフレーム内予測符号化モードの場合には、フレーム間予測符号化モードのフレーム内予測符号化信号に変換する信号変換手段を備えたことを特徴とする。

この発明に係る復号化装置は、受信した画像符号化信号がフレーム間予測符号化モードの場合には、そのまま画像符号化信号を記憶し、一方、受信した画像符号化信号がフレーム内予測符号化モードの場合には、フレーム間予測符号化モードのフレーム内予測符号化信号に変換する信号変換手段を備えたので、受信した画像符号化信号をフレーム間予測モードに統一することができる。

さらに、この発明に係る復号化装置は、信号変換手段からの画像符号化信号を記憶する記憶手段と、記憶手段に記憶された画像符号化信号を予め設定された順序で読み出すシーケンス手段を備えたことを特徴とする。

この発明に係る復号化装置は、信号変換手段からの画像符号化信号を記憶する記憶手段と、記憶手段に記憶された画像符号化信号を予め設定された順序で読み出すシーケンス手段を備えたので、複数の符号化装置から伝送される複数の画像符号化信号を単一の高解像度符号化信号に配列することができる。

また、この発明に係る復号化装置は、シーケンス手段が読み出した画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するアドレス補正手段と、アドレス補正手段からの補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成する符号化信号合成手段と、符号化信号合成手段からの高解像度画像符号化信号を元の画像信号に復元する復号化手段とを備えたことを特徴とする。

この発明に係る復号化装置は、シーケンス手段が読み出した画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するアドレス補正手段と、アドレス補正手段からの補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成する符号化信号合成手段と、符号化信号合成手段からの高解像度画像符号化信号を元の画像信号に復元する復号化手段とを備えたので、水平、垂直アドレスに従って複数の画面を任意に配置して高解像度の１画面を表示することができる。

さらに、この発明に係る画像信号受信装置の画像符号化信号合成方法は、通信網から複数の画像符号化信号を受信するステップ（Ｓ１）と、受信した画像符号化信号がフレーム間予測符号化モードか否かを判定するステップ（Ｓ２）と、フレーム間予測符号化モードの場合、画像符号化信号をそのまま記憶するステップ（Ｓ３）と、フレーム内予測符号化モードの場合、フレーム間予測符号化モードのフレーム内予測符号化信号に変換して記憶するステップ（Ｓ４）と、画像符号化信号を予め設定された順序で読み出すステップ（Ｓ５）と、画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するステップ（Ｓ６）と、補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成するステップ（Ｓ７）とを備えたことを特徴とする。

この発明に係る画像信号受信装置の画像符号化信号合成方法は、通信網から複数の画像符号化信号を受信するステップ（Ｓ１）と、受信した画像符号化信号がフレーム間予測符号化モードか否かを判定するステップ（Ｓ２）と、フレーム間予測符号化モードの場合、画像符号化信号をそのまま記憶するステップ（Ｓ３）と、フレーム内予測符号化モードの場合、フレーム間予測符号化モードのフレーム内予測符号化信号に変換して記憶するステップ（Ｓ４）と、画像符号化信号を予め設定された順序で読み出すステップ（Ｓ５）と、画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するステップ（Ｓ６）と、補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成するステップ（Ｓ７）とを備えたので、ＭＰＥＧ−２の画像符号化信号であってもフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）とフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）の画像符号化信号を合成することができる。

この発明に係る画像信号受信装置は、複数の符号化装置から伝送される複数の画像符号化信号を受信してフレーム間予測モードに統一した画像符号化信号のままで合成し、単一の画像信号に復元する復号化装置を備えたので、ＭＰＥＧ−２の画像符号化信号であってもフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）とフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）の画像符号化信号を合成することができ、１台の装置で装置構成を単純化して利便性の向上を図ることができる。

また、この発明に係る復号化装置は、受信した画像符号化信号がフレーム間予測符号化モードの場合には、そのまま画像符号化信号を記憶し、一方、受信した画像符号化信号がフレーム内予測符号化モードの場合には、フレーム間予測符号化モードのフレーム内予測符号化信号に変換する信号変換手段を備えたので、受信した画像符号化信号をフレーム間予測モードに統一することができる。

さらに、この発明に係る復号化装置は、信号変換手段からの画像符号化信号を記憶する記憶手段と、記憶手段に記憶された画像符号化信号を予め設定された順序で読み出すシーケンス手段を備えたので、複数の符号化装置から伝送される複数の画像符号化信号を単一の高解像度符号化信号に配列することができる。

また、この発明に係る復号化装置は、シーケンス手段が読み出した画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するアドレス補正手段と、アドレス補正手段からの補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成する符号化信号合成手段と、符号化信号合成手段からの高解像度画像符号化信号を元の画像信号に復元する復号化手段とを備えたので、水平、垂直アドレスに従って複数の画面を任意に配置して高解像度の１画面を表示することができる。

さらに、この発明に係る画像信号受信装置の画像符号化信号合成方法は、通信網から複数の画像符号化信号を受信するステップ（Ｓ１）と、受信した画像符号化信号がフレーム間予測符号化モードか否かを判定するステップ（Ｓ２）と、フレーム間予測符号化モードの場合、画像符号化信号をそのまま記憶するステップ（Ｓ３）と、フレーム内予測符号化モードの場合、フレーム間予測符号化モードのフレーム内予測符号化信号に変換して記憶するステップ（Ｓ４）と、画像符号化信号を予め設定された順序で読み出すステップ（Ｓ５）と、画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するステップ（Ｓ６）と、補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成するステップ（Ｓ７）とを備えたので、ＭＰＥＧ−２の画像符号化信号であってもフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）とフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）の画像符号化信号を合成することができ、装置構成を単純化して利便性の向上を図ることができる。

以下、この発明の実施の形態を添付図面に基づいて説明する。なお、本発明はＭＰＥＧ−２の符号化方式において、Ｉ Ｐｉｃｔｕｒｅにはフレーム内予測モードしか存在しないが、Ｐ Ｐｉｃｔｕｒｅにはフレーム内予測モードとフレーム間予測モードの２通りがあり、Ｐ Ｐｉｃｔｕｒｅであっても、フレーム間の相関が小さい場合にはフレーム間予測モードを実行する代わりにフレーム内予測モードを採用することができるので、Ｐ Ｐｉｃｔｕｒｅの信号はそのままとし、Ｉ Ｐｉｃｔｕｒｅの信号はＰ Ｐｉｃｔｕｒｅのフレーム内予測モードに変換することにより、全ての画面の画像符号化信号をＰ Ｐｉｃｔｕｒｅに統一することができることを活用し、複数の符号化装置から伝送されてくる低解像度の画像符号化信号をＰ Ｐｉｃｔｕｒｅに変換して画像符号化信号のままで合成し、合成された画像符号化信号を単一の高解像度画面に復元するものである。

図１はこの発明に係る画像信号受信装置が適用される画像信号伝送システムの構成図である。図１において、画像信号伝送システム１は、画像信号送信装置Ｔ１〜Ｔｎと、通信網ＮＴと、画像信号受信装置２から構成する。

画像信号送信装置Ｔ１〜Ｔｎは、それぞれカメラＢ１〜Ｂｎと、マイクＣ１〜Ｃｎと、ＭＰＥＧ−２符号化装置Ａ１〜Ａｎとから構成し、カメラＢ１〜ＢｎおよびマイクＣ１〜Ｃｎで収集した画像・音声信号をＭＰＥＧ−２符号化装置Ａ１〜Ａｎに送り、ＭＰＥＧ−２符号化装置Ａ１〜Ａｎは、画像・音声信号を符号化した複数の画像符号化信号をＩＰ網、ＡＴＭ網等の通信網ＮＴに送信する。

図２は画像信号送信装置の一実施の形態ブロック構成図である。なお、画像信号送信装置Ｔ１〜Ｔｎは同じ構成なので、画像信号送信装置Ｔ１について説明する。図２において、カメラＢ１で撮像されたＴＶ信号やマイクＣ１で集音された音声信号がＭＰＥＧ−２符号化装置Ａ１に入力される。

ＭＰＥＧ−２符号化装置Ａ１内部で、輝度色差分離器Ｋ１は、ＴＶ信号を輝度信号と色差信号に分離し、Ａ／Ｄ変換器Ｋ２は、輝度信号と色差信号にＡ／Ｄ変換を施してディジタル化した後にＭＰＥＧ−２画像符号化器Ｋ３に供給する。

ＭＰＥＧ−２画像符号化器（画像コーデック）Ｋ３は、ディジタル化した画像信号（輝度信号と色差信号）を予め設定されたアルゴリズムにしたがって高能率符号化し、画像符号化信号を画像符号化バッファＫ４に格納する。

ＭＰＥＧ−２音声符号化器（音声コーデック）Ｋ５は、音声信号を符号化して音声符号化信号を音声符号化バッファＫ６に格納する。音声信号の代表的な標本化周波数は３２ＫＨｚ、代表的な量子化精度は１６ｂｉｔ／ｓａｍｐｌｅなので、符号化しない時の情報伝送速度は５１２ｋｂｉｔ／ｓに相当する。ステレオ音声信号の場合には２倍の情報伝送速度１０２４ｋｂｉｔ／ｓになる。このステレオ音声信号をＭＰＥＧ−２音声符号化により、例えば２５６ｋｂｉｔ／ｓの音声符号化信号に圧縮する。

マイクロプロセッサＫ７は、画像符号化バッファＫ４に格納された画像符号化信号と音声符号化バッファＫ６に格納された音声符号化信号を内部バスＢＡ１を介して読出してマルチメディア多重化し、マルチメディア多重化信号を内部バスＢＡ１を介して送信バッファＫ８に送出する。送信バッファＫ８は、マルチメディア多重化信号を平滑し、内部バスＢＡ２を介してマイクロプロセッサＫ９に提供する。

マイクロプロセッサＫ９は、平滑されたマルチメディア多重化信号に通信網ＮＴに適した通信プロトコルを付与し、通信インタフェースＫ１０に供給する。通信インタフェースＫ１０は、通信網ＮＴとの物理的な整合を取り、マルチメディア多重化信号（画像符号化信号および音声符号化信号）を通信網ＮＴに送出する。

画像信号受信装置２は、通信網ＮＴから伝送されてくる画像信号送信装置Ｔ１〜Ｔｎからのマルチメディア多重化信号（画像符号化信号および音声符号化信号）を受信し、複数のフレーム間予測モードおよびフレーム内予測モードの画像符号化信号をフレーム間予測モードに統一した画像符号化信号のままで合成し、単一の画像信号に復元する復号化装置３と、復元した複数の画像信号を一画面に表示する画像モニタ４と、復元した音声信号を音声で出力するスピーカ５とから構成する。

このように、この発明に係る画像信号受信装置２は、複数の画像符号化信号を受信してフレーム間予測モードに統一した画像符号化信号のままで合成し、単一の画像信号に復元する復号化装置３を備えたので、ＭＰＥＧ−２の画像符号化信号であってもフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）とフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）の画像符号化信号を合成することができ、１台の装置で装置構成を単純化して利便性の向上を図ることができる。

図３はこの発明に係る画像信号受信装置の一実施の形態要部ブロック構成図である。図３において、画像信号受信装置２は、通信インタフェース６、マイクロプロセッサ７、受信バッファ８、マイクロプロセッサ９、画像復号化バッファ１０ａ〜１０ｄ、スイッチ１１、ＭＰＥＧ−２画像復号化器１２、Ｄ／Ａ変換器１３、輝度色差合成器１４、音声符号化バッファ１５、ＭＰＥＧ−２音声復号化器１６を備えた復号化装置３と、画像モニタ４と、スピーカ５とから構成する。

通信インタフェース６は、通信網ＮＴから伝送されてくる画像符号化信号と音声符号化信号のマルチメディア多重化信号を受信して物理的な整合を取り、マイクロプロセッサ７に提供する。

マイクロプロセッサ７は、マルチメディア多重化信号の通信プロトコルを解読し、誤り訂正、再送等の手順によって通信網ＮＴで発生した伝送路における誤りの修正等の処理を実行した後、受信バッファ８に格納する。

マイクロプロセッサ９は、受信バッファ８からマルチメディア多重化信号（画像符号化信号および音声符号化信号）を読出してマルチメディア多重分離を実行して画像符号化信号と音声符号化信号に分離し、制御バスＢＵＳ２を介して画像信号送信装置毎（ここでは、画像信号送信装置Ｔ１〜Ｔ４の４台）に対応した画像復号化バッファ１０ａ〜１０ｄに画像符号化信号を格納するとともに、音声符号化バッファ１５に音声符号化信号を格納する。

図４はこの発明に係るマイクロプロセッサの一実施の形態要部機能ブロック構成図である。図４において、マイクロプロセッサ９は、機能ブロックとして制御手段１７、信号変換手段１８、アドレス補正手段１９、シーケンス手段２０を備える。

制御手段１７は、信号変換手段１８、アドレス補正手段１９、シーケンス手段２０の機能動作を制御する。

制御手段１７は、マルチメディア多重化信号（画像符号化信号および音声符号化信号）を読出してマルチメディア多重分離を実行して画像符号化信号と音声符号化信号に分離する。

また、制御手段１７は、分離された画像符号化信号がフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）であるかフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）であるかを検査する。

信号変換手段１８は、制御手段１７で検査した画像符号化信号がフレーム間予測符号化モード（Ｐ Ｐｉｃｔｕｒｅ）の場合には、そのまま画像符号化信号を記憶し、一方、受信した画像符号化信号がフレーム内予測符号化モード（Ｉ Ｐｉｃｔｕｒｅ）の場合には、フレーム間予測符号化モードのフレーム内予測符号化信号に変換する。

アドレス補正手段１９は、複数の画像符号化信号（画面）を１画面に展開するため、各画像符号化信号（スライス）に付与されている水平アドレスまたは垂直アドレスの一方または双方を予め設定されたアドレス番号に補正（変更）する。

制御手段１７は、信号変換を伴わないフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）およびフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）をフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）に信号変換した画像符号化信号で、かつアドレス番号補正した補正画像符号化信号を対応したバッファ１０ａ〜１０ｄ（ここでは、４個の画像信号送信装置からの画像符号化信号に対応して準備）に格納する。なお、画像復号化バッファ１０ａ〜１０ｄは、記憶手段を構成する。

シーケンス手段２０は、スイッチ１１の接続を制御し、画像復号化バッファ１０ａ〜１０ｄに格納された４画面分の補正画像符号化信号を１画面に表示すべく、予め設定された順序で読出し、スイッチ１１を介してＭＰＥＧ−２画像復号化器１２に供給する。なお、シーケンス手段２０およびスイッチ１１は、アドレス補正手段１９からの補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成する符号化信号合成手段を構成する。

復号化手段を構成するＭＰＥＧ−２画像復号化器（画像デコーダ）１２は、画像復号化バッファ１０ａ〜１０ｄから読み出した４画面分の補正画像符号化信号を元の画像信号に復元し、Ｄ／Ａ変換器１３でＤ／Ａ変換が施されたアナログの画像信号に、輝度色差合成器１４で輝度・色差を合成したアナログの画像信号（ＴＶ信号）を生成し、４画面分の画像信号（ＴＶ信号）を１画面で画像モニタ４に表示する。

ＭＰＥＧ−２音声復号化器（音声デコーダ）１６は、音声符号化バッファ１５から読み出した音声符号化信号を元の音声信号に復元し、音声をスピーカ５から出力する。

次に、本発明は画像信号の高能率符号化の特徴を活用して実行するので、ＭＰＥＧ−２画像符号化方式について詳しく説明する。高能率符号化の目的は、画像信号の冗長性を抑圧して情報伝送速度を低減し、伝送路（通信網ＮＴ）を効率良く使用することである。

元の画像信号の代表的な標本化周波数を１３．５ＭＨｚとし、代表的な量子化制度を８ｂｉｔ／ｓａｍｐｌｅとすると、元の画像信号を符号化しないで伝送する時の情報伝送速度は、標本化周波数１３．５ＭＨｚと量子化精度８ｂｉｔ／ｓａｍｐｌｅの積である１０８Ｍｂｉｔ／ｓに相当する。

これをＭＰＥＧ−２画像符号化では、ほとんど画像品質の劣化が現れない情報伝送速度、例えば６Ｍｂｉｔ／ｓに圧縮する。これにより、情報伝送速度を１／１８にまで圧縮し、伝送路を効率良く使用できることになる。

冗長性を圧縮する手法としては、前フレームと現フレームとの差分を符号化するフレーム間予測符号化と、前フレームからの予測を実行せず、現フレームの信号のみを用いて符号化するフレーム内予測符号化がある。

フレーム間予測符号化は、被写体の動きが少ない場合にはフレーム間の相関が高いので、高い効率で符号化することができ、冗長性を大幅に圧縮することができる。その反面、前フレームに伝送誤りが発生した場合には、伝送誤りの影響が現フレームにも影響するので、伝送誤りの影響を継続して受け易い欠点と、被写体の動きが大きい場合には、フレーム間の相関が低いので、符号化効率は必ずしも高くない欠点もある。

フレーム内予測符号化は、被写体の動きに影響されず符号化効率が一般的に低いが、被写体の動きが激しい場合には、フレーム間予測符号化と同等の符号化効率を達成することができる。また、前フレームの伝送誤りの影響を受けない長所もある。このように、フレーム間予測符号化とフレーム間予測符号化は、それぞれ特徴があるので、フレーム間の相関によって適応的に選択される。

フレーム間の相関は、近接した画素同士が互いに類似していることと、画素毎にフレーム間予測とフレーム内予測の判定結果を符号化するのでは符号化効率が悪いので、ＭＰＥＧ−２では以下のように画像信号をマクロブロックに分割し、マクロブロック単位でフレーム間予測とフレーム内予測を選択している。ＭＰＥＧ−２のブロックについて説明する。

1)：ブロック…縦、横８画素の信号を１ブロックとし、ブロックを単位にＤＣＴと呼ばれる直交変換を行い、直交変換した計数を量子化し、ＤＣＴ符号に変換する。

2)：マクロブロック…1)のブロックの内、輝度信号を４個、色差信号を各１個の計６個のブロックを纏めてマクロブロックとし、マクロブロック単位でフレーム間の優位差有無の判定を実行する。動きが無いと判定した時には無効マクロブロックとし、無効マクロブロックが連続する個数をマクロブロック・アドレス・インクリメント（ＭＢＡＩ）により伝送する。この場合、フレーム間の差分等は一切伝送しない。有効と判定したマクロブロックは、前フレームと比較して動き補償し、動きベクトル、動き補償後の予測誤差をＤＣＴ変換して量子化した係数、マクロブロック内部でＤＣＴ係数が全ゼロか否かを識別するＣＢＰ等により符号化して伝送する。

3)：スライス…伝送誤りの影響を軽減するために、水平方向の複数のマクロブロックを１つのスライスに纏め、スライス単位に先頭を識別するスライスヘッダや量子化パラメータを伝送する。通常の解像度では、水平方向に４５個のマクロブロックが含まれる（７２０／１６画素＝４５）。

4)：画面…画面の先頭に、先頭を識別する符号語と、画面をＩ Ｐｉｃｔｕｒｅ／Ｐ Ｐｉｃｔｕｒｅのいずれで符号化するかを識別する符号を付与する。その後に、複数のスライスが続いて１画面を構成する。通常の解像度では、１画面内に３０個のスライスを含む（４８０走査線／１６画素＝３０）。

上記の画面、スライス、マクロブロックおよびブロックの各段階を次のように符号化する。

1)：通信の最初の画面は、Ｉ Ｐｉｃｔｕｒｅである旨を表示する識別信号を画面先頭信号の直後に伝送した後に、Ｉ Ｐｉｃｔｕｒｅの符号化方式で１画面を伝送する。

2)：Ｉ Ｐｉｃｔｕｒｅは、スライスの先頭を識別するスライスヘッダ、スライス番号を伝送する。Ｉ Ｐｉｃｔｕｒｅでは、全てのマクロブロックが有効マクロブロックなので、初めに、有効マクロブロック間の距離を示すＭＢＡＩとして「１」（符号語では“１”）を伝送する。次に、マクロブロックの符号化タイプを示すＭＴＹＰＥを伝送する。Ｉ ＰｉｃｔｕｒｅのＭＴＹＰＥの符号語は、ＩＮＴＲＡ符号化“１”と量子化パラメータ変更を伴うＩＮＴＲＡ符号化“０１”の２通りがある。

3)：次に、量子化パラメータ変更を伴う場合には、量子化パラメータを伝送した後に、１マクロブロック内の６個のブロックをＤＣＴ変換したＤＣＴ係数を量子化し、符号化して伝送する。

4)：Ｉ Ｐｉｃｔｕｒｅで１画面の伝送が完了した後、Ｐ Ｐｉｃｔｕｒｅである旨を表示する識別信号を画面先頭信号の直後に伝送した後に、Ｐ Ｐｉｃｔｕｒｅ符号化方式で伝送済みの前フレーム信号を参照して現フレームとの差分を符号化する。この時、被写体の動きが激しい領域などでは、フレーム内予測を採用し、動きが少なくフレーム間の相関が大きい領域では、フレーム間予測を採用する。

5)：有効マクロブロックは、Ｐ Ｐｉｃｔｕｒｅ用ＭＴＹＰＥによって符号化方式を指定し、フレーム間予測、動き補償フレーム間予測、フレーム内予測を識別する。ＭＴＹＰＥの要求する符号化方法により、動きベクトル、ＣＢＰ、ＤＣＴ係数などを必要に応じて符号化して伝送する。例えば、ＭＴＹＰＥがＩＮＴＲＡ符号の場合には、3)と同様にマクロブロック内の６個のブロックをＤＣＴ変換したＤＣＴ係数を量子化し、符号化して伝送する。ただし、Ｐ ＰｉｃｔｕｒｅのＩＮＴＲＡ符号化に対するＭＴＹＰＥ符号語は“０００１１”、量子化パラメータの変更を伴うＩＮＴＲＡ符号化のＭＴＹＰＥ符号語は“０００００１”であり、2)と異なる符号語を割り当てる。

6)：以降もＩ ＰｉｃｔｕｒｅとＰ Ｐｉｃｔｕｒｅを伝送する。通信開始時以外でもＩＰｉｃｔｕｒｅを伝送する理由は、送信側が伝送を開始した後に受信側が受信を開始することがあることや、通信の途中で伝送誤りが発生し、伝送誤りの影響が次の画面に伝播することを抑圧するのに、前の画面の影響を受けないＩ Ｐｉｃｔｕｒｅを周期的に伝送する必要があることに拠る。一般的に、Ｉ Ｐｉｃｔｕｒｅを１画面伝送し、その後Ｐ Ｐｉｃｔｕｒｅを１１画面または１４画面伝送する。

以上の性質を利用して、本発明の特徴であるＩ Ｐｉｃｔｕｒｅ内のフレーム内予測符号化信号からＰ Ｐｉｃｔｕｒｅ内のフレーム内予測符号化信号に変換し、符号化信号のままで合成する方法について説明する。

図３において、マイクロプロセッサ９は、より具体的に説明すると、画像符号化信号から「画面先頭符号」を検出し、これを基準として「Ｉ Ｐｉｃｔｕｒｅ識別信号」や「Ｐ Ｐｉｃｔｕｒｅ識別信号」を検出する。

検出した「画面先頭符号」が一画面の左上に挿入すべき画面の場合、「識別信号」を強制的にＰ Ｐｉｃｔｕｒｅに変更する。一方、他の画面の場合には、「画面先頭符号」から付属するパラメータ類の全てを削除する。「識別信号」がＩ Ｐｉｃｔｕｒｅの場合のみＩ ＰｉｃｔｕｒｅからＰ Ｐｉｃｔｕｒｅに変換する。Ｉ ＰｉｃｔｕｒｅからＰ Ｐｉｃｔｕｒｅへの変換方法は以下の通りである。

Ｉ ＰｉｃｔｕｒｅのＩＮＴＲＡ符号化ＭＴＹＰＥを“１”→“０００１１”、量子化パラメータ変更付きのＩＮＴＲＡ符号化ＭＴＹＰＥを“０１”→“０００００１”とする。他のＭＢＡＩ、ＤＣＴ係数や量子化パラメータは、Ｉ ＰｉｃｔｕｒｅとＰ Ｐｉｃｔｕｒｅとで共通なので、そのまま使用する。これらの動作をフローチャートに基づいて説明する。

図５はこの発明に係るＩ ＰｉｃｔｕｒｅからＰ Ｐｉｃｔｕｒｅへの実施の形態変換フローチャート図である。図５において、変換開始時に、ＦＬＡＧ１＝０と初期化し、符号化信号の符号語を解読する。

1)：Ｐ Ｐｉｃｔｕｒｅヘッダの場合には、ＦＬＡＧ１＝０と設定する。

2)：Ｉ Ｐｉｃｔｕｒｅヘッダの場合には、ＦＬＡＧ１＝１に設定し、Ｐ Ｐｉｃｔｕｒｅヘッダに置換（変換）する。

3)：マクロブロックタイプの場合には、ＦＬＡＧ１を検査し、ＦＬＡＧ１＝０（Ｐ Ｐｉｃｔｕｒｅの中のマクロブロックタイプ）ならば、何もしないで次の符号語の解読に進む。一方、ＦＬＡＧ１＝１（Ｉ Ｐｉｃｔｕｒｅ）ならば、Ｐ Ｐｉｃｔｕｒｅ用マクロブロックタイプに置換（変換）する。

4)：その他の符号語の場合には、何もしないで次の符号語の解読に進む。

次に複数の符号化信号の合成について説明する。図６はこの発明に係る符号化信号合成の一実施の形態イメージ図である。（ａ）図に４画面合成における１画面の符号化信号の処理、（ｂ）図に４画面合成の符号化信号の処理を示す。（ａ）図において、縦、横の解像度がそれぞれ、例えば１／２の大きさの画面を符号化する。

通常、スライスの数は、３０個／画面、４５マクロブロック／スライスなので、これを水平、垂直が各々１／２の画面では、１５個／画面、２２マイクロブロック／スライス（小数点以下は切捨て）となる。

（ｂ）図において、スライスの垂直位置は、スライス番号と呼ばれる値で表わす。スライス番号に任意のオフセット値を加算することにより、任意の垂直方向が表示可能となる。水平方向の合成については、同一のスライス番号が付与された２個のスライスを合成する場合、前述のＭＢＡＩによって表示位置を設定することができる。左側に合成するスライスのＭＢＡＩの値は変更しない。右側に合成するスライスの先頭のＭＢＡＩは、左側スライスの長さに相当する値を加算する。

例えば、左側スライスの長さが３５２画素（＝２２ＭＢＡＩ）とした時に、右側に合成すべきスライスの最初のＭＢＡＩを２２＋最初のＭＢＡＩ（通常は１）とする。このような方法により、ＭＰＥＧ−２の復号化は、自動的に、所定の位置にアナログのＴＶ信号を表示させることができる。

例えば、４台のＭＰＥＧ−２符号化装置Ａ，Ｂ，ＣおよびＤから伝送されてくるスライス（ａ１，ａ２，…，ａ１５）、（ｂ１，ｂ２，…，ｂ１５）、（ｃ１，ｃ２，…，ｃ１５）、（ｄ１，ｄ２，…，ｄ１５）のスライスの中で、ＭＰＥＧ−２符号化装置Ｃ，Ｄから伝送されてくるスライス番号に１５を加算した後に、次のように並べ替える。⇒（ａ１，ｂ１，ａ２，ｂ２，…，ａ１５，ｂ１５，ｃ１６，ｄ１６，…，ｃ３０，ｄ３０）。

また、ＭＰＥＧ−２符号化装置Ｂ，Ｄから伝送されてくるスライスの最初のＭＢＡＩを１から２３に置換（変換）する。この結果、ＭＰＥＧ−２符号化装置Ａ，Ｃから伝送されてくるスライスは左端に表示され、ＭＰＥＧ−２符号化装置Ｂ，Ｄから伝送されてくるスライスは２２マクロブロック分だけ右に移動した位置に表示されることになる。

以上の符号化信号合成をフローチャートで説明する。図７はこの発明に係る符号化信号の一実施の形態合成フローチャート図である。図７において、合成開始時に、ＦＬＡＧ２＝０と初期化する。以降符号語を解読する毎似に以下の処理を実行する。

1)：画面ヘッダが解読され、左上に合成するＭＰＥＧ−２符号化装置（例えば、符号化装置Ａ）から伝送されてくる符号化信号の場合には、画面ヘッダの解像度を低解像度から高解像度に変換する。一方、左上に合成する符号化信号でない場合には、画面ヘッダを削除する。これにより、合成する４画面の中で、一つの画面ヘッダのみを高解像度に変換し、他の画面ヘッダを除去する。

2)：スライスヘッダが解読され、画面の上下の何れに合成するかを判定し、下側に合成するべきＭＰＥＧ−２符号化装置Ｃ，Ｄから伝送されてくる符号化信号の場合には、スライス番号に１５を加算して下側に合成する。続いて、画面の左右何れに合成するか判定し、右側に合成するべきＭＰＥＧ−２符号化装置Ｂ，Ｄから伝送されてくる符号化信号の場合には、ＦＬＡＧ２＝１に設定する。

3)：ＭＢＡＩが解読され、ＦＬＡＧ２＝０の場合には、何もしないで次の符号語の解読に進む。一方、ＦＬＡＧ２＝１の場合には、ＭＢＡＩを２３に置換（変換）する。この時に、ＦＬＡＧ２＝０に設定し、スライス内の以降のＭＢＡＩが置換（変換）されないようにする。この結果、右側に合成するスライスの最初のＭＢＡＩのみを２３に置換（変換）し、以降は通常と同様に置換を実行しないことにより、右側に合成すべきスライスを正確に右側に合成することができる。

このように、この発明に係る復号化装置３は、受信した画像符号化信号がフレーム間予測符号化モードの場合には、そのまま画像符号化信号を記憶し、一方、受信した画像符号化信号がフレーム内予測符号化モードの場合には、フレーム間予測符号化モードのフレーム内予測符号化信号に変換する信号変換手段１８を備えたので、受信した画像符号化信号をフレーム間予測モードに統一することができる。

また、この発明に係る復号化装置３は、信号変換手段１８からの画像符号化信号を記憶する記憶手段（画像復号化バッファ１０ａ〜１０ｄ）と、記憶手段に記憶された画像符号化信号を予め設定された順序で読み出すシーケンス手段２０を備えたので、複数の符号化装置（ＭＰＥＧ−２符号化装置Ａ１〜Ａｎ）から伝送される複数の画像符号化信号を単一の高解像度符号化信号に配列することができる。

さらに、この発明に係る復号化装置３は、シーケンス手段２０が読み出した画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するアドレス補正手段１９と、アドレス補正手段１９からの補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成する符号化信号合成手段と、符号化信号合成手段からの高解像度画像符号化信号を元の画像信号に復元する復号化手段（ＭＰＥＧ−２画像復号化器１２）とを備えたので、水平、垂直アドレスに従って複数の画面を任意に配置して高解像度の１画面を表示することができる。

次に、画像信号受信装置の画像符号化信号合成方法について説明する。図８はこの発明に係る画像信号受信装置の画像符号化信号合成方法の一実施の形態要部動作フロー図である。図８において、ステップＳ１では、通信網から複数の画像符号化信号を受信する。なお、ステップＳ１の動作は、通信インタフェース６およびマイクロプロセッサ７が実行する。

ステップＳ２では、受信した画像符号化信号がフレーム間予測符号化モードか否かを判定する。なお、ステップＳ２の動作は、マイクロプロセッサ９の制御手段１７が実行する。

ステップＳ３では、フレーム間予測符号化モードの場合、画像符号化信号をそのまま記憶する。

ステップＳ４では、フレーム内予測符号化モードの場合、フレーム間予測符号化モードのフレーム内予測符号化信号に変換して記憶する。なお、ステップＳ３およびステップＳ４の動作は、マイクロプロセッサ９の信号変換手段１８および画像復号化バッファ１０ａ〜１０ｄが実行する。

ステップＳ５では、画像符号化信号を予め設定された順序で読み出す。なお、ステップＳ５の動作は、マイクロプロセッサ９のシーケンス手段２０が実行する。

ステップＳ６では、画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正する。なお、ステップＳ６の動作は、マイクロプロセッサ９のアドレス補正手段１９が実行する。

ステップＳ７では、補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成する。なお、ステップＳ７の動作は、ＭＰＥＧ−２画像復号化器１２が実行する。

このように、この発明に係る画像信号受信装置の画像符号化信号合成方法は、通信網から複数の画像符号化信号を受信するステップＳ１と、受信した画像符号化信号がフレーム間予測符号化モードか否かを判定するステップＳ２と、フレーム間予測符号化モードの場合、画像符号化信号をそのまま記憶するステップＳ３と、フレーム内予測符号化モードの場合、フレーム間予測符号化モードのフレーム内予測符号化信号に変換して記憶するステップＳ４と、画像符号化信号を予め設定された順序で読み出すステップＳ５と、画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するステップＳ６と、補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成するステップＳ７とを備えたので、ＭＰＥＧ−２の画像符号化信号であってもフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）とフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）の画像符号化信号を合成することができ、装置構成を単純化して利便性の向上を図ることができる。

本発明に係る画像信号受信装置は、ＭＰＥＧ−２の画像符号化信号であってもフレーム内予測モード（Ｉ Ｐｉｃｔｕｒｅ）とフレーム間予測モード（Ｐ Ｐｉｃｔｕｒｅ）の画像符号化信号を合成することができ、１台の装置で装置構成を単純化して利便性の向上を図ることができ、画像符号化信号にＩ ＰｉｃｔｕｒｅおよびＰ Ｐｉｃｔｕｒｅが混在する画像信号送信装置からの画像・音声信号を受信するあらゆる画像信号受信装置に適用することができる。

この発明に係る画像信号受信装置が適用される画像信号伝送システムの構成図 画像信号送信装置の一実施の形態ブロック構成図 この発明に係る画像信号受信装置の一実施の形態要部ブロック構成図 この発明に係るマイクロプロセッサの一実施の形態要部機能ブロック構成図 この発明に係るＩ ＰｉｃｔｕｒｅからＰ Ｐｉｃｔｕｒｅへの実施の形態変換フローチャート図 この発明に係る符号化信号合成の一実施の形態イメージ図 この発明に係る符号化信号の一実施の形態合成フローチャート図 この発明に係る画像信号受信装置の画像符号化信号合成方法の一実施の形態要部動作フロー図

符号の説明

１ 画像信号伝送システム
２ 画像信号受信装置
３ 復号化装置
４ 画像モニタ
５ スピーカ
６ 通信インタフェース
７，９ マイクロプロセッサ
８ 受信バッファ
１０ａ〜１０ｄ 画像復号化バッファ
１１ スイッチ
１２ ＭＰＥＧ−２画像復号化器
１３ Ｄ／Ａ変換器
１４ 輝度色差合成器
１５ 音声符号化バッファ
１６ ＭＰＥＧ−２音声復号化器
１７ 制御手段
１８ 信号変換手段
１９ アドレス補正手段
２０ シーケンス手段
Ｔ１〜Ｔｎ 画像信号送信装置
Ａ１〜Ａｎ ＭＰＥＧ−２符号化装置
Ｂ１〜Ｂｎ カメラ
Ｃ１〜Ｃｎ マイク
ＮＴ 通信網
Ｋ１ 輝度色差分離器
Ｋ２ Ａ／Ｄ変換器
Ｋ３ ＭＰＥＧ−２画像符号化器
Ｋ４ 画像符号化バッファ
Ｋ５ ＭＰＥＧ−２音声符号化器
Ｋ６ 音声符号化バッファ
Ｋ７，Ｋ９ マイクロプロセッサ
Ｋ８ 送信バッファ
Ｋ１０ 通信インタフェース
ＢＡ１，ＢＡ２ 内部バス
ＢＵＳ１，ＢＵＳ２ 制御バス

Claims (5)

1. 複数の符号化装置から伝送される複数の画像符号化信号を受信してフレーム間予測モードに統一した画像符号化信号のままで合成し、単一の画像信号に復元する復号化装置を備えたことを特徴とする画像信号受信装置。
2. 前記復号化装置は、受信した画像符号化信号がフレーム間予測符号化モードの場合には、そのまま画像符号化信号を記憶し、一方、受信した画像符号化信号がフレーム内予測符号化モードの場合には、フレーム間予測符号化モードのフレーム内予測符号化信号に変換する信号変換手段を備えたことを特徴とする請求項１記載の画像信号受信装置。
3. 前記復号化装置は、前記信号変換手段からの画像符号化信号を記憶する記憶手段と、前記記憶手段に記憶された画像符号化信号を予め設定された順序で読み出すシーケンス手段を備えたことを特徴とする請求項１記載の画像信号受信装置。
4. 前記復号化装置は、前記シーケンス手段が読み出した画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するアドレス補正手段と、前記アドレス補正手段からの補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成する符号化信号合成手段と、前記符号化信号合成手段からの高解像度画像符号化信号を元の画像信号に復元する復号化手段と、を備えたことを特徴とする請求項１記載の画像信号受信装置。
5. 画像信号受信装置の画像符号化信号合成方法であって、
   通信網から複数の画像符号化信号を受信するステップ（Ｓ１）と、
   受信した画像符号化信号がフレーム間予測符号化モードか否かを判定するステップ（Ｓ２）と、
   フレーム間予測符号化モードの場合、画像符号化信号をそのまま記憶するステップ（Ｓ３）と、
   フレーム内予測符号化モードの場合、フレーム間予測符号化モードのフレーム内予測符号化信号に変換して記憶するステップ（Ｓ４）と、
   画像符号化信号を予め設定された順序で読み出すステップ（Ｓ５）と、
   画像符号化信号の垂直アドレスや水平アドレスを予め設定されたアドレス番号に補正するステップ（Ｓ６）と、
   補正画像符号化信号を合成し、一つの高解像度画像符号化信号を生成するステップ（Ｓ７）と、
   を備えたことを特徴とする画像信号受信装置の画像符号化信号合成方法。

Images