JP2006067124A

JP2006067124A - 画像符号化データの切り替え方法および装置、システムならびにプログラム

Info

Publication number: JP2006067124A
Application number: JP2004245732A
Authority: JP
Inventors: Hiroaki Idei; 洋明出井; Kazuhiro Koyama; 和広小山; Kazunori Ozawa; 一範小澤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-08-25
Filing date: 2004-08-25
Publication date: 2006-03-09
Also published as: CN100553329C; US7653251B2; CN1741610A; EP1633120A3; KR100763269B1; KR20060053201A; KR20070074510A; EP1633120A2; US20060045363A1

Abstract

【課題】伝送路を経由した会議などの複数のクライアントによる画像符号化データの通信において、クライアントの指定する画像への切り替えを瞬時に行う画像の切り替えを実現し、各クライアントの利用できる符号化方式、符号化設定、符号化オプション、および伝送路の状態が異なっていても互いに通信できるようにするシステムの提供。
【解決手段】変換サーバ１０２および複数のクライアント１０３〜１０７は伝送路１０８に接続されており、クライアントからの画像符号化データを受信した変換サーバは各クライアントで利用可能な符号化方式、符号化設定、符号化オプション、および伝送路の状態に合わせて画像符号化方式を変換して送信し、この際、画像の表示数に制限のあるクライアントに対して画像符号化データのうち選択された複数の画像符号化データを復号し、１つの画像に合成して再符号化して送信する。
【選択図】図１

Description

本発明は、ネットワークで接続された複数の仕様が異なるクライアント間で、画像を用いた会議などの通信を行う際に、それぞれのサポートする符号化方式や符号化設定でやり取りできるよう、画像符号化データの変換を行うと共に、画像の表示数に制限のあるクライアントに対しては、他の会議参加者の画像を任意のタイミングで即時、切り替えられるよう、かつ接続しているクライアントからの画像データのうちのいくつかの画像を組み合わせた合成画像に符号化し直して送信する画像変換方法、およびその装置、ならびにプログラムに関する。

近年、ネットワークを経由し、パケットで画像や音声の符号化データを通信する、いわゆるＶｏＩＰ（Voice over IP）やＴＶｏＩＰ（TV over IP）と呼ばれる双方向通信システムおよび会議システムが急速に普及してきている。こうした通信システムに用いられる符号化方式には、いくつかの種類があるが、例えば動画像の符号化方式として、フレーム間予測に基づいた高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方式では、時間的に前後のフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減する。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での通信を可能としている。

その代表例としてはＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ-４等の圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測を行い、得られた動きベクトルと、予測残差画像データに２次元離散コサイン変換および量子化を施して圧縮した信号データを可変長符号化する。

また、音声に関しても、Ｇ．７２２や、Ｇ．７２９、ＡＭＲ−ＮＢ（Adaptive Multi Rate・Narrow Band）、ＡＭＲ−ＷＢ（Adaptive Multi Rate・Wide Band）や、ＭＰＥＧ−４ＡＡＣ（Advanced Audio Codec）等の音声（音楽）符号化方式があり、それぞれ所定のサンプル量に対して、高い効率の符号化を行い、少ない伝送帯域で音声品質の高い音声データの伝送を可能にしている。

このような画像や音声の符号化データを、パケット交換方式を利用したＩＰ（Internet Protocol）ネットワークへ配信する方法は多数ある。また、第三世代携帯電話では、回線交換（ＣＳ）方式でのＴＶ電話をサポートしている端末があり、これらの携帯電話とＩＰネットワークに接続するＴＶｏＩＰクライアントとを接続するゲートウェイも存在している。今後は、ＣＳ上にパケットを通すか、あるいは携帯電話、および無線チャネルを介して接続する無線基地局共に、オールＩＰ化され、よりＩＰネットワークと携帯電話とが容易に接続できるようになっていくと考えられる。

Handley, M., Schulzrinne, H., Schooler, E., Rosenberg, J., " SIP: Session Initiation Protocol", RFC 2543, March 1999、インターネットＵＲＬ<http://www.ietf.org/ から入手される、http://www.ietf.org/rfc/rfc2543.txt> Handley, M., Jacobson, V., "SDP: Session Description Protocol", RFC 2327, April 1998、インターネットＵＲＬ<http://www.ietf.org/ から入手される、http://www.ietf.org/rfc/rfc2327.txt> Schulzrinne, H., Casner, S., Frederick, R., Jacobson, V., " RTP: A Transport Protocol for Real-Time Applications", RFC 1889, January 1996、インターネットＵＲＬ<http://www.ietf.org/ から入手される、http://www.ietf.org/rfc/rfc1889.txt>

しかしながら、従来のＴＶ会議システムなど、複数のクライアントを接続するサービスでは、互いのサポートする符号化方式や、符号化設定、符号化オプションが異なる場合、互いに画像を使ったやり取りをすることができないため、同一の種別のクライアントのみで会議システムを構築することが多かった。

また、ディスプレイのサイズなどにより、画像の表示数に制限がある場合、利用者の見たい映像を、切り替える処理を会議サーバ、もしくは符号化データ変換サーバで行うことが必要となるが、切り替えのタイミングを、利用者の任意のタイミングで行うと、フレーム間予測符号化の単位であるＧＯＰ（Group Of Picture）の境界でない場合、予測に用いるフレームが切り替わってしまうため、画像の乱れが発生し、次のイントラフレーム符号化データが到着するまで継続してしまう。従って、利用者は必ずしも見たい画像を、望むタイミングで切り替えることができない。

これに対して、切り替えの待機時間を短縮するため、イントラフレーム符号化を行うフレーム数を増やすことで対応することは可能だが、本来、符号化効率が高くないイントラフレーム符号化するフレーム数が増えると、符号化効率が低下し、画像の品質としては低下してしまう。

従って、本発明は、上記の事情を考慮してなされたものであり、本発明の主たる目的は、画像を用いた会議などの複数のクライアントが互いに符号化データをやり取りするシステムにおいて、参加するそれぞれのクライアントのサポートする符号化方式や符号化設定、符号化オプションに合わせて、通信相手のクライアントの符号化データを変換する方法、装置、システム、プログラムを提供することにある。

また、本発明の他の目的は、画像の表示数に制限のあるクライアントに対して、通信を行っている他の複数のクライアントからの画像の中から、当該クライアントの利用者の望む画像を少なくとも１つ選択し、当該クライアント上に表示させる方法、装置、システム、プログラムを提供することにある。

また、本発明のさらに他の目的は、画像の表示数に制限のあるクライアントに対して、現在の表示画像から別の画像への切り替えを行う際、利用者の任意のタイミングで画像の乱れなく素早く切り替える方法、装置、システム、プログラムを提供することにある。

また、本発明のさらに他の目的は、画像の表示数に制限のあるクライアントに対して、利用者の望む複数のクライアントからの画像データを合成して、１つの画像として出力する方法、装置、システム、プログラムを提供することにある。

また、本発明のさらに他の目的は、無線などの不安定な伝送路を経由した画像データのやり取りを行うクライアントに対して、より安定した品質の画像での通信を行う方法、装置、システム、プログラムを提供することにある。

前記課題の少なくとも１つを解決する本発明の１つのアスペクトに係る方法は、
Ｍを２以上の任意の整数として、
Ｍ個の画像符号化データを受信する少なくとも１つのステップと、
受信したＭ個の画像符号化データの少なくとも１つを復号するステップと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して再符号化する少なくとも１つのステップと、
再符号化された符号化データを出力する少なくとも１つのステップと、
出力する符号化データの少なくとも１つを外部からの要求により切り替えるステップと、
を含む。

本発明の他のアスペクトに係る装置は、Ｍを２以上の整数、Ｎを１以上の整数として、
Ｍ個の画像符号化データを受信するユニットと、
受信したＭ個の画像符号化データを復号するＭ個のユニットと、
復号されたＭ個のデータを、受信した符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化、もしくは符号化データの変換をするＮ個のユニットと、
再符号化された符号化データを出力するＮ個のユニットと、
を備えている。さらに、復号された複数の符号化データを組み合わせて１つの画像を作成するユニットと、少なくとも１つの出力画像を、他の入力画像と切り替えるユニットと、を備えていてもよく、Ｍ個の画像符号化データを変換して生成したＮ個の符号化データを出力する。

本発明のさらに他のアスペクトに係るコンピュータ・プログラムは、画像符号化データの切り替えを行う装置を構成するコンピュータに、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信する処理と、
受信したＭ個の画像符号化データの少なくとも１つを復号する処理と、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して再符号化する処理と、
再符号化された符号化データを出力する処理と、
出力する符号化データの少なくとも１つを、装置外部からの要求により切り替える処理と、
を実行させるプログラムよりなる。

本発明のさらに別のアスペクトに係るサーバは、複数のクライアントと伝送路を介して接続される変換サーバであって、前記クライアントからの画像符号化データを受信する手段と、受信した画像符号化データを、各クライアントで利用可能な符号化方式、符号化設定、符号化オプション、および、前記伝送路の状態のうちの少なくとも１つに合わせて画像符号化方式を変換して送信する手段と、画像の表示数に制限のあるクライアントに対しては、前記画像符号化データのうち、選択された複数の画像符号化データを復号して１つの画像に合成し再符号化して送信する手段と、を備えている。本発明に係る変換サーバにおいて、接続クライアント台数分の復号処理部を備え、各クライアントからの画像符号化データを復号しておき、前記クライアントから表示画像の切り替え要求があった場合、切り替えのタイミングで、切り替え先の画像の復号画像データをイントラフレーム符号化して送信する手段を備えている構成としてもよい。

以上説明したように、本発明を用いれば、画像を用いた双方向通信クライアントが複数、参加する会議などのサービスにおいて、それぞれのクライアントがサポートする符号化方式や符号化設定、符号化オプションが異なっている場合も、お互いのやり取りを実現することができる。

また、本発明を用いれば、画像の表示数に制限のあるクライアントに対して、通信を行っている他の複数のクライアントからの画像の中から、当該クライアントの利用者の望む画像を少なくとも１つ選択し、当該クライアント上に表示させることができる。

また、本発明を用いれば、画像の表示数に制限のあるクライアントに対して、現在の表示画像から別の画像への切り替えを行う際、利用者の任意のタイミングで画像の乱れなく素早く切り替えることができる。

また、本発明を用いれば、画像の表示数に制限のあるクライアントに対して、利用者の望む複数のクライアントからの画像データを合成して、１つの画像として表示させることができる。

また、本発明を用いれば、無線などの不安定な伝送路を経由した画像データのやり取りを行うクライアントに対して、より安定した品質の画像での通信を行うことができる。

本発明に好適な実施の形態について説明する。本発明の第１の実施の形態に係る画像切換えを行うシステムにおいて、Ｍを２以上の整数、Ｎを１以上の整数として、
Ｍ個の画像符号化データを受信するユニットと、
受信した符号化データを復号するＭ個のユニットと、
復号されたＭ個のデータを、受信した符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化するＮ個のユニットと、
再符号化された符号化データを出力するＮ個のユニットと、
を備えている。さらに、復号された複数の符号化データを組み合わせて１つの画像を作成するユニットと、少なくとも１つの出力画像を、他の入力画像と切り替えるユニットと、を備えていてもよく、Ｍ個の画像符号化データを変換して生成したＮ個の符号化データを出力する。

次に本実施の形態の実施例を、本発明の第１の実施例として図面を参照しながら説明する。

図１は、本発明の第１の実施例を示している。図１に示すように、会議サーバと、変換サーバと、Ａクライアントと、Ｂクライアントと、伝送路から構成されている。会議サーバと、変換サーバは、一体化した同じサーバであってもよい。

本実施例では、会議サーバ１０１、変換サーバ１０２、第１のＡクライアント１０３乃至第ＭのＡクライアント１０５、および、第１のＢクライアント１０６乃至第ＮのＢクライアント１０７は、ＩＰ（Internet Protocol）網である伝送路１０８に接続されており、各クライアントは、パケット交換により符号化データ、および、呼接続データを送受信する端末であり、会議サーバ１０１は、例えばＳＩＰ（Session Initiation Protocol）／ＳＤＰ（Session Description Protocol）による呼接続データを処理して各クライアントと会議サーバ１０１との間の通信路を確立する。

なお、本実施例では、Ａクライアントは複数の画像符号化データを復号、表示することができ、Ｂクライアントは、１つの画像符号化データのみ、復号、表示できることとする。そのため、Ａクライアントは、会議サーバ１０１へ、自己の画像符号化データ１つを送信し、会議サーバ１０１から他のクライアントの複数の画像符号化データを受信する。

Ｂクライアントは、自己の画像データ１つを変換サーバ１０２へ送信し、変換サーバ１０２から他のクライアントの画像符号化データのうち１つを選択して受信することとする。

ここで、ＡクライアントとＢクライアントは、異なった種別のクライアントであり、サポートする符号化方式、符号化設定、画像サイズ、もしくは表示画像数の少なくとも１つが異なっている。そのため、Ａクライアント間、およびＢクライアント間では、会議サーバ１０１経由で符号化データを互いにやり取りすることが可能だが、ＡクライアントとＢクライアント間で画像符号化データをやり取りするには、変換サーバ１０２により、一方の符号化データを、他方のサポートする符号化データに変換する必要がある。

変換サーバ１０２は、第１のＡクライアント１０３乃至第ＭのＡクライアント１０５の出力する画像符号化データを受信し、第１のＢクライアント１０６乃至第ＮのＢクライアント１０７のサポートする画像符号化データに変換して出力する。

また、第１のＢクライアント１０６乃至第ＮのＢクライアント１０７の出力する画像符号化データを受信し、第１のＡクライアント１０３乃至第ＭのＡクライアント１０５のサポートする画像符号化データに変換して出力する。

この際、例えばＢクライアントのディスプレイが小さく、表示画面が１つしか設けられない場合、Ｂクライアントの利用者の要求に応じて、会議に参加している他のＡクライアント、もしくはＢクライアントの画像符号化データのうち１つを選択して、当該Ｂクライアントに出力することができる。

あるいは、Ｂクライアントへの出力画像データの選択は、会議サーバ１０１が行ってもよく、例えば、会議参加クライアントのうち、議長の役割を担う利用者の画像をＢクライアントへ送信するよう要求したり、会議参加クライアントの利用者のうち、発言者の画像をＢクライアントへ送信するよう求めてもよい。

図２を用いて、変換サーバ２０１について説明する。変換サーバ２０１は、接続処理部２０２、第１の受信部２０３乃至第Ｍの受信部２０５、トランスコーダ２０６、第１の送受信部２０７乃至第Ｎの送受信部２０８、第１の送信部２０９乃至第Ｎの送信部２１０を備えて構成されている。

接続処理部２０２は、会議サーバ１０１、および、各Ａクライアント、各Ｂクライアントと、セッション確立、各クライアントの能力情報の交換など、呼接続に関する情報を例えばＳＩＰ／ＳＤＰにより行い、会議に参加するクライアントの情報を得る（ＳＩＰ／ＳＤＰの詳細については、例えば上記非特許文献１や非特許文献２が参照される）。

ここで、第１の受信部２０３乃至第Ｍの受信部２０５は、接続処理部２０２で得たセッションに関する情報、あるいはあらかじめ定められた設定に基づき、それぞれ第１のＡクライアント１０３乃至第ＭのＡクライアント１０５から送信され、会議サーバで受信されて変換サーバ２０１に送られた符号化データを受信し、第１の送受信部２０７乃至第Ｎの送受信部２０８は、それぞれ第１のＢクライアント１０６乃至第ＮのＢクライアント１０７から符号化データを受信する。

データの送受信は、例えばＲＴＰ（Real-Time Transport Protocol）／ＵＤＰ（User Datagram Protocol）／ＩＰで行うことで、伝送路でパケットの順序の入れ替えが発生した場合も、正しい順序に並べ替えたり、画像だけでなく、音声などの画像以外のメディアの符号化データの変換を行う場合に、メディア間の同期を揃えたりすることが可能になる（ＲＴＰの詳細については、例えば上記非特許文献３が参照される）。

トランスコーダ２０６は、接続処理部２０２で得た、各クライアントでサポートする能力情報である、符号化方式や符号化設定、符号化オプションに関する情報、もしくは、あらかじめ設定された情報に基づき、入力されたＡクライアントの符号化データをＢクライアントのサポートする符号化方式、符号化設定、符号化オプションの符号化データに変換し、出力する。

また、その逆に、Ｂクライアントからの符号化データを入力し、Ａクライアントのサポートする符号化方式、符号化設定、符号化オプションの符号化データに変換して出力する。

ここで、符号化方式とは、例えば、ＭＰＥＧ−４や、Ｈ．２６３、Ｈ．２６４などの符号化方式名や、レベル、プロファイルなどを意味する。

符号化設定とは、
・ビットレート、
・画像サイズ（解像度）、
・フレームレート、
・イントラフレーム間隔、
などを意味する。

符号化オプションとは、
・再同期マーカの有無、
・ビデオパケットサイズ、
・データ・パーティショニングの有無、
・ＲＶＬＣ（Reversible VLC）の有無、
・ＨＥＣ（Header Extension Code）の有無、
・スタッフィングデータの有無、
などを意味している。

Ｂクライアントに合わせて変換された符号化データは、第１の送受信部２０７乃至第Ｎの送受信部２０８から第１のＢクライアント１０６乃至第ＮのＢクライアント１０７へ送信され、Ａクライアントに合わせて変換された符号化データは、第１の送信部２０９乃至第Ｎの送信部２１０から会議サーバ１０１へ送信される。

図２では、第１の受信部２０３乃至第Ｍの受信部２０５、および、第１の送信部２０９乃至第Ｎの送信部２１０が、それぞれ独立して、会議サーバ１０１とのセッションを用いているが、受信および送信するセッションを、それぞれ１つ、もしくは、Ｍ個以下の受信セッションと、Ｎ個以下の送信セッションとしてもよい。

この場合、受信セッションから受信された複数の符号化データを分離してトランスコーダ２０６へ渡す処理と、トランスコーダ２０６からの変換後の複数の符号化データを、多重化して送信セッションへ渡す処理が必要となる。

多重／分離の方法としては、ＲＴＰのヘッダに含まれる、ペイロードタイプや、ＳＳＲＣ（Synchronization Source identifier）、ＣＳＲＣ（Contributing Source identifier）を用いて、それぞれの符号化データを識別する方法がある。これらの識別子によって、受信データを識別する場合、例えばＳＤＰで受信するデータごとに識別子を記述することで、通信相手に符号化データの情報を通知することができる。

さらにトランスコーダの動作を、図３を参照して、詳しく説明する。以下の説明では、説明の簡単のため、Ｍを４とし、Ｎを２として説明するが、Ｍ、Ｎがこれらの値に限定されないことは勿論である。また、一方のクライアント種別（ここでは、Ａクライアント）の符号化データを受信し、他方のクライアント種別（ここでは、Ｂクライアント）のサポートする符号化方式に合わせて変換、出力する一方向のみの説明をするが、逆方向についても、必要に応じて同様の処理を行って変換をする。

図３に示すように、トランスコーダ３０１は、それぞれの受信部に対応する第１の復号処理部３０２乃至第４の復号処理部３０５で、受信した符号化データを復号する。

復号された復号画像データは、それぞれ第１乃至第４の復号データバッファへと送られる。なお、ここでは、復号した画像データとして、ＹＵＶ復号画像データを得るとして説明するが、他の例えばＲＧＢなどの形式であっても同様である。

第Iの画像選択・合成部３１０および、第IIの画像選択・合成部３１１は、第１の復号データバッファ３０６乃至第４の復号データバッファ３０９のいずれかから復号画像データを読み込み、第Ｉの符号化処理部３１２および第IIの符号化処理部３１３へ出力する。どの復号画像データを選択するかは、接続処理部を通して通知される符号化データを出力するクライアントの要求に従うか、もしくはあらかじめ定めておいてもよい。

第Iの符号化処理部３１２および第IIの符号化処理部３１３は、選択された復号画像データを、Ｂクライアントのサポートする符号化方式、符号化設定および、符号化オプションに沿って再符号化し、出力する。

なお、例えばＢクライアントが無線伝送路などの不安定な伝送路を経由したセッションで接続されている場合、符号化の際にイントラフレームの間隔を短くしたり、ビデオパケットサイズを小さくしたり、インターフレームに含まれるイントラマクロブロックの数を増やしたりすることで、より伝送路でのデータの誤りや損失に対して安定した品質の画像通信をすることができる。

さらに、第Iの画像選択・合成部３１０乃至第IIの画像選択・合成部３１１は、同じくクライアントの要求、もしくはあらかじめ定められた設定により、複数の復号画像を組み合わせて合成し、出力してもよい。

本実施例では、例えば第１の復号データバッファ３０６乃至第４の復号データバッファ３０９にバッファリングされている復号画像を、それぞれ１／４に縮小して並べることで、４つの画像を１つの画像とし、符号化処理部へ出力すれば、例えばＢクライアントに、表示画像数の制限があり、１つの画像しか表示できない場合でも、同時に４つの全ての画像を確認することができるようになる。

また、Ｂクライアントが表示する４つの画像を合成した画像の中に、他の、もしくは自らのＢクライアント画像を含める場合、画像選択・合成部３１０又は３１１において、第Iの復号処理部３１４、第IIの復号処理部３１５で復号された、Ｂクライアントの画像データをそれぞれ格納する第Iの復号データバッファ３１６、第IIの復号データバッファ３１７から読み込み、同様の処理を行えばよい。なお、Ｂクライアントにおいて、他の、もしくは自らのＢクライアント画像を含めない場合は、この部分（第I、第IIの復号処理部３１４、３１５、第I、第IIの復号データバッファ３１６、３１７）は不要とされる。

受信画像符号化データ数が４より大きい（Ｍ＞４）場合、Ｂクライアントからの要求で受信画像符号化データの中から任意の画像を４つ選択するか、あるいはクライアントごとにあらかじめ定められた画像を選択して組み合わせてもよいし、４つ以上の画像を組み合わせて、１つの画像を生成してもよい。

次に、第Iの画像選択・合成部３１０および第IIの画像選択・合成部３１１で、選択している画像を切り替える処理について図を用いて説明する。

ある画像符号化データから別の画像符号化データへ切り替えるには、従来、図４に示すように、切り替え要求に対して、実際の切り替えまでの時間差が発生していた。図のＩはイントラフレーム、すなわちＩピクチャを表し、ＰはＰ（Predictive）ピクチャを表している。これは、第１の画像符号化データ４０１から第２の画像符号化データ４０２へ切り替える際に、イントラ（Ｉ）フレーム符号化データの先頭で切り替えなければ、予測を用いて符号化された以降のフレームを正しく復号できないためである。

符号化効率を高くするため、イントラフレーム間隔を長く取った符号化データの場合は、切り替え要求から切り替え実施までの時間差が大きくなってしまう恐れがあり、そもそも符号化データの先頭にのみ、イントラフレーム符号化データが存在する符号化データへ切り替える場合、切り替え時に必ず画像の乱れが発生してしまう。

これに対して、本発明によれば、受信した画像符号化データを、一度、復号し、再符号化して画像を切り替えるため、切り替えのタイミングで、イントラフレーム符号化することが可能であり、切り替え要求に対して、最低限の時間で、画像を切り替えることが可能になる。

図５に示すように、第１の画像符号化データ５０１および第２の画像符号化データ５０４は、それぞれ復号され、第１の画像復号データ５０２、および第２の画像復号データ５０５となる。

図５において、Ｉ、Ｐのフレームは、図４と同様、Ｉピクチャ、Ｐピクチャをそれぞれ表している。これを、出力先のクライアントがサポートする画像符号化方式、画像符号化設定、画像符号化オプションに基づいて、それぞれ第１の画像再符号化データ５０３、および第２の画像再符号化データ５０６のように再符号化する。

第１の画像再符号化データ５０３から、第２の画像再符号化データ５０６への切り替え要求があった場合、切り替え先の画像符号化データである第２の画像再符号化データ５０６は、第２の画像復号データ５０５から再符号化する際に、要求のタイミングでフレームをイントラフレーム符号化する。これにより、第２の画像再符号化データ５０６への即時の切り替えを行っても、以降のフレームの予測符号は正しく復号することができ、画像の乱れのない切り替えを行うことができる。

なお、そもそも、クライアントが切り替え元の画像符号化データを変換しなくても復号できる場合、第１の画像符号化データ５０１は復号および再符号化する必要はない。

また、図６に示すように、Ｉ、Ｐピクチャのみでなく、双方向予想を行うＢ（Bi-directionally predictive）ピクチャを含む画像符号化データを切り替える場合、切り替え元の画像符号化データを再符号化する際にも、フレームタイプの変更を行う。

第１の画像符号化データ６０１および第２の画像符号化データ６０４は、それぞれ復号され、第１の画像復号データ６０２および、第２の画像復号データ６０５となる。これを、出力先のクライアントがサポートする画像符号化方式、画像符号化設定、画像符号化オプションに基づいて、それぞれ第１の画像再符号化データ６０３、および、第２の画像再符号化データ６０６のように再符号化する。

第１の画像再符号化データ６０３から、第２の画像再符号化データ６０６への切り替え要求があった場合、切り替え先の画像符号化データである第２の画像再符号化データ６０６を、第２の画像復号データ６０５から再符号化する際に、要求のタイミングでフレームをイントラフレーム符号化するだけでなく、切り替え元の第１の画像再符号化データ６０３を、第１の画像復号データ６０２から再符号化する際に、要求のタイミングの直前のフレームをＰピクチャとなるよう符号化する。これにより、第１の画像再符号化データ６０３の切り替え間の最後のＢピクチャも、正しく復号することができ、画像の乱れなく切り替えることができる。

前述した無線伝送路などの不安定な伝送路を経由した会議サービスとしては、ＩＥＥＥ８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を用いるクライアントだけでなく、図７に示すようなシステム構成により、回線交換方式を用いた携帯電話を用いることもできる。

図７に示す構成の場合、ゲートウェイ７０１は、回線交換とパケット交換とのプロトコル変換（例えば、Ｈ．２２３により多重化されたデータの分離とパケット化など）、および呼の確立処理（Ｈ．２４５メッセージのＳＩＰ／ＳＤＰとの変換）を行う。第１のＣクライアント７０２乃至第ＮのＣクライアント７０３は、ＴＶ電話機能を有する携帯電話とする。この場合、変換サーバ１０２での画像の選択や合成、符号化方式（例えばレベル）や符号化設定（例えば画像サイズやビットレート）、符号化オプションの違いを変換することにより、Ｃクライアントの会議への参加が可能となる。

なお、本実施例において、例えばＡクライアントは、Ｂクライアントの出力する画像符号化データをそのまま復号できる場合、逆方向の変換処理は不要になる。この場合、図８に示すような変換サーバの構成とすることができ、第１の送受信部８０３乃至第Ｎの送受信部８０４は、第１のＢクライアント１０６乃至第ＮのＢクライアント１０７からの符号化データを、複数画像を合成して１つの画像を作成するため、トランスコーダ８０２に出力するのと同時に、第１の送信部２０９乃至第Ｎの送信部２１０へと出力する。

なお、Ｂクライアントが１つ以上の画像を表示でき、例えば画像表示数を２とした場合、図２における送受信部および、図３における画像選択・合成部、符号化処理部を２Ｎ個、すなわち、Ｂクライアントの全ての画像表示数に等しい個数を用意すれば、同様の効果を得ることができる。

あるいは、複数のＢクライアントもしくはＣクライアントが同じ画像データへの切り替えを要求した場合、図３における同一の符号化処理部の出力を、これらのクライアントへ送信することができ、符号化処理の処理量を削減することができる。この際、これらのクライアントの切り替え要求のタイミングが同時でない場合、符号化処理部は、それぞれのクライアントの切り替え要求タイミングごとに、イントラフレーム符号化を行ったデータを出力するようにすれば、いずれのクライアントでも、画像の乱れのない、素早い切り替えをすることが可能となる。

また、図７に示す構成に、さらに図１、図２に示すようなＢクライアントが加わり、３つ以上の種別のクライアントが参加する会議であっても、変換サーバで同様の処理を行うことで、互いのやり取りが可能となることは勿論である。

また、変換サーバ２０１における、接続処理部２０２と、第１乃至第Ｍの受信部２０３乃至２０５と、トランスコーダ２０６と、第１乃至第Ｎの送受信部２０７乃至２０８について、変換サーバ２０１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。

以上、本発明を上記実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

本発明の第１の実施の形態のシステム構成を示す図である。本発明の一実施例の変換サーバの構成を示す図である。本発明の一実施例のトランスコーダの構成を示す図である。画像符号化データの切り替えを説明するための説明図である。本発明の一実施例における画像切り替えを説明するための説明図である。本発明の一実施例における別の画像切り替えを説明するための説明図である。本発明の別の実施例のシステム構成を示す図である。本発明の別の実施例の変換サーバの構成を示す図である。

符号の説明

１０１会議サーバ
１０２変換サーバ
１０３第１のＡクライアント
１０４第２のＡクライアント
１０５第ＭのＡクライアント
１０６第１のＢクライアント
１０７第ＮのＢクライアント
１０８伝送路
２０１、８０１変換サーバ
２０２接続処理部
２０３第１の受信部
２０４第２の受信部
２０５第Ｍの受信部
２０６、８０２トランスコーダ
２０７、８０３第１の送受信部
２０８、８０４第Ｎの送受信部
２０９第１の送信部
２１０第Ｎの送信部
３０１トランスコーダ
３０２第１の復号処理部
３０３第２の復号処理部
３０４第３の復号処理部
３０５第４の復号処理部
３０６第１の復号データバッファ
３０７第２の復号データバッファ
３０８第３の復号データバッファ
３０９第４の復号データバッファ
３１０第Ｉの画像選択・合成部
３１１第IIの画像選択・合成部
３１２第Ｉの符号化処理部
３１３第IIの符号化処理部
３１４第Ｉの復号処理部
３１５第IIの復号処理部
３１６第Ｉの復号データバッファ
３１７第IIの復号データバッファ
４０１第１の画像符号化データ
４０２第２の画像符号化データ
５０１第１の画像符号化データ
５０２第１の画像復号データ
５０３第１の画像再符号化データ
５０４第２の画像符号化データ
５０５第２の画像復号データ
５０６第２の画像再符号化データ
６０１第１の画像符号化データ
６０２第１の画像復号データ
６０３第１の画像再符号化データ
６０４第２の画像符号化データ
６０５第２の画像復号データ
６０６第２の画像再符号化データ
７０１ゲートウェイ
７０２第１のＣクライアント
７０３第ＮのＣクライアント

Claims

Ｍを２以上の任意の整数として、
Ｍ個の画像符号化データを受信する少なくとも１つのステップと、
受信したＭ個の画像符号化データの少なくとも１つを復号するステップと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化する少なくとも１つのステップと、
再符号化された画像符号化データを出力する少なくとも１つのステップと、
出力する画像符号化データの少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
Ｍを２以上、Ｎを１以上の任意の整数として、
Ｍ個の画像符号化データを受信するステップと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のステップと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化するＮ個のステップと、
再符号化された画像符号化データを出力するＮ個のステップと、
出力するＮ個の画像符号化データのうち少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
Ｍを２以上の任意の整数として、
多重化されたＭ個の画像符号化データを受信し分離する少なくとも１つのステップと、
受信したＭ個の画像符号化データの少なくとも１つを復号するステップと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化する少なくとも１つのステップと、
再符号化された画像符号化データを多重化して出力する少なくとも１つのステップと、
出力する画像符号化データの少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
Ｍを２以上、Ｎを１以上の任意の整数として、
多重化されたＭ個の画像符号化データを受信し分離する少なくとも１つのステップと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のステップと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化するＮ個のステップと、
再符号化されたＮ個の画像符号化データを多重化して出力する少なくとも１つのステップと、
出力するＮ個の画像符号化データのうち少なくとも１つを、外部からの要求により、切り替えるステップと、
を含む、ことを特徴とする画像切り替え方法。
前記再符号化の際に、前記Ｍ個の画像符号化データのうち複数の画像符号化データを復号し、得られた復号画像のうち２つ以上を組み合わせて１つ以上Ｍ個未満の画像を生成し、再符号化する、ことを特徴とする請求項１乃至４のいずれか一に記載の画像切り替え方法。
前記再符号化の際に、
（ア）イントラフレーム間隔の短縮、
（イ）ビデオパケットサイズの縮小、
（ウ）イントラマクロブロック数の増加、
の少なくとも１つを行う、ことを特徴とする請求項１乃至５のいずれか一に記載の画像切り替え方法。
前記画像符号化データを送受信するクライアントからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って通信相手のクライアントへ出力する、ことを特徴とする請求項１乃至６のいずれか一に記載の画像切り替え方法。
前記クライアントからの要求に応じ、前記クライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える、ことを特徴とする請求項７記載の画像切り替え方法。
前記画像符号化データを中継する会議サーバからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って会議に参加するクライアントへ出力する、ことを特徴とする請求項１乃至８のいずれか一に記載の画像切り替え方法。
会議サーバからの要求に応じ、会議に参加しているクライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える、ことを特徴とする請求項１乃至９のいずれか一に記載の画像切り替え方法。
前記要求による画像符号化データの切り替えの際、切り替え先の画像の復号画像データを、イントラフレーム符号化してから切り替える、ことを特徴とする請求項８に記載の画像切り替え方法。
前記要求による画像符号化データの切り替えの際、切り替え元の画像の復号画像データを、所定のフレームタイプで符号化して切り替える、ことを特徴とする請求項８または９に記載の画像切り替え方法。
画像符号化データの切り替えを行う装置であって、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信する少なくとも１つのユニットと、
受信したＭ個の画像符号化データの少なくとも１つを復号するユニットと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化する少なくとも１つのユニットと、
再符号化された画像符号化データを出力する少なくとも１つのユニットと、
出力する画像符号化データの少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
画像符号化データの切り替えを行う装置であって、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信するユニットと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のユニットと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化するＮ個（ただし、Ｎは１以上の任意の整数）のユニットと、
再符号化されたＮ個の符号化データをそれぞれ出力するＮ個のユニットと、
出力するＮ個の画像符号化データのうち少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
画像符号化データの切り替えを行う装置であって、
多重化されたＭ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信し分離する少なくとも１つのユニットと、
受信したＭ個の画像符号化データの少なくとも１つを復号するユニットと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化する少なくとも１つのユニットと、
再符号化された画像符号化データを多重化して出力する少なくとも１つのユニットと、
出力する画像符号化データの少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
画像符号化データの切り替えを行う装置であって、
多重化されたＭ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信し分離する少なくとも１つのユニットと、
受信したＭ個の画像符号化データをそれぞれ復号するＭ個のユニットと、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化するＮ個（ただし、Ｎは１以上の任意の整数）ユニットと、
再符号化されたＮ個の符号化データを多重化して出力する少なくとも１つのユニットと、
出力するＮ個の画像符号化データのうち少なくとも１つを、装置外部からの要求により、切り替えるユニットと、
を備えている、ことを特徴とする画像切り替え装置。
前記再符号化するユニットは、再符号化の際に、前記Ｍ個の画像符号化データのうち、複数の画像符号化データを復号し、
得られた復号画像のうち、２つ以上を組み合わせて、１つ以上Ｍ個未満の画像を生成し、再符号化する、ことを特徴とする請求項１３乃至１６のいずれか一に記載の画像切り替え装置。
前記再符号化するユニットは、前記再符号化の際に、
（ア）イントラフレーム間隔の短縮、
（イ）ビデオパケットサイズの縮小、
（ウ）イントラマクロブロック数の増加、
の少なくとも１つを行う、ことを特徴とする請求項１３乃至１７のいずれか一に記載の画像切り替え装置。
前記画像符号化データを送受信するクライアントからの要求に応じて、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択して前記変更を行い、通信相手のクライアントへ出力する請求項１３乃至１８のいずれか一に記載の画像切り替え装置。
前記クライアントからの要求に応じ、クライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える、ことを特徴とする請求項１９に記載の画像切り替え装置。
前記画像符号化データを中継する会議サーバからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って会議に参加するクライアントへ出力する、ことを特徴とする請求項１３乃至２０のいずれか一に記載の画像切り替え装置。
会議サーバからの要求に応じ、会議に参加するクライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える、ことを特徴とする請求項１３乃至２１のいずれか一に記載の画像切り替え装置。
前記要求による画像符号化データの切り替えの際、切り替え先の画像の復号画像データを、イントラフレーム符号化してから切り替える、ことを特徴とする請求項２０に記載の画像切り替え装置。
前記要求による画像符号化データの切り替えの際、切り替え元の画像の復号画像データを、所定のフレームタイプで符号化して切り替える、ことを特徴とする請求項２０または２１に記載の画像切り替え装置。
画像符号化データの切り替えを行う装置を構成するコンピュータに、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信する処理と、
受信したＭ個の画像符号化データの少なくとも１つを復号する処理と、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して再符号化する処理と、
再符号化された画像符号化データを出力する処理と、
出力する画像符号化データの少なくとも１つを、装置外部からの要求により切り替える処理と、
を実行させるプログラム。
画像符号化データの切り替えを行う装置を構成するコンピュータに、
多重化されたＭ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信し分離する処理と、
受信したＭ個の画像符号化データの少なくとも１つを復号する処理と、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化する処理と、
再符号化された画像符号化データを多重化して出力する処理と、
出力する画像符号化データの少なくとも１つを、装置外部からの要求により切り替える処理と、
を実行させるプログラム。
請求項２５又は２６記載のプログラムにおいて、
前記再符号化する処理が、前記Ｍ個の画像符号化データのうち、複数の画像符号化データを復号し、得られた復号画像のうち、２つ以上を組み合わせて、１つ以上Ｍ個未満の画像を生成し、再符号化する、ことを特徴とするプログラム。
請求項２５又は２６記載のプログラムにおいて、
前記再符号化する処理が、
（ア）イントラフレーム間隔の短縮、
（イ）ビデオパケットサイズの縮小、
（ウ）イントラマクロブロック数の増加、
の少なくとも１つを行う、ことを特徴とするプログラム。
請求項２５乃至２８のいずれか一に記載のプログラムにおいて、
前記画像符号化データを送受信するクライアントからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って通信相手のクライアントへ出力する処理を、前記コンピュータに実行させるプログラム。
請求項２９に記載のプログラムにおいて、
前記クライアントからの要求に応じ、前記クライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える処理を、前記コンピュータに実行させるプログラム。
請求項２５乃至３０のいずれか一に記載のプログラムにおいて、
前記画像符号化データを中継する会議サーバからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って会議に参加するクライアントへ出力する処理を、前記コンピュータに実行させるプログラム。
請求項２５乃至３１のいずれか一に記載のプログラムにおいて、
会議サーバからの要求に応じ、会議に参加しているクライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える処理を、前記コンピュータに実行させるプログラム。
請求項３０に記載のプログラムにおいて、
前記要求による画像符号化データの切り替えの際、切り替え先の画像の復号画像データを、イントラフレーム符号化してから切り替える処理を、前記コンピュータに実行させるプログラム。
請求項３０又は３１に記載のプログラムにおいて、
前記要求による画像符号化データの切り替えの際、切り替え元の画像の復号画像データを、所定のフレームタイプで符号化して切り替える処理を、前記コンピュータに実行させるプログラム。
複数のクライアントと変換サーバとが伝送路に接続され、少なくとも画像符号化データを伝送する情報通信システムにおいて、
前記変換サーバが、
Ｍ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信する手段と、
受信したＭ個の画像符号化データの少なくとも１つを復号する手段と、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して再符号化する手段と、
再符号化された画像符号化データを出力する手段と、
出力する画像符号化データの少なくとも１つを、前記変換サーバ外部からの要求により切り替える手段と、
を備えている、ことを特徴とする情報通信システム。
複数のクライアントと変換サーバとが伝送路に接続され、少なくとも画像符号化データを伝送する情報通信システムにおいて、
前記変換サーバが、多重化されたＭ個（ただし、Ｍは２以上の任意の整数）の画像符号化データを受信し分離する手段と、
受信したＭ個の画像符号化データの少なくとも１つを復号する手段と、
復号されたデータを、受信した画像符号化データとは、
（ア）符号化方式、
（イ）符号化ビットレート、
（ウ）画像サイズ、
（エ）フレームレート、
（オ）プロファイル、
（カ）レベル、
（キ）符号化オプション、
（ク）ビデオパケットサイズ、
（ケ）符号化フレームタイプ構成、
（コ）イントラフレーム間隔、
（サ）イントラマクロブロック数、
の少なくとも１つを変更して、再符号化する手段と、
再符号化された画像符号化データを多重化して出力する手段と、
出力する画像符号化データの少なくとも１つを、前記変換サーバ外部からの要求により切り替える手段と、
を備えている、ことを特徴とする情報通信システム。
前記再符号化する手段が、前記Ｍ個の画像符号化データのうち、複数の画像符号化データを復号し、得られた復号画像のうち、２つ以上を組み合わせて、１つ以上Ｍ個未満の画像を生成し、再符号化する、ことを特徴とする請求項３５又は３６記載の情報通信システム。
前記再符号化する手段が、
（ア）イントラフレーム間隔の短縮、
（イ）ビデオパケットサイズの縮小、
（ウ）イントラマクロブロック数の増加、
の少なくとも１つを行う、ことを特徴とする請求項３５又は３６記載の情報通信システム。
前記変換サーバが、前記画像符号化データを送受信するクライアントからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って通信相手のクライアントへ出力する手段を備えている、ことを特徴とする請求項３５乃至３８のいずれか一に記載の情報通信システム。
前記変換サーバが、前記クライアントからの要求に応じ、前記クライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの、他の画像に切り替える手段を備えている、ことを特徴とする請求項３９記載の情報通信システム。
前記伝送路に接続する会議サーバを備え、
前記変換サーバが、前記画像符号化データを中継する前記会議サーバからの要求に応じ、前記Ｍ個の画像符号化データのうちの少なくとも１つの画像を選択し、前記変更を行って会議に参加するクライアントへ出力する手段を備えている、ことを特徴とする請求項３５乃至４０のいずれか一に記載の情報通信システム。
前記伝送路に接続する会議サーバを備え、
前記変換サーバが、前記会議サーバからの要求に応じ、会議に参加するクライアントが受信している画像の少なくとも１つを、前記Ｍ個の画像符号化データのうちの他の画像に切り替える手段を備えている、ことを特徴とする請求項３５乃至４０のいずれか一に記載の情報通信システム。
前記変換サーバが、前記要求による画像符号化データの切り替えの際、切り替え先の画像の復号画像データを、イントラフレーム符号化してから切り替える手段を備えている、ことを特徴とする請求項４０記載の情報通信システム。
前記要求による画像符号化データの切り替えの際、切り替え元の画像の復号画像データを、所定のフレームタイプで符号化して切り替える手段を備えている、ことを特徴とする請求項４０又は４１記載の情報通信システム。
複数のクライアントと伝送路を介して接続される変換サーバ装置であって、
クライアントからの画像符号化データを受信する手段と、
受信した画像符号化データを、クライアントで利用可能な符号化方式、符号化設定、符号化オプション、および、前記伝送路の状態のうちの少なくとも１つに合わせて画像符号化方式を変換して送信する手段と、
画像の表示数に制限のあるクライアントに対しては、前記画像符号化データのうち、選択された複数の画像符号化データを復号して１つの画像に合成し再符号化して送信する手段と、
を備えている、ことを特徴とする変換サーバ装置。
複数の復号処理部を備え、前記復号処理部は各クライアントからの画像符号化データをそれぞれ復号し、
前記クライアントから表示画像の切り替え要求があった場合、切り替えのタイミングで、切り替え先の画像の復号画像データを、イントラフレーム符号化して送信する手段をさらに備えている、ことを特徴とする請求項４５記載の変換サーバ装置。
前記クライアントから切り替え要求があった場合、切り替え元の画像の復号画像データを、所定のフレームタイプで符号化して切り替える手段をさらに備えている、ことを特徴とする請求項４６記載の変換サーバ装置。
前記複数の復号処理部で復号された復号画像データは複数の復号データバッファに格納され、
前記複数の復号データバッファのいずれかの復号画像データを選択して読み込み、符号化処理部に出力する画像選択・合成手段を備え、
前記符号化処理部は、選択された復号画像データを、クライアントのサポートする符号化方式、符号化設定、および、符号化オプションに沿って再符号化して出力する、ことを特徴とする請求項４６記載の変換サーバ装置。
前記画像選択・合成手段は、クライアントの要求、又は、あらかじめ定められた設定により、複数の復号画像を組み合わせて合成して出力する、ことを特徴とする請求項４８記載の変換サーバ装置。
前記画像選択・合成手段は、前記複数（Ｋ個）の復号データバッファにバッファリングされている復号画像を、それぞれ１／Ｋに縮小して並べることで、Ｋ個の画像を１つの画像とし、前記符号化処理部へ出力する、ことを特徴とする請求項４９記載の変換サーバ装置。
前記符号化処理部からの再符号化出力を受ける前記クライアントで表示される複数の画像を合成した画像の中に、自又は他のクライアントの画像データを含める場合に、前記画像選択・合成手段は、前記自又は他のクライアントに対応する復号処理部で復号された画像データを格納する復号データバッファから復号画像を読み込み、前記復号画像を組み合わせて合成して出力する、ことを特徴とする請求項４８記載の変換サーバ装置。